본문 바로가기

IT Solutions/Big Data

소셜 빅데이터 분석을 통해 신(新)소비 트렌드를 읽다 소셜 미디어는 이제 유행을 넘어 우리 생활의 일부가 되었으며, 그 중요성과 발전상은 더 이상 새로운 일이 아닙니다. 우리는 이미 소셜 미디어 세상 안에서 함께 즐기며 그 성장을 이끌어 나가고 있습니다. 우리나라의 경우 2000년대 들어 소셜 미디어의 인기가 본격화되었으며, 초기 형태인 ‘아이러브스쿨’, ‘다모임’을 거쳐 ‘프리챌’, ‘싸이월드’로 이어지는 국내 토종 서비스의 시대가 저물고, 이제는 페이스북, 인스타그램과 같은 해외 서비스가 꾸준히 상승세를 타고 있는데요. 최근 이러한 서비스에 위치기반서비스(LBS)가 결합되는 등 점차 다양한 형태로 발전해 나가고 있습니다. 이제 우리는 일상과 사진, 위치 정보 등을 언제든지 손쉽게 공유하고, 지구 반대편의 친구들뿐만 아니라 사회 유명인사들과 같은 쉽게 만.. 더보기
빅데이터 시각화 분석 ② 지난 1편에는 데이터를 시각화하는 ‘정보 시각화 방법 다섯 가지’를 알아봤는데요. 이번 시간에는 빅데이터 시각화의 범위 및 빅데이터 시각화 절차와 도구 등에 대해 자세히 소개해 드리도록 하겠습니다. ● 빅데이터 시각화 분석 ①: http://blog.lgcns.com/1208 빅데이터 시각화의 범위 l 정보 디자인에서 빅데이터 시각화 영역 (출처: 한국데이터베이스진흥원의 데이터 분석 전문가 가이드 도서, 재구성) 앞서 언급한 대로 빅데이터 시각화는 정보 시각화에 가깝습니다. 빅데이터 시각화는 데이터를 기반으로 객관적 표현에 더 초점을 맞추는 경우가 많으므로, 정보형 메시지를 전달하기 위한 데이터 시각화와 일맥상통합니다. 반면 데이터 자체보다는 데이터를 기초로 해석된 의미의 설득형 메시지를 전달하기 위한 .. 더보기
빅데이터 시각화 분석 ① 지금 머릿 속으로 데이터 시각화를 떠올렸을 때 어떤 이미지가 보이시나요? 강의에서, 블로그에서, 책에서, 어디서든 데이터 시각화라는 단어를 보았을 때 떠오르는 그림이 있을 것입니다. 이러한 이미지들이 갖는 공통점이 있다면 무엇일까요? 그것은 바로 흥미로운 이야기를 담고 있다는 점입니다. 데이터가 전하는 이야기가 당신의 행동을 바꾸도록 설득했을 수도 있고, 새로운 정보로 통찰력을 주었을 수도, 현실의 고정관념에 질문을 던지게 했을 수도 있습니다. 크건 작건, 기사의 이미지였건 프레젠테이션 슬라이드였건 간에 자신의 이야기를 분명하고 직관적으로 전달하고 있습니다. 빅데이터 시대에 규모를 가늠할 수 없을 정도의 수많은 정보가 쏟아지면서, 누구든 이 정보들 중에서 필요한 자료들을 정리하고 다양한 분석 결과를 모두.. 더보기
하둡 기반 데이터 웨어하우스 모델링 데이터 웨어하우스(Data Warehouse)는 십 수년간 기업의 의사결정 및 분석을 위한 가장 강력한 엔터프라이즈 애플리케이션의 지위를 유지해 왔는데요. 데이터 웨어하우스를 지원하는 수많은 애플리케이션들도 함께 발전해 왔습니다. 여기에는 수많은 하드웨어와 소프트웨어 벤더들이 제공하는 전통적인 OLAP과 ETL 툴들, 데이터베이스와 서버를 통합한 데이터 웨어하우스 어플라이언스(DW Appliance)들과 인-메모리(In-Memory) 데이터베이스, 비주얼라이제이션(Visualization) 툴 등이 포함됩니다. 빅데이터와 함께 발전하고 있는 하둡 에코시스템에도 데이터 웨어하우스 구축을 위한 다양한 기술 세트가 포함되어 있습니다. 예를 들어, 아파치 하이브는 SQL을 이용하여 분산 스토리지 환경에 저장된 .. 더보기
빅데이터 시대, 자연어 기반의 빠른 검색이 온다 이제 우리는 무엇인가 궁금한 것이 있으면 하루에도 몇 번씩 구글이나 네이버의 검색을 활용하는 것이 일상이 되어버렸습니다. 너무도 많은 정보가 넘쳐나는 빅데이터 시대, 검색은 매우 편리한 도구죠. 하지만 저는 가끔씩 이런 생각을 해봅니다. '내가 입력한 단어만으로도 내가 무엇을 찾고자 하는지 이해해서, 정확히 필요한 페이지를 바로 찾아주면 안되나?’ ‘꼭 이렇게 많은 페이지를 내가 일일이 또 확인해야 하나?’ ‘단어로 바로 이해하지는 못하더라도, 질문을 입력하면 꼭 맞는 정보만 찾아주면 안되나?’ ‘제공되는 결과를 내가 원하는 형식으로 보여주면 안되나?' 이런 일이 가능하다면, 참 좋은 것 같은데 말입니다. 필요는 결과를 만들어 냅니다. 이러한 요구는 최근에 지능형 검색이라는 이름으로 연구되고 있는데요. .. 더보기
빅데이터를 친구로 만드는 첫 걸음, 바라보는 관점 바꾸기 ② 지난 글에서 짚어본 문제점에 대한 해결책으로 HBase 기반의 Big Table System을 제시했는데요. 지금부터는 그 처방과 효과에 대해 살펴보겠습니다. 조치된 빅데이터 처방 Redis와 HBase로 구성된 Data Caching System으로 Read 집중 문제를 해결하고 HBase만으로 구성된 Big Table로 Write 집중 문제를 해결합니다. ORACLE을 대치하지 않고 NoSQL과 RDBMS 각각의 장점을 융합한 Hybrid 구조입니다. Big Table은 구현되지 않았기 때문에 본 글에서 이야기 하지 않겠습니다. l Fig. 1 개선 후 아키텍처 ① 데이터의 특성 시스템의 데이터는 공통 정보와 사용자 개인화 정보 그리고 개인화 이력 정보로 나눌 수 있습니다. 공통 정보는 Master .. 더보기
빅데이터를 친구로 만드는 첫 걸음, 바라보는 관점 바꾸기 ① 인터넷 서비스가 고도화됨에 따라 사용자가 생성하는 정보의 저장과 처리가 필요하고, 이를 위한 Big Cache System이 요구되고 있습니다. DB의 장애와 증설 비용을 고민하던 800만 사용자를 가진 B2C 서비스 시스템에 Open Source Software인 Redis와 HBase기반의 Cache System을 구축하여, 목표한 수준으로 CPU 사용률을 낮출 수 있었죠. 알파고와 빅데이터 알파고와 이세돌의 바둑 대결은 현재를 살아가는 사람들에게 많은 충격을 주었고, 새로운 세상에 대한 상상력을 자극했습니다. 이러한 알파고의 뒤에는 Deep Learning이란 기술이 숨어있고, 그 뒤로는 분산 병렬 컴퓨팅이라는 든든한 형님이 버티고 있는데요. 무려 1,202개의 CPU와 176 개의 GPU로 동시에.. 더보기
금융 정보계에 HIA 도입의 필요성, Why? 금융 정보계는 전사에서 발생하는 모든 업무 데이터를 통합하여 통합 분석 View를 제공하고, 이를 기반으로 다양한 사용자 계층별로 분석 목적에 맞는 데이터를 제공하는 역할을 수행하고 있는데요. 빅데이터(Bigdata) 환경이 도래함에 따라 데이터의 양이 폭발적으로 증가하고, 데이터의 유형도 RDBMS(Relational Data Base Management System) 중심의 정형 데이터뿐만 아니라 각종 로그 데이터, 음성 데이터 등 비정형 데이터까지 분석할 필요가 생겼습니다. l 금융 정보계의 발전 방향 기술적으로는 오픈 소스 기반의 Hadoop 기술들이 성숙되어감에 따라 오픈 소스라는 불안감을 불식시키고 전사에서 활용 가능한 수준으로 발전하고 있어, 기존 정보계가 가지고 있는 한계(고가의 시스템, .. 더보기