데이터 분석에 필수적인 요소 6가지
데이터 분석을 할 때 최소한 알아야 할 통계학의 기초에 대해 설명했습니다. 이번엔 기업의 데이터 분석 실천에 관한 설명을 하겠습니다. 기업이 데이터 분석을 할 때 빠지기 쉬운 사고방식이나 실패 사례를 말씀드리겠습니다. 상식적인 내용이지만 의외로 많은 기업에서 간과할 때가 많습니다. 국내에서도 데이터 분석에 관심을 보이는 기업이 늘고 있습니다. 대규모 데이터를 분석하다 보면 데이터에서 어떤 상관관계나 인과관계를 발견해서 모델링이 가능할 때도 있습니다. 그러나 목적도 정하지 않은 상태에서 방대한 시간과 돈을 들여 데이터를 사전 처리하고 해석해 이끌어낸 모델은 기업의 경영 난제를 해결하는데 도움이 되지 않습니다. 어떤 제품을 판매할지 결정하지도 않은 단계에서 엄청난 공장 부지를 사들이거나 근처에 교통 인프라가 없는데도 놀이 공원을 건설하는 것과 마찬가지입니다. 목적이나 도착점을 정한 다음에 착수해야 함은 데이터 분석도 마찬가지입니다. 그렇다면 왜 이런 일이 발생할까요. 빅 데이터나 데이터 분석을 황금알 낳는 거위로 생각하는 기업이 많기 때문일 것입니다. 분석을 위해 비싼 컴퓨터와 프로그램을 사고 개발팀에 맡기기만 하면 알아서 성과를 내줄 것이라는 생각도 하곤 합니다. 기업은 도달하고 싶은 도착점과 그 목표를 시작 단계에서 명확히 정해야 합니다. 데이터를 분석할 때는 목적과 도착점을 설정하고 그 도착점을 지향하기에 충분한 경영 상황인지, 업무 과제가 있는지, 데이터와 처리 기반이 존재하는지 확인하는 것이 중요합니다. 특히 중요한 것은 발사대와 착지점입니다. 경영 과제의 해결을 로켓의 착지점에 비유해봅시다. 도달하려면 올바른 각도로 로켓을 발사해야 합니다. 기술이 있는 인재와 잘 정비된 발사대가 필요합니다. 발사대가 없는 상태는 쉽게 말해서 데이터 분석을 할 토대가 없는 상태를 말합니다. 첫 번째는 목적의 입안입니다. 둘째는 데이터 분석을 통해 해결해야 할 과제의 인식과 우선순위 결정입니다. 셋째는 구조화된 데이터, 센서 정보나 로그 데이터를 취득할 기반이니다. 넷째는 분석 대상의 되는 데이터입니다. 다섯 번째는 데이터를 분석하기 위한 소프트웨어나 하드웨어 환경입니다. 여섯 번째는 과제 해결을 향한 리더십과 열정입니다. 이 여섯 가지 요소가 갖춰줘야 데이터 분석의 출발대가 완성됩니다. 데이터 분석을 처음 시도하는 기업이 이 요소를 모두 갖추는 경우는 거의 없습니다. 이 것이 프로젝트를 정체시키는 요인임은 확실합니다. 그러나 치명적이라고 할 수는 없습니다. 반드시 갖춰줘야 할 요소는 목적의 입안과 데이터 분석을 통해 해결해야 할 과제의 인식과 우선순위 결정, 그리고 과제 해결을 향한 리더십과 열정입니다. 왜냐하면 이 세 가지는 외부에 외주를 줄 수가 없습니다. 특히 빅 데이터를 분석할 때는 각 IT 기반의 특성을 올바르게 이해하고 사용하는 것이 중요합니다. 빅 데이터의 분석 처리에는 병렬 분산 처리가 자주 활용됩니다. 기존에 기업 내에서 사용하던 회계나 판매 관리 시스템과는 다릅니다. 특성을 파악해서 걸맞은 기반과 도구를 활용하려면 IT 환경에 관해서도 안목이 필요합니다. 병렬 분산 처리라면 하둡이나 리얼타임을 사용합니다. 대량 데이터를 처리할 때는 플루언트, 스톰을 사용합니다. 누적된 데이터를 바탕으로 규칙의 정확도를 높이는 학습 처리에는 머하웃 같은 소프트웨어를 활용합니다. 아마존 EMR같이 컴퓨터 처리를 빌려주는 서비스도 있습니다. 분석 처리의 아이디어를 먼저 시장조사 한 다음 주요 사례를 기준으로 실현 방법을 구현하면 좋습니다. 하둡은 수십대의 클러스터로 구성되어 있습니다. 분산 데이터베이스 역할을 하고 데이터를 병렬 연산해줍니다. 데이터 과학자들에게는 하둡 프로그래밍이 필수적인 과정으로 인식되고 있습니다. 거기에 R 프로그램을 활용하면 데이터를 도식화해서 효율적으로 관리할 수 있습니다. 빅 데이터를 좀 더 쉽게 처리하기 위해서는 파이썬 프로그램 역시 필수라고 할 수 있습니다. 자바 스크립트 역시 많은 도움이 될 겁니다. 왜냐하면 하둡은 파이썬이나 자바, 리눅스를 기반으로 운영이 되기 때문입니다. 통계 관련 프로그램은 자바와 떼놓을 수 없는 연관성을 갖고 있습니다.
