[빅데이터] 데이터 분석 사고법

0

정보량이 폭발적으로 증가하는 가운데 회사에 있는 데이터를 경영에 활용하고 싶은 기업이 늘어나고 있다. 소위 ‘빅데이터 활용’이다. 그러나 단순히 데이터를 모아 분석하는 것만으로는 ‘활용’에까지 이르지 못하는 것이 현실이다.

프로젝트의 대전제는 ‘명확한 목표’

데이터 분석에만 한정되지 않고 다른 프로젝트에도 해당되는 얘기겠지만, 우선 프로젝트에는 명확한 목표가 필요하다. 목표를 이미지화한 후 요건을 정의하고 그 요건에 따르도록 데이터를 분석하고 시행책을 입안하는 것이 중요하다.

단순히 데이터가 있으니까 분석하겠다는 경우나, 현행 분석 시스템을 버전업하니까 뭔가 새롭고도 좋은 아웃풋을 도출할 수 있지 않을까 하는 경우는 헤매게 되기 쉽다. 목적과 수단이 바뀌면 프로젝트는 실패한다. 분석가의 업무는 ‘여기에 새로운 시장이 있다’, ‘이런 개선이 아직 가능하다’ 등 제안을 구체적으로 하는 것이고, ‘이렇게 하면 좋다’고 근거를 갖고 주장하는 것이다. 그리고 그 주장의 축이 목표와 일치해야 한다.

좀 더 세밀한 관점에서 데이터 분석 프로젝트에서 주의할 점을 찾아보자. 여러 가지 데이터의 변동에서 그 변동의 원인을 찾을 때 ‘상관 관계’를 찾는 것이 아니라 ‘인과 관계’를 찾아내는 것이 중요하다.

예를 들어 어떤 매장의 매출 데이터에서 매상이 떨어지고 있음을 알게 됐다고 하자. 그래서 고객수, 고객 단가, 고객 이용 회수 등을 체크했더니 고객 단가가 떨어졌음을 발견했다. 그렇다면 ‘매상이 떨어지는 것은 고객 단가가 떨어졌기 때문이며, 그래서 고객 단가를 올려야만 한다’는 제안이 있을 수 있다.

이런 제안은 종종 있는 경우인데 사실 이것만으로는 진짜 원인을 알 수 없을 때가 있다. 매상이 떨어졌다는 것과 단가가 떨어졌다는 것에는 확실하게 상관 관계가 있다. 이 상관 관계만으로 의사 결정이 내려지는 일이 많지만, 사실 필요한 것은 상관 관계가 아니라 인과 관계다.

상관 관계와 인과 관계의 차이는 무엇일까? 전후좌우를 바꿔도 성립하는 관계가 상관 관계다. 상관 관계에는 시간축이 없으므로 어느 쪽이 먼저인지 관계가 없다. 한편 인과 관계는 원인이 앞에 있고 그 원인으로부터 결과가 나온다. 즉 단가가 내려가면 매상도 내려간다는 관계에서는 ‘매상’과 ‘단가’ 간에 상관 관계가 있다는 것은 알 수 있어도 반드시 인과 관계가 있다고는 할 수 없다.

또 상관 관계가 있어 보이는 ‘유사 상관’에도 주의가 필요하다. 예를 들어 ‘아이스크림이 잘 팔리면 물놀이 사고가 증가한다’는 관계에는 상관성이 있을까? 단순히 두 가지 숫자의 변수만을 보면 상관 관계가 있는 것처럼 보일 수도 있지만, 실제로 아이스크림 판매를 멈춰도 물놀이 사고가 줄어드는 것은 아니다. 즉 이것은 유사 상관에 지나지 않는다.

아이스크림과 물놀이 사고라는 극단적인 예라면 유사 상관임을 알기 쉽지만, 기업이 가진 숫자에는 유사 상관인지 판별하기가 어려운 점이 있으니 주의해야 한다.

진정한 인과 관계에 도달하기 위해서는 ‘숫자끼리의 메커니즘을 찾아내는 것이 필요하다’고 한다. 그러기 위해서는 방대한 데이터를 정리하고 여러 각도에서 분석하여 가설이 성립하는지 검증해야만 한다. 앞서 아이스크림과 물놀이 사고의 예라면, 아이스크림 이외의 상품 매상을 확인하는 것은 물론, 매상과 기온의 관계나 물놀이 손님 수와의 관계까지 도달할 수 있다면 숫자끼리의 메커니즘이 보일 것이다.

데이터 분석의 전제가 되는 ‘5W2H’란?

그렇다면 매장의 매상 데이터에서 숫자의 메커니즘을 찾아내기 위해서는 어떻게 해야 할까? ‘5W2H’로 분석하면 여러 가지가 보이게 된다. 5W2H란 ‘Who(누가)’ ‘When(언제)’ ‘Where(어디에서)’ ‘What(무엇을)’ ‘Why(왜)’ ‘How(어떻게)’ ‘How much(얼마나)’라는 항목이다. 구체적으로는 매상이 떨어진 매장의 고객은 어떤 연령층으로 어떤 직업을 가졌는지, 언제 어떤 매장에 와서 무엇을 구입하는지, 매상이 떨어진 것은 언제부터인지, 전국적인 경향인지 아니면 특정 지역만의 현상인지 등의 내용이다.

인과 관계에 도달하기까지는 입증해야만 하는 단계가 다수 존재한다. 여러 측면에서 검증하면서 진정한 인과 관계를 찾아내야만 한다.

사실 기업이 다루는 로우 데이터는 기계가 자동으로 추출하고 관리하기 위한 것이지만 분석에는 사용하기 어려운 경우가 대부분이다. 5W2H라는 축으로 정리되지 않았기 때문이다. 분석을 위해서는 분석 목적에 맞춰 데이터를 정리한 분석 데이터가 필요하다.

데이터 가공에는 매우 손이 많이 든다. 하지만 단순히 로우 데이터를 분석하는 것만으로는 아무리 인과 관계를 밝혀내고자 해도 그 결과에는 도달하지 못한다. 단순한 데이터를 정보로 가공 가능한 지가 분석 프로젝트의 열쇠가 되고 가공하지 못하면 그냥 장표를 보는 것으로 끝나고 만다. 장표 수준으로는 인과 관계까지 알아내기 힘들므로 진정한 원인을 찾아내지 못하는 경우가 많다.

이렇게 해서 매상이 내려갔다는 현황을 파악하고 5W2H로 그 요인을 해석할 수 있다면, 다음은 대책을 입안하는 단계에 들어간다.

예를 들어 대책으로 ‘타겟을 묶어 캠페인을 하기로 했다’고 가정하자. 이때는 데이터 마이닝이나 클러스터링이 필요해진다. 타깃층을 정리하고 그 타깃에 어필할 방법을 찾기 위한 것이다. 비용 대비 효과도 생각하여 전단지가 좋을지 메일이 좋을지를 검토할 필요도 있다. 물론 메일 캠페인을 하고 싶어도 메일 등록 수가 적다면 의미가 없다. 여러 가설을 세우고 효과 있는 방법을 찾아내어 캠페인을 실시한다.

대책 입안의 단계에서는 모든 것이 가설에 지나지 않는다. 즉 캠페인의 효과를 측정할 수 있도록 계획되지 않으면 의미가 없다. ‘특정 상품의 구입 이력이 있는 사람과 없는 사람의 경우 캠페인에 대한 반응이 다를 것이다’는 가설을 세웠다면, 그 상품의 구입 이력과 캠페인에 반응한 인물을 특정할 수 있도록 POS 데이터에서 검증할 수 있도록 해둘 필요가 있다.

분석 프로젝트가 잘 되는 기업이란

이처럼 프로젝트 단계별로 주의해야 할 점이 있지만 분석 프로젝트를 잘 하는 기업에는 공통점이 있다고 한다. 마케팅 부문 및 경영기획 부분과 IT 부문의 관계가 좋은 기업이라는 것이다.

어떻게 데이터를 모아야 할지 등을 판단할 수 있는 것은 IT 부문이다. 또 다양한 데이터에서 숫자 관계성을 찾아내면 고속으로 데이터를 분석하는 기술을 도입하고 분석 결과에서 관계성을 판단해나갈 필요가 있다. 이런 것들은 모두 IT 부문이 잘 하는 분야다. 한편 상관 관계에서 인과 관계로 연결하는 방법이나 현재 일어나고 있는 문제의 원인을 조사하는 방법은 마케팅 부문이나 경영기획 부문이 잘 하는 분야다. 서로의 전문 영역을 보완하면서 하나의 목표로 향해 가고 있는 기업은 좋은 성과를 올리고 있다.

반대로, 이런 부문 간의 관계가 나쁜 기업은 분석 프로젝트 전체의 프로세스를 이해할 수 없다거나 분석 결과를 현장에 피드백할 수 없다거나 하는 일이 많다. 데이터 분석에는 여러 가지 종류의 데이터가 필요하지만 실제로 데이터를 수집하는 데에는 현장의 힘이 필요하다. 그러기 위해 예를 들어 데이터를 제공해준 콜센터에게 분석 결과를 피드백하고 나아가 어떠 어떠한 데이터를 원한다고 전달함으로써 현장에서도 데이터의 중요성을 이해하게 되며 이를 통해 보다 좋은 데이터가 모아지게 된다.

데이터 애널리스트에게 필요한 요소도 살펴보자. 즉흥성이 아니라 확실한 근거를 제시하는 스타일이어야 한다. 또 어떤 경향에서 과제를 발견할 수 있다거나 복수의 문제에 대해 우위를 정할 수 있는 사람은 데이터 애널리스트에 적합하다. 그리고 추산이 가능해야 한다. 어처구니없는 숫자가 나왔을 때 로직이 잘못되었다는 것을 눈치채지 못하면 곤란하므로 분석 결과가 이상한지 어떤지를 판단할 수 있는 능력이 필요하다. 또 애널리스트에 한정된 얘기가 아닐지 모르겠지만 어떤 사람에게 부탁받으면 거절하지 못할 것 같은 호인의 느낌이나 조정 능력이 있는 사람도 애널리스트에게 필요한 소질이다. 성공하는 프로젝트에는 반드시 그런 소질을 가진 키맨이 있다.

데이터 분석에 관한 식견을 충분히 갖추고 난 다음에 목표를 명확하게 하고 올바른 분석으로 문제의 인과 관계를 찾아내고 개방성 있는 환경에서 프로젝트를 진행한다. 그런 환경에서 키맨이 갖춰지면 프로젝트가 성공할 확률을 최대한으로 높일 수 있다.

 

 

 

페이스북으로 댓글을 달아주세요!

About Author

월간 app의 프로필 사진

국내 모바일 산업과 창업 생태계를 응원합니다. 모바일 트렌드에 대한 전문 컬럼을 기고하거나 유망한 스타트업을 소개하고 싶으시면 연락바랍니다. 적극 수용하겠습니다~♥

댓글 남기기