안녕하세요 @jingdol 입니다^^

kr-science 태그가 활발해 졌으면 하는 마음에 부족하지만 "빅 데이터" 분석 관련글을 시간나는 대로 올려볼까 합니다. 스팀잇 유저분들이 다양한 background를 가지고 게시다는걸 고려해서 최대한 쉽게 풀어보도록 하겠습니다.

지난글에서는 빅 데이터 관련 기술에 대해서 얘기했었는데요(https://steemit.com/kr/@jingdol/6-part-2). 이번글에서는 빅 데이터 프로젝트를 수행하면서 데이터 분석가가 마주치는 몇가지 어려운점에 대해서 이야기 해보겠습니다.

프로젝트의 시작

프로젝트를 시작하게 되면 상세 설계서 작성, 산출물 선정 그리고 상세 일정 작성등등을 수행하게 됩니다. 여기서 데이터 분석 관련해서도 상세일정을 작성해야 하는데요. 데이터가 어떻게 생긴지도
모르고 시스템 아키텍쳐가 상세하게 그려지지 않은 상태에서 계획을 세우기가 쉽지 않습니다.

그래서 보통 디테일은 빼고 표준적인 내용을 가지고 작성 할 수 밖에 없게 됩니다. 그래야 나중에 말로 풀어갈 수 있으니까요.

데이터 분석에는 보통 다음과 같은 업무들로 나누어 볼수 있습니다.

-데이터 탐색
-분석 모델 조사
-모델 테스트 (샘플 데이터)
-모델 구현 (시스템 적용)
-모델 테스트 (전수 데이터)
-모델 성능 시험
-보고서 작성 (주기적)
등등

위 모든것들이 데이터가 수집되야만 수행 할 수 있는데요. 보통 데이터 수집 (또는 연동) 까지 어느정도 시구템이 구축된 이후이기 때문에 그때까지 분석은 상상 또는 시스템에서 수집될거 같은 샘플 데이터를 가지고 수행 해야만 합니다 ㅠ.ㅠ

막상 시스템이 구축되고 데이터가 수집되면.. 대부분 처음 생각했던 데이터와는 너무 다르지만요.. 이때부터 머리가 아파오고 일정에 쫓기게 되더군요..

산출물 선정

보통 프로젝트에 들어가게되면 산출물을 정해놓고 시작하게 됩니다. 여기서 산출물에 결과를 바라보는 시각이 조금 다른데요. 결과중심적인 사회에 살다보니.. 어떤 모델을 적용하겠다가아닌 어떤 결과를 내겠다여야 합니다. 이게 얼마나 힘든일인지는 관심조차 주지 않죠. 결과가 정해지고 그 결과를 낼 수 있는 모델을 만드는게 주 목적이되는거랑 어떤 모델을 적용해 보니 어떤결과가 나왔다랑은 천지차이니까요...

하지만 실제 프로젝투를 수행하면서 사람들이 원하는건 어떤결과를 내느냐입니다. 여기서 분석가는 그 결과를 내기위해 투입된 자원이고요.

물론 항상 분석가에게 할당된 자원은 어이없을 수준으로 낮으며 이미 프로젝트를 시작할때 영업적인 측면에서 결과를 지내 멋대로 정하고 시작하기 때문에.. 저희는 이미 약속된(?) 결과를 내야하는 입장이 되는거죠. 그게 안나오면 잘 설명하면 된다고 아주 쉽게 쉽게 떠들어대는 모습들을 보면 입이 다물어 지지 않지만요..

프로잭트내에서는 다양한 배경을 가지고 있는 사람들과 협업을 하게됩니다. 거기서 분석가의 고민(?) 업무 수행 방식 그리고 어려운점들은 모두 무시당한채 의외로 다른배경을 가지고 있는 사람들을 설득하는데에 엄청난 시간과 노력이 필요로 합니다. 항상 돌아오는 말들이 알아듣게 설명해달라고 하는 엄청난(?) 요구사항들..

빅 데이터내에서는 대부분이 IT 개발자들과 일을 하는데 수에서 밀리다보니.. 어쩔수 없지만 그 분야사람들 중심으로 프로젝트가 돌아가게 되는거 같네요..

-슬픈 현실-