안녕하세요 @jingdol 입니다^^

kr-science 태그가 활발해 졌으면 하는 마음에 부족하지만 "빅 데이터" 관련글을 시간나는 대로 올려볼까 합니다. 스팀잇 유저분들이 다양한 background를 가지고 게시다는걸 고려해서 최대한 쉽게 풀어보도록 하겠습니다.

이전글에서는 글을 위주로 적었는데 이번글에서는 그림+스크린샷 위주로 올려볼까 합니다^^ 보는 재미도 있으니까요

왜? 빅 데이터가 생겨 났을까?

가장 큰 이유는 아마도 데이터를 수집하는데에 드는 비용이라던가 어려움이 기존보다 많이 쉽고 저렴해 졌습니다. 네트워크, 센서등과 같은 기술들이 발전하면서 많은양의 데이터를 빠르게 그리고 저렴하게 수집을 할 수 있게 되었고 조금 있으면 5G가 도입되면서 수집 할 수 있는 데이터가 몇십 아니 몇 백배로 늘어날 겁니다.

앞으로는 영상 및 음성 처리 기술들이 더욱더 발전 할 것입니다.

그리고 산업발전, 융합기술들이 많이 생겨나면서 시스템들이 정말 많이 복잡해 졌습니다. 위 예시는 자동차 발전인데요. 기존에는 자동차의 정비를 사람이 직접 수행할 정도의 복잡도 였다면 지금은 컴퓨터, 시스템을 통해서 1차적인 정비를 수행 합니다. 그 이유는 요즘 자동차에는 정말 별에 별개들이 다들어 있기 때문입니다. 그래서 한분야의 전문가가 아닌 여러분야의 전문가들이 필요로 하게 됩니다.

현재에는 기계에서 생기는 문제들을 사람이 직접 해결 할 수 있는 범위를 벗어났습니다. 아마도 이 문제는 오래전부터 있었겠지만 그것이 눈에 보이지 않았을 뿐이지요. 왜냐하면 기술발전이 이루어 지면서 기존 기술들을 버리는게 아니라 유지하면서 추가하는 형태로 가져가는 분야들이 많으니까요. 단순하게 기존에 있는 기술들을 버리기에는 너무 많은 비용이 들기 때문이고, 이 일을 수행할 사람 즉 책임질 사람도 없기 때문이죠. 책임을 지기에는 너무 부담 스러우니까요. 실적내기도 빠듯한데 시작부터 마이너스로 시작 할 사람이 몇이나 될까요?

빅 데이터는 보통 위 그림처럼 한 로우안에 굉장히 많은 feature들이 담겨 있습니다. 제가 처음 수행했던 프로젝트에서는 15초 주기로 60만건 정도의(600000x500) 데이터가 수집 됬었습니다. 수집 데이터(feature)들 읽어보고 이해하는데에도 꽤 오랜시간을 투자 해야하고 (더럽게 많더라고요-_-;;) 샘플 데이터를 가져와 데이터 탐색하는데도 엄청난 시간을 들여야 합니다. 물론 특정 분야(domain) 지식도 같이 쌓아가야 하니 하루 24시간이 모자랍니다.

제가 초등학생때만 해도 386컴퓨터로 스타크래프트 했던 기억이 나는데.. 불과 10여년만에 이런 데이터를 수집, 저장, 가공, 분석, 시각화(정보화)를 한다는게 기존에는 상상도 못했는데.. 이런게 가능하고 제가 이분야에 종사하고 있다는게 신기하면서도 참 재밌는 시대에 태어난거 같습니다^^

목록

"빅데이터 분석하기 #1 - 빅데이터 개요"
https://steemit.com/kr-scientist/@jingdol/1
"빅데이터 분석하기 #2 - R 소개"
https://steemit.com/kr-science/@jingdol/2-r
"빅 데이터 분석하기 #3 - 우리는 왜 빅 데이터 기술이 필요 한가?"
https://steemit.com/kr-science/@jingdol/3
"빅 데이터 분석하기 #4 - 세상을 바꾸는 빅 데이터 기술"
https://steemit.com/kr/@jingdol/4
"빅 데이터 분석하기 #5 - 필요한 기술? 데이터 엔지니어 / 데이터 분석가"
https://steemit.com/kr/@jingdol/5
"빅 데이터 분석하기 #6 - 필요한 기술? 데이터 엔지니어 / 데이터 분석가 (Part 2)"
https://steemit.com/kr/@jingdol/6-part-2
"빅 데이터 분석하기 #7 - 외로운 데이터 분석가"
https://steemit.com/kr/@jingdol/7