안녕하세요 @jingdol 입니다^^

kr-science 태그가 활발해 졌으면 하는 마음에 부족하지만 "빅 데이터" 관련글을 시간나는 대로 올려볼까 합니다. 스팀잇 유저분들이 다양한 background를 가지고 게시다는걸 고려해서 최대한 쉽게 풀어보도록 하겠습니다.

빅 데이터

오늘날 컴퓨터 시대에 우리의 삶은 엄청난 발전을 이루었습니다. 핸드폰, 개인 PC, 인터넷등과 같은 기술적 가젯에 대한 의존도가 개인적(e.g., Online Shopping), 사회적 (Social Network - Steemit), 전문적등 모든 측면에서 다양하게 그리고 널리 사용되고 있습니다. 엄청난 빠른 성장으로 인한 데이터의 복잡성 증가 요구되는 속도와 다양성은 새로운 데이터 관리의 어려움은 빅 데이터 용어가 탄생했습니다.

빅 데이터는 다양한 영역에서 실시간으로 모아진 방대한 정형/비정형 데이터를 말하며 다음과 같은 성격을 가지는 데이터를 말합니다.
-크기(Volume) - 거대한 양 (terabytes (1000GB) / petabytes (1000TB))
-다양성 (Variety) - 정형/비정형 데이터
-입출력 속도 (Velocity) - 매우 빠른 데이터 입/출력
-정확성 (Veracity)
-가용성 (Variability) - 지속적으로 다양한 소스의 증가

위 모든 요소들을 고려해, 다양한 데이터 상호간에 연결 및 연관시켜 생성하도록 처리하여 관계형 계층 구조를 형성 합니다.

빅 데이터 분석 - 빠른 속도로 모든 데이터를 분석하여 다양한 지식/정보를 찾아내는 것

빅 데이터는 제품, 시스템 및 서비스의 디자인을보다 지능적이고, 연결성이 뛰어나고, 효율적이며, 널리 액세스 할 수 있게 만들어주는 데 중요한 역할을 합니다. 데이터 분석 기능은 빅 데이터 기능들중에(액세스, 분석, 보안 및 저장) 가장 많이 사용되는 기능 중 하나입니다. 빅 데이터 분석은 오늘날 매우 일반적인 요구 사항이 되어버렸습니다. 관련성을 얻기 위해 대량의 데이터를 분석하고, 적시에 다양한 정보 패턴을 제공, 즉 유익한 정보를 찾아내라 등등. (전에도 말씀드렸지만) 말은 쉽지만 실제로 분석하는 입장에서는 말처럼 쉬운것만은 아닙니다.

빅 데이터는 드릴 다운(drill down) 방식의 데이터 분석(최상에서 최하 단위 까지 데이터)을 할 수 있는 환경을 제공 합니다. 드릴 다운 하는 것은 높은 수준의 정보에서 보다 자세하고 집중된 정보, 즉 데이터 계층을 통해 아래쪽으로 이동하는 일련의 데이터로 더 깊이 들어가는 것입니다.

일단 빅 데이터 소스가 완료되면 (수집-저장 단계가 마무리가 되면), 그 데이터를 의미있는 방식으로 조직하고 그런 다음 큰 데이터 세트를 분석하여 수집된 데이터에서 의미있는 사실들을 도출해야 합니다. 데이터 분석을 통해 숨겨진 사실과 통계 정보, 데이터를 분류 할뿐만 아니라 데이터 또는 중요한 정보와 관련하여 데이터의 순위(ranking)를 부여하는 것도 포함 됩니다.

목록

"빅데이터 분석하기 #1 - 빅데이터 개요"
https://steemit.com/kr-scientist/@jingdol/1
"빅데이터 분석하기 #2 - R 소개"
https://steemit.com/kr-science/@jingdol/2-r
"빅 데이터 분석하기 #3 - 우리는 왜 빅 데이터 기술이 필요 한가?"
https://steemit.com/kr-science/@jingdol/3
"빅 데이터 분석하기 #4 - 세상을 바꾸는 빅 데이터 기술"
https://steemit.com/kr/@jingdol/4
"빅 데이터 분석하기 #5 - 필요한 기술? 데이터 엔지니어 / 데이터 분석가"
https://steemit.com/kr/@jingdol/5
"빅 데이터 분석하기 #6 - 필요한 기술? 데이터 엔지니어 / 데이터 분석가 (Part 2)"
https://steemit.com/kr/@jingdol/6-part-2
"빅 데이터 분석하기 #7 - 외로운 데이터 분석가"
https://steemit.com/kr/@jingdol/7
"빅 데이터 분석하기 #8 - 왜? 빅 데이터가 생겨 났을까?
https://steemit.com/kr/@jingdol/ft5pv-7
"빅 데이터 분석하기 #9 - 하둡과 하둡 관련기술 (Apache-Hadoop Distributed Processing Framework)"
https://steemit.com/kr/@jingdol/9-apache-hadoop-distributed-processing-framework
"빅 데이터 분석하기 #10 - Hadoop/Spark 데이터 처리 방식"
https://steemit.com/kr/@jingdol/10-hadoop-spark