빅데이터 & 인공지능

빅데이터란 무엇인가

헬로월드! 2020. 6. 2. 12:23

빅데이터란

  • 기존의 데이터 처리 응용에서는 다루기 어려운 크고 복잡한 데이터셋에 대하여 분석하고 정보를 찾아내는 분야
  • 기존 데이터베이스 관리도구의 능력을 넘어서는 대량(수십 테라바이트)의 정형 또는 심지어 데이터베이스 형태가 아닌 비정형의 데이터 집합조차 포함한 데이터로부터 가치를 추출하고 결과를 분석하는 기술이다. 즉, 기존의 데이터 베이스로는 처리하기 어려울 정도로 방대한 양의 데이터를 의미한다.

빅데이터의 특징 

 

빅데이터의 특징은 3V로 설명할 수 있다. 

데이터 량 (Volume) , 생성 속도 (Velocity) , 다양성 (Variety)

  • Volume : 생성되고 저장되는 데이터량으로 데이터량에 따라 처리가능성을 평가하여 빅데이터인지 아닌지 결정된다. 
  • Velocity : 데이터가 생산되고 처리되는 속도를 말한다. 빅데이터는 주로 실시간으로 얻어지고 작은 데이터와 비교하면 연속적으로 생산된다. 
  • Variety : 데이터의 타입과 성격으로 텍스트, 이미지, 등이 있다. 

빅데이터의 새로운 V 로는

Veracity (정확성), Variability(가변성), Visualization(시각화) 가 있다. 

 

빅데이터의 플랫폼

빅데이터의 플랫폼이라는 것은 빅데이터 기술의 집합체이며 기술을 잘 사용할 수 있도록 준비된 환경이다.