빅 데이터 분석이란?

빅 데이터 분석을 위한 주요 기술 및 도구

빅 데이터 분석은 보통 단일 시스템 또는 솔루션으로 지칭되지만, 실제로는 데이터의 저장, 이동, 확장 및 분석을 위해 함께 작동하는 여러 개의 개별 기술 및 도구로 이루어져 있습니다. 개별 기술과 도구는 인프라에 따라 달라질 수 있으나 가장 일반적인 빅 데이터 분석 도구는 다음과 같습니다.

수집 및 저장

• Hadoop. 빅 데이터 분석의 요구 사항에 대응한 초기 프레임워크 중 하나인 Apache Hadoop은 분산 컴퓨팅 환경을 통해 대규모 데이터 세트를 저장 및 처리하는 오픈 소스 에코시스템입니다. Hadoop은 필요에 따라 스케일 업 또는 다운할 수 있어 데이터를 유연하고 비용 효율적으로 관리할 수 있는 프레임워크입니다.
• NoSQL 데이터베이스. 데이터베이스인 기존의 관계형 데이터베이스와 달리, NoSQL 데이터베이스는 데이터 유형이 고정된 스키마 또는 구조를 준수하도록 요구하지 않습니다. 따라서 모든 유형의 데이터 모델을 지원할 수 있으므로 대규모의 반구조화된 데이터와 원시 데이터를 사용할 때 유용합니다. NoSQL 데이터베이스는 뛰어난 유연성 덕분에 관계형 데이터베이스보다 속도가 빠르고 확장성이 뛰어납니다. NoSQL의 대표적인 예로 MongoDB, Apache CouchDB, Azure Cosmos DB를 들 수 있습니다.
• 데이터 레이크 및 데이터 웨어하우스. 데이터를 소스에서 수집한 후에는 추가 처리를 위해 중앙의 사일로에 저장해야 합니다. 데이터 레이크는 원시 데이터와 구조화되지 않은 데이터를 여러 애플리케이션에서 사용할 수 있도록 저장하는 반면 데이터 웨어하우스는 다양한 소스에서 구조화되고 미리 정의된 데이터를 가져와서 사용할 수 있도록 처리합니다. 이 두 가지 옵션은 서로 다른 기능을 갖고 있으며, 함께 사용할 경우 잘 구성된 데이터 저장 시스템으로 기능합니다.

처리

• 데이터 통합 소프트웨어. 데이터 통합 도구는 사용자가 데이터 마이닝, 비즈니스 인텔리전스 보고 및 운영을 위해 필요한 모든 데이터에 한곳에서 액세스할 수 있도록 여러 플랫폼의 데이터를 데이터 웨어하우스와 같은 하나의 통합된 허브로 연결하고 통합합니다.
• 메모리 내 데이터 처리. 기존의 데이터 처리는 디스크 기반으로 이루어지는 반면 메모리 내 데이터 처리는 RAM(메모리)을 사용하여 데이터를 처리합니다. 이러한 지속 가능성 덕분에 처리 및 전송 속도가 빨라져서 조직에서 실시간으로 인사이트를 창출할 수 있게 됩니다. Apache Spark와 같은 처리 프레임워크는 일괄 처리 및 실시간 데이터 스트림 처리를 메모리 내에서 수행합니다.

스크럽

• 데이터 전처리 및 스크럽 도구. 데이터 정리 도구는 오류를 해결하고, 구문 실수를 수정하고, 누락된 값을 제거하고, 중복 항목을 스크럽하여 데이터의 품질을 최고 수준으로 유지합니다. 그런 다음 분석에서 사용할 수 있도록 데이터의 표준화 및 유효성 검사를 진행합니다.

분석

• 데이터 마이닝. 빅 데이터 분석은 데이터 마이닝(대규모 데이터 세트에서 기본 패턴을 추출)과 같은 지식 발견 프로세스를 통해 인사이트를 창출합니다. 데이터 마이닝은 데이터 간의 의미 있는 관계를 식별하도록 설계된 알고리즘을 통해 구조화된 데이터와 구조화되지 않은 데이터에서 자동으로 최신 추세를 정의할 수 있습니다.
• 예측 분석. 예측 분석은 패턴과 행동을 예측하는 분석 모델을 빌드합니다. 이 작업은 앞으로의 결과를 식별하고, 운영을 개선하고, 사용자의 요구 사항을 충족할 수 있도록 지원하는 기계 학습 및 기타 통계 알고리즘을 통해 이루어집니다.
• 실시간 분석.  Azure Data Explorer 와 같은 실시간 스트리밍 솔루션은 확장성 있는 일련의 엔드투엔드 스트리밍 파이프라인을 연결하여 사용자가 즉각적으로 인사이트를 확보할 수 있도록 플랫폼 간 데이터를 저장, 처리 및 분석합니다.