데이터 과학이란?

데이터 과학자는 다음과 비슷한 프로세스에 따라 프로젝트를 완료합니다.

1. 비즈니스 문제 정의

데이터 과학자는 관련자와 협력하여 프로젝트의 목표 및 솔루션 요구 사항과 함께, 해결하려는 문제 또는 답변해야 하는 질문을 명확하게 정의합니다.

2. 분석 방법 정의
비즈니스 문제에 따라 데이터 과학자는 아래와 같은 분석 방법을 결정합니다.

• 현재 상태에 대한 자세한 내용 설명
• 현재 상황과 그 이유를 파악하기 위한 진단
• 향후에 예상되는 상황 예측
• 문제 해결 방법을 이해하기 위한 규범

3. 데이터 가져오기

데이터 과학자는 원하는 결과를 얻는 데 필요한 데이터를 식별하고 획득합니다. 여기에는 데이터베이스 쿼리, 웹 사이트에서 정보 추출(웹 스크래핑) 또는 파일에서 데이터 가져오기가 포함될 수 있습니다. 데이터가 내부적으로 사용 가능하거나 팀에서 데이터를 구매해야 할 수도 있습니다. 경우에 따라 조직은 프로젝트를 실행하기 위해 새 데이터를 수집해야 할 수 있습니다.

4. 데이터 정리(스크러빙이라고도 함)

일반적으로 이 단계에서 가장 많은 시간이 소요됩니다. 모델링을 위한 데이터 세트를 만들기 위해 데이터 과학자는 모든 데이터를 동일한 형식으로 변환하고, 데이터를 구성하고, 필요하지 않은 항목을 제거하고, 누락된 데이터를 대체합니다.

5. 데이터 탐색

데이터가 정리되면 데이터 과학자는 데이터를 탐색하고 통계 분석 기술을 적용하여 데이터 기능 간의 관계와 데이터 기능과 예측 값(레이블이라고도 함) 사이의 통계적 관계를 표시합니다. 예측된 레이블은 어떤 항목의 미래 재무 가치 또는 비행 지연 기간(분)과 같은 정량 값일 수 있습니다.

탐색 및 준비에는 일반적으로 다양한 대화형 데이터 분석 및 시각화 작업이 수반됩니다. 즉, 이 작업을 위해 특수하게 디자인된 대화형 도구 및 환경에서 Python 및 R 등의 언어를 사용하게 됩니다. 데이터를 탐색하는 데 사용되는 스크립트는 일반적으로 Jupyter 노트와 같은 특수한 환경에서 호스트됩니다. 이러한 도구를 사용하여 데이터 과학자는 알아낸 정보를 문서화하고 공유하면서 데이터를 프로그래밍 방식으로 탐색할 수 있습니다.

6. 데이터 모델링

데이터 과학자는 규범적 모델 또는 설명이 포함된 모델을 빌드하여 학습한 다음, 모델을 테스트하고 평가하여 질문에 답변이 되거나 비즈니스 문제를 해결하는지 확인합니다. 간단하게 설명하면, 하나의 모델은 입력을 받아들이고 출력을 생성하는 코드의 한 조각을 말합니다. 기계 학습 모델을 만드는 동안 알고리즘을 선택하고, 데이터를 제공하고, 하이퍼 매개 변수를 조정합니다. 하이퍼 매개 변수는 데이터 과학자가 모델 학습 프로세스를 제어할 수 있게 하는 조정 가능한 매개 변수입니다. 예를 들어, 데이터 과학자는 신경망을 사용하여 숨겨진 레이어 수와 각 레이어의 노드 수를 결정합니다. 하이퍼 매개 변수 최적화라고도 하는 하이퍼 매개 변수 튜닝은 최상의 성능을 발휘하는 하이퍼 매개 변수 구성을 찾는 프로세스입니다.

일반적인 질문은 "어떤 기계 학습 알고리즘을 사용해야 하나요?"입니다. 기계 학습 알고리즘은 데이터 세트를 모델로 전환합니다. 데이터 과학자가 선택하는 알고리즘은 주로 데이터 과학 시나리오의 두 가지 서로 다른 측면에 따라 결정됩니다.

• 데이터 과학자가 과거 데이터에서 학습하여 답변하고 싶은 비즈니스 질문은 무엇인가요?
• 정확도, 학습 시간, 선형성, 매개 변수 수, 기능 수 등 데이터 과학 시나리오의 요구 사항은 무엇인가요?

이러한 질문에 답변하도록 돕기 위해 Azure Machine Learning 디자이너는 다중 클래스 의사 결정 포리스트, 추천 시스템, 신경망 회귀, 다중 신경망 및 K-평균 클러스터링과 같은 포괄적인 알고리즘 포트폴리오를 제공합니다. 각 알고리즘은 다양한 유형의 기계 학습 문제를 해결하기 위해 고안되었습니다. 또한 Azure Machine Learning 알고리즘 치트 시트는 데이터 과학자가 비즈니스 질문에 답변하는 데 적합한 알고리즘을 선택할 수 있도록 도와줍니다.

7. 모델 배포

데이터 과학자는 설명서가 포함된 최종 모델을 제공하고 새 데이터 세트를 테스트 후 프로덕션에 배포하므로 비즈니스에 능동적으로 참여할 수 있습니다. 배포된 모델의 예측을 비즈니스 의사 결정에 사용할 수 있습니다.

8. 결과 시각화 및 전달

Microsoft Power BI, Tableau, Apache Superset, Metabase와 같은 시각화 도구를 사용하면 데이터 과학자가 데이터를 쉽게 탐색하고 기술 전문가가 아닌 대상 그룹이 쉽게 이해할 수 있는 방식으로 결과를 보여 주는 멋진 시각화를 생성할 수 있습니다.

또한 데이터 과학자는 데이터 수집, 검색, 분석, 시각화 및 공동 작업을 위한 프로세스의 대부분에서 Zeppelin Notebook과 같은 웹 기반 데이터 과학 Notebook을 사용할 수 있습니다.

데이터 과학 방법

데이터 과학자는 가설 테스트, 인자 분석, 회귀 분석 및 클러스터링과 같은 통계적 방법을 사용하여 통계적으로 적절한 인사이트를 확보합니다.

데이터 과학 설명서

데이터 과학 설명서는 프로젝트 및 업계에 따라 다르지만 일반적으로 데이터의 출처와 수정 방법을 보여 주는 설명서를 포함합니다. 이 설명서는 데이터 팀의 다른 구성원이 데이터를 효과적으로 활용할 수 있도록 도와줍니다. 예를 들어, 설명서는 비즈니스 분석가가 시각화 도구를 사용하여 데이터 세트를 해석하는 데 도움이 됩니다.

데이터 과학 설명서의 유형은 다음과 같습니다.

• 프로젝트 계획: 프로젝트의 비즈니스 목표, 평가 메트릭, 리소스, 타임라인 및 예산을 정의합니다.
• 데이터 과학 사용자 스토리: 데이터 과학 프로젝트에 대한 아이디어를 생성합니다. 데이터 과학자는 관련자의 관점에서 관련자가 달성하고자 하는 사항과 관련자가 프로젝트를 요청하는 이유를 설명하는 스토리를 작성합니다.
• 데이터 과학 모델 설명서: 데이터 세트, 실험 디자인 및 알고리즘을 문서화합니다.
• 지원 시스템 설명서: 사용자 가이드, 시스템 유지 관리를 위한 인프라 설명서 및 코드 설명서가 포함됩니다.