데이터 분석 입문 : 1. 기초 프로젝트 (🗨️첫 팀프로젝트)_회고 및 정리

우선 데이터분석 업무를 할 땐, 이런 과정을 거치는 것이 중요함!

---

🔥 Intro: "ON AIR 분석 절차를 기반으로한 프로젝트" - 기초 프로젝트

 

 

1. Objective (목표)

• 프로젝트 목표: 이 프로젝트의 주요 목표를 명확히 기술합니다. 어떤 문제를 해결하고자 하는지 또는 어떤 비즈니스 목표를 달성하려는지를 설명합니다.
• 예상 결과물: 이 프로젝트를 통해 기대되는 결과물과 도출하고자 하는 인사이트를 명시합니다.

2. Necessary data (데이터)

• 데이터 소스: 사용할 데이터의 출처를 설명하고, 필요한 데이터 유형과 범위를 명시합니다.
• 데이터 수집 계획: 데이터를 수집하기 위한 계획과 방법을 기술합니다. 데이터 수집의 정확성과 완전성을 보장하기 위한 조치를 고려합니다.

3. Analytics (분석)

• 분석 방법: 사용할 데이터 분석 기법과 모델을 선정하고, 분석을 위한 절차를 설명합니다.
• 데이터 처리: 데이터를 정제하고 전처리하는 방법을 기술하고, 분석에 필요한 데이터의 품질을 확인합니다.
• 시각화 계획: 데이터를 시각적으로 표현하여 인사이트를 도출하는 계획을 제시합니다.

4. Interpretation (해석)

• 분석 결과 해석: 분석 결과를 해석하고, 비즈니스에 어떻게 적용할 수 있는지를 설명합니다.
• 인사이트 도출: 데이터에서 도출된 인사이트와 향후 전략 수립을 위한 제언을 제시합니다.

5. Report (보고)

• 보고서 구조: 보고서의 구조와 형식을 정의하고, 어떤 정보를 포함할 것인지를 설명합니다.
• 시각화 활용: 보고서에 사용할 시각화 도구 및 방법을 결정하고, 강조할 요소를 구체화합니다.
• 보고서 작성 일정: 보고서 작성 및 발표 일정을 계획하고, 이를 관리할 방법을 기술합니다.

---

프로젝트 시 참고 사항

📚 주요 데이터 분석 라이브러리

• Pandas: 데이터 조작 및 분석
• NumPy: 수치 연산
• Matplotlib: 기본 데이터 시각화
• Seaborn: 통계적 시각화
• Altair: 상호작용형 데이터 시각화

🔍 주요 함수

데이터 기본 정보 확인

• display(), shape, dtypes, values, columns
• info(): 데이터 구조 요약 정보
• transpose(): 행과 열 전환

데이터 기술 통계 및 결측치 확인

• describe(): 기본 통계 요약
• isnull(): 결측값 탐색
• drop(): 결측값 제거

데이터 결합 및 재구성

• join(), merge(), concat(), append(): 데이터 결합
• pivot_table(): 피벗 테이블 생성

데이터 필터링 및 집계

• where(), mask(): 조건부 데이터 선택
• groupby(), agg(sum, min, max, count, nunique, mode): 데이터 그룹화 및 요약

데이터 정리 및 변환

• sort_values(): 값 기준 데이터 정렬
• split(): 문자열 분리
• to_numeric(): 데이터 타입 변환
• fillna(): 결측값 대체

🧩 이상치 및 결측치 처리 기법

• 이상치 탐색: Z-score와 IQR을 사용하여 비정상적 데이터 포인트 탐지
• 결측치 처리: KNN을 통한 결측값 대체

 

프로젝트 평가 항목

---

타이타닉호 사고 생존 관련 데이터분석 프로젝트

탐색적 데이터 분석(Exploratory Data Analysis: EDA)

“데이터 시각화 및 통계분석을 통해 데이터를 이해하고 문제를 정의하고, 가설을 수립한다.”

 

EDA Tasks

1. 데이터 기본 정보 확인

• Data dictionary (변수명, 변수 유형, 변수 정의, input/output 등)

• Data shape

 

2. 데이터 정제

• 결측치(missing values) 및 이상치(outliers)의 확인 및 처리

 

3. 데이터 분포 확인

• 단변량(univariate) 및 다변량(multivariate) 분포

• 기술통계(descriptive statistics) 및 분포 시각화

 

4. 데이터 분석을 위한 가설 수립

⭐ 정의된 문제의 해결에 관련된 패턴을 추출하고 이에 대한 가설을 수립한다 ⭐

• 특이 트렌드 관찰

• 변수 간 상관관계 분석

1) 문제 정의(Problem Definition)

ex) “타이타닉호 탑승객 관련 정보를 기반으로 사고 후 생존자를 예측한다.”

 

2) Data Dictionary

데이터 딕셔너리(Data Dictionary)를 작성하고 데이터를 확인한다.

 

3) 결측치(Missing Data) 확인

 

4) 타겟 변수 분석

5) 입력 변수 분석

6) 입력 변수 교차 분석

 

 

탐색적 데이터 분석(EDA) 결과 요약

 

 ▪ 성별

   • 여성이 남성에 비해 생존율이 높음.

 

▪ 티켓 등급

   • 티켓 등급이 높을 수록 생존율이 높음

 

 ▪ 나이

   • 5-10세의 생존율이 가장 높음.

   • 15-35세의 생존율이 가장 낮음.

 

▪ 승선 항구

   • 승선 항구 별로 티켓 등급, 성별의 분포가 다름.

   • Cherbourg에서 탑승한 승객의 생존율이 가장 높음.

 

▪ 동승 가족

  • 1-2명의 형제자매/배우자, 1-3명의 부모/자녀와 함께 탑승한 경우 혼자 탑승한 경우보다 생존율이 높음.