[챌린지]머신러닝 스킬업 - 임영재 튜터

🔍챌린지 3회차

 

[수업 목표]

• 스마트 팩토리 데이터(삼성 스마트팩토리)를 활용한 데이터 분석

---

01. 데이터 설명

스마트팩토리 반도체 공정 최적화

 

1. 데이터 개요 및 목적

• 주제 : 분류 알고리즘을 통한 고장 감지 및 예측
• 목적 :  반도체 공정 과정에서 관측한 센서 데이터를 기반으로 불량품을 분류하고 예측하여 생산 공정 및 스마트 팩토리 운영의 효율성 증대

(1) 시각화 및 EDA분석

(2) 결측치 처리 및 이상치 분석

(3) 머신러닝 분류 모델 사용

• 로지스틱 회귀
• 랜덤포레스트
• XGBoost

(4) 피처 중요도

• 공정 품질 저하를 유발하는 변수의 분포에 따라 공정 품질 저하를 조기감지하고 이에 따라 대응할 수 있는 해결책을 제시할 수 있다
• 시각화 분석의 결과와 머신러닝모델의 평가지표, 피처 중요도에 따라 공정 품질을 높이고 불량률을 낮추는 등을 통해 결과값을 도출한다.

2. 데이터 설명

생산품의 경우 총 5번의 공정을 통해 검사

 

공정단계와 피처이름의 조합으로 이름 붙여진 총 40개의 컬럼과 오불량을 판단하는 Label 컬럼

41개의 column(s)과 16,998개의 Row(s)

 

features_train

센서를 통해 온도,습도를 포함한 8가지의 피처를 측정

 

labels_train

5번의 공정 이 후 제품이 정상인지 불량품인지에 대한 라벨링 부여

정상은 0, 불량은 1

 

02. 데이터 시각화

Boxplot(정말 중요하고 정말 많이 씀)

✅ 설명:

• 데이터의 중앙값, 사분위수, 이상치를 시각화하는 데 사용.

사분위수 이름 설명

Q1	제1사분위수	하위 25% 지점의 값 (25번째 백분위수)
Q2	제2사분위수	중앙값(Median), 전체의 50% 지점
Q3	제3사분위수	상위 25% 지점의 값 (75번째 백분위수)
IQR	사분위 범위	Q3 - Q1 (중간 50% 범위)

• 박스: 1사분위수(Q1)와 3사분위수(Q3) 사이의 범위를 나타냄.
• 가로선: 중앙값(2사분위수, Q2)을 표시.
• 수염(whisker): Q1 - 1.5IQR , Q3 + 1.5IQR 범위의 데이터를 포함.
• 점: 이상치(outlier)를 나타냄.

import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt
import numpy as np

# 샘플 데이터 생성
np.random.seed(42)
df = pd.DataFrame({
    'Metric_A': np.random.normal(0, 1, 100),
    'Metric_B': np.random.normal(1, 1.5, 100),
    'label': np.random.choice([0, 1], 100)
})

plt.figure(figsize=(10, 6))
sns.boxplot(x='label', y='Metric_A', data=df)
plt.title('Boxplot of Metric_A by Label')
plt.xlabel('Label')
plt.ylabel('Metric_A')
plt.show()

💡 해석:

• 각 label(0,1) 별로 중앙값, 분포 범위, 이상치를 직관적으로 확인할 수 있음.
• 분포의 왜도나 이상치 유무 파악에 용이.

Violint Plot

✅ 설명:

• Boxplot + KDE(커널 밀도 추정)가 결합된 형태.
• 중앙의 흰 점은 중앙값, 두꺼운 막대는 IQR, 양쪽의 모양은 데이터의 밀도 분포를 나타냄.
• Boxplot보다 데이터의 밀도 분포를 더 명확하게 시각화 가능.

import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt
import numpy as np

# 샘플 데이터 생성
np.random.seed(42)
df = pd.DataFrame({
    'Metric_A': np.random.normal(0, 1, 100),
    'Metric_B': np.random.normal(1, 1.5, 100),
    'label': np.random.choice([0, 1], 100)
})

plt.figure(figsize=(10, 6))
sns.violinplot(x='label', y='Metric_A', data=df, inner='quartile', palette='Set2')
plt.title('Violin Plot of Metric_A by Label')
plt.xlabel('Label')
plt.ylabel('Metric_A')
plt.show()

💡 해석:

• 양옆의 "바이올린" 모양은 데이터가 많이 분포된 구간이 넓게 표시됨.
• inner='quartile' 옵션으로 중앙값과 IQR 표시.
• 데이터의 밀도 차이까지 한눈에 확인 가능.
• 단점이 있어. 데이터의 핵심은 이상치랑 결측값이야. 따라서 이상치가 있다면 박스플롯이 더 나을수도 있어!

KDE Plot

 

✅ 설명:

• 데이터의 분포를 부드럽게 추정한 확률 밀도 함수(PDF)를 시각화.
• 히스토그램보다 부드럽고 직관적으로 분포를 보여줌.
• 두 개 이상의 분포를 비교할 때 효과적.

import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt
import numpy as np

# 샘플 데이터 생성
np.random.seed(42)
df = pd.DataFrame({
    'Metric_A': np.random.normal(0, 1, 100),
    'Metric_B': np.random.normal(1, 1.5, 100),
    'label': np.random.choice([0, 1], 100)
})

plt.figure(figsize=(10, 6))
sns.kdeplot(df[df['label'] == 0]['Metric_A'], label='Label 0', fill=True, alpha=0.5)
sns.kdeplot(df[df['label'] == 1]['Metric_A'], label='Label 1', fill=True, alpha=0.5)
plt.title('KDE Plot of Metric_A by Label')
plt.xlabel('Metric_A')
plt.ylabel('Density')
plt.legend()
plt.show()

💡 해석:

• Label 0과 Label 1의 분포를 부드럽게 비교 가능.
• 겹치는 부분의 색이 진해지므로 분포의 유사성을 직관적으로 파악 가능.
• fill=True로 면적을 채워 가독성 향상.

ECDF Plot 

✅ 설명:

• 누적 분포를 시각화.
• 데이터가 특정 값 이하일 확률을 누적해서 표시.
• 분포의 차이를 누적 확률 관점에서 비교 가능.

import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt
import numpy as np

# 샘플 데이터 생성
np.random.seed(42)
df = pd.DataFrame({
    'Metric_A': np.random.normal(0, 1, 100),
    'Metric_B': np.random.normal(1, 1.5, 100),
    'label': np.random.choice([0, 1], 100)
})

plt.figure(figsize=(10, 6))
sns.ecdfplot(df[df['label'] == 0]['Metric_A'], label='Label 0')
sns.ecdfplot(df[df['label'] == 1]['Metric_A'], label='Label 1')
plt.title('CDF Plot of Metric_A by Label')
plt.xlabel('Metric_A')
plt.ylabel('Cumulative Probability')
plt.legend()
plt.show()

 

이 외에도.. 

https://matplotlib.org/stable/

Matplotlib documentation — Matplotlib 3.10.0 documentation

 

https://seaborn.pydata.org/

seaborn: statistical data visualization — seaborn 0.13.2 documentation

 

🔍 오늘의 요약

1. 시각화 plot

Boxplot	중앙값, IQR, 이상치 시각화	간단한 분포 비교, 이상치 확인
Violin Plot	Boxplot + 분포 밀도 확인	데이터 분포의 밀도까지 보고 싶을 때
KDE Plot	부드러운 확률 밀도 함수 표시	분포의 형태 비교, 밀도 차이 분석
CDF Plot	누적 분포 비교, 분산 및 중앙값 차이 확인	누적 확률 분석, 분포 간 격차 파악

 

---

import seaborn as sns

import matplotlib.pyplot as plt

columns = df_concat.columns

corr_matrix = df_concat[columns].corr()

plt.figure(figsize=(28, 26))

sns.heatmap(corr_matrix, annot=True, cmap='coolwarm', fmt='.2f', linewidths=0.5, square=True)

plt.title('Correlation Matrix of Flow Deviation')

plt.show()

concat코드를 썼을 때, 아래와 같이 그래프가 나왔다면~

1) 맨 아래애 회색으로 보이는 값들이 있네. 뭔지는 모르겠지만 의미있는 값인 것 같군.

2) 대각선만 1이 나와야하는데, 중간중간 1이 보인다. 아.. 다중공산성 문제가 보이는 데이터도 보인다!!!!!