머신러닝의 이해와 라이브러리 활용 기초_2.회귀분석-선형회귀

3. visual studio code 설치 및 설정

✔️ 머신러닝을 배우기 위한 프로그램을 설치해보고, 머신러닝을 위한 환경인 Jupyter Notebook을 알아봅시다.

 

3.1 머신러닝 실습 소프트웨어

☑️ 머신러닝을 활용하기 위한 대표 소프트웨어

1. Visual Studio Code(a.k.a vscode) - 본 강의 용
   1. Microsoft가 제공하는 소스 코드 에디터. Python 외에도 R, C, Java등 현존하는 대부분 프로그래밍 언어를 제공하며, Copilot 등 다양한 extension이 있는 것이 장점입니다. 로컬 컴퓨터 자원을 사용하기 때문에 사용하는 컴퓨터 환경에 따라 머신러닝 모델 사용이 느릴 수 있습니다.
2. Google Colab
   1. Google이 만든 Jupyter Notebook환경으로, 무료로 GPU 등 고사양의 환경을 이용할 수 있습니다. 다만, 사용할 수 있는 리소스가 임의로 설정되어, 딥러닝 모델 등 리소스를 많이 사용하려면 과금이 필수로 요구 됩니다.
3. Anaconda
   1. 데이터 과학 및 머신러닝 분야에 적합한 Python과 R의 패키지/의존성 및 배포를 편리하게 해주는 오픈 소스 패키지입니다. 데이터 과학에 초점이 맞춰져 있으며, 역시 로컬 컴퓨터 자원을 사용합니다.

☑️ Jupyter Notebook 이란?

• Data Science를 위한 환경으로 오픈소프트웨어 웹 어플리케이션
• 코드작성, 시각화, Markdown을 이용한 문서 작성이 가능
• Jupyter Notebook의 구성요소: Code Cell, Markdown Cell

자연과학, 공과 대학 등 실험을 기반으로 하는 연구는 연구노트를 사용합니다. 기존 script 코드 파일은 실험과 연구에 대한 결과를 남기기엔 메모와 시각화 기능이 약하여 cell 기반으로 연구 노트북의 형태인 Jupyter Notebook이 개발되었습니다. Jupyter Notebook은 vscode, Colab(주피터노트북 그 자체임!), Anaconda 모두 탑재하여서 사용할 수 있지만 우리 강의에서는 vscode를 기준으로 실습하겠습니다.

---

1. 학습 목표

✔️ 머신러닝의 기본! 회귀분석이 무엇인지, 평가척도는 무엇인지 알아봅시다.

 

2. 선형회귀의 사례

✔️ 여러분이 1차 방정식을 갓 배운 학생이라고 가정하고 선형회귀를 적용해보는 사례를 이해해봅시다.

 

2.1 몸무게와 키 상관관계를 찾아내기

📌 방정식을 배운 머신이는 몸무게와 키의 데이터를 획득했다. 일정하게 증가하는 패턴이 있어서 미리 몸무게를 알면 키를 알 수 있을 것이라고 생각했다.

• 키와 몸무게 간의 데이터

weights = [87,81,82,92,90,61,86,66,69,69]
heights = [187,174,179,192,188,160,179,168,168,174]

• 키와 몸무게 간의 산점도

📌 중학교 1학년 때 1차 방정식을 배운 머신이는 키와 몸무게에 대한 데이터가 너무 많아서 무슨 두 점을 이어 직선을 만들지 고민 되었지만, 수 많은 점들을 관통하는 여러 개의 직선을 많이 그려보기로 했다.

 

• 어떤 직선이 현재 데이터를 잘 “설명”한다고 할 수 있을까?

📌 머신이는 3개의 그래프를 그려보니, 아무래도 초록색, 파란색 직선보다는 빨간색 그래프가 적절한 것 같다. 하지만 이렇게 대강 직선을 그리다 보면 적절한 그래프를 찾기 어려울 것 같아 고민이 빠졌다.

 

2.2 Data Scientific 한 발상

• 방법1) 실제 데이터 값 - 직선의 예측 값 = Error
  • ①번 실제 데이터:187, 예측 데이터: 187 Error: 0
  • ②번 실제 데이터: 174, 예측 데이터: 181 Error: -7
  • ③번 실제 데이터: 174, 예측 데이터 : 169 Error: +5

📌 하지만 문제가 또 있었다. 선분을 기준으로 위에 있는 데이터의 거리를 계산하면 양수가 되고, 반대로 아래에 있는 것은 음수가 된다. 이 경우 모든 에러를 합치면 서로 상쇄되는 문제가 있었다. 따라서, 음수를 양수로 만들기 위해 제곱을 하는 방법이 있다는 걸 생각해 냈다.

• 방법2) 각각 Error를 제곱하여 모두 더하기
  • ①, ②,③의 제곱 합: 49 +25 = 71

📌 문제는 하나 더 있었다. 나중에는 데이터를 더 수집할 예정인데, 데이터가 더 늘어날 수록(④,⑤) 에러는 자연스럽게 값이 커질 수 밖에 없는 것이다! 그래서 데이터의 갯수로 나누기로 했다. 또한 데이터가 제곱 되어 있던 것을 줄이기 위해 root를 씌우기로 했다.

 

• 방법3) 전체 에러 합에 데이터의 갯수로 나누기
  • ①, ②,③만 고려한다면 71/3 → 23.7

---

3. 선형회귀 이론

✔️ 머신이가 하려는 방법이 이해가 잘 되었나요? 이번에는 실제 일차 방정식을 통해 수식화 해볼게요.

 

☑️ 선형회귀 용어 정리

📌 머신이는 몸무게를 알면 키를 알 수 있을 것이라 생각했어요. 이를 이용해서 방정식을 세우고 용어를 정리해볼게요. 통계학과 컴퓨터 공학 두 학문을 바탕으로 발전해와서 같은 원리지만 부르는 명칭이 살짝 달라요! 용어를 정리해볼게요

• 공통
  • Y는 종속 변수, 결과 변수 (알고싶은 값)
  • X는 독립 변수, 원인 변수, 설명 변수
• 통계학에서 사용하는 선형회귀 식

• 머신러닝/딥러닝에서 사용하는 선형회귀 식

 

 📌 결국 두 수식이 전달하려고 하는 의미는 같아요. 회귀 계수 혹은 가중치를 값을 알면 X가 주어졌을 때 Y를 알 수 있다는 것이죠! 우리는 편의를 위해 X의 계수는 가중치라고 지칭할게요!

📌 (스포) 몸무게와 키 데이터를 이용해서 선형회귀 식을 만들면, y = 0.86x + 109.37 이 나와요. 이 뜻은, 1kg 증가할때마다 키가 0.86 cm 증가한다는 것으로 해석 할 수 있어요.

 

⁉️ 질문

• Q1) β0​ 는 1차 방정식의 Y절편에 해당하는 걸 알겠어요. 그런데 ε 은 왜 따로 있는건가요?
  • 우리가 몸무게와 키에 대한 선형회귀식을 만들었지만, 해당 식이 모든 데이터를 완벽하게 설명할 수 없어요. 이때 완벽한 설명이란 실제 데이터값 = 예측 데이터 이라고 할 수 있어요. 다시 말해 에러(②,③)의 값을 표현하기 위해서 있는 것 입니다.
• Q2) 가중치(W)를 알게 되면 X값에 대하여 Y값을 예측할 수 있다는 것은 이해가 되는데, 그럼 가중치는 어떻게 구하죠?
  • 이런 물음이 들었다면 머신러닝을 관통하는 질문입니다. 데이터가 충분히 있다면 가중치를 “추정”할 수 있습니다. 이는 심화 내용에서 다루도록 할게요! 이 부분은 현재는 그래프를 수도 없이 그려서 에러를 “최소화”하는 직선을 구한다고 생각하시면 됩니다.

---

4. 회귀분석 평가 지표

✔️ 선형(직선)회귀(돌아갈려고하는거)를 수립하는 방법을 배웠으니 해당 모델이 좋은지 평가하는 방법도 알아봅시다.

 

☑️ 회귀 평가지표 - MSE

📌 머신이가 똑똑하게 에러를 정의한 것을 바탕으로 회귀식의 평가지표를 만들어보겠습니다. 머신이가 정리한 내용을 다시 써볼까요?

• 에러 정의방법
  • 방법1) 에러 = 실제 데이터 - 예측 데이터 로 정의하기
  • 방법2) 에러를 제곱하여 모두 양수로 만들기, 다 합치기
  • 방법3) 데이터만큼 나누기

📌 y값의 머리에 있는 ^ 표기를 hat이라고 하며, 예측(혹은 추정)한 수치에 표기해요! 수식 전체를 보면 이해하기 힘들 수 있지만, 단계별로 확인해보면 어렵지 않아요! 찬찬히 다시 곱씹봅시다.

 

• Mean Squared Erorr(MSE)라고 정의 <Erorr인데 제곱을 했고 평균을 냈어>

 

📌 앞으로 만나는 숫자 예측 문제는 모델을 머신러닝이든 딥러닝이든 어떤 모델을 만들어도 위 MSE 지표를 최소화하는 방향으로 진행하고 평가하게 될거에요!

• 기타 평가 지표

 

4.2 선형회귀만의 평가 지표 - R Square

📌 숫자를 예측하는 회귀분석에서, 선형회귀에서만 평가되는 지표가 1개 더 있어요. 그건 바로 R Square 지표입니다. R Square(R^2)는 전체 모형에서 회귀선으로 설명할 수 있는 정도를 뜻합니다.

어떤 값을 “예측”한다는건 어림짐작으로 평균값보단 예측을 잘해야한다는 것을 의미해요. 예컨대, 키의 평균 값이 176.9인데 이 값으로 모두 예측한 것보다는 잘해야겠죠?

# 회귀: 숫자(Y)를 맞추는 것 <->분류 : 범주(Y=0인가? Y=1인가)를 맞추는 것

 

 

• 3번의 데이터 값은 SST = 174^2, SSR = 169^2
  • 해당 값에 대한 설명력 = 94% ( 169^2/174^2)
  • 단, 모든 데이터에 대해서 위 계산을 수행

---

5.1 라이브러리 설치하기

📌 머신러닝을 수행하기 위한 대표적인 라이브러리는 scikit- learn 입니다. 그 외에도 자주 쓰이는 대표적 라이브러리를 설치해봅시다. 

🚨주의 : Python에서 패키지 이름에 하이픈(-)이 포함될 수 없기 때문에 scikit-learn을 import할 때는 패키지 이름을 sklearn으로 사용해야 합니다.
또한,  VS Code에서 파이썬을 사용할 때는 필요한 라이브러리를 직접 설치( ex. !pip install numpy )해줘야 합니다. VS Code는 Colab처럼 기본적으로 라이브러리를 포함하지 않기 때문입니다.

 

☑️ 데이터 사이언스 파이썬 라이브러리

• scikit-learn: Python 머신러닝 라이브러리
  import sklearn as sk (파이썬에서는!)
• numpy: Python 고성능 수치 계산을 위한 라이브러리
• pandas: 테이블 형 데이터를 다룰 수 있는 라이브러리
• matplotlib: 대표적인 시각화 라이브러리, 그래프가 단순하고 설정 작업 많음
• seaborn: matplot: 기반의 고급 시각화 라이브러리, 상위 수준의 인터페이스를 제공

☑️ 자주 쓰는 함수

• sklearn.linear_model.LinearRegression : 선형회귀 모델 클래스
  • coef_: 회귀 계수
  • intercept: 편향(bias)
  • fit: 데이터 학습
  • predict: 데이터 예측

5.2 (실습) 선형회귀 실습

 ✅ 회귀분석 실습을 해봅시다.

☑️ 키-몸무게 데이터 실습

1. 라이브러리설치
2. 선형회귀 모델 불러오고 훈련하기
3. 산점도 그리기
4. 평가

☑️ tips로 실습

✔️ 파이썬 라이브러리에 내장되어 있는 tip에 대한 데이터로 실제 회귀분석을 진행해봅시다.

📌 식당에서 파트타임으로 일하고 있는 머신이는 이번에는 tip 데이터를 가지고 적용해보기로 했습니다. 돈을 많이 벌고 싶었던 머신이는 전체 금액(X)를 알면 받을 수 있는 팁(Y)에 대한 회귀분석을 진행해볼 예정입니다.

 

1. 데이터 획득

• tips_df.head()

• 컬럼 설명
  • total_bill: 전체 지불금액
  • tip: 팁 금맥
  • sex: 성별
  • smoker: 흡연 유무
  • day: 요일
  • time: 식사 시간(점심, 저녁)
  • size: 식사 인원

2. 선형회귀 훈련하기

3. 평가

 

---