์ถ์ฒ: ๋ฐ์ดํฐ ๋ฆฌํฐ๋ฌ์
01. ๋ฐ์ดํฐ ๋ฆฌํฐ๋ฌ์
[์์ ๋ชฉํ]
- ๋ฐ์ดํฐ๋ฅผ ์ฌ๋ฐ๋ฅด๊ฒ ํ์ฉํ๊ณ ํด์ํ ์ ์๋ ์ญ๋์ธ ๋ฐ์ดํฐ ๋ฆฌํฐ๋ฌ์์ ๋ํด์ ์์๋ด์
[๋ชฉ์ฐจ]
1) ๋ฐ์ดํฐ ๋ฆฌํฐ๋ฌ์์ ์ ์
2) ๋ฐ์ดํฐ ๋ถ์์ ๋ํ ์ฐฉ๊ฐ
3) ๋ฐ์ดํฐ ํด์ ์ค๋ฅ ์ฌ๋ก
4) โ ๋ฐ์ดํฐ ๋ฆฌํฐ๋ฌ์ ํ์ฉ ์์
5) ๋ฐ์ดํฐ ๋ฆฌํฐ๋ฌ์๊ฐ ํ์ํ ์ด์
5) ๋ฐ์ดํฐ ๋ฆฌํฐ๋ฌ์๊ฐ ํ์ํ ์ด์ | Notion
โ๏ธ ๋ฐ์ดํฐ ๋ถ์์ ๋ํ ์ ๊ทผ๋ฒ
teamsparta.notion.site
01. ๋ฐ์ดํฐ ๋ฆฌํฐ๋ฌ์
๋ฐ์ดํฐ๋ฅผ ์ฌ๋ฐ๋ฅด๊ฒ ํ์ฉํ๊ณ ํด์ํ ์ ์๋ ์ญ๋์ธ ๋ฐ์ดํฐ ๋ฆฌํฐ๋ฌ์์ ๋ํด์ ์์๋ด์ ๐
1) ๋ฐ์ดํฐ ๋ฆฌํฐ๋ฌ์์ ์ ์
โ๏ธ ๋ฐ์ดํฐ ๋ฆฌํฐ๋ฌ์(Data Literacy)
- ๋ฐ์ดํฐ๋ฅผ ์ฝ๋ ๋ฅ๋ ฅ
- ๋ฐ์ดํฐ๋ฅผ ์ดํดํ๋ ๋ฅ๋ ฅ
- ๋ฐ์ดํฐ๋ฅผ ๋นํ์ ์ผ๋ก ๋ถ์ํ๋ ๋ฅ๋ ฅ
- ๊ฒฐ๊ณผ๋ฅผ ์์ฌ์ํต์ ํ์ฉํ ์ ์๋ ๋ฅ๋ ฅ
โ๏ธ ๋ฐ์ดํฐ ๋ฆฌํฐ๋ฌ์๋?
- ๋ฐ์ดํฐ ์์ง๊ณผ ๋ฐ์ดํฐ ์์ฒ์ ์ดํดํ๊ณ
- ์ฃผ์ด์ง ๋ฐ์ดํฐ์ ๋ํ ๋ค์ํ ํ์ฉ๋ฒ์ ์ดํดํ๊ณ
- ๋ฐ์ดํฐ๋ฅผ ํตํ ํต์ฌ์งํ๋ฅผ ์ดํดํ๋ ๊ฒ
- ๋ฐ์ดํฐ ๋ฆฌํฐ๋ฌ์๋ ์ฌ๋ฐ๋ฅธ ์ง๋ฌธ์ ๋์ง ์ ์๋๋ก ๋ง๋ค์ด ์ค -> ๋ ์ค์ค๋ก์๊ฒ ์ง๋ฌธ์!
2) ๋ฐ์ดํฐ ๋ถ์์ ๋ํ ์ฐฉ๊ฐ
โ๏ธ ๋ฐ์ดํฐ ๋ถ์์ ๋ํ ์ฐฉ๊ฐ
- ๋ฐ์ดํฐ๋ฅผ ์ ๋ถ์ํ๋ฉด ๋ฌธ์ , ๋ชฉ์ , ๊ฒฐ๋ก ์ด ๋์ฌ ๊ฒ์ด๋ผ๊ณ ์๊ฐ
- ๋ฐ์ดํฐ๋ฅผ ์ ๊ฐ๊ณตํ๋ฉด ์ ์ฉํ ์ ๋ณด๋ฅผ ์ป์ ์ ์๋ค๊ณ ์๊ฐ
- ๋ถ์์ ์คํจํ๋ฉด ๋ฐฉ๋ฒ๋ก , ์คํฌ์ด ๋ถ์กฑํ ๊ฒ์ด๋ผ๊ณ ์๊ฐ
3) ๋ฐ์ดํฐ ํด์ ์ค๋ฅ ์ฌ๋ก
โ๏ธ ์ฌ์จ์ ์ญ์ค (Simpson’s Paradox)
- ์ฌ์จ์ ํจ๋ฌ๋
์ค๋ '๋ถ๋ถ'์์ ์ฑ๋ฆฝํ ๋์ ๊ด๊ณ๊ฐ ๊ทธ ๋ถ๋ถ๋ค์ ์ข
ํฉํ '์ ์ฒด'์ ๋ํด์๋ ์ฑ๋ฆฝํ์ง ์๋ ๋ชจ์์ ์ธ ๊ฒฝ์ฐ๋ฅผ ๋งํ๋ค.
- ์ ํ๋ ์๊ตญ ๊ณต๊ณต๋ณด๊ฑด๊ตญ์์ 2021๋ 8์ ๋ฐํํ ์ฝ๋ก๋ ๋ณ์ด ๋ฐ์ด๋ฌ์ค์ ๋ํ ๋ธ๋ฆฌํ ์๋ฃ
- ๋ฐฑ์ ๋ฏธ์ ์ข ์์ ์น๋ช ๋ฅ 0.17%, ๋ฐฑ์ 2์ฐจ ์ ์ข ์๋ฃ ์น๋ช ๋ฅ 0.86%
- ๋ฐฑ์ ์ ์ข ์๋ฃ์์ ์น๋ช ๋ฅ ์ด ๋ฏธ์ ์ข ์์ ๋นํด 5๋ฐฐ ์ด์ ๋ ๋๊ฒ ๋ํ๋ ์๋ฌธ์ค๋ฌ์ด ๊ฒฐ๊ณผ
- ํ์ง๋ง ๋๋์ด ์๊ฐํ๋ค๋ฉด?
๋ฐ์ดํฐ๋ฅผ 50์ธ ๋ฏธ๋ง๊ณผ 50์ธ ์ด์์ผ๋ก ๋๋์ด ์ดํด๋ณด๋ฉด ๋ค๋ฅธ ๊ฒฐ๊ณผ๋ฅผ ํ์ธํ ์ ์์
50์ธ ๋ฏธ๋ง ์ง๋จ์์๋ ๋ฐฑ์ ๋ฏธ์ ์ข ์์ ์น๋ช ๋ฅ ์ด 0.03%, ์ ์ข ์๋ฃ์์ ์น๋ช ๋ฅ ์ด 0.05%
์ ์ข ์๋ฃ์์ ์น๋ช ๋ฅ ์ด ๋ ๋๊ธฐ๋ ํ์ผ๋, ์์ชฝ ๋ชจ๋ ๋ฎ์ ์์ค์ ์น๋ช ๋ฅ ์ ๋ํ๋
50์ธ ์ด์ ์ง๋จ์์๋ ๋ฐฑ์ ๋ฏธ์ ์ข ์์ ์น๋ช ๋ฅ ์ด 5.96%, ์ ์ข ์๋ฃ์์ ์น๋ช ๋ฅ ์ด 1.81%
๋ฏธ์ ์ข ์์ ์น๋ช ๋ฅ ์ด ์ ์ข ์๋ฃ์์ ๋นํด 3๋ฐฐ ์ด์ ๋๊ฒ ๋ํ๋จ
์ฆ, ๊ฐ๋ณ ์ฐ๋ น ์ง๋จ ๋ด์์ ์ดํด๋ณด๋ฉด, 50์ธ ๋ฏธ๋ง์ ๋ฐฑ์ ์ ์ข ์ฌ๋ถ์ ๊ด๊ณ์์ด ์น๋ช ๋ฅ ์ด ๋งค์ฐ ๋ฎ์๊ณ , 50์ธ ์ด์์ ์ํ๊ตฐ์์๋ ๋ฐฑ์ ์ด ์น๋ช ๋ฅ ์ ๋ฎ์ถ๋ ํจ๊ณผ๊ฐ ์์
- ์ ์ฒด์ ๋ํ ๊ฒฐ๋ก ์ด ์ธ์ ๋ ๊ฐ๋ณ ์ง๋จ์ ๊ทธ๋๋ก ์ ์ฉ๋๋ ๊ฒ์ ์๋
- ๋ฐ์ดํฐ์ ๊ธฐ๋ฐํ ๊ฒฐ๋ก ์ด๋ผ๊ณ ํด์ ์ด๋ฅผ ๋งน๋ชฉ์ ์ผ๋ก ๋ฐ์๋ค์ฌ์๋ ์๋จ
โ๏ธ ์๊ฐํ๋ฅผ ํ์ฉํ ์๊ณก
- ์๋ฃ์ ํํ ๋ฐฉ๋ฒ์ ๋ฐ๋ผ์ ํด์์ ์ค๋ฅ ์ฌ์ง๊ฐ ์กด์ฌ
- ๋งคํด ๋
ธ๋์์ ์๋ณธ๊ฐ๊ฐ ๋ฒ๋ ์๊ฐ๋น ์ก์์ ์ฆ๊ฐ๋ฅผ ์ธ ๊ฐ์ง ๋ฐฉ์์ผ๋ก ๋ํ๋ธ ์ฌ๋ก (ใThe Economistใ์ ์๋ฃ)
- ์ผ์ชฝ์ ์๋ ๊ทธ๋๋ก์ ์๋ฃ
- ์ค๊ฐ์ ์ฆ๊ฐ๋์ ๋ก๊ทธ๋ฅผ ์ทจํ ์๋ฃ
- ์ค๋ฅธ์ชฝ์ ๋ ธ๋์์ ์๋ณธ๊ฐ์ ์ต์ด ์์ ์ 100%๋ก ๋๊ณ ์ดํ์ ์ฆ๊ฐ์จ์ ๋ํ ์๋ฃ
- ์ผ์ชฝ ๊ทธ๋ํ์์๋ ๋ ธ๋์์ ์๊ธ์ด ํ์ ํ ๋ฎ์ ๊ฒ์ ํ์ธ ํ ์ ์์
- ์ค๊ฐ ๊ทธ๋ํ์์๋ ๋ ธ๋์๋ค์ ์๊ธ ์ฆ๊ฐ๊ฐ ๊ธ๊ฒฉํ๊ฒ ์ด๋ฃจ์ด์ ธ ์๋ค๊ณ ํด์๋ ์ฌ์ง ์กด์ฌ
- ์ค๋ฅธ์ชฝ ๊ทธ๋ํ์์๋ ๋ ธ๋์๋ค์ ์๊ธ ์ฆ๊ฐ๊ฐ ์๋ณธ๊ฐ์ ์์ ์ฆ๊ฐ๋ฅผ ํจ์ฌ ๋ฅ๊ฐํ๋ค๊ณ ํด์ํ ์ฌ์ง ์กด์ฌ
โ๏ธ ์ํ๋ง ํธํฅ (Sampling Bias)
- ์ ์ฒด๋ฅผ ๋ํํ์ง ๋ชปํ๋ ํธํฅ๋ ์ํ ์ ์ ์ผ๋ก ์ธํด ์ค๋ฅ๊ฐ ๋ฐ์
- 1936๋ ๋ฏธ๊ตญ ๋ํต๋ น ์ ๊ฑฐ์์ Literary Digest ์ก์ง์ฌ๊ฐ ์ฒ๋ง ๋ช ์๊ฒ ์ฐํธ๋ฌผ์ ๋ณด๋ด ์ํํ ๋๊ท๋ชจ ์ฌ๋ก ์กฐ์ฌ ์ฌ๋ก
- 240๋ง ๋ช ์ ์๋ต์ ๋ฐ์๊ณ ๋๋์ด ์ ๊ฑฐ์์ 57% ๋ํ๋ฅผ ์ป์ ๊ฒ์ด๋ผ๊ณ ๋์ ์ ๋ขฐ๋๋ก ์์ธกํ์ง๋ง, ๋ฃจ์ฆ๋ฒจํธ๊ฐ 62% ๋ํ๋ก ๋น์
- ๋ฌธ์ ๋ Literary Digest์ ์ํ๋ง ๋ฐฉ๋ฒ
- ์ฒซ์งธ, ์ฌ๋ก ์กฐ์ฌ์ฉ ์ฃผ์๋ฅผ ์ป๊ธฐ ์ํด ์ ํ๋ฒํธ๋ถ, ์์ฌ์ ๊ตฌ๋ ์ ๋ช ๋ถ, ํด๋ฝ ํ์ ๋ช ๋ถ ๋ฑ์ ์ฌ์ฉ. ์ด๋ฐ ๋ช ๋ถ๋ ๋ชจ๋ ๊ณตํ๋น(๋ฐ๋ผ์ ๋๋)์ ํฌํํ ๊ฐ๋ฅ์ฑ์ด ๋์ ๋ถ์ ํ ๊ณ์ธต์ ํธ์ค๋ ๊ฒฝํฅ์ด ์กด์ฌ
- ๋์งธ, ์ฐํธ๋ฌผ ์์ ์ ์ค 25% ๋ฏธ๋ง์ ์ฌ๋์ด ์๋ต. ์ด๋ ์ ์น์ ๊ด์ฌ ์๋ ์ฌ๋, Literary Digest๋ฅผ ์ซ์ดํ๋ ์ฌ๋๊ณผ ๋ค๋ฅธ ์ค์ํ ๊ทธ๋ฃน์ ์ ์ธ์ํด์ผ๋ก์จ ์ญ์ ํ๋ณธ์ ํธํฅ๋๊ฒ ๋ง๋ฆ
- ํ๋ณธ์ด ํธํฅ๋๋ฉด์ ์ค์ ์๋ ๋ค๋ฅด๊ฒ ํด์ํ๊ฒ ๋ ์ ์์
โ๏ธ ์๊ด๊ด๊ณ์ ์ธ๊ณผ๊ด๊ณ
- ์๊ด๊ด๊ณ
- ๋ ๋ณ์๊ฐ ์ผ๋ง๋ ์ํธ ์์กด์ ์ธ์ง๋ฅผ ํ์ ํ๋ ๊ฒ์ ์๋ฏธ
- ํ์ ๋ฐฉ๋ฒ์ ํ ๋ณ์๊ฐ ์ฆ๊ฐํ๋ฉด ๋ค๋ฅธ ๋ณ์๋ ๋ฐ๋ผ์ ์ฆ๊ฐ/๊ฐ์ํ๋ ๊ทธ ์ถ์ด๋ฅผ ๋ฐ๋ฆ
- ์ธ๊ณผ๊ด๊ณ
- ์ค์ง์ ์ผ๋ก ํ๋์ ์์ธ์ผ๋ก ์ธํด ๋ค๋ฅธ ์์ธ์ ์์น๊ฐ ๋ณํ๋ ํํ๋ฅผ ์๋ฏธ
- ์์ธ๊ณผ ๊ฒฐ๊ณผ๊ฐ ๋ช ํํ ๊ฒ
- ์ฌ๋ก
- 1940๋ ๋ ๋ณด๊ฑด ์ ๋ฌธ๊ฐ์ ์์๋ง๋น์ ์์ด์คํฌ๋ฆผ ์ญ์ทจ ๊ฐ์ ์ฐ๊ตฌ ๊ฒฐ๊ณผ
- ๋น์ ๋ณด๊ฑด ์ ๋ฌธ๊ฐ๋ ์์๋ง๋น์ ์์ด์คํฌ๋ฆผ ์ญ์ทจ๋์ ์๊ด๊ด๊ณ๊ฐ ์๋ ๊ฒ์ ๋ฐ๊ฒฌ, ์ ๊ตญ์ ์์๋ง๋น ์๋ฐฉ์ ์ํด ์์ด์คํฌ๋ฆผ ์ญ์ทจ๋์ ์ค์ผ ๊ฒ์ ๊ถ๊ณ
- ์์๋ง๋น๋ ์ฌ๋ฆ์ ๋ง์ด ๋ฐ์
- ์์ด์คํฌ๋ฆผ์ ์ฌ๋ฆ์ ํ๋งค๋์ด ๊ธ์ฆ
- ์ฆ ์์๋ง๋น์ ์์ด์คํฌ๋ฆผ ์ญ์ทจ ๊ฐ์๋ ์ด๋ค ์ธ๊ณผ๊ด๊ณ๋ ์กด์ฌํ์ง ์์
- ๋จ์ํ ๋ ์จ๋ผ๋ ๋ณ์๋ก ์ธํด ๊ณตํต์ผ๋ก ์ํฅ์ ์ฃผ๊ฒ ๋จ
- ์๊ด๊ด๊ณ๋ ์ธ๊ณผ๊ด๊ณ๊ฐ ์๋ ๊ฒ์ ํญ์ ์ ์ํด์ผ ํจ
- ์๊ด๊ด๊ณ๋ง์ผ๋ก ์ฃ๋ถ๋ฆฌ ์์ฌ๊ฒฐ์ ํ์ง ์๊ธฐ
- ์์ชฝ์ ๋ชจ๋ ํ์ฉํ์ฌ ํฉ๋ฆฌ์ ์ธ ์์ฌํ๋จ ํ๊ธฐ
4) โ ๋ฐ์ดํฐ ๋ฆฌํฐ๋ฌ์ ํ์ฉ ์์
Q1. ์ ๊ทธ๋ํ๋ฅผ ํตํด ์ด๋ค ๊ฒ์ ๋งํ ์ ์๋์?
๐ก๊ฐ๋ฐ->๋ง์ผํ ->์ธ์ฌ,์์ ->์ฌ๋ฌด->๊ณ ๊ฐ์ง์ ์์ผ๋ก ์ธ์์ด ๋ง๋ค
Q2. ์ด ๊ทธ๋ํ๋ฅผ ์์ฑํ ์ฌ๋์ ๋ฌด์์ ๋งํ๊ณ ์ถ์์๊น์?
๐ก๊ณ ๊ฐ์ง์ ์ธ์์๊ฐ ์ ์ผ๋ ์ธ์ ์ถฉ์์ด ํ์ํ๊ฒ ๋ค, ๊ฐ๋ฐ์ด๋ ๋ง์ผํ ์ง๋ฌด์ ์ธ์์ด ๋ง์ผ๋ ๊ฐ์ถ์ด ํ์ํ๋ค, ํ์ฌ ๊ฐ๋ฐ๊ณผ ๋ง์ผํ ์ ์ธ์์๊ฐ ๋ชฐ๋ ค์๋ ์ด์ ๊ฐ ์์ํ ๋ฐ ์๋ง๋ ์ด ํ์ฌ์ ์์ ์ด์ต์ ๊ฐ๋ฐ์ด๋ ๋ง์ผํ ์ด ์ฃผ๊ฐ ๋๋๋ณด๋ค.
A. ํจ๊ปํ๊ธฐ
๐ก ex) ์๋์ ์ผ๋ก ๊ณ ๊ฐ์ง์ํ์ ์ธ๋ ฅ์ด ๋๋ฌด ์ ์ด์ ์ถฉ์์ด ํ์ํ๋ค. ์ ์ฒด ์ธ์ ๋๋น ๋ง์ผํ ํ์ ๋๋ฌด ๋ง์ ์ธ๋ ฅ์ด ์์ด ๊ฐ์ถ์ด ํ์ํ๋ค.
๋ต์ ์ ํด์ ธ ์์ง ์์์ ๐
- ์ ๋ฆฌ
- Q1: ๋ฐ์ดํฐ๋ฅผ ์ฝ๋ ๊ฒ
- Q2: ๋ฐ์ดํฐ ์์ ์ ์๊ณ ์ถ์ ๊ฒ์ ์๊ฐํด๋ณด๋ ๋ชฉ์ ์ฌ๊ณ ์ ๋ฐฉ์
5) ๋ฐ์ดํฐ ๋ฆฌํฐ๋ฌ์๊ฐ ํ์ํ ์ด์
โ๏ธ ๋ฐ์ดํฐ ๋ถ์์ ๋ํ ์ ๊ทผ๋ฒ
- ํฌ๊ฒ 3๊ฐ์ง ๋จ๊ณ๋ก ๊ตฌ๋ถ
- ๋ฌธ์ ๋ฐ ๊ฐ์ค์ ์
- ๋ฐ์ดํฐ ๋ถ์
- ๊ฒฐ๊ณผ ํด์ ๋ฐ ์ก์ ๋์ถ
- โญ์ ๋จ๊ณ ์ค ‘์๊ฐ’์ด ์ฃผ์ํ ๋จ๊ณ์์ ๋ฐ์ดํฐ ๋ฆฌํฐ๋ฌ์(์ฝ๊ณ , ์ดํดํ๊ณ ,๋ถ์ํ๊ณ , ํ์ฉํ๋ ๊ฒ)๊ฐ ํ์
- โญ ๋ฐ์ดํฐ ๋ถ์์ด ๋ชฉ์ ์ด ๋์ง ์๋๋ก ‘์?’๋ฅผ ํญ์ ์๊ฐํด์ผ ํจ