๊ฐœ๋ฐœ Code/์ธ๊ณต์ง€๋Šฅ A.I.

[Python][AI] ํƒ์ƒ‰์  ๋ฐ์ดํ„ฐ ๋ถ„์„(EDA) - ์™€์ธ ํ’ˆ์งˆ ๋ฐ์ดํ„ฐ์…‹ (Wine Quality Dataset) - 1

5hr1rnp 2025. 1. 23. 17:04
๋ฐ˜์‘ํ˜•

 

 

  ํƒ์ƒ‰์  ๋ฐ์ดํ„ฐ ๋ถ„์„(EDA, Exploratory Data Analysis)๋Š” ๋ฐ์ดํ„ฐ ๋ถ„์„์˜ ์ฒซ ๋‹จ๊ณ„๋กœ, ๋ฐ์ดํ„ฐ๋ฅผ ์‹œ๊ฐ์ ์œผ๋กœ ํƒ์ƒ‰ํ•˜๊ณ  ์š”์•ฝ ํ†ต๊ณ„๋ฅผ ํ™•์ธํ•˜๋ฉฐ ๋ฐ์ดํ„ฐ์˜ ํŠน์„ฑ๊ณผ ํŒจํ„ด์„ ํŒŒ์•…ํ•˜๋Š” ๊ณผ์ •์ด๋‹ค.. ์ด๋ฒˆ ๊ธ€์—์„œ๋Š” ์™€์ธ ํ’ˆ์งˆ ๋ฐ์ดํ„ฐ์…‹(Winq Quality Dataset)์„ ํ™œ์šฉํ•˜์—ฌ ๋ฐ์ดํ„ฐ๋ฅผ ํƒ์ƒ‰ํ•˜๋Š” ๋ฐฉ๋ฒ•์„ ๋‹จ๊ณ„๋ณ„๋กœ ์†Œ๊ฐœํ•œ๋‹ค.


EDA๋ž€?


EDA(ํƒ์ƒ‰์  ๋ฐ์ดํ„ฐ ๋ถ„์„)๋Š” ๋ฐ์ดํ„ฐ๋ฅผ ๋” ๊นŠ์ด ์ดํ•ดํ•˜๊ธฐ ์œ„ํ•œ ์ค‘์š”ํ•œ ๊ณผ์ •์œผ๋กœ, ์ฃผ์š” ๋ชฉ์ ์€ ๋‹ค์Œ๊ณผ ๊ฐ™๋‹ค:

  • ๋ฐ์ดํ„ฐ์˜ ๋ถ„ํฌ์™€ ๊ตฌ์กฐ ์ดํ•ด
  • ๊ฒฐ์ธก๊ฐ’๊ณผ ์ด์ƒ์น˜ ํƒ์ง€
  • ๋ฐ์ดํ„ฐ์˜ ์ฃผ์š” ํŠน์ง•๊ณผ ํŒจํ„ด ํŒŒ์•…
  • ์ „์ฒ˜๋ฆฌ ๋ฐ ๋ชจ๋ธ๋ง์— ํ•„์š”ํ•œ ์ธ์‚ฌ์ดํŠธ ๋„์ถœ

728x90
๋ฐ˜์‘ํ˜•

๋ฐ์ดํ„ฐ์…‹ ์ •๋ณด


  • ๋ฐ์ดํ„ฐ์…‹ ์ด๋ฆ„: Wine Quality Dataset
  • ์ถœ์ฒ˜: UCI Machine Learning Repository
  • ๋ฐ์ดํ„ฐ ๊ตฌ์„ฑ:
    • ์ด ์ƒ˜ํ”Œ ์ˆ˜: 6,497๊ฐœ (Red ์™€์ธ : 1,599 & White ์™€์ธ : 4,898)
    • ์ž…๋ ฅ ๋ณ€์ˆ˜(11๊ฐœ): ์™€์ธ์˜ ํ™”ํ•™์  ํŠน์„ฑ (e.g., ์‚ฐ๋„, ๋‹น๋„, pH ๋“ฑ)
    • ์ถœ๋ ฅ ๋ณ€์ˆ˜(1๊ฐœ): ์™€์ธ ํ’ˆ์งˆ ์ ์ˆ˜ (0~10)
  • ์ž…๋ ฅ ๋ณ€์ˆ˜(Features)
    • fixed_acidity (๊ณ ์ • ์‚ฐ๋„)
      • ์„ค๋ช…: ๊ณ ์ • ์‚ฐ๋„๋Š” ์™€์ธ์˜ ์ฃผ๋œ ์‚ฐ๋„ ์„ฑ๋ถ„ ์ค‘ ํœ˜๋ฐœ๋˜์ง€ ์•Š๋Š” ์‚ฐ์˜ ๋†๋„๋ฅผ ๋‚˜ํƒ€๋‚ธ๋‹ค. ์ฃผ๋กœ ์ฃผ์„์‚ฐ(Tartaric acid)๊ณผ ๋ง์‚ฐ(Malic acid)์ด ํฌํ•จ๋œ๋‹ค.
      • ๋‹จ์œ„: g/dm³
      • ์—ญํ• :
        • ์‹ ๋ง›(Tartness)์— ์˜ํ–ฅ์„ ๋ฏธ์นจ
        • ์™€์ธ์˜ ์‹ ์„ ๋„๋ฅผ ์œ ์ง€ํ•˜๋Š” ๋ฐ ์ค‘์š”ํ•œ ์š”์†Œ
    • volatile_acidity (ํœ˜๋ฐœ์„ฑ ์‚ฐ๋„)
      • ์„ค๋ช…: ํœ˜๋ฐœ์„ฑ ์‚ฐ๋„๋Š” ์™€์ธ์—์„œ ์ฆ๋ฐœํ•  ์ˆ˜ ์žˆ๋Š” ์‚ฐ์˜ ๋†๋„๋ฅผ ๋‚˜ํƒ€๋‚ธ๋‹ค. ์ฃผ๋กœ ์•„์„ธํŠธ์‚ฐ(Acetic acid)์ด ํฌํ•จ๋œ๋‹ค.
      • ๋‹จ์œ„: g/dm³
      • ์—ญํ• :
        • ํœ˜๋ฐœ์„ฑ ์‚ฐ๋„๊ฐ€ ๋†’์œผ๋ฉด ์‹์ดˆ ๋ง›์„ ๋‚ด์–ด ์™€์ธ์˜ ํ’ˆ์งˆ์„ ๋‚ฎ์ถค
        • ์ ๋‹นํ•œ ํœ˜๋ฐœ์„ฑ ์‚ฐ๋„๋Š” ์™€์ธ์— ๋ณตํ•ฉ์ ์ธ ํ’๋ฏธ๋ฅผ ๋”ํ•จ
    • citric_acid (๊ตฌ์—ฐ์‚ฐ)
      • ์„ค๋ช…: ๊ตฌ์—ฐ์‚ฐ์€ ์™€์ธ์˜ ์‚ฐ๋ฏธ๋ฅผ ์กฐ์ •ํ•˜๊ณ  ์‹ ์„ ํ•œ ๋ง›์„ ์œ ์ง€ํ•˜๋Š” ๋ฐ ๊ธฐ์—ฌํ•˜๋Š” ์ž์—ฐ์ ์ธ ์„ฑ๋ถ„์ด๋‹ค.
      • ๋‹จ์œ„: g/dm³
      • ์—ญํ• :
        • ์™€์ธ์˜ ์‹ ๋ง›์„ ๋ณด์™„ํ•˜๊ณ  ๊ท ํ˜•์„ ์œ ์ง€
        • ๋‚ฎ์€ ๊ตฌ์—ฐ์‚ฐ ์ˆ˜์น˜๋Š” ์™€์ธ์ด ์˜ค๋ž˜๋˜์—ˆ๊ฑฐ๋‚˜ ํ’ˆ์งˆ์ด ๋–จ์–ด์งˆ ์ˆ˜ ์žˆ์Œ์„ ๋‚˜ํƒ€๋ƒ„
    • residual_sugar (์ž”๋ฅ˜ ๋‹น๋ถ„)
      • ์„ค๋ช…: ๋ฐœํšจ ํ›„์—๋„ ์™€์ธ์— ๋‚จ์•„ ์žˆ๋Š” ์„คํƒ•์˜ ๋†๋„๋ฅผ ๋‚˜ํƒ€๋‚ธ๋‹ค.
      • ๋‹จ์œ„: g/dm³
      • ์—ญํ• :
        • ์™€์ธ์˜ ๋‹จ๋ง›(Sweetness)์— ์ง์ ‘์ ์ธ ์˜ํ–ฅ์„ ์คŒ
        • ๋Œ€๋ถ€๋ถ„์˜ ์™€์ธ์€ 1g/dm³์—์„œ 10g/dm³ ์‚ฌ์ด์ด๋ฉฐ, ๋””์ €ํŠธ ์™€์ธ์€ ํ›จ์”ฌ ๋†’์€ ์ˆ˜์น˜๋ฅผ ๊ฐ€์งˆ ์ˆ˜ ์žˆ์Œ
    • chlorides (์—ผํ™”๋ฌผ)
      • ์„ค๋ช…: ์™€์ธ์— ํฌํ•จ๋œ ์—ผํ™”๋ฌผ(์ฃผ๋กœ ์†Œ๊ธˆ)์˜ ๋†๋„๋ฅผ ๋‚˜ํƒ€๋‚ธ๋‹ค.
      • ๋‹จ์œ„: g/dm³
      • ์—ญํ• :
        • ์™€์ธ์˜ ์ง ๋ง›์— ์˜ํ–ฅ์„ ์คŒ
        • ๋†’์€ ์—ผํ™”๋ฌผ ๋†๋„๋Š” ์™€์ธ์˜ ํ’ˆ์งˆ์„ ์ €ํ•˜์‹œํ‚ฌ ์ˆ˜ ์žˆ์Œ
    • free_sulfur_dioxide (์œ ๋ฆฌ ์•„ํ™ฉ์‚ฐ)
      • ์„ค๋ช…: ์™€์ธ์—์„œ ํ™”ํ•™์ ์œผ๋กœ ์ž์œ ๋กญ๊ฒŒ ์กด์žฌํ•˜๋Š” ์•„ํ™ฉ์‚ฐ(SOโ‚‚)์˜ ๋†๋„๋ฅผ ๋‚˜ํƒ€๋‚ธ๋‹ค.
      • ๋‹จ์œ„: mg/dm³
      • ์—ญํ• :
        • ์‚ฐํ™”์™€ ๋ฏธ์ƒ๋ฌผ ํ™œ๋™์„ ๋ฐฉ์ง€ํ•˜์—ฌ ์™€์ธ์˜ ์‹ ์„ ๋„๋ฅผ ์œ ์ง€ํ•จ
        • ๊ณผ๋„ํ•œ ์•„ํ™ฉ์‚ฐ์€ ์™€์ธ์˜ ํ’๋ฏธ๋ฅผ ํ•ด์น  ์ˆ˜ ์žˆ์Œ
    • total_sulfur_dioxide (์ด ์•„ํ™ฉ์‚ฐ)
      • ์„ค๋ช…: ์œ ๋ฆฌ ์•„ํ™ฉ์‚ฐ๊ณผ ๊ฒฐํ•ฉ๋œ ์•„ํ™ฉ์‚ฐ์˜ ํ•ฉ์œผ๋กœ, ์™€์ธ์— ํฌํ•จ๋œ ์ „์ฒด ์•„ํ™ฉ์‚ฐ ๋†๋„๋ฅผ ๋‚˜ํƒ€๋‚ธ๋‹ค.
      • ๋‹จ์œ„: mg/dm³
      • ์—ญํ• :
        • ์™€์ธ์˜ ๋ณด์กด์„ฑ์„ ๋†’์ž„
        • ๋†’์€ ์ˆ˜์น˜๋Š” ๋ฏผ๊ฐํ•œ ์†Œ๋น„์ž์—๊ฒŒ ๊ฑด๊ฐ•์ƒ์˜ ๋ฌธ์ œ๋ฅผ ์ผ์œผํ‚ฌ ์ˆ˜ ์žˆ์Œ
    • density (๋ฐ€๋„)
      • ์„ค๋ช…: ์™€์ธ์˜ ๋ฐ€๋„๋Š” ๋ฌผ์˜ ๋ฐ€๋„(1.000 g/cm³)์— ๋น„ํ•ด ์ƒ๋Œ€์ ์ธ ๋ฐ€๋„๋ฅผ ๋‚˜ํƒ€๋‚ธ๋‹ค.
      • ๋‹จ์œ„: g/cm³
      • ์—ญํ• :
        • ์ž”๋ฅ˜ ์„คํƒ•๊ณผ ์•Œ์ฝ”์˜ฌ ๋†๋„๋ฅผ ๋ฐ˜์˜ํ•จ
        • ์ผ๋ฐ˜์ ์œผ๋กœ ์•Œ์ฝ”์˜ฌ ํ•จ๋Ÿ‰์ด ๋†’๊ฑฐ๋‚˜ ์ž”๋ฅ˜ ์„คํƒ•์ด ๋งŽ์œผ๋ฉด ๋ฐ€๋„๊ฐ€ ๋†’์•„์ง
    • pH
      • ์„ค๋ช…: ์™€์ธ์˜ ์‚ฐ๋„๋ฅผ ์ธก์ •ํ•œ ๊ฐ’์œผ๋กœ, ์‚ฐ์„ฑ๋„์™€ ์•Œ์นผ๋ฆฌ๋„์˜ ๊ท ํ˜•์„ ๋‚˜ํƒ€๋‚ธ๋‹ค.
      • ๋ฒ”์œ„: 0~14 (์ผ๋ฐ˜์ ์œผ๋กœ 3~4 ๋ฒ”์œ„)
      • ์—ญํ• :
        • pH๋Š” ์™€์ธ์˜ ์‹ ์„ ๋„์™€ ์•ˆ์ •์„ฑ์— ์˜ํ–ฅ์„ ๋ฏธ์นจ
        • ๋‚ฎ์€ pH๋Š” ๋” ์‹ ์„ ํ•œ ๋ง›์„ ๋‚˜ํƒ€๋‚ด๋ฉฐ, ๋†’์€ pH๋Š” ์‚ฐํ™” ๊ฐ€๋Šฅ์„ฑ์„ ์ฆ๊ฐ€์‹œํ‚ด
    • sulphates (ํ™ฉ์‚ฐ์—ผ)
      • ์„ค๋ช…: ํ™ฉ์‚ฐ์—ผ์€ ์™€์ธ ๋ฐœํšจ ์ค‘ ์ƒ์„ฑ๋˜๋Š” ํ™”ํ•ฉ๋ฌผ๋กœ, ๋ณด์กด์„ฑ๊ณผ ํ’๋ฏธ์— ์˜ํ–ฅ์„ ์ค€๋‹ค.
      • ๋‹จ์œ„: g/dm³
      • ์—ญํ• :
        • ์™€์ธ์˜ ํ–ฅ์„ ๊ฐœ์„ ํ•˜๊ณ , ์‚ฐํ™” ๋ฐฉ์ง€์— ๊ธฐ์—ฌํ•จ
        • ๊ณผ๋„ํ•œ ํ™ฉ์‚ฐ์—ผ์€ ์“ด๋ง›์„ ์œ ๋ฐœํ•  ์ˆ˜ ์žˆ์Œ
    • alcohol (์•Œ์ฝ”์˜ฌ)
      • ์„ค๋ช…: ์™€์ธ์˜ ์•Œ์ฝ”์˜ฌ ๋†๋„๋ฅผ ๋‚˜ํƒ€๋‚ธ๋‹ค.
      • ๋‹จ์œ„: % (๋ณผ๋ฅจ ๊ธฐ์ค€)
      • ์—ญํ• :
        • ์™€์ธ์˜ ๋ฌด๊ฒŒ๊ฐ๊ณผ ํ’๋ฏธ์— ์ง์ ‘์ ์ธ ์˜ํ–ฅ์„ ๋ฏธ์นจ
        • ์ผ๋ฐ˜์ ์œผ๋กœ ๋†’์€ ์•Œ์ฝ”์˜ฌ ๋†๋„๋Š” ํ’ˆ์งˆ์ด ๋†’์€ ์™€์ธ์œผ๋กœ ๊ฐ„์ฃผ๋จ
  • ์ถœ๋ ฅ ๋ณ€์ˆ˜(Target)
    • quality (ํ’ˆ์งˆ ์ ์ˆ˜)
      • ์„ค๋ช…: ์™€์ธ์˜ ํ’ˆ์งˆ์„ 0์—์„œ 10๊นŒ์ง€์˜ ์ ์ˆ˜๋กœ ๋งค๊ฒจ ๋‚˜ํƒ€๋‚ธ๋‹ค.
      • ์—ญํ• :
        • ์ถœ๋ ฅ ๋ณ€์ˆ˜๋กœ ์‚ฌ์šฉ๋˜๋ฉฐ, ์™€์ธ์˜ ์ „๋ฐ˜์ ์ธ ํ’ˆ์งˆ์„ ํ‰๊ฐ€
        • ๋ฐ์ดํ„ฐ์…‹์˜ ๋ชฉํ‘œ๋Š” ํ™”ํ•™์  ํŠน์„ฑ(์ž…๋ ฅ ๋ณ€์ˆ˜)์„ ๊ธฐ๋ฐ˜์œผ๋กœ ํ’ˆ์งˆ ์ ์ˆ˜๋ฅผ ์˜ˆ์ธกํ•˜๋Š” ๊ฒƒ์ž„
๋ฐ˜์‘ํ˜•