[Python][pandas] pandas 톺아보기

Pandas란 ?

---

  Pandas는 2008년 Wes McKinney에 의해 개발됨. 당시 그는 금융 데이터를 조작하고 분석하는 데 있어 효율적이고 직관적인 도구의 필요성을 느꼈음. 이를 기반으로 그는 Pandas를 설계했고, 이후 오픈 소스로 공개되어 전 세계 데이터 과학 커뮤니티에서 빠르게 인기를 얻게 됨. Pandas라는 이름은 "PANel DAta"에서 유래되었으며, 이는 다차원 데이터 구조를 다루는 데 중점을 둔다는 의미를 내포함.

 

  Pandas는 NumPy를 기반으로 한 오픈 소스이며 파이썬 라이브러리로 데이터 조작과 분석을 위해 설계된 파이썬의 강력하고 유연한 라이브러리.

초보자부터 숙련된 데이터 과학자까지, 누구나 데이터를 효율적으로 처리할 수 있는 도구를 제공하며, 두 가지 주요 데이터 구조를 제공.

• Series: 데이터 타입에 상관없이 데이터를 저장할 수 있는 1차원 라벨 배열
• DataFrame: 크기 변경이 가능하며 라벨이 붙은 2차원 데이터 구조로, 스프레드시트나 SQL 테이블과 유사

  Pandas는 빠르고 유연하며 표현력이 뛰어난 데이터 구조를 제공하여 관계형 또는 라벨이 지정된 데이터를 쉽게 다룰 수 있도록 설계됨. 실제 데이터 분석 작업을 위한 고급 데이터 조작의 기본 구성 요소로 자리 잡고 있으며, "실제 데이터 분석" 작업을 가능하게 함. Pandas는 오픈 소스 데이터 분석 도구 중 가장 강력하고 유연하며, 다양한 언어에서 사용할 수 있는 도구로 발전하고 있음.

---

Pandas의 주요 기능

---

누락된 데이터 처리: 

• NaN, NA 또는 NaT와 같은 누락된 데이터를 쉽게 처리할 수 있음

크기 조정 가능:

• DataFrame 및 고차원 객체에서 열을 삽입하거나 삭제할 수 있음

자동 데이터 정렬:

• 라벨을 명시적으로 정렬하거나 자동으로 정렬할 수 있음

유연한 데이터 그룹화:

• 데이터를 그룹화하여 집계 및 변환 작업을 수행할 수 있음

다양한 데이터 변환:

• 파이썬 및 NumPy 데이터 구조를 DataFrame 객체로 쉽게 변환할 수 있음

슬라이싱 및 인덱싱:

• 대규모 데이터 세트에서 슬라이싱, 팬시 인덱싱 및 서브세팅을 제공

병합 및 조인:

• 데이터 세트를 직관적으로 병합하고 조인할 수 있음

데이터 형태 변경:

• 데이터 세트의 리셰이핑 및 피벗팅을 지원

계층적 라벨:

• 축에 여러 라벨을 지정할 수 있음

강력한 I/O 도구:

• CSV, Excel 파일, 데이터베이스 등 다양한 형식의 데이터를 로드 및 저장할 수 있음

시계열 데이터 지원:

• 날짜 범위 생성, 이동 평균 계산, 시계열 데이터 변환 등을 지원

---

728x90

반응형

Pandas 시작하기

---

  Pandas는 pip 또는 anaconda 명령어를 통해 설치할 수 있음

 

# PyPI
pip install pandas

# conda
conda install -c conda-forge pandas

기본 예제

• Series 생성: 라벨이 붙은 1차원 배열로, 정수, 문자열, 파이썬 객체 등 어떤 데이터 타입도 저장할 수 있음

# pandas series
import pandas as pd 

data = [10, 20, 30, 40]
series = pd.Series(data, index=['a', 'b', 'c', 'd'])
print(series)

# 출력 결과
# a    10
# b    20
# c    30
# d    40
# dtype: int64

 

• DataFrame 생성: 행과 열로 구성된 2차원 데이터 구조로, 엑셀 테이블이나 SQL 테이블처럼 데이터를 다룰 수 있음

# pandas dataframe
import pandas as pd

data = {
    "Name": ["김서울", "이전주", "송공주"],
    "Age": [25, 30, 35],
    "City": ["서울", "전주", "공주"]
}
df = pd.DataFrame(data)
print(df)

# 출력 결과
#     Name   Age   City
# 0  김서울   25   서울
# 1  이전주   30   전주
# 2  송공주   35   공주

 

---

Pandas를 사용할 때

---

Pandas는 다음과 같은 작업에 이상적:

• 데이터 정리 및 전처리
• 탐색적 데이터 분석(EDA)
• 시계열 또는 구조화된 데이터 작업

다만, 대규모 데이터 처리의 경우 Dask나 PySpark 같은 라이브러리가 더 적합할 수 있음