[Python][pandas] Parquet 파일 포맷: 고속 데이터 처리에 최적화된 컬럼 저장 방식

parquet

데이터 분석과 머신러닝을 하다 보면 CSV, JSON, Excel 등의 파일 포맷을 자주 사용하게 된다. 하지만 대용량 데이터를 다룰 때는 속도와 저장 효율성이 중요한데, 이럴 때 Parquet 포맷이 강력한 대안이 될 수 있다.

---

1. Parquet란?

---

Apache Parquet는 컬럼 기반 저장 방식(columnar storage format)을 사용하는 오픈소스 데이터 포맷임. Hadoop 생태계에서 개발되었으며, 대용량 데이터 처리와 분석 성능을 극대화하는 데 최적화됨.

특징

• 컬럼 기반 저장(Columnar Storage)
  • CSV나 JSON 같은 포맷은 데이터를 행(Row) 단위로 저장하지만, Parquet은 컬럼(Column) 단위로 저장함
  • 특정 컬럼만 읽어도 되므로, 분석 속도가 향상됨
• 압축 및 인코딩(Compression & Encoding)
  • 컬럼별로 압축을 적용하여 저장 공간을 절약하고, 빠른 읽기 성능을 제공함
  • 기본적으로 Snappy, Gzip, LZO 등의 압축 방식을 지원함
• 스키마 저장(Schema Evolution)
  • 데이터를 저장할 때 스키마(데이터 구조)를 함께 저장하여, 다양한 언어 및 툴에서 쉽게 활용 가능함
• 빠른 데이터 처리
  • Spark, Pandas, Hadoop, Dask 등 다양한 데이터 처리 라이브러리에서 최적화되어 사용됨

---

2. Parquet vs CSV vs JSON

---

 

포맷	저장 방식	압축 지원	읽기 성능	쓰기 성능	용량 효율성
CSV	행 기반	X	느림	빠름	비효율적
JSON	계층형	O	느림	느림	중간
Parquet	컬럼 기반	O	빠름	중간	효율적

 

비교 요약

• CSV: 텍스트 파일이라 가독성이 좋지만, 대용량 데이터 처리 시 비효율적임
• JSON: 계층형 구조라 유연성이 높지만, 데이터 크기가 커지고 속도가 느려짐
• Parquet: 컬럼 단위로 저장하여 읽기 성능이 가장 뛰어나고 용량도 효율적임

---

728x90

반응형

3. Parquet 파일 사용 방법 (Python)

---

Python에서 pandas 라이브러리를 사용하여 Parquet 파일을 쉽게 다룰 수 있음.

3.1. 설치

Parquet 포맷을 사용하려면 pyarrow 또는 fastparquet 라이브러리가 필요함.

pip install pandas pyarrow fastparquet

 

3.2. 데이터 저장

 

import pandas as pd

# 샘플 데이터 생성
data = {
    'name': ['Alice', 'Bob', 'Charlie'],
    'age': [25, 30, 35],
    'city': ['Seoul', 'Busan', 'Incheon']
}

df = pd.DataFrame(data)

# Parquet 파일로 저장
df.to_parquet('data.parquet', engine='pyarrow', compression='snappy')

 

 

3.3. 데이터 불러오기

# Parquet 파일 읽기
df = pd.read_parquet('data.parquet', engine='pyarrow')

print(df)

#       name  age     city
# 0    Alice   25    Seoul
# 1      Bob   30    Busan
# 2  Charlie   35  Incheon

 

---

4. Parquet이 유용한 경우

---

• 빅데이터 처리: Spark, Dask 같은 분산 처리 시스템에서 빠른 데이터 읽기/쓰기 성능을 제공함
• 클라우드 저장: Amazon S3, Google Cloud Storage 같은 클라우드 스토리지에서 효율적으로 활용 가능함
• 머신러닝 데이터셋: 대용량 데이터를 다룰 때 속도와 저장 공간을 절약할 수 있음

---

5. 결론

---

Parquet 파일은 컬럼 기반 저장 방식, 뛰어난 압축 성능, 빠른 데이터 읽기 속도 덕분에 대용량 데이터 분석 및 머신러닝 프로젝트에서 매우 유용함. CSV보다 더 효율적이며, 특히 빅데이터 환경에서 강력한 성능을 발휘함.

CSV로 데이터를 저장하고 있다면 Parquet으로 변환하는 것만으로도 속도와 저장 공간을 최적화할 수 있음