[Python][pandas] DataFrame 행별 순회(iterate) 방법 정리

pandas dataframe iterate

 

Pandas의 DataFrame에서 행을 순회(iterate)해야 하는 경우가 종종 있다. 하지만 Pandas는 벡터화 연산이 훨씬 빠르기 때문에, 가능하면 apply() 같은 메서드를 활용하는 것이 좋다. 그렇다면, 언제 행을 순회해야 할까? 그리고 어떤 방법이 가장 효율적일까? 이번 글에서는 다양한 방법을 정리해본다.

---

1. iterrows() 사용하기

---

iterrows()는 가장 많이 사용되는 방법 중 하나지만, 성능이 느리다는 단점이 있다. 각 행을 index, Series 형태로 반환한다.

import pandas as pd

# 예제 데이터
data = {'A': [1, 2, 3], 'B': [4, 5, 6]}
df = pd.DataFrame(data)

# iterrows 사용
for index, row in df.iterrows():
    print(f"Index: {index}, A: {row['A']}, B: {row['B']}")
    
# Index: 0, A: 1, B: 4
# Index: 1, A: 2, B: 5
# Index: 2, A: 3, B: 6

주의: iterrows()를 사용하면 데이터 타입이 유지되지 않을 수 있다. 예를 들어, 정수형(int) 데이터가 부동소수(float)로 변할 수 있음.

---

2. itertuples() 사용하기

---

itertuples()는 iterrows()보다 빠르며, 행을 튜플 형식으로 반환한다. namedtuple을 사용하여 속성처럼 접근할 수 있다.

# itertuples 사용
for row in df.itertuples(index=True):
    print(f"Index: {row.Index}, A: {row.A}, B: {row.B}")
    
# Index: 0, A: 1, B: 4
# Index: 1, A: 2, B: 5
# Index: 2, A: 3, B: 6

장점: iterrows()보다 빠르고, 데이터 타입이 유지됨.

---

728x90

반응형

3. apply() 사용하기

---

Pandas에서 권장하는 방식 중 하나는 apply()를 활용하는 것이다. 벡터화 연산을 지원하기 때문에 성능이 훨씬 좋다.

def process_row(row):
    return row['A'] + row['B']

df['sum'] = df.apply(process_row, axis=1)
print(df)

#    A  B  sum
# 0  1  4    5
# 1  2  5    7
# 2  3  6    9

장점: 반복문보다 훨씬 빠르고, 코드도 간결함.

---

4. zip()을 활용한 리스트 순회

---

zip()을 활용하면 iterrows()보다 빠르게 특정 열을 기준으로 순회할 수 있다.

for a, b in zip(df['A'], df['B']):
    print(f"A: {a}, B: {b}")
    
# A: 1, B: 4
# A: 2, B: 5
# A: 3, B: 6

장점: iterrows()보다 빠르고, 특정 열만 필요한 경우 효과적.

---

5. NumPy 벡터화 연산 활용

---

가능하면 NumPy 벡터 연산을 활용하는 것이 가장 빠르다.

import numpy as np

df['sum'] = np.add(df['A'], df['B'])
print(df)

#    A  B  sum
# 0  1  4    5
# 1  2  5    7
# 2  3  6    9

장점: 벡터 연산이므로 속도가 가장 빠름.

---

정리

---

 

방법	속도	장점	단점
iterrows()	느림	코드 이해하기 쉬움	데이터 타입 유지 안 됨
itertuples()	중간	iterrows()보다 빠르고 타입 유지	속성 접근 방식 필요
apply()	빠름	벡터 연산이 가능함	함수 작성 필요
zip()	빠름	특정 열만 필요할 때 유용	전체 DataFrame 순회 불가능
NumPy 연산	가장 빠름	최적화된 벡터 연산 활용	Pandas 문법과 다소 다름

 

가능하면 apply()나 벡터화 연산을 활용하는 것이 좋다. 하지만 특정한 경우에는 iterrows()나 itertuples()도 유용할 수 있으므로, 상황에 맞게 적절한 방법을 선택하자.