🐶짱구와 꾜미 집에 놀러온 용뇽이🦊

Pandas의 DataFrame에서 행을 순회(iterate)해야 하는 경우가 종종 있다. 하지만 Pandas는 벡터화 연산이 훨씬 빠르기 때문에, 가능하면 apply() 같은 메서드를 활용하는 것이 좋다. 그렇다면, 언제 행을 순회해야 할까? 그리고 어떤 방법이 가장 효율적일까? 이번 글에서는 다양한 방법을 정리해본다.1. iterrows() 사용하기iterrows()는 가장 많이 사용되는 방법 중 하나지만, 성능이 느리다는 단점이 있다. 각 행을 index, Series 형태로 반환한다.import pandas as pd# 예제 데이터data = {'A': [1, 2, 3], 'B': [4, 5, 6]}df = pd.DataFrame(data)# iterrows 사용for index, row in d..

데이터 분석과 머신러닝을 하다 보면 CSV, JSON, Excel 등의 파일 포맷을 자주 사용하게 된다. 하지만 대용량 데이터를 다룰 때는 속도와 저장 효율성이 중요한데, 이럴 때 Parquet 포맷이 강력한 대안이 될 수 있다.1. Parquet란?Apache Parquet는 컬럼 기반 저장 방식(columnar storage format)을 사용하는 오픈소스 데이터 포맷임. Hadoop 생태계에서 개발되었으며, 대용량 데이터 처리와 분석 성능을 극대화하는 데 최적화됨.특징컬럼 기반 저장(Columnar Storage)CSV나 JSON 같은 포맷은 데이터를 행(Row) 단위로 저장하지만, Parquet은 컬럼(Column) 단위로 저장함특정 컬럼만 읽어도 되므로, 분석 속도가 향상됨압축 및 인코딩(Co..

This guide covers various methods for sorting data in Pandas, including the primary sorting functions sort_values() and sort_index(), as well as nlargest(), nsmallest(), reindex(), and the use of the key parameter in sort_values().1. Sorting with sort_values()The sort_values() method sorts a DataFrame based on column values. It is the most commonly used sorting function. import pandas as pddf = ..

What is an Excel File?An Excel file is a spreadsheet format created by Microsoft Excel, commonly stored with the extensions .xlsx or .xls. Each Excel file consists of multiple sheets, where data is organized into rows and columns.Excel is one of the most widely used formats in data analysis. Pandas provides the read_excel() function to easily handle Excel files. This guide will cover the basic s..

Python을 활용해 발렌타인 데이에 직접 만든 ASCII 아트 카드를 터미널에서 출력해보면 어떨까? 라는 생각으로 작업을 진행했다. cowsay가 떠올랐고 이걸 활용해서 만들어보면 재밌겠다 싶었다.하트나 카드 모양을 출력하고, 원하는 문구를 입력받아 특별한 메시지를 남길 수 있게끔 작업했다. 주요 포인트:Python에서 텍스트를 자동 줄바꿈해주는 textwrap 라이브러리 사용ASCII 아트를 문자열로 구성사용자 입력을 받아서 카드 내용에 반영하지만 한글로 진행하려니 자리가 잘 맞지 않는 문제는 남겨두었다. 영어로 작성해 보시라. import textwrapdef generate_valentine_card(message): # 메시지를 줄바꿈하여 정리 (최대 15자 기준 줄바꿈) wrappe..

What is a CSV File?One of the most commonly used formats in data analysis is CSV (Comma-Separated Values). CSV files store data in a simple text format, where values are separated by commas (or other delimiters).Pandas provides a powerful function, read_csv(), to easily load CSV files into a DataFrame. In this guide, we will explore what a CSV file is, how to load it using Pandas, key parameters..

What is Pandas?  Pandas is an open-source Python library designed for data manipulation and analysis. It was developed by Wes McKinney in 2008 when he saw the need for an efficient and intuitive tool to handle financial data. The name "Pandas" originates from "PANel DAta," reflecting its focus on handling multidimensional data structures.   Built on top of NumPy, Pandas provides a powerful and f..

데이터 분석 및 머신러닝에서는 난수(random number) 생성과 샘플링(sampling)이 자주 사용된다. Numpy의 np.random 모듈을 활용하면 다양한 확률 분포에서 난수를 생성하고 데이터를 샘플링할 수 있다.1. 난수 생성의 기본1.1 균등 분포 난수 생성균등 분포에서 난수를 생성하려면 np.random.rand() 또는 np.random.uniform()을 사용하면 됨import numpy as np# 0과 1 사이의 난수 5개 생성random_numbers = np.random.rand(5)print(random_numbers)# [0.68210576 0.42857438 0.15101299 0.54555321 0.02568058]# 특정 범위(예: 10~20)에서 균등 분포 난수 5개..

Numpy는 데이터를 저장하고 다시 불러오는 다양한 방법을 제공한다. 이 글에서는 Numpy 배열을 파일로 저장하고, 다시 불러오는 방법을 정리한다.1. Numpy 배열 저장하기Numpy 배열은 다양한 포맷으로 저장 가능하며, 여기서는 .npy, .npz, .csv 포맷을 다룰 것임1.1 .npy 포맷으로 저장.npy 파일은 Numpy의 기본적인 바이너리 저장 포맷으로, 배열의 구조를 그대로 유지하면서 저장할 수 있음import numpy as nparr = np.array([1, 2, 3, 4, 5])np.save("array.npy", arr)1.2 .npz 포맷으로 여러 배열 저장.npz 파일은 여러 개의 배열을 한 번에 저장할 수 있는 압축된 Numpy 포맷임x = np.arange(10)y = ..

Python에서 데이터를 다룰 때 필수적으로 사용되는 라이브러리 중 하나가 Numpy이다. 대규모 배열 및 행렬 연산을 빠르게 수행할 수 있도록 설계되었으며, 과학 연산, 머신러닝, 데이터 분석 등에 폭넓게 사용된다.1. Numpy란?Numpy(NumPy, Numerical Python)는 다차원 배열 객체(ndarray)를 지원하며, 이를 효율적으로 연산할 수 있는 다양한 기능을 제공함Python의 기본 리스트(list)보다 빠르고, 메모리를 효율적으로 사용함Numpy의 특징고속 연산: C 언어로 구현되어 있어 리스트보다 빠름다차원 배열 지원: 벡터, 행렬 연산을 쉽게 수행 가능방대한 수학 및 선형대수 연산 기능: 다양한 함수 제공다른 라이브러리와의 호환성: Pandas, SciPy, TensorFlo..

아래 글은 Pandas에서 DataFrame 데이터 정렬과 관련된 여러 메서드를 정리한 것이다.  주요 메서드인 sort_values(), sort_index() 뿐만 아니라 nlargest(), nsmallest(), reindex(), 그리고 sort_values()의 key 파라미터까지 살펴볼 것이다.1. DataFrame.sort_values()열(column) 값을 기준으로 정렬할 때 사용하는 가장 기본적이고 핵심적인 메서드(method)by 파라미터에 기준 열(또는 열의 리스트)을 지정하고, ascending으로 오름차순/내림차순을 설정함 # pandas.__version__# 2.2.3import pandas as pddf = pd.DataFrame({ 'A': [3, 1, 2, 4],..

Excel 파일이란 ?  Excel 파일은 Microsoft Excel에서 생성되는 데이터 형식으로, 일반적으로 .xlsx 또는 .xls 확장자를 가진다. 각 Excel 파일은 여러 개의 시트(Sheet)로 구성되며, 시트 안에는 행(Row)과 열(Column)로 이루어진 데이터가 저장된다.   데이터 분석에서 Excel 파일은 가장 널리 사용되는 데이터 형식 중 하나다. Pandas는 Excel 파일을 손쉽게 다룰 수 있는 read_excel() 함수를 제공한다. 이 글에서는 Excel 파일의 기본 구조를 이해하고, Pandas를 활용해 데이터를 읽고 처리하는 방법, 그리고 자주 발생하는 문제와 해결 방법을 살펴본다. Excel 파일 예시:# Sheet1Name Age City김서울 25..

CSV란 ?   데이터 분석에서 가장 흔히 접하는 형식 중 하나가 CSV(Comma Separated Values) 파일이다. CSV는 데이터가 쉼표(또는 다른 구분자)로 구분된 텍스트 형식으로 저장된다. Pandas의 read_csv() 함수는 이러한 파일을 간단히 읽어들일 수 있도록 강력한 기능을 제공한다. 이번 글에서는 CSV 형식에 대한 간단한 소개와 함께 Pandas로 CSV 파일을 불러오는 방법, 자주 사용하는 주요 매개변수, 그리고 에러를 예방하거나 해결하는 방법을 알아보도록 하겠다.CSV 파일 형식이란 ?  CSV 파일은 데이터가 쉼표(,)로 구분되어 저장된 단순한 텍스트 파일이다. 각 행은 데이터의 한 레코드를 나타내며, 첫 번째 행은 일반적으로 열 이름(헤더)으로 사용된다. 예를 들어 ..

Pandas란 ?  Pandas는 2008년 Wes McKinney에 의해 개발됨. 당시 그는 금융 데이터를 조작하고 분석하는 데 있어 효율적이고 직관적인 도구의 필요성을 느꼈음. 이를 기반으로 그는 Pandas를 설계했고, 이후 오픈 소스로 공개되어 전 세계 데이터 과학 커뮤니티에서 빠르게 인기를 얻게 됨. Pandas라는 이름은 "PANel DAta"에서 유래되었으며, 이는 다차원 데이터 구조를 다루는 데 중점을 둔다는 의미를 내포함.   Pandas는 NumPy를 기반으로 한 오픈 소스이며 파이썬 라이브러리로 데이터 조작과 분석을 위해 설계된 파이썬의 강력하고 유연한 라이브러리.초보자부터 숙련된 데이터 과학자까지, 누구나 데이터를 효율적으로 처리할 수 있는 도구를 제공하며, 두 가지 주요 데이터 구..