Chapter4. 데이터 전처리

4.1 데이터 전처리 라이브러리(Pandas, Numpy)

4.1.1 데이터 전처리(Data Preprocessing)

4.1.2 Pandas

Pandas의 주요 기능 및 특징

• 데이터 로딩 및 저장 : 다양한 형태로 구성된 포맷( CSV, Excel, SQL, JSON 등)의 데이터를 불러오고 저장하는 기능을 제공합니다.

• 데이터 조작과 처리 : 필요한 데이터만 선택하고 불필요한 데이터는 잘라내거나, 원하는 데이터들을 변형시키고 병합하는 등 다양한 조작 및 처리 작업을 수행할 수 있습니다.

• 누락 데이터 처리: 데이터 분석에 부정적 영향을 끼칠 수 있는 데이터프레임 내의 결측치를 처리하고 해결할 수 있습니다.

• 데이터 분석: 다양한 기능을 통해 통계적 분석, 집계, 피벗 테이블, 시계열 분석 등 다양한 데이터 분석 작업에 큰 도움을 줍니다.

• 데이터 시각화 : Matplotlib과 함께 사용함으로써 분석하거나 불러온 데이터들을 그래프로 시각화할 수 있습니다. 이를 통해 시각적으로 한눈에 데이터의 패턴이나 추이를 파악할 수 있습니다.

# Pandas 라이브러리 설치
!pip install pandas

Pandas의 기본 자료구조(Series, DataFrame)

import pandas as pd

# Series 생성
series = pd.Series([1, 2, 3, 4, 5], index=['a', 'b', 'c', 'd', 'e'])

# 결과 출력
series

a    1
b    2
c    3
d    4
e    5
dtype: int64

# Series 값 확인
print(series.values)

# Series 인덱스 확인
series.index

[1 2 3 4 5]
Index(['a', 'b', 'c', 'd', 'e'], dtype='object')

import pandas as pd

# 예제 데이터 생성
columns = ['col1', 'col2', 'col3']
index = ['index1', 'index2', 'index3']
values = [[1, 2, 3], [4, 5, 6], [7, 8, 9]]

# DataFrame 생성
df = pd.DataFrame(values, index=index, columns=columns)

# 결과 출력
df

➡️

결과

# DataFrame 칼럼 확인
df.columns

Index(['col1', 'col2', 'col3'], dtype='object')

# DataFrame 인덱스 확인
df.index

Index(['index1', 'index2', 'index3'], dtype='object')

# DataFrame 값 확인
df.values

array([[1, 2, 3],
       [4, 5, 6],
       [7, 8, 9]])

4.1.3 Numpy

Numpy의 주요 기능 및 특징

• 다차원 배열: Numpy가 가지고 있는 데이터 구조는 다차원 배열(ndarray)로 대표됩니다. 다차원 배열은 동일한 타입의 원소들로 구성된 다양한 차원의 데이터를 효율적으로 다루는 데 유용합니다. Numpy는 하나의 숫자값인 스칼라부터 1차원인 벡터, 2차원인 행렬, 3차원인 텐서까지 고차원의 데이터를 표현할 수 있습니다.

• 빠른 연산: Numpy는 내장된 고유의 기능을 활용하여 비효율적인 코드들 없이도 가져온 데이터를 빠르게 연산할 수 있는 기능을 가졌습니다. 이러한 기능을 통해 수치 연산 작업 등을 손쉽게 해결할 수 있습니다.

• 다양한 수학 함수: Numpy는 로그, 지수 통계함수, 삼각함수, 선형대수 함수 삼각함수 등 연산에 필요한 다양한 수학 함수를 제공합니다. 이를 통해 데이터를 분석 및 처리하고 통계적으로 활용하는 데 큰 도움을 받을 수 있습니다.

• 데이터 입출력: Numpy는 손쉽게 배열을 디스크에 저장하고 로드할 수 있도록 도와줍니다. 이를 통해 다양한 배열로 이루어진 데이터를 빠르고 정확하게 저장하고 읽어 들일 수 있습니다. 또한 다른 파일 형식과의 데이터 변환도 자유롭게 수행할 수 있습니다.

# Numpy 라이브러리 설치
!pip install numpy

Numpy의 핵심 객체(ndarray)

import numpy as np

# 1차원 배열인 벡터 생성
a = np.array([1, 2, 3, 4, 5])

# 2차원 배열인 행렬 생성
b = np.array([[11, 12, 13], [14, 15, 16]])

# 3차원 배열인 텐서 생성
c = np.array([[[21, 22], [23, 24]], [[25, 26], [27, 28]]])

# 결과 출력
print('1차원 배열')
print(a, '\n')

print('2차원 배열')
print(b, '\n')

print('3차원 배열')
print(c)

1차원 배열
[1 2 3 4 5] 

2차원 배열
[[11 12 13]
 [14 15 16]] 

3차원 배열
[[[21 22]
  [23 24]]

 [[25 26]
  [27 28]]]

print(type(a))
print(type(b))
print(type(c))

<class 'numpy.ndarray'>
<class 'numpy.ndarray'>
<class 'numpy.ndarray'>

# 배열의 차원 확인
print(c.ndim)

# 배열의 데이터 타입 확인
print(c.dtype)

# 배열 내 각 요소가 소비한 바이트 수 확인
print(c.itemsize)

# 배열 내 요소가 소비한 총 바이트 수 확인
print(c.nbytes)

3
int32
4
32

4.2 데이터 정제 및 가공

4.2.1 데이터 타입 변환하기

dtypes()

import pandas as pd

# 예시 데이터 생성
A = [1, 2, 3, 4, 5]
B = [1.5, 2.5, 3.5, 4.5, 5.5]
C = ['1', '2', '3', '4', '5']
D = [True, True, True, False, False]

#  DataFrame생성
df = pd.DataFrame(data={'A':A, 'B':B, 'C':C, 'D':D})

# 데이터 타입 확인
df.dtypes

A      int64
B    float64
C     object
D       bool
dtype: object

astype()

# 데이터 타입 변경
df1 = df.astype({'C':'int64'})

# 데이터 타입 변경 확인
df1.dtypes

A      int64
B    float64
C      int64
D       bool
dtype: object

4.2.2 데이터 결합하기

concat()

import pandas as pd

# 첫번째 DataFrame 생성
df1 = pd.DataFrame({'a':[1, 2, 3, 4, 5],
										'b':[6, 7, 8, 9, 10],
										'c':[11, 12, 13, 14, 15]})

# 두번째 DataFrame 생성
df2 = pd.DataFrame({'a':[10, 20, 30, 40, 50],
										'b':[60, 70, 80, 90, 100],
										'c':[110, 120, 130, 140, 150],
										'd':[160, 170, 180, 190, 200]})

# df1과 df2 DataFrame 결합
result = pd.concat([df1, df2])

# 결과 출력
result

➡️

결과

# 새롭게 인덱스 번호를 매겨 df1과 df2 DataFrame 결합
result = pd.concat([df1, df2], ignore_index=True)

# 결과 출력
result

➡️

결과

# 열방향으로 df1과 df2 DataFrame 결합
result = pd.concat([df1, df2], axis=1, ignore_index=True)

# 결과 출력
result

➡️

결과

merge()

import pandas as pd

# 첫번째 예시 데이터 생성
data1 = {'col1' : ['용산구', '동작구', '서초구', '강남구'],
				 'col2' : [1, 2, 3, 4],
				 'col3' : ['a', 'b', 'c', 'd'],
				 'col4' : [1.5, 2.5, 3.5, 4.5]}

# 두번째 예시 데이터 생성
data2 = {'col1' : ['동작구', '용산구', '강남구', '서초구'],
				 'col5' : ['aaa', 'bbb', 'ccc', 'ddd']}

# 각각의 DataFrame 생성
df1 = pd.DataFrame(data1)
df2 = pd.DataFrame(data2)

# 두 데이터의 공통 Column 이름(col1)을 기준으로 df1과 df2 DataFrame 병합
result = pd.merge(df1, df2, on='col1')

# 결과 출력
result

➡️

결과

4.2.3 데이터 중복 처리하기

데이터 중복을 처리하는 이유

Pandas로 중복 데이터 처리하기

import pandas as pd

# 중복 데이터가 포함된 DataFrame 생성
data = {
    'id': [1, 2, 3, 2, 2],
    'name': ['John', 'Alice', 'Bob', 'Alice', 'Alice'],
    'age': [25, 30, 35, 30, 30]
}

df = pd.DataFrame(data)

# 중복 데이터 제거
df = df.drop_duplicates()

# 결과 출력
df

➡️

결과

Numpy로 중복 데이터 처리하기

import numpy as np

# 중복 데이터가 포함된 배열 생성
arr = np.array([[1, 2, 3],
                [4, 5, 6],
                [1, 2, 3],
                [7, 8, 9]])

# 중복 행 제거
arr = np.unique(arr, axis=0)

# 결과 출력
print(arr)

[[1 2 3]
 [4 5 6]
 [7 8 9]]

4.2.4 결측치 처리하기

결측치 확인하기 | isna(), isnull(), notna(), notnull()

import pandas as pd
import numpy as np

# DataFrame 생성
columns=['A', 'B', 'C', 'D', 'E']

data = [[1, 2, 3, None, 5],
				['가', '나', np.nan, '라', '마'],
				[pd.NA, 'b', 'c', 'd', 'e']
]

df = pd.DataFrame(data, columns=columns)

# 결과 출력
df

➡️

결과

# 결측치 확인
df.isnull()

➡️

결과

# 결측치가 아닌 값 확인
df.notnull()

➡️

결과

결측치 제거하기 | dropna()

import pandas as pd
import numpy as np

# DataFrame 생성
columns = ['A', 'B', 'C', 'D', 'E']

data = [[1, 2, 3, 4, 5],
				['가', '나', np.nan, '라', '마'],
				['a', 'b', 'c', 'd', 'e'],
				[None, None, 13, 'apple', 'cider']
]

df = pd.DataFrame(data, columns=columns)

# 결측치를 포함한 행 제거(사본 반환)
df.dropna()

➡️

결과

# 원본 DataFrame(변환 없음)
print("원본 데이터프레임")
df

➡️

결과

import pandas as pd
import numpy as np

# DataFrame 생성
columns = ['A', 'B', 'C', 'D', 'E']

data = [[1, 2, 3, 4, 5],
				['가', '나', np.nan, '라', '마'],
				['a', 'b', 'c', 'd', 'e'],
				[None, None, 13, 'apple', 'cider']
]

df = pd.DataFrame(data, columns=columns)

# 결측치를 포함한 Column 제거
df.dropna(axis=1)

➡️

결과

# 원본 데이터 확인
df

➡️

결과

import pandas as pd
import numpy as np

# DataFrame 생성
columns=['A', 'B', 'C', 'D', 'E']

data = [[1, 2, 3, 4, 5],
				['가', '나', np.nan, '라', '마'],
				['a', 'b', 'c', 'd', 'e'],
				[None, None, 13, 'apple', 'cider']
]

df = pd.DataFrame(data, columns=columns)

# 원본 데이터에 적용되어 변경
df.dropna(inplace=True)

# 원본 데이터 확인
df

➡️

결과

결측치 대체하기 | fillna()

import pandas as pd
import numpy as np

# 예시 데이터 생성
columns=['A', 'B', 'C', 'D', 'E']

data = [[1, 2, 3, 4, 5],
				['가', '나', np.nan, '라', '마'],
				['a', 'b', 'c', 'd', 'e'],
				[None, None, 13, 'apple', 'cider']
]

# DataFrame 생성
df = pd.DataFrame(data, columns=columns)

# 결과 출력
df.fillna('HI')

➡️

결과

# 각 칼럼값을 key로, 변경하고자 하는 값을 value로 하는 딕셔너리 생성
dict = {'A': 'Hello', 'B': 'Hi', 'C': 100, 'D': 200, 'E': 300}

#  Dictionary를 통해 결측치 대체
df.fillna(dict)

➡️

결과

4.2.5 이상치 처리하기

이상치 제거하기

import pandas as pd

# 예시 데이터 생성
data = pd.Series([1, 2, 3, 4, 100])

# IQR 계산
Q1 = data.quantile(0.25)  # 1사분위수
Q3 = data.quantile(0.75)  # 3사분위수
IQR = Q3 - Q1

# 이상치 제거
data = data[(data >= Q1 - 1.5 * IQR) & (data <= Q3 + 1.5 * IQR)]

# 결과 출력
data

0    1
1    2
2    3
3    4
dtype: int64

이상치 대체하기

import pandas as pd
import numpy as np

# 예시 데이터 생성
data = pd.Series([1, 2, 3, 4, 100])

# IQR 계산
Q1 = data.quantile(0.25)  # 1사분위수
Q3 = data.quantile(0.75)  # 3사분위수
IQR = Q3 - Q1

# 이상치 대체를 위한 상하한값 계산
lower_bound = Q1 - 1.5 * IQR
upper_bound = Q3 + 1.5 * IQR

# 이상치 대체
data[(data < lower_bound) | (data > upper_bound)] = data.median()

# 결과 출력
data

0    1
1    2
2    3
3    4
4    3
dtype: int64

4.2.6 정규표현식을 사용한 URL 제거

import re # 정규표현식을 불러오는 모듈

def remove_urls(text):
    pattern = re.compile(r'https?://\S+|www\.\S+')
    return re.sub(pattern, '', text)

# url이 들어있는 텍스트
text = "이 문장은 www.example.com과 https://www.test.com 같은 URL을 포함합니다."
clean_text = remove_urls(text)

# 결과출력
clean_text

'이 문장은      같은 URL을 포함합니다.’