Pandas

목차

Pandas

• 데이터를 분석할 때 가장 많이 쓰이는 라이브러리다.

• 행과 열을 쉽게 처리할 수 있는 함수를 제공하는 도구이다.
※ 각 열은 단일 데이터 형식만 저장

• numpy보다 유연하게 수치 연산 가능하다.

import pandas as pd

pd.__version__

pd? # tab 누르면 사용가능한 여러가지 method를 볼 수 있다.

Out[-]
1.0.1

Series

• index와 values로 이루어진 1차원 배열이다.

• 모든 유형의 데이터를 보유할 수 있다.

• 인덱스를 지정해 줄 수 있다.

• 인덱스 길이는 데이터의 길이와 같아야 한다.

• 명시적 인덱스와 암묵적 인덱스를 가진다.
• loc : 인덱스값을 기반으로 행 데이터를 읽는다.
• iloc : 정수 인덱스을 기반으로 행 데이터를 읽는다.

import pandas as pd
import numpy as np

data = np.arange(0, 50, 10)
data

Out[-]
array([ 0, 10, 20, 30, 40])

a = pd.Series(data, index=['a', 'b', 'c', 'd', 'e'])
print(a)

Out[-]
a     0
b    10
c    20
d    30
e    40
dtype: int32

b = pd.Series(data)
b

Out[-]
0     0
1    10
2    20
3    30
4    40
dtype: int32

a['b']

Out[-]
10

a.loc['b']

Out[-]
10

a.iloc[1]

Out[-]
10

산술연산

a

Out[-]
a     0
b    10
c    20
d    30
e    40
dtype: int32

# 더하기
a + 10

Out[-]
a    10
b    20
c    30
d    40
e    50
dtype: int32

# 빼기
a - 10

Out[-]
a   -10
b     0
c    10
d    20
e    30
dtype: int32

# 곱하기
a * 10

Out[-]
a      0
b    100
c    200
d    300
e    400
dtype: int32

# 거듭제곱
a ** 2

Out[-]
a       0
b     100
c     400
d     900
e    1600
dtype: int32

# 나누기
a / 5

Out[-]
a    0.0
b    2.0
c    4.0
d    6.0
e    8.0
dtype: float64

# 몫
a // 5

Out[-]
a    0
b    2
c    4
d    6
e    8
dtype: int32

# 나머지
a % 3

Out[-]
a    0
b    1
c    2
d    0
e    1
dtype: int32

비교 연산자

a

Out[-]
a     0
b    10
c    20
d    30
e    40
dtype: int32

a > 15

Out[-]
a    False
b    False
c     True
d     True
e     True
dtype: bool

a[a>15]

Out[-]
c    20
d    30
e    40
dtype: int32

집계함수

• add : 더하기 함수

• sub : 빼기 함수

• mul : 곱하기 함수

• div : 나누기 함수

• mod : 나머지 구하는 함수

• min : 최소값 구하는 함수

• max : 최대값 구하는 함수

• mean : 평균 구하는 함수

• median : 중앙값 구하는 함수

• std : 표준편차 구하는 함수

• var : 분산 구하는 함수

a.add(100)

Out[-]
a    100
b    101
c    102
d    103
e    104
dtype: int32

a.sub(100)

Out[-]
a   -100
b    -90
c    -80
d    -70
e    -60
dtype: int32

a.mul(100)

Out[-]
a       0
b    1000
c    2000
d    3000
e    4000
dtype: int32

a.div(100)

Out[-]
a    0.0
b    0.1
c    0.2
d    0.3
e    0.4
dtype: float64

a.mod(3)

Out[-]
a    0
b    1
c    2
d    0
e    1
dtype: int32

a.min()

Out[-]
0

a.max()

Out[-]
40

a.sum()

Out[-]
100

a.mean()

Out[-]
20.0

a.median()

Out[-]
20.0

a.std()

Out[-]
15.811388300841896

a.var()

Out[-]
250.0

DataFrame

• 2차원 배열에 행과 열에 인덱스를 붙인 것이다.

• 가장 기본적인 데이터 구조이다.

# 50부터 100사이, 4x3형태로 랜덤 생성
rawData = np.random.randint(50, 100, size=(4, 3)) 
rawData

Out[-]
array([[72, 61, 98],
       [83, 90, 91],
       [55, 71, 89],
       [71, 71, 76]])

df = pd.DataFrame(rawData, 
                  index=['1반', '2반', '1반', '2반'], 
                  columns=['국', '영', '수'])
df

Out[-]
		국	영	수
1반	72	61	98
2반	83	90	91
1반	55	71	89
2반	71	71	76

#df[0] -> Error
df['국']

Out[-]
1반    72
2반    83
1반    55
2반    71
Name: 국, dtype: int32

df

Out[-]
		국	영	수
1반	72	61	98
2반	83	90	91
1반	55	71	89
2반	71	71	76

# 열을 추가하여 평균 구하기  
df['평균'] = round((df['국']+df['영']+df['수'])/3, 2)
df

Out[-]
		국	영	수	평균
1반	72	61	98	77.00
2반	83	90	91	88.00
1반	55	71	89	71.67
2반	71	71	76	72.67

# 열('na') 추가하고 NaN값을 넣기
df["na"] = np.nan
df

Out[-]
		국	영	수	평균	na
1반	72	61	98	77.00	NaN
2반	83	90	91	88.00	NaN
1반	55	71	89	71.67	NaN
2반	71	71	76	72.67	NaN

# del 삭제
del df['na']
df

Out[-]
		국	영	수	평균
1반	72	61	98	77.00
2반	83	90	91	88.00
1반	55	71	89	71.67
2반	71	71	76	72.67

df[df.평균 > 75]

Out[-]
		국	영	수	평균
1반	72	61	98	77.0
2반	83	90	91	88.0

df = df.drop(["평균"], axis = 'columns')
df

Out[-]
		국	영	수
1반	72	61	98
2반	83	90	91
1반	55	71	89
2반	71	71	76

결측값 처리

1. NaN
• 자료형이 Float형이다.
• 배열에서 연산할 경우 오류가 발생하지 않지만 결과값이 NaN이 된다.

2. None
• 자료형이 None이다.
• 배열 연산을 할 경우 오류가 발생한다.

df = df.astype('float64') # 타입 변경
df

Out[-]
			국	  영	  수
1반	72.0	61.0	98.0
2반	83.0	90.0	91.0
1반	55.0	71.0	89.0
2반	71.0	71.0	76.0

df['수'][2] = np.nan
df

Out[-]
			국	  영	  수
1반	72.0	61.0	98.0
2반	83.0	90.0	91.0
1반	55.0	71.0	 NaN
2반	71.0	71.0	76.0

df.dropna(axis=0) # inplace=True # axis=0 : 행 삭제

Out[-]
		  국	  영	  수
1반	72.0	61.0	98.0
2반	83.0	90.0	91.0
2반	71.0	71.0	76.0

df

Out[-]
			국	  영	  수
1반	72.0	61.0	98.0
2반	83.0	90.0	91.0
1반	55.0	71.0	 NaN
2반	71.0	71.0	76.0

df.dropna(axis=1) # axis=1 : 열 삭제

Out[-]
			국	  영
1반	72.0	61.0
2반	83.0	90.0
1반	55.0	71.0
2반	71.0	71.0

df.fillna('hello')

Out[-]
			국	  영	   수
1반	72.0	61.0	   98
2반	83.0	90.0	   91
1반	55.0	71.0	hello
2반	71.0	71.0	   76

df.fillna(0) # 0으로 대체

Out[-]
      국	  영	  수
1반	72.0	61.0	98.0
2반	83.0	90.0	91.0
1반	55.0	71.0	 0.0
2반	71.0	71.0	76.0

df.fillna(df.mean()) # 평균으로 대체

Out[-]
      국	  영	       수
1반	72.0	61.0	98.000000
2반	83.0	90.0	91.000000
1반	55.0	71.0	88.333333
2반	71.0	71.0	76.000000

MultiIndex

• Index를 설정할 때 리스트의 리스트 형태로 넣어주면 다중 인덱스가 설정이 된다.

df

Out[-]
      국	  영	  수
1반	72.0	61.0	98.0
2반	83.0	90.0	91.0
1반	55.0	71.0	 NaN
2반	71.0	71.0	76.0

# index 와 columns을 바꿈
df.T 

Out[-]
		 1반	 2반	 1반	 2반
국	72.0	83.0	55.0	71.0
영	61.0	90.0	71.0	71.0
수	98.0	91.0	 NaN	76.0

df

      국	  영	  수
1반	72.0	61.0	98.0
2반	83.0	90.0	91.0
1반	55.0	71.0	 NaN
2반	71.0	71.0	76.0

df.index = [['1학년', '1학년', '2학년', '2학년'], ['1반', '2반', '1반', '2반']]
df

Out[-]
						국	  영	  수
1학년	1반	72.0	61.0	98.0
      2반	83.0	90.0	91.0
2학년	1반	55.0	71.0	 NaN
      2반	71.0	71.0	76.0

df.columns = [['언어', '언어', '수리'],['국', '영', '수']]
df

Out[-]
					      언어   수리
						국	  영	  수
1학년	1반	72.0	61.0	98.0
      2반	83.0	90.0	91.0
2학년	1반	55.0	71.0	 NaN
      2반	71.0	71.0	76.0

df['언어']['국']

Out[-]
1학년  1반    72.0
     2반    83.0
2학년  1반    55.0
     2반    71.0
Name: 국, dtype: float64

df.iloc[0]

Out[-]
언어  국    72.0
    영    61.0
수리  수    98.0
Name: (1학년, 1반), dtype: float64

df.loc['1학년']

Out[-]
          언어	수리
			국	  영	  수
1반	72.0	61.0	98.0
2반	83.0	90.0	91.0

df.loc['1학년'].loc['1반']

Out[-]
언어  국    72.0
    영    61.0
수리  수    98.0
Name: 1반, dtype: float64

데이터 사전 분석

• info() : DataFrame을 구성하는 행과 열에 대한 정보를 나타내 주는 함수

• head(n) : DataFrame의 처음부터 n줄의 행을 출력

• tail(n) : DataFrame의 마지막 n줄의 행을 출력

• describe() : Series, DataFrame의 각 열에 대한 요약 통계

• dtypes : 데이터 자료형 확인

df

Out[-]
					      언어   수리
						국	  영	  수
1학년	1반	72.0	61.0	98.0
      2반	83.0	90.0	91.0
2학년	1반	55.0	71.0	 NaN
      2반	71.0	71.0	76.0

df.info()

Out[-]
<class 'pandas.core.frame.DataFrame'>
MultiIndex: 4 entries, (1학년, 1반) to (2학년, 2반)
Data columns (total 3 columns):
(언어, 국)    4 non-null float64
(언어, 영)    4 non-null float64
(수리, 수)    3 non-null float64
dtypes: float64(3)
memory usage: 248.0+ bytes

df.head()

Out[-]
								언어	수리
						국	  영	  수
1학년	1반	72.0	61.0	98.0
			2반	83.0	90.0	91.0
2학년	1반	55.0	71.0	 NaN
			2반	71.0	71.0	76.0

df.tail()

Out[-]
								언어	수리
						국	  영	  수
1학년	1반	72.0	61.0	98.0
			2반	83.0	90.0	91.0
2학년	1반	55.0	71.0	NaN
			2반	71.0	71.0	76.0

df.dtypes

Out[-]
언어  국    float64
    영    float64
수리  수    float64
dtype: object

df.describe()

Out[-]
										 언어	     수리
						 국	       영	       수
count	 4.000000	 4.000000	 3.000000
 mean	70.250000	73.250000	88.333333
  std	11.528949	12.120919	11.239810
  min	55.000000	61.000000	76.000000
  25%	67.000000	68.500000	83.500000
  50%	71.500000	71.000000	91.000000
  75%	74.750000	75.750000	94.500000
  max	83.000000	90.000000	98.000000

df.isnull() # 결측값 확인, 결과는 bool 형태로 출력

Out[-]
								 언어	 수리
						 국	   영	   수
1학년	1반	False	False	False
			2반	False	False	False
2학년	1반	False	False	 True
			2반	False	False	False

df.isnull().sum() # 결측값 개수 확인

Out[-]
언어  국    0
    영    0
수리  수    1
dtype: int64

값의 연결

• concat : DataFrame끼리 결합
• axis=0 or 1 : 아래로 데이터 연결 / 옆으로 데이터 연결

• append : 마지막 행에 데이터를 추가

a = pd.DataFrame(np.arange(1, 10).reshape(3, 3))
a

Out[-]
	0	1	2
0	1	2	3
1	4	5	6
2	7	8	9

b = pd.Series(np.arange(10, 40, 10))
b

Out[-]
0    10
1    20
2    30
dtype: int32

pd.concat([a, b], axis=1)

Out[-]
	0	1	2	 0
0	1	2	3	10
1	4	5	6	20
2	7	8	9	30

pd.concat([a, b], axis=1, ignore_index=True)

Out[-]
	0	1	2	 3
0	1	2	3	10
1	4	5	6	20
2	7	8	9	30

a.append(b, ignore_index=True)

Out[-]
	 0	 1	 2
0	 1	 2	 3
1	 4	 5	 6
2	 7	 8	 9
3	10	20	30