Chapter4. 공공데이터포털

4.1 공공데이터포털

4.1.1 공공데이터포털 데이터 검색

1. 로그인 및 회원가입 진행

1. 검색창 - ‘원하는 자료’ 검색

1. 검색 결과 - 오픈API 클릭

1. ‘원하는 자료’ 클릭

4.1.2 공공데이터포털 데이터 탐색

• 데이터 조회하기

• OpenAPI 정보

• 상세기능 정보

4.1.3 OpenAPI 활용 신청

1. 검색창 - ‘원하는 자료’ 검색

1. 검색 결과 - 오픈API 클릭

1. 데이터 활용신청 클릭

1. 활용목적 선택 - 동의 체크 - 활용신청 클릭

1. 마이페이지 - 데이터 활용 - OpenAPI - 활용신청 현황

4.2 데이터 활용

• ‘가맹정보_업종별 가맹본부 변동현황 제공 서비스’의 ‘외식별 변동 현황’ 데이터입니다.

• ‘가맹정보_업종별 가맹본부 변동현황 제공 서비스’에서는 4개(업종별, 외식별, 도소매별, 서비스별)의 데이터를 제공합니다.

• 4개의 데이터 중 연도를 기준으로 가맹본부 증가수, 가맹본부 증가율, 신규등록 가맹본부수, 신규등록 가맹본부율, 등록취소 가맹본부수 등의 정보를 제공하는 ‘외식별’ 데이터를 사용하겠습니다.

• 현재 시장의 트렌드와 현황을 파악하고 분석할 수 있습니다.

• 연도 정보를 통해 최근 몇 년간의 추세 파악과 예측이 가능합니다.

4.2.1 URL과 매개변수

URL 확인

매개변수 확인

4.2.2 JSON 데이터 크롤링

라이브러리 호출

import json
import requests
import pandas as pd

데이터 불러오기

1. 공공데이터포털 OpenAPI - ServiceKey 입력

key = 'DecodingKey 입력'

1. URL, 매개변수 입력 - requests 요청

url = 'https://apis.data.go.kr/1130000/FftcIndutyJnghdqrtrsStatsService/getIndutyJnghdqrtrsOutStats?'
params = {'serviceKey' : key, 'pageNo' : '1', 'numOfRows' : '15', 'resultType' : 'json', 'yr' : '2021' }

response = requests.get(url, params=params)

1. 요청받은 데이터 확인

content = response.text
content

'{"resultCode":"00","resultMsg":"NORMALSERVICE","numOfRows":"15","pageNo":"1",
"totalCount":15,"items":[{"yr":"2021","indutyMlsfcNm":"기타 외국식","jnghdqrtr
sIncCnt":60,"jnghdqrtrsIncRt":71.43,"newRgsJnghdqrtrsCnt":76,"newRgsJnghdqrtrs
Rt":47.5,"rgsRtrcnJnghdqrtrsCnt":16,"rgsRtrcnJnghdqrtrsRt":10,"jnghdqrtrsAvrgB
snPdVal":"5년 7개월"},{"yr":"2021","indutyMlsfcNm":"기타 외식","jnghdqrtrsIncCn
t":407,"jnghdqrtrsIncRt":57.57,"newRgJnghdqrtrsCnt":533,"newRgsJnghdqrtrsRt":43
.62,"rgsRtrcnJnghdqrtrsCnt":108,"rgsRtrcnJnghqtrsRt":8.84,"jnghdqrtrsAvrgBsnPdV
…중략…
"jnghdqrtrsIncRt":64.44,"newRgsJnghdqrtrsCnt":112,"newRgsJnghdqrtrsRt":46.67,"r
gsRtrcnJnhdqrtrsCnt":18,"rgsRtrcnJnghdqrtrsRt":7.5,"jnghdqrtrsAvrgBsnPdVal":"6년
 7개월"},{"yr":"221","indutyMlsfcNm":"한식","jnghdqrtrsIncCnt":815,"j"jnghdqrtrs
IncRt":65.83,”newghdqrtrst":51.21,"rgsRtrcnJnghdqrtrsCnt":212,"rgsRtrcnJnghdqrtr
sRt":9.36,"jnghdqrtrsAvrgBsnPdVal:"5년 7개월"}]}'

데이터 변환

1. JSON 형식의 문자열을 Python 객체로 변환

json_data = json.loads(content)
json_data

{'resultCode': '00',
 'resultMsg': 'NORMAL SERVICE',
 'numOfRows': '15',
 'pageNo': '1',
 'totalCount': 15,
 'items': [{'yr': '2021',
   'indutyMlsfcNm': '기타 외국식',
   'jnghdqrtrsIncCnt': 60,
   'jnghdqrtrsIncRt': 71.43,
   'newRgsJnghdqrtrsCnt': 76,
   'newRgsJnghdqrtrsRt': 47.5,
   'rgsRtrcnJnghdqrtrsCnt': 16,
   'rgsRtrcnJnghdqrtrsRt': 10,
   'jnghdqrtrsAvrgBsnPdVal': '5년 7개월'}
…중략…
{'yr': '2021',
   'indutyMlsfcNm': '한식',
   'jnghdqrtrsIncCnt': 815,
   'jnghdqrtrsIncRt': 65.83,
   'newRgsJnghdqrtrsCnt': 1160,
   'newRgsJnghdqrtrsRt': 51.21,
   'rgsRtrcnJnghdqrtrsCnt': 212,
   'rgsRtrcnJnghdqrtrsRt': 9.36,
   'jnghdqrtrsAvrgBsnPdVal': '5년 7개월'}]}

print(type(json_data))

<class 'dict'>

1. 필요한 데이터 추출해 DataFrame 변환

df = pd.DataFrame()

if json_data['totalCount'] != 0:
    items = json_data['items']
    df = pd.DataFrame(items)
df

➡️

결과

4.2.3 XML 데이터 크롤링

라이브러리 호출

import requests
import bs4
import pandas as pd

데이터 불러오기

1. 공공데이터포털 OpenAPI - ServiceKey 입력

key = 'DecodingKey 입력'

1. URL, 매개변수 입력 - requests 요청

url = 'https://apis.data.go.kr/1130000/FftcIndutyJnghdqrtrsStatsService/getIndutyJnghdqrtrsOutStats?'
params = {'serviceKey' : key, 'pageNo' : '1', 'numOfRows' : '15', 'resultType' : 'xml', 'yr' : '2022' }

response = requests.get(url, params=params)

1. 요청받은 데이터 확인

content = response.text
content

'<EgovMap><resultCode>00</resultCode><resultMsg>NORMAL SERVICE</resultMsg>
<numOfRows>15</numOfRows><pageNo>1</pageNo><totalCount>15</totalCount><items>
<item><yr>2022</yr><indutyMlsfcNm>기타 외국식</indutyMlsfcNm><jnghdqrtrsIncCnt>
21</jnghdqrtrsIncCnt><jnghdqrtrsIncRt>15.11</jnghdqrtrsIncRt><newRgsJngdqrtrsC
nt>29</newRgsJnghdqrtrsCnt><newRgsJnghdqrtrsRt>16.57</newRgsJnghdqrtrsRt><rgsR
trcnJnghdqrtrsCnt>15</rgsRtrcnJnghdqrtrsCnt><rgsRtrcnJnghdqrtrsRt>8.57</rgsRtr
cnJnghdqrtrsRt><jnghdqrtrsAvrgBsnPdVal>5년 7개월</jnghdqrtrsAvrgBsnPdVal></ite
…중략…
<indutyMlsfcNm>한식</indutyMlsfcNm><jnghdqrtrsIncCnt>264</jnghdqrtrsIncCnt>
<jnghdqrtrsIncRt>13.87</jnghdqrtrsIncRt><newRgsJnghdqrtrsCnt>410</newRgsJnghdqr
trsCnt><newRgsJnghdqrtrsRt>16.7</newRgsJnghdqrtrsRt><rgsRtrcnJnghdqrtrsCnt>287<
/rgsRtrcnJnghdqrtrsCnt><rgsRtrcnJnghdqrtrsRt>11.69</rgsRtrcnJnghdqrtrsRt><jnghd
qrtrsAvrgBsnPdVal>5년 11개월</jnghdqrtrsAvrgBsnPdVal></item></items></EgovMap>'

데이터 변환

1. XML 데이터 확인

'<EgovMap><resultCode>00</resultCode><resultMsg>NORMAL SERVICE</resultMsg>
<numOfRows>15</numOfRows><pageNo>1</pageNo><totalCount>15</totalCount><items>
<item><yr>2022</yr><indutyMlsfcNm>기타 외국식</indutyMlsfcNm><jnghdqrtrsIncCnt>
21</jnghdqrtrsIncCnt><jnghdqrtrsIncRt>15.11</jnghdqrtrsIncRt><newRgsJngdqrtrsC
nt>29</newRgsJnghdqrtrsCnt><newRgsJnghdqrtrsRt>16.57</newRgsJnghdqrtrsRt><rgsR
trcnJnghdqrtrsCnt>15</rgsRtrcnJnghdqrtrsCnt><rgsRtrcnJnghdqrtrsRt>8.57</rgsRtr
cnJnghdqrtrsRt><jnghdqrtrsAvrgBsnPdVal>5년 7개월</jnghdqrtrsAvrgBsnPdVal></ite
…중략…
<indutyMlsfcNm>한식</indutyMlsfcNm><jnghdqrtrsIncCnt>264</jnghdqrtrsIncCnt>
<jnghdqrtrsIncRt>13.87</jnghdqrtrsIncRt><newRgsJnghdqrtrsCnt>410</newRgsJnghdqr
trsCnt><newRgsJnghdqrtrsRt>16.7</newRgsJnghdqrtrsRt><rgsRtrcnJnghdqrtrsCnt>287<
/rgsRtrcnJnghdqrtrsCnt><rgsRtrcnJnghdqrtrsRt>11.69</rgsRtrcnJnghdqrtrsRt><jnghd
qrtrsAvrgBsnPdVal>5년 11개월</jnghdqrtrsAvrgBsnPdVal></item></items></EgovMap>'

1. 필요한 데이터 추출

xml_result = bs4.BeautifulSoup(content,'xml')
result = xml_result.findAll('item')
result

[<item><yr>2022</yr><indutyMlsfcNm>기타 외국식</indutyMlsfcNm><jnghdqrtrsIncCnt>
21</jnghdqrtrsIncCnt><jnghdqrtrsIncRt>15.11</jnghdqrtrsIncRt><newRgsJngdqrtsCnt>
29</newRgsJnghdqrtrsCnt<newRgsJnghdqrtrsRt>16.57</newRgsJnghdqrtrsRt<rgsRtrcnJng
hdqrtrsCnt>15</rgsRtrcnJnghdqrtrsCnt<rgsRtrcnJnghdqrtrsRt>8.57</rgsRtrcnJnghdqrt
rsRt><jnghdqrtrsAvrgBsnPdVal>5년 7개월</jnghdqrAvrgBsnPdVal>
…중략…
<newRgsJnghdqrtrsRt>16.7</newRgsJnghdqrtrsRt><rgsRtrcnJnghdqrtrsCnt>287</rgsRtrc
nJnghdqrtrsCnt><rgsRtrcnJnghdqrtrsRt>11.69</rgsRtrcnJnghdqrtrsRt><jnghdqrtrsAvrg
BsnPdVal>5년 11개월</jnghdqrtrsAvrgBsnPdVal></item>]

1. column, value 추출

• Column 추출

column_list = []  # for문을 통해 추출한 column을 담을 빈 리스트
for column in result[0].find_all():
    column_list.append(column.name)

column_list

['yr',
 'indutyMlsfcNm',
 'jnghdqrtrsIncCnt',
 'jnghdqrtrsIncRt',
 'newRgsJnghdqrtrsCnt',
 'newRgsJnghdqrtrsRt',
 'rgsRtrcnJnghdqrtrsCnt',
 'rgsRtrcnJnghdqrtrsRt',
 'jnghdqrtrsAvrgBsnPdVal']

• Value 추출

data_list = []
value_list = []
for i in result:
    for j in i.find_all():
        data_list.append(j.text)
    value_list.append(data_list)
    data_list = []

value_list

[['2022', '기타 외국식', '21', '15.11', '29', '16.57', '15', '8.57', '5년 7개월'],
 ['2022', '기타 외식', '31', '2.97', '115', '9.46', '141', '11.6', '6년 7개월'],
 ['2022', '분식', '27', '4.94', '54', '8.37', '71', '11.01', '6년 4개월'],
 ['2022', '서양식', '18', '7.86', '29', '10.55', '28', '10.18', '5년 7개월'],
 ['2022', '아이스크림/빙수 ', '2', '3.85', '11', '18.33', '6', '10', '6년 10개월'],
 ['2022', '음료 (커피 외)', '4', '4.49', '11', '10.68', '10', '9.71', '6년 7개월'],
 ['2022', '일식', '48', '15.34', '64', '15.88', '42', '10.42', '5년 7개월'],
 ['2022', '제과제빵', '27', '13.99', '43', '17', '33', '13.04', '7년 1개월'],
 ['2022', '주점', '29', '9.39', '47', '12.57', '36', '9.63', '6년 8개월'],
 ['2022', '중식', '30', '14.71', '53', '20.54', '24', '9.3', '4년 11개월'],
 ['2022', '치킨', '19', '3.34', '45', '6.88', '66', '10.09', '7년 6개월'],
 ['2022', '커피', '96', '15.34', '142', '18.09', '63', '8.03', '5년 10개월'],
 ['2022', '패스트푸드', '-2', '-1.34', '17', '10.3', '18', '10.91', '7년 4개월'],
 ['2022', '피자', '12', '5.66', '19', '7.63', '25', '10.04', '6년 10개월'],
 ['2022', '한식', '264', '13.87', '410', '16.7', '287', '11.69', '5년 11개월']]

1. DataFrame 변환

df = pd.DataFrame(value_list, columns = column_list)
df

➡️

결과

4.2.4 데이터 전처리 및 저장

데이터 전처리

• Column명 변경

df.columns = ['기준년도', '업종_중분류명', '가맹본부_증가수', '가맹본부_증가율', '신규등록_가맹본부수', '신규등록_가맹본부율', '등록취소_가맹본부수', '등록취소_가맹본부율', '가맹본부_평균영업기간']
df

➡️

결과

• 불필요한 Column 삭제

df = df.drop('가맹본부_증가수', axis=1)
df = df.drop('가맹본부_증가율', axis=1)
df = df.drop('가맹본부_평균영업기간', axis=1)

df

➡️

결과

• 데이터 형변환

# 데이터 타입 확인
df.dtypes

기준년도          object
업종_중분류명       object
신규등록_가맹본부수    object
신규등록_가맹본부율    object
등록취소_가맹본부수    object
등록취소_가맹본부율    object
dtype: object

df['기준년도'] = df['기준년도'].astype(int)
df['신규등록_가맹본부수'] = df['신규등록_가맹본부수'].astype(int)
df['신규등록_가맹본부율'] = df['신규등록_가맹본부율'].astype(float)
df['등록취소_가맹본부수'] = df['등록취소_가맹본부수'].astype(int)
df['등록취소_가맹본부율'] = df['등록취소_가맹본부율'].astype(float)

# 변환된 데이터 타입 확인
df.dtypes

기준년도            int64
업종_중분류명        object
신규등록_가맹본부수      int64
신규등록_가맹본부율    float64
등록취소_가맹본부수      int64
등록취소_가맹본부율    float64
dtype: object

• 정렬

df.sort_values(by='등록취소_가맹본부수', ascending = True)

➡️

결과

df.sort_values(by='신규등록_가맹본부율', ascending = False)

➡️

결과

df = df.sort_values(by='신규등록_가맹본부율', ascending = False)

데이터 저장

df.to_csv('외식별_가맹정보.csv', index=False)

4.3 MySQL

4.3.1 MySQL DB생성

import pymysql

# password 입력
password = '0000'

# MySQL Connection
conn = pymysql.connect(host = '127.0.0.1',
                       port = 3306,
                       user = 'root',
                       password = password,
                       charset='utf8')

# SQL문 실행
with conn:
    with conn.cursor() as cur:
        cur.execute('CREATE DATABASE affiliate_db')
        conn.commit()

4.3.2 MySQL 테이블 생성

# MySQL DB Connection
conn = pymysql.connect(host = '127.0.0.1',
                       port = 3306,
                       user = 'root',
                       password = password,
                       charset='utf8',
                       database='affiliate_db')

• 테이블 이름: category

• Columns
• category_name(업종_중분류명): 문자형(VARCHAR(50)), 고유한 값을 가지고 있으므로 primary key로 설정
• year(연도): 정수형(int)
• new_store(신규등록_가맹본부수): 정수형(int)
• new_store_per(신규등록_가맹본부율): 실수형(float)
• cancel_store(등록취소_가맹본부수): 정수형(int)
• cancel_store_per(등록취소_가맹본부율): 실수형(float)

sql = '''create table category (
            category_name VARCHAR(50) primary key,
            year int,
            new_store int,
            new_store_per float,    
            cancel_store int,
            cancel_store_per float);'''

with conn.cursor() as cur:
    cur.execute(sql)
    conn.commit()

4.3.3 MySQL 데이터 저장

with conn.cursor() as cursor:
    for _, row in df.iterrows():
        sql = '''
        INSERT INTO category (category_name, year, new_store, new_store_per,
															cancel_store, cancel_store_per)
        VALUES (%s, %s, %s, %s, %s, %s)
        '''

        values = (
            row['업종_중분류명'], row['기준년도'], row['신규등록_가맹본부수'],
						row['신규등록_가맹본부율'], row['등록취소_가맹본부수'],
						row['등록취소_가맹본부율']
        )

        cursor.execute(sql, values)
        
    # 커밋
    conn.commit()

# MySQL DB Connection 종료
conn.close()

4.3.4 MySQL 데이터 조회

1. DB 연결

# MySQL DB Connection
conn = pymysql.connect(host = '127.0.0.1',
                       port = 3306,
                       user = 'root',
                       password = password,
                       charset='utf8',
                       database='affiliate_db')

1. 조건문 실행

# query
query = '''SELECT *
            FROM category
            WHERE new_store >= 30
            ORDER BY new_store_per ;'''

# query 실행
with conn.cursor() as cursor:
    cursor.execute(query)
    result = cursor.fetchall()

# 결과 출력
print(f'조건에 일치하는 카테고리: 총 {len(result)}개')
result_df = pd.DataFrame(result, columns=['category_name', 'year', 'new_store', 'new_store_per', 'cancel_store', 'cancel_store_per'])
result_df

➡️

결과

# query
query = '''SELECT *
            FROM category
            WHERE cancel_store_per >= 10
            ORDER BY cancel_store DESC
						LIMIT 5 ;'''

# query 실행
with conn.cursor() as cursor:
    cursor.execute(query)
    result = cursor.fetchall()

# 결과 출력
print(f'조건에 일치하는 카테고리: 총 {len(result)}개')
result_df = pd.DataFrame(result, columns=['category_name', 'year', 'new_store', 'new_store_per', 'cancel_store', 'cancel_store_per'])
result_df

➡️

결과

1. DB 연결 종료

# MySQL DB Connection 종료
conn.close()