🚕
크롤링으로 만드는 데이터베이스/
💡
일정 및 회의록/
💡
8차 회의(오후 4시)
💡

8차 회의(오후 4시)

날짜
Jun 19, 2023
태그
회의
 

1. 활용편 틀 구상하기

  • kotra - 정적 / 번개장터 - 동적 / 공공데이터포털 - API, 정적
 
  • 공공데이터포털은 kotra나 번개장터와는 조금 다른 결이기에 해당 사이트 특성에 맞게 진행하는 것이 좋을 듯 함
    • (회원가입이 되어있다는 전제)
      1. 공공데이터포털 간단 소개
      1. 원하는 데이터 검색
      1. OpenAPI 활용신청
      1. 사용 모듈 간단 설명(requests, json 등)
      1. Key, 파라미터값 수정하여 값 불러오기
      1. json, xml -> csv 파일로 변환
      1. MySQL DB와 연동
 
  • kotra, 번개장터
      1. 사이트 소개
      1. 해당 사이트 크롤링 목적
      1. 크롤링 가능 여부 체크
      1. 사이트 살펴보기(크롤링 할 부분의 요소, selector, xpath 등 확인)
      1. 크롤링
          2. 1) 한 페이지 또는 단일 요소 크롤링 2) 전체 크롤링
      1. DB에 저장
 

2. 기본편 추가 이슈사항 확인하기

  • CH2 MySQL
      • : python에서 MySQL 사용법 추가
  • CH3 크롤링
      • : Action Chains 이후에 추가 예정
       

3. 이후 집필 일정 정리하기

6/19(월) ~ 6/25(일) 활용편 집필
6/22(목) 16시/18시 회의
~ 7/1(토) 활용편 수정 진행
~ 7/7(금) 기본편, 활용편 검토
 

4. GitHub 레파지토리 만들기

  • Organization : DAS-Crawling