🚕
크롤링으로 만드는 데이터베이스/
💡
일정 및 회의록/
💡
5차 회의(오후 4시)
💡

5차 회의(오후 4시)

날짜
May 30, 2023
태그
회의

1. 일시: 2023.05.30

2. 참석자: 강병주, 송유림, 이지은, 이혜정, 정서영, 조준희

3. 회의 안건

1️⃣
크롤링 예제 사이트 ⇒ 추가 조사
  • 제품 크롤링(하이마트, 전자랜드)
  • 영화 크롤링(imdb, 영화입장권통합전산망)
  • api 크롤링(공공데이터포털)
 
⇒ 추가 조사 후, 크롤링 예제 데이터베이스에 업로드
 
크롤링 예제 사이트
제목
정적/동적
/robots.txt
URL
비고
하이마트
정적크롤링
동적크롤링
O
https://www.e-himart.co.kr/app/display/showDisplayShop?originReferrer=himartindex&utm_source=google&utm_medium=PC_SA&utm_campaign=google_sa&utm_content=google_sa_!1&fromShop=google_sa_!1&gclid=CjwKCAjwvdajBhBEEiwAeMh1U-kYAMSrwBmx7GoqtJMZ3LGsExGt7I2naYBmJ2Dmx9oQNson3jxXQRoCE-UQAvD_BwE
예스24, 교보문고, 알라딘
정적크롤링
O
http://www.yes24.com/main/default.aspx?ysmchn=ggl&ysmcpm=google-sponsor&ysmtac=ppc&ysmtrm=%EC%98%88%EC%8A%A424&pid=123487&cosemkid=go14913756274107498&gclid=CjwKCAjwvdajBhBEEiwAeMh1U5SUVp-eXWaYiH5aenynGadSu5nkrMiGhiY4ONWGJ1lbdgitWTcH0xoCR2QQAvD_BwE
예스24 링크만 넣어둠
공공 데이터 포털
정적크롤링
O
https://www.data.go.kr/
IMDb
정적크롤링
O
https://www.imdb.com/
뉴스 API - title만 가능
정적크롤링
O
http://openapi.yonhapnews.co.kr/
KOTRA 해외시장 뉴스
정적크롤링
동적크롤링
O
https://dream.kotra.or.kr/kotranews/index.do
전자랜드
동적크롤링
정적크롤링
O
https://www.etlandmall.co.kr/pc/main/index.do
금융용어사전
정적크롤링
?
https://fine.fss.or.kr/fine/fnctip/fncDicary/list.do?menuNo=900021&pageIndex=1
망고 플레이트
정적크롤링
?
https://www.mangoplate.com/
나라장터 국가종합전자조달
정적크롤링
?
https://www.g2b.go.kr/index.jsp?isMobile=N
식품안전나라
정적크롤링
?
http://www.foodsafetykorea.go.kr/
크롤링 예제 사이트
제목
정적/동적
/robots.txt
URL
비고
하이마트
정적크롤링
동적크롤링
O
https://www.e-himart.co.kr/app/display/showDisplayShop?originReferrer=himartindex&utm_source=google&utm_medium=PC_SA&utm_campaign=google_sa&utm_content=google_sa_!1&fromShop=google_sa_!1&gclid=CjwKCAjwvdajBhBEEiwAeMh1U-kYAMSrwBmx7GoqtJMZ3LGsExGt7I2naYBmJ2Dmx9oQNson3jxXQRoCE-UQAvD_BwE
영화관입장권통합전산망
동적크롤링
O
https://www.kobis.or.kr/kobis/business/main/main.do
전자랜드
동적크롤링
정적크롤링
O
https://www.etlandmall.co.kr/pc/main/index.do
KOTRA 해외시장 뉴스
정적크롤링
동적크롤링
O
https://dream.kotra.or.kr/kotranews/index.do
2️⃣
기본편 크롤링 예제 통일 여부 ⇒ 챕터별로 예제 사용
  • 기본편에서 사용할 예제의 통일성에 대한 논의
⇒ 기본편에서는 함수, 모듈 등에 대한 기능을 중점적으로 설명하고자 합니다. 설명하려는 함수와 모듈에 따라 필요한 데이터의 종류가 달라질 수 있으므로 각 챕터별로 예제를 만들어 사용합니다.
📌
6차 회의 사전 과제

1. 크롤링 예제 추가 서치

  • 동적 크롤링 예제가 더 필요합니다.

2. 기본편 집필 (5/29 ~ 6/4)

  • 나누어서 집필, 6/5(월) 검토 예정