ch2 - 4. BeautifulSoup으로 크롤링

BeautifulSoup으로 크롤링

라이브러리 설치하기

pip install requests
pip install beautifulsoup4

Requests

import requests

url = 'http://paullab.co.kr'
response = requests.get(url)
print(response.headers)           # 헤더의 내용 확인 (.headers)
print(response.encoding).         # 인코딩 방식 확인 (.encoding)
print(response.status_code).      # 상태코드 확인 (.status_code)
print(response.ok)                # 정상적 접속 확인 (.ok)
response.encoding = 'utf-8'
print(response.text)              # html 내용 확인 (.text)

Requests 활용 (1)

import requests

paullab_url = 'http://paullab.co.kr'
response = requests.get(paullab_url)
response.encoding = 'utf-8'
html = response.text

f = open('test.html', 'w')
f.write(html)
f.close()

Requests 활용 (2)

import requests

paullab_url = 'http://paullab.co.kr'
response = requests.get(paullab_url)
response.encoding = 'utf-8'
html = response.text

spliteHTML = html.split(' ')
word = input("검색할 단어를 입력하세요 : ")
print(spliteHTML.count(word))

BeautifulSoup

import requests
from bs4 import BeautifulSoup

response = requests.get('http://paullab.co.kr')

response.encoding = 'utf-8'
html = response.text

soup = BeautifulSoup(html, 'html.parser')
print(soup.title)                      # title 태그 출력
print(soup.find('title'))              # title 태그 출력
print(soup.find(id='content'))         # id 가 'content'인 태그 출력

print(soup.find_all('a'))              # 모든 a 태그 출력
print(soup.select('#content'))         # id 가 'content'인 모든 태그 출력 
print(soup.select('.container > a'))   # 'container' class 안에 모든 a 태그 출력

Selector

1 <a href='home.html'></a>

2 <li class='study'>
3     <p id='text'>
4         <a href = 'http://paullab.co.kr'> </a>
5      </p>
6 </li>

BeautifulSoup 활용 (1)

import requests
from bs4 import BeautifulSoup

paullab_url = 'http://paullab.co.kr'
response = requests.get(paullab_url)
response.encoding = 'utf-8'
html = response.text

soup = BeautifulSoup(html, 'html.parser')

lecture_list = soup.select('.lecture ')        # lecture 클래스 탐색
print(dir(lecture_list))
for lecture in lecture_list:
    print(lecture.text)                     

BeautifulSoup 활용 (2)

import requests
from bs4 import BeautifulSoup

paullab_url = 'http://paullab.co.kr/bookservice/'
response = requests.get(paullab_url)
response.encoding = 'utf-8'
html = response.text

soup = BeautifulSoup(html, 'html.parser')

bookservices = soup.select('.col-lg-6 > h2')     # col-lg-6 클래스 안의 h2 태그 탐색
for no, book in enumerate(bookservices, 1):
    print(no, book.text)

크롤링의 원리, HTTP

HTTP 에 대해서 알아보자

HTTP란?

server 와 client

HTTP 메소드

header와 body

• header
header 는 key/value 형식으로 데이터를 저장합니다. 한 번 header를 확인해볼까요? header를 확인하기 위해서는 httpie 라는 패키지를 이용해서 확인할 수 있습니다.
• httpie 패키지 설치

pip install httpie

• google의 header 내용을 확인해볼까요?

http --header https://google.com



header 는 이 외에도 설정할 것이 많지만 크롤링과 관련해서는 아래의 설정들을 주의하셔야 합니다.
 



왜 HTTP를 알아야하는가?

 
간략하게나마 HTTP가 무엇인지 알아보았습니다. 이것이 크롤링과 무슨 관계 길래 이렇게 두서없이 설명을 했을까요? 크롤링이 HTTP 프로토콜 통신을 하기 때문입니다. 크롤링할 대상들이 모두 웹 상에 존재하니 정보를 가져오기 위해선 당연한거죠. 이제 본격적으로 크롤링에 대해 알아보도록 하겠습니다.
 

크롤링

 
이제 다시 크롤링으로 돌아오겠습니다. 크롤링을 구현하는 방법으로는 request, selenium, API 등이 있습니다. 첫번째와 두번째는 python 라이브러리를 통해서 세 번째는 instagram, 네이버 블로그 검색 등 이미 구현된 API를 가져다가 쓰는 방식입니다.
여기서 주의해야 할 점 은 API를 통한 크롤링은 허가되는 부분에 한해서만 가능토록 만들어져 있기 때문에 문제 될 것이 없지만 라이브러리를 통한 크롤링은 저작권 문제를 야기할 수 있습니다. 웹 상에 떠돌아다니는 정보도 저작권이 있기 때문이죠. 또한 크롤링을 해오는 사이트가 변경됨에 따라 프로그램을 수정해야하는 소요가 생길 수 있습니다.
 

request VS selenium

 
두 라이브러리는 사용하는 경우가 다릅니다. 물론 이분법적인 논리를 펼칠 수는 없지만 대체로 그렇습니다.
• request
request는 html에 처음부터 있던 부분을 크롤링할 경우 사용합니다. 이게 무슨소리냐고요? html은 동적으로 javascript 에 의해서 만들어질 수도 있기 때문이죠. 웹에서 마우스 우클릭 → 페이지 소스보기 로 들어가면 초기의 html 코드를 볼 수 있습니다.
마우스 우클릭이 안되는 경우에는 크롬의 Enable Right Click 확장을 사용해보세요.



 
• selenium
처음 html 파일에는 없었지만 javascript 를 통해 처리될 경우, 로그인이 필요한 경우에 사용합니다.
개발자도구 → Elements 에 있는 건 전부 가능합니다.



 

크롤링을 할 마지막 준비

 
이제 request 방식으로 크롤링을 해보도록 하겠습니다. 그러기 위해서는 다음과 같이 라이브러리들을 import 해야합니다.

pip install requests
pip install BeatifulSoup4

유의할 점은 BeatifulSoup4 를 붙여 4 버젼을 받아야합니다. 그렇지 않으면 3 버젼이 다운로드 됩니다.
import 가 잘되는지 확인해봅시다.

import requests
from bs4 import BeautifulSoup

requests 를 통한 HTTP 요청

response = requests.get('http://naver.com')

GET 요청

import requests
response = requests.get('http://naver.com')
response.text

[생략]
<meta name="description" content="네이버 메인에서 다양한 정보와 유용한 컨텐츠를 만나 보세요"/>
[생략]

requests 객체의 메소드

response = requests.get('http://naver.com')
response.status_code
response.ok
response.content
response.text

200
True
b'<!doctype html> [생략]
[생략]<meta name="description" content="네이버 메인에서 다양한 정보와 유용한 컨텐츠를 만나 보세요"/>[생략]

• status_code
• 응답 상태 코드를 return하게 됩니다. 응답 상태 코드란 말 그대로 HTTP 요청에 대해서 요청이 성공했는지 실패했는지 혹은 어떤 상태인지를 말해줍니다. 각 요청에 대한 건 https://developer.mozilla.org/ko/docs/Web/HTTP/Status 에서 자세히 확인하실 수 있습니다. 결과 값으로 나온 200은 성공했다는 의미입니다.

• ok
• status_code의 값을 통해 값이 결정되는데 200이상 400미만, 즉 성공했을 경우에는 True 를 그렇지 않을 경우에는 False 를 return 하게 됩니다. 데이터를 잘 불러오고 있나 확인이 가능하죠.

• content
• content는 가져온 데이터를 bytes 타입으로 return 합니다. 일반적으로는 사람이 보고 데이터를 읽을 수가 없습니다. 그렇기 때문에 인코딩 작업이 필요하죠.

• text
• 예시에서도 살펴봤듯이 str 타입의 데이터를 return 합니다. 기본적으로 content 의 bytes 타입의 데이터를 인코딩하는 방식이죠. 그 결과 우리도 데이터를 쉽게 읽을 수 있습니다.

응답헤더

response = requests.get('http://naver.com')response.headers

{'Server': 'NWS', 'Date': 'Wed, 20 Mar 2019 16:19:26 GMT',
 'Content-Type': 'text/html; charset=UTF-8', 'Transfer-Encoding': 'chunked',
 'Connection': 'keep-alive', 'Set-Cookie': 'PM_CK_loc=d60457a8fc51c5f539b7c71e807c9cc3f89533c169b3a46c94604f64e7dff11c; Expires=Thu, 21 Mar 2019 16:19:26 GMT; Path=/; HttpOnly',
 'Cache-Control': 'no-cache, no-store, must-revalidate', 'Pragma': 'no-cache',
 'P3P': 'CP="CAO DSP CURa ADMa TAIa PSAa OUR LAW STP PHY ONL UNI PUR FIN COM NAV INT DEM STA PRE"',
 'X-Frame-Options': 'DENY', 'X-XSS-Protection': '1; mode=block',
 'Content-Encoding': 'gzip', 'Strict-Transport-Security': 'max-age=63072000; includeSubdomains',
 'Referrer-Policy': 'unsafe-url'}

type(response.headers)

requests.structures.CaseInsensitiveDict

response.headers['content-type']

'text/html; charset=UTF-8'

response.content.decode('utf8')

한글이 깨질 때는 어떻게 해야하지?

response = requests.get('http://www.puka.co.kr/')
response.text[50:60]

Ä¡¿øÃÑ¿¬ÇÕȸ ºÎ»êÁöÈ'

response.headers['content-type']

'text/html'

오른쪽 마우스 -> 페이지 소스보기

<meta http-equiv="Content-Type" content="text/html; charset=euc-kr">

# 방법 1
response.content.decode('euc-kr')
# 방법 2
response.encoding = 'euc-kr'response.text

[생략] <title>::: 한국유치원총연합회 부산지회 :::</title>\r\n [생략]

queryString

웹 클라이언트에서 서버로 전달하는 데이터 방식

{'oid':'065', 'aid':'0000178691'}

params = {'oid':'065', 'aid':'0000178691'}
response = requests.get('https://sports.news.naver.com/basketball/news/read.nhn',
															params = params)
response.text[520:560]

[KBL시상식] 1위와 MVP의 엇갈림, 현대모비스와 KCC의 희비

BeautifulSoup 사용하기

BeautifulSoup 맛보기

html = '''
    <ol class="fruit">
        <li>사과</li>
        <li>바나나</li>
        <li>딸기</li>
        <li>수박</li>
    </ol>
    <ol class="vegetable">
        <li>무</li>
        <li>상추</li>
        <li>콩나물</li>
        <li>깻잎</li>
    </ol>
'''

soup = BeautifulSoup(html, 'html.parser')

soup.select('li') 

[<li>사과</li>,
 <li>바나나</li>,
 <li>딸기</li>,
 <li>수박</li>,
 <li>무</li>,
 <li>상추</li>,
 <li>콩나물</li>,
 <li>깻잎</li>]

soup.select('.vegetable li')

[<li>무</li>,
 <li>상추</li>,
 <li>콩나물</li>,
 <li>깻잎</li>]

vegetable_list = []
for tag in soup.select('.vegetable li'):
    vegetable_list.append(tag.text)

# vegetable_list
['무', '상추', '콩나물', '깻잎']

BeautifulSoup 활용하기

response = requests.get('https://comic.naver.com/webtoon/weekday.nhn')
html = response.text

'\r\n\r\n\r\n  \r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n<!DOCTYPE html>\r\n<html lang="ko">
\r\n<head>\r\n\t\r\n\t\t\r\n\t\t\r\n\t\t\r\n\t\t\r\n\t\t<meta http-equiv=
"X-UA-Compatible" content="IE=edge,chrome=1">\r\n\t\t\r\n\t<meta http-equiv=
"Content-type" content="text/html; charset=UTF-8">\r\n\t
<title>네이버 만화 > 요일별  웹툰 > 전체웹툰</title>
[생략]

soup = BeautifulSoup(html, 'html.parser')

<!DOCTYPE html>

<html lang="ko">
<head>
<meta content="IE=edge,chrome=1" http-equiv="X-UA-Compatible"/>
<meta content="text/html; charset=utf-8" http-equiv="Content-type"/>
<title>네이버 만화 &gt; 요일별  웹툰 &gt; 전체웹툰</title>
<meta content="네이버 웹툰" property="og:title"/>
[생략]

favor_list = []
update_list = []
for tag in soup.select('.asideBox'):
    for favor_tag in tag.select('#realTimeRankFavorite li a'):
        favor_list.append(favor_tag.text)
    for update_tag in tag.select('#realTimeRankUpdate li a'):
        update_list.append(update_tag['title'])

# favor_list
['외모지상주의-227화 가출팸 [09]',
 '갓 오브 하이스쿨-403화',
 '스위트홈-74화',
 '걸어서 30분-79화 조금 더 옆에 있었으면',
 '개를 낳았다-41화',
 '화장 지워주는 남자-47화',
 '용비불패 완전판-21화',
 '금붕어-8화',
 '내 여자친구는 상남자-75. 그러지마',
 '테러맨-시즌2 49화']

#update_list
['꽃미남 저승사자-37화',
 '금붕어-8화',
 '밥 먹고 갈래요?-봄동부침개 화',
 '몽홀-제 32화 혼란과 음모 - 4',
 '걸어서 30분-79화 조금 더 옆에 있었으면',
 '가우스전자 시즌3~4-시즌4 275화 담판',
 '1초-1화',
 '내 여자친구는 상남자-75. 그러지마',
 '자취로운 생활-65. 멋 좀 부려보자',
 '냐한남자-54화']

for update_tag in tag.select('#realTimeRankUpdate li a'):
        update_list.append(update_tag.text)

['\r\n\t\t\t\t\t\r\n\t\t\t\t\t꽃미남 저승사자-37화\r\n\t\t\t\t',
 '\r\n\t\t\t\t\t\r\n\t\t\t\t\t금붕어-8화\r\n\t\t\t\t',
 '\r\n\t\t\t\t\t\r\n\t\t\t\t\t밥 먹고 갈래요?-봄동부침개 화\r\n\t\t\t\t',
 '\r\n\t\t\t\t\t\r\n\t\t\t\t\t몽홀-제 32화 혼란과 음모 - 4\r\n\t\t\t\t',
 '\r\n\t\t\t\t\t\r\n\t\t\t\t\t걸어서 30분-79화 조금 더 옆에 있었으면\r\n\t\t\t\t',
 '\r\n\t\t\t\t\t\r\n\t\t\t\t\t가우스전자 시즌3~4-시즌4 275화 담판\r\n\t\t\t\t',
 '\r\n\t\t\t\t\t\r\n\t\t\t\t\t1초-1화\r\n\t\t\t\t',
 '\r\n\t\t\t\t\t\r\n\t\t\t\t\t내 여자친구는 상남자-75. 그러지마\r\n\t\t\t\t',
 '\r\n\t\t\t\t\t\r\n\t\t\t\t\t자취로운 생활-65. 멋 좀 부려보자\r\n\t\t\t\t',
 '\r\n\t\t\t\t\t\r\n\t\t\t\t\t냐한남자-54화\r\n\t\t\t\t']

[생략]
<ol id="realTimeRankUpdate" class="asideBoxRank" style="display:none;">
	<li class="rank01">
		<a onclick="nclk_v2(event,'rnk*u.cont','721461','1')" 
				href="/webtoon/detail.nhn?titleId=721461&no=38" title="꽃미남 저승사자-37화">
					
			꽃미남 저승사자-37화
		</a>
[생략]

for update_tag in tag.select('#realTimeRankUpdate li a'):
        update_list.append(update_tag['title'])