웹 크롤링을 처음 접하시는 분들도 쉽게 따라하실 수 있는 Python과 대화형 인터프리터인 Jupyter Notebook, Anaconda를 설치하고 웹 크롤링에 필요한 크롬, 크롬 드라이버를 설치한 뒤, 관계형 데이터베이스 관리 시스템(RDBMS)인 MySQL을 설치하며 챕터를 마무리하도록 하겠습니다.
1.1 Jupyter Notebook
1.1.1 Jupyter Notebook 설치 방법
Python 설치
Jupyter Notebook에서 Python을 사용하기 위해서는 Python 공식 홈페이지에 접속하여 각 운영체제에 맞는 파일을 선택하여 설치하면 됩니다.
Python이란?
문법이 간결하고 다른 언어에 비해 비교적 읽기 쉬운 직관적인 언어입니다. 그래서 초보자들도 쉽게 접하고 배울 수 있다는 큰 장점이 있습니다. 또한, 다양한 모듈과 라이브러리를 통해 기능을 확장하여 다양한 작업을 수행할 수 있습니다.
Window라면 ‘Download Python 3.11.3’이라고 적힌 노란색 버튼을 클릭하시면 됩니다.
그 외의 다른 운영체제를 사용하신다면 아래의 노란 글씨 중 해당하는 파일을 클릭하시면 됩니다.
📢
Python을 원하는 버전으로 다운받고 싶다면?
화면을 더 내려보세요.
아래 이미지와 같은 화면이 나온다면 원하는 버전의 파일을 다운로드 받을 수 있습니다.
다운로드 받은 파일 클릭
다운로드가 완료되면 화면 왼쪽 하단의 파일을 클릭하여 설치를 시작합니다.
[Add python.ext to PATH] 클릭
[Install Now] 클릭
설치 완료
설치가 완료되면 Setup was successful이라는 문구와 함께 아래와 같은 화면이 뜨게 됩니다.
[Close]를 눌러 설치를 종료하시면 됩니다.
Jupyter Notebook 설치
Jupyter Notebook이란?
데이터 분석과 시각화, 머신러닝 등을 위한 개발환경으로 코드셀로 이루어진 대화형 인터프리터입니다. 데이터를 탐색하고 가공하여 분석 결과를 공유하는 데 유용하게 쓰입니다.
명령 프롬프트(cmd) 실행
컴퓨터 검색창에 ‘cmd’ 또는 ‘명령 프롬프트’를 입력하여 명령 프롬프트를 클릭합니다.
Jupyter Notebook 설치 코드 입력
cmd 창에 Jupyter Notebook 설치 코드를 입력하여 설치를 시작하도록 하겠습니다.
아래의 코드를 복사하여 cmd창에 입력한 뒤 엔터를 누르면 설치가 시작됩니다.
pip install jupyter
Jupyter Notebook 실행 코드 입력
설치가 완료되면 아래의 코드를 복사하여 cmd창에 입력하여 Jupyter Notebook을 실행시킵니다.
python -m notebook
Password or token 입력 → [Log in] 클릭
Jupyter Notebook이 정상적으로 설치되었다면 새 창과 함께 아래와 같은 화면이 나타납니다.
Password or token칸에 아래의 토큰을 복사하여 입력한 후 [Log in] 버튼을 클릭합니다.
# 토큰
http://localhost:8888/
Jupyter Notebook 설치 완료
토큰 입력 후, 아래와 같은 화면이 나타난다면 Jupyter Notebook 설치가 완료된 것입니다!
Anaconda 설치
Anaconda란?
Python 개발 환경을 제공하는 소프트웨어로 다양한 데이터 분석 라이브러리와 도구들을 미리 설치하여 사용자가 편리하게 데이터 분석 작업을 수행할 수 있도록 지원합니다. 또한 가상 환경 관리와 패키지 관리 기능을 제공하여 프로젝트 별로 독립적인 환경을 구축하고 필요한 패키지를 쉽게 관리할 수 있습니다.
Tip !
[New] 클릭 후 [Python 3] 아래에 보면 [Other]-[Text File], [Folder]가 있습니다.
[Text File]을 클릭하여 새로운 텍스트 파일을 생성하거나
[Folder]를 클릭하여 새로운 폴더를 만들어 깔끔하게 정리할 수 있습니다.
파일명 변경하기
‘Untitled1’ : 파일 제목 부분이며, 클릭하여 수정이 가능합니다.
파일명을 수정 후 [Rename] 클릭하면 수정된 파일명이 적용됩니다.
마크다운 사용하기
마크다운이란?
Jupyter Notebook에서 코드 외에 텍스트를 입력할 수 있는 기능입니다.
[Code] → [Markdown] 클릭
변경된 마크다운은 큰 제목, 굵은 글씨, 일반 텍스트 등 다양한 기능을 사용할 수 있습니다.
마크다운셀을 실행시키면 아래와 같이 적용된 모습을 볼 수 있습니다.
📢
셀을 어떻게 실행시키나요?
아래 방법으로 코드셀을 실행시킬 수 있습니다.
① Ctrl + Enter
: 해당 셀 실행
② Alt + Enter
: 해당 셀 실행 + 바로 아래에 새로운 코드셀 생성
③ Shift + Enter
: 해당 셀 실행 + 해당 셀이 마지막셀인 경우에만 바로 아래에 새로운 코드 셀 생성
코드 실행하기
간단한 연산 또는 print문을 실행하여 Jupyter Notebook이 정상적으로 실행되는지 확인해봅시다.
결과값이 잘 나온다면 성공입니다.
1.2 크롬과 크롬드라이버
1.2.1 크롬과 크롬 드라이버
크롬 브라우저란?
구글이 개발한 무료 웹 브라우저입니다. 크롬은 빠른 성능과 사용자 친화적인 인터페이스를 가지고 있어서 많은 사람들에게 사용되고 있는 웹 브라우저 중 하나입니다.
크롬 드라이버란?
앞서 말씀드린 구글의 크롬 웹브라우저를 자동화하기 위해 사용하는 도구입니다. 크롬 드라이버를 사용하여 크롬 브라우저를 열어서 웹 페이지를 탐색하고 사용자 동작을 시뮬레이션하거나 제어할 수 있습니다. 그리고 다양한 프로그래밍 언어와 사용할 수 있어서 데이터를 수집하는 데 유용하여 웹 크롤링을 할 때 자주 사용됩니다.
그런데 크롬 드라이버를 사용하기 위해서는 크롬 브라우저가 필요하며, 사용중인 크롬 브라우저의 버전과 호환이 가능한 크롬 드라이버를 설치해야합니다.
압축 해제 된 폴더에서 아래 이미지처럼 chromedriver.exe 파일이 있다면 정상적으로 다운로드가 완료된 것입니다.
chromedriver.exe 파일 이동
Jupyter Notebook에서 크롤링을 할 때, 크롬 드라이버를 효율적으로 사용하려면 Jupyter Notebook을 사용할 폴더 위치에 크롬드라이버를 옮겨야합니다.
Jupyter Notebook을 실행시킨 뒤, 아래처럼 화면에 뜨는 폴더 목록 중 코드 파일을 저장할 폴더 경로에 chromedriver.exe를 옮겨 넣어주시면 됩니다.
아래 이미지처럼 사용할 폴더 안에 chromedriver.exe 파일을 옮기면 완성입니다.
📢
어떤 폴더에 옮겨 넣어야할지 모르겠어요.
폴더를 지정하여 넣기 어렵다면 [New] → [Folder]를 클릭하여 새 폴더를 만든 뒤, 생성한 폴더를 Jupyter Notebook 전용 폴더로 사용하는 것도 좋은 방법입니다.
폴더를 생성했다면 그 폴더의 경로에 chromedriver.exe를 옮겨 넣으시면 됩니다.
Jupyter Notebook에서 확인
파일을 옮기고 난 후, 주피터 노트북을 실행시켜 chromedriver.exe 파일이 있는지 확인해보세요.
아래처럼 해당 폴더에 chromedriver.exe 파일이 뜬다면 완료된 것입니다.
1.3 MySQL
MySQL이란, 보편적으로 많이 사용되는 관계형 데이터베이스 관리 시스템(RDBMS: Relational DBMS)입니다. 이번 챕터에서는 MySQL 설치를 진행하고 MySQL에 대한 자세한 정보와 간단한 사용법은 다음 챕터에서 알아보도록 하겠습니다.
