ch2 - 1. 워드파일 크롤링

한글(hwp) 크롤링

Index

1. OLE 란?

2. HWP 읽어오기

3. 데이터를 추출하여 Excel파일로 저장하기

4. 출처

HWP 크롤링

1. OLE 란?

2. HWP 읽어오기

import os
import pandas as pd

import ole  # pip install ole-py

"""경로 설정 & 파일 열기"""
dir_path = 'sample/' #경로를 설정해주세요
hwp_name ='「인공지능 업무자동화교육」 참가신청서.hwp'  #원하는 hwp파일의 이름을 적어주세요
hwp_path = os.path.join(dir_path, hwp_name)

f = ole.open(hwp_path)

content = f.get_stream('PrvText').read().decode('utf-16le')
print(content)

[서식. 참가신청서] 
<교육 참가신청서>
<교 육 명><인공지능을 활용한 업무자동화 교육>
<교육일시><2019년 2월 15일(금) ~ 17일(일), 2박 3일>
<참가자 정보><성    명><홍길동><소    속><세종대학교><연 락 처><010.0000.0000>
<E-mail><example_jeju_gdg><주    소><서울특별시 중랑구><연 령 대>
<□ 10대       □ 20대      □ 30대      □ 40대이상>
<신청내용><관심분야 (중복선택가능)>
<□ HTML&CSS  □ Javascript  □ Python  □ 서비스기획·런칭  □ 기타 (          )>
<지원동기 (자유롭게 서술)>
<평소에 파이썬에 관심이 많았습니다.  업무자동화를 저의 업무에 적용하고 싶었는데.  
마침 좋은 기회가 있어서 지원하게 되었습니다.  이런 기회를 주셔서 감사합니다. >
<기술역량  및 경험 (자유롭게 서술)><파이썬은 1년 했고, 다른 쪽 개발 경험은 없습니다.  파이썬을 배우고 싶습니다. >
<상기와 같이 참가를 신청합니다. 2019년   1월   일 <신 청 자 :><홍길동><(서명 또는 날인) >>

3. 데이터를 추출하여 Excel파일로 저장하기

"""DataFrame 만들기"""
columns = ['Name', 'Company', 'Phone', 'e-mail', 'why', 'experience']
df = pd.DataFrame(columns=columns)
df

"""읽어온 hwp 분리하기 & 딕셔너리 key값 설정"""
word_list = content.split('><') #'><'를 기준으로 줄바꿈을 해줍니다.
target_list=['성    명', '소    속', '연 락 처', 'E-mail', '지원동기 (자유롭게 서술)']

info_dict={} #데이터를 추출하여 저장할 딕셔너리 입니다.



"""딕셔너리 형태로 데이터 추출 및 저장"""
for n, target in enumerate(target_list):
    info = word_list[word_list.index(target) + 1] #세부정보를 저장합니다.
    info_dict[column[n]]=info #딕셔너리로 저장해줍니다.



"""DataFrame에 데이터 넣기"""
df=pd.DataFrame(data=info_dict, index=[0], columns=columns)
df

df.to_excel("「지원서」리스트.xlsx")

4. 참고 사이트

Docx 크롤링

첫번째 모듈 : Docx2txt

라이브러리 설치하기

pip install docx2txt

텍스트 가져오기

import docx2txt 

text = docx2txt.process(".docx")
print(text)

원하는 Docx 파일을 IDE에 추가시키는 방법

사진 크롤링하기

import docx2txt 

text = docx2txt.process("crawl.docx", "파일을 모으고 싶은 경로")
print(text)

docx2txt의 추가적인 함수

• bullet(): main

• check_for_required_file_in_folder(): main

• cleandie(): main

• decimal(): main

• justify(): main

• listNumbering(): main

• lowerLetter(): main

• lowerRoman() : main

• processParagraph(): main

• readFileInto(): main

• readOptionalFileInto(): main

• upperLetter(): main

• upperRoman(): main

두번째 모듈 : python-docx

라이브러리 설치하기

pip install python-docx

from docx import Document

document = Document()
document.save('독스.docx')

제목을 추가하기

from docx import Document

document = Document()

document.add_heading('docx로 크롤링하기', 0)

document.save('독스.docx')

from docx import Document

document = Document()
document.add_heading('제목', 0)
document.add_heading('제목1', 1)
document.add_heading('제목2', 2)
document.add_heading('제목3', 3)
document.add_heading('제목4', 4)
document.save('독스.docx')

본문 추가하기

from docx import Document

document = Document()
document.add_heading('docx 크롤링을 하는 방법', 0)
document.add_paragraph('docx2txt, python-docx의 두가지 방법을 소개하려고 한다.')
document.save('독스.docx')

기존에 있던 파일 열기/다른이름으로 저장하기

from docx import Document

document = Document('독스.docx')
document.add_heading('독스 크롤링이라는 제목으로 바꾼 문서입니다', 0)
document.save('독스 크롤링.docx')

페이지 넘기기

from docx import Document

document = Document()
document.add_paragraph('docx2txt')
document.add_page_break()
document.add_paragraph('python-docx')
document.save('독스.docx')

표 만들기

from docx import Document

document = Document()
table = document.add_table(rows=2, cols=2)
document.save('독스.docx')

from docx import Document

document = Document()
table = document.add_table(rows=2, cols=2)
first_row = table.rows[0].cells
first_row[0].text = 'A'
first_row[1].text = 'B'
document.save('독스.docx')

사진 추가하기

from docx import Document

document = Document()
document.add_picture('사진의 경로')
document.save('독스.docx')