녹호두

파이썬 혼자놀기 패키지 (무료 강의)

2일 차 - 수강 일자 210926-29

(1) 기사 크롤링

목표 : 네이버에서 '추석' 뉴스 검색결과의 기사 제목, URL, 언론사 명을 크롤링한다.

전체코드

from bs4 import BeautifulSoup
from selenium import webdriver

driver = webdriver.Chrome('./chromedriver')

url = "https://search.naver.com/search.naver?where=news&sm=tab_jum&query=추석"

driver.get(url)
req = driver.page_source
soup = BeautifulSoup(req, 'html.parser')

articles = soup.select('#main_pack > section.sc_new.sp_nnews._prs_nws > div > div.group_news > ul > li')

for article in articles:
    title = article.select_one('div.news_wrap.api_ani_send > div >  a').text 
    url = article.select_one('div.news_wrap.api_ani_send > div >  a')['href'] 
    press = article.select_one('a.info.press').text.split(' ')[0].replace('언론사','') 
    print(title, url, press)

driver.quit()

코드 설명

from bs4 import BeautifulSoup
from selenium import webdriver

library 로 beautifulsoup4, selnium을 사용한다.

사용에 앞서 chrome webdriver를 다운로드 해야한다. (다운로드 방법은 아래의 글 참조)

url = "https://search.naver.com/search.naver?where=news&sm=tab_jum&query=추석"
네이버에서 "추석"을 검색한 뉴스 결과를 url 로 삽입한다.

driver.get(url)
req = driver.page_source
soup = BeautifulSoup(req, 'html.parser')

driver에 url을 입력하고, 그안에 소스를 가져와 req에 넣고 beautifulsoup에 적용시킨다.

articles = soup.select('#main_pack > section.sc_new.sp_nnews._prs_nws > div > div.group_news > ul > li')

네이버 검색결과는 구조가
sp_news 1 > ....
sp_news 5 > ...
이렇게되어있음.
그래서 앞에서 이미지 크롤링 한 것처럼 {i}반복구문을 사용할 수 없음
다른 방법은, 해당 기사 위에 위에 있는 ul 의 selector를 copy 해서 그 안의 li를 출력해라 라고 구문을 써주면됨 위 처럼

🔥 검색 포털, 사이트마다의 url 구조가 모두 달라서, 각 페이지마다의 상황을 고려해가면서 코드를 작성해주어야한다. 위 코드로 구글, 다음 등에서 진행하면 error 가 발생한다.

for article in articles:
title = article.select_one('div.news_wrap.api_ani_send > div > a').text 
url = article.select_one('div.news_wrap.api_ani_send > div > a')['href'] 
press = article.select_one('a.info.press').text.split(' ')[0].replace('언론사','') 
print(title, url, press)

- title 내용 : 나온 내용중에서 text만 필요해서 .text를 붙였다 .text는 여기 안붙이고 아래에 title.text로 해도 된다.

- url 내용 : url을 추가했음. url은 dictionary형태로 되어있어서(?) key값인 href를 넣어주니 value값인 url을 뱉어냄. copy selector 해서 붙여넣기

- press 내용 : 서, 가장 낮은단위로 a.info.press를 해보고 안되면 다른거 하려고 했는데 이걸로 돼서 진행함. 안되면 여러가지 시도해야됨. 그리고 .text를 붙여서 텍스트만 가져오고, 띄어쓰기를 기준으로 '선정'이라는 내용이 뒤에 붙어있어서 그부분 split으로 제거하고 앞에만 가져온다음에, replace로 '언론사'를 삭제

driver.quit()

driver 종료함! end.

출력 결과

추석 이후 서울 외곽지역 집값 상승 주도…강북·구로 높은 상승률 http://www.newsis.com/view/?id=NISX20211001_0001600454&cID=10401&pID=10400 뉴시스
반도체의 힘…수출, 추석 휴무에도 65년 만 최대치 https://www.joongang.co.kr/article/25011561 중앙일보
반도체·추석연휴에 현대차 판매 22.3%↓..생산일정 조정 http://news.mt.co.kr/mtview.php?no=2021100115384196008 머니투데이
나주시, 추석 연휴 이후 24명 신규확진...코로나 방역관리 촉각 http://www.sportsseoul.com/news/read/1065993?ref=naver 스포츠서울
추석 후폭풍에 거리두기 유지 ... 결혼식, 돌잔치 등만 인원 추가 허용 https://hankookilbo.com/News/Read/A2021100111130003341?did=NA 한국일보
추석 후 감염 확산세…충북 거리두기 3단계 2주 연장 https://www.news1.kr/articles/?4449640 뉴스1
전국 아파트값 상승폭 주춤 “추석 및 금리 인상 영향” http://www.fnnews.com/news/202109301159398552 파이낸셜뉴스
추석 연휴·대출규제, 아파트 매매·전셋값 상승세 꺾여 http://www.inews24.com/view/1408105 아이뉴스24
서울 일주일째 '요일 최다'…추석 감염확산 현실로(종합) http://www.edaily.co.kr/news/newspath.asp?newsid=02279606629185368 이데일리
'추석후 1주일 만에' 학생 1828명 확진…하루 261명꼴 http://www.newsis.com/view/?id=NISX20210930_0001598924&cID=10201&pID=10200 뉴시스

(2) 크롤링 결과 excel에 저장하기

목표 : 네이버에서 '추석' 뉴스 검색결과의 기사 제목, URL, 언론사 명을 크롤링한 결과물을 엑셀에 저장한다.

전체 코드

from bs4 import BeautifulSoup
from selenium import webdriver
from openpyxl import Workbook

driver = webdriver.Chrome('./chromedriver')

url = "https://search.naver.com/search.naver?where=news&sm=tab_jum&query=추석"

driver.get(url)
req = driver.page_source
soup = BeautifulSoup(req, 'html.parser')

articles = soup.select('#main_pack > section.sc_new.sp_nnews._prs_nws > div > div.group_news > ul > li') #copy selector

wb = Workbook()
ws1 = wb.active
ws1.title = "articles"
ws1.append(["제목", "링크", "신문사"])

for article in articles:
    title = article.select_one('div.news_wrap.api_ani_send > div >  a').text 
    url = article.select_one('div.news_wrap.api_ani_send > div >  a')['href']
    press = article.select_one('a.info.press').text.split(' ')[0].replace('언론사','')

    ws1.append([title, url, press])

driver.quit()
wb.save(filename='articles.xlsx')

코드 설명

(1)의 내용을 기반으로 한다.

from openpyxl import Workbook

openpyxl 이라는 library를 사용한다. (설치방법은 아래의 링크 참조)

wb = Workbook()
ws1 = wb.active
ws1.title = "articles"
ws1.append(["제목", "링크", "신문사"])

wb라는 workbook을 만든다.

ws1의 title은 articles이고, 첫행에 제목, 링크, 신문사 열을 추가한다.

ws1.append([title, url, press])

ws1에 title, url, press에 값을 넣어준다. 

wb.save(filename='articles.xlsx')

file을 저장한다. 파일명은 'articles.xlsx'

출력 결과

(3) 기사의 썸네일까지 가져와서 엑셀에 저장하기

목표 : 네이버에서 '추석' 뉴스 검색결과의 기사 제목, URL, 언론사 명, 썸네일주소를 크롤링한다.

전체코드

from bs4 import BeautifulSoup
from selenium import webdriver
from openpyxl import Workbook

driver = webdriver.Chrome('./chromedriver')

url = "https://search.naver.com/search.naver?&where=news&query=추석"

driver.get(url)
req = driver.page_source
soup = BeautifulSoup(req, 'html.parser')

articles = soup.select('#main_pack > section.sc_new.sp_nnews._prs_nws > div > div.group_news > ul > li')

wb = Workbook()
ws1 = wb.active
ws1.title = "articles"
ws1.append(["제목", "링크", "신문사", "썸네일"])

for article in articles:
    title = article.select_one('div.news_wrap.api_ani_send > div >  a').text
    url = article.select_one('div.news_wrap.api_ani_send > div >  a')['href']
    press = article.select_one('a.info.press').text.split(' ')[0].replace('언론사','')
    #thumb = article.select_one('div.news_wrap.api_ani_send > div >  a> img')['src']
    thumb = article.select_one('div.news_wrap.api_ani_send > a >img')['src']

    ws1.append([title, url, press, thumb])

driver.quit()
wb.save(filename='articles.xlsx')

다른 내용은 다맞는데 이상하게 thumb내용이 오류가 난다. (해결법 찾아서 수정 추가예정)

#thumb = articles.select_one ~ 에서 div 를 제거하니 정상 실행된다.

출력 결과

스파르타 코딩클럽 5만 원 할인 쿠폰 링크 💵

아래 링크를 통해 가입하시면, 즉시 5만원 할인 쿠폰이 발급됩니다!