녹호두

스파르타코딩클럽 엑셀보다쉬운 SQL (4주) 33기

3주차 - 수강일자 211002

join

두가지 테이블의 key 칼럼을 기준으로 테이블을 연결해서 하나의 테이블로 표기하는 것

- 두 테이블을 실제로 합치는 게 아니라 그렇게 showing 하는 방식

- 중등수학의 '교집합' 개념과 연관

- SQL의 join 개념은 엑셀에 vlookup과 유사

- 대표적으로 많이 사용하는 방식은 left join, inner join 두 가지

left join

select * from A a

left join B b on a.coulmn = b.coulmn

: A에 B를 column을 기준으로 left join 한다.

- left join은 A에 맞는 B만 가져오기 때문에 B에 null 값이 나올 수 있다.

- 순서가 정해져 있기 때문에 "~에 ~를 붙인다"라는 구문의 순서에 주의해야 한다.

inner join

select * from A a

inner join B b on a.coulmn = b.coulmn

: A에 B를 column을 기준으로 inner join 한다.

- inner join은 A, B의 교집합만 가져오기 때문에 null 값이 나타나지 않는다.

- 순서가 정해져 있지 않기 때문에 "~에 ~를 붙인다"라는 구문의 순서와 무관하다.

SQL 쿼리의 실행 순서

from → join → select

- from 데이터를 가져오고, join 데이터를 연결하고, select 연결된 데이터를 출력한다.

from → join → where → group by → select

- from 데이터를 가져오고, join 데이터를 연결하고, where 데이터를 필터링하고, group by 특정 column을 기준으로 그루핑 하고, select 연결된 데이터를 출력한다.

left join으로 null 값이 생겼을 때

where coulmn is NULL

where coulmn is not NULL

위 두 가지 방법으로 NULL을 선택하거나, 필터링할 수 있다.

NULL과 전체를 세는 방법

count는 NULL을 세지 않는다. 즉, 값이 있는 열만 센다.

따라서, NULL값이 들어가 있는 column을 기준으로 세게 되면 not NULL 인 raw의 개수만 센다.

전체를 세는 방법 : 모든 행에 NULL값이 없는 column을 따로 세준다.

ex. count(key column) : key column은 null 값이 없으므로 key column을 세주면 전체 행을 세준 것과 같은 결과를 낳는다.

union

두 가지 데이터를 key column을 기준으로 연결하는 게 아니라, 병렬적으로 나열해 이어진 것처럼 표기하는 것

- 작성방법

	(
	data 1...
	)
union all
	(
	data 2...
	)

- 주의할 점

union을 사용하면 order by 가 적용되지 않는다. 이는 subquery를 통해 대체할 수 있다.

강의 기록

파이썬 혼자놀기 패키지 (무료 강의)

2일 차 - 수강 일자 210926-29

(1) 기사 크롤링

목표 : 네이버에서 '추석' 뉴스 검색결과의 기사 제목, URL, 언론사 명을 크롤링한다.

전체코드

from bs4 import BeautifulSoup
from selenium import webdriver

driver = webdriver.Chrome('./chromedriver')

url = "https://search.naver.com/search.naver?where=news&sm=tab_jum&query=추석"

driver.get(url)
req = driver.page_source
soup = BeautifulSoup(req, 'html.parser')

articles = soup.select('#main_pack > section.sc_new.sp_nnews._prs_nws > div > div.group_news > ul > li')

for article in articles:
    title = article.select_one('div.news_wrap.api_ani_send > div >  a').text 
    url = article.select_one('div.news_wrap.api_ani_send > div >  a')['href'] 
    press = article.select_one('a.info.press').text.split(' ')[0].replace('언론사','') 
    print(title, url, press)

driver.quit()

코드 설명

from bs4 import BeautifulSoup
from selenium import webdriver

library 로 beautifulsoup4, selnium을 사용한다.

사용에 앞서 chrome webdriver를 다운로드 해야한다. (다운로드 방법은 아래의 글 참조)

url = "https://search.naver.com/search.naver?where=news&sm=tab_jum&query=추석"
네이버에서 "추석"을 검색한 뉴스 결과를 url 로 삽입한다.

driver.get(url)
req = driver.page_source
soup = BeautifulSoup(req, 'html.parser')

driver에 url을 입력하고, 그안에 소스를 가져와 req에 넣고 beautifulsoup에 적용시킨다.

articles = soup.select('#main_pack > section.sc_new.sp_nnews._prs_nws > div > div.group_news > ul > li')

네이버 검색결과는 구조가
sp_news 1 > ....
sp_news 5 > ...
이렇게되어있음.
그래서 앞에서 이미지 크롤링 한 것처럼 {i}반복구문을 사용할 수 없음
다른 방법은, 해당 기사 위에 위에 있는 ul 의 selector를 copy 해서 그 안의 li를 출력해라 라고 구문을 써주면됨 위 처럼

🔥 검색 포털, 사이트마다의 url 구조가 모두 달라서, 각 페이지마다의 상황을 고려해가면서 코드를 작성해주어야한다. 위 코드로 구글, 다음 등에서 진행하면 error 가 발생한다.

for article in articles:
title = article.select_one('div.news_wrap.api_ani_send > div > a').text 
url = article.select_one('div.news_wrap.api_ani_send > div > a')['href'] 
press = article.select_one('a.info.press').text.split(' ')[0].replace('언론사','') 
print(title, url, press)

- title 내용 : 나온 내용중에서 text만 필요해서 .text를 붙였다 .text는 여기 안붙이고 아래에 title.text로 해도 된다.

- url 내용 : url을 추가했음. url은 dictionary형태로 되어있어서(?) key값인 href를 넣어주니 value값인 url을 뱉어냄. copy selector 해서 붙여넣기

- press 내용 : 서, 가장 낮은단위로 a.info.press를 해보고 안되면 다른거 하려고 했는데 이걸로 돼서 진행함. 안되면 여러가지 시도해야됨. 그리고 .text를 붙여서 텍스트만 가져오고, 띄어쓰기를 기준으로 '선정'이라는 내용이 뒤에 붙어있어서 그부분 split으로 제거하고 앞에만 가져온다음에, replace로 '언론사'를 삭제

driver.quit()

driver 종료함! end.

출력 결과

추석 이후 서울 외곽지역 집값 상승 주도…강북·구로 높은 상승률 http://www.newsis.com/view/?id=NISX20211001_0001600454&cID=10401&pID=10400 뉴시스
반도체의 힘…수출, 추석 휴무에도 65년 만 최대치 https://www.joongang.co.kr/article/25011561 중앙일보
반도체·추석연휴에 현대차 판매 22.3%↓..생산일정 조정 http://news.mt.co.kr/mtview.php?no=2021100115384196008 머니투데이
나주시, 추석 연휴 이후 24명 신규확진...코로나 방역관리 촉각 http://www.sportsseoul.com/news/read/1065993?ref=naver 스포츠서울
추석 후폭풍에 거리두기 유지 ... 결혼식, 돌잔치 등만 인원 추가 허용 https://hankookilbo.com/News/Read/A2021100111130003341?did=NA 한국일보
추석 후 감염 확산세…충북 거리두기 3단계 2주 연장 https://www.news1.kr/articles/?4449640 뉴스1
전국 아파트값 상승폭 주춤 “추석 및 금리 인상 영향” http://www.fnnews.com/news/202109301159398552 파이낸셜뉴스
추석 연휴·대출규제, 아파트 매매·전셋값 상승세 꺾여 http://www.inews24.com/view/1408105 아이뉴스24
서울 일주일째 '요일 최다'…추석 감염확산 현실로(종합) http://www.edaily.co.kr/news/newspath.asp?newsid=02279606629185368 이데일리
'추석후 1주일 만에' 학생 1828명 확진…하루 261명꼴 http://www.newsis.com/view/?id=NISX20210930_0001598924&cID=10201&pID=10200 뉴시스

(2) 크롤링 결과 excel에 저장하기

목표 : 네이버에서 '추석' 뉴스 검색결과의 기사 제목, URL, 언론사 명을 크롤링한 결과물을 엑셀에 저장한다.

전체 코드

from bs4 import BeautifulSoup
from selenium import webdriver
from openpyxl import Workbook

driver = webdriver.Chrome('./chromedriver')

url = "https://search.naver.com/search.naver?where=news&sm=tab_jum&query=추석"

driver.get(url)
req = driver.page_source
soup = BeautifulSoup(req, 'html.parser')

articles = soup.select('#main_pack > section.sc_new.sp_nnews._prs_nws > div > div.group_news > ul > li') #copy selector

wb = Workbook()
ws1 = wb.active
ws1.title = "articles"
ws1.append(["제목", "링크", "신문사"])

for article in articles:
    title = article.select_one('div.news_wrap.api_ani_send > div >  a').text 
    url = article.select_one('div.news_wrap.api_ani_send > div >  a')['href']
    press = article.select_one('a.info.press').text.split(' ')[0].replace('언론사','')

    ws1.append([title, url, press])

driver.quit()
wb.save(filename='articles.xlsx')

코드 설명

(1)의 내용을 기반으로 한다.

from openpyxl import Workbook

openpyxl 이라는 library를 사용한다. (설치방법은 아래의 링크 참조)

wb = Workbook()
ws1 = wb.active
ws1.title = "articles"
ws1.append(["제목", "링크", "신문사"])

wb라는 workbook을 만든다.

ws1의 title은 articles이고, 첫행에 제목, 링크, 신문사 열을 추가한다.

ws1.append([title, url, press])

ws1에 title, url, press에 값을 넣어준다. 

wb.save(filename='articles.xlsx')

file을 저장한다. 파일명은 'articles.xlsx'

출력 결과

(3) 기사의 썸네일까지 가져와서 엑셀에 저장하기

목표 : 네이버에서 '추석' 뉴스 검색결과의 기사 제목, URL, 언론사 명, 썸네일주소를 크롤링한다.

전체코드

from bs4 import BeautifulSoup
from selenium import webdriver
from openpyxl import Workbook

driver = webdriver.Chrome('./chromedriver')

url = "https://search.naver.com/search.naver?&where=news&query=추석"

driver.get(url)
req = driver.page_source
soup = BeautifulSoup(req, 'html.parser')

articles = soup.select('#main_pack > section.sc_new.sp_nnews._prs_nws > div > div.group_news > ul > li')

wb = Workbook()
ws1 = wb.active
ws1.title = "articles"
ws1.append(["제목", "링크", "신문사", "썸네일"])

for article in articles:
    title = article.select_one('div.news_wrap.api_ani_send > div >  a').text
    url = article.select_one('div.news_wrap.api_ani_send > div >  a')['href']
    press = article.select_one('a.info.press').text.split(' ')[0].replace('언론사','')
    #thumb = article.select_one('div.news_wrap.api_ani_send > div >  a> img')['src']
    thumb = article.select_one('div.news_wrap.api_ani_send > a >img')['src']

    ws1.append([title, url, press, thumb])

driver.quit()
wb.save(filename='articles.xlsx')

다른 내용은 다맞는데 이상하게 thumb내용이 오류가 난다. (해결법 찾아서 수정 추가예정)

#thumb = articles.select_one ~ 에서 div 를 제거하니 정상 실행된다.

출력 결과

스파르타 코딩클럽 5만 원 할인 쿠폰 링크 💵

아래 링크를 통해 가입하시면, 즉시 5만원 할인 쿠폰이 발급됩니다!

문제

현재 스파르타 코딩클럽 파이썬 혼자 놀기 강의 같은 경우, chrome 85 버전으로 진행되어서 chrome 버전이 지금 버전이랑 차이가 있습니다.

저의 경우 93.0.4577.82 버전인데 강의에서 안내해주는 크롬 드라이버 링크

https://chromedriver.storage.googleapis.com/index.html?path=85.0.4183.87/

에는 정확하게 93.0.4577.82버전에 맞는 크롬 드라이버가 안내되어있지 않습니다.

93 버전은 있지만, 4577 이후 버전이 다른 것을 확인할 수 있는데요 

해결

크롬드라이버 원본 페이지 링크를 활용하면 됩니다.

https://chromedriver.chromium.org/downloads

크롬 드라이버 페이지를 참조해보면, 

If you are using Chrome version 93, please download Chromedriver 93.0.4577.63

이라는 안내가 있습니다. 

따라서, 저처럼 버전이 조금 안 맞는 경우에도 93으로 시작하는 버전이면 93.0.4577.63 버전을 다운로드하면 됩니다.

스파르타코딩클럽에서 준 링크에는 없지만, 본 페이지에서는 크롬 상위 버전 단위로 드라이버 선택 가이드가 있습니다.

위 내용들 참조해서 다운로드 하시면 되겠습니다.

스파르타 코딩클럽 5만 원 할인 쿠폰 링크 💵

아래 링크를 통해 가입하시면, 즉시 5만 원 할인 쿠폰이 발급됩니다!

파이썬 패키지 import 하는 법 (m1 맥북 ver)

1. pycharm 파이참을 실행 후, 상단의 Pycharm 클릭

2. Pycharm 클릭시 나오는 버튼 중 Preferences 클릭 

단축키 : command + , 

3. 왼쪽 탭에서, 작업중인 Project* 하단에 Python Interpreter 클릭 > 우측에 + 플러스 버튼** 클릭

* 저는 sparta_python 이라는 폴더에 작업 중이라 project 명이 sparta_python으로 나와있습니다.

** pycharm 버전에 따라 + 버튼 위치가 다를 수 있습니다.

4. import 해야하는 package 검색 > install Package 클릭 > 기다림 > 완료

sparta python 웹 크롤링 강의를 위해서는 아래의 3가지 package를 다운로드해야 합니다.

- selenium

- bs4
- dload 

스파르타 코딩클럽 5만 원 할인 쿠폰 링크 💵

아래 링크를 통해 가입하시면, 즉시 5만 원 할인 쿠폰이 발급됩니다!