[TIL] 221219

😀 TIL #221219

 

- 스파르타 코딩클럽 웹개발 종합반 2주차

 

3주차 2회 ~ 3주차 8회

* 파이썬 기본 문법 공부

* 파이썬 패키지(라이브러리) 설치

* requests 라이브러리 사용. 서울시 미세먼지 API 불러오고 미세먼지 농도가 40 이상인 지역명 추출하기

import requests # requests 라이브러리 설치 필요

r = requests.get('http://spartacodingclub.shop/sparta_api/seoulair')
rjson = r.json()

rows = rjson['RealtimeCityAir']['row']

for row in rows:		// rows 리스트에서 row 값들을 반복 추출
    gu_name = row['MSRSTE_NM']	// MSRSTE_NM 값들을 gu_name 으로 명명
    gu_mise = row['IDEX_MVL']	// IDEX_MVL 값들을 gu_mise 로 명명
    if gu_mise > 40 :	// gu_mise가 40 초과라면 (tab 처리 확인)
        print(gu_name)	// gu_name을 출력해라

 

* b34 라이브러리의 BeautifulSoup 기능을 활용하여 크롤링 하기

 ** 선생님은 네이버 영화 랭킹에서 영화이름 크롤링을 했다. 

      나는 네이버 연예뉴스 랭킹에서 기사명을 크롤링 해봤다.

      크롤링한 사이트 : https://m.entertain.naver.com/ranking

랭킹 :: 네이버 TV연예

import requests
from bs4 import BeautifulSoup

headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get('https://m.entertain.naver.com/ranking',headers=headers)

soup = BeautifulSoup(data.text, 'html.parser')

// 크롤링 기본세팅 끝

articles = soup.select('#ct > div > div.com_ranking.index > ul > li') 
// 각 기사명에서 중복되는 마크업을 찾아 articles 로 명명

for article in articles:	// articles 의 row 들을 article 로 명명
    title = article.select_one('a > div.tit_area > p')	// article 에서 기사명을 추출하여 title로 명명
    print(title.text)	// articles 내 기사명의 text 부분만 반복하여 출력

 

위와 같이 크롤링 한 결과 실행하면 ?!

아래 이미지와 같이 기사명만 잘 추출된다 (아름답다 😇)

 

 

선생님이 한 네이버 영화 랭킹 순위와 영화 이름, 별점 크롤링 해오기 예제 따라하기 !

 

import requests
from bs4 import BeautifulSoup

headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get('https://movie.naver.com/movie/sdb/rank/rmovie.naver?sel=pnt&date=20210829',headers=headers)

soup = BeautifulSoup(data.text, 'html.parser')
// 크롤링 기본세팅

movies = soup.select('#old_content > table > tbody > tr')

for movie in movies :
    a = movie.select_one('td.title > div > a')	// 각각의 movie 열을 a 로 지정
    if a is not None:		// a 가 none 이 아닌 경우(대소문자 유의)
        title = a.text		// title 은 a 의 text
        rank = movie.select_one('td:nth-child(1) > img')['alt']	// rank 는 지정한 경로의 alt 항목
        star = movie.select_one('td.point').text		// star 은 지정한 경로의 text
        print(rank, title, star)		// 세개를 합한 값을 출력