beautifulsoupでUserAgentとProxyを設定する
# -*- coding: utf-8 -*-
import requests
from bs4 import BeautifulSoup
from pprint import pprint
URL = 'https://news.yahoo.co.jp/'
USER_AGENT = "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36"
proxies = {
'http':'http://43.248.24.158:51166/',
'https':'http://43.128.23.107:8080/'
}
headers = {"User-Agent": USER_AGENT}
resp = requests.get(URL, proxies=proxies, headers=headers, timeout=10)
resp.encoding = 'utf8'
soup = BeautifulSoup(resp.text, "html.parser")
titles = soup.select('.sc-esjQYD a')
titles = [t.contents[0] for t in titles]
pprint(titles)
$ python3 app.py
[‘春の嵐 太平洋側激しい雷雨も’,
‘コロナワクチン種類選択OKに’,
‘北ミサイル 安保理緊急協議へ’,
‘生息域40年で倍 減らぬシカ’,
‘中国の謎の文明 黄金仮面発見’,
‘羽生まるで別人 専門家の目’,
‘みちょぱ 結婚の話している’,
‘水卜アナ 局アナ続ける理由’]
なるほど、BSでも行けますね、OK
