Beautiful Soup库

安装

如果只有IDLE，应该是需要安装的，打开CMD,输入以下命令

pip install beautifulsoup4

如果使用的其他的，会自带，不用安装。

简单运用

import requests
from bs4 import BeautifulSoup #从beautifulsoup4(bs4)库中导入BeautifulSoup对象

url = "http://www.baidu.com"

try:
    kv = {'user-agent' :'Mozilla/5.0'}
    r = requests.get(url,headers = kv)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    demo = r.text
    soup = BeautifulSoup(demo,'html.parser')
    print(soup.prettify()) #按照html的dom树结构进行显示
except:
    print("爬取失败")