不少对爬虫有所了解但却不会的人应该会知道，爬虫功能非常强大，但却不是太好学！但是，pandas中的read_html()用于抓取Table表格型数据时，简直是个神器。不信？我小露一手给你们看。
针对网页结构类似的表格类型数据，pd.read_html()就派上了大用场了，它可以将网页上的表格都抓取下来，并以DataFrame的形式装在一个列表中返回。具体是这么个流程：
网页URL→发送请求→网站→返回→DataFrame
先介绍一下 read_html()的一些主要的参数
read_html
io：str or file-like
接收网址、文件、字符串。网址不接受https，尝试去掉s后爬去
header：int or list-like or None
指定列标题所在的行
attrs: dict or None, optional
传递一个字典，用其中的属性筛选出特定的表格
parse_dates：bool
解析日期
接下来以爬取新浪财经的基金重仓股为例演示一下，URL为：http://vip.stock./q/go.php/vComStockHold/kind/jjzc/index.phtml?p=1
这部分有6页，点击不同的页数可以发现，请求URL主要是 p 参数在变动，p=n代表了第 n 页，所以一个 for 循环就可以遍历所有网址啦。URL的变动规律了解之后，就可以愉快的爬数据了，代码如下：
import pandas as pd
df = pd.DataFrame()
for i in range(6):
url = "http://vip.stock./q/go.php/vComStockHold/kind/jjzc/index.phtml?p={page}".format(page=i+1)
df = pd.concat([df,pd.read_html(url)[0]])
print("第{page}页完成~".format(page=i+1))
df.to_csv("./tengyulong.csv", encoding = "utf-8", index=0)
df.to_csv(r"C:\Users\QDM\Desktop\tengyulong.csv", encoding="utf-8", index=0)
df.to_excel(excel_writer = r"C:\Users\QDM\Desktop\tengyulong.xlsx",sheet_name = "tengyulong")
运行结果：
爬取到本地：
爬取到CSV：
爬取到Excel：
结语：So easy,妈妈再也不用担心我不会爬虫了！
来源：oschina
链接：/u/3750423/blog/4279031
如果觉得《使用read_html爬取网页表哥 Python笔记：用read_html()爬取table形式表格的网络数据...》对你有帮助，请点赞、收藏，并留下你的观点哦！
