前言

项目来源：4天前的码市上的一个小项目

网站解析：

一、用xpath解析网页获取标题

import requestsimport parselurl = '/html/-06/09/node_2.htm'r = requests.get(url)r.encoding = 'utf-8'html_data = r.textselector = parsel.Selector(html_data)#抓取标题，在类class="default1"中的<a标签里面。ls = selector.xpath('//tr[@class="default1"]')for li in ls:title = li.xpath('.//td[2]/a/text()').get()print(title)

抓取标题，在类class="default1"中的<a标签里面。

二、正则表达式获取相应新闻的URL

import requestsimport rer = requests.get('/html/-06/09/node_2.htm')txt = r.textpattern = pile(r'content[^\s]*.htm')urllist = re.findall(pattern, txt)print(urllist)

如上图所示，单个新闻的URL实际上就是把主网页的URL的node_2换成content_189543（对应的内容url）

#主页面的URLurl = '/html/-06/09/node_2.htm'

#单个新闻的URLurl = /html/-06/09/content_189543.htm

总结

这是一个小项目，对方要求其实也是比较简单，给刚接触爬虫的人来说，是个不错的练习机会。但是实际上，找个靠谱的接单外包的平台是非常不容易的；当你学习的时候，还是先重点是打好基础，如果真的想做爬虫可以找个公司，去实际的应用自己的知识，也锻炼一下自己的能力。这样锻炼的同时也是在积累自己的资源，这样才能去找到外包的资源。

同时维护自己的渠道也是在这个过程中值得注意的。

如果觉得《爬虫真的可以接单吗？爬虫实践（一）》对你有帮助，请点赞、收藏，并留下你的观点哦！