失眠网,内容丰富有趣,生活中的好帮手!
失眠网 > 我爬取了猪八戒网站的信息 发现了程序员做威客不得不进的坑

我爬取了猪八戒网站的信息 发现了程序员做威客不得不进的坑

时间:2023-07-25 12:27:46

相关推荐

我爬取了猪八戒网站的信息 发现了程序员做威客不得不进的坑

猪八戒威客网是一个比较成熟的威客社区,雇主和威客们双向选择,既方便了中小雇主,又方便广大程序员兼职挣外快,早日实现财务自由。

我在爬取了猪八戒网站近段时间的任务信息(约3000条)后,利用这些为数不多的样本数据,简单的模拟了一次数据分析。属于菜鸟级的数据分析,没有什么技术含量。

数据分析中最重要的是数据分析的思维、逻辑思考的方式,数据的获取、清洗、处理只能算是最初级、最基本的操作。

一、数据获取

使用万能的python语言,利用爬虫获取猪八戒网站上的任务信息,保存在本地。

二、数据清洗

对文件中的数据进行简单的清洗、去除垃圾数据,比如在地址栏中,正常地址山东济南历下,如果遇到直辖市会出现北京北京朝阳,为了后面处理方便,这里就需要把北京等直辖市的地名做一步处理。

三、数据分析

词云比较简单、直观、明了,在这里我主要进行了词云表示。

1、 雇主需求分析

图1 发布任务的词云图,对应于上面表格的标题,是雇主发布任务时的标题。可以看出,在这里软件开发、APP、Logo设计、微信开发、网站设计等需求比较多。

图2 需求类别词云。对应于上面表格中的任务类别,这个类别是在雇主发布任务时,给任务细分的类别,从中可以看出,Logo设计、网站开发、微信开发、APP开发依旧是热点。

2、 雇主地域分析

图3地域分布词云其实这一个如果以地图的形式显示出来效果可能更好,猪八戒网站是重庆的公司,当地的雇主占了很大一部分,其次就是北上广深这些一线城市。

3、 任务价钱分析

图4 任务价钱词云。可以看出,价格主要在1000以内,这也说明了威客平台主要针对中小企业的雇主发布任务。

4、 雇主关心的事

图5 任务详情词云。这个词云对应的是上面表格中的内容一栏,是雇主发布任务时的具体要求,我们可以看到,雇主关心的就是需求、预算和周期。简单地说,一是要满足雇主提出的要求、二是要尽可能控制成本,三是要按时间完成。这在我们线下做项目其实道理是一样的。

四、总结

一是猪八戒网主要面向的还是传统的互联网行业,比如微信开发、软件开发、logo设计等,因为面向的是中小企业可个人开发者,近年来新兴的技术和产业涉及的较少。

二是任务预算主要在1000以下,单个开发者要从事威客工作,还是应该以兼职的方式进行,如果是团队形式,那么只要分工明确,就可以全职接单,收入也会不菲。

如果觉得《我爬取了猪八戒网站的信息 发现了程序员做威客不得不进的坑》对你有帮助,请点赞、收藏,并留下你的观点哦!

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。