scrapy爬取智联python爬虫工程师职位信息

scrapy爬取智联上所有的北京地区的python爬虫工程师职位信息,包括职位名称、公司名称、薪资、工作地点,本想做个分析,结果发现北京地区职位略少,不知是不是现在这个时间点太奇怪(凌晨1点半),总共只有15条数据。

并未做反爬处理,作为浏览量最大的招聘网站,不得不说智联真的是心宽,什么反爬措施也没有。

改进目标:

  1. 爬取更多职位信息,放宽搜索条件,如:爬虫,爬虫工程师,抓取更多数据,做一下分析,看看我的工资有木有拖行业后腿。
  2. 入库,可视化分析结果。
代码传送门