目前来说,网上的爬虫软件挺多的,但是能直接导出mysql格式,并且能正确插入数据库中的不多,这个和mysql版本、数据格式有一定的关系等,但是可以先导出为excel,整理之后再导入mysql数据库,这样出错的几率就会减少。下面我介绍3种比较简单的爬虫软件,不需要写任何代码,就可以直接爬取数据,并导出为excel表格,分别是Excel,速上和FireSpider,主要如下:
Excel爬取数据:相信这个功能,大部分懂excel的人都了解,这是excel自带的一个数据采集的功能,通过访问对应的网站,可以直接导出网页数据,下面以爬取PM2.5的数据为例,简单介绍一下过程:
1.新建一个excel文件,并打开,点击“数据”-“自网站”-“输入网址url”-“导入”,如下图:
2.选中需要导入的数据,点击导入,如下,Excel已经正确加载出数据,如下图所示:
excel这种爬取数据的方式比较简单,也比较容易操作,只要熟悉熟悉操作,很快就能掌握,当然你也可以设置刷新时间,定时更新数据,这里不再赘述。
速上爬取数据:这是一个免费的爬虫软件,挺好用的,功能很强大,大部分网站的数据都能爬取,官方教程也很详细,熟悉熟悉相关示例,很快就能掌握爬取的过程。下面介绍一下安装过程,及简单爬取58同城招聘数据:
1.下载安装。这个不再多说,直接在官网下载就行,一个exe文件,很快就能安装完毕:
2.爬取数据,这个过程也比较简单,按着步骤一步一步来就行,先创建任务,在选择你要爬取的内容,最后一键爬取就行,完成后即可导出为excel文件,如下:
3.对应导出的excel数据如下,已经成功抓取到招聘数据:
这个软件的官方文档介绍比较详细,有详细的视频教程,可以爬取许多网站的数据,感兴趣的可以实验一下。
至此,excel,速上爬虫软件都介绍完毕,只要你熟悉熟悉操作过程,很快就能掌握的,至于后面的话,需要导入mysql数据库,这个使用navicat等软件都可以进行导入,不过有时候存在版本或数据格式问题,这个需要自己调整一下excel数据,然后再进行导入,希望以上分享的内容能对你有所帮助吧。
添加上方▲技术, 在线咨询
复制微信号
声明
一、本站原创内容,其版权属于本网站所有。其他媒体、网站或个人转载使用时不得进行商业性的原版原式的转载,也不得歪曲和篡改本网站所发布的内容。如转载须注明文章来源。
二、本网站转载其它媒体作品的目的在于传递更多信息,并不代表本网站赞同其观点和对其真实性负责;如侵犯你的权益请告诉我们立即删除;其他媒体、网站或个人转载使用自负法律责任。
发表评论
2021-11-14 03:44:53回复
2021-11-14 13:21:37回复