这里介绍2个不错的爬虫软件—Excel和速上 爬虫工具,对于规整的静态网页来说,使用Excel就可以爬取,稍微复杂一些的网页,可以使用速上 来爬取,下面我简单介绍一下这2个软件,主要内容如下:
ExcelExcel大部分人都应该使用过爬虫工具,除了日常的数据统计处理外,也可以爬取网页数据,下面我简单介绍一下爬取过程,主要步骤如下,这里以爬取PM2.5数据为例:1.首先爬虫工具,新建一个Excel文件并打开,依次点击菜单栏的“数据”-“自网站”,如下:2.接着爬虫工具,在弹出的“新建Web查询”对话框中输入需要爬取的网址,点击“转到”,就会加载出我们需要爬取的网页,如下:3.然后爬虫工具,点击右下角的“导入”按钮,选择需要存放数据的工作表或新建工作表,点击“确定”按钮,就会自动导入数据,成功导入后的数据如下:
4.这里如果你需要定时刷新数据爬虫工具,可以点击菜单栏的“属性”,在弹出的对话框中设置刷新频率,就可定时刷新数据,如下:
速上 这是一个专门用于采集数据的爬虫软件爬虫工具,简单好学,容易掌握,只需要设置一下页面要爬取的元素,就可以自动爬取数据,并且可以保存为Excel或导出数据库,下面我简单介绍一下这个软件的安装和使用:
1.下载安装速上 爬虫工具,这个直接到官网上下载就行,如下,直接点击下载安装就行:
2.安装完成后爬虫工具,打开这个软件,在主页面中点击“自定义采集”,如下:
3.接着在任务页面中输入需要爬取的网页地址爬虫工具,如下,这里以爬取大众点评数据为例:
4.点击“保存网址”爬虫工具,就能自动打开网页,如下:
5.接着爬虫工具,我们就可以直接选取需要爬取的标签数据,如下,按着操作提示一步一步往下走就行,很简单:
6.设置完成后爬虫工具,直接点击“启动本地采集”,就能自动开始爬取数据,成功爬取后的数据如下,就是我们刚才设置的标签数据:
7.这里点击“导出数据”爬虫工具,可以将爬取的数据导出为你需要的格式,如下,可以是Excel、CSV、数据库等:
至此,我们就完成了利用Excel和速上 来爬取网页数据爬虫工具。总的来说,这2个软件使用起来都非常简单,只要你熟悉一下相关操作,很快就能掌握的,当然,你也可以使用其他爬虫软件,像速上 等,基本功能和速上 差不多,网上也有相关资料和教程,感兴趣的话,可以搜一下,希望以上分享的内容能对你有所帮助吧,也欢迎大家评论、留言。
添加上方▲技术, 在线咨询
复制微信号
声明
一、本站原创内容,其版权属于本网站所有。其他媒体、网站或个人转载使用时不得进行商业性的原版原式的转载,也不得歪曲和篡改本网站所发布的内容。如转载须注明文章来源。
二、本网站转载其它媒体作品的目的在于传递更多信息,并不代表本网站赞同其观点和对其真实性负责;如侵犯你的权益请告诉我们立即删除;其他媒体、网站或个人转载使用自负法律责任。
发表评论
2021-11-22 18:11:22回复