在写Python爬虫的时候,常常需要伪装浏览器,通过设置ua来实现伪装浏览器爬虫工具。很多时候,我们是通过去网上搜索一些ua来使用,建立一个ua库,每次爬取数据的时候,随机选取一个ua。
fake_useragent是一个模拟真实浏览器ua的工具,可以随机产生ua爬虫工具。以下简单介绍其常见用法。
fake_useragent的安装cmd窗口中输入:pip install fake-useragent常见用法举例使用前先引入UserAgent:
from fake_useragent import UserAgentua = UserAgent()1、想随机产生一个ua爬虫工具,则
ua.random运行结果:
'Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/30.0.1599.17 Safari/537.36'2、利用for循环运行5次爬虫工具,产生5个ua:
for i in range(5): print(ua.random)运行后爬虫工具,产生5个随机的ua:
Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.2214.93 Safari/537.36Mozilla/5.0 (Windows NT 6.2; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1667.0 Safari/537.36Opera/9.80 (Windows NT 6.1; U; cs) Presto/2.7.62 Version/11.01Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.93 Safari/537.36Mozilla/5.0 (Windows NT 6.2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1467.0 Safari/537.363、可以产生特定浏览器的ua:
IE浏览器:
ua.ie运行结果:
'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; Zune 4.0; InfoPath.3; MS-RTC LM 8; .NET4.0C; .NET4.0E)'谷歌浏览器:
ua.chrome运行结果:
'Mozilla/5.0 (Windows NT 6.2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1467.0 Safari/537.36'火狐浏览器:
ua.firefox运行结果:
'Mozilla/5.0 (Windows NT 6.1; rv:22.0) Gecko/20130405 Firefox/22.0'有了这个工具fake_useragent,Python爬虫伪装浏览器就方便多了爬虫工具。
感谢观看爬虫工具,喜欢的朋友,关注走一波,后续内容更精彩!
添加上方▲技术, 在线咨询
复制微信号
声明
一、本站原创内容,其版权属于本网站所有。其他媒体、网站或个人转载使用时不得进行商业性的原版原式的转载,也不得歪曲和篡改本网站所发布的内容。如转载须注明文章来源。
二、本网站转载其它媒体作品的目的在于传递更多信息,并不代表本网站赞同其观点和对其真实性负责;如侵犯你的权益请告诉我们立即删除;其他媒体、网站或个人转载使用自负法律责任。
发表评论
2021-11-22 19:11:39回复