python爬虫教程，采集美团网酒店信息

文章目录一、分析网页二、爬取酒店信息

一、分析网页爬取美团网成都地区的酒店信息

私信小编01即可获取大量Python学习资料

网站的页面是 JavaScript 渲染而成的，我们所看到的内容都是网页加载后又执行了JavaScript代码之后才呈现出来的，因此这些数据并不存在于原始 HTML 代码中，而 requests 仅仅抓取的是原始 HTML 代码美团采集器。抓取这种类型网站的页面数据，解决方案如下：

分析 Ajax，很多数据可能是经过 Ajax 请求时候获取的，所以可以分析其接口美团采集器。

在XHR里可以找到，Request URL有几个关键参数，uuid和cityId是城市标识，offset偏移量可以控制翻页，分析网页发现，第x页的offset为：(x-1)*20，limit表示每页有20条信息，startDay和endDay为当前的日期美团采集器。

在Preview里可以找到每页的20条信息

模拟JavaScript渲染过程，直接抓取渲染后的结果美团采集器。

selenium和pyppeteer爬虫就是用的这种方法

二、爬取酒店信息"""@Author  ：叶庭云@Date    ：2020/9/16 15:01@CSDN ：美团采集器。