美团外卖页面数据采集_美团外卖网上订餐

本文介绍了美团外卖流量数据采集、流量数仓的建设以及典型的流量数据应用美团外卖页面数据采集，其中重点介绍了流量数仓建设过程、在建设过程中需要关注的问题以及对应的解决方案。

01

流量数据采集

1. 美团外卖流量数据采集历史先介绍下我们团队做流量数据的历史演进过程，我们是从2015年开始做流量数据建设，早期的需求比较简单，主要是分析一些用户行为的 PV/UV。对此我们定义了一些code埋点，它是一种客户端和服务端联合的日志，同时在客户端实现了链路追踪，整体实现还是比较简单的。

2. 
   

2016 年开始，我们业务整体发展迅速，需要深入分析用户行为，所以我们在服务端定义了一套完整的日志采集规范，定义了page（页面）、block（模块）、item（元素）、source（来源）、target（目标）等采集内容， 并且在数仓层面完成了归因统计的数据建设。

到了 2017 年，我们的数据采集使用集团的流量体系，这套体系是客户端日志，主要有下述三个部分：

埋点管理：按照业务通道隔离，埋点统一注册、管理，业务字段管理，需求管理等开发者平台：主要是面向RD，包括：客户端&前端 RD 使用的埋点 SDK 手册，QA 使用的埋点验证工具，数据 RD 使用的埋点数据表、数据服务接口等事件分析工具：主要是一些分析工具提供基本数据分析能力，可以支持事件和页面的埋点数据分析

下面简单介绍下埋点在技术上的分类，一般埋点分为前端埋点和后端埋点两种。

前端埋点：

将采集的 SDK 集成在终端上，主要有三种：代码埋点；可视化埋点；无埋点。美团使用的是代码埋点，它比较明显的优点是：

高度定制、控制精准、采集的数据丰富准确比较方便、灵活，能方便手机到用户在界面上的行为数据

可视化埋点和无埋点原理差不多，PM和运营同学可以在管理平台配置需要的埋点，然后SDK定时检测识别埋点的的控件，获取埋点数据。相比而言可视化埋点实施成本很低，但是埋点质量上我们觉得代码埋点远高于可视化埋点，如果场景简单或者业务处在初期阶段，建议使用可视化埋点或者无埋点这种成本较低的方案；如果业务比较复杂，公司研发规模比较大，而且对数据建设有比较高的要求，代码埋点是最好的选择。目前业界内，神策数据这几种方案都支持，GrowingIO主要是支持无埋点。

后端埋点：

现在很少单独使用，基本是和前端埋点搭配使用。它的优点是内网传输，即时性强，丢失风险小 。

2. 埋点信息与事件介绍

埋点采集的信息可以分为环境信息和业务信息两大类。

环境信息：环境信息包括一些常见的地理、设备信息，应用的信息，还有 SDK、事件生产信息等。业务信息：业务信息主要是和当前用户行为有直接关系，比如说：操作的模块中业务字段，用户操作的页面的信息，还有唤起的信息等。

埋点事件分类主要分为三大类：