美团数据采集不了数据怎么办_美团上线显示抢运单失败

导读美团数据采集不了数据怎么办：本文介绍了美团外卖流量数据采集、流量数仓的建设以及典型的流量数据应用美团数据采集不了数据怎么办，其中重点介绍了流量数仓建设过程、在建设过程中需要关注的问题以及对应的解决方案。01流量数据采集

1. 美团外卖流量数据采集历史

先介绍下我们团队做流量数据的历史演进过程，我们是从2015年开始做流量数据建设，早期的需求比较简单，主要是分析一些用户行为的 PV/UV。对此我们定义了一些code埋点，它是一种客户端和服务端联合的日志，同时在客户端实现了链路追踪，整体实现还是比较简单的。

2016 年开始，我们业务整体发展迅速，需要深入分析用户行为，所以我们在服务端定义了一套完整的日志采集规范，定义了page（页面）、block（模块）、item（元素）、source（来源）、target（目标）等采集内容， 并且在数仓层面完成了归因统计的数据建设。

到了 2017 年，我们的数据采集使用集团的流量体系，这套体系是客户端日志，主要有下述三个部分美团数据采集不了数据怎么办：

埋点管理：按照业务通道隔离，埋点统一注册、管理，业务字段管理，需求管理等开发者平台：主要是面向RD，包括：客户端&前端 RD 使用的埋点 SDK 手册，QA 使用的埋点验证工具，数据 RD 使用的埋点数据表、数据服务接口等事件分析工具：主要是一些分析工具提供基本数据分析能力，可以支持事件和页面的埋点数据分析

下面简单介绍下埋点在技术上的分类，一般埋点分为前端埋点和后端埋点两种。

前端埋点：

将采集的 SDK 集成在终端上，主要有三种：代码埋点；可视化埋点；无埋点。美团使用的是代码埋点，它比较明显的优点是：

高度定制、控制精准、采集的数据丰富准确比较方便、灵活，能方便手机到用户在界面上的行为数据

可视化埋点和无埋点原理差不多，PM和运营同学可以在管理平台配置需要的埋点，然后SDK定时检测识别埋点的的控件，获取埋点数据。相比而言可视化埋点实施成本很低，但是埋点质量上我们觉得代码埋点远高于可视化埋点，如果场景简单或者业务处在初期阶段，建议使用可视化埋点或者无埋点这种成本较低的方案；如果业务比较复杂，公司研发规模比较大，而且对数据建设有比较高的要求，代码埋点是最好的选择。目前业界内，神策数据这几种方案都支持，GrowingIO主要是支持无埋点。

后端埋点：

现在很少单独使用，基本是和前端埋点搭配使用。它的优点是内网传输，即时性强，丢失风险小 。

2. 埋点信息与事件介绍

埋点采集的信息可以分为环境信息和业务信息两大类。

环境信息：环境信息包括一些常见的地理、设备信息，应用的信息，还有 SDK、事件生产信息等。业务信息：业务信息主要是和当前用户行为有直接关系，比如说：操作的模块中业务字段，用户操作的页面的信息，还有唤起的信息等

埋点事件分类主要分为三大类：

PV：页面事件或者叫做页面曝光事件，就是当用户打开美团 APP，每次进入一个页面的时候，就会立即上报一条页面的 PV 日志，每个页面都有自己的唯一标识 page_idMC：模块点击事件。点击比较好理解，就是用户每次点击都立即上报一条 MC 日志，每个模块都有唯一标识MV：模块曝光事件。曝光指用户浏览某个模块，就是用户看到某模块就会上报一条日志，在 APP 页面上，某个模块只要显示（只有一个像素出现在屏幕上）就会上报一条日志，同样每条 MV 日志都会记录模块的唯一标识

如上图中左下角是个实例：

在 APP 页面的顶部，我们用绿色框圈中的部分是一个 banner，上报这个 banner 日志的时候会携带 page_id ，和首页 pv 日志的 page_id 值相同，上报曝光、点击日志的时候都会有一个自己的唯一标识。中间是频道区，同上面的 banner 一样上报时都会携带 page_id，每次点击都会上报模块唯一标识 click_id，这 15 个频道会分别上报15条曝光日志，它们的 page_id、view_id 相同，通过位置字段（从 0 位到 14 位）来区分。再下面这个的 banner 位置日志上报规则同顶部 banner 相同。

在这样的事件分类下，我们把一个用户行为按照时间排序得到图中右下角所示的序列：用户首先进入一个页面上报PV日志，会看到很多模块上报MV日志，然后点击某个模块上报MC日志，接着发生跳转跳到新的页面，然后接着浏览、点击、跳转、浏览 ......

从这样一个序列中可以看出在整个上报日志中，数据量最大就是 MV 事件。

3. 埋点规范与协作流程