导读:本文介绍了美团外卖流量数据采集、流量数仓的建设以及典型的流量数据应用美团WiFi采集,其中重点介绍了流量数仓建设过程、在建设过程中需要关注的问题以及对应的解决方案。01流量数据采集
1. 美团外卖流量数据采集历史
先介绍下我们团队做流量数据的历史演进过程美团WiFi采集,我们是从2015年开始做流量数据建设,早期的需求比较简单,主要是分析一些用户行为的 PV/UV。对此我们定义了一些code埋点,它是一种客户端和服务端联合的日志,同时在客户端实现了链路追踪,整体实现还是比较简单的。
2016 年开始,我们业务整体发展迅速,需要深入分析用户行为,所以我们在服务端定义了一套完整的日志采集规范,定义了page(页面)、block(模块)、item(元素)、source(来源)、target(目标)等采集内容, 并且在数仓层面完成了归因统计的数据建设。
到了 2017 年,我们的数据采集使用集团的流量体系,这套体系是客户端日志,主要有下述三个部分:
埋点管理:按照业务通道隔离,埋点统一注册、管理,业务字段管理,需求管理等开发者平台:主要是面向RD,包括:客户端&前端 RD 使用的埋点 SDK 手册,QA 使用的埋点验证工具,数据 RD 使用的埋点数据表、数据服务接口等事件分析工具:主要是一些分析工具提供基本数据分析能力,可以支持事件和页面的埋点数据分析
下面简单介绍下埋点在技术上的分类,一般埋点分为前端埋点和后端埋点两种。
前端埋点:
将采集的 SDK 集成在终端上,主要有三种:代码埋点美团WiFi采集;可视化埋点;无埋点。美团使用的是代码埋点,它比较明显的优点是:
高度定制、控制精准、采集的数据丰富准确比较方便、灵活,能方便手机到用户在界面上的行为数据
可视化埋点和无埋点原理差不多,PM和运营同学可以在管理平台配置需要的埋点,然后SDK定时检测识别埋点的的控件,获取埋点数据。相比而言可视化埋点实施成本很低,但是埋点质量上我们觉得代码埋点远高于可视化埋点,如果场景简单或者业务处在初期阶段,建议使用可视化埋点或者无埋点这种成本较低的方案;如果业务比较复杂,公司研发规模比较大,而且对数据建设有比较高的要求,代码埋点是最好的选择。目前业界内,神策数据这几种方案都支持,GrowingIO主要是支持无埋点。
后端埋点:
现在很少单独使用,基本是和前端埋点搭配使用。它的优点是内网传输,即时性强,丢失风险小 。
2. 埋点信息与事件介绍
添加上方▲技术, 在线咨询
复制微信号
声明
一、本站原创内容,其版权属于本网站所有。其他媒体、网站或个人转载使用时不得进行商业性的原版原式的转载,也不得歪曲和篡改本网站所发布的内容。如转载须注明文章来源。
二、本网站转载其它媒体作品的目的在于传递更多信息,并不代表本网站赞同其观点和对其真实性负责;如侵犯你的权益请告诉我们立即删除;其他媒体、网站或个人转载使用自负法律责任。
发表评论
2022-06-14 21:29:33回复