迟到的数据该怎样处理?
发布时间:2022-09-02 15:31:57
发布人:wjy
一般的app数据采集可能会存在数据上报延时,因此数据会存在两个时间:数据生成的时间和服务器收到的时间。
由于我们底层数据都是按时间来做天的分区,那么该用数据生成的时间还是服务器收到的时间? 服务器收到时间。
如若用服务器时间。那么面对查询某app或者某用户某天的明细数据的时候这个如何操作? 有三种方式来处理:
1. 不做处理,查询的时候,跨两天的分区来查。
2. 时候修补,比如每两天按照消息发送时间重新处理一遍数据。
3. 对于ods数据,不再做处理,在DW层按照消息发送时间来处理。
下一篇什么是ETL?