全国旗舰校区

不同学习城市 同样授课品质

北京

深圳

上海

广州

郑州

大连

武汉

成都

西安

杭州

青岛

重庆

长沙

哈尔滨

南京

太原

沈阳

合肥

贵阳

济南

下一个校区
就在你家门口
+
当前位置:首页  >  应聘面试  >  大数据面试题

迟到的数据该怎样处理?

发布时间:2022-09-02 15:31:57
发布人:wjy

一般的app数据采集可能会存在数据上报延时,因此数据会存在两个时间:数据生成的时间和服务器收到的时间。

由于我们底层数据都是按时间来做天的分区,那么该用数据生成的时间还是服务器收到的时间? 服务器收到时间。

如若用服务器时间。那么面对查询某app或者某用户某天的明细数据的时候这个如何操作? 有三种方式来处理: 

1. 不做处理,查询的时候,跨两天的分区来查。

2. 时候修补,比如每两天按照消息发送时间重新处理一遍数据。

3. 对于ods数据,不再做处理,在DW层按照消息发送时间来处理。

迟到的数据该怎样处理?

相关文章

大数据kafka常见面试题——如何搭建kafka?

2023-08-07

大数据kafka常见面试题——kafka中如何避免重复消费

2023-08-04

大数据面试题之多种方法创建dataframe

2023-08-02

大数据Hadoop面试题——Hadoop干什么用的?

2023-08-01

大数据行业2年工作经验的面试题有哪些?

2023-07-28

大数据kafka面试题——kafka和flume的区别是什么?

2023-07-27
在线咨询 免费试学 教程领取