网站首页 > 知识剖析 正文
uckDB 支持基于时间的窗口分析,包括固定窗口(tumbling)、跳跃窗口(hopping)和滑动窗口(sliding)等不同语义的窗口函数。在本文中,我们将通过实际案例 —— 对阿姆斯特丹中央车站的列车运行数据进行趋势和异常检测 —— 来演示这些窗口函数的使用方式。
引言:为什么时间窗口分析很重要?
在数据平台中,我们通常将数据分为两类:维度数据(Dimension)和事实数据(Fact)。维度数据描述的是实体信息,例如名称、地址、序列号等;而事实数据则代表与这些实体相关的事件,比如点击、销售记录、银行交易、IoT 设备读取值等。
事实数据往往包含时间戳(timestamp)字段,用于标识事件发生或被观察到的时间。在流处理平台中,带时间戳的数据通常需要通过流式窗口函数来划分时间片段,以便进行有序计算。
但在实际分析中,我们也经常希望对静态的时间戳数据应用类似的窗口划分逻辑,以提取出趋势、汇总和异常。本文将基于 DuckDB 展示如何使用流式窗口函数对阿姆斯特丹中央车站的列车服务数据进行时间分析,识别高峰时段、服务中断等关键指标。
在本文的实现中,我们将使用一个已建立的 DuckDB 数据库。该项目基于“Rijden de Treinen”(火车运行了吗?)应用的开放数据。
我们首先在任意 DuckDB 会话中,挂载存储位置中的该数据库:
固定窗口(Tumbling Windows)
固定窗口是具有固定大小的时间区间,格式为左闭右开区间 [left-closed, right-open),用于在某个时间单位(如年、日、小时等)上计算汇总信息。
固定窗口还常用于将(不规则的)事实数据转化为时间序列数据,通过在固定时间间隔内进行聚合实现这一目的。
实现固定窗口的一种方式是使用 date_trunc 函数,该函数会将时间戳截断到指定的精度。
例如,在下面的示例中,我们统计了 2024 年中每小时和每天的列车服务次数:
另一种方法是使用time_bucket函数,该函数将从指定的偏移量开始,将时间戳截断为指定的桶宽度。例如,我们计算每刻钟的服务数量,从以下位置开始00:
跳跃窗口(Hopping Windows)
跳跃窗口是固定大小的时间间隔,但与滚动窗口相反,跳跃窗口是重叠的。跳跃窗口的定义如下:
- 窗口开始时间之间应经过多少时间,称为跳跃大小;
- 一个窗口应该包含多少时间,称为窗口大小。
跳跃窗口的一个用例是确定 2024 年内最繁忙的五个 15 分钟时段(窗口大小),每 5 分钟(跳跃大小)开始一次。我们首先为所有感兴趣的日期生成人工跳跃窗口:
然后,我们将上述间隔与火车服务数据结合起来,以计算每个[左闭,右开]间隔的服务数量:
滑动窗口(Sliding Windows)
滑动窗口是重叠的区间,但与跳跃窗口相比,滑动窗口是根据所分析的时间列动态生成的,因此会在插入新记录时发生变化。滑动窗口可以通过使用RANGE窗口框架来实现:
会话窗口(Session Windows)
会话窗口将时间上相近发生的事件分组,并以不活动间隙分隔。当两个事件之间的时间间隔超过定义的超时值时,将启动新的会话。会话窗口最常见的用例是检测带时间戳的数据中的间隙。
我们继续进行数据分析,找出阿姆斯特丹中央火车站没有列车到达/出发的时间段超过10分钟的日期。在此上下文中,会话窗口是指列车服务运行且服务停顿间隔不超过10分钟的时间段。
lag我们首先使用窗口函数计算每条记录的上一次服务时间。我们上面观察到,夜间几乎没有交通,因此我们只包括上午 6 点到晚上 11 点之间的服务:
在上面的查询中,我们还计算了当前服务与上一次服务之间的间隔(以分钟为单位),其中date_diff。如果没有上一次服务,则该列将为0,表示当天的第一次服务会话.
然后,我们通过将经过的分钟数与超时时间(在我们的例子中为 10 分钟)进行比较,标记当前记录是否与前一个记录位于同一会话中:
通过对属性应用日级移动总和,new_session我们为会话分配一个标识符:
我们现在可以检索在 18 小时服务时间(上午 6 点到晚上 11 点之间的小时数)内至少有 10 分钟不活动间隔的日期:
2024年4月29日肯定异情况!我们观察到,在18个小时的运营期间,出现了12个时段窗口,这意味着至少有10次,在10分钟内没有列车到达或出发。原因可能是当天没有常规列车服务。而且,阿姆斯特丹和乌得勒支之间确实开始了维护工作。
上述内容演示了如何在 DuckDB 中对带时间戳的历史数据实现流窗口函数,为时间(序列)数据分析提供了一个起点。
猜你喜欢
- 2025-06-23 MySQL 8.0 参考手册— 内置函数和运算符参考
- 2025-06-23 SqlServer根据身份证号码查询出生日期和年龄
- 2025-06-23 VBA数组处理数据的财会实战案例(vba数组计算函数)
- 2025-06-23 mysql——日期操作(mysql日期+1)
- 2025-06-23 odps sql中常用的时间处理方法(pmod sql)
- 2025-06-23 MySQL常用函数(MySQL常用函数案例)
- 2025-06-23 大数据量惯用优化方法(大数据量解决方案)
- 2025-06-23 MySQL 时间计算组合:助力精准工龄及补偿金计算
- 2025-06-23 SELECT list is not in GROUP BY clause_mysql执行的时候报错了
- 2025-06-23 使用python写一个简单的到期事件钉钉提醒功能
- 最近发表
- 标签列表
-
- xml (46)
- css animation (57)
- array_slice (60)
- htmlspecialchars (54)
- position: absolute (54)
- datediff函数 (47)
- array_pop (49)
- jsmap (52)
- toggleclass (43)
- console.time (63)
- .sql (41)
- ahref (40)
- js json.parse (59)
- html复选框 (60)
- css 透明 (44)
- css 颜色 (47)
- php replace (41)
- css nth-child (48)
- min-height (40)
- xml schema (44)
- css 最后一个元素 (46)
- location.origin (44)
- table border (49)
- html tr (40)
- video controls (49)