Tag: Schedule

Docker Compose 简单配置 Apache Airflow 3.0(PostgreSQL)

2025-05-07 | 阅读(29)

Apache Airflow 重新唤起我的注意力是因为 Airflow 3.0 在近日 April 22, 2025 发布了，其二则是我们一直都有计划任务的需求，以下几种方案都太简陋

  1. 用 Windows 的计划任务或 Linux 的 Cron 都不易管理，且有单点故障问题
  2. 在 Java Spring 项目中使用集群模式的 Quartz 有些麻烦，且对于 AutoScaling 也不怎么友好
  3. AWS 上用 CloudWatch Rule + AWS Lambda 的方案可靠性没有问题，但不适于监控 

因此还有必要再次尝试 Apache Airflow, 它有集中管理的界面，各个部件都是可伸缩的，如 WebServer, Workers 等。特别是刚出的 Apache Airflow 3.0 带来以下主要新特性

  1. 新的服务化架构，各个部件间耦合度降低
  2. 多语言支持，借助了 Task SDK, 可望用 Java, JavaScript, TypeScript 等语言写 DAG
  3. DAG 支持版本控制，可回溯历史
  4. 支持事件驱动，即  DAG 可响应外部事件，如文件到达，消息队列等
  5. 引入了资产驱动调度功能，可根据数据资产的变化 进行触发，可以说是事件驱动的一类
  6. 全新的 React UI 界面

阅读全文 >>

理解 Spring 定时任务的 fixedRate 和 fixedDelay 的区别

2017-09-07 | 阅读(9,256)

用过  Spring 的 @EnableScheduling 的都知道，我们用三种形式来部署计划任务，即 @Scheduled 注解的 fixedRate(fixedRateString), fixedDelay(fixedDelayString), 以及 cron. cron 不在这里讨论的范畴。我们着重在如何理解 fixedRate 和 fixedDelay 的区别。

在 Spring 的  Scheduled 注解的 JavaDoc 对此的解释很简单

public abstract long fixedRate
Execute the annotated method with a fixed period in milliseconds between invocations.

public abstract long fixedDelay
Execute the annotated method with a fixed period in milliseconds between the end of the last invocation and the start of the next.

只是说是 fixedRate 任务两次执行时间间隔是任务的开始点，而 fixedDelay 的间隔是前次任务的结束与下次任务的开始。

大致用示意字符串来表示如下(每个 T1, 或 T2 代表任务执行秒数(每次任务执行时间不定)，假定 fixedRate 或  fixedDelay 的值是 5 秒，用 W 表示等待的数)

fixedRate:    T1.T1WWWT2.T2.T2WW.T3.T3.T3.T3.T3.T4.T4.T4.T4.T4.T4.T4T5T5WWWT6.T6........

fixedDelay:  T1.T1.WWWWW.T2.T2.T2WWWWW.T3.T3.T3.T3.T3.WWWWW.T4.T4.T4.T4.T4.T4.T4.WWWWWT6.T6......

一般来说能理解到上面两个场景已经差不多了，相比而言 fixedDelay 简单些，盯着上一次任务的屁股就行。 阅读全文 >>

Spring 定时任务(Schedule) 和线程

2017-06-05 | 阅读(10,487)

Spring 定时任务实例

Spring 中使用定时任务很简单，只需要  @EnableScheudling 注解启用即可，并不要求是一个 Spring Mvc 的项目。对于一个 Spring Boot 项目，使用定时任务的简单方式如下：

pom.xml 中

Application.java 阅读全文 >>