A method and device for synchronizing job scheduling and intervention of a data processing platform

Abstract

本发明公开了一种数据处理平台作业调度与干预的同步方法，包括：设置锁服务、延迟消息队列服务以及缓存服务；预先定义作业操作的类型，并配置每个操作的互斥操作；当数据处理平台发起作业操作时，将操作消息放入延迟消息队列；监听延迟消息队列，并在监听到操作消息时获取锁；对当前作业操作进行互斥操作检查：若存在互斥操作正在执行，则将消息设置为延迟预设时长并重新放入队列，并释放锁；否则，将当前作业操作登记至缓存，释放锁，并执行当前作业操作；当执行完当前作业操作后，重新获取锁，删除当前作业操作，再释放锁。该方法缩短了锁持有与等待时间，提升了系统并发能力，且可有效控制重试时间间隔，避免了长事务占用资源。

Images