一、什么是作业调度
“作业”,这一技术述语上的概念,又让我们回到了大型机的年代,那时候,用户/程序员提交一叠穿孔卡片或者纸带(上面描述了一个作业)给操作人员,由操作人员帮忙执行那些作业。用户等待作业执行完后,回到主机那边取自己的卡片和打印出来的输出结果。
因为不是每一个作业要求立即被执行,所以作业可以被安排在将来的某个时候执行。比如说,一个系统管理员每天晚上可能有一份要执行的作业列表:
· 10:00 PM: 运行患者信息文件的上载作业
· 11:00 PM: 运行销售数据报表生成
· 11:59 PM: 进行数据库的备份
作业调度通常是指运行一个批量的作业或称之谓批处理。这种批处理作业一般都是放在后台运行并且不需要与用户交互。现在,显著增多的多样性的任务已代替了早先的批量作业。在一个大的组织中每天的每小时跑上百个作业已属普遍。并且作业的规模与复杂性仍在持续的上扬,因此批量作业和作业调度器也就随需应生。
作业调度那样自动化处理相对于手工来说,至少为我们提供了以下三个优点:
·资源使用效率更高
·更少的出错机率
·更高的伸缩性
二、典型场景
场景 #1: 邮件提醒和告警
许多网站(不管是商业的还是别的)允许用户提供用户名和密码注册一个帐户。出于安全考虑,一个好的做法是让用户密码每隔一段时间过期失效,比如说90天的周期。这种情况下,你可以创建一个作业,让它每天午夜运行一次,并且向离过期时间不到三天的所有用户发邮件提醒。这里可以恰到好处的用到作业调度器。图 1.2 描绘了密码这个提醒作业。
图 1.2 密码过期的作业每晚发送邮件给密码很快会过期的用户
除了发过期的密码信息,网站还可以发送其他的告警或提醒(可不是垃圾邮件哦)。一个作业调度器还能够用在类似的其他方面。
场景 #2: 执行文件传输操作
许多商家需要和他们的供应商或客户作信息集成。一种集成的方式就是进行数据文件的交换。可以采用实时的方式,例如SOAP协议,但是许多时候却不需要实时性,代之以异步的方式,譬如用FTP协议来发出或取所要的文件。
下图描绘了一个劳工补偿局每天早上收到一些包含患者及事故信息的文件。公司可以雇一个人每天早上手工的检出FTP服务器上的文件。作为另一个更好的选择就是可以写一个作业,让它每天早上扫描FTP服务器,如果有文件的话,把文件内容处理后插入到患者数据库中去。让作业调度器代劳后,这个职员再也不用手工去上FTP检查文件,而可以为公司做更多别的更有意义的事情。图1.3 描绘了文件传输的操作。
图 1.3. 文件传输的作业检查FTP站点,把患者信息文件处理到数据库中。
场景 #3: 创建销售报表
公司经营由盈亏账目所驱动,其中一个很重要的事情就是经营管理者和财务人员需要拿到最终收入和毛利数据进行分析。抽取销售报表数据可能非常的慢并且很耗资源,因为这通常需要联合多个表从中查询出上千条记录。一个更好的解决途径是在晚上计帐和计价结束后,运行一个作业,让它去生成一些临时表或视图为报表程序所用。创建临时表或视图的方式,使报表生成更具动态特性,而且用户也用不着平白去等待报表的生成,一些报表工具,如水晶报表 XI(Crystal Reports XI) 本身就包含了作业调度器(见图1.4)。
图 1.4. 销售数据报表程序执行为销售团队产生收入和毛利信息
三、解决方案
#Java SDK Timer 和 TimerTask 类
java.util.Timer和java.util.TimerTask这两个类是自1.3版本才加入到JDK中来的。这两个新类可以实现一个最基本的调度器。也就只能作为我们理想的完整调度器框架的一个小的部件。任何严格意义的作业调度器都提供直接指定执行时间,存储作业信息到多种介绍和使用钩子进行定制及其他更多的功能。java5又功能强大了许多,支持线程池了。
#商业解决方案
表 1.1 商业作业调度器
Flux Scheduler
www.fluxcorp.com/
Enterprise Batching Queuing
www.argent.com/p/qe/qe.html
Unicenter AutoSys Job Management 4.5
www.ca.com
BMC Software ControlM
www.bmc.com
Cybermation ESP Espresso 4.2
www.cybermation.corly;9′m
Vexus consulting Avatar Job Scheduling Suite 4.5.5
www.vexus.ca
Argent software The Argent Job Scheduler 4.5A
www.argent.com
Tidal Enterprise Scheduler
www.tidalsoftware.com
# 开源组件
下面介绍的Quartz
四、Quartz简介
官网 http://www.quartz-scheduler.org/
Quartz 是个开源的作业调度框架,为在 Java 应用程序中进行作业调度提供了简单却强大的机制。Quartz 允许开发人员根据时间间隔(或天)来调度作业。它实现了作业和触发器的多对多关系,还能把多个作业与不同的触发器关联。整合了 Quartz 的应用程序可以重用来自不同事件的作业,还可以为一个事件组合多个作业。虽然可以通过属性文件(在属性文件中可以指定 JDBC 事务的数据源、全局作业和/或触发器侦听器、插件、线程池,以及更多)配置 Quartz,但它根本没有与应用程序服务器的上下文或引用集成在一起。结果就是作业不能访问 Web 服务器的内部函数;例如,在使用 WebSphere 应用服务器时,由 Quartz 调度的作业并不能影响服务器的动态缓存和数据源。
参考资料
http://www.ibm.com/developerworks/cn/java/j-quartz/
本系列大部分参考或者copy自,http://unmi.blogjava.net/,该Quartz系列后面的文章不再累赘列举,在此谢谢谢之.