Java開源生鮮電商平臺-定時器,定時任務quartz的設計與架構(源碼可下載) 說明:任何業務有時候需要系統在某個定點的時刻執行某些任務,比如:凌晨2點統計昨天的報表,早上6點抽取用戶下單的佣金。 對於Java開源生鮮電商平臺而言,有定時推送客戶備貨,定時計算賣家今日的收益,定時提醒每日的提現金額 ...
Java開源生鮮電商平臺-定時器,定時任務quartz的設計與架構(源碼可下載)
說明:任何業務有時候需要系統在某個定點的時刻執行某些任務,比如:凌晨2點統計昨天的報表,早上6點抽取用戶下單的佣金。
對於Java開源生鮮電商平臺而言,有定時推送客戶備貨,定時計算賣家今日的收益,定時提醒每日的提現金額等等
對於Java定時器而言,我們採用spring+quartz來進行技術解決方案:
對於業務而言,需要滿足以下幾個方面:
1. 對定時任務需要可以手動啟動,手動停止,手動刪除等。
2. 對定時任務的結果需要記錄,什麼時候執行,執行的結果如何,是否存在異常,是否有異常的記錄。
3. 對定時器的錯誤,如果是級別很重要,是否有簡訊提醒來讓運營人員或者技術人員手工處理呢?
類似這樣:
為了滿足業務的需求,根據quartz的技術選型,設計一下基礎架構:
1. 任務記錄信息表:
CREATE TABLE `t_job` ( `JOB_ID` bigint(20) NOT NULL AUTO_INCREMENT COMMENT '任務id', `BEAN_NAME` varchar(100) NOT NULL COMMENT 'spring bean名稱', `METHOD_NAME` varchar(100) NOT NULL COMMENT '方法名', `PARAMS` varchar(200) DEFAULT NULL COMMENT '參數', `CRON_EXPRESSION` varchar(100) NOT NULL COMMENT 'cron表達式', `STATUS` char(2) NOT NULL COMMENT '任務狀態 0:正常 1:暫停', `REMARK` varchar(200) DEFAULT NULL COMMENT '備註', `CREATE_TIME` datetime DEFAULT NULL COMMENT '創建時間', PRIMARY KEY (`JOB_ID`) ) ENGINE=InnoDB AUTO_INCREMENT=12 DEFAULT CHARSET=utf8;
2. 任務操作日誌記錄表:
CREATE TABLE `t_job_log` ( `LOG_ID` bigint(20) NOT NULL AUTO_INCREMENT COMMENT '任務日誌id', `JOB_ID` bigint(20) NOT NULL COMMENT '任務id', `BEAN_NAME` varchar(100) NOT NULL COMMENT 'spring bean名稱', `METHOD_NAME` varchar(100) NOT NULL COMMENT '方法名', `PARAMS` varchar(200) DEFAULT NULL COMMENT '參數', `STATUS` char(2) NOT NULL COMMENT '任務狀態 0:成功 1:失敗', `ERROR` text COMMENT '失敗信息', `TIMES` decimal(11,0) DEFAULT NULL COMMENT '耗時(單位:毫秒)', `CREATE_TIME` datetime DEFAULT NULL COMMENT '創建時間', PRIMARY KEY (`LOG_ID`) ) ENGINE=InnoDB AUTO_INCREMENT=2476 DEFAULT CHARSET=utf8;
說明:整個業務很簡單,整個表設計與架構也很簡單。
最終運營截圖如下:
相關的系統設置與配置說明:
相關的核心代碼如下:(貼些核心的,不算很核心的,大家可以去我github下麵下載即可)
/** * 定時任務 * * @author Administrator * */ public class ScheduleJob extends QuartzJobBean { private Logger logger = LoggerFactory.getLogger(this.getClass()); private ExecutorService service = Executors.newSingleThreadExecutor(); @Override protected void executeInternal(JobExecutionContext context) throws JobExecutionException { Job scheduleJob = (Job) context.getMergedJobDataMap().get(Job.JOB_PARAM_KEY); // 獲取spring bean JobLogService scheduleJobLogService = (JobLogService) SpringContextUtils.getBean("JobLogService"); JobLog log = new JobLog(); log.setJobId(scheduleJob.getJobId()); log.setBeanName(scheduleJob.getBeanName()); log.setMethodName(scheduleJob.getMethodName()); log.setParams(scheduleJob.getParams()); log.setCreateTime(new Date()); long startTime = System.currentTimeMillis(); try { // 執行任務 logger.info("任務準備執行,任務ID:" + scheduleJob.getJobId()); ScheduleRunnable task = new ScheduleRunnable(scheduleJob.getBeanName(), scheduleJob.getMethodName(), scheduleJob.getParams()); Future<?> future = service.submit(task); future.get(); long times = System.currentTimeMillis() - startTime; log.setTimes(times); // 任務狀態 0:成功 1:失敗 log.setStatus("0"); logger.info("任務執行完畢,任務ID:" + scheduleJob.getJobId() + " 總共耗時:" + times + "毫秒"); } catch (Exception e) { logger.error("任務執行失敗,任務ID:" + scheduleJob.getJobId(), e); long times = System.currentTimeMillis() - startTime; log.setTimes(times); // 任務狀態 0:成功 1:失敗 log.setStatus("1"); log.setError(StringUtils.substring(e.toString(), 0, 2000)); } finally { scheduleJobLogService.saveJobLog(log); } } }
/** * 執行定時任務 * * @author Administrator * */ public class ScheduleRunnable implements Runnable { private Object target; private Method method; private String params; public ScheduleRunnable(String beanName, String methodName, String params) throws NoSuchMethodException, SecurityException { this.target = SpringContextUtils.getBean(beanName); this.params = params; if (StringUtils.isNotBlank(params)) { this.method = target.getClass().getDeclaredMethod(methodName, String.class); } else { this.method = target.getClass().getDeclaredMethod(methodName); } } @Override public void run() { try { ReflectionUtils.makeAccessible(method); if (StringUtils.isNotBlank(params)) { method.invoke(target, params); } else { method.invoke(target); } } catch (Exception e) { e.printStackTrace(); } } }
/** * 執行定時任務 * * @author Administrator * */ public class ScheduleRunnable implements Runnable { private Object target; private Method method; private String params; public ScheduleRunnable(String beanName, String methodName, String params) throws NoSuchMethodException, SecurityException { this.target = SpringContextUtils.getBean(beanName); this.params = params; if (StringUtils.isNotBlank(params)) { this.method = target.getClass().getDeclaredMethod(methodName, String.class); } else { this.method = target.getClass().getDeclaredMethod(methodName); } } @Override public void run() { try { ReflectionUtils.makeAccessible(method); if (StringUtils.isNotBlank(params)) { method.invoke(target, params); } else { method.invoke(target); } } catch (Exception e) { e.printStackTrace(); } } }
POM文件
<dependency> <groupId>org.quartz-scheduler</groupId> <artifactId>quartz</artifactId> <version>2.2.1</version> </dependency> <dependency> <groupId>org.quartz-scheduler</groupId> <artifactId>quartz-jobs</artifactId> <version>2.2.1</version> </dependency>
org.quartz.scheduler.instanceName屬性可為任何值,用在 JDBC JobStore 中來唯一標識實例,但是所有集群節點中必須相同。
org.quartz.scheduler.instanceId 屬性為 AUTO即可,基於主機名和時間戳來產生實例 ID。
org.quartz.jobStore.class屬性為 JobStoreTX,將任務持久化到數據中。因為集群中節點依賴於資料庫來傳播 Scheduler 實例的狀態,你只能在使用 JDBC JobStore 時應用 Quartz 集群。這意味著你必須使用 JobStoreTX 或是 JobStoreCMT 作為 Job 存儲;你不能在集群中使用 RAMJobStore。
org.quartz.jobStore.isClustered 屬性為 true,你就告訴了 Scheduler 實例要它參與到一個集群當中。這一屬性會貫穿於調度框架的始終,用於修改集群環境中操作的預設行為。
org.quartz.jobStore.clusterCheckinInterval 屬性定義了Scheduler 實例檢入到資料庫中的頻率(單位:毫秒)。Scheduler 檢查是否其他的實例到了它們應當檢入的時候未檢入;這能指出一個失敗的 Scheduler 實例,且當前 Scheduler 會以此來接管任何執行失敗並可恢復的 Job。通過檢入操作,Scheduler 也會更新自身的狀態記錄。clusterChedkinInterval 越小,Scheduler 節點檢查失敗的 Scheduler 實例就越頻繁。預設值是 15000 (即15 秒)。
最終:系統架構設計圖:
最後:很多人說系統功能很強大很好,但是我的一種思維方式是不一定,強大固然好,但是你需要通過這麼多的系統數據中來分析出問題的關鍵,而不是所謂的代碼堆積。
你所需要的是思考,再思考,最終思考。
Java開源生鮮電商平臺-定時器,定時任務quartz的設計與架構(源碼可下載),如果需要下載的話,可以在我的github下麵進行下載。