Celery(四)定時任務

来源:http://www.cnblogs.com/linxiyue/archive/2017/12/21/8082102.html
-Advertisement-
Play Games

要定時或者周期性的執行任務,可以使用linux的crontab。Celery也提供了類似的Periodic Tasks功能。 Celery beat Celery使用celery beat作為任務調度器,周期性的啟動任務。 需要執行的任務預設是在beat_schedule配置選項中設置的。使用dja ...


要定時或者周期性的執行任務,可以使用linux的crontab。Celery也提供了類似的Periodic Tasks功能。

Celery beat

Celery使用celery beat作為任務調度器,周期性的啟動任務。

需要執行的任務預設是在beat_schedule配置選項中設置的。使用django-celery-beat時,也可以使用資料庫存儲。

需要保證同一時間只有一個任務調度器在運行,否則會重覆的執行任務。

Time Zones

既然是任務與時間有關,那麼時區設置是很重要的。Celery預設使用UTC時區,要改變預設時區,可以配置:

timezone = Asia/Shanghai'

在django項目中使用celery時,celery也可以使用setting的TIME_ZONE時區設置。

使用預設的任務調度器時,celery會自動識別時區的改動,然後重置任務調度。使用其它任務調度時,需要手動重置。

比如,使用django-celery-beat時:

$ python manage.py shell
>>> from djcelery.models import PeriodicTask
>>> PeriodicTask.objects.update(last_run_at=None)

Entries

要添加周期任務,需要將事務添加到任務調度器中,添加方法有兩種。

 一種是使用add_periodic_task() 方法:

from __future__ import absolute_import, unicode_literals

from celery.schedules import crontab

from .celery import app


@app.on_after_configure.connect
def setup_periodic_tasks(sender, **kwargs):
    # Calls add(1, 2) every 10 seconds.
    sender.add_periodic_task(10.0, add.s(1, 2), name='add every 10')

    # Calls add(3, 4) every 30 seconds
    sender.add_periodic_task(30.0, add.s(3, 4), )

    # Executes every Monday morning at 7:30 a.m.
    sender.add_periodic_task(
    ┆   crontab(hour=7, minute=30, day_of_week=1),
    ┆   add.s(1, 2),
    )


@app.task
def add(x, y):
    print x + y
    return x + y

另一種方法是配置beat_schedule選項:

app.conf.beat_schedule = {
    'add-every-30-seconds': {
        'task': 'tasks.add',
        'schedule': 30.0,
        'args': (3, 4)
    },
}

可用欄位:

task:需要執行的任務名稱

schedule:任務執行時間設定,可以是整秒數,一個timedelta對象,或者一個crontab對象,也可以自己實現。

args:一個元組或者列表,位置參數

kwargs:一個字典,關鍵字參數

options:一個字典,一些額外選項,apply_async()方法可用的參數,exchange, routing_key, expires等

relative:預設false

Crontab

class celery.schedules.crontab(minute=u'*'hour=u'*'day_of_week=u'*'day_of_month=u'*'month_of_year=u'*'**kwargs)

一個表示時間間隔的對象,語法與linux的crontab類似。

minute和hour可以設置為*/15,*/2,分別表示每隔15分鐘和每隔2小時。

day_of_week用可以0-6的數字表示,也可以文字表示mon-fri。*/2並不是每2天,而是每半天。

官網一些具體例子:

crontab()  每分鐘

crontab(minute=0, hour=0)  每天的0時0分

crontab(minute=0, hour='*/3')  每三小時

crontab(day_of_week='sunday')  周日的每一小時

crontab(minute='*',hour='*', day_of_week='sun') 與上面相同

crontab(minute=0, hour='*/3,8-17') 每三個小時  8時到17時的每小時

Solar

可用日升日落表示的時間間隔:

from celery.schedules import solar

app.conf.beat_schedule = {
    # Executes at sunset in Melbourne
    'add-at-melbourne-sunset': {
        'task': 'tasks.add',
        'schedule': solar('sunset', -37.81753, 144.96715),
        'args': (16, 16),
    },
}

語法是solar(event, latitude, longitude)  

event表示日落日出,latitude為緯度,北緯為+,longitude為經度,東經為+。

啟動

啟動celery beat周期任務命令:

$ celery -A proj beat

然後啟動worker節點來處理任務即可。

beat與worker也可以同時啟動,但最好只用於測試,適用於只啟動一個worker節點的情況:

$ celery -A proj worker -B

beat會在當前目錄下建立一個文件celerybeat-schedule來記錄任務上次運行的時間,所以要保證celery對當前目錄有寫入的許可權,或者指定文件位置:

$ celery -A proj beat -s /home/celery/var/run/celerybeat-schedule

  

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Nginx 反向代理 負載均衡 虛擬主機配置 通過本章你將學會利用Nginx配置多台虛擬主機,清楚代理伺服器的作用,區分正向代理和反向代理的區別,搭建使用Nginx反向搭理和負載均衡,瞭解Nginx常用配置的說明。即學即用,你還在等什麼?一睹為快先瞭解Nginx的三大功能 Nginx 可以作為一臺h ...
  • 用類來實現時間輸入輸出 實參聲明 標準類的方法 ...
  • Collection [I] Collection 層次結構 中的根介面。Collection 表示一組對象,這些對象也稱為 collection 的元素。一些 collection 允許有重覆的元素,而另一些則不允許。一些 collection 是有序的,而另一些則是無序的。JDK 不提供此介面的 ...
  • 在異常界面點SpringObjectFactory.java查看源碼,在 上設置斷電,進行Debug,發現appContext的值為null。這是因為,我們在Spring中配置了Struts2,在項目啟動後Struts自動去Spring容器中拿對象,而此時Spring並沒有啟動,所以要讓Spring ...
  • 本篇文章基於"Java開發小技巧(二):自定義Maven依賴"中創建的父工程``project-monitor``實現,運用我們自定義的依賴包進行多工程依賴項目的開發。 ...
  • 判斷用戶輸入的是否至少含有N位小數。 1.當用戶輸入的是非數字時拋出異常,返回false。 2.當用戶輸入數字是,判斷其數字是否至少含有N位小數,如果不含有,返回false。 3.當用戶輸入的數字的小數位數大於等於N時,返回true。 原文鏈接:http://www.cnblogs.com/lieb ...
  • 1.2、火狐的profile文件記錄信息實現 1.4、萬能驗證碼、去掉驗證碼 萬能驗證碼、去掉驗證碼需要開發的配合 2、等待 2.1、time模塊 2.2、隱式等待 2.3、顯式等待 3、unittest單元測試框架 簡單的unittest框架代碼如下: 可生成html報告的unittest框架代碼 ...
  • 轉自:http://blog.chinaunix.net/uid-21411227-id-1826942.html 1. this指針的用處: 一個對象的this指針並不是對象本身的一部分,不會影響sizeof(對象)的結果。this作用域是在類內部,當在類的非靜態成員函數中訪問類的非靜態成員的時候 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...