celery筆記七之周期/定時任務及crontab定義

来源:https://www.cnblogs.com/hunterxiong/archive/2023/06/25/17504124.html
-Advertisement-
Play Games

> 本文首發於公眾號:Hunter後端 > 原文鏈接:[celery筆記七之周期/定時任務及crontab定義](https://mp.weixin.qq.com/s/sNShaRbuM2gm2qn_codaTg) periodic task,即為周期,或者定時任務,比如說每天晚上零點零分需要運行一 ...


本文首發於公眾號:Hunter後端
原文鏈接:celery筆記七之周期/定時任務及crontab定義

periodic task,即為周期,或者定時任務,比如說每天晚上零點零分需要運行一遍某個函數,或者每隔半小時運行一遍該函數,都是這種任務的範疇。

在第一篇筆記的時候我們就介紹過 celery 的組件構成,其中有一個組件叫做 beat,就是我們定時任務的調度器。

所有的定時任務都由 beat 發出,這種情況下,你必須確保在同一個時間點只有一個 beat 任務調度器在運行,假設有兩個 beat 同時在運行,那麼在檢測定時任務的時候,系統的任務就可能會被重覆發起、調用、執行。

  1. beat_schedule 定義
  2. beat 啟動
  3. crontab介紹

1、beat_schedule 定義

我們來定義兩個定時任務,一個是 blog.tasks.add,定義為每隔 30s 執行一次,現在晚上11點45分,我們定義每天11點50分執行一次。

在進行這些操作前,我們還需要對時區有一些設置,因為我們設置的晚上11點是北京時間,而 Django 和 celery 預設是格林威治時間。

時區設置

我們使用 Django 系統,一些配置在 settigns.py 中定義,詳情可以見前幾篇筆記的 celery 與 Django 系統使用。

關於時區,Django 系統和 celery 的時區我們都設置成北京時間:

# settings.py

# django 時區設置
TIME_ZONE = "Asia/Shanghai"
USE_TZ = False

# celery 時區設置 
CELERY_TIMEZONE = "Asia/Shanghai"
CELERY_ENABLE_UTC = False
DJANGO_CELERY_BEAT_TZ_AWARE = False

定時任務定義

接下來,我們定義定時任務:

from celery.schedules import crontab

app.conf.beat_schedule = {
    'add-every-30-seconds': {
        'task': 'blog.tasks.add',
        'schedule': 30,
        'args': (16, 16),
    },
    'schedule_test_add': {
        'task': 'blog.tasks.minus',
        'schedule': crontab(minute="50", hour="23"),
    },
}

定時任務的定義是我們通過 app.conf.beat_schedule 來操作,一個任務我們定義一個 name 作為 key

在每個 task 下,分別有以下選項:

task:指向我們定義的任務,比如我們這個是指向 blog application 下 tasks.add 任務

schedule:定時任務的策略,如果直接定義一個整數,比如定義的 add-every-30-seconds task 的這個參數定義為 30,就會每隔30s 執行一次

而如果使用 crontab() 函數,則可以更自由的定義到每個月,每周,每天,每時每秒,在示例中我們定義 minute="50", hour="23" 表示每天 23點50分執行一次

更詳細的策略我們下麵再詳細介紹。

args:定時任務的參數,比如 add() 函數,我們每隔 30s 執行一次,給定的兩個參數是 (16, 16),對應 add(x, y) 輸入的兩個值

2、beat 啟動

beat 的啟動方式和 worker 啟動方式一致,將 worker 改成 beat 即可:

celery -A hunter beat -l INFO

也可以指定日誌的輸出文件:

celery -A hunter beat -l INFO --logfile=/Users/hunter/python/celery_log/beat.log

當我們啟動 beat 的時候,會發現啟動的文件夾下會有一個名為 celerybeat-schedule.db 的文件,這個是 beat 保存在本地的上一次任務運行的時間的數據,我們也可以指定該文件的輸出地址:

celery -A hunter beat -l INFO -s /Users/hunter/python/celery_log/celerybeat-schedule

如果我們需要運行定時任務,我們需要額外啟動兩個服務,一個是 beat,一個是 worker

一般來說我們會先啟動 worker,再啟動 beat,這樣 beat 有一些立即發出的任務就可以直接被 worker 接收然後運行。

3、crontab介紹

我們使用 crontab() 函數制定定時任務的時間策略,比如每天運行一次,或者指定周幾運行都可以實現。

如果你之前接觸過 Linux 伺服器上的 crontab 服務,那麼就不用擔心理解它的使用方式,如果沒有,我們可以看看下麵官方文檔對著的介紹。

在 celery 里,crontab 函數通過 from celery.schedules import crontab 引入,在 beat_schedule 的定義里作為 schedule 的值,這個前面給過一個示例。

crontab 接受五個參數:

  • minute 表示分鐘,接收整數或者整數列表,範圍在0-59,或者字元串表示配置的時間模式
  • hour 表示小時,接收整數或者整數列表,範圍在0-23,或者接收字元串表示配置的時間模式
  • day_of_week 表示周幾,接收整數或者整數列表,範圍在0-6,其中周日是0,周六是6,或者接收字元串表示配置的時間模式
  • day_of_month 表示一個月的第幾天,接收整數或者整數列表,範圍在1-31,或者接收字元串表示配置的時間模式
  • month_of_year 表示一年的第幾個月,接收整數或者整數列表,範圍在1-12,或者接收字元串表示配置的時間模式

minute 和 hour

minute 和 hour 直接指向一天的某個時間點,所以,這兩個參數相當於是必填,除非是某些特殊的情況,比如預設的每分鐘執行一次:

crontab()

上面的命令,什麼參數也不傳,表示的是每隔一分鐘執行一次

如果我們想指定特定的時間點,比如每天晚上11點23分執行一次:

crontab(minute=23, hour=23)

如果我們想指定某一些分鐘,比如分別在 23點11分,23點25分,23點44分鐘分別執行一次,可以如下操作:

crontab(minute="11,25,44", hour=23)

如果是上面這種沒有特殊關係的時間點,我們可以這樣通過逗號分隔連接起來,如果是有特殊關係的,比如說,每隔一分鐘,或者每隔三分鐘,我們可以通過 */n 的方式來連接。

23點之內,每隔三分鐘執行一次函數可以如下操作:

crontab(minute="*/3", hour=23)

這裡的每隔 n 分鐘,其實是 n 的倍數,比如說 */3 就是在 0,3,6,9,12... 等這些分鐘數上執行。

還有一種是範圍內的操作方式,比如說,23點的 10-20分鐘內每分鐘執行一次:

crontab(minute="10-20", hour=23)

那麼上面的方式合併起來可不可以,比如說在23點的第5分鐘,11分鐘,51分鐘,31-40分鐘,並且每隔兩分鐘執行一次

也可以實現,把上面的方式都添加在一起,就是一個或的操作:

crontab(minute="5,11,51,10-20,*/2", hour=23)

對於分鐘的這些操作,對於小時數是同樣生效的,不過範圍在 0-23 之間,比如說指定0點,5點,8點,16點的零分執行一次,那就是:

crontab(minute=0, hour="0,5,8,16")

如果是每個小時執行一次呢,就是:

crontab(minute=0, hour="*/1")

# 當 n = 1 的時候 1可以省略,即為
crontab(minute=0, hour="*")

hour 的範圍參數和指定的小時點,像 minute 參數一樣,也是可以或操作功能那樣生效的。

day_of_week

day_of_week 參數表示周幾,當我們使用這個參數的時候,minute 和 hour 參數是同樣生效的,這裡我們只演示 day_of_week 參數的作用,小時和分鐘我們都定為 0點0分。

當我們不指定這個參數的時候,即為每天,只有指定了這個參數的時候,定義的周幾才會生效,比如我們定義在周一,周三,周五三天的零點執行一次:

crontab(minute=0, hour=0, day_of_week="1,3,5")

這裡,周日是0,周一是1,周二是2,依次類推。

day_of_week 的參數還可以使用英文的簡寫,這裡不做介紹,因為我個人認為還是直接使用數字方便一點。

另一個需要註意的是,day_of_week 也可以使用 */n 的形式,但是周幾總共只有7個,所以我這裡推薦直接用數字寫出來。

day_of_month

表示一個月的第幾天,範圍是1-31。

其使用方法和 minute、hour 使用的方式是一致的,使用範圍和 */n 的形式都可以實現。

比如我們想實現在1號,5號,7號,8號,以及每個偶數日的零點零分執行一次,可以這樣操作:

crontab(minute=0, hour=0, day_of_month="1,5,7,8,*/2")

month_of_year

表示一年的某幾個月,範圍是1-12。

和前面的使用方式一致,如果需要使用,只有12個數字,還是推薦直接定義。

如果想獲取更多後端相關文章,可掃碼關註閱讀:
image


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • ## case1(表鎖的讀-寫-讀阻塞) 上篇文檔中提到過 >WRITE locks normally have higher priority than READ locks to ensure that updates are processed as soon as possible. Thi ...
  • 很多小微型應用程式也需要一些數據處理和計算能力,如果集成一個資料庫就顯得太沉重了,這種情況下 SQLite 是一個不錯的選擇,它架構簡單,集成方便,可持久化存儲數據,並提供 SQL 實現計算能力。 但是,對於某些較複雜的場景,SQLite 仍有不足之處。 ...
  • 開心一刻 今天答應準時回家和老婆一起吃晚飯,但臨時有事加了會班,回家晚了點 回到家,本以為老婆會很生氣,但老婆卻立即從廚房端出了熱著的飯菜 老婆:還沒吃飯吧,去洗下,來吃飯吧 我洗好,坐下吃飯,內心感動十分;老婆坐旁邊深情的看著我 老婆:你知道誰最愛你嗎 我毫不猶豫道:你 老婆:誰最關心你? 我:你 ...
  • # 引言 在當今互聯網時代,數據的規模和複雜性不斷增長,傳統關係型資料庫面臨著無法滿足高併發和大規模數據存儲需求的挑戰。為瞭解決這一問題,開源社區涌現出了一系列分散式資料庫解決方案,其中TiDB作為一種新興的分散式資料庫引起了廣泛的關註。本文將介紹TiDB的基本概念、特點以及適用的應用場景。 TiD ...
  • ### 背景 在項目中有集成低代碼平臺的想法,經過多方對比最後選擇了 amis,主要是需要通過 amis 進行頁面配置,導出 json 供移動端和 PC 端進行渲染,所以接下來講一下近兩周研究 amis 的新的以及一些簡單經驗,供大家參考. ### 什麼是 amis amis 是一個低代碼前端框架, ...
  • ![](https://img2023.cnblogs.com/blog/3076680/202306/3076680-20230625162750165-109306308.png) # 1. “模式採用量”絕不是好的質量指標 ## 1.1. 應該形成一種“面向恢復”的思維模式 ## 1.2. 良 ...
  • ![](https://img2023.cnblogs.com/blog/3076680/202306/3076680-20230624223008408-1032311269.png) # 1. 無限長的結果集是導致響應緩慢的常見原因 ## 1.1. 當違反穩態模式時,就可能產生無限長的結果集 # ...
  • 某日二師兄參加XXX科技公司的C++工程師開發崗位第25面: > 面試官:`array`熟悉嗎? > > 二師兄:你說的是原生數組還是`std::array`? > > 面試官:你覺得兩者有什麼區別? > > 二師兄:區別不是很大,原生數組(非動態數組)和std::array都在棧上開闢空間,初始化 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...