celery筆記二之建立celery項目、配置及幾種載入方式

来源:https://www.cnblogs.com/hunterxiong/archive/2023/06/02/17452888.html
-Advertisement-
Play Games

> 本文首發於公眾號:Hunter後端 > 原文鏈接:[celery筆記二之建立celery項目、配置及幾種載入方式](https://mp.weixin.qq.com/s/KZjuypZ-e9EHi7XkKXt0Xg) 接下來我們創建一個 celery 項目,文件夾及目錄如下: ```python ...


本文首發於公眾號:Hunter後端
原文鏈接:celery筆記二之建立celery項目、配置及幾種載入方式

接下來我們創建一個 celery 項目,文件夾及目錄如下:

proj/__init__.py
    /celery.py
    /tasks1.py
    /tasks2.py

接下來我們逐個文件向裡面添加內容。

1、項目文件內容及介紹

我們建立了一個名為 proj 的文件夾作為我們的項目文件夾,其下有兩個文件,celery.py 和 tasks.py

celery.py

其中 celery.py 內容為 celery 實例化以及一些基礎配置,文件內容如下:

from celery import Celery

app = Celery('proj',
             broker='redis://localhost/0',
             backend='redis://localhost/1',
             include=['proj.tasks1', 'proj.tasks2'])

app.conf.update(
    result_expires=60
)

if __name__ == '__main__':
    app.start()

在這裡,我們還是對 celery 進行了實例化的操作,但是在這裡項目名稱改為了 proj,也就是這個文件的上一級文件夾名稱

broker、backend 還是對應的配置

但是因為對應的任務我們是單獨以文件的形式引入,所以,在這裡引入的方式是通過 include 的方式來實現的

app.conf.update() 是對 celery 配置的補充,這裡只加了一個參數,表示是對系統對結果的留存時間。

另外幾種配置方式我們放在下麵詳講。

接著 app.start() 就是項目的啟動。

tasks.py

在這裡我們將 task 作為兩部分拆解,分別放在兩個文件下,內容分別如下

#tasks1.py
from .celery import app

@app.task
def add(x, y):
    return x + y
#tasks2.py
from .celery import app

@app.task
def mul(x, y):
    return x * y

啟動服務,在 proj 所在的文件夾,執行下麵的命令:

celery -A proj worker -l INFO

運行延時任務

在 proj 同級的文件夾下執行 python3,進入 python 的交互界面:

from proj.tasks1 import add
add.delay(1, 2)

2、celery配置的幾種方式

在上面的 celery 的配置方式,是一部分寫在 celery 的實例化過程中,另一部分是通過 app.conf.update() 的方式寫入

這裡介紹一下,celery 的配置還可以通過類的方式來寫入,或者把所有變數都寫入一個文件,通過引入文件的形式來引入變數。

不管是以類的方式還是文件的形式都會使用到一個方法:config_from_object(),參數為需要引入的變數

類的方式載入配置

下麵是一個類的方式引入的示例:

# celery.py
from celery import Celery

app = Celery()
class Config:
    include = ['proj.tasks1', 'proj.tasks2']
    broker_url = 'redis://localhost:6379/0'
    result_backend = 'redis://localhost:6379/1'
    
app.config_from_object(Config)

if __name__ == '__main__':
    app.start()

這裡需要註意的是在 Config 中的 broker_url 和 result_backend 與直接實例化 Celery 時寫入的參數名稱是不一樣的

文件的形式載入配置

接下來我們在 proj 的文件夾中新建一個文件 celeryconfig.py,那麼 proj 文件夾下的文件配置則如下:

proj/__init__.py
    /celery.py
    /celeryconfig.py
    /tasks1.py
    /tasks2.py

配置文件內容:

# celeryconfig.py
broker_url = 'redis://localhost/0'
result_backend = 'redis://localhost/1'
include = ['proj.tasks1', 'proj.tasks2']

celery 文件內容:

# celery.py
from celery import Celery
from . import celeryconfig


app = Celery()
app.config_from_object(celeryconfig)

if __name__ == '__main__':
    app.start()

無論是把配置寫入 Config 類中,還是寫入文件,這裡的思想都是將配置集中處理,在一處管理所有的配置內容。

註意:
在這裡我們引入配置的方式都是 config_from_object(),我們之前還介紹過一個更新配置的方式是 app.conf.update()

這裡要說明的是,只要運行了 config_from_object() 函數,在此之前的變數都會被覆蓋失效,如果我們要新增 celeryconfig 之外的配置,則需要在調用 config_from_object() 函數之後調用,比如:


app = Celery()

app.conf.update(result_expires=60) # 在 config_from_config() 之前調用,會失效

app.config_from_object(celeryconfig)

app.conf.update(result_expires=30)  # 這個配置會生效

還有一種引入配置的方式是在 Django 系統中,將 Celery 相關的變數都寫入 settings.py,然後通過 namespace 的方式引入到 Celery 中進行實例化處理。

這個方式我們在介紹 celery 與 Django 結合的時候再做介紹。

3、一些基本配置

設置時區

比如我們設置北京時間:

app.conf.update(
    enable_utc=False,
    timezone='Asia/Shanghai',
)

broker 和 result_backend 設置

設置 broker 和 result_backend 的地址:

app.conf.update(
    broker_url = 'redis://localhost:6379/0'
    result_backend = 'redis://localhost:6379/1'
)

如果是 broker 和 backend 加密碼的配置,則是如下:

app.conf.update(
    broker_url = 'redis://:123456@localhost:6380/0'
    result_backend = 'redis://:123456@localhost:6380/1'
)

其中,123456 是密碼。

如果是用 docker 啟動一個帶密碼的 redis,命令如下:

docker run -d --name redis_pwd -p6380:6379 redis:latest --requirepass 123456

此外還有一些任務隊列 queue、預設隊列、任務路由配置、定時任務的設置,在後面介紹到的時候再一一介紹。

下一篇筆記將介紹 task 和 task 的調用。

如果想獲取更多後端相關文章,可掃碼關註閱讀:
image


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • **歷時一年多,我也體驗了不少的靜態博客托管服務了,這裡進行一下對比吧。主要列舉一下優缺點,所有的內容基於該平臺免費版,並且不添加任何增值服務的情況。 速度體驗基於浙江電信的個人測試結果。** # GitHub Pages > 速度:尚可,並不很慢,但有時候會抽風。 自定義功能變數名稱:一個。 限制: 單個 ...
  • # 如何在 CloudFlare Pages 上建站? > 幾分鐘、零基礎搭建個人網頁!- 高速直連,基於Cloudflare Page: `https://zhuanlan.zhihu.com/p/416269228` 使用 Cloudflare Worker 免費搭建網址導航網站 `https: ...
  • setTimeout 倒計時誤差的出現主要與 JavaScript 的事件迴圈機制和計時器的執行方式有關。 在 JavaScript 中,事件迴圈是用於管理和調度代碼執行的機制。setTimeout 函數用於設置一個定時器,在指定的延遲時間後執行回調函數。然而,由於事件迴圈的機制,setTimeou ...
  • # 高解析度大圖像可縮放 Web 查看器的實踐 ## 一、使用 vips 將高解析度大圖像轉換為 DZI 1. 安裝 vips 具體安裝步驟請參考[libvips Install](https://www.libvips.org/install.html)。 註意,在 windows 11 中安裝 ...
  • 前面博文有介紹JavaScript中數組的一些特性,通過對這些數組特性的深入梳理,能夠加深我們對數組相關知識的理解,詳見博文: [一文搞懂JavaScript數組的特性](https://www.cnblogs.com/jimojianghu/p/17292277.html) 其實,在前端開發中,除 ...
  • # 前言 本文主要講述設計模式中的**抽象工廠模式**,文中使用通俗易懂的案例,使你更好的學習本章知識點並理解原理,做到有道無術。 # 一.什麼是抽象工廠模式 抽象工廠是23種設計模式中**創建型模式**的一種,抽象工廠是由多個工廠組合而成。 上一章我們提到的工廠模式只存在一個抽象角色,而抽象工廠是 ...
  • ## 概述 Java 對客戶程式的通信過程進行了抽象,提供了通用的協議處理框架,該框架封裝了 Socket,主要包括以下類: - URL 類:統一資源定位符,表示客戶程式要訪問的遠程資源 - URLConnection 類:表示客戶程式與遠程伺服器的連接,客戶程式可以從 URLConnection ...
  • 基於java的美食菜譜分享系統設計與實現,餐飲分享平臺設計與實現,可用於美食線上分享平臺,作為世界各地愛好美食的人們的橋梁,為其創造一個氛圍好的平臺,促進美食世界的文化交流。該系統是一個供商家或者個人推薦美食的網站,網站不支持交易僅供分享。 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...