手把手教你做一個天貓精靈(四)

来源:https://www.cnblogs.com/littlebutt/archive/2022/10/05/16755857.html
-Advertisement-
Play Games

上一章講到如何將程式寫入到ESP8266 WiFi模塊中,實現物聯網終端對硬體的控制。本章將通過fubuki-iot實現自定義硬體控制。同時給出一個替代百度API的方案。 硬體準備 (無) 自定義語義模型 在第一章的“提醒事項”的例子中,fubuki-iot就展現了語義模型的功能。它將命中語義模型的 ...


上一章講到如何將程式寫入到ESP8266 WiFi模塊中,實現物聯網終端對硬體的控制。本章將通過fubuki-iot實現自定義硬體控制。同時給出一個替代百度API的方案。

硬體準備

(無)

自定義語義模型

返回功能設備模型

在第一章的“提醒事項”的例子中,fubuki-iot就展現了語義模型的功能。它將命中語義模型的命令作為參數調用給定的函數,並重定向給ACOUSTICS,從而實現和用戶交互的功能。以此類推,要實現和硬體交互就只需要重定向給MESSAGE,通過MQTT消息實現硬體的操控。

拿智能洗衣機舉例,假設洗衣機有以下幾個功能:

  • 以快洗/漂洗/脫水模式啟動洗衣機
  • 預約X分鐘後啟動洗衣機
  • 取消預約
  • 暫停洗衣機
  • 重新啟動洗衣機

這五個功能就會對應五個語義模型。現在拿第一個語義模型舉例,首先在mods內新建一個python文件命名為washing_machine.py,並構建一個語義模型類:

@SemanticsGroup.add_model
class WashingMachineSemanticModel(SemanticsModel):
    code = 'washing_machine'
    frm = SemanticsFromEnum.USER
    topic = ''
    regex = '以(.*)模式啟動洗衣機'
    regex_num = 2
    redirect = SemanticsRedirectEnum.MESSAGE
    func: SemanticsFunc = washing_machine_semanticsss_func

這個模型前三項和之前一樣,正則表達式這次只有一個分組用來確定模式,所以分組數就是2(加上第0個分組,即全文)。然後這次重定向就是消息。處理函數需要返回一個FunctionDeviceModel,函數類似這樣:

def washing_machine_semanticsss_func(*args) -> FunctionDeviceModel:
    mode = args[1]
    # do something here
    return FunctionDeviceModel(
        smt_code='washing_machine',
        topic='wm/mode',
        is_raw=False,
        acoustics=f"好的,洗衣機將會以{mode}模式啟動",
        data={
            'mode': ''
        }

    )

中間處理過程忽略,關鍵在於這個返回值。這次topic欄位必填,表示發送MQTT消息的topic,因為發送的payload是一個JSON數據,所以is_raw為False。這裡的acoustics是返回給用戶的語音提醒,data即payload數據,實際情況會複雜一點。

返回統一推送模型

在上一章,fubuki-iot展示了硬體主動推送消息的方式。當按下按鈕後,智能終端可以通知用戶有人按下了按鈕。直接拿內置的例子舉例:

def button_semantics_model_func(*args) -> UniverseNoticeModel:
    return UniverseNoticeModel(
        smt_code='default05', # 對應語義模型標識
        topic='self/button', # 對應的Topic,可不填
        device='button', # 對應的設備,可不填
        verbose=False, # 是否是詳細內容,如果填False則message為字元串,否則data為字典
        message="有人按下了按鈕" # 當verbose為False必填,為直接返回給用戶的語音信息
    )


@SemanticsGroup.add_model
class ButtonSemanticsModel(SemanticsModel):
    code = "default05" 
    frm = SemanticsFromEnum.DEVICE # 這次是來自設備
    topic = 'self/button' # 必填,用來匹配設備的發送的MQTT消息的Topic
    regex: Optional[str] = None
    regex_num: Optional[str] = None
    redirect = SemanticsRedirectEnum.ACOUSTICS
    func: SemanticsFunc = button_semantics_model_func

流程是這樣的,設備發出了MQTT消息包含Topic和Payload,fubuki-iot根據Topic找到對應的語義模型,並調用對應的func: SemanticsFunc語義函數處理,而Payload就作為func: SemanticsFunc的參數。和之前不同的是,這個語義函數是返回統一推送模型的,它的格式如上所示。

另外,除了重定向給AcousticsMESSAGE還可以重定向給語義處理SEMANTICS,所以verbose欄位可能為True,這部分功能以後會提到。

自定義語音處理模塊

在前面的例子中,我們都是利用百度API實現語音識別和語音合成的,這次我們將其替換成PocketSphinx。根據官方文檔,可以直接構造一個AudioFile並遍歷其中的文字信息,即可獲得語音識別結果。

首先,需要構造一個類繼承AsrProcessor,並實現其中的asr方法。然後在通過工廠類將該類包含進去,比如:

@AsrProcessorFactory.set
class PocketSphinxAsrProcessor(AsrProcessor):
    def asr(self, path: str) -> Optional[str]:
        res = ''
        for word in pocketsphinx.AudioFile(audio_file=path):
            res += word.__str__()
        return res if res != '' else None

在這個方法中就是通過遍歷AudioFile獲取語音識別信息並返回。最後,在.env文件中表明調用這個類:

ASR_PROCESSOR=PocketSphinxAsrProcessor

註意:預設的PocketSphinx只支持英文識別,你可以在這裡找到不同語音的模型。並替換預設的模型。然後以參數的形式傳給AudioFile,比如:

for word in pocketsphinx.AudioFile(audio_file=path,
                                    hmm=os.path.join(model_path, 'zh-cn'),
                                    lm=os.path.join(model_path, 'zh-cn.lm.bin'),
                                    dict=os.path.join(model_path, 'cmudict-zh-cn.dict')):
            res += word.__str__()

除了ASR_PROCESSOR語音識別模塊以外,還有三個模型可供自定義替換,替換方法如下

模塊名稱 .env欄位 需要實現的方法
語音識別模塊 ASR_PROCESSOR asr
語音合成模塊 TTS_PROCESSOR tts
麥克風模塊 DEVICE_REC awake和record
揚聲器模塊 DEVICE_PLY play

到本章為止關於fubuki-iot的相關功能大致介紹完了,理論上講也確實能滿足一個基本的物聯網智能終端(智能音箱)的功能。但是這個項目除了拿去做科創競賽或者畢業設計似乎用處不大,因為它不能和現實生活中家居打通,下一章將介紹一種抓包家用路由數據的方法探索用戶對智能家居的控制。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Spring @Transactional註解isolation屬性 @Transactional註解通過isolation屬性設置事務隔離級別。如下: @Transactional(isolation=Isolation.DEFAULT) public void method(){} isolat ...
  • 有時候,我們明明在類或者方法上添加了@Transactional註解,卻發現方法並沒有按事務處理。其實,以下場景會導致事務失效。 1、事務方法所在的類沒有載入到Spring IOC容器中。 @Transactional是Spring的註解,未被Spring管理的類中的方法不受@Transaction ...
  • Spring事務(二)-事務傳播行為 在Spring里,一個事務方法被另外一個事務方法調用時,兩個方法的事務應該如何進行,說白話一點,就是說當出現異常需要回滾時,各個方法的數據操作是否要全部回滾,事務傳播行為就是決定了這樣的一個處理結果。A事務方法(外部方法)調用了B事務方法(內部方法,又叫被調用方 ...
  • java.util.concurrent包中的大多數同步器實現都是圍繞著共同的基礎行為,比如等待隊列、條件隊列、獨占獲取、共用獲取等,而這些行為的抽象就是基於AbstractQueuedSynchronizer(簡稱AQS)實現的,AQS是一個抽象同步框架,可以用來實現一個依賴狀態的同步器 ...
  • Lambda 表達式(lambda expression)是一個匿名函數,Lambda表達式基於數學中的λ演算得名,直接對應於其中的lambda抽象(lambda abstraction),即沒有函數名的函數。Lambda表達式可以表示閉包(註意和數學傳統意義上的不同)。 ...
  • 2022-10-05 得到cookie信息的實例聯繫: 在子應用中的“views.py”文件: from django.http import HttpResponse def get_cookie(request): cookies = request.COOKIES username = coo ...
  • echarts是百度推出的一款開源的基於`JavaScript`的可視化圖表庫,該開發庫目前發展非常不錯,且支持各類圖形的繪製可定製程度高,Echarts繪圖庫同樣可以與`Flask`結合,前臺使用`echart`繪圖庫進行圖形的生成與展示,後臺則是Flask通過`render_template`方... ...
  • 類變數: 什麼是類變數? 一個可以被一個類所有對象共用的變數 類變數關鍵字? static 類變數語法? 訪問修飾符 static 數據類型 變數名; [推薦使用] static 訪問修飾符 數據類型 變數名; 入門案例: count被child1和child2共用,只要是Child類的對象都可以共 ...
一周排行
    -Advertisement-
    Play Games
  • 周末,寫點簡單的水一下。 新版本的vs創建項目的時候可以選擇自帶一個swagger。然而這隻是基本的swagger功能。 幾個介面無所謂啦,隨著介面越來越多,就這麼丟給你,一時間也會懵逼,所以這篇文章要做的有兩個功能。 給swagger文檔添加註釋 給swagger添加切換“版本”的功能(也可以理解 ...
  • 大家好,我是沙漠盡頭的狼。 本文首發於Dotnet9,介紹使用Lib.Harmony庫攔截第三方.NET庫方法,達到不修改其源碼並能實現修改方法邏輯、預期行為的效果,並且不限於只攔截public訪問修飾的類及方法,行文目錄: 什麼是方法攔截? 示常式序攔截 非public方法怎麼攔截? 總結 1. ...
  • 問題代碼: xmal:一個按鈕+一個顯示框 1 <Button Width="100" Height="50" Margin="10" Click="Button_Click">test</Button> 2 <TextBox x:Name="display" Width="300" Height= ...
  • 前置條件 ​ 阿裡雲伺服器一臺(可在購買伺服器時勾選安裝寶塔選項,免去後面的寶塔安裝) ​ 設置阿裡雲伺服器密碼並登陸伺服器 ​ 以下操作均在伺服器Linux中進行(使用遠程連接工具登錄) 寶塔登錄 登錄阿裡雲伺服器在Linux命令行中輸入bt,查看寶塔信息 ​ 根據寶塔信息提供的網站登陸寶塔服務( ...
  • GetTokenInformation 用於檢索進程或線程的令牌(Token)信息。Token是一個數據結構,其包含有關進程或線程的安全上下文,代表當前用戶或服務的安全標識符和許可權信息。GetTokenInformation函數也可以用來獲取這些安全信息,通常用於在運行時檢查某個進程或線程的許可權或安... ...
  • matplotlib 在1.0版本之前其實是不支持3D圖形繪製的。 後來的版本中,matplotlib加入了3D圖形的支持,不僅僅是為了使數據的展示更加生動和有趣。更重要的是,由於多了一個維度,擴展了其展示數據分佈和關係的能力,可以一次從三個維度來比較數據。 下麵介紹在matplotlib中繪製各類 ...
  • 編寫一個App就能編譯發佈到iOS、Android和Web等各大平臺的跨平臺技術,各大廠商一直都有研究和發佈對應技術產品,目前最熱門的莫過於Flutter框架了。而Dart作為其唯一的編程語言,今天我們開始來體驗一下…… ...
  • 實現基本的線程池 前提:我們要實現的線程池有如下功能: 基本的線程池模型 能提交和運行任務 能正常關閉線程池 線程的拒絕策略 線程池擴容 縮容線程池 代碼地址: 1、線程池的介紹? 線程池是什麼? 線程池是一種利用池化技術來管理線程的一種技術。 當沒有線程池的時候,我們如何創建線程? 繼承Threa ...
  • SDRAM基本信息 儲存能力計算 4X16X4=256(Mbit),註意不是MByte SDRAM控制 sdram包含兩個部分:sdram_ctrl、fifo_ctrl。 sdram_ctrl:其頂層為SDRAM的控制模塊內部實例化了5個模塊,有初始化、自刷新、寫和讀模塊,還有一個仲裁模塊對這四個不 ...
  • 歡迎訪問我的GitHub 這裡分類和彙總了欣宸的全部原創(含配套源碼):https://github.com/zq2599/blog_demos 本篇概覽 欣宸正在為接下新的Java雲原生實戰系列原創做準備,既然是實戰,少不了一套雲原生環境,以下內容是必不可少的: linux操作系統 kuberne ...