手把手教你做一個天貓精靈(四)

来源:https://www.cnblogs.com/littlebutt/archive/2022/10/05/16755857.html
-Advertisement-
Play Games

上一章講到如何將程式寫入到ESP8266 WiFi模塊中,實現物聯網終端對硬體的控制。本章將通過fubuki-iot實現自定義硬體控制。同時給出一個替代百度API的方案。 硬體準備 (無) 自定義語義模型 在第一章的“提醒事項”的例子中,fubuki-iot就展現了語義模型的功能。它將命中語義模型的 ...


上一章講到如何將程式寫入到ESP8266 WiFi模塊中,實現物聯網終端對硬體的控制。本章將通過fubuki-iot實現自定義硬體控制。同時給出一個替代百度API的方案。

硬體準備

(無)

自定義語義模型

返回功能設備模型

在第一章的“提醒事項”的例子中,fubuki-iot就展現了語義模型的功能。它將命中語義模型的命令作為參數調用給定的函數,並重定向給ACOUSTICS,從而實現和用戶交互的功能。以此類推,要實現和硬體交互就只需要重定向給MESSAGE,通過MQTT消息實現硬體的操控。

拿智能洗衣機舉例,假設洗衣機有以下幾個功能:

  • 以快洗/漂洗/脫水模式啟動洗衣機
  • 預約X分鐘後啟動洗衣機
  • 取消預約
  • 暫停洗衣機
  • 重新啟動洗衣機

這五個功能就會對應五個語義模型。現在拿第一個語義模型舉例,首先在mods內新建一個python文件命名為washing_machine.py,並構建一個語義模型類:

@SemanticsGroup.add_model
class WashingMachineSemanticModel(SemanticsModel):
    code = 'washing_machine'
    frm = SemanticsFromEnum.USER
    topic = ''
    regex = '以(.*)模式啟動洗衣機'
    regex_num = 2
    redirect = SemanticsRedirectEnum.MESSAGE
    func: SemanticsFunc = washing_machine_semanticsss_func

這個模型前三項和之前一樣,正則表達式這次只有一個分組用來確定模式,所以分組數就是2(加上第0個分組,即全文)。然後這次重定向就是消息。處理函數需要返回一個FunctionDeviceModel,函數類似這樣:

def washing_machine_semanticsss_func(*args) -> FunctionDeviceModel:
    mode = args[1]
    # do something here
    return FunctionDeviceModel(
        smt_code='washing_machine',
        topic='wm/mode',
        is_raw=False,
        acoustics=f"好的,洗衣機將會以{mode}模式啟動",
        data={
            'mode': ''
        }

    )

中間處理過程忽略,關鍵在於這個返回值。這次topic欄位必填,表示發送MQTT消息的topic,因為發送的payload是一個JSON數據,所以is_raw為False。這裡的acoustics是返回給用戶的語音提醒,data即payload數據,實際情況會複雜一點。

返回統一推送模型

在上一章,fubuki-iot展示了硬體主動推送消息的方式。當按下按鈕後,智能終端可以通知用戶有人按下了按鈕。直接拿內置的例子舉例:

def button_semantics_model_func(*args) -> UniverseNoticeModel:
    return UniverseNoticeModel(
        smt_code='default05', # 對應語義模型標識
        topic='self/button', # 對應的Topic,可不填
        device='button', # 對應的設備,可不填
        verbose=False, # 是否是詳細內容,如果填False則message為字元串,否則data為字典
        message="有人按下了按鈕" # 當verbose為False必填,為直接返回給用戶的語音信息
    )


@SemanticsGroup.add_model
class ButtonSemanticsModel(SemanticsModel):
    code = "default05" 
    frm = SemanticsFromEnum.DEVICE # 這次是來自設備
    topic = 'self/button' # 必填,用來匹配設備的發送的MQTT消息的Topic
    regex: Optional[str] = None
    regex_num: Optional[str] = None
    redirect = SemanticsRedirectEnum.ACOUSTICS
    func: SemanticsFunc = button_semantics_model_func

流程是這樣的,設備發出了MQTT消息包含Topic和Payload,fubuki-iot根據Topic找到對應的語義模型,並調用對應的func: SemanticsFunc語義函數處理,而Payload就作為func: SemanticsFunc的參數。和之前不同的是,這個語義函數是返回統一推送模型的,它的格式如上所示。

另外,除了重定向給AcousticsMESSAGE還可以重定向給語義處理SEMANTICS,所以verbose欄位可能為True,這部分功能以後會提到。

自定義語音處理模塊

在前面的例子中,我們都是利用百度API實現語音識別和語音合成的,這次我們將其替換成PocketSphinx。根據官方文檔,可以直接構造一個AudioFile並遍歷其中的文字信息,即可獲得語音識別結果。

首先,需要構造一個類繼承AsrProcessor,並實現其中的asr方法。然後在通過工廠類將該類包含進去,比如:

@AsrProcessorFactory.set
class PocketSphinxAsrProcessor(AsrProcessor):
    def asr(self, path: str) -> Optional[str]:
        res = ''
        for word in pocketsphinx.AudioFile(audio_file=path):
            res += word.__str__()
        return res if res != '' else None

在這個方法中就是通過遍歷AudioFile獲取語音識別信息並返回。最後,在.env文件中表明調用這個類:

ASR_PROCESSOR=PocketSphinxAsrProcessor

註意:預設的PocketSphinx只支持英文識別,你可以在這裡找到不同語音的模型。並替換預設的模型。然後以參數的形式傳給AudioFile,比如:

for word in pocketsphinx.AudioFile(audio_file=path,
                                    hmm=os.path.join(model_path, 'zh-cn'),
                                    lm=os.path.join(model_path, 'zh-cn.lm.bin'),
                                    dict=os.path.join(model_path, 'cmudict-zh-cn.dict')):
            res += word.__str__()

除了ASR_PROCESSOR語音識別模塊以外,還有三個模型可供自定義替換,替換方法如下

模塊名稱 .env欄位 需要實現的方法
語音識別模塊 ASR_PROCESSOR asr
語音合成模塊 TTS_PROCESSOR tts
麥克風模塊 DEVICE_REC awake和record
揚聲器模塊 DEVICE_PLY play

到本章為止關於fubuki-iot的相關功能大致介紹完了,理論上講也確實能滿足一個基本的物聯網智能終端(智能音箱)的功能。但是這個項目除了拿去做科創競賽或者畢業設計似乎用處不大,因為它不能和現實生活中家居打通,下一章將介紹一種抓包家用路由數據的方法探索用戶對智能家居的控制。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Spring @Transactional註解isolation屬性 @Transactional註解通過isolation屬性設置事務隔離級別。如下: @Transactional(isolation=Isolation.DEFAULT) public void method(){} isolat ...
  • 有時候,我們明明在類或者方法上添加了@Transactional註解,卻發現方法並沒有按事務處理。其實,以下場景會導致事務失效。 1、事務方法所在的類沒有載入到Spring IOC容器中。 @Transactional是Spring的註解,未被Spring管理的類中的方法不受@Transaction ...
  • Spring事務(二)-事務傳播行為 在Spring里,一個事務方法被另外一個事務方法調用時,兩個方法的事務應該如何進行,說白話一點,就是說當出現異常需要回滾時,各個方法的數據操作是否要全部回滾,事務傳播行為就是決定了這樣的一個處理結果。A事務方法(外部方法)調用了B事務方法(內部方法,又叫被調用方 ...
  • java.util.concurrent包中的大多數同步器實現都是圍繞著共同的基礎行為,比如等待隊列、條件隊列、獨占獲取、共用獲取等,而這些行為的抽象就是基於AbstractQueuedSynchronizer(簡稱AQS)實現的,AQS是一個抽象同步框架,可以用來實現一個依賴狀態的同步器 ...
  • Lambda 表達式(lambda expression)是一個匿名函數,Lambda表達式基於數學中的λ演算得名,直接對應於其中的lambda抽象(lambda abstraction),即沒有函數名的函數。Lambda表達式可以表示閉包(註意和數學傳統意義上的不同)。 ...
  • 2022-10-05 得到cookie信息的實例聯繫: 在子應用中的“views.py”文件: from django.http import HttpResponse def get_cookie(request): cookies = request.COOKIES username = coo ...
  • echarts是百度推出的一款開源的基於`JavaScript`的可視化圖表庫,該開發庫目前發展非常不錯,且支持各類圖形的繪製可定製程度高,Echarts繪圖庫同樣可以與`Flask`結合,前臺使用`echart`繪圖庫進行圖形的生成與展示,後臺則是Flask通過`render_template`方... ...
  • 類變數: 什麼是類變數? 一個可以被一個類所有對象共用的變數 類變數關鍵字? static 類變數語法? 訪問修飾符 static 數據類型 變數名; [推薦使用] static 訪問修飾符 數據類型 變數名; 入門案例: count被child1和child2共用,只要是Child類的對象都可以共 ...
一周排行
    -Advertisement-
    Play Games
  • PasteSpider是什麼? 一款使用.net編寫的開源的Linux容器部署助手,支持一鍵發佈,平滑升級,自動伸縮, Key-Value配置,項目網關,環境隔離,運行報表,差量升級,私有倉庫,集群部署,版本管理等! 30分鐘上手,讓開發也可以很容易的學會在linux上部署你得項目! [從需求角度介 ...
  • SQLSugar是什麼 **1. 輕量級ORM框架,專為.NET CORE開發人員設計,它提供了簡單、高效的方式來處理資料庫操作,使開發人員能夠更輕鬆地與資料庫進行交互 2. 簡化資料庫操作和數據訪問,允許開發人員在C#代碼中直接操作資料庫,而不需要編寫複雜的SQL語句 3. 支持多種資料庫,包括但 ...
  • 在C#中,經常會有一些耗時較長的CPU密集型運算,因為如果直接在UI線程執行這樣的運算就會出現UI不響應的問題。解決這類問題的主要途徑是使用多線程,啟動一個後臺線程,把運算操作放在這個後臺線程中完成。但是原生介面的線程操作有一些難度,如果要更進一步的去完成線程間的通訊就會難上加難。 因此,.NET類 ...
  • 一:背景 1. 講故事 前些天有位朋友在微信上丟了一個崩潰的dump給我,讓我幫忙看下為什麼出現了崩潰,在 Windows 的事件查看器上顯示的是經典的 訪問違例 ,即 c0000005 錯誤碼,不管怎麼說有dump就可以上windbg開幹了。 二:WinDbg 分析 1. 程式為誰崩潰了 在 Wi ...
  • CSharpe中的IO+NPOI+序列化 文件文件夾操作 學習一下常見的文件、文件夾的操作。 什麼是IO流? I:就是input O:就是output,故稱:輸入輸出流 將數據讀入記憶體或者記憶體輸出的過程。 常見的IO流操作,一般說的是[記憶體]與[磁碟]之間的輸入輸出。 作用 持久化數據,保證數據不再 ...
  • C#.NET與JAVA互通之MD5哈希V2024 配套視頻: 要點: 1.計算MD5時,SDK自帶的計算哈希(ComputeHash)方法,輸入輸出參數都是byte數組。就涉及到字元串轉byte數組轉換時,編碼選擇的問題。 2.輸入參數,字元串轉byte數組時,編碼雙方要統一,一般為:UTF-8。 ...
  • CodeWF.EventBus,一款靈活的事件匯流排庫,實現模塊間解耦通信。支持多種.NET項目類型,如WPF、WinForms、ASP.NET Core等。採用簡潔設計,輕鬆實現事件的發佈與訂閱。通過有序的消息處理,確保事件得到妥善處理。簡化您的代碼,提升系統可維護性。 ...
  • 一、基本的.NET框架概念 .NET框架是一個由微軟開發的軟體開發平臺,它提供了一個運行時環境(CLR - Common Language Runtime)和一套豐富的類庫(FCL - Framework Class Library)。CLR負責管理代碼的執行,而FCL則提供了大量預先編寫好的代碼, ...
  • 本章將和大家分享在ASP.NET Core中如何使用高級客戶端NEST來操作我們的Elasticsearch。 NEST是一個高級別的Elasticsearch .NET客戶端,它仍然非常接近原始Elasticsearch API的映射。所有的請求和響應都是通過類型來暴露的,這使得它非常適合快速上手 ...
  • 參考delphi的代碼更改為C# Delphi 檢測密碼強度 規則(仿 google) 仿 google 評分規則 一、密碼長度: 5 分: 小於等於 4 個字元 10 分: 5 到 7 字元 25 分: 大於等於 8 個字元 二、字母: 0 分: 沒有字母 10 分: 全都是小(大)寫字母 20 ...