WinUI(WASDK)使用ChatGPT和攝像頭手勢識別結合TTS讓機器人更智能

来源:https://www.cnblogs.com/GreenShade/archive/2023/03/11/17201961.html
-Advertisement-
Play Games

前言 之前寫過一篇基於ML.NET的手部關鍵點分類的博客,可以根據圖片進行手部的提取分類,於是我就將手勢分類和攝像頭數據結合,集成到了我開發的電子腦殼軟體里。 電子腦殼是一個為稚暉君開源的桌面機器人ElectronBot提供一些軟體功能的桌面程式項目。它是由綠蔭阿廣也就是我開發的,使用了微軟的WAS ...


前言

之前寫過一篇基於ML.NET的手部關鍵點分類的博客,可以根據圖片進行手部的提取分類,於是我就將手勢分類和攝像頭數據結合,集成到了我開發的電子腦殼軟體里。

電子腦殼是一個為稚暉君開源的桌面機器人ElectronBot提供一些軟體功能的桌面程式項目。它是由綠蔭阿廣也就是我開發的,使用了微軟的WASDK框架。

電子腦殼算是本人學習WinUI開發的練習項目了,通過根據一些開源的項目的學習,將一些功能進行整合,比如手勢識別觸發語音轉文本,然後接入ChatGPT結合文本轉語音的方式,實現機器人的對話。

此博客算是實戰記錄了,替大家先踩坑。

下圖鏈接為機器人的演示視頻,通過對話,讓ChatGPT給我講了一個駱駝祥子的故事,只不過這個故事有點離譜,本來前部分還正常,後面就開始瞎編了,比如祥子有了一頭驢,最後還成為了商人。

大家觀看覺得不錯的話給點個贊。

B站視頻演示鏈接

具體的實現方案

1. 方案思路敘述

整體的流程如下圖,圖畫的不一定標準,但是大體如圖所示:
識別流程圖

  • 處理攝像頭幀事件,通過將攝像頭的幀數據處理進行手勢的匹配。
  • 手勢識別結果處理方法調用語音轉文本邏輯。
  • 轉的文本通過調用ChatGPT API實現智能回覆。
  • 將回覆結果文本通過TTS播放到機器人上的揚聲器,完成一次對話。

2. 所用技術說明

代碼講解

1. 項目介紹

電子腦殼項目本身是一個標準的MVVM的WinUI項目,使用微軟的輕量級DI容器管理對象的生命周期,MVVM使用的是社區工具包提供的框架,支持代碼生成,簡化VM的代碼。

project

2. 核心代碼講解

  • 實時視頻流解析手勢,通過命名空間Windows.Media.Capture下的MediaCapture類和Windows.Media.Capture.Frames命名空間下的MediaFrameReader類,創建對象並註冊幀處理事件,在幀處理事件中處理視頻畫面並傳出到手勢識別服務里進行手勢識別,主要代碼如下。

    //幀處理結果訂閱
    private void Current_SoftwareBitmapFrameCaptured(object? sender, SoftwareBitmapEventArgs e)
    {
        if (e.SoftwareBitmap is not null)
        {
    
            if (e.SoftwareBitmap.BitmapPixelFormat != BitmapPixelFormat.Bgra8 ||
                  e.SoftwareBitmap.BitmapAlphaMode == BitmapAlphaMode.Straight)
            {
                e.SoftwareBitmap = SoftwareBitmap.Convert(
                    e.SoftwareBitmap, BitmapPixelFormat.Bgra8, BitmapAlphaMode.Premultiplied);
            }
            //手勢識別服務獲取
            var service = App.GetService<GestureClassificationService>();
            //調用手勢分析代碼
            _ = service.HandPredictResultUnUseQueueAsync(calculator, modelPath, e.SoftwareBitmap);
        }
    }
    

    涉及到的代碼如下:

    MainViewModel

    CameraFrameService

  • 語音轉文本的實現,WinUI(WASDK)繼承了UWP的現代化的UI,也可以很好的使用WinRT的API進行操作。主要涉及的對象為命名空間Windows.Media.SpeechRecognition下的SpeechRecognizer對象。

    官網文檔地址語音交互 定義自定義識別約束

    以下是語音轉文本的部分代碼 詳細代碼點擊文字

    //創建識別為網路搜索
    var webSearchGrammar = new SpeechRecognitionTopicConstraint(SpeechRecognitionScenario.WebSearch, "webSearch", "sound");
            //webSearchGrammar.Probability = SpeechRecognitionConstraintProbability.Min;
            speechRecognizer.Constraints.Add(webSearchGrammar);
            SpeechRecognitionCompilationResult result = await speechRecognizer.CompileConstraintsAsync();
    
            if (result.Status != SpeechRecognitionResultStatus.Success)
            {
                // Disable the recognition buttons.
            }
            else
            {
                // Handle continuous recognition events. Completed fires when various error states occur. ResultGenerated fires when
                // some recognized phrases occur, or the garbage rule is hit.
                //註冊指定的事件
                speechRecognizer.ContinuousRecognitionSession.Completed += ContinuousRecognitionSession_Completed;
                speechRecognizer.ContinuousRecognitionSession.ResultGenerated += ContinuousRecognitionSession_ResultGenerated;
            }
    
  • 語音轉文本之後調用ChatGPT API進行對話回覆獲取,使用ChatGPTSharp封裝庫實現。

    代碼如下:

    private async void ContinuousRecognitionSession_ResultGenerated(SpeechContinuousRecognitionSession sender, SpeechContinuousRecognitionResultGeneratedEventArgs args)
    {
        // The garbage rule will not have a tag associated with it, the other rules will return a string matching the tag provided
        // when generating the grammar.
        var tag = "unknown";
    
        if (args.Result.Constraint != null && isListening)
        {
            tag = args.Result.Constraint.Tag;
    
            App.MainWindow.DispatcherQueue.TryEnqueue(() =>
            {
                ToastHelper.SendToast(tag, TimeSpan.FromSeconds(3));
            });
    
    
            Debug.WriteLine($"識別內容---{tag}");
        }
    
        // Developers may decide to use per-phrase confidence levels in order to tune the behavior of their 
        // grammar based on testing.
        if (args.Result.Confidence == SpeechRecognitionConfidence.Medium ||
            args.Result.Confidence == SpeechRecognitionConfidence.High)
        {
            var result = string.Format("Heard: '{0}', (Tag: '{1}', Confidence: {2})", args.Result.Text, tag, args.Result.Confidence.ToString());
    
    
            App.MainWindow.DispatcherQueue.TryEnqueue(() =>
            {
                ToastHelper.SendToast(result, TimeSpan.FromSeconds(3));
            });
    
    
            if (args.Result.Text.ToUpper() == "打開B站")
            {
                await Launcher.LaunchUriAsync(new Uri(@"https://www.bilibili.com/"));
            }
            else if (args.Result.Text.ToUpper() == "撒個嬌")
            {
                ElectronBotHelper.Instance.ToPlayEmojisRandom();
            }
            else
            {
                try
                {
                    // 根據機器人客戶端工廠創建指定類型的處理程式 可以支持多種聊天API
                    var chatBotClientFactory = App.GetService<IChatbotClientFactory>();
    
                    var chatBotClientName = (await App.GetService<ILocalSettingsService>()
                         .ReadSettingAsync<ComboxItemModel>(Constants.DefaultChatBotNameKey))?.DataKey;
    
                    if (string.IsNullOrEmpty(chatBotClientName))
                    {
                        throw new Exception("未配置語音提供程式機密數據");
                    }
    
                    var chatBotClient = chatBotClientFactory.CreateChatbotClient(chatBotClientName);
                    //調用指定的實現獲取聊天返回結果
                    var resultText = await chatBotClient.AskQuestionResultAsync(args.Result.Text);
    
                    //isListening = false;
                    await ReleaseRecognizerAsync();
                    //調用文本轉語音併進行播放方法
                    await ElectronBotHelper.Instance.MediaPlayerPlaySoundByTTSAsync(resultText, false);      
                }
                catch (Exception ex)
                {
                    App.MainWindow.DispatcherQueue.TryEnqueue(() =>
                    {
                        ToastHelper.SendToast(ex.Message, TimeSpan.FromSeconds(3));
                    });
    
                }
            }
        }
        else
        {
        }
    }
    
  • 結果文本轉語音併進行播放,通過Windows.Media.SpeechSynthesis命名空間下的SpeechSynthesizer類,使用下麵的代碼可以將文本轉化成Stream。

      using SpeechSynthesizer synthesizer = new();
                // Create a stream from the text. This will be played using a media element.
    
                //將文本轉化為Stream
                var synthesisStream = await synthesizer.SynthesizeTextToStreamAsync(text);
    

    然後使用MediaPlayer對象進行語音的播報。

    
     /// <summary>
    /// 播放聲音
    /// </summary>
    /// <param name="content"></param>
    /// <returns></returns>
    public async Task MediaPlayerPlaySoundByTTSAsync(string content, bool isOpenMediaEnded = true)
    {
        _isOpenMediaEnded = isOpenMediaEnded;
        if (!string.IsNullOrWhiteSpace(content))
        {
            try
            {
                var localSettingsService = App.GetService<ILocalSettingsService>();
    
                var audioModel = await localSettingsService
                    .ReadSettingAsync<ComboxItemModel>(Constants.DefaultAudioNameKey);
    
                var audioDevs = await EbHelper.FindAudioDeviceListAsync();
    
                if (audioModel != null)
                {
                    var audioSelect = audioDevs.FirstOrDefault(c => c.DataValue == audioModel.DataValue) ?? new ComboxItemModel();
    
                    var selectedDevice = (DeviceInformation)audioSelect.Tag!;
    
                    if (selectedDevice != null)
                    {
                        mediaPlayer.AudioDevice = selectedDevice;
                    }
                }
                //獲取TTS服務實例
                var speechAndTTSService = App.GetService<ISpeechAndTTSService>();
                //轉化文本到Stream
                var stream = await speechAndTTSService.TextToSpeechAsync(content);
                //播放stream
                mediaPlayer.SetStreamSource(stream);
                mediaPlayer.Play();
                isTTS = true;
            }
            catch (Exception)
            {
            }
        }
    }
    

    至此一次完整的識別對話流程就結束了,軟體的界面如下圖,感興趣的同學可以點擊圖片查看項目源碼地址查看其他的功能:

    電子腦殼源碼鏈接

個人感悟

個人覺得DotNET的生態還是差了些,尤其是ML.NET的輪子還是太少了,畢竟參與的人少,而且知識遷移也需要成本,熟悉其他機器學習框架的人可能不懂DotNET。

所以作為社區的一員,我覺得我們需要走出去,然後再回來,走出去就是先學習其他的機器學習框架,然後回來用DotNET進行應用,這樣輪子多了,社區就會越來越繁榮。

我也能多多的複製粘貼大家的代碼了。

參考推薦文檔項目如下:


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 直觀的界面、出色的計算功能和圖表工具,使Excel成為最流行的個人電腦數據處理軟體。在獨立的數據包含的信息量太少,而過多的數據又難以理清頭緒時,製作成表格是數據管理的最有效手段之一。這樣不僅可以方便整理數據,還可以方便我們查找和應用數據。後期我們還可以對具有相似表格框架,相同性質的數據進行合併彙總... ...
  • 作者:張飛洪 來源:www.cnblogs.com/jackyfei/p/13862607.html 離職的心態 人們在辭退或者被辭退都會對原公司抱有意見,因為疫情,公司業務告急,工資發不出來,我也失去了工作。雖然情緒上難免會有波動,但是轉念一想,我應該用開心的心態來看待這次辭職,並希望能快速翻過這 ...
  • 1. 廣義線性模型 1.1 從簡單線性回歸開始 機器學習的任務是從已知的數據中提取知識, 從而完成對新數據的識別與預測, 即應用知識. 但是, 數據本身不會給予研究者想要的答案, 大多數時候人們很難通過觀察或者簡單的計算提取有用的結論. 為了從歷史數據中整合知識, 人們提出了"模型"這一概念, 認為 ...
  • 本文介紹基於Python中GDAL模塊,實現MODIS遙感影像數據的讀取、計算,並基於質量控制QC波段進行圖像掩膜的方法~ ...
  • 簡介 編程是一門藝術,就像繪畫和音樂一樣,需要創造力和想象力。編程的藝術在於它可以創造出獨特的、精美的、功能強大的程式。 在編程中,結構是一種重要的美學概念。好的結構可以使程式更加清晰、易於理解和維護。結構設計是通過分解問題和組織代碼來創造良好的程式結構的過程。 良好的程式結構需要滿足以下幾個方面: ...
  • 2023Java面試題最經典的問題之一了,非常經典的Java基礎知識,一定要學會! 在Java中,String類被設計成final,這意味著它的值在創建後不可更改。這是因為字元串在Java中使用廣泛,作為文本處理、網路通信等方面的核心數據類型。如果String類是可變的,那麼在使用時可能會出現安全問 ...
  • 最近發現一個不錯的免費開源學習項目:30天學會Python 如果您最近有學習Python的打算,不妨看看這個是否適合你? 項目地址:https://github.com/Asabeneh/30-Days-Of-Python 博客地址:https://blog.didispace.com/tj-30- ...
  • 最新版 IDEA 2022.3.2 中配置熱載入工具 DevTools 在SpringBoot開發調試中,如果我每行代碼的修改都需要重啟再調試,可能比較費時間;SpringBoot團隊針對此問題提供了spring-boot-devtools(簡稱devtools)插件,用此插件提升開發調試的效率。 ...
一周排行
    -Advertisement-
    Play Games
  • 一個自定義WPF窗體的解決方案,借鑒了呂毅老師的WPF製作高性能的透明背景的異形視窗一文,併在此基礎上增加了滑鼠穿透的功能。可以使得透明窗體的滑鼠事件穿透到下層,在下層窗體中響應。 ...
  • 在C#中使用RabbitMQ做個簡單的發送郵件小項目 前言 好久沒有做項目了,這次做一個發送郵件的小項目。發郵件是一個比較耗時的操作,之前在我的個人博客裡面回覆評論和友鏈申請是會通過發送郵件來通知對方的,不過當時只是簡單的進行了非同步操作。 那麼這次來使用RabbitMQ去統一發送郵件,我的想法是通過 ...
  • 當你使用Edge等瀏覽器或系統軟體播放媒體時,Windows控制中心就會出現相應的媒體信息以及控制播放的功能,如圖。 SMTC (SystemMediaTransportControls) 是一個Windows App SDK (舊為UWP) 中提供的一個API,用於與系統媒體交互。接入SMTC的好 ...
  • 最近在微軟商店,官方上架了新款Win11風格的WPF版UI框架【WPF Gallery Preview 1.0.0.0】,這款應用引入了前沿的Fluent Design UI設計,為用戶帶來全新的視覺體驗。 ...
  • 1.簡單使用實例 1.1 添加log4net.dll的引用。 在NuGet程式包中搜索log4net並添加,此次我所用版本為2.0.17。如下圖: 1.2 添加配置文件 右鍵項目,添加新建項,搜索選擇應用程式配置文件,命名為log4net.config,步驟如下圖: 1.2.1 log4net.co ...
  • 之前也分享過 Swashbuckle.AspNetCore 的使用,不過版本比較老了,本次演示用的示例版本為 .net core 8.0,從安裝使用開始,到根據命名空間分組顯示,十分的有用 ...
  • 在 Visual Studio 中,至少可以創建三種不同類型的類庫: 類庫(.NET Framework) 類庫(.NET 標準) 類庫 (.NET Core) 雖然第一種是我們多年來一直在使用的,但一直感到困惑的一個主要問題是何時使用 .NET Standard 和 .NET Core 類庫類型。 ...
  • WPF的按鈕提供了Template模板,可以通過修改Template模板中的內容對按鈕的樣式進行自定義。結合資源字典,可以將自定義資源在xaml視窗、自定義控制項或者整個App當中調用 ...
  • 實現了一個支持長短按得按鈕組件,單擊可以觸發Click事件,長按可以觸發LongPressed事件,長按鬆開時觸發LongClick事件。還可以和自定義外觀相結合,實現自定義的按鈕外形。 ...
  • 一、WTM是什麼 WalkingTec.Mvvm框架(簡稱WTM)最早開發與2013年,基於Asp.net MVC3 和 最早的Entity Framework, 當初主要是為瞭解決公司內部開發效率低,代碼風格不統一的問題。2017年9月,將代碼移植到了.Net Core上,併進行了深度優化和重構, ...