dotnet 將本地的 Phi-3 模型與 SemanticKernel 進行對接

来源:https://www.cnblogs.com/lindexi/p/18257888
-Advertisement-
Play Games

今天在技術群里，石頭哥向大家提了個問題："如何在一個以System身份運行的.NET程式（Windows Services）中，以其它活動的用戶身份啟動可互動式進程（桌面應用程式、控制台程式、等帶有UI和互動式體驗的程式）"？ 我以前有過類似的需求，是在GitLab流水線中運行帶有UI的自動化測試程 ...


在本地完成 Phi-3 模型的部署之後，即可在本地擁有一個小語言模型。本文將告訴大家如何將本地的 Phi-3 模型與 SemanticKernel 進行對接，讓 SemanticKernel 使用本地小語言模型提供的能力

在我大部分的博客裡面，都是使用 AzureAI 和 SemanticKernel 對接，所有的數據都需要發送到遠端處理。這在離線的情況下比較不友好，在上一篇博客和大家介紹瞭如何基於 DirectML 控制台運行 Phi-3 模型。本文將在上一篇博客的基礎上，告訴大家如何將本地的 Phi-3 模型與 SemanticKernel 進行對接

依然是和上一篇博客一樣準備好 Phi-3 模型的文件夾，本文這裡我放在 C:\lindexi\Phi3\directml-int4-awq-block-128 路徑下。如果大家下載時拉取不下來 https://huggingface.co/microsoft/Phi-3-mini-4k-instruct-onnx/tree/main?clone=true 倉庫，可以發送郵件向我要，我將通過網盤分享給大家

準備好模型的下載工作之後，接下來咱將新建一個控制台項目用於演示

編輯控制台的 csproj 項目文件，修改為以下代碼用於安裝所需的 NuGet 包

<Project Sdk="Microsoft.NET.Sdk">

  <PropertyGroup>
    <OutputType>Exe</OutputType>
    <TargetFramework>net8.0</TargetFramework>
    <ImplicitUsings>enable</ImplicitUsings>
    <Nullable>enable</Nullable>
  </PropertyGroup>
  <ItemGroup>
    <PackageReference Include="Microsoft.ML.OnnxRuntimeGenAI.DirectML" Version="0.2.0-rc7" />
    <PackageReference Include="feiyun0112.SemanticKernel.Connectors.OnnxRuntimeGenAI.DirectML" Version="1.0.0" />

    <PackageReference Include="Microsoft.Extensions.Configuration.UserSecrets" Version="8.0.0" />
    <PackageReference Include="Microsoft.Extensions.Logging" Version="8.0.0" />
    <PackageReference Include="Microsoft.Extensions.Logging.Console" Version="8.0.0" />
    <PackageReference Include="Microsoft.SemanticKernel" Version="1.13.0" />
  </ItemGroup>
</Project>

這裡的 feiyun0112.SemanticKernel.Connectors.OnnxRuntimeGenAI.DirectML 是可選的，因為最後咱將會自己編寫所有對接代碼，不需要使用大佬寫好的現有組件

先給大家演示使用 feiyun0112.SemanticKernel.Connectors.OnnxRuntimeGenAI.DirectML 提供的簡單版本。此版本代碼大量從 https://github.com/microsoft/Phi-3CookBook/blob/0a167c4b8045c1b9abb84fc63ca483ae614a88a5/md/07.Labs/Csharp/src/LabsPhi302/Program.cs 抄的，感謝 Bruno Capuano 大佬

定義或獲取本地模型所在的文件夾

var modelPath = @"C:\lindexi\Phi3\directml-int4-awq-block-128";

創建 SemanticKernel 構建器時調用 feiyun0112.SemanticKernel.Connectors.OnnxRuntimeGenAI.DirectML 庫提供的 AddOnnxRuntimeGenAIChatCompletion 擴展方法，如以下代碼

// create kernel
var builder = Kernel.CreateBuilder();
builder.AddOnnxRuntimeGenAIChatCompletion(modelPath);

如此即可完成連接邏輯，將本地 Phi-3 模型和 SemanticKernel 進行連接就此完成。接下來的代碼就是和原來使用 SemanticKernel 的一樣。這一點也可以看到 SemanticKernel 的設計還是很好的，非常方便進行模型的切換

嘗試使用 SemanticKernel 做一個簡單的問答機

var kernel = builder.Build();

// create chat
var chat = kernel.GetRequiredService<IChatCompletionService>();
var history = new ChatHistory();

// run chat
while (true)
{
    Console.Write("Q: ");
    var userQ = Console.ReadLine();
    if (string.IsNullOrEmpty(userQ))
    {
        break;
    }
    history.AddUserMessage(userQ);

    Console.Write($"Phi3: ");
    var response = "";
    var result = chat.GetStreamingChatMessageContentsAsync(history);
    await foreach (var message in result)
    {
        Console.Write(message.Content);
        response += message.Content;
    }
    history.AddAssistantMessage(response);
    Console.WriteLine("");
}

嘗試運行代碼，和自己本地 Phi-3 模型聊聊天

以上為使用 feiyun0112.SemanticKernel.Connectors.OnnxRuntimeGenAI.DirectML 提供的連接，接下來嘗試自己來實現與 SemanticKernel 的對接代碼

在 SemanticKernel 裡面定義了 IChatCompletionService 介面，以上代碼的 GetStreamingChatMessageContentsAsync 方法功能核心就是調用 IChatCompletionService 介面提供的 GetStreamingChatMessageContentsAsync 方法

熟悉依賴註入的伙伴也許一下就看出來了，只需要註入 IChatCompletionService 介面的實現即可。在註入之前，還需要咱自己定義一個繼承 IChatCompletionService 的類型，才能創建此類型進行註入

如以下代碼，定義繼承 IChatCompletionService 的 Phi3ChatCompletionService 類型

class Phi3ChatCompletionService : IChatCompletionService
{
    ...
}

接著實現介面要求的方法，本文這裡只用到 GetStreamingChatMessageContentsAsync 方法，於是就先只實現此方法

根據上一篇博客可以瞭解到 Phi-3 的初始化方法，先放在 Phi3ChatCompletionService 的構造函數進行初始化，代碼如下

class Phi3ChatCompletionService : IChatCompletionService
{
    public Phi3ChatCompletionService(string modelPath)
    {
        var model = new Model(modelPath);
        var tokenizer = new Tokenizer(model);

        Model = model;
        Tokenizer = tokenizer;
    }

    public IReadOnlyDictionary<string, object?> Attributes { get; set; } = new Dictionary<string, object?>();
    public Model Model { get; }
    public Tokenizer Tokenizer { get; }

    ... // 忽略其他代碼
}

定義 GetStreamingChatMessageContentsAsync 方法代碼如下

class Phi3ChatCompletionService : IChatCompletionService
{
    ... // 忽略其他代碼

    public async IAsyncEnumerable<StreamingChatMessageContent> GetStreamingChatMessageContentsAsync(ChatHistory chatHistory,
        PromptExecutionSettings? executionSettings = null, Kernel? kernel = null,
        CancellationToken cancellationToken = new CancellationToken())
    {
        ... // 忽略其他代碼
    }
}

這裡傳入的是 ChatHistory 類型，咱需要進行一些提示詞的轉換才能讓 Phi-3 更開森，轉換代碼如下

        var stringBuilder = new StringBuilder();
        foreach (ChatMessageContent chatMessageContent in  chatHistory)
        {
            stringBuilder.Append($"<|{chatMessageContent.Role}|>\n{chatMessageContent.Content}");
        }
        stringBuilder.Append("<|end|>\n<|assistant|>");

        var prompt = stringBuilder.ToString();

完成之後，即可構建輸入，以及調用 ComputeLogits 等方法，代碼如下

    public async IAsyncEnumerable<StreamingChatMessageContent> GetStreamingChatMessageContentsAsync(ChatHistory chatHistory,
        PromptExecutionSettings? executionSettings = null, Kernel? kernel = null,
        CancellationToken cancellationToken = new CancellationToken())
    {
        var stringBuilder = new StringBuilder();
        foreach (ChatMessageContent chatMessageContent in  chatHistory)
        {
            stringBuilder.Append($"<|{chatMessageContent.Role}|>\n{chatMessageContent.Content}");
        }
        stringBuilder.Append("<|end|>\n<|assistant|>");

        var prompt = stringBuilder.ToString();

        var generatorParams = new GeneratorParams(Model);

        var sequences = Tokenizer.Encode(prompt);

        generatorParams.SetSearchOption("max_length", 1024);
        generatorParams.SetInputSequences(sequences);
        generatorParams.TryGraphCaptureWithMaxBatchSize(1);

        using var tokenizerStream = Tokenizer.CreateStream();
        using var generator = new Generator(Model, generatorParams);

        while (!generator.IsDone())
        {
            var result = await Task.Run(() =>
            {
                generator.ComputeLogits();
                generator.GenerateNextToken();

                // 這裡的 tokenSequences 就是在輸入的 sequences 後面添加 Token 內容

                // 取最後一個進行解碼為文本
                var lastToken = generator.GetSequence(0)[^1];
                var decodeText = tokenizerStream.Decode(lastToken);

                // 有些時候這個 decodeText 是一個空文本，有些時候是一個單詞
                // 空文本的可能原因是需要多個 token 才能組成一個單詞
                // 在 tokenizerStream 底層已經處理了這樣的情況，會在需要多個 Token 才能組成一個單詞的情況下，自動合併，在多個 Token 中間的 Token 都返回空字元串，最後一個 Token 才返回組成的單詞
                if (!string.IsNullOrEmpty(decodeText))
                {
                    return decodeText;
                }

                return null;
            });

            if (!string.IsNullOrEmpty(result))
            {
                yield return new StreamingChatMessageContent(AuthorRole.Assistant, result);
            }
        }
    }

如此即可完成對接的核心代碼實現，接下來只需要將 Phi3ChatCompletionService 註入即可，代碼如下

var modelPath = @"C:\lindexi\Phi3\directml-int4-awq-block-128";

// create kernel
var builder = Kernel.CreateBuilder();
builder.Services.AddSingleton<IChatCompletionService>(new Phi3ChatCompletionService(modelPath));

這就是完全自己實現將本地 Phi-3 模型與 SemanticKernel 進行對接的方法了，嘗試運行一下項目，或者使用以下方法拉取我的代碼更改掉模型文件夾，試試運行效果

本文代碼放在 github 和 gitee 上，可以使用如下命令行拉取代碼

先創建一個空文件夾，接著使用命令行 cd 命令進入此空文件夾，在命令行裡面輸入以下代碼，即可獲取到本文的代碼

git init
git remote add origin https://gitee.com/lindexi/lindexi_gd.git
git pull origin 39a65e0e6703241bdab0a836e84532bddd4385c7

以上使用的是 gitee 的源，如果 gitee 不能訪問，請替換為 github 的源。請在命令行繼續輸入以下代碼，將 gitee 源換成 github 源進行拉取代碼

git remote remove origin
git remote add origin https://github.com/lindexi/lindexi_gd.git
git pull origin 39a65e0e6703241bdab0a836e84532bddd4385c7

獲取代碼之後，進入 SemanticKernelSamples/BemjawhufawJairkihawyawkerene 文件夾，即可獲取到源代碼

博客園博客只做備份，博客發佈就不再更新，如果想看最新博客，請訪問 https://blog.lindexi.com/

如圖片看不見，請在瀏覽器開啟不安全http內容相容

知識共用許可協議
本作品採用知識共用署名-非商業性使用-相同方式共用 4.0 國際許可協議進行許可。歡迎轉載、使用、重新發佈，但務必保留文章署名[林德熙](https://www.cnblogs.com/lindexi)(包含鏈接:https://www.cnblogs.com/lindexi )，不得用於商業目的，基於本文修改後的作品務必以相同的許可發佈。如有任何疑問，請與我[聯繫](mailto:[email protected])。
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 我的Office Outlook插件開發之旅（二）
    下麵將完成的展示，使用MAPI介面操作Outlook完成通訊錄更新。 using Microsoft.Office.Interop.Outlook; using Microsoft.VisualBasic; using System; using System.Collections; using ...
  • 中台框架模塊開發實踐-代碼生成器的添加及使用
    前言 之前已經分享過幾篇關於中台項目框架的文章，相關介紹就不再贅述 所謂工欲善其事必先利其器，一個項目擁有一個代碼生成器是很有必要的，能夠大大的節省時間，減少手誤，提供開發效率(ps:特別小團隊搞微服務但是沒有代碼生成器，簡直要了老命) 本文將分享如何在中台框架項目 Admin.Core 中添加代碼 ...
  • WPF 做一個超級簡單的 1024 數字接龍游戲
    官網：Git for Windows 點擊下載安裝。 右擊滑鼠會出現GUI和Bash 選擇git bash here 配置全局用戶名和郵箱(gitee) git config --global user.name "你的名字" git config --global user.email 你的郵箱 ...
  • C# 13(.Net 9) 中的新特性 - 擴展類型
    C# 13 即 .Net 9 按照計劃會在2024年11月發佈，目前一些新特性已經定型，今天讓我們來預覽一個比較大型比較重要的新特性： 擴展類型 extension types ...
  • .NET-9-電腦思想-構建器模式(Builder Pattern)
    目錄前言學習參考過程總結: 前言 做個自由仔。 學習參考 ChatGpt; https://www.cnblogs.com/zhili/p/DesignPatternSummery.html(大佬的，看了好多次) 過程 原由： 一開始只是想查查鏈式調用原理，以為是要繼承什麼介面,實現什麼方法才可以實 ...
  • 聊一聊 Monitor.Wait 和 Pulse 的底層玩法
    一：背景 1. 講故事 在dump分析的過程中經常會看到很多線程卡在Monitor.Wait方法上，曾經也有不少人問我為什麼用 !syncblk 看不到 Monitor.Wait 上的鎖信息，剛好昨天有時間我就來研究一下。 二：Monitor.Wait 底層怎麼玩的 1. 案例演示 為了方便講述，先 ...
  • 在Winform程式中動態繪製系統名稱，代替圖片硬編碼名稱
    在以前我做程式的時候，一般在登錄視窗裡面顯示程式名稱，登錄視窗一般設置一張背景圖片，由於程式的名稱一般都是確定的，所以也不存在太大的問題，不過如果客戶定製不同的系統的時候，需要使用Photoshop修改下圖層的文字，再生成圖片，然後替換一下也可以了。不過本著減少客戶使用繁瑣性，也可以使用空白名稱的通... ...
  • .NET 8 中的後臺服務：IHostedService 和 BackgroundService
    .Net 中提供了一系列的管理對象集合的類型，數組、可變列表、字典等。從類型安全上集合分為兩類，泛型集合 和 非泛型集合，傳統的非泛型集合存儲為Object，需要類型轉。而泛型集合提供了更好的性能、編譯時類型安全，推薦使用。 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類