學習ML.NET(1): 使用LearningPipeline構建機器學習流水線

来源:https://www.cnblogs.com/feiyun0112/archive/2018/09/16/ML-NET-1.html
-Advertisement-
Play Games

ML.NET使用LearningPipeline類定義執行期望的機器學習任務所需的步驟,讓機器學習的流程變得直觀。 下麵用鳶尾花瓣預測快速入門的示例代碼講解流水線是如何工作的。 創建工作流實例 首先,創建LearningPipeline實例 添加步驟 然後,調用LearningPipeline實例的 ...


ML.NET使用LearningPipeline類定義執行期望的機器學習任務所需的步驟,讓機器學習的流程變得直觀。

下麵用鳶尾花瓣預測快速入門的示例代碼講解流水線是如何工作的。

using Microsoft.ML;
using Microsoft.ML.Data;
using Microsoft.ML.Runtime.Api;
using Microsoft.ML.Trainers;
using Microsoft.ML.Transforms;
using System;

namespace myApp
{
    class Program
    {
        // STEP 1: Define your data structures

        // IrisData is used to provide training data, and as 
        // input for prediction operations
        // - First 4 properties are inputs/features used to predict the label
        // - Label is what you are predicting, and is only set when training
        public class IrisData
        {
            [Column("0")]
            public float SepalLength;

            [Column("1")]
            public float SepalWidth;

            [Column("2")]
            public float PetalLength;

            [Column("3")]
            public float PetalWidth;

            [Column("4")]
            [ColumnName("Label")]
            public string Label;
        }

        // IrisPrediction is the result returned from prediction operations
        public class IrisPrediction
        {
            [ColumnName("PredictedLabel")]
            public string PredictedLabels;
        }

        static void Main(string[] args)
        {
            // STEP 2: Create a pipeline and load your data
            var pipeline = new LearningPipeline();

            // If working in Visual Studio, make sure the 'Copy to Output Directory' 
            // property of iris-data.txt is set to 'Copy always'
            string dataPath = "iris-data.txt";
            pipeline.Add(new TextLoader(dataPath).CreateFrom<IrisData>(separator: ','));

            // STEP 3: Transform your data
            // Assign numeric values to text in the "Label" column, because only
            // numbers can be processed during model training
            pipeline.Add(new Dictionarizer("Label"));

            // Puts all features into a vector
            pipeline.Add(new ColumnConcatenator("Features", "SepalLength", "SepalWidth", "PetalLength", "PetalWidth"));

            // STEP 4: Add learner
            // Add a learning algorithm to the pipeline. 
            // This is a classification scenario (What type of iris is this?)
            pipeline.Add(new StochasticDualCoordinateAscentClassifier());

            // Convert the Label back into original text (after converting to number in step 3)
            pipeline.Add(new PredictedLabelColumnOriginalValueConverter() { PredictedLabelColumn = "PredictedLabel" });

            // STEP 5: Train your model based on the data set
            var model = pipeline.Train<IrisData, IrisPrediction>();

            // STEP 6: Use your model to make a prediction
            // You can change these numbers to test different predictions
            var prediction = model.Predict(new IrisData()
            {
                SepalLength = 3.3f,
                SepalWidth = 1.6f,
                PetalLength = 0.2f,
                PetalWidth = 5.1f,
            });

            Console.WriteLine($"Predicted flower type is: {prediction.PredictedLabels}");
        }
    }
}

 

創建工作流實例

首先,創建LearningPipeline實例

var pipeline = new LearningPipeline();

添加步驟

然後,調用LearningPipeline實例的Add方法向流水線添加步驟,每個步驟都繼承自ILearningPipelineItem介面。

一個基本的工作流包括以下幾個步驟,其中,藍色部分是可選的。

  • 載入數據集

繼承自ILearningPipelineLoader介面

一個工作流必須包含至少1個載入數據集步驟。

//使用TextLoader載入數據
string dataPath = "iris-data.txt";
pipeline.Add(new TextLoader(dataPath).CreateFrom<IrisData>(separator: ','));
  • 數據預處理

繼承自CommonInputs.ITransformInput介面。

一個工作流可以包含0到多個數據預處理步驟,用於將已載入的數據集標準化,示例代碼中就包含2了個數據預處理步驟

//由於Label文本數據,演算法不能識別數據,需要將其轉換為字典
pipeline.Add(new Dictionarizer("Label")); 

//演算法只能從Features列獲取數據,需要數據中的多列連接到Features列中
pipeline.Add(new ColumnConcatenator("Features", "SepalLength", "SepalWidth", "PetalLength", "PetalWidth"));
  • 選擇學習演算法

繼承自CommonInputs.ITrainerInput介面。

一個工作流必須且只能包含1個學習演算法

//使用線性分類器
pipeline.Add(new StochasticDualCoordinateAscentClassifier()); 
  • 標簽轉換

繼承自CommonInputs.ITransformInput介面。

一個工作流可以包含0到多個標簽轉換步驟,用於將預測得到的標簽轉換成方便識別的數據

//將Label從字典轉換成文本數據
pipeline.Add(new PredictedLabelColumnOriginalValueConverter() { PredictedLabelColumn = "PredictedLabel" });

 執行工作流

最後,調用LearningPipeline實例的Train方法,就可以執行工作流得到預測模型。

var model = pipeline.Train<IrisData, IrisPrediction>();

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 協程,又稱微線程,利用線程在等待某個資源的期間執行其它函數,切換資源消耗非常小,執行效率相當快 圖片下載器 利用網路下載延遲,切換 ...
  • 1. Servlet簡介 Servlet是伺服器端程式,主要用來互動式地瀏覽和修改數據,生成動態web內容。Servlet是SUN公司提供的一個介面,廣義的Servlet可以指任何實現了Servlet這個介面的類。Servlet生成動態web內容的過程包含以下這些內容: 1. 客戶端發送請求至伺服器 ...
  • 題目 貌似是某年提高組簽到題,六重迴圈零壓力AC,差點怒踩std 但本蒟蒻決定寫正解——多重背包,果斷20分 原因是寫錯了狀態轉移方程。。。神才知道我咋過的樣例和兩個測試點 扯遠了 多重背包 簡單說一下多重背包 限制某一些物體個數的背包 可以參考fengzw的背包問題:0-1背包、完全背包和多重背包 ...
  • Heap memory compared to stack memory ...
  • 一。機器語言和彙編語言 (1)機器語言是機器指令的集合,是0,1構成的二進位信息 優點:面向機器,高效率 缺點:依賴硬體,不具備可移植性,晦澀難懂,不宜查錯 用途:特殊 加密解密 (2)彙編語言 組成: 1)彙編指令:機器碼的助記符,有對應的機器碼 2)偽指令: 沒有對應機器碼,由編譯器執行,電腦 ...
  • 輸入一個整數數組,實現一個函數來調整該數組中數字的順序,使得所有的奇數位於數組的前半部分,所有的偶數位於數組的後半部分,並保證奇數和奇數,偶數和偶數之間的相對位置不變。 1.遍曆數組,判斷元素奇數偶數,push進新數組,空間換時間 2.插入排序的思想 空間上是原址排序 2.1從前往後遍歷,判斷當前的... ...
  • 1.添加引用 using System.Web.Services; 2.添加方法 [WebMethod] public static string getFoodClasses(int parentID) { onnEntities onndb = new onnEntities(); //定義數據 ...
  • 特性(attribute)是被指定給某一聲明的一則附加的聲明性信息。 在C#中,有一個小的預定義特性集合。在學習如何建立我們自己的定製特性(custom attributes)之前,我們先來看看在我們的代碼中如何使用預定義特性。 1 using System; 2 public class AnyC ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...