通過C#/.NET API使用CNTK_ZenDei技術網路在線

（原文）CNTK v2.2.0提供C#API來建立、訓練和評估CNTK模型。本節概要介紹了CNTK C#API。在CNTK github respository中可以找到C#訓練示例。使用C＃/ .NET管理API構建深層神經網路 CNTK C#API 通過CNTKLib命名空間提供基本操作。 ...

（原文）CNTK v2.2.0提供C#API來建立、訓練和評估CNTK模型。本節概要介紹了CNTK C#API。在CNTK github respository中可以找到C#訓練示例。

使用C＃/ .NET管理API構建深層神經網路

CNTK C#API 通過CNTKLib命名空間提供基本操作。 CNTK操作需要一個或兩個具有必要參數的輸入變數，並產生一個CNTK函數。 CNTK函數將輸入數據映射到輸出。 CNTK函數也可以被視為可變數，並被作為另一個CNTK操作的輸入。通過這種機制，可以通過鏈接和組合來構建具有基本CNTK操作的深層神經網路。舉個例子：

private static Function CreateLogisticModel(Variable input, int numOutputClasses)
{             
    Parameter bias = new Parameter(new int[]{numOutputClasses}, DataType.Float, 0}
    Parameter weights = new Parameter(new int[]{input.Shape[0], numOutputClasses}, DataType.Float,        
      CNTKLib.GlorotUniformInitializer( 
        CNTKLib.DefaultParamInitScale, 
        CNTKLib.SentinelValueForInferParamInitRank, 
        CNTKLib.SentinelValueForInferParamInitRank, 1));
    var z = CNTKLib.Plus(bias, CNTKLib.Times(weights, input));    
    Function logisticClassifier = CNTKLib.Sigmoid(z, "LogisticClassifier");
    return logisticClassifier;
}

CNTKLib.Plus，CNTKLib.Times，CNTKLib.Sigmoid是基本的CNTK操作。輸入參數可以是表示數據特征的CNTK變數。它也可能是另一個CNTK函數。該代碼構建了一個簡單的計算網路，其參數在訓練階段進行調整，以創建一個像樣的多類分類器（multi-class classifier）。

CNTK C#API提供了構建捲積神經網路（CNN）和複發神經網路（RNN）的選項。例如，構建一個2層CNN圖像分類器：

var convParams1 = new Parameter(
      new int[] { kernelWidth1, kernelHeight1, numInputChannels, outFeatureMapCount1 }, 
      DataType.Float, CNTKLib.GlorotUniformInitializer(convWScale, -1, 2), device);
    var convFunction1 = CNTKLib.ReLU(CNTKLib.Convolution(
      convParams1, input, 
      new int[] { 1, 1, numInputChannels } ));
    var pooling1 = CNTKLib.Pooling(convFunction1, PoolingType.Max,
        new int[] { poolingWindowWidth1, poolingWindowHeight1 }, new int[] { hStride1, vStride1 }, new bool[] { true });

    var convParams2 = new Parameter(
      new int[] { kernelWidth2, kernelHeight2, outFeatureMapCount1, outFeatureMapCount2 }, 
      DataType.Float, CNTKLib.GlorotUniformInitializer(convWScale, -1, 2), device);
    var convFunction2 = CNTKLib.ReLU(CNTKLib.Convolution(
      convParams2, pooling1, 
      new int[] { 1, 1, outFeatureMapCount1 } ));
    var pooling2 = CNTKLib.Pooling(convFunction2, PoolingType.Max,
        new int[] { poolingWindowWidth2, poolingWindowHeight2 }, new int[] { hStride2, vStride2 }, new bool[] { true });

    var imageClassifier = TestHelper.Dense(pooling2, numClasses, device, Activation.None,   "ImageClassifier");

還提供了構建具有長短時記憶體（LSTM）的RNN的示例。

通過C#/.NET準備數據

CNTK提供用於訓練的數據準備工具。 CNTK C#API公開了這些工具。它可以接受各種預處理形式的數據。數據的載入和批處理數據非常高效。例如，假定我們有以下稱為“Train.ctf”的CNTK文本格式的數據：

|features 3.854499 4.163941 |labels 1.000000
|features 1.058121 1.204858 |labels 0.000000
|features 1.870621 1.284107 |labels 0.000000
|features 1.134650 1.651822 |labels 0.000000
|features 5.420541 4.557660 |labels 1.000000
|features 6.042731 3.375708 |labels 1.000000
|features 5.667109 2.811728 |labels 1.000000
|features 0.232070 1.814821 |labels 0.000000

一個CNTK數據源會以這種方式被創建：

var minibatchSource = MinibatchSource.TextFormatMinibatchSource(
        Path.Combine(DataFolder, "Train.ctf"), streamConfigurations,
        MinibatchSource.InfinitelyRepeat, true);

批處理數據可以在訓練的時候專業被檢索和使用：

var minibatchData = minibatchSource.GetNextMinibatch(minibatchSize, device);

使用C#/ .NET托管API訓練深層神經網路

隨機梯度下降（SGD）是利用小型訓練數據優化模型參數的一種方法。 CNTK支持許多在深入學習文獻中常見的SGD變體。它們通過CNTK C#API公開：　

SGDLearner - 一個內置CNTK SGD學習器
MomentumSGDLearner - 內置CNTK動量SGD學習器
FSAdaGradLearner - AdaGrad learner的變體
AdamLearner - Adam learner
AdaGradLearner - 自適應梯度學習器
RMSPropLearner - RMSProp學習器
AdaDeltaLearner - AdaDelta學習器

有關不同學習優化器的一般概述，請參閱隨機梯度下降Stochastic gradient descent.

CNTK訓練器用來進行minibatch訓練。以下是minibatch訓練的一段C#diamante片段：

// build a learning model
    var featureVariable = Variable.InputVariable(new int[] { inputDim }, DataType.Float);
    var labelVariable = Variable.InputVariable(new int[] { numOutputClasses }, DataType.Float);
    var classifierOutput = CreateLinearModel(featureVariable, numOutputClasses, device);
    var loss = CNTKLib.CrossEntropyWithSoftmax(classifierOutput, labelVariable);
    var evalError = CNTKLib.ClassificationError(classifierOutput, labelVariable);

    // prepare for training
    var learningRatePerSample = new CNTK.TrainingParameterScheduleDouble(0.02, 1);
    var parameterLearners =
        new List<Learner>() { Learner.SGDLearner(classifierOutput.Parameters(), learningRatePerSample) };
    var trainer = Trainer.CreateTrainer(classifierOutput, loss, evalError, parameterLearners);

    int minibatchSize = 64;
    int numMinibatchesToTrain = 1000;

    // train the model
    for (int minibatchCount = 0; minibatchCount < numMinibatchesToTrain; minibatchCount++)
    {
        Value features, labels;
        GenerateValueData(minibatchSize, inputDim, numOutputClasses, out features, out labels, device);
        trainer.TrainMinibatch(
            new Dictionary<Variable, Value>() { { featureVariable, features }, { labelVariable, labels } }, device);
        TestHelper.PrintTrainingProgress(trainer, minibatchCount, 50);
    }

這段代碼使用了一個每個樣本學習率為0.02的CNTK內置SGD學習器，學習器用來為模型參數做優化。訓練器與學習器一同創建，一個是loss函數，一個是評估函數。在每次訓練迭代期間，將小批量數據送給訓練器以更新模型參數。訓練期間，訓練耗損和評估誤差由輔助方法顯示。
在代碼中，我們生成了兩類統計分離的標簽和特征數據。在其他更實際的例子中，公共測試數據載入了CNTK MinibatchSource。

使用C#/.NET托管API評估深度神經網路

C# API具有評估API來進行模型評估。多數訓練示例在訓練之後需要進行模型評估。

開始使用C#訓練示例

看完這個概述之後，可以通過兩種方法繼續C#培訓示例：使用GitHub的CNTK源或使用CNTK NuGet for Windows處理CNTK示例。

通過CNTK源碼

在windows下通過此頁的步驟來建立CNTK
通過VS編譯CNTK.sln
準備示例數據
在CNTKLibraryCSTrainingTest.csproj中運行示例作為端到端測試

通過CNTK NuGet獲取CNTK示例

下載CNTK C#訓練示例 examples
準備示例數據.
構建並運行示例