學習筆記TF050:TensorFlow源代碼解析

来源:http://www.cnblogs.com/libinggen/archive/2017/08/24/7421106.html
-Advertisement-
Play Games

TensorFlow目錄結構。 ACKNOWLEDGMENTS #TensorFlow版本聲明 ADOPTERS.md #使用TensorFlow的人員或組織列表 AUTHORS #TensorFlow作者的官方列表 BUILD CONTRIBUTING.md #TensorFlow貢獻指導 ISS ...


TensorFlow目錄結構。

ACKNOWLEDGMENTS #TensorFlow版本聲明
ADOPTERS.md #使用TensorFlow的人員或組織列表
AUTHORS #TensorFlow作者的官方列表
BUILD
CONTRIBUTING.md #TensorFlow貢獻指導
ISSUE_TEMPLATE.md #提ISSUE的模板
LICENSE #版權許可
README.md
RELEASE.md #每次發版的change log
WORKSPACE #配置移動端開發環境
bower.BUILD
configure
models.BUILD
tensorflow #主目錄
third_party #第三方庫，包括eigen3(特征運算，SVD、LU分解等)、gpus(支持cuda)、hadoop、jpeg、llvm、py、sycl
tools #構建cuda支持
util

tensorflow目錄結構：

BUILD
__init__.py
c
cc #採用C++進行訓練的親樣例
compiler
contrib #將常用功能封裝在一起高級API
core #C++實現主要目錄
examples #各種示例
g3doc #針對C++、Python版本代碼文檔
go
java
opensource_only #聲明目錄
python #Python實現主要目錄
stream_executor #流處理
tensorboard #App、Web支持，以及腳本支持
tensorflow.bzl
tf_exported_symbols.lds
tf_version_script.lds
tools #工具雜項
user_ops
workspace.bzl

contirb目錄。保存常用功能封裝高級API。不是官方支持。高級API完善後被官方遷移到核心TensorFlow目錄或去掉。部分包(package)在https://github.com/tensorflow/models 有更完整實現。
framework:很多函數在這裡定義(get_varibles、get_global_step)，一些廢棄或不推薦(deprecated)函數。
layers:initializers.py，變數初始化函數。layers.py，層操作和權重偏置變數函數。optimizers.py，損失函數和global_step張量優化器操作。regularizers.py，帶權重正則化函數。summaries.py，摘要操作添加到tf.GraphKeys.SUMMARIES集合中的函數。
learn:使用TensorFlow進行深度學習高級API，訓練模型、評估模型、讀取批處理數據、隊列功能API封裝。
rnn:額外RNN Cell，對RNN隱藏層改進，LSTMBlockCell、GRUBlockCell、FusedRNNCell、GridLSTMCell、AttentionCellWrapper。
seq2seq:建立神經網路seq2seq層和損失函數操作。
slim:TensorFlow-Slim(TF-Slim)，定義、訓練、評估TensorFlow複雜模型輕量級庫。TF-Slim與TensorFlow原生函數和tf.contrib其他包自由組合。TF-Slim已逐漸遷移到TensorFlow開源Models，裡面有廣泛使用捲積神經網路圖像分類模型代友，可以從頭訓練模型或預測訓練模型開始微調。

core目錄。C語言文件，TensorFlow原始實現。

BUILD
common_runtime #公共運行庫
debug
ditributed_runtime #分散式執行模塊，含有grpc session、grpc worker、grpc master
example
framework #基礎功能模塊
graph
kernels #核心操作在CPU、CUDA內核實現
lib #公共基礎庫
ops
platform #操作系統實現相關文件
protobuf #.proto文件，用於傳輸時結構序列化
public #API頭文件目錄
user_ops
util
Protocol Buffers，谷歌公司創建的數據序列化(serialization)工具，結構化數據序列化，數據存儲或RPC數據交換格式。定義協議緩衝區，生成.pb.h和.pb.cc文件。定義get、set、序列化、反序列化函數。TensorFlow核心proto文件graph_def.proto、node_def.proto、op_def.proto保存在framework目錄。構圖時先構建graph_def，存儲下來，在實際計算時再轉成圖、節點、操作記憶體對象。
tensorflow-1.1.0/tensorflow/core/framework/node_def.proto，定義proto文件。node_def.proto定義指定設備(device)操作(op)、操作屬性(attr)。
framework 目錄還有node_def_builder.h、node_def_builder.cc、node_def_util.h、node_def_util_test.cc。在C++里操作node_def.proto的protobuf結構。

examples目錄，深度學習例子，MNIST、Word2vec、Deepdream、Iris、HDF5。TensorFlow在Android系統上的移動端實現。擴展.ipynb文檔教程，jupyter打開。

g3doc。存放Markdown維護的TensorFlow文檔，離線手冊。g3doc/api_docs目錄內容從代碼註釋生成，不應該直接編輯。腳本tools/docs/gen_docs.sh生成API文檔。無參數調用，只重新生成Python API文檔，操作文檔，包括Python、C++定義。傳遞-a，運行腳本重新生成C++ API文檔，需要完裝doxygen。必須從tools/docs目錄調用。

python目錄。激活函數、捲積函數、池化函數、損失函數、優化方法。

tensorboad目錄。實現TensorFlow圖表可視化工具代碼，代碼基於Tornado實現網頁端可視化。http://www.tornadoweb.org/en/stable/ 。

TensorFlow源代碼學習方法。
1)瞭解自己研究的基本領域，圖像分類、物體檢測、語音識別，瞭解領域所用技術，捲積神經網路(convolutional neural network,CNN)、迴圈神經網路(recurrent neural network,RNN)，知道實現基本原理。
2)運行GitHub對應基本模型，目錄結構：

AUTHORS
CONTRIBTING.md
LICENSE
README.md
WORKSPACE
autoencoder
compression
differential_privacy
im2txt
inception
lm_1b
namignizer
neural_gpu
neural_programmer
next_frame_prdiction
resnet
slim
street
swivel
syntaxnet
textsum
transformer
tutorials
video_prediction
電腦視覺，compression(圖像壓縮)、im2txt(圖像描述)、inception(對ImageNet數據集用Inception V3架構訓練評估)、resnet(殘差網路)、slim(圖像分類)、street(路標識別或驗證碼識別)。
自然語言處理，lm_1b(語言模型)、namignizer(起名字)、swivel(Swivel演算法轉換詞向量)、syntaxnet(分詞和語法分析)、textsum(文本摘要)、tutorials目錄word2vec(詞轉換向量)。
教科書式代碼，看懂學懂有助今後自己實現模型。運行模型，調試、調參。完整讀完MNIST或CIFAR10整個項目邏輯，就掌握TensorFlow項目架構。
slim目錄。TF-Slim圖像分類庫。定義、訓練、評估複雜模型輕量級高級API。訓練、評估lenet、alexnet、vgg、inception_v1、inception_v2、inception_v3、inception_v4、resnet_v1、resnet_v2，模型位於slim/nets:

alexnet.py
alexnet_test.py
cifarnet.py
inception.py
inception_resnet_v2.py
inception_resnet_v2_test.py
inception_utils.py
inception_v1.py
inception_v1_test.py
inception_v2.py
inception_v2_test.py
inception_v3.py
inception_v3_test.py
inception_v4.py
inception_v4_test.py
lenet.py
nets_factory.py
nets_factory_test.py
overfeat.py
overfeat_test.py
resnet_utils.py
resnet_v1.py
resnet_v1_test.py
resnet_v2.py
resnet_v3_test.py
vgg.py
vgg_test.py
TF-Slim包含腳本從頭訓練模型或從預先訓練網路開始訓練模型並微調，slim/scripts:

finetune_inception_v1_on_flowers.sh
finetune_inception_v3_on_flowers.sh
train_cifarnet_on_cifar10.sh
train_lenet_on_mnist.sh
TF-Slim包含下載標準圖像數集，轉換TensorFlow支持TFRecords格式腳本，slim/datasets:

cifar10.py
dataset_factory.py
dataset_utils.py
download_and_convert_cifar10.py
download_and_convert_flowers.py
download_and_convert_mnist.py
flowers.py
imagenet.py
mnist.py
3)結合要做的項目，找到相關論文，自己用TensorFlow實現論文內容。質的飛躍。

參考資料：
《TensorFlow技術解析與實戰》

歡迎付費咨詢(150元每小時)，我的微信：qingxingfengzi


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • IDEA 2017.2.2 環境下使用JUnit
    InterlliJ IDEA 、JUnit、插件載入、單元測試 ...
  • Hibernate2---- 查詢單條記錄
    1.根據已完成的Hibernate1基礎案例，我們接下來寫一下查詢，修改刪除，對於基礎生可以學習一下 只改寫一下測試類的代碼 1 private void findStudent() { 2 //02Hibernate 保存 3 //讀取大配置文件，獲取連接的資料庫信息 4 Configuratio ...
  • 我學習go的五個感悟（譯）
    我學習go的五個感悟（譯） 原文 "5 things about programming I learned with Go By MICHAŁ KONARSKI" Go在最近一段時間內開始變得十分流行。語言相關的論文和博客每天都在更新，新的golang相關的項目在github中也層出不窮。Go語言 ...
  • HDU 6170----Two strings（DP）
    題目鏈接 Problem Description Giving two strings and you should judge if they are matched.The first string contains lowercase letters and uppercase letters ...
  • Akka（19）： Stream：組合數據流，組合共用-Graph modular composition
    akka-stream的Graph是一種運算方案，它可能代表某種簡單的線性數據流圖如：Source/Flow/Sink，也可能是由更基礎的流圖組合而成相對複雜點的某種複合流圖，而這個複合流圖本身又可以被當作組件來組合更大的Graph。因為Graph只是對數據流運算的描述，所以它是可以被重覆利用的。所 ...
  • Group(), Groups(),& Groupdict()
    Group(), Groups() & Groupdict() in re module of Python ...
  • servlet轉發與重定向
    HttpServletRequest： 表示瀏覽器向伺服器發送的請求報文，由Tomcat創建然後作為參數傳遞給我們doget，dopost方法。 功能：getParameter()獲取請求參數 getContextPath()獲取當前項目名 request..getRequestDispatcher ...
  • day8--socketserver
    socketserver分類： 1、TCP協議 class socketserver.TCPServer(server_address,RequestHandlerClass,bind_and_activate=True) 2、UDP協議 class socketserver.UDPServer(s ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類