這個文檔和附帶的劇本具體先容了如何構建針對各類系統和網絡拓撲的高機能可拓展模子。這個技能在本文檔頂用了一些初級的 Tensorflow Python 基元。在將來，這些技能將被并入高級 API。

輸入管道

機能指南敘述了如何診斷輸入管道大概存在的問題及其最佳辦理要領。在利用大量輸入和每秒更高的采樣處理懲罰中我們發明 tf.FIFOQueue 和 tf.train.queue_runner 無法利用當前多個 GPU 生成飽和，譬喻在利用 AlexNet 練習 ImageNet 時。這是因為利用了 Python 線程作為底層實現，而 Python 線程的開銷太大了。

我們在劇本中回收的另一種要領是通過 Tensorflow 中的本機并行構建輸入管道。我們的要領主要由如下 3 個階段構成：

I/O 讀取：從磁盤中選擇和讀取圖像文件。 圖像處理懲罰：將圖像記錄解碼為像素、預處理懲罰并生成最小批量。 CPU 到 GPU 的數據傳輸：將圖像從 CPU 傳輸至 GPU。

通過操作 data_flow_ops.StagingArea，每個階段的主要部門與其他階段并行執行。StagingArea 是一個像行列（queue）一樣且雷同于 tf.FIFOQueue 的運算符。差異之處在于 StagingArea 提供了更簡樸的成果且可在 CPU 和 GPU 中與其他階段并行執行。將輸入管道拆分為 3 個獨立并行操縱的階段，而且這是可擴展的，充實操作大型的多核情況。本節的余下部門將具體先容每個階段以及 data_flow_ops.StagingArea 的利用細節。

并行 I/O 讀取

data_flow_ops.RecordInput 用于磁盤的并行讀取。給定一個代表 TFRecords 的輸入文件列表，RecordInput 可利用靠山線程持續讀取記錄。這些記錄被安排在大型的內部池中，當這個池加載量到達其容量的一半時，會有相應的張量輸出。這個操縱有其內部線程，線程由占用最少的 CPU 資源的 I/O 時間主導，這就答允它可與模子的其余部門并行運行。

并行圖像處理懲罰

從 RecordInput 讀取圖像后，它們作為張量被通報至圖像處理懲罰管道。為了更利便表明圖像處理懲罰管道，假設輸入管道的方針是 8 個批量巨細為 256（每個 GPU 32 個）GPU。256 個圖像記錄的讀取和處理懲罰是獨立并行的。從圖中 256 個 RecordInput 讀操縱開始，每個讀取操縱后都有一個與之相匹配的圖像預處理懲罰操縱，這些操縱是互相獨立和并行執行的。這些圖像預處理懲罰操縱包羅諸如圖像解碼、失真和調解巨細。

當圖像通過預處理懲罰器后，它們被聯接成 8 個巨細為 32 的張量。為了到達這一目標，利用了 tf.parallel_stack，而不是 tf.concat ，目標作為單一操縱被實現，且在將它們聯絡在一起之前需要所有輸入籌備停當。tf.parallel_stack 將未初始化的張量作為輸出，而且在有張量輸入時，每個輸入的張量被寫入輸出張量的指定部門。

當所有的張量完成輸入時，輸出張量在圖中通報。這有效埋沒了由于發生所有輸入張量的長尾（long tail）而導致的內存延遲。

并行從 CPU 到 GPU 的數據傳輸

繼承假設方針是批量巨細為 256（每個 GPU 32 個）8 個 GPU，一旦輸入圖像被處理懲罰完并被 CPU 聯接后，我們將獲得 8 個批量巨細為 32 的張量。Tensorflow 可以使一個設備的張量直接用在任何其他設備上。為使張量在任何設備中可用，Tensorflow 插入了隱式副本。在張量被實際利用之前，會在設備之間調治副本運行。一旦副本無法定時完成運行，需要這些張量的計較將會遏制而且導致機能下降。

在此實現中，data_flow_ops.StagingArea 用于明晰排定并行副本。最終的功效是當 GPU 上的計較開始時，所有張量已可用。

軟件管道

由于所有的階段都可以在差異的處理懲罰器下運行，在它們之間利用 data_flow_ops.StagingArea 可使其并行運行。StagingArea 是一個與 tf.FIFOQueue  相似且像行列（queue）一樣的運算符，tf.FIFOQueue  提供更簡樸的成果可在 CPU 和 GPU 中被執行。

在模子開始運行所有的階段之前，輸入管道階段將被預熱，以將其間的分段緩存區置于一組數據之間。在每個運行階段中，開始時從分段緩沖區中讀取一組數據，并在最后將該組數據推送。

譬喻有 A、B、C 三個階段，這之間就有兩個分段區域 S1 和 S2。在預熱時，我們運行：

預熱竣事之后，S1 和 S2 各有一組數據。對付實際執行的每個步調，管帳算一組來自分段區域的數據，同時分段區域會添加一組新數據。

此方案的長處是：

所有的階段都長短阻塞的，因為預熱后分段區域總會有一組數據存在。 每個階段都可以并行處理懲罰，因為它們可以當即啟動。 分段緩存區具有牢靠的內存開銷，并至多有一組特另外數據。 運行一個步調的所有階段只需要挪用 singlesession.run()，這使得闡明和調試越發容易。 構建高機能模子的最佳實踐

以下收集的是一些特另外最佳實踐，可以改進模子機能，增加模子機動性。

利用 NHWC 和 NCHW 建模

CNN 利用的絕大大都 Tensorflow 操縱都支持 NHWC 和 NCHW 數據名目。在 GPU 中，NCHW 更快；可是在 CPU 中，NHWC 只是偶然更快。