第一讲：TensorFlow概览

人生苦短，我用Python
文：郑元春

从TF的Github的首页上转的图

之前在搜索TF的各种学习资料的时候，搜索的大部分结果都是直接开始上代码。虽然跟着注释能够看懂一次，但是真正要自己开始动手写的时候就会发现真的是很难实现。分析原因有如下：

1. 不知道TF的整体的架构；
2. 不熟悉各种方法函数；
3. 不了解求导的详细过程；
4. 不知道自己写的代码是不是对的；

对于上面列出的几点原因，除了第三点需要详细了解TF的源码之外，其他的三点都是可以解决的。首先，第一点，TF的架构需要自己去推倒出来，少不了要过一遍部分源码。其次，第二点，只能精读其API文档了。最后一点则是需要借助TensorBoard这个强有力的工具去查看了，所以之后我的笔记中可能有的是最简单的例子也要借助TensorBoard去可视化整个网络。这样既能理解了网络的结构，也能够很容易的debug了。

---

对于整个的TensorFlow，需要清楚TF涉及到的各种概念和设计思想。

对于官网上面解释的TF的架构，大部分都在阐述分布式计算和并行计算了，这也是对于最初的Google发表的那篇文章《Large Scale Distributed Deep Networks》的初衷了。但是大部分人在使用TF的时候，至少在入门的时候，并不需要分布式的计算。所以这里也就不对官网的架构进行过多的详解了。

先上个动图给大家看看

上面的动态图可以详细的展示出数据的计算过程（可以类比神经网络的前向计算过程），整个的图就是一个Data Flow Graph。在TF中，使用图表示计算过程，这里的图是DAG（有向连接图）。所有的计算过程都是按照图中连线的方向开始的。

可以看到上面的图主要的就是Node和Edge组成，其他的像Layer和Trainer这些SubGraph可以看成是一些抽象。只要记住两个主要的要素：Node+Edge，其中Node对应的则是TF中的Operation，Edge则表示的数据本身对应的是TF中的Tensor，所以TF的基本要素就是Tensor+Operation。

使用TensorFlow的时候，我们需要做的事情只有两件：定义Data Flow Graph；在session中运行DAG。相当于我们只需要执行神经网络中的网络定义就可以，只需要按照图结构定义好我们的网络，那么TF就会借助自动微分算法将模型算法的偏导数自动计算出来，也就是不需要我们去显式的计算导数。

---

1、定义Data Flow Graph

在还没有在session中运行DAG之前，我们所有的操作都是在定义图结构。就像是先定义变量，此时的所有的定义只是一种符号化的标记（姑且先这么解释），变量里面并没有什么实际的value。这里的变量包括了模型的输入和模型的各种参数，以及一些其他模型需要的数据。

加法操作的TensorBoard可视化

  对于上图的加法计算的图模型，相应的代码可以这么写：

#coding:utf8
import tensorflow as tf

#定义数据流图
with tf.name_scope("input"):
    a=tf.constant(value=1,name="a")
    b=tf.constant(value=2,name="b")
with tf.name_scope("add"):
    adder_no=tf.add(a,b,name="a_add_b")

#开启session，开始运行图
with tf.Session() as sess:
    writer = tf.summary.FileWriter( './add', sess.graph)
    result=sess.run(adder_no)

  可以看到在TensorBoard（后面简写为TB）中可视化出了我们的加法操作图模型，代码现在看不懂不要紧，之后的笔记里面也会基本每一段程序都会使用可视化操作。一是为了锻炼自己的代码写作和对API的了解。而是为了更好的思考算法和模型。在TB的 tab下面可以通过折叠或是展开某个subgraph看到详细的结构，当点击每个Node的时候，右边的tab会显示出当前选中的Node的详细信息。

  在没有创建Session对象并调用run方法之前，我们定义的所有的Node，Tensor或是Operation都是形式上的操作，并没有牵扯到实际的计算，这也算是一种lazy running的思想吧，真正的计算过程都在session中。

2、执行图操作

  定义好了需要计算的图结构之后，就可以使用session将所有的计算任务分配到底层的计算接口上（c的实现）。所以可以将Session看做是一个连接Graph和实际计算的一个人Driver。
  session在自己的生命周期内持有着很多的资源，比如tf.Variable,tf.QueneBase,tf.ReaderBase.,所以在使用完毕之后要记得及时关闭，可以显示的调用close()方法或是使用with自动上下文。你可以将TF的执行看做是上面的gif图的动态形式。

#1. using close()
sess=tf.Session()
sess.run(...)
sess.close()
#2. using with
with tf.Session() as sess:
    sess.run(...)

---

牵扯到的概念

1. Tensor
     * Constant *
     * Sequences *
     * Random *
2. Session
     * Session *
     * InteractiveSession *
     * get_default_session() *
3. Graph
     * Graph *
     * GraphDef *
     * GraphKeys *
     * GraphOptions *
4. TensorBoard
5. Variable

总结：

Data Flow Graph = Node + Edge
          ||   ||
  TensorFlow   = Tensor+Operation

TF分为两步来操作：

1. Data Flow Graph 的静态定义
2. 实际的计算操作

---

参考：

1. TensorFlow中文社区
2. TensorBoard的代码及其可视化
3. 极客学院-TF中文文档