机器学习第四周学习笔记

新词

• Neuron: 神经元
• Dendrite: 树突
• Axon: 轴突
• Neural Network: 神经网络
• Mesh: 网孔；网状物；罗网
• Grayscale: 灰度的
• Intensity: 强度

感想

• 终于接触到了机器学习领域的"真正的技术" -- 神经网络。
• 一个神经网络有一个input layer, 一个output layer，中间可能有多层hidden layer.
• 在神经网络里面我们使用的还是sigmoid函数，但是在神经网络这个场景里面它经常被叫做activation function, 而sigmoid里面的theta在神经网络里面经常被叫做weights(权重)，而不是parameter。
• Bias Unit，相当于Linear Regression里面的theta0，它始终返回1。
• 神经网络看起来是一群组合起来的Logistic Regression, 他们都使用Sigmoid Function，从这个角度看是不是可以看成: Clustered Logistic Regression？
• 从另外一个角度看，神经网络会“自创”新的Feature，它利用原始的Feature计算出新的其他的Feature，来更好的拟合输入输出(而不用我们自己手动去造polynomial feature)。
• 利用逻辑回归无法做一些复杂的模型，因为它本身是线性的classifier，我们可以添加更多的feature(比如polynomial feature), 但是这样的性能会比较低。
• 在OneVsAll里面，对于一个具体的case来说，针对所有label计算出来的classifier值加起来不一定等于1，因为这些值并不是概念(probability), 更准确的叫法应该是置信因数(confidence factor)，对所有labe的置信因子加起来当然不是1。
• 哥也算是写过神经网络代码(实现过cost function, 实现过hypothesis function)的人了啊。