King of Data
数据为王
模型训练的第一步并不是一上来就开始写训练代码，而是先观察数据。要花费足够多的时间，查看上千帧图像来 …
Detection Framework
Table of Contents
二阶段检测网络
RPN 部分
Summary: RPN部分输入feature的由来，如何根据feature与GT生成学习目标
输入图像经过主干网络backbone提取得到高层语义特征 …
Batch Normalization
Abstract
在训练网络时，前一层的参数变化会使得后一层输入的分布发生变化，导致训练过程复杂化。 这就要求设置更低的学习 …
Deep learing milestone
2012-AlexNet
NIPS-Alex Krizhevsky (Geoffrey E. Hinton)
[ImageNet Classification with Deep Convolutional Neural Networks] (https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf)
预处理: Subtracting the mean activity over the training set from each pixel.
2014-VGG
arXiv-K. Simonyan, A. Zisserman
[Very Deep Convolutional Networks for Large-Scale Visual Recognition] (http://www.robots …
Unsupervised learing with DCGAN
本文介绍GAN的扩展：使用 Convolution 网络进行非监督式学习，得到图像层级式的特征表示以及做一些扩展应用。
Introduction
使用GAN 进行 representation learning …
Generative adversarial network
Contribution
文章提出了一个新的框架：通过对抗过程（adversarial）来评估生成式模型（generative model）。 框架内容：同时训练两个模型，一个生成式模型 $G$ 拟 …
Regularization part I
机器学习与优化问题的不同在于：机器学习的目标是在测试集上有较小的泛化误差（generalization error），优化问题是将当前问题最优解 …
Deep visual semantic alignments for generating image descriptions
Image Caption
Deep residual learning for image recognition
目标
使用残差（Residual）学习框架，简化非常深的网络的优化过程。
方法
显式地将网络层定义为学习相对于输入的残差函数，而不 …
NNDL Chap 1
感知机(perceptrons)
定义: 接收数量不定的二进制输入，得到一个二进制输出。
$$ output= \begin{cases} 0 & \text{if $\sum_j{w_jx_j} \leq$ threshold} \\ 1 & \text{if $\sum_j{w_jx_j} \gt$ threshold} \end{cases} $$
可以理解 …
NNDL Chap 2
Backpropagation Algorithm
在上一单讲梯度优化时讲到，偏导 $\partial{C}/\partial{w}$ 体现的是权重 $w$ 的变化对损失函数 $C$ 的影响。 怎么计算参数的梯度呢？答 …
Fully convolutional networks for semantic segmentation
文章介绍如何训练 end-to-end (端到端, 输入不需要处理, 输出即为所得), pixels-to-pixels (像素级的映射) 的卷积网络用于 semantic segmentation (语义分割).
key insignt: 构建 fully …
Caffe reading - loss layer
在优化深度网络时，首先要根据损失函数计算 loss，但它对计算梯度是没有用的， 因为 loss 对最后一层的误差敏感项 $\delta$ 可以根 …