Coursera Deep Learning笔记 逻辑回归典型的训练过程

Deep Learning 用逻辑回归训练图片的典型步骤. 学习Coursera上吴恩达老师Deep Learning第一课程前两周的笔记.

1. 处理数据

1.1. 向量化(Vectorization)

将每张图片的高和宽和RGB展为向量, 最终X的shape为 (height*width*3, m) .

1.2. 特征归一化(Normalization)

对于一般数据，使用标准化(Standardization), z_i = (x_i - mean) / delta , mean 与 delta 代表X的均值和标准差. 最终特征处于[-1, 1]区间.

对于图片, 可直接使用Min-Max Scaling, 即将每个特征除以255(每个像素分为R, G, B, 范围在0~255)使得值处于[0, 1].

2. 初始化参数

一般将 w 和 b 随机选择. 作业为了方便设为0了.

3. 梯度下降(Gradient descent)

根据 w , b 和训练集，来训练数据. 需要设定迭代次数与学习率.

以下为大循环(迭代次数)中内容:

3.1. 计算代价函数

对于\(x^{(i)} \in X\), 有

\[z^{(i)} = w^T x^{(i)} + b\]

\[ a^{(i)} = \hat{y}^{(i)} = sigmoid(z^{(i)}) = \sigma (z^{(i)}) = \frac{1}{1 + e^{-z^{(i)}}} \]

\[\mathcal{L}(a^{(i)}, y^{(i)}) = - y^{(i)} \log(a^{(i)}) - (1-y^{(i)} ) \log(1-a^{(i)})\]

\[ A = (a^{(1)}, a^{(2)}, ... , a^{(m-1)}, a^{(m)}) = \sigma(w^TX+b) = \dfrac{1}{1+e^{-(w^TX+b)}} \]

\[ J = -\dfrac{1}{m} \sum^{m}_{i=1} \mathcal{L}(a^{(i)}, y^{(i)}) = -\dfrac{1}{m} \sum^{m}_{i=1} (y^{(i)} log(a^{(i)}) + (1-y^{(i)}) log(1-a^{(i)})) \]

# 激活函数
A = sigmoid(w.T.dot(X) + b)
# 代价函数
cost = -np.sum(Y * np.log(A) + (1-Y) * np.log(1 - A)) / m

3.2. 计算反向传播的梯度

即计算导数. > 注: 此处 \(L(a, y)\) 即上面公式的 \(\mathcal{L}(a^{(i)}, y^{(i)})\) . 即 \(L(a, y) = -y \log (a) -(1-y) \log (1-a)\) . 以下公式都省略了上标.

\[ \dfrac{\partial L}{\partial a} = \dfrac{\partial L(a, y)}{\partial a} = -\frac{y}{a} + \frac{1-y}{1-a} \]

\[ \dfrac{da}{dz} = (\frac{1}{1 + e^{-z}})' = \dfrac{e^{-z}}{(1+e^{-z})^2} = \dfrac{1}{1+e^{-z}} - \dfrac{1}{(1+e^{-z})^2} = a-a^2 = a · (1-a) \]

\[ \dfrac{\partial L}{\partial z} = \dfrac{\partial L}{\partial a} \dfrac{da}{dz} = (-\dfrac{y}{a} + \dfrac{1-y}{1-a}) · a · (1-a) = a - y \]

\[ \dfrac{\partial L}{\partial w} = \dfrac{\partial L}{\partial z} \dfrac{\partial z}{\partial w} = (a-y) · x \]

\[ \dfrac{\partial L}{\partial b} = \dfrac{\partial L}{\partial z} \dfrac{\partial z}{\partial b} = a-y \]

根据 \(J = -\dfrac{1}{m} \sum L(a, y)\) 最终可得：

\[ \dfrac{\partial J}{\partial w} = \dfrac{\partial J}{\partial a} \dfrac{\partial a}{\partial w} = \dfrac{1}{m} X(A-Y)^T \]

\[\dfrac{\partial J}{\partial b} = \dfrac{1}{m} \sum^{m}_{i=1} (a^{(i)} - y^{(i)})\]

dw = X.dot((A - Y).T) / m
db = np.sum(A - Y) / m

3.3. 更新 w , b

w = w - learning_rate * dw
b = b - learning_rate * db

4. 预测测试集

使用训练出来的 w , b , 对测试集使用 y_pred = sigmoid(wx+b) , 计算得预测的概率, 对其取整, 例如大于0.7则判定为'是', 否则为'否'. Coursera作业是0.5就判定为'是', 那么使用内建函数四舍五入即可.