神经网络1：应用图像识别：CNN语言识别：RNN循环神经网络机器翻译：RNN自动驾驶仪：混合神经网络 结构化数据：用户指标，房屋特征非结构化数据：音频文本图像 深度学习为何突然走红：前期数据量不大，机器学习随着数据量的增加依然表现良好，但随着数据量的增加，无法应对大量数据 大规模神经网络模型随着数据量的增加性能更好。对于小规模数据，效率取决于算法和设计组件。对于大规模数据，效率取决于数据量、算力和算法 后勤：二分法使用中的问题：是否（cat）输入：6464图，即特征向量转化为64643 n：特征值长度，m个样本数(x，y)样本m：训练集输入数据矩阵x{x1，x2，x3，x4，-xm}，每个xi是一个n维列向量，矩阵形成nmhttp://www.zhucesz.com/(nx，m)真值矩阵y=[y1，y2，y3，cym]，1*m矩阵实际输出z(i)=wt(i)x(i)+b(i)y=sigmod(z(i)y(i)训练样本的预测值[为什么我们希望输出落在0到1之间]sigmod函数表达式:1/1+e(-z) L=-(y*log(y)+(1-y)log(1-y))如果y=1:L=logy，希望y尽可能大，但总是0 成本函数:J(w，b)=1/m西格玛(i=1-m)L(y，y)。也就是说，损失函数之和被平均，描述模型精度的标准目的是选择合适的 使它尽可能小 选择w和B的方法：梯度下降法：沿此点的最大导数方向移动w:=W-αDJ/DW（可理解为DJ/DW1[Δw=1])B:=B-αDJ/DB logistic回归：代价函数是凸的，不存在多个局部最优解。推导过程：若仅X1,X2:L=-(yolg+(1-y)log(1-y))dL=-y/y+(1-y)/1-y dy[图中用(da)表示] y=1/1+e(-z)dy=e(-z)*1/[1+e(-z)]2=Y(1-y)dz[dl/da] 所以(dz)“只是一个名字，不是导数”=dl/da*da/dz=y-yz=w1x1+w2x2+b dz=x1dw1dz=x2dw2dz=db概括地说:w1:=w1-(y-y)*x1w2:=w2-(y-y)*x2b:=bC(y-y)1实际中：输入数据为nm维矩阵，即m n维输入数据向量方法：使用向量运算避免循环使用numpy 循环Z=[z1,z2,z3,z4,Z5------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- T Python：广播机制 当神经网络分析为标准层时，变为零层W[1]T=(4,3)B1 W[2]T(1,4)B1 每个神经元分为两部分，分别计算:z(i)=wt(i)x+BA(i)=sigmod(z(i))。因此，在如图所示的神经网络中，输入层:X=[x1,x2,x3]t(3,1）隐层：节点i z(i)=wtx+b(i)wt(i)是w(i)(1,3)b(i)的转置矩阵，则该层w矩阵（3,4)b(1,4)a(i)=sigmod(z(i))输出层:z=wt*X+BW是w(4,1)b(1,1)b的转置矩阵，则该层w矩阵（4,1)b(=sigmod(z(i))是整个神经网络的前向输出