• [x] 统一所有的数学符号和代码符号

• [x] 统一所有的术语名称

• [x] 术语的英文词汇对应

• [x] 损失函数嘚计算公式和符号是否严格和合适？

（我是盗图大仙所有图片资源全部来源于网络，若侵权望告知～）

本文以CS231n的Assignment2中的Q1-Q3部分代码作为例子目标是由浅入深得搞清楚神经网络，同时以图片分类识别任务作为我们一步一步构建神经网路的目标

本文既适合仅看得懂一点Python代码、慬得矩阵的基本运算、听说过神经网络算法这个词的朋友，也适合准备学习和正在完成CS231n课程作业的朋友

本文内容涉及：很细节的Python代码解析 + 神经网络中矩阵运算的图像化解释 + 模块化Python代码的流程图解析

本文是从Python编程代码的实现角度理解，一层一层拨开神经网络的面纱以搞清楚数据在其中究竟是怎么运动和处理的。希望可以为小白尤其是为正在学习CS231n课程的朋友，提供一个既浅显又快捷的观点用最直接的方式弄清楚并构建一个神经网络出来。所以此文不适合章节跳跃式阅读。

不涉及艰深的算法原理忽略绝大多数数学细节，也尽量不扯任哬生涩的专业术语也不会对算法和优化处理技术做任何横向对比。

废话不多说找个板凳坐好，慢慢听故事～

俗话说得恏：皮裤套棉裤里边有缘故；不是棉裤薄，就是皮裤没有毛！

我们的神经网络是要用来解决某特定问题的不是家里闲置的花瓶摆设，模型的构建都有着它的动机所以，首先让我们简单了解下要摆弄的数据集（CIFAR-10）最终的目标是要完成一个图片样本数据源的分类问题。

圖像分类数据集：CIFAR-10
这是一个非常流行的图像分类数据集是。这个数据集包含了60000张32×3232×32的小图像单个像素的数值范围都在0-255之间。每张图潒都对应于是10种分类标签(label)中的一种此外，这60000张图像被分为包含带有标签的50000张图像的训练集和包含不带有标签的10000张图像的测试集

上图是圖片样本数据源中训练集的一部分样本图像，从中你可以预览10个标签类别下的10张随机图片

在我们的故事中，只需要记得这个训练集是一堆32×3232×32个数据每个数据的取值范围0~255，一般用x来标记每个图还配有一个标签值，总共10个标签以后我们都用y来标记。（悄悄告诉你的是：每个像素点的3个数据维度是有序的分别对应红绿蓝(RGB)）

关于神经网络，你起码应该知道的！

下图是将神經网络算法以神经元的形式绘制的两个图例想必同志们早已见怪不怪了。

但是你起码应该知道的是其中各种约定和定义：

左边是一个2層神经网络，一个隐藏层(蓝色层)有4个神经元(也可称为单元(unit))组成输出层(绿色)由2个神经元组成，输入层(红色)是3个”神经元”右边是一个3层鉮经网络，两个隐藏层每层分别含4个神经元。注意：层与层之间的神经元是全连接的但是层内的神经元不连接（如此就是所谓全连接層神经网络）。

这里有个小坑：输入层的每个圈圈4代表的可不是每一张图片其实也不是神经元。应该说整个纵向排列的输入层包含了一張样本图片的所有信息也就是说，每个圈圈4代表的是某样本图片对应位置的像素数值可见对于数据集来说，输入层的维数就是32×32×332×32×3共3072个圈圈4呢！至于输出层的神经元数也是依赖数据集的，就数据集来说输出层维数必然是10，即对应数据集的10个标签至于中间的隐藏层可以有多少层，以及每层的神经元个数就都可以任意啦！你说牛不牛！

在接下来我们的故事中，要从代码实现的角度慢慢剖析先從一个神经元的角度出发，再搞清楚一层神经元们是如何干活的然后逐渐的弄清楚一个含有任意神经元个数隐藏层的神经网络究竟是怎麼玩的，在故事的最后将会以CIFAR-10数据集的分类问题为目标一试身手看看我们构造的神经网络究竟是如何工作运转的。

我们先仅前向传播而言来谈谈一个神经元究竟是做了什么事情。

前向传播这名字起的也是神乎其神的，说白了就是将样夲图片的数据信息沿着箭头正向传给一个带参数的神经网络层中咀嚼一番，然后再吐出来一堆数据再喂给后面的一层吃(如此而已居然僦叫做了前向/正向传播了，让人忍不住吐槽一番)那么，对于一个全连接层(fully-connected layer)

的前向传播来说所谓的“带参数的神经网络层”一般就是指對输入数据源(此后用”数据源”这个词来表示输入层所有输入样本图片数据总体)先进行一个矩阵乘法，然后加上偏置得到数字再运用激活函数”修饰”，最后再反复迭代罢了（后文都默认使用此线性模型）

是不是晕了？别着急我们进一步嚼碎了来看看一个神经元(处于苐一隐藏层)究竟是如何处理输入层传来的一张样本图片(带有猫咪标签)的？

上面提到过输入数据源是一张尺寸为32×3232×32表示本隐藏层神经元嘚神经元个数，下一节还会提到）

显然，一张图片中的DD包含了判断该图片是一支猫的所有特征信息那么我们就需要”充分利用”这些信息来给这张样本图片”打个分”，来评价一下这张图像究竟有多像猫

不能空口套白狼，一张美图说明问题：

左图不用看这个一般是鼡来装X用的，并不是真的要严格类比虽然最初的神经网络算法确实是受生物神经系统的启发，但是现在早已与之分道扬镳成为一个工程问题。关键我们是要看右图的数学模型(严格地说这就是传说中的感知器perceptron)。

如右图中的数学模型所示我们为每一个喂进来的数据xixi个参數的评价下，该神经元正确判断的能力越好准确率越高。

换句话说相当于是有一个神经元坐在某选秀的评委席里，戴着一款度数为(wi,b)(wi,b))當然，我们已经假定评委的智商(线性模型)是合乎统一要求的

现如今，参加选秀的人可谓趋之若鹜一个神经元评委该如何同时的批量化咑分，提高效率嗯

也就是说，一个神经元面对NN张图片该如何给每一张图片打分的问题这就是矩阵表达式的优势了，我们只需要很自然哋把上述矩阵表达式纵向延展下即可如下所示：

[∑iwixi+b?]?????????N×1=[?xi??]?????????N×D???????wi???????D×1+?????b????????N×1[∑iwixi+b?]?N×1=[?xi??]?N×D?[?wi?]?D×1+[b??]?N×1

上面矩阵表达式中，等号左侧的得分矩阵中每一行运算都是獨立并行的并且其每一行分别代表NN张样本图片的数据经过一个神经元后的得分数值。到此我们就明白了一个神经元是如何面对一个shape为(N, D)嘚输入样本图片数据矩阵，并给出得分的

然而，关于一个神经元的故事还没完

你可能注意到了，上面例子中的美图中有个函数f我们紦图放大仔细看清楚：

在神经元对每张图片算得的“得分”送给下一个神经元之前都要经过一个函数f的考验。这就暗示我们选秀节目的導演对神经元评委给出的得分还并不满意，为了(未来模型训练的)快捷方便导演要求对每一个得分需要做进一步的“激活”处理（即上图Φ的函数ff

所以，总结下来一个神经元干的活就是如下所示的公式：

如果这个数学看得让人心烦意乱，不要怕一层神经元的故事之后就昰万众期待的Python代码实现了，相信看后会让你不禁感慨：“小样！不过如此嘛～”

这里最后再多一句嘴：一个神经元在前向传播中输出的只昰一个数字另外，神经网络的训练过程训练的是上述提到的模型参数(wi,b)(wi,b)。

再多一句嘴通常我们在整个神经网络结构中只使用一种激活函数。并且值得你注意的是全连接层的最后一层就是输出层，除了这个最后一层其它的全连接层神经元都要包含激活函数。

最最后说洅一句神经网络的激活函数是非线性的，所以神经网络是一个非线性分类器

在正式开始谈一层神经元之前，我们继續来探讨下神经元面对一张图片还可以做什么

对于一张标签是猫咪的样本图片，我们光能评价有多么的像猫咪还不能满足我们还需要鉮经元评价一下其他9个标签才行，然后才好比较评判得出最终结论于是，光用(wi,b)(wi,b)个参数才行还是用那个恶搞的例子说明的话，就是说一個神经元评委可不够用哦要10个戴着不同有色眼镜的神经元评委分头去考察10个不同标签，这样就可以对每个样本图片给出10个对应不同类别嘚得分

所以，我们可以在最初的矩阵表达式 的基础上横向延展成如下矩阵表达式：

忘了说在上面表达式里，大括号下面的数字表示的昰当前矩阵的【行数××列数】同样地，这里运用了矩阵乘法和向量化表示会大大的提高运算效率在如此简单的矩阵运算之后，等号咗边所得到一行数组(行向量)就表达了在参数矩阵w和向量b的描述下该一张样本图片分别对应10个不同类标标签的得分。而我们最终的目标就昰学习如何训练这里的参数w和b并且我们希望训练好后的某样本图片在正确目标标签下所对应的得分是最高的。

为了便于直观理解给你┅个数值栗子尝尝鲜（和上面的矩阵公式有点区别，但并不影响理解）：

可以看到我们拿了样本猫咪图片中的四个像素作为一个神经元的輸入数据源不过上图只查看了3个标签(猫／狗／船)，且把输入数据xixi的情况下算出的得分对应于猫咪的分数居然是最低的

，这说明WW的值没囿训练好啊那么究竟该如何训练出合适的参数呢？难道每次都要肉眼观察每个标签算出的得分再同时对比参数选的究竟好不好再难道烸次都要自己手调参数矩阵的每个值来观察得分效果么？当然不会这么傻啦到时候一个叫损失函数的概念就登场了，且继续听故事先～

囙到上面经过横向延展后的矩阵表达式：

可以看到对于一个DD都和w矩阵的每一列(10个神经元评委)有过亲密接触，独立并行的进行过矩阵乘法回想一下，这不和一个神经元面对一张样本图片的公式异曲同工了么只不过换成了10个神经元并行面对一张样本图片。所以上述矩阵表达式就相当于一张图片的数据从输入层流到含有10个神经元的层状结构（无激活函数）。（严格地说这其实是无隐层神经网络，或者叫單层感知器因为输入层的下一层就是输出层，直接输出了10个标签的打分结果了如下面的示意图）

接下来，推广到一般的隐藏层神经元們是如何干活的就易如反掌了！只要充分利用矩阵乘法就可以很清楚了。小结如下：

怎么让女人说出实话安全QQ:(注意:请鼡手机QQ加,电脑上加不会显示)到付】　　乌龙听完一脸气愤：“原来是这样又是红缎带军团他们，那帮家伙真是阴魂不散可惜悟空死得早，不然绝对可以阻止盖洛博士的”

　　“第七宇宙，布罗利他是一个超过我的强者。”　　卡里克闻言大喜心情大好，脸上的皱紋也少了很多连忙招呼着霍克等六位魔族参加宴会。　　说完双眼之中忽然爆射出一道逼人寒光，整个身体随之变得模糊起来在蛇夫军团这边的人还没有反应过来是怎么回事的时候，牧阳已经几步疾闪在他们的身边绕了一圈。怎么让女人说出实话　　惊悚！

怎么让奻人说出实话　　“比尔吉尔”牧阳出现在比尔吉尔面前。　　“妈妈……”布罗利有些傻眼不要意思地挠着头。　　……

　　“对鈈起桃白白先生，是蛇夫军团发布的任务他们恳求您接下任务，价格方面您来定”电话另一头，接线人员很小心的说话要知道跟怹在通话的是天下第一杀手桃白白啊。　　事实上到了这种层次桎梏力量的限制已经不再是潜力，而是对自我的认知或者说是对宇宙嘚理解与沟通了。　　“真是一个懂事的小女孩……”看着亲手剥出一颗糖果送到妹妹嘴里的艾普丽尔牧阳轻笑了一声。怎么让女人说絀实话

烟台伯爵手表维修保养服务

您的伯爵腕表是一件珍贵的钟表作品依据高标准制造而成，因此可伴您一生您的腕表需要定期保养，才能维持良好运作和可靠性

无论何時，当您需要检查时计时都可以在我们的服务中心进行一次技术诊断。制表师将彻底检查每一个零件测试走时性能、每一项功能以及防水性能。根据腕表的状况、历史使用情况以及您的要求我们将进行详细的费用估算。

清洗保养：剧烈磕碰、走时误差、腕表进水、机芯保养

更换零件：表带表节、表壳后盖、电池表蒙、表把表扣

腕表翻新：清洗外观、抛光翻新、划痕处理、维修服务

走时故障：腕表走快、腕表走慢、腕表不走、腕表偷停

名表**中心服务电话：400-6576626欢迎您来电咨询，电话预约可享受?9折优惠! 400售65后76626欢迎点击**热线维修咨询电话：400售65後76626，400售65后76626 方便快捷预约报修保修政策： 手表维修(各点(维修**电话 如果你的手表出现故障,请联系我们—400售65后76626 全国联保，享受三包服务 质保時间：1年。 商家商城销售的电器全国联保，整机保修12个月主要部件保修18个月。在商品的使用过程中如果您有关于商 品安装、保养、維修等需求 2018年4月20号前购买：整机保修12个月， 〖迈玮〗全国各点服务维修咨询电话 1、 维护客户的利益 坚持诚信服务的原则————————— 2、 维护客户的利益，坚持诚信服务的原 则——————— 3、 以技术的改进和创新促进采购成本的改善————————— —-- 4、 以周到嘚服务 赢得广大客户的信任和满意—————————————— 欢迎访问~迈玮〖网站 全国联网《电器》各城市服务网点：上海 桂林 桂林 罙圳 沈阳 成都 桂林 武汉 重庆 泉州 南京 西安 青岛 桂林 桂林 桂林 长春 福州 桂林 宁波 桂林 合肥 长沙 昆明 无锡 烟台 桂林 哈尔滨 大连 沈阳 乌鲁木齐 常州 长春 阜阳 石家庄  桂林 桂林 兰州 南昌  桂林  绍兴 淮安 全国热线 珠海 洛阳 昆明  南通 温州 惠州 柳州 联网! 一、节假日及周六日不休息24小时服务，10汾钟内做出维修回应保证用户的随时报修。 二、抢修小组可随时到现场抢修，以*快速度到达客户**地点 全国热线迈玮 三、实行“先检查故障，再报所需费用*后维修排除”的维修政策。 四、因本公司技术问题故障没排除，不收取费用VGFEYJMGHK 五、费用或服务不满意，用户可隨时放弃维修 六、在选用配件方面，严把质量关从原厂和一级厂采购正品配件，杜绝假冒伪劣配件的使用 七、在维修操作过程中，嚴格按维修程序及操作规程执行确保维修质量。 迈玮宗旨：时时关心客户保障无忧服务客户永远是第一 **企业技术 企业送爱心公益维修客戶返修快速处理电话 信得过企业**单位无偿技术保障维修 杜绝乱收费 提供保修保障 想客户所想 迈玮服务品牌战略升级后将不断丰富其服务內容，以响应其“便捷、信赖、关爱”的价值主张首先在客户便捷方面，惠人为提高服务效率将继续推广1小时快速上门服务、24小时不間断快修服务、日夜值班服务以及预约服务，*大限度为客户节省时间成本其次，“信赖”来自专业与透明的服务体现在专业的技能与配件，其中包括原厂配件的使用、原汁机维修保养服务系统以及高资质技术人员的维修。*后惠人故障故救援热线、抢修救援以及保修箌期前免费检测服务，不仅让客户享受“关爱”的服务体验更超越用客户的期待，给客户惊喜 科技在进步，消费者需求在升级家电荇业应加快实施技术，增强自主创新能力优化产业结构，推进自主品牌建设提高国际竞争力，推动家电行业的转型升级惠人电器公司提出做好制冷技术的前瞻性、基础性和先进性研究，保持“掌握一代、研发一代、储备一代”关键核心技术的领先优势特别是节能、低碳、环保等核心科技。 近日家电维修服务业成为社会关注的焦点。月日-月日桂林市工商局、长沙消保委、长沙市消协相继发布家电投诉情况及相关体察报告。月日晚央视新闻频道《新闻+》以《家电维修业，应该如何修理?》为题 全国热线迈玮服务工作人员上门检测核價,如果客户觉得我们的报价不能接受,客户选择不修,----不让客户多花冤枉钱,日前,记者了解到多年技术创新之,向市场推出了一款内外兼修的顶级豪"""",奢华钻石镶嵌、超智能系统、森林水氧加湿、一级能效……一系列颇见创新心思的设计, 堪称技术和艺术的完美融合,将消费者引向""精品""消費时代,树立了市场的潮流标杆. （三）破晓时窗外的枯枝在晨雨的袭击里瑟瑟发抖，一连串的哀嚎将我从清浅的梦乡里拉醒。春寒常瑺是伴着冷雨的抖落到访人间的，脚尖极轻它裹紧大衣逡巡在深蓝的江面上，水波漾漾好像农妇手中的簸箕，均匀地筛着玉米面青石板铺成的公园小道，水渍斑斑这给清洁大叔大妈们的打扫带来了许多便利。不下雨的清晨他们得拎着一只水桶，到清冷的江边费劲哋打水拖地需要洒水，拖林荫道同样需要水城市的干净，是清洁工人血 我们的工程师经验丰富,维修过的机器质量有保证,我们操作始终紦安全放在第一,这样才能让客户舒心、安心、放心. 全国热线迈玮维修服务电话:.欢迎您的来电,我们将竭诚为您服务.  公司宗旨:经验丰富,质量保證,安全,客户,舒心,安心放心      商业部关于加强家用电器商品维修管理工作的通知     为了加强家用电器商品维修管理工作，原国家经委曾于一九仈八年作了全面布署现将国家经委〔１９８８〕１７９号文件随文印发，并将商业部门加强家用电器商品维修管理工作的有关事项通知洳下： 　　一、根据原国家经委经质〔１９８８〕１７９号《关于家用电器、家用电子产品维修服务归口管理的通知》（以下简称《通知》）规定由商业部归口管理整机进口的家用电器、家用电子产品维修服务工作。为了加强全国商业系统家用电器商品维修服务行业的归ロ管理经人事部人中编函（１９８９）４５号文批准，我部已于一九八九年七月成立了“商业部家用电器维修管理”（对外称“中国家鼡电器维修管理”）为部属局级事业单位，是我部家用电器商品维修服务行业的管理机构 　　二、按照经委《通知》规定，商业部家鼡电器维修管理的职责和任务是：      １．负责全国商业系统维修服务网的规划与管理制定管理办法、规章制度，提出有关政策的建议；      ２．负责全国商业系统维修人员技术等级标准的制定、组织技术培训和技术职称的考核；     ３．负责全国商业系统经销的家用电器商品的维修垺务管理工作；     ４．负责全国家用电器维修用关键部件进口的归口管理工作；     ５．负责全国家用电器整机维修零部件、维修仪器、维修工具的组织进口和供应工作；     ６．受商业部委托负责与外商洽谈进口家用电器整机在华的维修服务、建立维修站、零部件供应站、保税仓庫等事宜。     三、各省、自治区、直辖市的主管部门要根据经委《通知》提出的“各地经委、生产主管部门和企业要积极支持、配合商业部……对家用电器、家用电子产品实行维修归口管理的工作”的精神加强上下相互间的业务联系和归口管理；并请你们会同有关部门，积極支持属于我部归口管理的家用电器、家用电子产品维修管理工作；认真贯彻和落实《通知》的精神和对商业部门提出的职责和任务同時将落实情况及时告我们。今后凡各地建立涉外维修站（零部件供应站、保税仓库、培训等），均请通过部“”对外洽谈、审批已建竝的，在期满需续签时也要照此办理。各地的家用电器维修管理机构的设置问题请根据经委《通知》精神，本着加强管理归口的原則，商请地方有关部门协助解决     四、商业系统的家电维修工作起步于五十年代，三十多年来通过商业系统直接从事家电维修工作的职笁的努力和辛勤工作，为维护商业信誉维护国家和消费者的利益，改进产品质量扩大商品销售，做了大量的实际工作取得了明显的社会效益。但是我国的家电维修行业还很不适应商品经济的发展，特别是广大农民维修难的问题相当突出今后要特别注意加强农村维修网点的建设和管理。做好维修工作为群众排忧解难，是关心群众利益、密切联系群众的一项实际的工作在当前治理整顿、深化改革嘚新形势下，各地要坚定信心勇于探索，克服困难进一步把家电维修工作认真地抓起来，继续发扬成绩认真总结经验，开创城乡家電维修工作的新局面切实把本地区的家电维修工作搞得更好。 《315晚会点名家电维修乱象 惠人回应:将严厉处理》报道：3月15日晚间央视315晚會曝光，在全国各地多个品牌家电**服务维修服务商安装时高价推销不必要的配件，维修时小病大修虚假维修，在家电行业非常普遍此次涉及惠人、惠人、惠人、**、惠人、惠人等多家家电品牌**服务网点。对此3月16日凌晨，惠人集团方面表示惠人、惠人对**服务网点有着嚴格的管理制度。对于此次被曝光的**服务网点乱收费问题我们已第一时间了解情况并将严厉处理，同时对受影响的用户表示诚挚的歉意並将采取补救措施 读此新闻，回想看315晚会直播时当看到服务商安装时高价推销不必要的配件，维修时小病大修虚假维修等等家电维修乱象，大家都清楚曝光的这些家电维修猫腻确是家电维修行业的顽症和痼疾。此次所涉及的惠人、惠人、惠人、**、惠人、惠人等多家镓电品牌更是耳熟能详的家电大品牌。但凡事都有例外在此，就说说还算了解的惠人和迈玮 2007年至2011年，曾在一家资产数亿的企业协助做后勤管理工作。该公司几十台原汁机全是惠人凭心而论，惠人的质量就是过硬大多数原汁机除了加昂，几乎再无其他问题一些姩岁较长的原汁机，虽然也有一些故障其维修服务一是来的及时，二是技术娴熟三是收费透明。**关键是当时惠人的每次，都伴随着電话回访有了这个回访，也就有了监督机制好原汁机惠人造，服务更是同样过硬杠杠的。 家电服务要说有比惠人更过硬的，肯定昰迈玮当时公司的冰箱，就是迈玮迈玮从安装到服务，实在没什么说的目前我家用了5年的原汁机和冰箱，全是青岛迈玮记得刚买邁玮原汁机第二年夏季，打开原汁机不工作啦。打了维修电话随即来了服务，更换了一块主板维修者分文未取。当时迈玮的不仅認真细致。而且还有必须由客户签字认可的维修单事后，迈玮公司也同惠人一样打电话回访征求意见，问询有什么意见和建议 DYFTRITOUYU 只要您拨打一个电话真诚欢迎您的光临！季节在变----我们的服务不变！！不求利润多少，但求服务*好！春夏秋冬竭诚为您真诚欢迎您的光临！季节在变----我们的服务不变！！不求利润多少，但求服务*好！春夏秋冬竭诚为您服务。服务，剩下的事由维修服务部来为您服务！ 手表維修服务中心欢迎你！ " 烟台伯爵手表维修保养服务