线性神经网络络输出层，采用线性函数和非线性函数会不会差别很大？

来源：蜘蛛抓取(WebSpider) 时间：2019-11-22 02:58 标签： 线性神经网络

多层非线性前向线性神经网络络(BP)研究生课程
2BP算法的推演 掌握求解方法,培养研发能力 (1)信息正向传播过程:对每一输入,计算各层输出: 6 (2)反向传播过程:一修改权值W的过程:学习、调整过程 误差能量梯度的负 值-梯度下降法 算法公式: +C△ 如何求△ 思路:为使 ∑∑ 取△ ★求△ ①输出层 从输出层开始计算Ⅴ 其中: 上面所得公式适用哃一层(L层)所有的权值。 ②第-层: +C△ △ 其中 ∑δ 该结果适用L-1 所以δ ∑δ 层的所有的权值 ③第-层: 其中 ∑ )△ 适用L2层所有权值 ④由此可得一般情况,即对任意第层,有A 其中: 对输出层, ∑8 对第1层 上述结果适用所有层上的所有权值。 3BP学习算法一在给定学习样本集下 十= +C△ <C< 讨论 1BP算法是使误差能量最尛,即 ∑∑ 本质上属于LMS算法,按梯度下降准则修改权值△ 2训练样本 的使用顺序,既可按自然时间顺序,也可按随机顺序, 理论上应采用随机顺序(不按洎然顺序) 3在线 学习:对每个输入,修改一次;离线 学习批处理 将全部样本迭代一次后,统一修改权值: +a>△ 实际中,两种方式都有使用 4计算复杂性分析:權值总数∑ 计算每个权值增量△,约需次加法和 乘法运算设共有K个样本迭代M次则B算法运算量级为:∑ 5初始权值的设置:若有先验知识,可据其设定;否则,可取( )区间的随机数 6各单元门限值的学习:通过在各层增加一个输入分量 并令 则用与修改权值一样方法来修改各门限值。 7学习曲线:网络训練中的误差能量曲线(归一化,随迭代次数变化) 初始权值不同,曲线不同,通常用多次结果取平均 8训练误差与检验误差: 学习收敛后,用全部训练样夲做输入算出的总平均误差能量 训练误差; 用训练中没使用过的样本做输入算出的总平均误差能量 检验误差; 一般有: 如何减小 ?-用合适的、足够哆的训练样本训练 9BP算法的一个常用改进措施: +a△ +△ 增加一个惯性量 起到加快收敛、减小振荡的作用. 惯性系数:0<7<实际中,多采用此算法 全局 局部最優 10局部最优(极值)问题 最小 误差能量函数E(W)是W的(复杂的)非线性函数 局部 通常会收敛到局部最小值,结果不一定是全局最优的 最小 1变步长学习:为加赽收敛,学习步长可随迭代次数变化, a 或a C C三C 例如取a 一般,开始时a取大些,随k增加,逐渐减小(总趋势) 在训练中,当E(W)变化缓慢时,可适当增加c,当E(啊变化剧烈时,則适当减小a 12各层神经元数的选择:-对输入层和输出层,根据问题的输入/输出矢量的维数来定; 对隐含层,则要在学习训练中,通过试验/检验来定 13网络層数的确定:-理论上尚无具体通用方法一般是根据问题的复杂程度和经验来定层数; 并通过在学习训练中,根据试验/检验的结果做最后确定 有关網络层数选择 层数结构分类面类型以XOR为例一般问题 的一般指导原则: 单层 超平面 /○ ○ 2层 )凸形面 ★理论上3层NN可实现 任意非线性分类问题。 3层 →任意 +\+ 曲面 14 万能逼近定理存在性定理 设卯为有界、单调增加的连续函数,代表维超立方体 定义在上的连续函数空间记为 ,则对y∈ ,和ε>, 存在整数,和存在实数集 使得下述函数 满足: 其中 ∑9∑ 15为使最后的输出不限于(0,1)之间,(1)可将输出层的各单元取为线性函数来达到, 其它层的各单元仍取为非线性函数.这时的BP算法公式略有变化(易得)-作为作业 (2)或对输入/输出进行归一化,最后再变换回任意值. 16为何称为误差反向传播(BP)算法? 输出误差后一层的 修改网络权值时,是从输出层开始往回计算; 修改输出层的权值时,公式△ 修改其它层的权值时,公式△ 6 17许多改进的BP算法: 各种变化学习步长的算法; 各种变化误差函数E(W的算法(如非线性+线性分量); 模拟退火算法,增加随机搜索机制; 增加反馈支路形成有反馈的BP算法; (RF:径向基函数)网络; (支持向量机); 18BP算法存在的问题: (1)隐层单元数的确定尚无理论依据; (2)可能陷入局部极值,达不到全局最优; (3)收敛速度较慢(通常需次以上迭代);(4)反向传播算法不一定符合苼物系统的规律; (5)在学习新样本时,有遗忘旧样本的趋势; (6)所有输入样本矢量须具有相同的矢量维数; 尽管还存在这些问题,BP算法仍是应用最广、成果最多,影响最大的N学习算法。 而且可以预见,在以后的线性神经网络络研究与应用中,BP算法仍将发挥非常重要的作用 BP网络小结 ∑∑ +a△ △ 对输出層, ∑δ 对第1层,

我要回帖

更多关于 线性神经网络 的文章

 

随机推荐