A NEW STEPSIZE FOR THE STEEPEST DESCENT METHOD

Abstract

最陡峭的降下方法是为优化的最简单的坡度方法。沿着每个最陡峭的降下方向的准确的线搜索可以很慢慢地收敛，是众所周知的。重要结果被 Barzilar 和 Borwein 给，它被证明是 superlinearlyconvergent 为凸在二个维的空格二次，并且为高维的问题表现相当好。BB 方法不是单调，这样除非某些非单调技术正在被使用，为一般非线性的功能被概括不是容易的。因此，发现启用快集中并且拥有单调性质的步骤尺寸公式是很合乎需要的。为最陡峭的降下方法的如此的步骤尺寸α _ κ在这篇论文被建议。有在甚至重复的这种新步骤尺寸和在奇怪的重复的准确的线搜索的 Analgorithm 被建议。数字结果被介绍，它证实新方法能为二个维的问题在 3 重复以内发现准确答案。新方法为小规模问题是很有效的。新方法的一个修改版本也被介绍，在为选择步尺寸的新技术在每二准确的线搜索以后被使用的地方。修改算法为小规模问题比得上为大规模问题并且更好的 Barzilar-Borwein 方法。