星空网页版杨壮副教授在随机优化方面取得重要进展。相关成果以“Adaptive Biased Stochastic Optimization”为题被人工智能顶级学术期刊IEEE Transactions on Pattern Analysis and Machine Intelligence（IEEE TPAMI）接收，杨壮副教授为该论文的唯一作者，苏州大学星空网页版为该论文的唯一署名单位。

IEEE TPAMI是人工智能、模式识别、计算机视觉等领域的国际顶级期刊，2024年度最新发布的影响因子为20.8，是目前影响因子最高的CCF A类期刊。IEEE TPAMI以严苛的审稿过程、深刻的理论分析著称，在计算机科学与人工智能领域具有权威影响力。

为应对大模型的快速发展带来的挑战，该项研究从高性能算法的角度出发，深入探究了有偏随机优化在大规模学习问题中的有效性。特别地，从包含Adam、AdaGrad、RMSProp等的广义自适应梯度方法角度出发，提出并分析了一类基于自适应学习速率的有偏随机优化算法。在目标函数满足强凸和Polyak-Łojasiewicz (PŁ)的条件下，统一了基于自适应有偏随机优化算法的理论分析方法。具体而言，证明所提出的算法在强凸和PŁ的情况下均达到线性收敛速度且复杂度更低。最后，通过其在深度学习等任务上的数值实验，证明了所得到的自适应有偏随机优化算法的数值稳定性和优越性，该研究为解决基于数据驱动的大模型问题提供了坚实的理论和技术支撑。

该研究获得国家自然科学基金项目（62302325）、江苏省自然科学基金项目（BK20230485）等支持。

文章链接：https://ieeexplore.ieee.org/abstract/document/10836750