基于AdaGrad 自适应DA 方法的最优个体收敛速率
CSTR:
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

基金项目:

国家自然科学基金(62076252)


Optimal Individual Convergence Rate Based on AdaGrad Adaptive DA Method
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    针对AdaGrad 将自适应矩阵应用到随机梯度下降法中降低工程上超参数搜索的问题,提出一种自适应对 偶平均方法。将AdaGrad 自适应矩阵引入到对偶平均方法框架中,形成自适应的对偶平均方法,并通过凸优化实验 验证其可行性和收敛效果。数学推导结果表明:对于非光滑条件下的一般凸函数AdaDA 方法可以达到与维数相关 O(1/ √t )的最优个体收敛速率,为其提供了理论支撑。

    Abstract:

    An adaptive dual averaging method is proposed to solve the problem of AdaGrad’s application of adaptive matrices to the random gradient descent method, which reduces the search for hyperparameters in engineering. The AdaGrad adaptive matrix is introduced into the dual averaging method framework to form an adaptive dual averaging method, and its feasibility and convergence effect are verified through convex optimization experiments. The mathematical derivation results show that the AdaDA method for general convex functions under nonsmooth conditions can achieve an optimal individual convergence rate related to dimension O(1/ √t ), providing theoretical support for it.

    参考文献
    相似文献
    引证文献
引用本文

张 旭.基于AdaGrad 自适应DA 方法的最优个体收敛速率[J].,2023,42(11).

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2023-07-11
  • 最后修改日期:2023-08-05
  • 录用日期:
  • 在线发布日期: 2023-11-22
  • 出版日期:
文章二维码