报告题目：神经网络的训练理论和算法

报 告 人：孙若愚教授（伊利诺伊大学）

报告时间：2022年6月29日  16:00-18:00

报告地点：理学院五楼数学研究中心智慧教室

报告摘要：

如何成功训练一个神经网络？哪些训练技巧是关键，它们分别起什么作用？我们回顾神经网络训练的一些关键方法，包括初始化、正则化、增加网络宽度、使用Adam算法等，从机器学习基础理论的角度分析这些方法对于神经网络训练效果所起的作用。本讲座内容主要来自于报告人最近所撰写的综述“optimization for deep learning: theory and algorithms”以及报告人最近在这个方向上所做的一些工作。

报告人简介：

孙若愚，伊利诺伊大学香槟分校工业与系统工程系、电子与计算机工程系（兼聘）助理教授、博士生导师。主要研究领域为人工智能和机器学习、通信和信号处理、数学优化算法等，具体研究方向包括神经网络理论和算法、生成模型、多用户通信网络容量理论、通信基站分配、大数据优化算法等。于2021年获得中国自然科学基金委优青（海外）。2022年被清华大学AMiner团队评选为全球人工智能最具影响力学者荣誉奖（计算机理论领域2012-2021年全球前100名）。在人工智能与机器学习会议NeurIPS, ICML, ICLR, AISTATS，顶尖信息论与通信杂志IEEE transaction on information theory, IEEE Signal Processing Magazine, Journal of Selected Areas in Communications，顶尖数学优化杂志Mathematical Programming、SIAM Jourmal on Optimization发表数十篇文章。