2021春，后续可能有变化。本科生，此前没有学过任何优化相关的内容（）

这是一门讲在各种条件下用数值法求最小值的课

授课内容包括五个部分:

1. 无约束最优化 （参考书为：袁亚湘、孙文瑜，最优化理论与方法的相应部分）
   • 线搜索和全局收敛性
   • 最速下降法
   • 牛顿法和拟牛顿法
   • 共轭梯度法
   • 信赖域方法
2. 约束最优化（参考书同上）
   • 二次规划，包括消去法、积极集方法
   • 非线性约束最优化，包括乘子牛顿迭代、罚函数法、增广Lagrangian法、障碍函数和内点法
3. 凸优化（参考书为Boyd, Convex Optimization: Chapter 1, 2, 4, 5, 9, 10, 11）
   • 凸集、凸函数、广义不等式和最优性条件
   • 对偶函数、KKT条件
   • 凸优化算法：牛顿法内点法障碍函数中心路径等等
4. 稀疏优化（参考书为 https://rd.springer.com/book/10.1007/978-1-4419-7011-4）ADMM部分的PPT文字实在是过于稀疏，建议看一下https://web.stanford.edu/~boyd/papers/pdf/admm_distr_stats.pdf，这一篇讲的比较详细。
5. 大规模机器学习中的优化方法（随机梯度类算法，参考 https://arxiv.org/pdf/1606.04838.pdf）

​今年还补充了一点SparseDNN，大概也是从一些论文上摘的内容。老师讲课用的是ppt，内容大部分都是从以上的资料中摘录的。

除了以上的参考资料和PPT，我个人十分推荐读一下北大的最优化教材https://bicmr.pku.edu.cn/~wenzw/optbook/opt1.pdf
覆盖了老师讲课的大多数内容，第一部分的优化建模实例对于我这种完全没有接触过具体问题的弱智而言非常友好，复合优化部分也有很多老师没有讲到的内容，阅读难度不高，内容详实具体。

给分公式为10% Homework + 40% Project + 50% Final

作业很少，只交了三次，前三章每章一次（有助教版本答案和以前学长写的答案，以及Boyd这本书有官方答案 ）所以作业不是什么很大的问题，但还是建议自己认真完成。

今年的Project是三选二，要求在稀疏矩阵求解器、自适应线路设计、大规模机器学习中的优化器实现。我选的是二三（因为听说比较简单）。第二个问题是运筹里面的网络流问题的变种，以前有一篇十分经典的paper研究过一个基本一样的问题，找到这篇paper之后只需要实现一遍里面的算法即可。第三个问题需要你写个简单的神经网络，然后自己实现optimizer部分，剩余部分调包。如果你python熟练的话以上都是非常简单的。如果您像我一样啥都不会的话建议上知乎大学看看，里面有很多写好的例子，你可以模仿着搞一个。
（我写的project十分简单弱智，交完之后去看了一下发现同选这门课的两个同学写的东西巨大升级，让我感到非常的焦虑。不过最后发现问题不大，主要看完成度。）

期末考试均是ppt上的东西，建议熟练背诵。前三章我也不知道有没有重点，毕竟今年出了一个很角落里的东西而我一直以为不太会考。稀疏优化和随机优化的东西很多，但是复习的时候最好熟练掌握Shrinkage和ADMM，Bottou论文前四十页的所有引理和定理的证明。

基本没有啥prerequisites（如同楼上所说只需要数分线代，其它都可以现场推），随机优化也只是用到一些简单的期望。不过学过数院运筹的话可能衔接起来会方便很多。

这个课只能说是在优化这么大一个方向里入个门。由于内容过于庞杂，所以个人感觉课程的体系感不是很好。后半学期的内容有很多都是浅尝辄止...所以速度很快，有空的话可以把老师给的ref好好的看一下。

需要本学期上课用ppt的话可以留个邮箱，老师主页上的ppt已经过期114514年了

课程资源（ppt, 习题课和project讲义）: https://github.com/beiningwu7/optimization_spring_2021/

题外话：扬州王好像不太愿意给本科生审个性化，我刚开始的时候给他发邮件给他，显示已读但迟迟不回。后来课上找他签单直接被拒（本科生？本科生你啥都不懂，你选这门课干什么？），最后绕了一个圈才选上。

先占坑，确实三个月不出分，并且这还是在各种同学催各种助教的情况下，已经快三个月不出成绩了（据说去年的杨老的某门课10月份出的），先占个坑，回头补。

（这是一条分割线）

结论：老师不调分，有一道期末考试题不可能有人做出来，15分*60%=9分总评，所以。。。你就算其他题目都对，大作业都对，就91分总评，当然了。。。你在那题口胡一点点东西能获得93的总评哈哈哈！

2020年春季学期选的课，网上上数学课用ppt确实是炼狱难度，板书写的比较少，虽然有录像依然感觉学习会比较吃力。有一半的内容本科的运筹学都讲过，如果本科上过杨老师的课感觉就不用上了。作业对于研究生来说有点多，但还是挺锻炼动手能力的。这学期的助教很强，习题课讲的很好，习题 解答做的也非常出色。最后的考试感觉是真的放洪水，一共五道题，三个原题，另外两个在课上都说过一些，最后成绩还没出，所以不清楚给分怎么样。

感觉这个课放成大数据学院的必修课很不合理。不过这学期的助教是真的强。

背 书 考 试

建议开设每日晨读 朗读背诵yzwppt

（btw助教哥哥好帅！

虽然只是跟着讲义云学，但做完重制版讲义也算是学了一遍这课了。

个人感受的话，如果去掉那一万个gap，不考虑英文造成的障碍，讲义确实还是写得不错的——但直接看隔壁pku文老师的讲义好像也挺够用，甚至按照那个思路整理还更舒服一些（

（不过对我个人而言，这门课和运筹学着实是打开了新世界的大门，让我知道了「优化」原来是颇有趣的一件事，因此还是值得一个较高的评分。）