再扔一个个人认为非常有用的链接：概率论和机器学习中的不等式 - 知乎 (zhihu.com)

听闻治水今年第一周课就讲到二阶矩方法（Paley-Zygmund inequality）和Hoeffding inequality，必须给个赞👍

n个月后再来回评一波：

回想起来hzs老师上课是真上得好，不仅体现出很强的概率直观，而且对证明的技术细节也掌握得非常娴熟，以及他会把技术里面的idea讲得非常清晰，还会比较各类方法的好坏、适用范围及局限性。从数学壬的品味看，听说治水老师是管院教课最好的老师，没有之一，看来实属不假。
durrett ch2-4去掉带*部分后的大部分内容是老师授课和考试的重点，对于从事概率或统计方向研究的同学这部分内容一定要非常熟练，尤其是大数律和中心极限定理这部分，甚至能够抛开各种技术细节直观地去解释这些结论，熟练到近乎条件反射的程度。（不要像本人一样还要重修第二遍）另外durrett这本书习题也可以刷刷，深入了解极限理论这部分除了看林正炎、苏中根等老师的教材外还可以参考 prob ineq.pdf， Limit theorems of probability theory sequences of Independent Random Variables.pdf，不过个人之见大部分内容当作字典工具用即可，没有必要去全面细读其中的证明。

另外再讲讲里面一些有意思的东西：

1.大数定律和中心极限定理：首先我们必须声明，弱大数律并不是真正弱爆了，实际上条件比一阶矩存在弱，同时我们还可以推广到独立不同分布的情形。一阶矩的弱大数律实际上我们不需要用Borel-Cantelli引理或者特征函数这种过强的工具，只用最基本的截尾术即可得到。
强大数律的证明方法众多（可参考概率论中“强大数定律的四种证法” 【转】 (qq.com)），这门课讲的证明有两个，一个是由Etemadi于1981年才给出的，借助各种矩不等式还有强大的Borel-Cantelli引理等工具，结合截尾术和子序列方法等技巧来得到结果。用到的知识仅仅是简单的数学分析和basic的概率论，而且证明过程非常短，但是涉及到的内容非常深刻，结合了各种工具和技巧才加以完成。另一个是利用三级数定理结合Kronecker引理简单的数学分析知识得到（使用动机见后）。

关于中心极限定理，其刻画了在二阶矩存在的条件下随机变量和减去大数律项再做合适scaling后会依分布收敛到标准正态分布（波动程度fluctuation项），时间：波动程度的exponent比值是2：1，包括独立同分布和独立不同分布的情形。对独立不同分布的Linderberg条件，durrett3.4节中给出了特征函数逐点收敛结合其紧性的方法以及矩方法两种办法给出，另外胡老师还给出了linderberg替换证明方法（暴力美学）。从证明过程看也是符合概率直观。
同时值得一提的是，一些（强调是一些！）概率问题求解关键往往归结于二阶矩的情形。比如中心极限定理我们做到二阶矩就够了。再比如我们引入了停时这一工具和鞅的idea，得到Kolmogorov不等式，从而得到一级数定理，再借助简单的数学分析工具即可得到Marcinkiewicz强大数律。这也说明了二阶矩存在下对任意δ>0，S_n/n^{1/2+δ}都是几乎处处收敛到0（假设期望为0）。再比如Ito公式的推导也是保留到二阶矩项（二阶导对应二阶矩），以及BKG inequality等等。

2. Berry-essen不等式刻画了中心极限定理的收敛速度。假设均值为0的随机变量3阶矩存在，记标准正态分布函数为F(x), 则

sup_{x∈R}|P(S_n/n^{1/2} ≤ x) - F(x)|≤C/n^{1/2}.

如果我们利用Linderberg替换，直观上看是n^{-1/2}这个阶，但是这个替换精度太粗糙，因此我们必须寻找更加精细的工具加以解决。

一种办法是通过特征函数，利用Polya’s distribution的结论，把原来比较的两个分布函数对其做卷积（含参数L)，利用Polya’s distribution中超过L两侧特征函数为0这一性质来简化估计（紧支撑在[-L,L]中），同时卷积后的两分布函数差的最大值能被卷积前的两分布函数差的最大值控制，由此得到目标结论。具体证明可参考durrett3.4节内容。

另一种办法是通过stein方法，可以看成一种高级的Linderberg替换，但是要求的条件更高，然而正态分布正好match这个条件。具体过程可参考 Fundamentals of Stein’s method.pdf，不再赘述。

3.Donsker不变原理及Skorohod嵌入定理。Random walk 与Brownian motion是现代概率论中两个基本且重要的模型。一方面，我们可以通过Donsker不变原理从Random walk 过渡到 Brownian motion：二阶矩下随机变量和（项数与演化时间有关）做scaling后整个过程弱收敛到标准brownian morion（包括一些相应的变种，比如drifted b.m.等）。另一方面，我们还可以通过Skorohod嵌入定理甚至更强的KMT coupling利用Brownian motion去逼近Random walk，这可以看作一种“Coupling Brownian motion”：比如Lawler 那本random walk专著详细讲了Skorohod嵌入定理能做到|S_n-b_n| = O(n^{¼}) on high.prob，而KMT coupling借助LCLT等技术能更精细地改进到O(log n)。这两个定理的内容本身理解及其应用比证明更加重要，值得思考。

这学期授课的主要内容大致如下：

1. 强大数律及a.s 收敛：B-C引理+子序列\截尾方法证明a.s收敛、强大数律的证明、0-1律、概率不等式（Kolmogrov不等式+Levy不等式+Hoeffding不等式，etc.）、Kolmogrov三级数定理（结合Kronecker引理）及其相关推论；
2. 中心极限定理及特征函数与依分布收敛：Slutsky定理（特别留意下Δ方法）、Parseval等式及其相关应用（反转公式、通过取均匀分布得到一个分布函数的不等式然后再利用Helly定理得到Levy连续性定理）、特征函数和矩、Lindeberg中心极限定理、缓变化函数与正态吸引场、Poisson收敛与全变差距离、稳定分布与无穷可分分布、Berry-Esseen不等式的证明（在CLT基础上研究正态收敛速度）；
3. 度量空间上的弱收敛+强逼近定理​：基本性质及随机元序列的收敛性、连续映射定理、收敛确定类、胎紧性与Prohorov定理，Donsker定理及其应用、D[0,1]空间及Skorohod拓扑，强逼近定理；
4. 离散鞅：鞅和停时的基本性质、鞅收敛定理、倒向鞅、可交换序列及Hewitt-Savage 0-1律、（有界）停时定理、鞅的中心极限定理；
5. Brown运动的基本性质及其鞅的停时定理。

胡老师上课质量很高，虽然课程难度不小，但听起来却感觉非常享受。他上课讲了概率中不少技巧味的东西，运用起来如鱼得水。他会把各种方法和想法总结得很到位，板书给人一种短小精悍的感觉。详略上也做得很不错，上课会略去一些繁杂无味的证明，更重视这些性质结论的应用上。

这门课内容非常之多，以及如果要把每块内容都搞清楚需要在课外额外花大量时间才行。

考试内容主要就是强弱大数律和随机变量的各种收敛及其应用、中心极限定理、Donsker定理及其应用以及鞅的定义和基本性质。一些很复杂的结论在考试上不做要求，考试内容远少于上课内容。

考试大部分都是证明各种a.s/P/d收敛和探究随机变量的极限性质，不少题目还是相当有难度的，需要对寄巧运用得非常熟练。整场试考下来被治水彻底治水了，我早已做好了放弃成寄的准备。

2023春更新：因为一些神秘原因这学期重修了这门课，感觉讲得内容去年还少，度量空间上的弱收敛没怎么多讲，不过补充了一些随机变量收敛性和弱大数律这部分吧。

今年期末考试形式唐突改成开卷，画风跟往年差不多，仍然有难度，必须对老师讲过的内容理解足够深刻+熟练才能拿高分。总评22春应该是三七开一点没调，今年或许略调了一些吧（不过本壬两次点名/签到都没去平时直接寄。。。

值得一提的是hzs出卷确实质量非常高（迫真吊打Yau赛题，，，今年有一道三十分的题目值得一提：X，X1,……,Xn对称独立同分布，P（|X|>x)=x^{-α}，α>0，x>1。第一问讨论E|x|^r(r>0)比较送分，后面三问讨论独立和Sn各种a.s/P/d收敛的收敛速度：取合适的an,bn,cn，使得Sn/an a.s收敛到0，Sn/bn d收敛到N(0,1)，α>2时Sn/cn a.s不收敛到0但P收敛到0。我感觉就算开卷也很难在考试这点时间完全把所有情形讨论清楚，不过这题确实出得很妙，感觉是狠狠地升华了这门课程及授课老师的名字。