我是数院概统系的学生，这学期选了信息论，作为一个统计壬来谈谈这门课学习的体会。

课程内容：这门课一学期讲的内容比较多而且有点杂，不过个人来看主要可以分为以下几部分。
1. 熵的基本知识，主要是covers的2,3,4,8,12章。主要是讲的一些关于熵的基本的定义和运算，以及一些准备知识。包括离散熵，随机过程的熵，连续熵以及熵的极大化。

2.信息的压缩和传输，主要是covers的5,7,9,10章。主要讲的是如何压缩原始数据使得损失尽可能小，还有数据传输速率有多大（就是信道容量）。

3.信息论与统计，主要是covers的11章。这部分主要是在运用信息熵来解决一些基本的统计问题，比如假设检验，bayes。尽管在这部分的统计问题都比较传统，但其思想还是比较值得学的。

课程体验：总的来说收获确实很大，也算是长了见识。但有些方面体验有点不好。

首先是龚晨老师的讲课风格可能不对我胃口。他应该是非常想让学生参与进课堂，所以经常讲了一小会讲到一个问题就停下让我们想，导致课堂比较断续，课堂效率不是很高。另外他的ppt可读性比较弱，基本就是课本随机摘抄。相比起来隔壁班的看起来就舒服很多。

还有一点想吐槽的是课程任务量。这门课每周平均布置8-10个题，这里面还有某些题有6-8个小问，所以认真思考写作业要花很长时间，这就导致平时作业巨大抄答案。相比之下zwy的作业就少得多（差不多gc的一半），而且没有小测验，project这些事。感觉到了大三下花那么多时间在一门课有点不大合适。

补充阅读内容：最后说一下信息论在统计的一些应用，以及概统，统计壬学这门课同时可以去阅读的一些材料。

1. 集中不等式：Concentration Inequalities是现在统计方向做研究的一个比较基本的工具。在其中很多不等式的证明其实用到了熵的方法，因为很多时候概率分布的形式和熵的形式是可以比较容易互相转化的 。其中一个印象比较深的是用两个分布的KL-divergence来bound住Sub-Gaussian函数在两个分布下期望的差，还有一个很著名的Bounded Difference Inequality除了用鞅的方法也可以用熵的方法来证。这些内容可以在John Duchi stats311 note的3-5章和Boucheron的Concentration Inequalities这两本书上读到。

2. Minimax估计下界：这个问题其实也是很多现在统计研究中一个比较重要的问题，直观上理解就是一个估计的“最好”的损失能有多小。相比于Minimax估计上界可以直接通过数学上的不等式放缩直接得来，Minimax估计的下界往往不能这样直接得到。这个时候我们很多时候借助的也是信息论上的方法。大致思想是首先用一个个“球”把整个区域给割裂开，然后将“lower bound”转化为“判断结果落入哪个球中”，也就是将问题变得离散。这样这个错误概率可以用Fano Inequality给出一个lower bound。这部分的内容可以在John Duchi stats311的第二部分和Wainwright的High Dimensional Statistics的Chapter5,15读到。此外Wainwright和Bin Yu等人在09年写过一篇文章，写的是在lq- ball上面线性回归的minimax估计，这篇文章也比较值得看看。

当然，信息论在统计上的应用绝对不止上面我说的这些topics，只不过我对这些topics相对熟悉一些就多讲了点，之后评课大佬要是对其他的topic比较了解也可以详细讲讲。另外，上面提到的John Duchi写的note，以及另外有一本David McKay的Information Theory里面也写到很多跟统计或者ML/DL相关的内容，感兴趣的话也可以都看一下。

------------------------------------------

2021.7.27

出分了，gcyyds！！！

学期中，先来评下吧

建议学弟学妹们学信息论的话直接转另一个班，这个班不是人呆的地方（大佬随意）

先说上课，一般一堂课一份ppt，纯英文的而且上面只是写了一些定理和结论外加一些不明所以的话，每堂课开始直接上ppt，从来不会先大体性概述今天要讲什么或者说总结下上堂课内容，一般一开口就是“你们觉得...定理成立么，是请给出证明不是请给出反例”，从而导致学期中后段大部分时间不知道他在讲什么，上课直接起飞；此外，上课最大的习惯就是给同学时间证明一些定理，实际上大部分时间都不知道他在讲什么，这种行为纯浪费上课时间；最后就是习惯性自言自语，一口气说一大串，简直像是胡言乱语，完全不知道在说什么。。

接着作业，作业是致死量，一周两堂课，每堂课的ppt后都有差不多4，5道题，一周平均8-10题，用的是Thomas Cover的书，题目可以说又臭又长还难，不夸张地说，在有答案的情况下，你光是看看题目去试着读懂题到放弃直接对着答案写过程到差不多全抄答案 也得花上大半天功夫，因为答案也是英文的，你翻译过来还得花时间。 信息论作业可以让你每周都怀疑一次人生。

接着是一些花里胡哨的buff，一学期两次小测，每次占10分，这个相比其他来说还好不算什么，重点是还有占20分的课设，想想大三下在快期末考试自己忙的焦头烂额去预习信息论的时候，发现还有个20分的课设没做，而且是一个组3个人都发现没做是种什么样的感觉吧。。

最后，他给人感觉就是那种吊儿郎当，或者说是有多动症，讲课就不想让你听懂的样子，印象极差

总结：如果你不想挑战极限，出门左转去张老师班；如果你觉得发量尚可，可以来 龚 晨 班体会一下 上课听不懂，作业奇多奇难，小测课设接二连三，还得每周两次看到这位身患10年多动症，吊儿郎当的凡尔赛大师，为你讲述“是请给出证明，不是请给出反例” 的感受

忘了一点，他上课课间5min不下课，然后就是张老师班作业少，没小测，没课设~

一句话：痛并快乐着

关于龚老师的上课内容和方式，其他同学已经说得很详尽了。这里想给后来人几条建议：

0. 想躺平的同学，请出门左转张老师班级；想拿高绩点，不怕任务重的同学，可以选龚老师的课；

1. 显著特点：地狱级的作业量。但作业一定要好好写，哪怕是对答案抄也尽量弄懂答案是怎么写的。本学期一共布置了130多题，是隔壁zwy老师班的4倍多（隔壁只有5×6=30题），每周我至少要花6—8个小时甚至更多的时间来写作业，每次写信息论作业宛如坐牢一般，消耗的作业本页数甚至比数分B2还要多。但不得不说在坐牢写作业的过程中，确实加深了对信息论的理解；

（题外话：10.16题我实在是写不下去，直接把题干抄了一遍交上去，批下来一个大红勾 √ ）

2. 小测开卷，请带上数学分析和概率论的笔记，考题是从今年有关信息论的论文中直接扒下来的，复习课本的用处不大，均分30左右，非常考验数理基础；

3. 大作业请抱大腿，可以在学期中就考虑选题的事情。班上应该有很多少院数院的腿可以抱；

4. 期末考试闭卷，和平时作业和小测关系都不大（至少今年是这样），主要考查对信息论的深入理解，建议备考时认真看透Cover的书（课本）；

5. 上课虽然容易走神，但还是建议认真跟着老师听，记记笔记（比如证明过程、具体例子）。龚老师的PPT很简略，复习时帮助甚微。

最后总评计算方式 2：1：1：2：4（平时作业：第一次小测：第二次小测：大作业：期末考试），不得不吐槽一句上了这么多课，第一次遇到算这么细的。最后会按比例调分，优秀率给满，确实是奶王。

纪念下gpa时代的结束！ 感谢老师的夕阳4.3!

这门课内容多(三学分，花的时间却是最多的，感觉是我花在pde上的两倍了)，但真的十分有趣。最有趣的莫过于信息论只用微积分、线性代数和SLLN，能展现一些"可以用高等、晦涩、抽象的数学语言写成厚厚一本书"的东西的直观、简洁版本。比如AEP;比如用型类证明大偏差;我大作业写的也是相关内容。

作业是真致死量，但感觉很多有趣的部分其实来源于作业题？而且作业题，小测，期末考三种不同风格。 感觉数院人学这门课的最大障碍是读懂题目？尤其是信道那块，感觉很多定义不太严谨，两次小测都有好几问不知道在讲什么。。

给分按排名。只是稍微提醒一下，感觉选信息论的数院人要越来越多了，这学期gc班50人看到不少大佬。。也许可以分散下投资选下隔壁班？

总体是很推荐的，毕竟这门课讲的是信息论领域的基本知识，和统计,IE的紧密联系也不必多说。如果你闲着无聊的话(比如大三下选修课不知选啥)，可以选选。说不定哪天读着读着，就开始搞信息论去了呢？

评课之前, 先说一下, 这是一门本研贯通课程, 本科生学研究生也学, 建议大家在参考评课社区时参考符合自己的评价~

龚老师是一位令人尊敬的老师, 但我觉得龚老师的信息论不适合我等凡人学习TT

老师上课内容很充实, 数学水平很高, 但是就是因为数学水平太高了, 彼时作为一个本科生的我并不能跟上龚老师的思路; 整个课堂进度和难度是由班上水平最高的学生决定和carry的, 对我来说真的很难适应

作业是covers信息论的课后题, 诚如前面同学所言, 我经常对着答案也不知道答案在讲什么, 助教和老师也没有专门的习题课讲解作业, 写作业的时候非常痛苦而且觉得没有意义...

到了研究生以后才越发意识到信息论的重要性...建议大家找到适合自己的信息论学习方法, 不然可能老大徒伤悲

p.s. 我考的差, 所以老师虽捞但也就那样(但龚老师调分力度确实很大), 但如果是因为看到老师调分力度大而选择这个课堂, 还是建议大家审慎一点

龚老师学识很渊博，上课内容很丰富，但讲课水平一般，跳跃感太强，我自己课堂上基本听不懂老师讲的内容，后半学期基本处于半放弃状态。（数理基础太差）

作业很多且难，每周八九道题目，基本就是对照着答案边理解边写。有些题目超级长，根本没有做下去的欲望，答案就是各种公式推导加文字解释说明，看不太懂，要写（抄）很长时间。

两次小测，难度我觉得挺大的，期末复习助教把答案发出来我也没怎么看懂。一次课设，与信息论相关即可，评分上应该更看重学生自己做了什么。（就是尽量自己做一些东西，不要做综述这种）

学生组成上有信院6系的，有计科大数据的，有很多研究生，好像还有数院的。因为不同学生专业侧重不同，基础也不尽相同，所以评价参差不齐也是正常现象。我身边的6系的同学对这门课的评价都不高，大三下6系5门硬课，人工智能的同学课更多（还有机器学习这种变态课），这门课的内容你如果要认真学会花掉大量时间，导致没有时间学习别的课程。反正我基本上划了一学期水，对总评也没什么要求。

老师给分不错，比我想象的要好不少。

从课程内容上看建议对信息论相关感兴趣的同学选择，因为内容比较多，作业也不少。

有两次小测和一次期末，还有一次大作业。小测开卷期末闭卷，感受来看期末比小测简单很多，甚至可以说期末内容相当基础。

作业可以上网找英文版答案参考，可以考虑小测的时候拿着打印的作业答案，虽然可能作用不大。小测应该是老师从期刊上找的，很难刷到原题。总的来说需要认真学，这门课难以靠突击学会。期末第一个大题类似知识性回答，后面几道是计算题，计算题主要出自前几章。今年第一问是上课讲了哪些信息论领域学者，我是根据书本上的命题、定理写的，比如哈夫曼，香农等，感觉明年也可能考（不知道写龚老师名字算不算分，笑）。

大作业还没写，虽然老师建议提出开创性想法，实际很困难，听说这门课也有几年没人提出新内容了，能复现一篇论文应该就很好了。

附作业题答案

solutions2.pdf

每周的作业已经让人焦头烂额了，结果还要有小测。有小测就算了，还有大作业。。。

一门课的任务量顶得上其他两三门课了

    本人从事TCS研究，信息论也算作广义的TCS领域内，因此本学期心血来潮选了这门课。

    信息论cover的内容别的点评已经写的很详细了，来说说几个令我印象深刻的地方吧。首先是第五章数据压缩的内容。主要涉及到一些组合学的东西（比如huffman编码，kraft不等式），这属于本人的舒适区，所以学起来比较巴适，小测里相关的题目也都做出来了。其次是第七章信道容量，这应该是信息论的核心内容，由于有一大堆定义和定理，第一次并没有学懂。后来复习的时候才意识到本章想要解决什么问题。简单的说，就是在信息传输的过程中，如何选择合适的编码和译码方式，使传输错误概率尽可能小。第10章率失真理论应该是最难的，本人只记得几个公式，实际上并没有学懂。信息论与统计学也是挺有意思的话题，然而本人因外出参加体育赛事，本章的内容只听了一节课。

    信息论的许多有趣之处在于它和其他领域的相关性。比如利用condition reduce entropy可以证明一些矩阵不等式。这些不等式在代数学观点下可能是non-trivial的，然而在信息论的观点下则是trivial的。其他的例子如：在一堆小球中有一个比其他重，最少称几次能把这个小球分辨出来？以及算法基础中证明比较排序的时间复杂度下界，这些都与信息论有关。

    关于上课方式，老师中途是没有下课的，一开始可能会不适应。上课的时候确实会提出问题然后留一点时间给大家思考，大多数时候只要认真听课跟上节奏都是能思考出来的。

    关于考核：作业，两次小测，期末考试和大作业。作业前半学期还能自己做，后半学期基本靠答案度日。甚至有些问题看答案都不一定明白。但正如老师所说，作业能让人学到很多东西。小测开卷，两次综合看来是在考察信息论背景下的数学能力。分析、代数、概率、组合都用到一点，数学基础比较好的同学或许不会感觉那么难。期末考试主要就是考察对信息论的理解了。个人感受是和上课讲的内容具有很大的关联性，比如考了一个fano不等式的叙述，这个fano不等式的版本是老师上课讲的版本，而不是书上的版本。还考了一个\(H^{k}_{n}=\frac{1}{C_{n}^{k} }\sum_{|S|=k}H(X_S)\)的单调性，这也是最后几节课上讲的。所以上课一定要好好听。大作业据老师说除非做原创的研究，否则是拿不到优秀的。但这应该是在鼓励大家原创，而非真的如此。我们组根据3B1B的视频做了一个汉明码原理介绍，感觉挺水的。

    关于给分：据其他点评说是按照排名优秀率给满。作为大四最后出分的一门课，居然获得97好评，甚是欣慰。

6系研究生来顶一下，同时上过龚大佬的矩阵和信息论。听龚老师组里的人说，这门信息论设计的初衷是按他在哥大phd课程难度来。。上完之后应该能对一般TCom级别文章免疫，TIT（神刊，自行百度）能够上手。PS. 据说有学生之后到米国念phd信息论都不用上课直接去考试，课程深度可见一斑

上课风格仁者见仁，矩阵和信息论基本是一以贯之，但对研究生来说，需要这种列提纲式的讲解，自学能力也基本成形（知道有这么个东西，碰到类似的case再去自查），是为数不多的我时常翻看复习的两门课程（一方面是矩阵和信息论在研究中太过于常用，另一方面还是自己太菜上课没听太懂。。）

看到楼上有人对龚老师本人颇有微词，起码这与我的直接观察情况不符，身边的同学聊到龚老师都是一片赞美之词，也是冒出来写两句的直接原因。