信息论这门课龚老师上的相当难，在科大学了四年，这门课肯定是学过的课程里最难的课程前三。尤其是作业，即使有答案，10.16我整整写了接近50个小时......cover那本书的作业确实很难写，老师布置的也多，所以这门课每周的作业量还是很大的，课程有两次小测，开卷，难度也都挺大的，第二次班上均分~30，主要考察的其实是在信息论背景下的数学技能考察，成绩占比是：作业：大作业:小测1:小测2:期末考=2：2：1：1：4，大作业是自己组队做一个信息论相关的东西，期末总分120分，两边老师各处四题，本老师四题全做，另选隔壁班2题，满分120分，我们这年考的不算太难，还送了20分(相比起其他题那题求熵判断级数收敛性是真的不算难了，而且在习题里有虽然没布置)

总之，这门课能学到很多东西，也会被虐的很惨，但是龚老师保证一定给40优秀率。

-----------------------------------------------------------------------------------------------------------------------------------

读了几篇信息论相关的机器学习那块的论文，在概率论上接触了一些相关的内容，越来越觉得这门课很有意思。很多带噪声和差错概率的问题都可以建模成一个通信的问题, 然后用Shannon定理来解决, 例如我暑研所研究的模型最后就是发现可以把交换数据的过程建模成一个参数p=均值的Z channel, 利用TIT上的结果, Z channel 在码本<=4的时候repetition code最优, 得到了sota的结果，最后发了一篇顶会。信息论与统计的结合, 用来分析bound的思想也非常重要, 很多构造性的lower bound(很多时候 bound只需要找到一个例子就可以了)都是从两个能用参数完全决定的分布族只相差微小的\epsilon使得它们很难用算法来分辨这个思想来做的, 包括大偏移理论和高维统计学结合, 你会发现对subGaussian变量, 样本均值偏离真实均值的概率是指数下降的等等。清华那边电子系出身有很多最后做偏理论一些的方向基本都和信息论息息相关, 如果你想做理论一些的问题, 这门课就是很好的一把钥匙。

------------------------------------------------------------------------------------------------------------------------------------

暑研的时候用信息论的知识在其他方向做了点东西，对我来说，除了基础课之外，这门课是为数不多我有用到的课程了。。 这门课的内容确实不仅仅在通信上有用，编码，数据压缩的一些概念和其中的一些技巧，思想也在很多地方有应用。此外，尽管这门课相对其他本科课程已经很难了，事实上它只是一门信息论入门课，可以参考MIT公开课的讲义，想真正学懂入门信息论，可能还需要对测度有一定知识储备，凸分析和泛函也有一些应用。

纪念一下，因为这门课，在科大第一次总评挂了科，也在期间察觉到自己的研究兴趣变化，从信院学去了数院，在信院的最后一门课，学的挺痛苦，不过拿了100嘿嘿(◒。◒)

2018秋的课程组成：龚老师平时上课+沈聪老师3次讲座（每次讲座占一次课）

2018秋的评分组成：20%平时作业（Cover的信息论）+20%小测（开卷考试，题目来自于论文）+40%期末考试（闭卷，自己班4题+另一个班的题4选2，考试满分120）+20%大作业（组队完成和信息论有关的小研究，要求答辩+交报告），最后给分调满40%优秀，超出100部分clip。

龚老师上课采用全英文PPT+中文讲解，讲解内容相对于数学基础较好/较为努力的同学来说可以算是很好的补充，但是对于数学基础较差/不太认真的同学来说，可能显得艰深。

叮嘱：如果担心跟不上，可以换班；但是选了请好好学，信息论的内容在很多领域都有其影子，打好基础能事半功倍。

龚老师据其本人说是第二年教信息论，他对于这门课程的理解很深刻，给我们传授一些(特别深邃神奇的)思想。在课上有时候会拿出很长时间来跟同学们讨论问题，不会仅仅局限于传统的信息论知识。

成绩组成是40%期末，20%小测，20%作业，20%课程设计。小测验是开卷的，然而并没有什么乱用，内容更偏向于数学能力的测试，尤其是概率论和微积分方面的知识。小测验之前你甚至可以完全不复习信息论。作业方面很难，认真做的话每周要花上一定的时间，而且有时候做的十分绝望，建议去寻一份答案好好感悟人家的思想(大神过滤掉这句话就好)。课程设计可以自选题目，与信息论相关的即可。期末考试比小测验稍微简单一些，但是仍然很难。即便如此，也不要放弃对这门课的信心，龚老师最后是调分的，而且是给满40%的优秀率。整个学期下来，感觉上课上得很值很长知识，作业做得心累考试考得心累，最后由于调分勉强拿了A-很开心。