信息论A(龚晨) 2024春 2023春 2022春 2021春 2020春  课程号:00612502
2024春 2023春 2022春 2021春 2020春  课程号:00612502
7.9(12人评价)
7.9(12人评价)
  • 课程难度:困难
  • 作业多少:很多
  • 给分好坏:超好
  • 收获大小:一般
选课类别:计划 教学类型:理论课
课程类别:本科计划内课程 开课单位:电子工程与信息科学系
课程层次:专业核心   学分:3.0
课程主页:暂无(如果你知道,劳烦告诉我们!)
排序 学期

评分 评分 12条点评

luke 2021春
  • 课程难度:中等
  • 作业多少:很多
  • 给分好坏:超好
  • 收获大小:一般
  • 难度:中等
  • 作业:很多
  • 给分:超好
  • 收获:一般

我是数院概统系的学生,这学期选了信息论,作为一个统计壬来谈谈这门课学习的体会。

课程内容:这门课一学期讲的内容比较多而且有点杂,不过个人来看主要可以分为以下几部分。
1. 熵的基本知识,主要是covers的2,3,4,8,12章。主要是讲的一些关于熵的基本的定义和运算,以及一些准备知识。包括离散熵,随机过程的熵,连续熵以及熵的极大化。

2.信息的压缩和传输,主要是covers的5,7,9,10章。主要讲的是如何压缩原始数据使得损失尽可能小,还有数据传输速率有多大(就是信道容量)。

3.信息论与统计,主要是covers的11章。这部分主要是在运用信息熵来解决一些基本的统计问题,比如假设检验,bayes。尽管在这部分的统计问题都比较传统,但其思想还是比较值得学的。

课程体验:总的来说收获确实很大,也算是长了见识。但有些方面体验有点不好。

首先是龚晨老师的讲课风格可能不对我胃口。他应该是非常想让学生参与进课堂,所以经常讲了一小会讲到一个问题就停下让我们想,导致课堂比较断续,课堂效率不是很高。另外他的ppt可读性比较弱,基本就是课本随机摘抄。相比起来隔壁班的看起来就舒服很多。

还有一点想吐槽的是课程任务量。这门课每周平均布置8-10个题,这里面还有某些题有6-8个小问,所以认真思考写作业要花很长时间,这就导致平时作业巨大抄答案。相比之下zwy的作业就少得多(差不多gc的一半),而且没有小测验,project这些事。感觉到了大三下花那么多时间在一门课有点不大合适。

补充阅读内容:最后说一下信息论在统计的一些应用,以及概统,统计壬学这门课同时可以去阅读的一些材料。

1. 集中不等式:Concentration Inequalities是现在统计方向做研究的一个比较基本的工具。在其中很多不等式的证明其实用到了熵的方法,因为很多时候概率分布的形式和熵的形式是可以比较容易互相转化的 。其中一个印象比较深的是用两个分布的KL-divergence来bound住Sub-Gaussian函数在两个分布下期望的差,还有一个很著名的Bounded Difference Inequality除了用鞅的方法也可以用熵的方法来证。这些内容可以在John Duchi stats311 note的3-5章和Boucheron的Concentration Inequalities这两本书上读到。

2. Minimax估计下界:这个问题其实也是很多现在统计研究中一个比较重要的问题,直观上理解就是一个估计的“最好”的损失能有多小。相比于Minimax估计上界可以直接通过数学上的不等式放缩直接得来,Minimax估计的下界往往不能这样直接得到。这个时候我们很多时候借助的也是信息论上的方法。大致思想是首先用一个个“球”把整个区域给割裂开,然后将“lower bound”转化为“判断结果落入哪个球中”,也就是将问题变得离散。这样这个错误概率可以用Fano Inequality给出一个lower bound。这部分的内容可以在John Duchi stats311的第二部分和Wainwright的High Dimensional Statistics的Chapter5,15读到。此外Wainwright和Bin Yu等人在09年写过一篇文章,写的是在lq- ball上面线性回归的minimax估计,这篇文章也比较值得看看。

当然,信息论在统计上的应用绝对不止上面我说的这些topics,只不过我对这些topics相对熟悉一些就多讲了点,之后评课大佬要是对其他的topic比较了解也可以详细讲讲。另外,上面提到的John Duchi写的note,以及另外有一本David McKay的Information Theory里面也写到很多跟统计或者ML/DL相关的内容,感兴趣的话也可以都看一下。

------------------------------------------

2021.7.27

出分了,gcyyds!!!

 

9 1 复制链接
Taufik大佬问问哪里有作业答案?
立即登录,说说你的看法
lee.slash 2021春
  • 课程难度:困难
  • 作业多少:很多
  • 给分好坏:一般
  • 收获大小:一般
  • 难度:困难
  • 作业:很多
  • 给分:一般
  • 收获:一般

学期中,先来评下吧

建议学弟学妹们学信息论的话直接转另一个班,这个班不是人呆的地方(大佬随意)

先说上课,一般一堂课一份ppt,纯英文的而且上面只是写了一些定理和结论外加一些不明所以的话,每堂课开始直接上ppt,从来不会先大体性概述今天要讲什么或者说总结下上堂课内容,一般一开口就是“你们觉得...定理成立么,是请给出证明不是请给出反例”,从而导致学期中后段大部分时间不知道他在讲什么,上课直接起飞;此外,上课最大的习惯就是给同学时间证明一些定理,实际上大部分时间都不知道他在讲什么,这种行为纯浪费上课时间;最后就是习惯性自言自语,一口气说一大串,简直像是胡言乱语,完全不知道在说什么。。

接着作业,作业是致死量,一周两堂课,每堂课的ppt后都有差不多4,5道题,一周平均8-10题,用的是Thomas Cover的书,题目可以说又臭又长还难,不夸张地说,在有答案的情况下,你光是看看题目去试着读懂题到放弃直接对着答案写过程到差不多全抄答案 也得花上大半天功夫,因为答案也是英文的,你翻译过来还得花时间。 信息论作业可以让你每周都怀疑一次人生。

接着是一些花里胡哨的buff,一学期两次小测,每次占10分,这个相比其他来说还好不算什么,重点是还有占20分的课设,想想大三下在快期末考试自己忙的焦头烂额去预习信息论的时候,发现还有个20分的课设没做,而且是一个组3个人都发现没做是种什么样的感觉吧。。

最后,他给人感觉就是那种吊儿郎当,或者说是有多动症,讲课就不想让你听懂的样子,印象极差

总结:如果你不想挑战极限,出门左转去张老师班;如果你觉得发量尚可,可以来 龚 晨 班体会一下 上课听不懂,作业奇多奇难,小测课设接二连三,还得每周两次看到这位身患10年多动症,吊儿郎当的凡尔赛大师,为你讲述“是请给出证明,不是请给出反例” 的感受

忘了一点,他上课课间5min不下课,然后就是张老师班作业少,没小测,没课设~

3 3 复制链接
小丑不听课的黑子是吧?作业看答案还能怀疑人生,确定不是自己蠢?动不动就对老师人身攻击,什么贵物不用多说了吧~
Hyojoo回复 @小丑:哇,作业全能看懂,您可真厉害呀,可惜这门课老师应该不能帮你挂掉很多人,减少您的竞争对手了。
Anonymity回复 @小丑:宁这就不是人身攻击了是吧,戾气这么重确定不是学傻了?
立即登录,说说你的看法
Mr_Philo 2022春
  • 课程难度:困难
  • 作业多少:很多
  • 给分好坏:超好
  • 收获大小:很多
  • 难度:困难
  • 作业:很多
  • 给分:超好
  • 收获:很多

一句话:痛并快乐着


关于龚老师的上课内容和方式,其他同学已经说得很详尽了。这里想给后来人几条建议:

0. 想躺平的同学,请出门左转张老师班级;想拿高绩点,不怕任务重的同学,可以选龚老师的课;

1. 显著特点:地狱级的作业量。但作业一定要好好写,哪怕是对答案抄也尽量弄懂答案是怎么写的。本学期一共布置了130多题,是隔壁zwy老师班的4倍多(隔壁只有5×6=30题),每周我至少要花6—8个小时甚至更多的时间来写作业,每次写信息论作业宛如坐牢一般,消耗的作业本页数甚至比数分B2还要多。但不得不说在坐牢写作业的过程中,确实加深了对信息论的理解;

(题外话:10.16题我实在是写不下去,直接把题干抄了一遍交上去,批下来一个大红勾 √ )

2. 小测开卷,请带上数学分析和概率论的笔记,考题是从今年有关信息论的论文中直接扒下来的,复习课本的用处不大,均分30左右,非常考验数理基础;

3. 大作业请抱大腿,可以在学期中就考虑选题的事情。班上应该有很多少院数院的腿可以抱;

4. 期末考试闭卷,和平时作业和小测关系都不大(至少今年是这样),主要考查对信息论的深入理解,建议备考时认真看透Cover的书(课本);

5. 上课虽然容易走神,但还是建议认真跟着老师听,记记笔记(比如证明过程、具体例子)。龚老师的PPT很简略,复习时帮助甚微。

最后总评计算方式 2:1:1:2:4(平时作业:第一次小测:第二次小测:大作业:期末考试),不得不吐槽一句上了这么多课,第一次遇到算这么细的。最后会按比例调分,优秀率给满,确实是奶王。

1 0 复制链接
Taffy 2022春
  • 课程难度:中等
  • 作业多少:很多
  • 给分好坏:超好
  • 收获大小:很多
  • 难度:中等
  • 作业:很多
  • 给分:超好
  • 收获:很多

纪念下gpa时代的结束! 感谢老师的夕阳4.3!

这门课内容多(三学分,花的时间却是最多的,感觉是我花在pde上的两倍了),但真的十分有趣。最有趣的莫过于信息论只用微积分、线性代数和SLLN,能展现一些"可以用高等、晦涩、抽象的数学语言写成厚厚一本书"的东西的直观、简洁版本。比如AEP;比如用型类证明大偏差;我大作业写的也是相关内容。

作业是真致死量,但感觉很多有趣的部分其实来源于作业题?而且作业题,小测,期末考三种不同风格。 感觉数院人学这门课的最大障碍是读懂题目?尤其是信道那块,感觉很多定义不太严谨,两次小测都有好几问不知道在讲什么。。

给分按排名。只是稍微提醒一下,感觉选信息论的数院人要越来越多了,这学期gc班50人看到不少大佬。。也许可以分散下投资选下隔壁班?

总体是很推荐的,毕竟这门课讲的是信息论领域的基本知识,和统计,IE的紧密联系也不必多说。如果你闲着无聊的话(比如大三下选修课不知选啥),可以选选。说不定哪天读着读着,就开始搞信息论去了呢?

1 0 复制链接
一个make的re 2022春
  • 课程难度:中等
  • 作业多少:很多
  • 给分好坏:超好
  • 收获大小:一般
  • 难度:中等
  • 作业:很多
  • 给分:超好
  • 收获:一般

    信息论是我大学最后一门出分的课,作为纪念来评一下课。 本人是数院的学生,因为感兴趣所以选了这门课。总的下来收获还是不错的,对于熵以及相关的概念的理解加深了不少。这门课的理论基本上以熵和互信息为基础,涉及很多有趣的结论,课程容量也是比较大的,大致按照covers的顺序从熵的定义讲到了大偏差。这里不得不提一下gc老师在大偏差这里讲的挺不错的,不仅仅是叙述和证明定理,也讲出了一点对于大偏差的理解。事实上虽然我学过更一般度量空间上sanov定理,但是只有到这门课我才真正理解在第一次学的时候遇到的各种奇怪的计算(点名高等概率论yss的垃圾教学)。
    而且这门课的定理及证明还是蛮好玩的包括但不限于Kraft不等式的证明,信道容量那里的一系列定理,率失真理论等等。这让我虽然没有完全从信息论的角度完全理解这门课的知识,但依然感觉能体会到这门课的好玩的地方。
    关于教学的话,个人并不是很适应gc老师的讲课,感觉跟数院的老师画风很不一样。老师在讲定义或者定理及证明时,会非正式的讲一些理解,但是,他经常不明确写出定义或是不完整写出证明,只在黑板上写其中几步关键的推导。这导致我听课时经常非常迷惑,不知道一个东西的具体定义是什么就做一堆推导,或是有种不知何时证明开始了,又不知何时证明又结束了的感觉(经常证明只写一半甚至让我感觉证明是错的)。总的来说听gc老师的课最好还是手边准备一本教材,随时准备翻阅补上他不讲的部分,否则可能会听得云里雾里。
    关于作业,这门课的作业和任务是真的多,感觉一门课的作业快赶上我两门课的作业量,并且作业里经常会出现很难答案又巨长的作业题,一开始我还每道题都很认真的做,即使不会也把答案抄到本子上,后来基本就是看道题思考5分钟,没想法就找到答案,不长就抄,长就跳过。而且说实话,作业题跟小测和期末考试关系都不是很大。。。(虽然我觉得这是考试的问题)。另外这门课还有大作业!我不理解一门课3学分的课为什么可以塞进这么多任务和内容,感觉比我本学期所有4学分的课都花费时间,建议把学分加到4,让老师讲课再详细一点(bushi) 
    关于考试,一共有两次小测和期末。小测基本都是考察信息论背景的微积分与基础的概率论问题(以及阅读理解问题),还是挺有难度的(并且和上课内容无关),每次小测都有两到三小问没做完。期末相当简单,感觉属于有手就行的难度,计算题都是很直接的计算,证明题都是一步证明,题目难度远低于作业题平均难度。期末考前把重要的概念和证明都过一遍(太难的不用)就够了。三次考试都没有公布成绩,也没有标准答案,感觉有点奇怪。 关于给分,虽然所有的参与评分的成绩都没有公布,但是考虑到本人小测比较拉胯,期末答的也不理想却拿到一个满意的成绩,我觉得gc老师给分还是相当不错的,感觉可能是按排名给分?
    总的来说,如果是数院概统的同学,我觉得这门课还是有所收获的,并且只要数分线代概率论不太拉胯,这门课的实质内容就非常容易理解和掌握。对于这样的同学,这门课虽然任务量大。但还是比较推荐的。

1 0 复制链接
soooooohappy 2020春
  • 课程难度:困难
  • 作业多少:中等
  • 给分好坏:超好
  • 收获大小:一般
  • 难度:困难
  • 作业:中等
  • 给分:超好
  • 收获:一般

评课之前, 先说一下, 这是一门本研贯通课程, 本科生学研究生也学, 建议大家在参考评课社区时参考符合自己的评价~

龚老师是一位令人尊敬的老师, 但我觉得龚老师的信息论不适合我等凡人学习TT

老师上课内容很充实, 数学水平很高, 但是就是因为数学水平太高了, 彼时作为一个本科生的我并不能跟上龚老师的思路; 整个课堂进度和难度是由班上水平最高的学生决定和carry的, 对我来说真的很难适应

作业是covers信息论的课后题, 诚如前面同学所言, 我经常对着答案也不知道答案在讲什么, 助教和老师也没有专门的习题课讲解作业, 写作业的时候非常痛苦而且觉得没有意义...

到了研究生以后才越发意识到信息论的重要性...建议大家找到适合自己的信息论学习方法, 不然可能老大徒伤悲

p.s. 我考的差, 所以老师虽捞但也就那样(但龚老师调分力度确实很大), 但如果是因为看到老师调分力度大而选择这个课堂, 还是建议大家审慎一点

(最后修改于 1 0 复制链接
Anonymity 2021春
  • 课程难度:困难
  • 作业多少:很多
  • 给分好坏:超好
  • 收获大小:一般
  • 难度:困难
  • 作业:很多
  • 给分:超好
  • 收获:一般

龚老师学识很渊博,上课内容很丰富,但讲课水平一般,跳跃感太强,我自己课堂上基本听不懂老师讲的内容,后半学期基本处于半放弃状态。(数理基础太差)

作业很多且难,每周八九道题目,基本就是对照着答案边理解边写。有些题目超级长,根本没有做下去的欲望,答案就是各种公式推导加文字解释说明,看不太懂,要写(抄)很长时间。

两次小测,难度我觉得挺大的,期末复习助教把答案发出来我也没怎么看懂。一次课设,与信息论相关即可,评分上应该更看重学生自己做了什么。(就是尽量自己做一些东西,不要做综述这种)

学生组成上有信院6系的,有计科大数据的,有很多研究生,好像还有数院的。因为不同学生专业侧重不同,基础也不尽相同,所以评价参差不齐也是正常现象。我身边的6系的同学对这门课的评价都不高,大三下6系5门硬课,人工智能的同学课更多(还有机器学习这种变态课),这门课的内容你如果要认真学会花掉大量时间,导致没有时间学习别的课程。反正我基本上划了一学期水,对总评也没什么要求。

老师给分不错,比我想象的要好不少。

1 0 复制链接
2023春
  • 课程难度:困难
  • 作业多少:很多
  • 给分好坏:超好
  • 收获大小:很多
  • 难度:困难
  • 作业:很多
  • 给分:超好
  • 收获:很多

    本人从事TCS研究,信息论也算作广义的TCS领域内,因此本学期心血来潮选了这门课。

    信息论cover的内容别的点评已经写的很详细了,来说说几个令我印象深刻的地方吧。首先是第五章数据压缩的内容。主要涉及到一些组合学的东西(比如huffman编码,kraft不等式),这属于本人的舒适区,所以学起来比较巴适,小测里相关的题目也都做出来了。其次是第七章信道容量,这应该是信息论的核心内容,由于有一大堆定义和定理,第一次并没有学懂。后来复习的时候才意识到本章想要解决什么问题。简单的说,就是在信息传输的过程中,如何选择合适的编码和译码方式,使传输错误概率尽可能小。第10章率失真理论应该是最难的,本人只记得几个公式,实际上并没有学懂。信息论与统计学也是挺有意思的话题,然而本人因外出参加体育赛事,本章的内容只听了一节课。

    信息论的许多有趣之处在于它和其他领域的相关性。比如利用condition reduce entropy可以证明一些矩阵不等式。这些不等式在代数学观点下可能是non-trivial的,然而在信息论的观点下则是trivial的。其他的例子如:在一堆小球中有一个比其他重,最少称几次能把这个小球分辨出来?以及算法基础中证明比较排序的时间复杂度下界,这些都与信息论有关。

    关于上课方式,老师中途是没有下课的,一开始可能会不适应。上课的时候确实会提出问题然后留一点时间给大家思考,大多数时候只要认真听课跟上节奏都是能思考出来的。

    关于考核:作业,两次小测,期末考试和大作业。作业前半学期还能自己做,后半学期基本靠答案度日。甚至有些问题看答案都不一定明白。但正如老师所说,作业能让人学到很多东西。小测开卷,两次综合看来是在考察信息论背景下的数学能力。分析、代数、概率、组合都用到一点,数学基础比较好的同学或许不会感觉那么难。期末考试主要就是考察对信息论的理解了。个人感受是和上课讲的内容具有很大的关联性,比如考了一个fano不等式的叙述,这个fano不等式的版本是老师上课讲的版本,而不是书上的版本。还考了一个\(H^{k}_{n}=\frac{1}{C_{n}^{k} }\sum_{|S|=k}H(X_S)\)的单调性,这也是最后几节课上讲的。所以上课一定要好好听。大作业据老师说除非做原创的研究,否则是拿不到优秀的。但这应该是在鼓励大家原创,而非真的如此。我们组根据3B1B的视频做了一个汉明码原理介绍,感觉挺水的。

    关于给分:据其他点评说是按照排名优秀率给满。作为大四最后出分的一门课,居然获得97好评,甚是欣慰。

0 2 复制链接
yopi你好,请问这门课出分晚的话毕业证是这门课出了分就可以领取吗?还是得等到下个学期?谢谢
回复 @yopi: 你好,我是延毕的学生,所以你问的问题我不太清楚。不过按照惯例,毕业证可能要出分以后才能拿。
立即登录,说说你的看法
OREO 2021春
  • 课程难度:困难
  • 作业多少:很多
  • 给分好坏:超好
  • 收获大小:很多
  • 难度:困难
  • 作业:很多
  • 给分:超好
  • 收获:很多

龚晨老师yyds,给分也超好!

0 0 复制链接
codingtree 2021春
  • 课程难度:困难
  • 作业多少:很多
  • 给分好坏:超好
  • 收获大小:很多
  • 难度:困难
  • 作业:很多
  • 给分:超好
  • 收获:很多

6系研究生来顶一下,同时上过龚大佬的矩阵和信息论。听龚老师组里的人说,这门信息论设计的初衷是按他在哥大phd课程难度来。。上完之后应该能对一般TCom级别文章免疫,TIT(神刊,自行百度)能够上手。PS. 据说有学生之后到米国念phd信息论都不用上课直接去考试,课程深度可见一斑

上课风格仁者见仁,矩阵和信息论基本是一以贯之,但对研究生来说,需要这种列提纲式的讲解,自学能力也基本成形(知道有这么个东西,碰到类似的case再去自查),是为数不多的我时常翻看复习的两门课程(一方面是矩阵和信息论在研究中太过于常用,另一方面还是自己太菜上课没听太懂。。)

看到楼上有人对龚老师本人颇有微词,起码这与我的直接观察情况不符,身边的同学聊到龚老师都是一片赞美之词,也是冒出来写两句的直接原因。

0 0 复制链接
Greatzz 2020春
  • 课程难度:困难
  • 作业多少:很多
  • 给分好坏:超好
  • 收获大小:很多
  • 难度:困难
  • 作业:很多
  • 给分:超好
  • 收获:很多

龚老师,永远滴神!

0 0 复制链接
a ustcer 2020春
  • 课程难度:困难
  • 作业多少:中等
  • 给分好坏:超好
  • 收获大小:一般
  • 难度:困难
  • 作业:中等
  • 给分:超好
  • 收获:一般

课程虽然难,考前就复习了两天,很多都没搞懂,期末考试3小时做7道题,前面几道送分,后面几道我因为太菜,自己随便写了点,因此两小时就做完了,考两小时和三小时没什么区别,不会做的还是不会,然后剩下一小时就在那等,考完觉得能及格就不错了,但是龚老师给分真的超级超级好,据我猜测,龚老师给分原则是,班上最高分不管考多少直接调到满分,然后优秀率给满 ,信息论选龚老师就对了

0 0 复制链接

龚晨

教师主页: 暂无

其他老师的「信息论A」课

龚晨, 沈聪 9.7 (3) 2018秋 2017秋...
王培康 8.5 (4) 2018秋 2017秋...
张文逸 7.2 (6) 2024春 2023春...
戴旭初 2003秋
张颉颃 2023春

龚晨老师的其他课

信息论A 9.7 (3) 2018秋 2017秋...
新生“科学与社会”研讨课 10.0 (1) 2017春 2016秋...
矩阵分析与应用 3.3 (11) 2022秋 2021秋
矩阵分析与应用 2017春 2016春
矩阵分析与应用 2020秋 2019秋...