文本表征学习(宋彦) 2024春 2023春  课程号:EE151301
2024春 2023春  课程号:EE151301
9.5(2人评价)
9.5(2人评价)
  • 课程难度:中等
  • 作业多少:中等
  • 给分好坏:一般
  • 收获大小:很多
选课类别:通识 教学类型:理论课
课程类别:一般通识 开课单位:电子工程与信息科学系
课程层次:自由选修   学分:2.0
课程主页:暂无(如果你知道,劳烦告诉我们!)
排序 学期

评分 评分 2条点评

npz7yyk 2023春
  • 课程难度:中等
  • 作业多少:很多
  • 给分好坏:一般
  • 收获大小:很多
  • 难度:中等
  • 作业:很多
  • 给分:一般
  • 收获:很多

需要指出的是这上方的四个三选一评价是暂时的,但是分数估计是 fix 了,因为:

第一次上课后的感受:这门课可以满足你对 NLP 的一切幻想。

锐评一下:科大很多主要课程相比工业学术界,差距都非常大,也就是说,在讲解非常古老的方法(但是作为打基础来说是必要的),比较缺少学术前沿的哪怕导论课程。但是这门课会讲很多 SOTA,包括最近的 GPT,老师也提到会介绍其结构与训练方法。

还有就是老师非常热情,课堂氛围异常活跃,本人积累已久的很多NLP问题都得以和老师讨论。

趁着现在还没有锁定选课,希望看见的友友多多尝试这门课程。 


现在本课程进行到了实验二。本人愈发对本课程 respect++,原因主要有:

1. 课堂氛围非常好。你有任何问题都可以和老师当面沟通;

2. 课堂目标明确。本课程可以从这个角度来欣赏:依托 NLP 为载体,讲解了很多很多模型为什么这么建,这么训的 intuition,这种纯 idea 级别的持续灌输是我在其它 USTC 课程里很少见到的;

3. 实验硬核但是不过分。实验设计还是比较合理的,但是又真的可以沿着前辈的路径把 NLP 的那么几个时代过一遍。


老师对于所有模型的认识(宋老师总是用“物理意义”来说,憨憨的哈哈哈),真的非常深刻,尤其是 transformer,讲的非常好。我想这个课的这一部分内容是对所有神经网络开发者都十分有用的,非常适合大二准备开始搓网络的人来听。


现在本课程结课了。我只能说这门课在本学期给我灌输了最多的思想,真的是给我灌输了很多很高级的东西。从简单的大模型的使用建议,到大模型的工作与发展。所学内容真的终身受益。郭继承曾经说:“世界上还有用话语讲不清的东西,那只有两个字:闭嘴!”。我想这些东西实在是我无法用文字具象的了(太棒啦,我逐渐理解了一切……bushi)


BTW. 宋老师讲兴奋了总是会举起双手摆出两个耶然后学兔耳朵似的弯曲食指与中指(很抱歉我的语言难以准确描述),哈哈哈哈


最后是本人的实验报告(在课程对应 DDL 后公布),方便未来的同学对于本课程的实验有所了解。

NLP-report1.pdf

NLP-report2.pdf

NLP-report3.pdf

NLP-report4.pdf

大作业是基于预训练模型的情感分类探究。因为是组队完成,有非本人的工作,所以没有在此上传。

(最后修改于 7 6 复制链接
南山南蹲一个
元素女皇向乐乐学习
Breaking_Dawn向乐乐学习
可惜这学期没选😭只好明年再来了
undefined_baka这个手势真的不是表示双引号吗(
红领巾精彩!
立即登录,说说你的看法
YURIYZX 2023春
  • 课程难度:中等
  • 作业多少:中等
  • 给分好坏:一般
  • 收获大小:很多
  • 难度:中等
  • 作业:中等
  • 给分:一般
  • 收获:很多

选修时完全没有任何机器学习基础,前两节课时说明会过一遍基础知识,但是很快就进入了CNN,RNN,LSTM,BERT,Transformer...推荐有深度学习基础的来试试,没有基础的可能会像我一样上课大部分时间处于懵逼状态。

这门课的节奏很快,内容极其丰富。

1. 从N-gram到各种模型(word2vec,doc2vec,BERT...)几乎都有实验,甚至还在课堂上讨论了某些论文源码的实现逻辑。

2. 上课内容覆盖多篇顶会论文,有独到的见解

3. 老师上课非常热情,可以看出真心想和学生分享知识,语速快到甚至结巴(笑)

4. 上课互动比较多,不过这学期基本是yyk学长一枝独秀了

实验主要是调库和报告两部分,对编程和查资料能力要求很高,大量使用python,推荐使用ipynb(jupyter notebook)以及miniconda(Anaconda太大了,不推荐)。需要训练复现论文,尽管是调库,但仍然需要做大量工作,比如tensorflow不同版本不兼容,以及某些上古实现使用python2(别碰py2,会变得不幸)。可能自己从头实现更简单一点?

大作业(论文)可以用GPT的API实现,可以整很多花活,比较考验对课程的理解。

 

3 4 复制链接
茶没有喝光早变酸你好可以请问一下就是这门课的老师给分好吗
YURIYZX回复 @茶没有喝光早变酸: 你好,大作业花了两天用latex写,全勤,实验都按时交了,本人3.7,算是正常给分吧,主要是取决于你的同学卷不卷。
茶没有喝光早变酸回复 @YURIYZX: 感谢你的回复。想再次请教你一下,这门课的考核方式主要是什么,是闭卷考试呢还是大作业。可以方便知道你那个学期的大作业是什么吗。感谢!
YURIYZX回复 @茶没有喝光早变酸: 小组完成一个选题论文作为大作业,没有闭卷考试
立即登录,说说你的看法

宋彦

教师主页: 暂无

其他老师的「文本表征学习」课

宋彦老师的其他课