来源:机器之心
作者:魔王
这门课聚焦生成建模技术的理论和数学基础,探讨多种生成模型技术。
在概率统计理论中,生成模型是指能够随机生成观测数据的模型,尤其是在给定某些隐含参数的条件下。它能够给观测值和标注数据序列指定一个联合概率分布。在机器学习中,生成模型可用来直接对数据建模(例如根据某个变量的概率密度函数进行数据采样),也可以用来建立变量间的条件概率分布。
生成模型是最近较为活跃的研究领域,从事机器学习研究的人有必要了解这一研究主题。去年秋季,华盛顿大学开设了一门主题为「生成模型」的课程 CSE 599,探讨了多种生成模型相关技术。
课程地址:https://courses.cs.washington.edu/courses/cse599i/20au/
这门课与当前的生成模型研究紧密相关,并提供了阅读该领域近期进展相关论文所需的背景知识。课程聚焦生成建模技术的理论和数学基础,学生在开始本课程前最好了解机器学习领域的基础概念。
该课程于 2020 年 9 月 30 日开始,12 月 7 日结课。目前已放出课程讲义和 slide,每节课还提供额外的补充阅读材料。
CSE 599 课程表部分截图。课程主题
这门课程涉及以下主题:
自回归模型
NADE 框架
RNN/LSTM 和 Transformer
变分自编码器(VAE)
高斯 VAE
ConvNet 与 ResNet
后验崩溃
离散式 VAE
生成对抗网络
f-GAN
Wasserstein GAN
Generative Sinkhorn Modeling
生成流
自回归流
可逆网络
神经常微分方程
基于能量的模型
Stein 方法与评分匹配
郎格文动力学与扩散
具备类似主题的课程还有斯坦福大学开设的 CS236(深度生成模型)课程和加州大学伯克利分校的 CS294-158(深度无监督学习)课程。感兴趣的读者可以多了解这两门课。
讲师简介
课程主讲人 John Thickstun 本科毕业于布朗大学应用数学专业,目前在华盛顿大学计算机科学与工程系攻读博士学位。目前的研究兴趣包括生成模型、采样、时序,及其在音乐领域的应用,多篇论文发表在 EMNLP、ICML、ISMIR、ICLR 等学术会议上。
个人主页:http://homes.cs.washington.edu/~thickstn/
2021年 2 月的第一周,机器之心将携手二十余位 AI 人耳熟能详的重磅嘉宾进行在线直播,通过圆桌探讨、趋势Talk,报告解读及案例分享等形式,为关注人工智能产业发展趋势的AI人解读技术演进趋势,共同探究产业发展脉络。连续七天,精彩不停。
添加机器之心Pro小助手(syncedai 或 syncedproii),备注「2021」,进群一起看直播。