深度学习

华南理工大学 · 未来技术学院 · 2026年秋季学期

上课时间
每周四 5-7节
5-6节讲授，第7节讨论
上课地点
国际校区 F3C-113
助教
待定

课程信息

课程简介：本课程面向硕士研究生，系统讲授深度学习的核心理论、方法与实践技能。课程内容分为三个部分：第一部分为深度学习基础，包括前馈神经网络、反向传播与自动微分、优化方法、正则化与归一化技术，深度学习框架实践；第二部分为主流模型架构，包括卷积神经网络及其在图像分类、目标检测与分割中的应用，注意力机制与 Transformer，大语言模型的预训练、后训练与参数高效微调，以及以变分自编码器、生成对抗网络、扩散模型为代表的深度生成模型；第三部分为学习范式，围绕如何在数据有限、任务多样、数据分布式存储、任务持续到来等实际场景下有效学习，讲授自监督学习、迁移学习、多任务学习与多目标优化、元学习、联邦学习以及持续学习。
课程编号：WJ64007N   |   学分：3   |   总学时：48（讲授 32 + 讨论 16）
先修要求：
  • 线性代数、概率论与数理统计
  • 机器学习
  • Python 程序设计
考核方式：
  • 课堂参与与讨论 10%
  • 课程作业 30%
  • 论文阅读复现报告 10%
  • 期末考试（笔试）50%

课程安排

周次 主题 资料
第一部分：深度学习基础
第 1 周
绪论
深度学习的发展脉络与应用概览；机器学习基础回顾；课程安排
第 2 周
神经网络基础
前馈网络、反向传播与自动微分
第 3 周
深度模型的训练 I：优化方法
梯度下降类算法、学习率策略、参数初始化等
第 4 周
深度模型的训练 II：正则化与归一化
正则化技术、归一化方法；深度学习框架实践
第二部分：主流模型架构
第 5 周
卷积神经网络
基本原理与经典架构
第 6 周
卷积神经网络的应用
图像分类、目标检测与分割
第 7 周
注意力机制与 Transformer
自注意力、位置编码、视觉 Transformer
第 8 周
大语言模型
预训练、后训练与参数高效微调
第 9 周
深度生成模型 I
自回归模型、变分自编码器与生成对抗网络
第 10 周
深度生成模型 II
扩散模型与流匹配
第三部分：学习范式
第 11 周
自监督学习
对比学习、掩码建模、伪标签方法
第 12 周
迁移学习
预训练-微调范式、领域偏移、领域泛化
第 13 周
多任务学习
参数共享结构、任务平衡、梯度冲突与帕累托优化
第 14 周
元学习
基于优化、基于度量的方法
第 15 周
联邦学习
分布式协同训练、数据异构性与隐私保护
第 16 周
持续学习与课程总结
灾难性遗忘与缓解方法；课程回顾

参考资源

教材

参考书

相关课程

工具