深度卷积网络:原理与实践
2020-04-21 09:49:26 0 举报
AI智能生成
深度卷积网络:原理与实践
作者其他创作
大纲/内容
6 AlphaGo架构综述
6.1 从AlphaGo到AlphaZero
6.1.1 AlphaGo v13与AlphaGo v18
6.1.2 AlphaGo Master与AlphaGo Zero
6.1.3 解决一切棋类:AlphaZero
6.2 AlphaGo的对弈过程
6.2.1 策略网络
6.2.2 来自人类的思路
6.2.3 蒙特卡洛树搜索与估值问题
6.2.4 从快速走子估值到价值网络
6.2.5 从搜索树看策略与价值网络的作用
6.2.6 策略与价值网络的运作实例
6.3 AlphaGo中的深度卷积网络架构
6.4 AlphaGo的训练过程
6.4.1 原版AlphaGo:策略梯度方法
6.4.2 新版AlphaGo:从蒙特卡洛树搜索学习
6.5 AlphaGo方法的推广
7 训练策略网络与实战
7.1 训练前的准备工作
7.1.1 棋谱数据
7.1.2 落子模拟
7.1.3 终局判断
7.2 训练代码
7.2.1 主程序:train.py
7.2.2 训练参数:config.py
7.2.3 辅助函数:util.py
7.2.4 棋盘随机变换:symmetry.py
7.2.5 训练实例
7.3 对弈实战
8 生成式对抗网络:GAN
8.1 GAN的起源故事
8.2 GAN的基本原理
8.2.1 生成模型:从图像到编码,从编码到图像
8.2.2 GAN的基本效果
8.2.3 GAN的训练方法
8.3 实例:DCGAN及训练过程
8.3.1 网络架构
8.3.2 训练代码
8.4 GAN的更多架构和应用
8.4.1 图像转移:CycleGAN系列
8.4.2 生成高分辨率图像:nVidia的改进
8.4.3 自动提取信息:InfoGAN
8.4.4 更多应用
8.5 更多的生成模型方法
8.5.1 自编码器:从AE到VAE
8.5.2 逐点生成:PixelRNN和PixelCNN系列
8.5.3 将VAE和GAN结合:CVAE-GAN
9 通向智能之秘
9.1 计算机视觉的难度
9.2 对抗样本,与深度网络的特点
9.3 人工智能的挑战与机遇
9.3.1 棋类游戏中的电脑陷阱
9.3.2 偏见、过滤气泡与道德困境
9.3.3 语言的迷局
9.3.4 强化学习、机器人与目标函数
9.3.5 创造力、审美与意识之谜
9.3.6 预测学习:机器学习的前沿
9.4 深度学习的理论发展
9.4.1 超越反向传播:预测梯度与生物模型
9.4.2 超越神经网络:Capsule与gcForest
9.4.3 泛化问题
9.5 深度学习与人工智能的展望
9.5.1 工程层面
9.5.2 理论层面
9.5.3 应用层面
跋 人工智能与我们的未来
附录 深度学习与AI的网络资源
为何写作本书
本书的特点
本书读者对象
资源和勘误
引子·神之一手
1 走进深度学习的世界
1.1 从人工智能到深度学习
1.2 深度神经网络的威力:以AlphaGo为例
1.2.1 策略网络简述
1.2.2 泛化:看棋谱就能学会下围棋
1.2.3 拟合与过拟合
1.2.4 深度神经网络的速度优势
1.3 深度神经网络的应用大观
1.3.1 图像分类问题的难度所在
1.3.2 用深度神经网络理解图像
1.3.3 AlphaGo中的深度神经网络
1.3.4 自动发现规律:从数据A到答案B
1.3.5 深度神经网络的更多应用
1.3.6 从分而治之,到端对端学习
1.4 亲自体验深度神经网络
1.4.1 TensorFlow游乐场
1.4.2 MNIST数字识别实例:LeNet-5
1.4.3 策略网络实例
1.4.4 简笔画:Sketch-RNN
1.4.5 用GAN生成动漫头像
1.5 深度神经网络的基本特点
1.5.1 两大助力:算力、数据
1.5.2 从特征工程,到逐层抽象
1.5.3 深度神经网络学会的是什么
1.6 人工智能与神经网络的历史
1.6.1 人工智能的两大学派:逻辑与统计
1.6.2 人工智能与神经网络的现代编年史
2 深度卷积网络:第一课
2.1 神经元:运作和训练
2.1.1 运作:从实例说明
2.1.2 训练:梯度下降的思想
2.1.3 训练:梯度下降的公式
2.1.4 训练:找大小问题的初次尝试
2.1.5 训练:Excel的实现
2.1.6 重要知识:批大小、mini-batch、epoch
2.2 深度学习框架MXNet:安装和使用
2.2.1 计算图:动态与静态
2.2.2 安装MXNet:准备工作
2.2.3 在Windows下安装MXNet
2.2.4 在macOS下安装MXNet:CPU版
2.2.5 在macOS下安装MXNet:GPU版
2.2.6 在Linux下安装MXNet
2.2.7 安装Jupyter演算本
2.2.8 实例:在MXNet训练神经元并体验调参
2.3 神经网络:运作和训练
2.3.1 运作:前向传播,与非线性激活的必要性
2.3.2 运作:非线性激活
2.3.3 训练:梯度的计算公式
2.3.4 训练:实例
2.3.5 训练:Excel的实现
2.3.6 训练:反向传播
2.3.7 重要知识:梯度消失,梯度爆炸
2.3.8 从几何观点理解神经网络
2.3.9 训练:MXNet的实现
3 深度卷积网络:第二课
3.1 重要理论知识
3.1.1 数据:训练集、验证集、测试集
3.1.2 训练:典型过程
3.1.3 有监督学习:回归、分类、标签、排序、Seq2Seq
3.1.4 无监督学习:聚类、降维、自编码、生成模型、推荐
3.1.5 训练的障碍:欠拟合、过拟合
3.1.6 训练的细节:局部极值点、鞍点、梯度下降算法
3.2 神经网络的正则化
3.2.1 修改损失函数:L2和L1正则化
3.2.2 修改网络架构:Dropout正则化
3.2.3 更多技巧:集合、多任务学习、参数共享等
3.2.4 数据增强与预处理
3.3 神经网络的调参
3.3.1 学习速率
3.3.2 批大小
3.3.3 初始化方法
3.3.4 调参实战:重返TensorFlow游乐场
3.4 实例:MNIST问题
3.4.1 重要知识:SoftMax层、交叉熵损失
3.4.2 训练代码与网络架构
3.4.3 超越MNIST:最新的Fashion-MNIST数据集
3.5 网络训练的常见bug和检查方法
3.6 网络训练性能的提高
4 深度卷积网络:第三课
4.1 卷积网络:从实例说明
4.1.1 实例:找橘猫,最原始的方法
4.1.2 实例:找橘猫,更好的方法
4.1.3 实例:卷积和池化
4.1.4 卷积网络的运作
4.2 运作:AlphaGo眼中的棋盘
4.2.1 棋盘的编码
4.2.2 最简化的策略网络
4.2.3 最简化的策略网络:特征层和卷积后的结果
4.3 卷积神经网络:进一步了解
4.3.1 卷积核、滤波器与参数量的计算
4.3.2 运作和训练的计算
4.3.3 外衬与步长
4.3.4 缩小图像:池化与全局池化
4.3.5 放大图像:转置卷积
4.4 实例:用卷积网络解决MNIST问题
4.4.1 网络架构的定义与参数量的计算
4.4.2 训练MNIST网络
4.4.3 在MXNet运行训练后的网络
4.4.4 调参实例
4.4.5 在Fashion-MNIST数据集的结果
4.5 MXNet的使用技巧
4.5.1 快速定义多个层
4.5.2 网络的保存与读取
4.5.3 图像数据的打包和载入
4.5.4 深入MXNet训练细节
4.5.5 在浏览器和移动设备运行神经网络
5 深度卷积网络:第四课
5.1 经典的深度卷积网络架构
5.1.1 深度学习革命的揭幕者:AlexNet
5.1.2 常用架构:VGG系列
5.1.3 去掉全连接层:DarkNet系列
5.2 网络的可视化:以AlexNet为例
5.3 迁移学习:精调、预训练等
5.4 架构技巧:基本技巧
5.4.1 感受野与缩小卷积核
5.4.2 使用1×1卷积核
5.4.3 批规范化
5.4.4 实例:回顾Fashion-MNIST问题
5.4.5 实例:训练CIFAR-10模型
5.5 架构技巧:残差网络与通道组合
5.5.1 残差网络:ResNet的思想
5.5.2 残差网络:架构细节
5.5.3 残差网络:来自于集合的理解与随机深度
5.5.4 残差网络:MXNet实现,以策略网络为例
5.5.5 通道组合:Inception模组
5.5.6 通道组合:XCeption架构,深度可分卷积
5.5.7 实例:再次训练CIFAR-10模型
5.6 架构技巧:更多进展
5.6.1 残差网络进展:ResNext、Pyramid Net、DenseNet
5.6.2 压缩网络:SqueezeNet、MobileNet、ShuffleNet
5.6.3 卷积核的变形
5.7 物体检测与图像分割
5.7.1 YOLO v1:实时的物体检测网络
5.7.2 YOLO v2:更快、更强
5.7.3 Faster R-CNN:准确的物体检测网络
5.7.4 Mask-RCNN:准确的图像分割网络
5.8 风格转移
0 条评论
下一页