模型压缩
2019-05-23 14:27:48 0 举报AI智能生成
模型压缩
作者其他创作
大纲/内容
前端压缩
知识蒸馏
紧凑的模型结构
滤波器层面的剪枝(可实现前端压缩和后端压缩的融合)
1.衡量神经元的重要程度
2.移除掉一部分不重要的神经元
3.对网络进行微调
回到1进行再训练或在剪枝
后端压缩
低秩近似
使用结构化矩阵进行低秩分解
直接使用矩阵分解来降低权重矩阵的参数
不加限制的剪枝
参数量化
对权重进行聚类（K-means算法）
将类编码保存在码本中
将原矩阵中的权重替换为类的索引
二值化
0 条评论
下一页
