域泛化
2021-05-05 17:26:23 2 举报AI智能生成
机器学习领域，域泛化当前研究进展
作者其他创作
大纲/内容
域泛化
研究意义
AI发展很快依然存在问题
大多数深度学习算法在同分布情况下性能很好，在分布外性能受限
解决上述问题，难度很高
统计机器学习，完全数据驱动，弱化了人类先验知识
解决该问题最理想的方法是搜集大量样本，但是
数据构建成本大
奢侈品包包，一个好几万
数据敏感
医学图像涉及病人隐私
研究域泛化对于提升AI的落地性能有帮助
降低数据集对大规模、无偏、多样性抽样的要求
提升模型面对不确定未知场景是的鲁棒性
研究域泛化对于推动模式识别相关领域的研究有帮助
解耦表示学习
因果关系分析
可解释性
研究背景
传统算法中的泛化性研究
正则化惩罚项
决策树剪枝
最小描述长度
特征选择
《模式分类》P374
深度学习中的泛化性
优化策略
earlystop
模型视角
对参数添加L1L2正则项loss
dropout
BatchNorm
数据视角
数据增强
对抗样本
通用泛化性 vs 跨域泛化性
假设
通过泛化：假设满足IID
跨域泛化：并不满足IID
相关因子满足IID
无关因子不满足IID
相关因子跨域泛化性更好
目标
通用泛化：防止模型过拟合到数据集中的噪声或者离群点
跨域泛化：提升模型在分布未知的域上的泛化性
方法：
通用泛化：降低模型复杂度或者提升数据集多样性
跨域泛化：关注任务相关因子
研究现状
优化策略视角
研究方法
0 条评论
回复 删除
下一页
