AI产品养成（1）AI产业架构 产品能力模型
2023-04-26 18:58:44 4 举报AI智能生成
AI产品养成（1）AI产业架构 产品能力模型
作者其他创作
大纲/内容
AI的
业务边界
业务边界
如果一个系统可以像人类一样思考和行动，
同时这些思考和行动都是理性的，
那么这个系统我们
就可以认为它是人工智能即AI
同时这些思考和行动都是理性的，
那么这个系统我们
就可以认为它是人工智能即AI
目前 AI 技术可以解决的问题，
一定是在某一个明确的特定业务领域内，
且有特定目的的问题
一定是在某一个明确的特定业务领域内，
且有特定目的的问题
关于AI的
两个概念
两个概念
机器学习：
机器学习就是让机器从过去
已知的大量数据中进行学习，
进而得到一个无限接近现实的规律，
最后通过这个规律对未知数据进行预测。
机器学习就是让机器从过去
已知的大量数据中进行学习，
进而得到一个无限接近现实的规律，
最后通过这个规律对未知数据进行预测。
监督学习：
在机器学习
建模过程中，
我们能够获得数据标签
并使用它们训练模型
在机器学习
建模过程中，
我们能够获得数据标签
并使用它们训练模型
无监督学习：
从数据中发现其中
的潜在结构，
而不需要一个已知
的标签或者目标值。
从数据中发现其中
的潜在结构，
而不需要一个已知
的标签或者目标值。
聚类：
算法会将数据分成不同的组，
每一组内部数据之间
具有较高的相似性，
并且不同组之间的数据差异较大。
算法会将数据分成不同的组，
每一组内部数据之间
具有较高的相似性，
并且不同组之间的数据差异较大。
降维:
算法会将数据
从高维空间映射到低维空间，
以减少数据的维度，
降低复杂度和噪声。
算法会将数据
从高维空间映射到低维空间，
以减少数据的维度，
降低复杂度和噪声。
分类问题：
机器预测结果，
预测结果是“是 / 否”这样的问题。
机器预测结果，
预测结果是“是 / 否”这样的问题。
回归问题：
预测的结果是一个连续值的，
就是回归问题
预测的结果是一个连续值的，
就是回归问题
深度学习:
深度学习是一种特殊的机器学习，
它借鉴了人脑由很多神经元组成的特性，
而形成的一个框架或者说是方法论。
相对于普通的机器学习，
深度学习在海量数据情况下的效果
要比机器学习更为出色。
深度学习是一种特殊的机器学习，
它借鉴了人脑由很多神经元组成的特性，
而形成的一个框架或者说是方法论。
相对于普通的机器学习，
深度学习在海量数据情况下的效果
要比机器学习更为出色。
深度学习的核心是人工神经网络，
这些网络由层级结构组成，
可以在训练过程中自动改进
网络权重来减少预测误差
这些网络由层级结构组成，
可以在训练过程中自动改进
网络权重来减少预测误差
常用的
神经网络
神经网络
卷积神经网络（CNN）
循环神经网络（RNN）
深度自编码器
（Deep Autoencoder）
（Deep Autoencoder）
AI产品
能力要求
商业模式
成熟应用
能力要求
商业模式
成熟应用
产业架构
以及对
产品能力要求
以及对
产品能力要求
基础层：基础层偏硬件，技术更底层，对人的技术能力要求最高
技术层：多为 ToB 服务，对技术要求相对较高
应用层：最接近现在的用户，更多的是利用 AI 技术服务业务，
对技术要求相对最低，也是转行最容易的。
对技术要求相对最低，也是转行最容易的。
AI产业
商业模式
商业模式
数据收集和治理
数据收集和治理类型的
公司大多拥有自己的数据流量入口，
致力于对于数据的收集和加工。
公司大多拥有自己的数据流量入口，
致力于对于数据的收集和加工。
计算资源服务
底层的芯片、传感器的研发服务：
AI 计算服务：比如百度的 AI 开放平台
AI 技术服务
为自己产品或者上游企业提供底层的 AI 技术服务，
服务模式更多的是技术接口对接，
比如人脸识别服务的服务模式
主要就是 API 接口或者 SDK 部署的方式
服务模式更多的是技术接口对接，
比如人脸识别服务的服务模式
主要就是 API 接口或者 SDK 部署的方式
产品附加 AI
通过 AI 技术叠加产品，赋能某个产业的模式。
比如滴滴通过 AI 技术应用于自有的打车业务线，
包括营销环节的智能发券、发单环节的订单预测、
行车中的实时安全检测等等。
比如滴滴通过 AI 技术应用于自有的打车业务线，
包括营销环节的智能发券、发单环节的订单预测、
行车中的实时安全检测等等。
AI的成熟应用
AI产品经理
技能要求
技能要求
AI产品经理VS传统产品经理
AI产品经理
能力要求
能力要求
了解 AI 技术的边界，知道 AI 能力可以做什么，不能做什么；
懂得基本的统计学、概率论知识，了解市场上主流的算法和原理，
知道它们适合的应用场景；
知道它们适合的应用场景；
知道模型的构建流程是怎么样的，构建过程中每个节点产出物是什么，
以及其中的上下游关系；
以及其中的上下游关系；
要有能力去评估一个模型，知道模型评估的标准、
评估的方法，评估结果的合理范围
评估的方法，评估结果的合理范围
数学统计学
基础概念举例
基础概念举例
线性代数中
基础名词，
基础名词，
标量：
仅有大小，没有方向的数值。
如温度、时间等。
仅有大小，没有方向的数值。
如温度、时间等。
向量：
既有大小，也有方向的数值。
如速度、力等。
一个个单独的数（标量）
增加了一个维度
它就变成了一个数组（向量），
向量可以看做标量的扩展。
既有大小，也有方向的数值。
如速度、力等。
一个个单独的数（标量）
增加了一个维度
它就变成了一个数组（向量），
向量可以看做标量的扩展。
张量：
是向量在多维空间上的扩展，
可以看作是一组数组成的多维数组。
如图像、视频等
是向量在多维空间上的扩展，
可以看作是一组数组成的多维数组。
如图像、视频等
概率统计
概率分布
指一组可能事件发生的概率分布情况，
它描述了一个事件或变量的
取值在一定范围内的出现概率。
它描述了一个事件或变量的
取值在一定范围内的出现概率。
常见的
概率分布
概率分布
伯努利分布
将成功或失败等两种情况进行概率建模，
如掷硬币得到正面或反面的概率模型。
如掷硬币得到正面或反面的概率模型。
二项分布
将$n$次独立的类似
伯努利试验成功或失败的结果进行概率建模，
如$n$次抛硬币得到正面或反面的次数概率模型
伯努利试验成功或失败的结果进行概率建模，
如$n$次抛硬币得到正面或反面的次数概率模型
正态分布
钟形曲线模型，特点是两头低、中间高，左右对称
如人类身高、体重、智力、收入、甚至信用情况等等
如人类身高、体重、智力、收入、甚至信用情况等等
泊松分布
单位时间内，随机事件发生的次数。
如同一地区单位时间内交通事故数的概率模型。
如同一地区单位时间内交通事故数的概率模型。
AI产品经理
需要懂的模型
概念知识
需要懂的模型
概念知识
AI
数据
建模
流程
数据
建模
流程
模型设计
根据问题目标和数据集，
选择合适的模型架构和参数，
如选择神经网络结构
选择合适的模型架构和参数，
如选择神经网络结构
特征工程
为训练数据选取合适的特征，
如数据预处理、特征提取
和降维等方法优化模型
如数据预处理、特征提取
和降维等方法优化模型
模型训练
用训练数据对模型进行学习和参数调整，
如反向传播算法训练神经网络模型
如反向传播算法训练神经网络模型
模型验证
使用验证数据评估模型性能，
如交叉验证、ROC曲线
评估模型准确率和偏差
如交叉验证、ROC曲线
评估模型准确率和偏差
模型融合
将多个模型结果通过加权、
投票等方式融合，
提高模型泛化能力和预测精度。
投票等方式融合，
提高模型泛化能力和预测精度。
模型相关
技术名词
列举
技术名词
列举
特征清洗
对数据进行清洗去掉重复值、干扰数据，以及填充缺失值
数据变换
对原始数据进行清洗、过滤、处理等一系列转换操作，以提高模型的准确性。
训练集
验证集
测试集
验证集
测试集
训练集是让机器学习的样本集合用来拟合模型。
验证集是模型训练过程中，用来对模型性能做初步的评估，用于模型参数调优。
测试集是最终用来评估模型效果的。
验证集是模型训练过程中，用来对模型性能做初步的评估，用于模型参数调优。
测试集是最终用来评估模型效果的。
测试
跨时间测试
OOT测试
OOT测试
跨时间测试是指使用测试集中
与训练集时间不同的数据对模型进行测试，
目的是检验模型在未来数据上的预测性能。
与训练集时间不同的数据对模型进行测试，
目的是检验模型在未来数据上的预测性能。
回溯测试
使用历史数据对模型进行测试，
模拟模型在过去预测效果，
主要用于验证模型的稳定性和可靠性。
模拟模型在过去预测效果，
主要用于验证模型的稳定性和可靠性。
KS检验
对模型分类效果进行评估的一种方法，
通过比较好坏样本累积分布曲线
差异大小来判断模型效果
通过比较好坏样本累积分布曲线
差异大小来判断模型效果
KS值
一种模型分类效果的评估指标，
通过比较好坏样本累积分布曲线的差异大小，
反映模型对正负样本的区分能力。
KS值越大模型分类效果越好。
通过比较好坏样本累积分布曲线的差异大小，
反映模型对正负样本的区分能力。
KS值越大模型分类效果越好。
过拟合
在训练数据上表现良好
而在未知数据上表现不佳的现象，
常见原因包括特征维度
过高或模型复杂度过大。
而在未知数据上表现不佳的现象，
常见原因包括特征维度
过高或模型复杂度过大。
偏差：
指的是模型的预测结果
和实际的结果的偏离程度。
如果偏差比较大，
就说明模型的拟合程度比较差，
也就是欠拟合
指的是模型的预测结果
和实际的结果的偏离程度。
如果偏差比较大，
就说明模型的拟合程度比较差，
也就是欠拟合
方差：
各个样本值与均值偏差的平方和的平均值，
描述数据的离散程度
各个样本值与均值偏差的平方和的平均值，
描述数据的离散程度
欠拟合
指模型在训练数据上表现不佳，
无法拟合数据的真实分布。
它通常发生在模型过于简单、
特征选择不足、训练数据过少等情况下，
无法拟合数据的真实分布。
它通常发生在模型过于简单、
特征选择不足、训练数据过少等情况下，
ROC曲线
描述模型在二分类问题中的
准确率和召回率之间的关系，
横坐标为误判率，纵坐标为命中率。
准确率和召回率之间的关系，
横坐标为误判率，纵坐标为命中率。
AUC
ROC曲线下的面积，用于评估二分类模型的性能，取值范围为0~1，值越大模型性能越好。
混淆矩阵
用于表示模型的分类情况，
在二分类中由真正率、假正率、
真负率、假负率四部分组成。
在二分类中由真正率、假正率、
真负率、假负率四部分组成。
联合建模
就是使用三方公司（如银联、运营商、电商）的数据，在对方的环境下部署一个模型，然后我们通过接口调用这个模型的结果，再把结果融合到我们自己的模型上。通过这种方式，可以弥补我们自有业务中数据不足的问题。
联合建模是指将多个模型的输出结果进行集成，以提高预测的准确性，
联邦学习
联邦学习是一种分布式机器学习技术，将多个本地设备或终端的数据进行聚合处理，使得算法可在不同设备间共享学习结果，
保护隐私同时具有良好的扩展性和适用性。
保护隐私同时具有良好的扩展性和适用性。
业务要使用三方数据，就可以考虑做联合建模。
如果想要避免个人信息外传的风险，
就可以考虑使用联邦学习技术
如果想要避免个人信息外传的风险，
就可以考虑使用联邦学习技术
学习来源 ：从 0 构建 AI 产品经理的知识体系 刘海丰 京东高级架构师
0 条评论
下一页
![[AI知识-1]AI产品基础背景知识](https://www.processon.com/chart_image/template/thumb/5dcb673ae4b022abb631ef4c.png?tid=5dcb673ae4b022abb631ef4a)
