人工智能
2024-12-26 18:41:29 0 举报
AI智能生成
人工智能概述
作者其他创作
大纲/内容
机器学习
机器学习模型
机器学习算法对新鲜样本的适应能力
数据准备
训练集
用于建模
验证集
评估模型的各项指标
测试集
用于测试
学习方式
有监督学习
线性回归
原理
通过最小化预测值与真实值之间的误差平方和,找到最佳的线性系数,以实现对连续型变量的预测。
特点
简单直观,计算效率高,可解释性强,但只能处理线性关系,对复杂数据拟合能力有限。
应用场景
广泛应用于经济学、物理学等领域的预测任务,如股票价格预测、气温预测等。
决策树
原理
基于树结构进行决策,通过对特征进行测试,根据测试结果将样本划分到不同分支,直到叶节点得出分类或预测结果。
特点
易于理解和解释,能处理非线性数据和多分类问题,但容易过拟合。
应用场景
在医疗诊断、金融风险评估、数据分析等领域应用广泛。
支持向量机(SVM)
原理
寻找一个最优超平面,将不同类别的样本尽可能分开,且使两类样本到超平面的距离最大化。
特点
在小样本情况下表现良好,泛化能力强,能有效处理高维数据,但计算复杂度高,对大规模数据集训练效率低。
应用场景
常用于文本分类、图像识别、生物信息学等领域。
无监督学习
聚类
K - 均值聚类
算法简单、计算效率高,但对初始聚类中心的选择敏感,可能导致不同的聚类结果,且需要预先指定聚类数 K。
层次聚类
无需预先指定聚类数,聚类结果以树形结构呈现,可直观展示数据的层次关系,但计算复杂度较高,对大数据集不太适用。
关联分析
模型原理
开发更好的策略
基本术语
降维
在图像识别中,可利用 PCA 对高维图像数据进行降维,减少存储和计算成本。
集成学习
基本原理
用多个学习器的优势,通过一定策略整合它们的预测结果,以降低误差、提高模型的泛化能力和稳定性。
半监督学习
有监督学习和无监督学习相结合的一种学习方式。
袋装Bagging
个体学习器之间不存在强依赖关系
提升Boosting
个体学习器之间存在强依赖关系
随机森林
在变量(列)的使用和数据(行)的使用上进行随机化,生成很多分类树,再汇总分类树的结果
原理
RF=决策树+Bagging+随机属性选择
模型评估
泛化能力
机器学习算法对新鲜样本的适应能力
交叉验证
将测试的平均值作为最后的模型性能度量
混淆矩阵
正例
反例
深度学习
深度学习概况
基本概念
机器学习的一个子集
分类
按架构有前馈、卷积等网络;按任务涵盖监督、无监督等,各适用于不同场景。
神经网络基础
人工神经网络模型
一种模拟生物神经网络结构和功能的计算模型
感知机学习算法
结构
由输入层、多层隐藏层和输出层组成
多层前馈神经网络
信息单向流动,从输入层经隐藏层到输出层,各层神经元仅与下一层神经元相连,无反馈连接。
BP算法背后的数学
反向传播
指将预测误差从输出层向输入层进行传播
梯度下降法
由简单的微积分知识,得到函数y=f(x)图像
可视化MLP网络训练
PlayGround是一个在线演示及实验的神经网络平台
深度学习框架
一种为开发深度学习模型提供便利的软件工具,它封装了许多底层的数学运算和算法,使开发者能够更专注于模型的设计与训练,而无需过多关注复杂的编程细节。
卷积神经网络及其应用
结构特点
卷积层
通过卷积核在数据上滑动进行卷积操作,提取局部特征
池化层
用于降低数据维度,保留主要特征
全连接层
完成最终的分类或回归任务
功能特点
能自动学习数据的层次化特征表示,尤其适合处理具有网格结构的数据,如图像、音频。
强化学习
解决智能决策问题和序贯决策问题
学习方式
智能体通过不断尝试和探索,逐步优化行动选择,以最大化长期累积奖励。
应用场景
机器人控制、自动驾驶、资源管理。
自然语言处理
词法分析
概述
词是自然语言中能够独立运用的最小单位
基本分词方法
基于字符串匹配的方法
基于统计的方法
词性标注
词性是词汇基本的语法属性
实体识别
指识别文本中具有特定意义的实体
句法分析
概述
对用户输入的自然语言进行词汇短语的分析
自下而上的句法分析
自上而下的句法分析
语义分析
概述
旨在理解文本的含义
词义消歧
给定输入,根据词语的上下文对词语的意思进行判断
语义角色标注
以句子的谓语为中心,只分析句子中各成分与谓语之间的关系
智能控制技术
自动控制系统
概述
自动控制是具有智能信息处理、智能信息反馈和自动控制决策的控制方式,是控制理论发展的高级阶段,主要
分类
不确定性的模型
高度的非线性
复杂的任务要求
模糊控制
方法
与传统的清晰集合不同,模糊集合允许元素以一定程度属于某个集合。
原理
核心
模糊控制器
概述
语言型控制器
模糊化接口
知识库
数据库
规则库
推理与解模糊接口
由计算机程序来实现
自适应模糊控制
同时结合自适应控制和模型控制
专家控制
原理
一个具有大量的专门知识与经验的程序系统
典型结构
一般控制理论知识和经验知识相结合
模糊逻辑与专家控制相结合
神经网络与专家控制相结合
专家控制系统所面临的主要问题
实现方法
知识库
数据库
用于存放当前处理对象的用户提供的数据和推理得到的中间结果
推理机
用于控制和协调整个专家系统的工作
神经网络控制
结构
输入层
输出层
中间层(隐藏层)
模型
BP神经网络
概述
一种基于误差反向传播算法的多层前馈神经网络。
特点
有很强的非线性映射能力
训练速度较慢,容易陷入局部最优解。
RBF神经网络
概述
由输入层、隐含层和输出层组成。隐含层神经元采用径向基函数作为激活函数,常见的径向基函数如高斯函数。
特点
具有局部逼近特性,学习速度快,能够避免局部极小值问题。
径向基函数的参数(如中心和宽度)选择对网络性能影响较大,需要合适的方法进行确定。
感知器神经网络
概述
是最简单的神经网络模型
特点
结构简单,计算量小,学习算法直观易懂。
只能处理线性可分问题,对于非线性问题的处理能力有限。
自组织神经网络
概述
能够根据输入数据的统计特征自动组织自身的结构,以适应输入数据的分布。
特点
能够自动发现输入数据中的内在规律和模式,无需监督信息,可用于数据的可视化、聚类分析等。
网络的收敛速度较慢,对参数的选择较为敏感,不同的参数设置可能导致不同的结果。
反馈神经网络
概述
存在反馈连接,即神经元的输出可以反馈到输入,形成一个动态的系统。
特点
具有联想记忆和优化计算的能力,能够处理一些需要动态响应的问题。
网络的稳定性分析较为复杂,容易陷入局部稳定状态,导致无法找到全局最优解。
应用领域
工业过程控制
在化工、电力、冶金等工业领域,用于对生产过程中的温度、压力、流量等参数进行精确控制。
机器人控制
实现对机器人的运动控制、路径规划和力控制等。
航空航天
应用于飞行器的飞行控制、姿态调整、导航系统等。
智能交通
用于交通流量控制、自动驾驶车辆的决策与控制等。
智能家居
对智能家居设备进行智能控制,如智能温控系统、智能照明系统等。
AI时代的起航
AI的发展历程
诞生与初步探索阶段(20 世纪 50 年代 - 60 年代)
1950 年,阿兰・图灵提出 “图灵测试”
第一次繁荣与低谷阶段(20 世纪 60 年代末 - 80 年代初)
20 世纪 60 年代至 70 年代,DENDRAL 系统在化学领域成功预测有机化合物结构
缓慢发展与第二次低谷阶段(20 世纪 80 年代 - 90 年代)
1980 年,卡内基梅隆大学召开第一届机器学习国际研讨会,标志着机器学习研究已在全世界兴起.
复兴与快速发展阶段(21 世纪初至今)
2016 年,AlphaGo 击败了世界围棋冠军李世石,
人工智能定义
在充分了解和认识人类智能机理的基础上,用人工的方法去制造可以模拟和实现人类智能的智能实体
AI学派
符号主要(逻辑主义)
以专家系统为标志
基于物理符号系统假设和有限合理性原理的人工智能学派
优点:逻辑清晰可解释、知识表示明确、推理能力强
缺点:难以处理模糊性、知识获取瓶颈、缺乏灵活性和适应性
连接主义
以精神网络为标志
基于神经网络及网络间的连接机制与学习算法的人工智能学派
优点:强大的学习能力、模拟人脑的信息处理、并行处理能力
缺点:可解释性差、计算资源需求大、易出现过拟合
行为主义
以感知动作为标志
基于控制论和"感知——动作"控制系统的人工智能学派
优点:强调与环境的交互、简单实用、可量化和可观测:
缺点:缺乏对内部状态的表示、对环境的依赖度过高、学习效率相对较低
AI面临的机遇和挑战
面临的机遇
推动各行业创新变革
医疗领域
AI 助力疾病早期诊断,快速准确地检测疾病,提高诊断效率与准确性。
交通领域
自动驾驶技术有望减少交通事故,提高交通效率,缓解拥堵。
金融领域
用于风险评估,通过分析大量金融数据,精准预测风险,帮助金融机构做出合理决策。
改善生活质量与便捷性
智能家居
实现家电设备智能控制,用户可通过语音或手机远程控制灯光、空调、窗帘等设备,打造舒适便捷的家居环境。
智能助手
像 Siri、小爱同学等,能理解用户语音指令,完成信息查询、日程安排、设备控制等任务,提供个性化服务。
教育领域
借助 AI 实现个性化学习,根据学生学习进度、知识掌握情况提供定制化学习内容和辅导,提高学习效果。
提升生产效率与质量
制造业
利用 AI 实现自动化生产与质量控制。机器人可执行高精度、重复性任务,降低人力成本,提高生产效率。同时,通过对生产数据实时监测分析,及时发现产品缺陷,提升产品质量。
农业领域
借助 AI 技术实现精准农业,如利用无人机、卫星图像监测农作物生长状况,实现精准灌溉、施肥和病虫害防治,提高农作物产量与质量。
创造新的经济增长点与就业机会
新兴产业崛起:围绕 AI 催生出众多新兴产业,如 AI 芯片研发、数据标注服务、AI 软件与平台开发等,为经济发展注入新动力。
新就业岗位涌现:除了技术研发类岗位,还创造了如 AI 伦理专家、AI 数据分析师、AI 训练师等新兴职业,提供了多样化就业选择。
新就业岗位涌现:除了技术研发类岗位,还创造了如 AI 伦理专家、AI 数据分析师、AI 训练师等新兴职业,提供了多样化就业选择。
面临的挑战
技术层面
算法局限:当前 AI 算法如深度学习模型存在可解释性差问题,尤其在医疗、金融等关键领域,难以理解模型决策依据,影响应用推广。同时,模型训练需大量数据,易出现过拟合或欠拟合,泛化能力有待提升。
计算资源瓶颈:复杂 AI 模型训练对计算资源要求极高,如训练大规模语言模型需强大 GPU 集群,成本高昂,限制技术发展与应用普及。
数据质量与安全:数据是 AI 基础,数据质量参差不齐、存在噪声或标注错误会影响模型性能。同时,数据收集、存储和使用过程中存在隐私泄露风险,如个人敏感信息被非法获取利用。
社会层面
就业结构冲击:自动化和 AI 技术应用可能导致部分重复性、规律性工作岗位被替代,如一些流水线工人、客服人员岗位面临失业风险,短期内造成就业结构失衡,需对劳动力进行大规模再培训与转岗。
伦理道德困境:AI 决策可能引发伦理争议,如自动驾驶汽车在面临不可避免碰撞时,如何选择碰撞对象;AI 生成内容(如虚假新闻、深度伪造视频)可能误导公众,扰乱社会秩序。
加剧社会不平等:AI 技术研发与应用成本高,可能导致不同地区、群体间技术差距加大,富者愈富,穷者愈穷,进一步加剧社会不平等。
法律与监管层面
法律空白与滞后:AI 发展迅速,现有法律在责任界定、权益保护等方面存在诸多空白。如自动驾驶事故中责任主体难以确定,AI 创作内容版权归属不明确。
监管困难:AI 技术复杂性和跨国性使监管难度增大,不同国家和地区监管标准差异大,难以形成统一有效监管体系。
AI所具备的能力
懂工具
AI开发工具:Azure、Caffe、CNTK、Deeplearning4j等
懂编程
AI编程语言:Python、R语言、Lisp、Prolog和Java
懂模型:
AI模型:回归分析、决策树、随机森林、KNN、人工神经网络、卷积神经网络(CNN)、循环神经网络等
懂业务
作为人工智能领域的技术人员,要精通AI理论知识、工具模型和编程语言的同时拥有深厚的业务背景
感受AI
AI语音识别技术
语音助手
微软、谷歌、亚马逊、苹果和三星等
语音识别
机器翻译
是语音识别领域最重要的一个应用
中国声谷
科大讯飞
AI图像识别技术
人脸识别
人脸识别技术流程
人脸检测及特征提取
人脸对比
图像分类
采用深度学习领域的无监督学习方式
应用场景
车辆分析
车辆检测、智能定损及图像识别
智慧城市综合应用
智能家居
环境监控
环境监控系统是一个综合利用计算机网络技术、数据库技术、通信技术等构造的计算机网络
应用场景
常用智能家居
自动车库识别
餐厅及公共区域情景模式
知识表达与推理
知识表达3个阶段
一阶谓词逻辑表达阶段
一种形式化语言,以命题为基础,通过引入谓词、变量和量词,能够精确地描述事物的属性和关系。
产生式规则表达阶段
这种表达方式模拟了人类的思维和决策过程,将知识分解为一个个相对独立的规则,便于理解和维护。
语义网络与本体表达阶段
语义网络用节点表示概念,用边表示概念之间的关系,形成一个有向图结构,直观地展示知识的语义关联。
基于知识的表示方法
人工智能的3个层次
计算智能
感知智能
认知智能
框架
将知识组织成框架,每个框架代表一个特定的概念或对象
本体
本体是对概念、概念之间关系、属性以及实例的一种明确的、形式化的规范说明
语义网络
用节点代表概念,用边表示概念之间的关系,形成一个有向图。
知识图谱与知识库
基本思想
将现实世界中的各类信息,通过对实体、属性及关系的抽取与表示,以结构化的方式组织起来,形成语义网络,从而实现对知识的高效存储、查询、推理与应用,为用户提供更智能的服务。
基本理论
实体 - 属性 - 关系模型
应用场景
社会学
人与人之间的相互作用
生物学
帮助更精确地建模和分析
计算机科学
采用路径算法
搜索技术
搜索
搜索的概念
按照一定的策略或者规划,从知识库中寻找到可以利用的知识,从而构造出一条使问题获得解决的推理路线的过程
搜索的含义
根据问题的实际情况,构造出一条使问题获得解决的推理路线的过程
找到的这条路线是时空复杂最小的求解路线
状态空间表示法
自然语言表示——>知识表示——>计算机语言表示
广度优先搜索(BFS)
基本思想
解答树上节点的扩展是按照它们在树中的层次进行的
优点
一定找到最优解、避免无限循环、适合寻找浅层解
缺点
内存需求高、代码实现复杂、搜索时间长
启发式搜索
是一个基于直观或经验构造的算法
启发性信息与估价函数
启发性信息是指在搜索过程中,能够帮助算法更有效地选择搜索方向,从而加快找到解的速度或找到更优解的相关信息。这些信息通常基于对问题的特性、结构以及目标的理解。
估价函数是启发式搜索算法中用于评估节点重要性的函数
局部寻优搜索
从一个初始解出发,通过对当前解的局部调整来寻找更好解的搜索策略。
全局寻优搜索
在整个解空间中,能使目标函数达到最优值的解。
遗传算法
基本原理
模拟生物进化过程,通过选择、交叉和变异等操作对种群中的个体(解)进行迭代更新。
基本操作
选择——复制、交叉、变异
主要特点
适应环境(目标函数值更优)的个体有更高概率生存和繁衍,不适应的则逐渐被淘汰。经过多代进化,种群整体朝着最优解方向发展。
微粒群算法
基本概念
是一种基于群体智能的随机搜索优化算法,模拟鸟群觅食或鱼群洄游行为,通过粒子间的协作与竞争来寻找最优解。
基本流程
初始化
粒子位置:在解空间内随机生成每个粒子的初始位置,这些初始位置构成了初始种群。
粒子速度:同样在一定范围内随机初始化每个粒子的速度。
适应度评估
据优化问题的目标函数,计算每个粒子当前位置对应的适应度值,以此评估粒子作为解的优劣程度。
更新个体最优和全局最优
个体最优
每个粒子记录自己从初始位置到当前位置的所有位置中适应度最好的位置,即为个体最优位置
全局最优
比较种群中所有粒子的 ,找出适应度值最优的位置,作为全局最优位置 。
特点
优点
简单易实现
收敛速度快
全局搜索能力强
缺点
易陷入局部最优
参数敏感
0 条评论
下一页