人工智能
2025-03-26 22:49:21 0 举报
AI智能生成
人工智能
作者其他创作
大纲/内容
人工智能基础
一、基础概念
(一)定义与起源
**人工智能**:研究、开发用于模拟、延伸和扩展人类智能的理论、方法、技术及应用系统的学科。
**起源**:1956年达特茅斯会议,约翰·麦卡锡首次提出“人工智能”概念。
(二)发展简史
**早期阶段**:逻辑推理、问题求解等符号主义方法占据主导。
**知识表示**:语义网络、框架等知识表示方法兴起。
**机器学习崛起**:从知识驱动转向数据驱动,机器学习成为AI核心领域。
**深度学习时代**:神经网络尤其是深度神经网络取得突破性进展,推动AI进入新阶段。
二、核心领域
(一)机器学习
**监督学习**
**分类算法**:朴素贝叶斯、逻辑回归、决策树、随机森林、SVM等。
**回归算法**:线性回归、岭回归、LASSO回归等。
**无监督学习**
**聚类算法**:K-Means、层次聚类、DBSCAN等。
**降维方法**:PCA、t-SNE等。
**强化学习**:智能体通过与环境交互学习最优策略,如Q学习、策略梯度方法等。
(二)深度学习
**神经网络基础**:感知机、多层神经网络、反向传播算法。
**卷积神经网络(CNN)**:用于图像识别与处理,具有卷积层、池化层等结构。
**循环神经网络(RNN)及其变体(LSTM、GRU)**:适用于序列数据建模,如自然语言处理。
**生成对抗网络(GAN)**:由生成器和判别器组成,用于生成逼真数据样本。
(三)自然语言处理
**语言模型**:如n-gram模型、RNN语言模型、Transformer架构的BERT、GPT等。
**文本处理技术**:分词、词性标注、命名实体识别、句法分析等。
**应用**:机器翻译、文本摘要、情感分析、问答系统等。
(四)计算机视觉
**图像识别与分类**:使用CNN等模型对图像进行分类。
**目标检测与定位**:如R-CNN系列、YOLO等算法。
**图像分割**:语义分割、实例分割等技术。
**视频分析**:行为识别、运动跟踪等。
三、相关技术与工具
(一)数据处理与分析
**数据挖掘**:从大量数据中发现模式和知识。
**数据预处理**:清洗、归一化、特征工程等。
**大数据技术**:Hadoop、Spark等分布式计算框架。
(二)算法与模型评估
**性能度量**:准确率、召回率、F1值、AUC-ROC等。
**交叉验证**:评估模型泛化能力的常用方法。
(三)开发框架与工具
**TensorFlow**:谷歌开发的开源机器学习框架,支持多种平台和语言。
**PyTorch**:脸书AI研究团队开发的深度学习框架,动态计算图是其特点。
**Keras**:高层神经网络API,可运行在TensorFlow、Theano等后端之上。
**Scikit-learn**:Python机器学习库,提供简单高效的工具用于数据挖掘和数据分析。
四、应用领域
(一)自动驾驶
**环境感知**:利用传感器如激光雷达、摄像头获取道路信息。
**路径规划**:根据交通规则和路况规划最优路径。
**决策控制**:实时做出驾驶决策,如加速、刹车、转向等。
(二)医疗健康
**疾病诊断**:辅助医生进行疾病诊断,如医学影像分析。
**药物研发**:利用AI加速药物发现过程,预测分子性质等。
**健康管理**:个性化健康建议和疾病预防方案。
(三)金融领域
**风险评估**:预测贷款违约风险等。
**投资决策**:量化投资策略,市场趋势预测。
**反欺诈**:检测异常交易行为,防范金融欺诈。
(四)教育领域
**个性化学习**:根据学生学习情况提供定制化学习路径。
**智能辅导**:虚拟教师或辅导系统解答学生问题。
**教育资源推荐**:推荐适合的学习资料和课程。
五、伦理与社会问题
(一)伦理道德
**算法偏见**:AI系统可能因训练数据问题产生歧视性结果。
**隐私保护**:处理大量个人数据,需确保用户隐私不被侵犯。
**责任归属**:AI决策导致的后果,责任主体难以界定。
(二)社会影响
**就业结构变化**:自动化取代部分工作岗位,同时创造新就业机会。
**数字鸿沟扩大**:技术发展可能加剧社会不平等。
**社会信任危机**:虚假信息生成与传播,影响社会信任体系。
六、未来展望
(一)技术趋势
**模型规模扩大与性能提升**:更大更复杂的模型将推动AI能力边界拓展。
**多模态融合**:整合视觉、听觉、文本等多种模态信息,提升AI理解能力。
**AI与边缘计算结合**:在设备端运行AI模型,降低延迟,提高隐私保护。
(二)应用拓展
**元宇宙**:AI将在虚拟世界构建、用户行为预测等方面发挥关键作用。
**物联网**:实现设备智能化管理和协同工作。
**太空探索**:用于数据分析、自主决策等任务。
(三)挑战与机遇
**挑战**:算力需求增长、能耗问题、模型可解释性等。
**机遇**:推动相关产业发展,如芯片、云计算等,创造新的经济增长点。
人工智能领域全景图
一、基础设施
(一)Hadoop on Premises
Cloudera
Hortonworks
MapR
Pivotal
IBM
Intel
Jethro
(二)Hadoop in the Cloud
AWS
Microsoft Azure
Google Cloud
Cloudera
Hortonworks
MapR
Pivotal
IBM
Intel
Jethro
(三)Streaming / In-Memory
Apache Kafka
Amazon Kinesis
databricks
Hazelcast
Redis
StreamSets
TIBCO
Twitter
Vmware
(四)NoSQL Databases
MongoDB
Cassandra
Redis
Neo4j
Couchbase
DataStax
MarkLogic
ScyllaDB
ArangoDB
Basho
DataStax
FoundationDB
Google
MemSQL
NuoDB
RethinkDB
Riak
Splice Machine
VoltDB
(五)SQL Databases
Amazon RDS
Google Cloud SQL
Microsoft Azure SQL
Oracle
PostgreSQL
MariaDB
MemSQL
NuoDB
SingleStore
Vitess
(六)Graph Databases
Neo4j
Amazon Neptune
Apache TinkerPop
ArangoDB
Cambridge Semantics
DataStax
GraphSQL
IBM
JanusGraph
Microsoft
Oracle
OrientDB
TigerGraph
(七)MPP Databases
Amazon Redshift
Google BigQuery
Microsoft Azure SQL DW
Snowflake
Teradata
Actian
Cloudera
Cray
Dataupia
EnterpriseDB
Greenplum
IBM
Infobright
Kinetica
MapR
MemSQL
Netezza
Pivotal
Plata
Pivotal
SAP
Teradata
Vertica
(八)Cloud Data Warehouses
Amazon Redshift
Google BigQuery
Microsoft Azure SQL DW
Snowflake
Teradata
Actian
Cloudera
Cray
Dataupia
EnterpriseDB
Greenplum
IBM
Infobright
Kinetica
MapR
MemSQL
Netezza
Pivotal
Plata
Pivotal
SAP
Teradata
Vertica
(九)Search
Elastic
Splunk
Apache Solr
Logstash
MongoDB
Neo4j
Redis
Solr
Splunk
Tableau
Teradata
(十)GPU & Cloud
NVIDIA
AWS
Google Cloud
Microsoft Azure
IBM
Oracle
Tencent
Alibaba
Baidu
Huawei
Tencent
(十一)Hardware
Dell
HP
IBM
Intel
Lenovo
NVIDIA
Oracle
Cisco
EMC
Hitachi
Huawei
NetApp
Samsung
Western Digital
二、分析
(一)Data Analyst Platforms
Tableau
Microsoft Power BI
Qlik
Looker
Alteryx
IBM Cognos
SAS
SAP
Domo
Databricks
DataRobot
KNIME
MathWorks
MicroStrategy
Pentaho
Sisense
TIBCO
ThoughtSpot
Zoho
(二)Data Science Platforms
Alteryx
AWS
Azure
Cloudera
DataRobot
Databricks
Google Cloud
H2O.ai
IBM
KNIME
MathWorks
Microsoft
RapidMiner
SAS
TensorFlow
Uber
VMware
(三)BI Platforms
Tableau
Microsoft Power BI
Qlik
Looker
Alteryx
IBM Cognos
SAS
SAP
Domo
Databricks
DataRobot
KNIME
MathWorks
MicroStrategy
Pentaho
Sisense
TIBCO
ThoughtSpot
Zoho
(四)Visualization
Tableau
Microsoft Power BI
Qlik
Looker
Alteryx
IBM Cognos
SAS
SAP
Domo
Databricks
DataRobot
KNIME
MathWorks
MicroStrategy
Pentaho
Sisense
TIBCO
ThoughtSpot
Zoho
(五)Machine Learning
TensorFlow
PyTorch
Scikit-learn
Keras
Microsoft Cognitive Toolkit
MXNet
Caffe
Theano
XGBoost
LightGBM
CatBoost
Spark MLlib
H2O.ai
IBM Watson
Google Cloud ML
Amazon SageMaker
Azure Machine Learning
SAS
RapidMiner
(六)Human Capital
LinkedIn
Glassdoor
Indeed
Monster
Robert Half
Hays
Manpower
Adecco
Randstad
Kelly Services
Michael Page
Hays
Manpower
Adecco
Randstad
Kelly Services
Michael Page
(七)Legal
Thomson Reuters
LexisNexis
Wolters Kluwer
Bloomberg Law
Westlaw
Practical Law
JDSupra
LegalZoom
Rocket Lawyer
Avvo
Nolo
UpCounsel
Justia
Law360
ABA Journal
(八)Finance
Bloomberg
Thomson Reuters
FactSet
S&P Global
Moody's
Fitch Ratings
Morningstar
Capital IQ
-路透社
-道琼斯
-彭博
-标准普尔
-穆迪
-惠誉
-万得
-东方财富
-同花顺
-雪球
-和讯
-老虎证券
-富途证券
-华泰证券
-中信证券
-中金公司
-国泰君安
-海通证券
-广发证券
-申万宏源
-招商证券
-兴业证券
-方正证券
-光大证券
-东吴证券
-中银国际
-中投证券
-中德证券
-中泰证券
-中天国富
-中航证券
-中邮证券
-中银国际
-中投证券
-中德证券
-中泰证券
-中天国富
-中航证券
-中邮证券
(九)RegTech & Compliance
Thomson Reuters
LexisNexis
Wolters Kluwer
Bloomberg Law
Westlaw
LegalZoom
Rocket Lawyer
Avvo
Nolo
UpCounsel
Justia
Law360
ABA Journal
Thomson Reuters
LexisNexis
Wolters Kluwer
Bloomberg Law
Westlaw
LegalZoom
Rocket Lawyer
Avvo
Nolo
UpCounsel
Justia
Law360
ABA Journal
(十)Security
Palo Alto Networks
Cisco
Fortinet
Check Point
McAfee
Symantec
Trend Micro
Kaspersky
Sophos
Norton
Bitdefender
ESET
AVG
Avast
Malwarebytes
CrowdStrike
FireEye
Rapid7
Qualys
Tenable
Tanium
Carbon Black
SentinelOne
Cylance
Zscaler
Okta
Duo Security
Ping Identity
SailPoint
CyberArk
Thycotic
OneLogin
BeyondTrust
ManageEngine
Splunk
LogRhythm
Exabeam
RSA
IBM Security
Microsoft Security
Google Cloud Security
AWS Security
Alibaba Cloud Security
Tencent Cloud Security
Huawei Cloud Security
Oracle Cloud Security
Salesforce Security
ServiceNow Security
Workday Security
SAP Security
Oracle Security
IBM Security
Microsoft Security
Google Cloud Security
AWS Security
Alibaba Cloud Security
Tencent Cloud Security
Huawei Cloud Security
Oracle Cloud Security
Salesforce Security
ServiceNow Security
Workday Security
SAP Security
Oracle Security
三、应用
(一)Marketing - B2B
HubSpot
Marketo
Pardot
Eloqua
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
Terminus
Bombora
Demandbase
AccountIQ
6sense
分支主题
深度学习发展图谱
一、感知机与Hopfield网络
(一)感知机(Perceptron)
**提出时间**:1958年
**提出者**:Frank Rosenblatt
**特点**:由输入层和输出层组成,通过学习调整权重,实现线性分类。
(二)Hopfield Network
**提出时间**:1982年
**特点**:具有反馈连接的递归神经网络,能够存储和回忆模式,适用于联想记忆和优化问题。
二、神经概率语言模型与LSTM
(一)神经概率语言模型(Neural Probabilistic Language Model)
**提出时间**:2003年
**提出者**:Geoffery Hinton
**特点**:使用神经网络建模语言,能够捕获词语之间的复杂关系。
(二)LSTM(Long Short-Term Memory)
**提出时间**:1997年
**提出者**:Jürgen Schmidhuber
**特点**:通过引入门控机制,解决长期依赖问题,适用于序列数据的建模和预测。
三、RNN基础语言模型与word2Vec
(一)RNN基础语言模型(RNN based language model)
**提出时间**:2010年
**特点**:使用循环神经网络建模语言,能够处理序列数据。
(二)word2Vec
**提出时间**:2013年
**提出者**:Tomas Mikolov
**特点**:将词语映射到低维向量空间,捕获词语之间的语义关系。
四、GloVe与Deepwalk
(一)GloVe(Global Vectors for Word Representation)
**提出时间**:2014年
**特点**:结合全局和局部的词共现信息,生成高质量的词向量。
(二)Deepwalk
**提出时间**:2014年
**特点**:将网络表示为图,通过随机游走生成节点序列,使用word2Vec模型学习节点嵌入。
五、attention seq2seq与ResNet
(一)attention seq2seq
**提出时间**:2014年
**特点**:引入注意力机制,提高序列到序列模型的性能,适用于机器翻译等任务。
(二)ResNet(Residual Network)
**提出时间**:2016年
**特点**:通过引入残差连接,解决深度网络的退化问题,提高网络的训练效果。
六、Transformer与BERT
(一)Transformer
**提出时间**:2017年
**提出者**:Google AI
**特点**:基于自注意力机制,摒弃传统的循环结构,能够并行处理序列数据,提高训练和推理速度。
(二)BERT(Bidirectional Encoder Representations from Transformers)
**提出时间**:2018年
**提出者**:Jacob Devlin
**特点**:预训练语言表示模型,通过双向Transformer编码器捕获上下文信息,适用于多种自然语言处理任务。
七、OpenAI GPT与ELMo
(一)OpenAI GPT(Generative Pretrained Transformer)
**提出时间**:2018年
**特点**:基于Transformer的生成式预训练模型,适用于文本生成和对话系统。
(二)ELMo(Embedding from Language Models)
**提出时间**:2018年
**特点**:上下文相关的词嵌入模型,通过双向LSTM捕获词语的上下文信息。
八、动态嵌入与context2vec
(一)动态嵌入(dynamic embedding)
**特点**:嵌入表示随时间或上下文变化,能够更好地捕获词语的多义性和语义变化。
(二)context2vec
**提出时间**:2016年
**特点**:基于上下文的词嵌入模型,通过上下文预测目标词,生成上下文相关的词向量。
机器学习知识图谱
机器学习知识图谱
一、支持向量机
(一)核函数
线性核
多项式核
高斯核
拉普拉斯核
Sigmoid核
(二)支持向量机类型
线性支持向量机
非线性支持向量机
(三)应用场景
线性分类问题
线性可分支持向量
线性支持向量机
二、朴素贝叶斯方法
(一)核心概念
后验概率
条件独立性假设
(二)朴素贝叶斯分类器
拉普拉斯平滑
半朴素贝叶斯分类器
独依赖分类器
(三)应用场景
产生式系统
三、逻辑回归
(一)核心概念
分类问题
对数似然函数的最大化
多分类问题
二分类逻辑回归
(二)优化方法
梯度下降法
拟牛顿法
(三)扩展
Softmax回归
四、决策树
(一)决策树结构
根节点、叶节点、内部节点
(二)决策树生成
ID3算法
C4.5算法
CART算法
(三)决策树剪枝
预剪枝
后剪枝
(四)多变量决策树
五、集成学习
(一)Bagging机制
随机森林方法
并行化方法
(二)Boosting机制
非对称性
自适应提升方法(AdaBoost)
(三)集成学习方法
多个个体学器
序列化方法
六、聚类分析
(一)聚类类型
原型聚类
密度聚类
层次聚类
(二)聚类方法
单链接算法
全链接算法
均链接算法
(三)现代聚类方法
谱聚类
模糊聚类
(四)无监督学习方法
闵可夫斯基距离、欧式距离
层次聚类
拆分策略
会聚策略
七、降维学习
(一)主成分分析步骤
数据规范化
协方差矩阵计算
特征值分解
数据投影
(二)降维处理
特征选择
对特征子集的评价
特征选择算法
包裹法
过滤法
嵌入法
八、线性回归
(一)回归类型
单变量线性回归
多元线性回归
(二)回归方法
最小二乘法
岭回归
LASSO回归
(三)回归效应
均方误差
欧几里得距离
最小二乘法
九、最大熵模型
(一)数学形式
凸二次规划问题
(二)应用场景
无监督学习
机器学习与人工智能知识体系
一、机器学习
(一)关于机器学习
**定义与目标**
使计算机具备学习能力,从数据中自动分析获得规律,并利用规律对未知数据进行预测。
**主要方法**
**Supervised Learning(监督学习)**:包括Classification(分类)和Regression(回归)。分类用于离散变量预测,如邮件是否为垃圾邮件;回归用于连续变量预测,如房价预测。
**Unsupervised Learning(无监督学习)**:包括Clustering(聚类)和Dimensionality Reduction(降维)。聚类用于将数据分组,如客户细分;降维用于减少数据特征维度,如数据可视化。
**Semi-Supervised Learning(半监督学习)**:结合有监督和无监督学习,利用大量无标记数据和少量有标记数据进行训练。
**Reinforcement Learning(强化学习)**:通过智能体与环境交互,根据奖励信号学习最优行为策略,如AlphaGo。
(二)算法分类
**分类算法**
**朴素贝叶斯**:基于贝叶斯定理,假设特征之间相互独立。
**决策树**:通过树状结构进行决策,可直观展示决策过程。
**支持向量机**:寻找最优超平面,将不同类别数据分开。
**K近邻算法**:根据最近邻居的类别来判断新数据的类别。
**聚类算法**
**K-Means**:将数据分为K个簇,每个簇有一个中心点。
**层次聚类**:通过构建树状层次结构进行聚类。
**回归算法**
**线性回归**:假设因变量和自变量之间存在线性关系。
**逻辑回归**:用于二分类问题,输出结果为概率值。
(三)模型评估
**评估指标**
**准确率、召回率、F1分数**:用于分类模型评估。
**均方误差、平均绝对误差**:用于回归模型评估。
**交叉验证**:将数据集分为训练集和测试集,多次训练和测试,取平均结果作为最终评估。
(四)特征工程
**特征选择**:选择对模型有显著影响的特征,减少数据维度。
**特征提取**:从原始数据中提取有用特征,如图像的边缘检测。
**特征缩放**:对特征进行标准化或归一化处理,提高模型收敛速度和精度。
二、深度学习
(一)神经网络基础
**神经元结构**:包括输入层、隐藏层和输出层。
**激活函数**:如Sigmoid、ReLU,用于引入非线性因素。
(二)常见网络架构
**卷积神经网络(CNN)**:适用于图像处理,通过卷积层和池化层提取特征。
**循环神经网络(RNN)**:适用于序列数据,如自然语言处理,具有记忆功能。
**长短期记忆网络(LSTM)**:解决RNN梯度消失问题,能够处理更长时间的依赖关系。
(三)训练技巧
**反向传播**:通过计算梯度下降来更新网络权重。
**优化算法**:如SGD、Adam,用于加速训练和提高模型性能。
**正则化**:防止过拟合,如L1、L2正则化,Dropout技术。
三、自然语言处理
(一)文本预处理
**分词**:将文本切分为单词或短语。
**词干提取和词形还原**:将单词还原到其基本形式。
**去除停用词**:删除对语义影响较小的常用词,如“的”“是”。
(二)词向量表示
**One-Hot Encoding**:将单词表示为独热向量。
**Word2Vec**:通过神经网络模型将单词映射到低维向量空间。
**GloVe**:基于全局词共现统计信息训练词向量。
(三)文本分类与情感分析
**文本分类算法**:如朴素贝叶斯、支持向量机在文本领域的应用。
**情感分析**:判断文本中的情感倾向,如正面、负面或中性。
四、强化学习
(一)基本概念
**智能体(Agent)**:学习和决策的主体。
**环境(Environment)**:智能体所处的外部世界。
**状态(State)**:环境在某一时刻的表现。
**动作(Action)**:智能体在某一状态下的行为。
**奖励(Reward)**:环境对智能体动作的反馈。
(二)算法与应用
**Q-Learning**:通过学习Q表来选择最优动作。
**Deep Q-Networks(DQN)**:结合深度学习的Q学习算法,用于复杂环境。
**应用案例**:机器人控制、游戏AI、自动驾驶等。
五、人工智能
(一)发展历程
**早期阶段**:逻辑推理和问题求解。
**知识表示与专家系统**:利用知识库和推理引擎解决问题。
**机器学习兴起**:数据驱动的学习方法成为主流。
**深度学习推动**:在图像、语音、自然语言等领域取得突破。
(二)应用领域
**计算机视觉**:图像识别、目标检测、视频分析。
**智能语音**:语音识别、语音合成、语音助手。
**机器人技术**:自主导航、操作和人机交互。
**金融科技**:风险评估、投资决策、欺诈检测。
**医疗健康**:疾病诊断、药物研发、健康管理。
(三)未来趋势
**与多学科融合**:生物学、物理学、社会科学等。
**伦理和安全问题**:隐私保护、算法偏见、AI武器化。
**通用人工智能(AGI)**:追求具有人类水平智能的机器。
机器学习算法学习地图
一、有监督学习
(一)线性模型
**回归**
线性回归
LASSO回归
**分类**
感知器
SVM
softmax回归
(二)kNN
kNN距离度量学习
Logistic回归
ANN/MLP
(三)Bayes
朴素贝叶斯
贝叶斯网络
CNN
AE
RBM
RNN/LSTM
GAN
LLE
HMM
CRF
DBN
DLBM
(四)决策树
ID3
C4.5
CART
随机森林
GBDT
(五)集成学习
Bagging
Boosting
Adaboost
GBDT
(六)正则化方法
岭回归
LASSO回归
KLDA
二、无监督学习
(一)降维
PCA
KPCA
LLE
拉普拉斯特征映射
等距映射
局部保持投影
-谱聚类
EM算法
(二)聚类
k-means
DBSCAN
OPTICS
Mean shift
三、强化学习
(一)策略迭代
Sarsa算法
Q学习
DQN
(二)价值迭代
蒙特卡罗罗算法
时序差分算法
四、算法列表
机器学习方法导图
一、监督学习(Supervised Learning)
(一)回归(Regression)
**线性回归(Linear Regression)**:假设因变量与自变量之间存在线性关系,通过最小二乘法等方法估计模型参数,预测连续型因变量的值。
**多项式回归(Polynomial Regression)**:扩展线性回归,将自变量的多项式组合作为预测变量,用于拟合非线性关系。
**岭回归(Ridge Regression)**:在普通线性回归的基础上,添加L2正则化项,用于处理多重共线性问题。
**Lasso回归(Lasso Regression)**:在普通线性回归的基础上,添加L1正则化项,用于特征选择和稀疏解。
(二)分类(Classification)
**逻辑回归(Logistic Regression)**:用于二分类问题,通过逻辑函数将线性回归的输出映射到概率区间,确定样本属于某个类别的概率。
**朴素贝叶斯(Naive Bayes)**:基于贝叶斯定理,假设特征之间相互独立,计算每个类别的后验概率,将样本分类到概率最大的类别。
**支持向量机(SVM)**:寻找一个超平面,将不同类别的样本分开,最大化分类间隔,适用于高维空间的分类问题。
**决策树(Decision Trees)**:通过一系列的决策规则将数据集划分为不同的类别,每个内部节点表示一个决策规则,叶子节点表示类别。
**K近邻(K-NN)**:根据样本的K个最近邻的类别进行投票分类,适用于小规模数据集和非线性可分问题。
二、无监督学习(Unsupervised Learning)
(一)聚类(Clustering)
**K-Means**:将数据集划分为K个簇,每个簇由中心点表示,通过迭代优化簇的划分,使簇内数据点的相似性最大化,簇间数据点的相似性最小化。
**层次聚类(Hierarchical Clustering)**:通过构建一个层次结构的树形图来表示数据点之间的相似性关系,可以是聚合的(自底向上)或分裂的(自顶向下)。
**DBSCAN**:基于密度的聚类算法,将数据点密集的区域划分为簇,能够发现任意形状的簇,并且对噪声点具有鲁棒性。
**均值漂移(Mean Shift)**:通过寻找数据点密度的峰值来确定簇中心,适用于发现不规则形状的簇。
(二)关联规则学习(Association Rule Learning)
**Apriori算法**:通过频繁项集挖掘,发现数据集中频繁同时出现的项之间的关联规则。
**Eclat算法**:基于垂直数据格式的频繁项集挖掘算法,通过深度优先搜索提高挖掘效率。
(三)降维(Dimensionality Reduction)
**主成分分析(PCA)**:通过找到数据中的主要变化方向来降低数据维度,适用于线性可分的数据。
**线性判别分析(LDA)**:监督式降维方法,通过最大化类间距离和最小化类内距离来降低数据维度。
**t-SNE**:非线性降维方法,适用于高维数据的可视化,能够保留数据的局部结构。
**PCA**:通过找到数据中的主要变化方向来降低数据维度,适用于线性可分的数据。
**LSA**:基于PCA的文本降维方法,用于提取文本的潜在语义结构。
**LDA**:主题模型,用于发现文档集合中的潜在主题结构。
**SVD**:奇异值分解,用于矩阵的降维和近似。
三、强化学习(Reinforcement Learning)
(一)Q学习(Q-Learning)
**Q表**:记录状态-动作对的价值,通过不断更新Q表来学习最优策略。
**深度Q网络(DQN)**:结合深度神经网络和Q学习,用于处理高维状态空间的问题。
(二)SARSA
**状态-动作-奖励-状态-动作(SARSA)**:通过记录当前状态、当前动作、奖励、下一状态和下一动作的序列来学习策略。
(三)遗传算法(Genetic Algorithm)
**选择、交叉、变异**:模拟生物进化过程,通过选择、交叉和变异操作优化解的结构。
(四)A3C
**异步优势演员-评论家算法(A3C)**:多线程异步更新全局网络,提高学习效率,适用于大规模强化学习问题。
四、集成学习(Ensemble Learning)
(一)堆叠(Stacking)
**多个模型组合**:通过训练多个不同的模型,并将它们的输出作为新特征输入到另一个模型中,提高预测的准确性。
(二)装袋(Bagging)
**随机森林(Random Forest)**:通过构建多个决策树,并通过投票或平均的方法组合它们的预测结果,降低过拟合的风险。
(三)提升(Boosting)
**AdaBoost**:通过给不同的训练样本赋予不同的权重,训练多个弱分类器,并将它们组合成一个强分类器。
**XGBoost**:基于梯度提升的框架,优化了计算效率和模型性能,适用于大规模数据集。
**LightGBM**:基于梯度提升的决策树算法,采用直方图方法和特征并行技术,提高训练速度和效率。
**CatBoost**:用于处理分类特征的梯度提升框架,自动对分类特征进行编码,提高模型的准确性和鲁棒性。
五、神经网络与深度学习(Neural Networks and Deep Learning)
(一)感知机(Perceptrons)
**单层神经网络**:由输入层和输出层组成,通过学习调整权重,实现线性分类。
(二)卷积神经网络(CNN)
**卷积层、池化层、全连接层**:通过卷积操作提取特征,池化操作降低维度,全连接层进行分类,适用于图像识别和处理。
(三)循环神经网络(RNN)
**LSTM、GRU**:通过引入门控机制,解决长期依赖问题,适用于序列数据的建模和预测。
(四)生成对抗网络(GAN)
**生成器、判别器**:生成器生成虚假数据,判别器区分真实数据和虚假数据,通过对抗训练提高生成数据的质量。
(五)自编码器(Autoencoders)
**编码器、解码器**:通过将输入数据压缩到低维空间,再解码重构数据,学习数据的特征表示,用于降维、去噪和特征提取。
(六)深度神经网络(Deep Neural Networks)
**多层感知机、卷积神经网络、循环神经网络等**:通过堆叠多个神经网络层,学习数据的复杂特征和模式,适用于各种复杂的机器学习任务。
深度学习概述
具有多个隐藏层的神经网络
数据的井喷和计算力的飙升
人类处理视觉信息的方式
深度学习中的优化
解决问题
病态矩阵
局部极小值
鞍点
降噪方法
动态采样
梯度聚合
迭代平均
二阶导数近似方法
牛顿法
深度前馈网络
架构
通用逼近定理
全连接
学习
梯度信息
反向传播方法
随机梯度下降法
损失函数
隐藏单元的设计
整流线性单元
对数几率函数
双曲正切函数
正则化
通用逼近定理
基于训练数据的正则化
数据集增强
Dropout
基于网络架构的正则化
参数共享
传递函数正则化
基于误差函数和正则化项的正则化
L1范数
L2范数
基于最优化过程的正则化
对初始化的正则化
对参数更新的正则化
对终止条件的正则化
早停
自编码器
无监督学习方式
编码映射(结构)
解码映射
栈式自编码器
无监督预训练
有监督微调
稀疏自编码器
去噪自编码器
收缩自编码器
变分自编码器
深度强化学习
马尔可夫决策过程
基于价值的深度强化学习
价值函数
Q学习算法
深度Q网络
基于策略的深度强化学习
无监督强化辅助学习(UNREAL算法)
基于模型的深度强化学习
转移概率模型
0 条评论
下一页