咕泡科技AI大模型基础入门到商业实战
2024-12-19 19:47:43 0 举报AI智能生成
AI大模型基础入门到商业实战,0基础快速入门AI大模型必备学习路线
作者其他创作
大纲/内容
零基础入门之AI必备底层原理
AI大模型前世今生
人工智能演进与大模型的兴起
什么是AI？
从机器学习到深度学习的飞跃
深度学习的诞生与发展
AI1.0-决策式/分析式
AI2.0-生成式
理解AI大模型
大模型的前世今生
早期的大规模模型
深度神经网络
预训练语言模型
大规模视觉模型
大语言模型与 AGI 的关系
大模型与通用人工智能
大模型定义
通用人工智能定义
大模型与通用人工智能的关系
GPT模型的发展历史
大模型的挑战与机遇
国产大模型的发展
国产大模型现状
国内头部企业大模型分析
通义千问
文心一言
豆包
混元
智谱GLM
国内大模型商业化探索进程
大模型的应用领域
自然语言处理
计算机视觉
语音识别
推荐系统
自动驾驶
大模型应用现状及前景分析
大模型在行业中的应用现状
大模型遇到的问题及障碍
大模型的应用前景展望
NLP自然语言基础
NLP的基本概念
什么是 NLP？
为什么 NLP 非常重要？
NLP 的发展历程
萌芽期（ 1956 年以前）
快速发展期（ 1980 年～ 1999 年）
突飞猛进期（ 2000 年至今）
NLP的两大核心任务
自然语言理解-NLU/NLI
自然语言生成-NLG
NLP 的工作原理
文本预处理
特征提取
文本分析
模型训练
文本是如何转换为数据的
语言模型（N-Gram模型）
分词 – Tokenization
Word2Vec 模型
打造能识别文本情感的模型
详解语言模型与注意力机制
语言模型
统计语言模型
神经网络语言模型
注意力机制
NLP实际应用领域
机器翻译：计算机具备将 种语言翻译成另一种语言的能力
情感分析：计算能够判断用户评论是否积极
智能问答：计算机能够正确回答输入的问题
文摘生成：计算机能够准确归纳、总结并产生文本摘要
文本分类：计算机能够采集各种文章， 进行主题分析，从而进行自动分类
舆论分析：计算机能够判断目前舆论的导向
知识图谱：知识点相互连接而成的语义网络
深度学习与神经网络
神经网络模型的概念与发展
传统机器学习与深度学习的发展
深度学习的概念
生物神经网络
人工神经网络
神经网络的基本概念
神经元的结构和功能
神经网络的定义和分类
神经网络的基本结构和组成
神经网络的激活函数
深度学习与神经网络的工作本质
基于生物模型到计算模型的演变
机器学习与训练
监督学习
无监督学习
训练模型总结
深度理解神经网络的组成
神经网络的训练过程
深度学习与神经网络的基本概念
损失函数评定当前模型水平
梯度下降确定模型迭代方向
一次迭代提升模型精准程度
深度学习的常见模型
全连接网络
前馈神经网络
卷积神经网络（CNN）
残差神经网络ResNet
循环神经网络（RNN）
LSTM&Attention
深度学习的常见应用
图像识别
语音识别
推荐系统
强化学习
自然语言处理
游戏智能
计算机视觉
Transformer框架
Transformer起源与发展
《Attention Is All You Need》
GPT (the Generative Pretrained Transformer)；
BERT (Bidirectional Encoder Representations from Transformers)。
深入浅出了解Transformer
Transformer 的结构
Encoder（左边）：负责理解输入文本，为每个输入构造对应的语义表示（语义特征）；
Decoder（右边）：负责生成输出，使用 Encoder 输出的语义表示结合其他输入来生成目标序列。
注意力层
原始结构
Transformer 家族
Encoder 分支
Decoder 分支
Encoder-Decoder 分支
注意力机制
Tokenization - 将对话内容变成Token
词元化与子词
汉字与英文单词的区别
效果演示：ChatGPT的Tokenization
Embedding - 将Token变成向量
数学对AI的突出贡献 - 空间与向量
基数理解One-Hot编码
空间的稀疏、稠密、距离、数学逻辑关系
Word2Vec Model
OpenAI Embedding Model
OpenAI Clip - 文字与图片的多模态Encoder
效果演示：OpenAI Embedding
Encoder&Decoder
Encoder理解你的指令
Decoder回答你的问题
基于循环神经网络的Encoder & Decoder
Transformer Encoder & Decoder
带有Attention机制的Transformer Encoder
带有Attention机制的Transformer Decoder
Encoder only & Decoder only
LLM大模型模型原理
大语言模型技术概览
算法创新
计算能力的提升
数据的可用性与规模性
软件与工具的进步
LLM的发展历程
N-gram模型
LSTM网络
Transformer模型
交叉注意力机制
自注意力机制
Transformer架构的并行优势
编码器和解码器模型
生成式预训练Transformer
GPT模型的标记和预测实现
理解生成式模型与大语言模型
什么是生成式模型
什么是大语言模型
大模型关键技术解析
预训练
SFT（Supervised Fine-Tunning）
RLHF(Reinforcement Learning from Human Feedback)
大语言模型的构建过程
大规模预训练
指令微调与人类对齐
常用的预训练数据集
常用微调数据集
大模型私有化部署的必备知识
多模态模型原理
多模态领域的Transformer
CNN —— 卷积神经网络
ViT —— Vision Transformer
ViLT —— Vision-and-Language Transformer
CLIP —— Contrastive Language-Image Pre-training
视觉识别奥秘
安防视觉识别模型原理
零件缺陷检测模型原理
医疗诊断识别模型原理
无人驾驶视觉模型原理
视觉识别技术与大模型的关系
AI生图算法揭秘
扩散模型 — Diffusion Model
DALL·E 2 — CLIP + Diffusion Model
通过CLIP Text Encoder 将文本转换为文本特征向量
通过Prior模型将文本特征向量转换为图像特征向量
通过Diffusion Model 中的 Image Decoder将图像特征扩散成一张图片
稳定扩散模型— Stable Diffusion
巨人的肩膀 —— Latent Diffusion Model
依然是通过CLIP Text Encoder 将文本转换为文本特征向量
通过图像信息Creator 在Latent Space 中处理特征信息
依然是通过Image Decoder将图像特征扩散成一张图片
AI视频原理求索
DALL·E 3 的新技术 —— Caption Improvement增强图片描述 + CLIP score 评分机制 大幅度提升训练集的数据质量
利用DALL·E 3 的新技术给Sora 的全部视频数据集重新生成文本描述
ViViT —— A Video Vision Transformer 完成视频Patch 切分
使用三维空间的VAE技术将视频压缩转换成新的潜在空间表示
DiT —— Scalable Diffusion Models with Transformers 生成高质量图像与视频
NaViT —— Native Resolution ViT 实现对输出视频的分辨率和宽高比的灵活调整
NAVID-GPU与CPU
训练模型为什么要使用GPU，而不是CPU
GPU与CPU 计算核心的区别对比
特定类型的计算适合运行到GPU
1000倍以上的速度提升带来算法设计模式的巨大变化
如何在GPU上做并行计算
启动普通CPU应用程序
将数据加载到内存
将数据从内存copy到显存
运行GPU应用程序完成大规模计算
将计算结果存储到显存
将计算结果从显存copy到内存
英伟达整套体系为什么这么强大
18年积淀的CUDA体系及开发者生态
TensorFlow和PyTorch等人工智能框架的深度集成
试错成本过高带来的迁移困难
企业应用之AI大模型应用技术
提示词工程Prompt
提示词和提示词工程的概念与发展
什么是提示词
提示词的本质
提示词的价值
提高生成质量
提高准确性
提高相关性
改进交互性
提示词的四个基本元素
模型的角色<角色>
模型需要做什么<目标>
模型需要做什么<执行方案>
模型输出格式<输出格式>
提示词的基本原则
表意清晰明确
给模型思考时间
Prompt Engineering
Prompt调优
角色定义的原理
限制输出格式
NLU 和 NLG
零样本提示
少样本提示
Prompt调优进阶技巧
思维链COT
自洽性（Self-Consistency）
思维树Tree-of-Thought
思维链应用实战
用 prompt 调优 prompt
GPTs
Coze
Prompt tune
Prompt攻击与防范
提示词注入
提示词防范
提示词应用实战
案例 1: 客服对话机器人
案例 2: 客服对话质检
案例 3: 指标解读+项目推荐
GPTs与Assistant API
GPTs & Assistants API 简介
如何在 GPT Store 创建/发布自己的 GPT
Assistants API 的主要能力
基于 Assistants API 开发
创建 assistant
管理 thread
添加 message
开始 run
中控调度
在 Assistant 中调用工具
Function Calling
Code Interpreter
RAG
用 Assistants API 实现多角色隔离与协作
原生 OpenAI API、GPTs、Assistants API、国产/开源大模型选型参考
Assistants API 实践案例
Function Calling
Function calling是什么？
增强LLM，AI助手的能力
将 LLM 与你的应用进行深度整合
Function calling 是如何工作的？
获取外部数据
进行计算
完整的工作流
修改用户界面
Function Calling与 Tools有什么区别？
有哪些模型支持function calling？
gpt-4o
gpt-4o-mini
百度文心大模型
MiniMax
ChatGLM3-6B
豆包
Function Calling企业级应用的关注点
如何确保模型调用正确的函数？
如何处理特殊情况
什么是Structured Outputs？
Function calling 为什么需要 structured Outputs？
如何使用 structured Outputs？
什么是零数据保存，Structured Outputs 会影响零数据保留吗？
OpenAI推荐的Function calling最佳实践
RAG和Embeddings
AI大模型商业应用存在的短板
幻觉
知识库落后
数据安全
RAG检索增强生成概念详解
什么是RAG
基础的RAG技术
高级RAG技术
RAG的优点
外部知识的利用。
数据及时更新。
高度定制能力。
减少成本。
RAG应用流程
数据准备阶段
数据提取
文本分割
向量化（Embedding）
数据入库
检索生成阶段
问题向量化
数据检索
注入Prompt
LLM生成答案
RAG技术关键环节
数据检索
Prompt设计
Embeddings向量检索
向量的概念
Embeddings的定义
向量的基本原理
空间相似度计算方法
Embeddings在LLM中的应用
向量数据库
向量数据库分类
主流向量数据库对比
基于向量检索的RAG实现
RAG企业应用进阶
文本分割粒度和分割算法
Rank排序优化
知识图谱在RAG各阶段的应用
RAG 的应用场景
问答系统（QA Systems）
文档生成和自动摘要
智能助手和虚拟代理
信息检索
知识图谱填充
AI Agent智能体
什么是Agent？
1. Agent 简介
2. Agent 的主流程图
Agent四种使用方式
Reflection
Tool Use
Planning
Multi-agent
AI Agent关键流程实现
设计 ReAct 的 Prompt 模板
设计长时和短时 Memory
实现主流程
设计鲁棒的纠偏策略，防止死循环
封装自己的 Tools
AI Agent核心之工作流
为什么我们需要工作流?
吴恩达博士的开源翻译工作流项目
使用 LangGraph 和 Agently Workflow分别复现翻译工作流
LangGraph
Agently Workflow
大模型应用工作流的关键要素解析
基本要素
大模型应用工作流需要具备的特性
LangGraph 的工作流要素图示
Agently Workflow 的工作流要素图示
LangGraph 和 Agently Workflow 的能力对比
复杂的工作流:故事创作/复杂的控制函数规划调用
设计思路
实现方案
进一步思考和讨论
微调Fine-Tunning
基于案例理解模型微调
动手微调一个小 GPT
1. HuggingFace简介
2. 模型加载
3. 数据加载
4. 训练器
什么是模型
什么是模型训练
1. 训练时几个重要超参
2. 调整超参，再跑实验1
求解器 &损失函数简介
手写一个简单的神经网络并训练它
模型微调的底层原理与实战
什么是训练/预训练/微调/轻量化微调
Transformer结构简介
轻量化微调
1. Prompt Tuning
2. P-Tuning
3. Prefix Tuning
4. LoRA
5. QLoRA
实验数据集的构建
实战 1：基于 LoRA 微调 Qwen2 7B
实战 2：基于 QLoRA 微调 Llama3 8B
实战 3：基于 QLoRA 微调 GLM4 9B
更多训练数据的构建技巧
AI大模型应用开发框架和工具栈
Python
Python快速入门
搭建编程环境
Python 2 和 Python 3
运行 Python 代码片段
Hello World 程序
在不同操作系统中搭建 Python 编程环境
在 Linux 系统中搭建 Python 编程环境
在 OS X 系统中搭建 Python 编程环境
在 Windows 系统中搭建 Python 编程环境
解决安装问题
从终端运行 Python 程序
在 Linux 和 OS X 系统中从终端运行 Python 程序
在 Windows 系统中从终端运行 Python 程序
变量和简单数据类型
运行 Hello_world.py 时发生的情况
变量
变量的命名和使用
使用变量时避免命名错误
字符串
使用方法修改字符串的大小写
使用制表符或换行符来添加空白
删除空白
使用字符串时避免语法错误
Python 2 中的 Print 语句
数字
浮点数
使用函数 str() 避免类型错误
Python 2 中的整数
注释
如何编写注释
该编写什么样的注释
列表简介
列表是什么
访问列表元素
索引从 0 而不是 1 开始
使用列表中的各个值
修改、添加和删除元素
修改列表元素
在列表中添加元素
从列表中删除元素
组织列表
使用方法 sort( )对列表进行永久性排序
使用函数 sorted( )对列表进行临时排序
倒着打印列表
确定列表的长度
使用列表时避免索引错误
操作列表
遍历整个列表
深入地研究循环
在 for 循环中执行更多的操作
在 for 循环结束后执行一些操作
避免缩进错误
忘记缩进
忘记缩进额外的代码行
不必要的缩进
循环后不必要的缩进
遗漏了冒号
创建数值列表
使用函数 range( )
使用函数 range( ) 创建数字列表
对数字列表执行简单的统计计算
列表解析
使用列表的一部分
切片
遍历切片
复制列表
元组
定义元组
遍历元组中的所有值
修改元组变量
设置代码格式
格式设置指南
缩进
行长
空行
其他格式设置指南
if 语句
一个简单示例
条件测试
检查是否相等
检查是否相等时不考虑大小写
检查是否不相等
比较数字
检查多个条件
检查特定值是否包含在列表中
检查特定值是否不包含在列表中
布尔表达式
if 语句
简单的 if 语句
if-else 语句
if-elif-else 结构
使用多个 elif 代码块
省略 else 代码块
测试多个条件
使用 if 语句处理列表
检查特殊元素
确定列表不是空的
使用多个列表
设置 if 语句的形式
字典
一个简单的字典
使用字典
访问字典中的值
添加键-值对
先创建一个空字典
修改字典中的值
删除键-值对
由类似对象组成的字典
遍历字典
遍历所有的键-值对
遍历字典中的所有键
按顺序遍历字典中的所有键
遍历字典中的所有值
嵌套
字典列表
在字典中存储列表
在字典中存储字典
用户输入和 while 循环
函数 input( )的工作原理
编写清晰的程序
使用 int( ) 来获取数值输入
求模运算符
在 Python 2.7 中获取输入
while 循环简介
使用 while 循环
让用户选择何时退出
使用标志
使用 break 退出循环
在循环中使用 continue
避免无限循环
使用 while 循环来处理列表和字典
在列表之间移动元素
删除包含特定值的所有列表元素
使用用户输入来填充字典
函数
定义函数
向函数传递信息
实参和形参
传递实参
位置实参
关键字实参
默认值
等效的函数调用
避免实参错误
返回值
返回简单值
让实参变成可选的
返回字典
结合使用函数和 while 循环
传递列表
在函数中修改列表
禁止函数修改列表
传递任意数量的实参
结合使用位置实参和任意数量实参
使用任意数量的关键字实参
将函数存储在模块中
导入整个模块
导入特定的函数
使用 as 给函数指定别名
使用 as 给模块指定别名
导入模块中的所有函数
函数编写指南
类
创建和使用类
创建 Dog 类
根据类创建实例
使用类和实例
Car 类
给属性指定默认值
修改属性的值
继承
子类的方法__init__( )
Python 2.7 中的继承
给子类定义属性和方法
重写父类的方法
将实例用作属性
模拟实物
导入类
导入单个类
在一个模块中存储多个类
从一个模块中导入多个类
导入整个模块
导入模块中的所有类
在一个模块中导入另一个模块
自定义工作流程
Python 标准库
类编码风格
文件和异常
从文件中读取数据
读取整个文件
文件路径
逐行读取
创建一个包含文件各行内容的列表
使用文件的内容
包含一百万位的大型文件
圆周率值中包含你的生日吗
写入文件
写入空文件
写入多行
附加到文件
异常
处理 ZeroDivisionError 异常
使用 try-except 代码块
使用异常避免崩溃
else 代码块
处理 FileNotFoundError 异常
分析文本
使用多个文件
失败时一声不吭
决定报告哪些错误
存储数据
使用 json.dump( )和 json.load( )
保存和读取用户生成的数据
重构
LangChain
模型I/O封装
1. 模型的封装介绍
2. 模型的输入输出
3. PromptTemplate
4. 结构化输出
5. Output Parser
6. Function Calling
数据连接封装
1. 文档加载
2. 文档处理
对话历史管理
链架构：Chain/LCEL
流式输出
RAG
工厂模式
对话记录的存取
智能体Agent
ReAct
SelfAskWithSearch
LangServe简介
LIamaIndex
了解SDK已经极简代码实现RAG
LIamaIndex介绍
核心模块总览
LIamaIndex安装
数据加载
加载本地数据
Data Connectors 丰富的数据类型加载
文本切分与解析
TextSpitters文本切分
NodeParsers解析文档结构
索引与检索
向量检索
使用自定义的向量数据库
文本架构、灌库：Ingestion Pipeline
检索后排序
生成回复
单轮问答
多轮对话
底层接口
Prompt
LLM
Embedding
基于LIamaIndex实现一个功能完整的RAG
1. 自定义文件加载与切分
2. 实现RAG-Fusion
3. 实现ChromaDB 本地持久化
4. 实现检索后的排序
5. 支持多轮对话
6. 实现关键字+向量混合检索
LLM应用开发工具链
维护一个生产级的LLM应用
LangFuse平台深度解析
1. 平台注册与链接
2. 与LangChain集成
3. 记录和跟踪LLM的调用记录
4. 构建回归测试集
5. Prompt调优与回归测试
6. Prompt版本管理
7. 与LIamaIndex集成
LangSmith 平台
1. 基本功能介绍
1. LLM调用记录
2. Playground
2. 数据集管理
3. 回归测试
就业必备之AI大模型企业级实战
智能问答系统
了解LangChain的应用场景：从对话系统到自动化流程
了解LangChain的基本功能和应用方向
探索如何将链式结构用于对话流设计
学习如何将LangChain应用到自动化和数据集成任务中
构建LangChain应用的基础架构
搭建一个智能对话系统的核心组件
学习数据输入输出的处理流程
探索如何将LangChain与其他AI工具（如OpenAI API、Llama）进行集成
LangChain实战应用：构建你的智能任务系统
从简单任务到复杂对话系统的开发过程
实现数据源的集成与处理（例如：调用API、数据库连接）
LangChain应用案例：打造智能问答系统
设计智能问答系统的实际应用案例
优化性能与解决集成问题的常见方法
企业个性化本地知识库
探索Ollama与AnythingLLM在个性化知识库中的应用
了解Ollama与AnythingLLM的优势和应用场景
解析文本生成和对话系统的实际应用
探讨Ollama与AnythingLLM的技术架构和模块构成
构建并部署基于Ollama的定制化知识库
选择合适的模型，构建个性化的企业知识库
数据准备与清洗，实现高质量模型训练
部署模型并优化推理性能，提升系统响应速度
Ollama在企业中的多场景应用
文本生成与客户服务等任务的具体应用分析
实际案例：在商业环境中有效应用Ollama的策略
实践项目：基于Ollama构建企业定制化的对话系统
Ollama应用实践中的优化与思考
提升模型精度与稳定性，解决常见问题
优化响应速度与并发能力的策略
模型评估与持续优化方法，确保系统效果
增强型智能查询系统
大模型与知识库结合的基础应用
了解GPT系列和BERT等大模型的基础结构
探索大模型与知识库结合的实际应用场景
认识常用的知识库技术，如向量数据库（FAISS、Pinecone）、ElasticSearch
知识库挂载的实战操作
分步完成大模型与知识库的集成
学习通过API或数据库连接，实现知识库与大模型的实时交互
实战演练：将知识库挂载到GPT等大模型上，提升问答能力
案例分析：构建智能客服机器人，结合知识库增强回答准确性
优化挂载效果与应对挑战
提升知识库查询的速度与准确度的技巧
解决挂载中的数据一致性问题
使用缓存技术，优化大模型的响应速度
医疗问诊助手
基础应用：理解并应用大模型的微调与预训练
了解微调与预训练的概念及其在应用中的差异
探索全量微调和LoRA等微调方法的实际用途
学习大模型常用的数据集和预训练方法
核心实操：定制化微调和预训练模型
使用Hugging Face等工具微调BERT和GPT等大模型
掌握定制化预训练过程：选择数据、设置参数、实时监控
实战项目：使用定制数据集微调大模型，以满足特定任务需求
案例分析：在特定领域微调Chatbot对话模型的应用
优化技巧：提升微调与预训练的效率与效果
应用混合精度和梯度累积等技术加速微调过程
应对微调中的常见挑战并掌握排查技巧
使用迁移学习优化模型表现，提升定制化效果
垂直领域定制开发
认识开源模型的多样化应用
探索Llama2等开源模型的特点及其应用场景
理解微调在定制化和领域适应中的重要性
比较不同开源模型的微调方法，选择适合的定制化路径
掌握微调的核心流程
数据准备与清洗：选择高质量的数据集
微调技术要点：设置超参数、选择合适的训练方法
模型评估与验证：确保微调后模型的效果
实战主流开源模型的行业应用
实战主流开源模型的文本生成任务
特定行业的应用示例：如何在医学和法律领域进行微调
部署与性能优化，实现高效应用
实用技巧与经验分享
增强学习与迁移学习结合，提高模型适应性
持续学习策略，逐步优化微调模型
避免过拟合和提高模型泛化能力的方法
软硬件配置的选型与优化技巧，确保微调效率
大规模智能计算中心的建设方案与实施经验
企业大模型项目实战流程详解
项目管理与开发流程
团队协作与版本控制（如Git）
实战1：完成一个真实的企业级项目，如智能问答系统或自动驾驶数据处理系统，积累团队合作经验
实战2：Open WebUI部署自己的大模型
实战3: ChatDev: Collaborative Agents for Software Engineering
实战4：多模态聊天机器人
案例拆解之AI视角下的业务KnowHow
零售与电商行业
内容生成与内容管理场景AI全链路详解
互动与成交促进场景AI全链路详解
搜索与商品推荐场景AI全链路详解
智能客服的C端效果和落地为什么远低于大众预期
数字人技术落地的最大卡点
教育行业
在线教育公司多年积累的题库和解析为何突然没有价值了
回到同一起跑线，不同场景都有哪些AI的发力机会
金融行业
大模型为什么没有进入到金融行业的核心业务中去
不同场景都有哪些AI的发力机会
智能风控AI全链路详解
智能投研AI全链路详解
智能核查AI全链路详解
智能办公AI全链路详解
大模型是否有机会在金融行业获得更大范围的普及
泛娱乐内容行业
AI男友和AI女友的技术路线详解
AI玩转图片和视频的诸多应用
电影特效公司都在使用什么AI技术
游戏公司如何用好AI技术
人力资源部门
招聘场景AI全链路详解
员工培训场景AI全链路详解
绩效评定及晋升评定场景AI全链路详解
企业办事助手
数据分析部门
数据分析部门可实现的场景详解
外部调研
实现对话式界面生成数据图表
了解真正经营分析和商业智能的关系
![[课堂配置版本]咕泡-Java应届生课程](https://www.processon.com/chart_image/template/thumb/64ab68c27621310f823cfe03.png?tid=64a7d1caf9b40558f7937e7b)
0 条评论
下一页
