首页  思维导图  详情

人工智能

2024-08-20 10:11:48   1  举报





AI智能生成

AI人工智能介绍

人工智能

作者其他创作

大纲/内容

资料收集

x华章 | AI学习路线图——从零基础到就业

完备的 AI 学习路线，最详细的资源整理

吴恩达斯坦福大学机器学习课程

文档资料整合

魔塔社区

学习路径

技术栈

NLP语言模型技术发展

专注于一个角色

数据科学家

机器学习工程师

机器学习研究员

数学

编程

大模型基础

Transformer模型

波普尔的三个世界

表示学习（Representation Learning

通过学习算法自动地从原始数据中学习到一种表示形式或特征表示，该表示形式能够更好地表达数据的重要特征和结构。表示学习的目标是将输入数据转换为具有良好表示能力的特征空间，使得在该空间中的数据具有更好的可分性、可解释性或推理能力。

嵌入（Embedding）

用于将高维数据映射到低维空间中的表示形式。嵌入可以是词嵌入、图像嵌入、图嵌入等。例如，在自然语言处理中，词嵌入将词语映射到低维向量空间，以捕捉词语之间的语义和句法关系。在图像处理中，图像嵌入将图像映射到低维向量空间，以表示图像的视觉特征。

深度神经网络(DNN)

一种高效学习数据抽象特征表示的方法

chatGPT

Generative Pretrained Transformer

一种基于深度学习的自然语言技术. 可生成高质量自然语言文本。

使用深度精神网络和自然语言处理技术，通过对大量语言数据的学习和建模，实现自然语言生成和对话系统。

是一个神经网络模型。基于Transformer架构的语言模型

学习

如果您是刚刚入门，以下是一些学习资源：
1. 了解ChatGPT的基本功能：您可以了解ChatGPT是如何工作的，以及它能够帮助您完成哪些任务。

2. 实践使用ChatGPT：您可以尝试使用ChatGPT回答一些问题，并看看它的回答。

3. 学习如何使用API：如果您希望使用ChatGPT的功能，您需要学习如何使用它的API。

4. 参考文档和社区：OpenAI官方网站上有详细的文档，您还可以加入一个学习社区，与其他人交流。

如果您已经熟悉了ChatGPT的基础知识，您可以尝试以下更高级的内容：
1. 训练您自己的模型：您可以训练您自己的语言模型，以实现更高级的功能。

2. 开发应用程序：您可以使用ChatGPT的功能开发自己的应用程序。

3. 研究语言模型：如果您对语言模型的工作原理感兴趣，您可以研究它

参考资料：https://hf0y97ff1r.feishu.cn/wiki/wikcntxY1OV3OBgbrCijr3qeuBc

chatGPT基础知识

深度学习基础

核心是多层神经网络。

自然语言处理技术

词向量

序列模型

注意力机制

循环神经网络基础

基于序列数据的神经网络模型

注意力机制基础

用于序列数据建模技术

chatGPT的实现

数据预处理

步骤

1. 文本清洗

2. 分词处理

词向量化

序列化处理

模型架构

多个transformer编码器和一个 transformer解码器组成

训练和优化

Model

Moderation

Models API

Completions API

Chat Completions API

关键词

深度学习

GPU

图形处理器（英语：graphics processing unit，缩写：GPU），又称显示核心、视觉处理器、显示芯片，是一种专门在个人电脑、工作站、游戏机和一些移动设备（如平板电脑、智能手机等）上做图像和图形相关运算工作的微处理器。

国产GPU

天数智芯

生成式人工智能AIGC
（Artificial Intelligence Generated Content）

指基于生成对抗网络、大型预训练模型等人工智能的技术方法，通过已有数据的学习和识别，以适当的泛化能力生成相关内容的技术。

IGC技术的核心思想是利用人工智能算法生成具有一定创意和质量的内容。通过训练模型和大量数据的学习，AIGC可以根据输入的条件或指导，生成与之相关的内容。例如，通过输入关键词、描述或样本，AIGC可以生成与之相匹配的文章、图像、音频等。

建立在多模态之上的人工智能技术，即单个模型可以同时理解语言、图像、视频、音频等，并能够完成单模态模型无法完成的任务，比如给视频添加文字描述、结合语义语境生成图片等。

使用方式

直接使用顾名思义，直接使用基础大模型厂商发布的产品服务，通过接口调用方式嵌入自身业务或系统当中。

Prompt 通过提示工程，通过微调少量参数，引导预训练语言模型做特定下游任务。利用文本对话方式操控语言大模型，引导生成结果。

LoRA 仅训练低秩矩阵（low rank matrics），使用时将LoRA模型的参数注入基础大模型，在不修改大模型的前提下，改变模型的生成风格。所需的训练资源比训练基础大模型要小很多，非常适合社区使用者和个人开发者。

FineTune Finetune是应用或利用迁移学习的一种方式。对基础大模型进行微调，以适应特定任务。

Train 调用数据、算力、算法从头训练大模型，从头开始训练大模型。除非特殊领域和特定要求，一般商业公司不会从头开始训练基础大模型。

LangChain

一个强大的框架，旨在帮助开发人员使用语言模型构建端到端的应用程序。它提供了一套工具、组件和接口，可简化创建由大型语言模型 (LLM) 和聊天模型提供支持的应用程序的过程。LangChain 可以轻松管理与语言模型的交互，将多个组件链接在一起，并集成额外的资源，例如 API 和数据库。

Attention Model 注意力模型

BERT(Bidirectional Encoder Representation from Transformers)是2018年10月由Google AI研究院提出的一种预训练模型，该模型在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩: 全部两个衡量指标上全面超越人类，并且在11种不同NLP测试中创出SOTA表现，包括将GLUE基准推高至80.4% (绝对改进7.6%)，MultiNLI准确度达到86.7% (绝对改进5.6%)，成为NLP发展史上的里程碑式的模型成就。