llama2功能架构详解
2024-03-11 14:41:49 0 举报llama2的功能和详解
作者其他创作
大纲/内容
RotaryEmbedding
detokenizer
RMSNorm
embedding tokens
转化成为token_id，n*vocab_size
token id转文本
embedding token投影回token id
01decoder层
INPUTtext
tokenizer
llama是decoder-only结构llama共用了32个Decoder层。
llama:MQA
llama Decoder Layer *32
llama2:GQA
lm_head
text
0 条评论
下一页
