AI推理
2023-03-30 08:58:09 16 举报AI智能生成
AI推理
作者其他创作
大纲/内容
Inference Optimization
MNN
XNN
OpenViNO
ONNXRuntime
TorchServe
JIT+Libtorch
部署
PyTorch
CPU
NVIDIA
Tensor RT
FasterTransformer
LibTorch
GPU
其他
普通推理
Megatron-deepSpeed
Megatron-LM
Hugging face
Transformers-Bloom-Inference
ColossalAI
分布式模型推理
Inference Backend
ONNX
PyTorch-> ONNX
TensorFLow->oNNX
Pytorch->Script
Model Conversion
Model Inference Optimization
0 条评论
回复 删除
下一页
