AI推理
2023-03-30 08:58:09 16 举报AI智能生成
AI推理
作者其他创作
大纲/内容
Inference Optimization
Inference Backend
普通推理
CPU
MNN
XNN
OpenViNO
ONNXRuntime
PyTorch
部署
TorchServe
JIT+Libtorch
GPU
Tensor RT
NVIDIA
FasterTransformer
LibTorch
其他
分布式模型推理
Megatron-deepSpeed
Megatron-LM
Transformers-Bloom-Inference
Hugging face
ColossalAI
Model Conversion
ONNX
PyTorch-> ONNX
TensorFLow->oNNX
Pytorch->Script
0 条评论
下一页
