硬件加速 TensorRT

编译engine

TensorRT整个过程可以分三个步骤，即模型的解析（Parser），Engine优化和执行（Execution）。首先输入是一个预先训练好的FP32的模型和网络，将模型通过parser等方式输入到TensorRT中，TensorRT可以生成一个Serialization，也就是说将输入串流到内存或文件中，形成一个优化好的engine，得到优化好的engine可以序列化到内存（buffer）或文件（file），读的时候需要反序列化，将其变成engine以供使用。然后在执行的时候创建context，主要是分配预先的资源，engine加context就可以做推断（Inference）。整体流程：使用pytorch训练模型，生成.pth文件将.pth文件转化成onnx模型在tensorRT中加载onnx模型，并转化成trt的object在trt中使用object进行推理

创建network，并inplace的填充

创建Builder

创建config，并inplace的按需配置

推理inference

开始

创建context