Xavier上TensorRT和Pytorch运行时间对比

跑了一下CenterNet的结果,对比如下:

  • Pytorch float数据类型,512x512输入,11FPS
  • Pytorch half数据类型,512x512输入,16FPS
  • TensorRT float数据类型,512x512输入,15.6FPS
  • TensorRT hals数据类型,512x512输入,21.7FPS

TensorRT的效果没有手册里面说的那么夸张。