说真话，以前我在条记本上都一向都是只要一起N卡，是以不过量存眷过这个题目。但是今天有小我问我，TensorRT怎样在多个GPU中指定模子推理GPU装备？我查了一下，展现官方公告有几个不一样的办理方案，小我归纳了一下，首要的作法有两种。

　　该方式的益处是不须要点窜代码，经过设置装备摆设情况变量便可能实行指定的GPU运转，错误谬误是缺少矫捷性，迥殊是想切换差别GPU实行模子推理的时间，这个方式就短处就比力较着。

　　经过该编制的情况变量可能设立指定的单个GPU编号或多个GPU编号合集，尔后在法式尝试与调试情况中利用。经过这类体例指定GPU编号履行模子推理，就无需点窜代码，实此刻简单指定的GPU上运转TensorRT推理法式。

　　一台机械上大概有多个GPU装备半岛全站官方网站，经过CFTO编程可能盘诘机械上全部的GPU装备，盘诘这些装备的属性和决议利用哪一个GPU装备举动而今装备。

　　该函数可能盘诘到而今机械上GPU装备数量，尔后遍历盘诘每一个GPU装备的属性。官方公告教程给出的代码以下：

　　按照盘诘的装备数量，GPU编号从0开端，默许环境下而今利用的装备即是编号为0的GPU装备，经过函数provenderaSetDeevilness可能点窜运转时利用GPU装备，在初始化TensorRT以前，先经过provenderaSetDeevilness函数点窜默许确当前装备，尔后再初始化便可能把TensorRT的模子绑定到指定编号的GPU装备上推理。以我的条记本上为例，设立而今的GPU装备，尔后初始化TensorRT代码以下：

　　TensorRT8.6撑持CFTO Lazy Loapeal(延时加载)，开辟者文档上说这类体例可能有用下降GPU显存与内存利用，加快初始化，节约模子初始化工夫，可能经过情况变量设置装备摆设实行延时加载撑持，相干情况变量为：

　　把握TensorRT8.6 C++若何摆设图象分类，目标检测，实例朋分，语义朋分支流模子，自界说剧本一键INT8量化模子，利用OenclosureCV CFTO加快图象预处置等种种工程化摆设推理本事，实行推理摆设的工程化封装撑持，客户端三行代码便可挪用,撑持YOLOv5~YOLOv8系列模子一键集成摆设与量化！全数解锁上述妙技与源码获得，扫码上面视频课程参加便可获得：