文章插图

T5-3B模型推断时间比较
与PyTorch模型在CPU上的推断时间相比，运行在A100 GPU上的TensorRT引擎将延迟缩小了21倍。
对NLP感兴趣的朋友，要是想加速大语言模型的推理过程，就快来试试TensorRT 8.2吧！
参考资料：

• 知乎|电商达人迎来补税大潮，知乎带货第一人，被通知补税34万！
• 央视|央视曝光直播电商以次充好乱象！有平台抽样不合格率达50%
• 能量密度达500Wh/kg！日本开发出新款锂空气电池
• 百度|传英伟达加大GeForce RTX 3050供应力度，大量供货将在春节后到来
• 400亿芯片交易接近尾声，英伟达、ARM表明态度，禁止收购后
• 文和友|泡泡玛特与飞书达成合作 新消费代表企业加速迁移飞书
• 入场券|元宇宙世界的“入场券”？市场规模将达2700亿元！这类人才太紧缺→
• 宋嘉吉|元宇宙世界的“入场券”？市场规模将达2700亿元！这类人才太紧缺
• 军工|中国版“英伟达”诞生，核心技术完全自研，国产替代即将崛起
• 英伟达 RTX 3090 Ti 经销商定价曝光，约 2.2 万元起