403 Nvidia最近推出了一款名为ChatwithRTX的聊天应用程序，该应用程序专为WindowsPC设计。该应用程序由TensorRT-LLM技术提供支持，允许用户在不连接互联网的情况下与聊天机器人交互。适合此应用的硬件包括所有具有至少8GB视频内存的GeForceRTX30系列和40系列显卡。
ChatwithRTX能够处理各种文件类型，例如文本、PDF、Word文档(doc/docx)和XML。用户只需将文件存储在指定的文件夹中，应用程序就会在几秒钟内加载。此外，用户还可以输入YouTube播放列表的链接，应用程序会抓取列表中视频的字幕内容以供用户查询。
据官方介绍，用户使用“ChatwithRTX”可以像使用ChatGPT一样进行交流，但生成的内容将基于特定的数据集，这使得它在生成摘要和快速检索文档方面表现出色。
用户使用支持TensorRT-LLM的RTXGPU可以在本地处理所有数据和项目，而无需依赖云存储，这不仅节省了时间，而且提供了更准确的搜索结果。NVIDIA还宣布TensorRT-LLM0.6.0版本将带来五倍的性能提升，预计将于本月晚些时候发布。同时，该版本还将支持其他大型语言模型，例如Mistral7B和Nemotron38B。
需要注意的是，demo的压缩包为35g，需要提前预留空房。
