英伟达近日发布了ChatQA模型，据称其性能可与GPT-4相媲美。该模型采用高效的训练方法，包括两阶段指令调整和改进的上下文检索等。

ChatQA是一组对话式问答模型，旨在提供与GPT-4相当的精度。为了实现这一目标，开发团队提出了一种创新的训练方法，即两阶段指令调优。这种方法显著提高了大型语言模型在零样本对话式问答任务中的表现。

在处理对话式QA中的检索时，团队在多轮QA数据集上微调了密集检索器。这一改进提供了与使用最先进的查询重写模型相当的结果，同时降低了部署成本。值得注意的是，ChatQA-70B在10个对话式QA数据集上的平均得分超过了GPT-4，而无需依赖任何来自OpenAI GPT模型的合成数据。这一突破性成果标志着英伟达在自然语言处理领域取得的重大进展。