英伟达发布430亿参数大模型ChipNeMo，专注于芯片设计领域，提高工程师效率

英伟达最新发布了一个430亿参数的大语言模型，名为ChipNeMo。这个模型专注于辅助芯片设计，旨在提高工程师的工作效率。通过使用ChipNeMo，芯片设计变得更加便捷，应用范围广泛，包括问答、EDA脚本生成和Bug总结等任务。

英伟达首席科学家Bill Dally强调，即使提高生产率的幅度不大，使用ChipNeMo仍然是值得的。ChipNeMo的数据集包括Bug总结、设计源、文档以及硬件相关的代码和自然语言文本，经过数据采集、清洗和过滤后，共有241亿个token。

为了提升大语言模型在工程助理聊天机器人、EDA脚本生成和Bug摘要和分析等领域的性能，英伟达采用了领域自适应技术。这些技术包括自定义标记器、领域自适应持续预训练、带有领域特定指令的监督微调等方法。

结果显示，这些领域自适应技术不仅提高了模型在这些领域的性能，还减小了模型大小，但仍有改进空间。英伟达的这一举措标志着大语言模型在半导体设计领域的应用迈出了重要的一步，为专业化领域提供了有用的生成式AI模型。