AntGPT：将大型语言模型应用于视频长期行为预测的视觉语言框架

AntGPT项目是一个将大型语言模型应用于视频长期行为预测（LTA）的视觉语言框架。通过使用监督动作识别算法识别人类活动，并将其作为离散化的视频表示输入给 OpenAI GPT 模型。通过自回归方法、微调或上下文学习，GPT模型可以预测未来的行动序列，从而实现从底向上的行动预测。

AntGPT还利用目标信息来提供以目标为条件的预测，并研究了AntGPT在上下文推理和少样本学习方面的能力。通过定量和定性评估，OpenAI GPT模型取得了最先进的长期行动预测性能，并提出了使用大型语言模型进行长期行动预测的方法。并通过AntGPT框架将 LLMs 与计算机视觉算法相结合，实现了显著的成果。

AntGPT 的主要功能包括：

1）预测目标:AntGPT利用大型语言模型推断演员的目标，即使只有少量观察到的人类行为。

2）目标条件预测:AntGPT 通过将目标信息嵌入视觉框架，实现了基于目标的行为预测。

3）建模动作时序:AntGPT 通过将大型语言模型调整到特定领域的行动序列上，直接建模动作的时间动态。

4）少样本预测:AntGPT探索了大型语言模型在少样本情况下的预测能力，并尝试了不同的提示策略。