Kimi 128k 是由 Moonshot AI 开发的一款多模态大语言模型，具有 128k 的超长上下文窗口，能够处理海量信息。它不仅支持文本处理，还能理解图像内容，输出相关文本。在数学、编程和多模态推理等多个领域表现出色，例如在 MATH500 中准确率高达96.2%，在 Codeforces 中排名前94百分位。该模型采用强化学习优化技术，如在线镜像下降法，提升推理能力。此外，Kimi 128k 还通过长链推理训练方法，将长上下文模型的推理能力转移到短上下文模型中，保持高性能的同时减少 token 使用。