【Agent实战】用“前置编码器+LLM”复刻ChatGPT附件功能

1. 引言：多模态LLM解耦

原生多模态LLM将多种模态的处理能力“内化”于一个庞大的模型中，是技术的前沿。而我们这里讨论的“前置编码器 + LLM”方案，则是一种解耦的设计哲学：

• LLM专注于语言：让强大的文本LLM继续做它最擅长的事情——理解和生成高质量的文本、进行逻辑推理和遵循复杂指令。
• 前置编码器专注于转换：为每种文件类型构建或调用专门的、最优的工具（模型或库）来将其转换为高质量的文本表示。

这种方案的优势在于：

• 技术栈灵活：可以自由组合最好的PDF解析库、最好的图像描述模型、最好的ASR模型，而不受限于某个单一多模态模型的能力短板。
• 成本可控：对于不同类型的附件，可以选择不同成本和性能的编码器。例如，简单的文本文件处理成本几乎为零，只有处理图像或音频时才需要调用额外的（可能付费的）模型。
• 可解释性与可调试性强：如果某个附件处理出错，我们可以清晰地定位到是哪个前置编码器环节出了问题，而不是面对一个难以调试的“黑盒”大模型。
• 兼容性好࿱