【Text2SQL 论文】CodeS：Text2SQL 领域的开源语言模型

论文：CodeS: Towards Building Open-source Language Models for Text-to-SQL

⭐⭐⭐⭐

arXiv:2402.16347, SIGMOD 2024

人大

Code: CodeS | GitHub

一、论文速读

本文提出一个开源的专门用于 Text2SQL 任务的 LLM —— CodeS，有多个参数规模的版本（1B ~ 15B），它是基于 StarCdoer 基座模型，使用 Text2SQL 相关的数据集继续训练得到的。同时，论文提出了在训练这个模型和使用这个模型一些方法。

论文提出的一些 challenges 和解决方案：

• C1：如何让小模型具备复杂的 Text2SQL 推理能力？由于现有的 PLM（如 LLaMA-2）的训练数据中，与 SQL 相关的内容只占预料的很小一部分，这种数据偏差可能会阻碍模型的 SQL 生成能力。因此，本文提出一种增量预训练方法，利用与 Text2SQL 任务相关的数据集来训练。
• C2：如何生成一个好的 prompt 来解决 Schema Link 的困难？本文提出了一系列过滤方法，筛选出只与问题有关的 schema 输送给 LLM。
• C3：如何让 LLM 自适应地迁移到新 domain 的 DB 中？这个问题的主要障碍在于缺乏用于微调的 pairs，因此本文提出了一种双向数据增强技术，在少量人工操作下生成足够的微调数据集。

总的来说，为了解决这三个问题，论文一共引入了三个组件来分别解决：Incremental pre-training（下图 a）、Database prompt construction（下图 b