Dify实现图文混排的智能问答实践

        最近在做类似于各大平台中广泛应用的智能客服，相当于基于各平台的用户操作手册，业务流程场景等文档资料，开发一个类似于智能客服的自动化问答应用。主要基于dify进行开发，但对数据有些特殊要求，之前大家做的都是基于文本的，结合大模型返回的结果主要也是文本信息，这种方式不够直观全面，也有信息丢失，同时，一般这些资料中都包含了大量的图文结合内容，很多问题的答复需要结合图像进行答复更加直观，因此对其进行简单的改造，基于dify的工作流就可实现智能问答。具体如下。

一、智能图文问答

大家知道一般类似于用户操作手册等类型的资料中一般有两类数据，一类是文本数据，一类是图像数据，表格数据鉴于两者之间，可以作为图像进行处理。存储格式一般是word或者pdf文件，如果要实现图文混排的智能问答，一般有两种做法，一种方式是将所有资料转化为word格式，words格式能够自动单独存放图片的，在后续知识库构建时会自动关联图片连接信息；另一种方式是将所有展示图片的地方存放图片的链接地址（比如存放图片的网盘地址，如minio地址等），后续知识库构建时会自动关联图片链接地址进行返回并预览。记得word中的图片上一行保留文字。

说明：word中一般用空行分割，或者用特殊关键词对分割，pdf中一般用回车换行分割。

二、应用测试结果

问题：孔渗关系图工具的主要功能

三、主要工作流程图

图文问答的主要工作流程图如下。

LLM节点的提示词如下，其他默认，知识检索中的知识库记得打开rerank：

下面是知识库检索到的参考内容，请使用图文混排的方式，回答用户的问题。
{{#context#}}
# 约束
- 请严格按照知识库检索到的内容进行回复。
- 请在输出信息中保留知识库返回的图片完整信息。
- 请将检索到的图片直接进行预览显示。