AI应用服务

AI大模型--AI应用，该如何和前端交互，呈现llm模型答复内容呢？

向LLM大模型提问后，系统得先识别问题，再从数据网络找信息，接着推理出正确结果，还得防止模型“胡编乱造”（控制模型幻想）。有时多个智能体（agent）要一起处理，结果还得融合。这些步骤都是异步进行的，没法像传统应用接口那样实时出结果。为减少大模型结果延迟、提升用户体验，我们提供以下方案。

方案1、轮询

后端pedding结果到db或其他存储层。前端通过应用接口密集轮询存储层结果。

例：支付订单状态查询等

方案2、SSE

前端和后端建立半连接状态，后端处理llm结果的同时实时推送给前端，并异步到存储层。目前来看，该方案最优。大部分竞品：豆包、deepseek、文心一言、智谱清言... 皆沿用该方案。

例：及时消息通信等

方案3、application/ndjson

Java可以通过HttpServletResponse或StreamingResponseBody方式实现。

例：日志以及批量文件上传等

方案4、socket

不在依赖http协议，而是ws://localhost:端口号/...

例：打印机等