【大模型】基于大模型聊天websocket断掉重连的问题

业务场景:

基于大模型聊天场景下,页面一般与服务端是通过websocket建立的连接,服务端再与大模型建立连接。
由于网络不稳定的情况下,页面与服务端的websocket会容易发生请求中断,有时候服务端在往页面推送消息的时候,只是展示了一半就终止了。

问题分析:

通过上述的业务场景描述,网络稳定性不一定好控制,但是问题核心在于websocket断掉了,
那么断掉就要重连,并且还有接上之前的输出,这种情况又该如何处理呢?

解决方案:


1、无可厚非,重新连接websocket这个是肯定要做的。
2、关键是如何能够和之前的会话能够衔接呢?
    1)、继续要传之前的sessionID,
    2)、重新向大模型问没有回复全的答案的那个问题
    3)、基于第2点的前提下,页面擦除掉回复一半的那个文本,替换第2点大模型回复的内容
    
通过上述2大点的方法,用户就可以感受到连贯性了~

你可能感兴趣的:(人工智能,网络结构,websocket,网络协议,网络,AIGC)