如何利用模板为您的聊天机器人自动生成反馈

在人工智能快速发展的今天，聊天机器人是应用大型语言模型（LLM）的最常见接口之一。尽管如此，许多聊天机器人的质量参差不齐，这使得不断完善和发展显得尤为重要。传统的用户反馈机制往往无法有效捕捉用户体验，而这种反馈的稀缺也阻碍了对聊天机器人的进一步优化。本文旨在介绍一种无需明确用户反馈即可评估聊天机器人的方法。

技术背景介绍

在构建和改进聊天机器人的过程中，用户反馈如“赞”或“踩”往往是稀缺的资源。即使在具有数千次互动的环境中，例如Chat Langchain中，仅有0.04%的查询获得了明确反馈。然而，约70%的查询是针对先前问题的后续，这意味着这些连续的多轮对话可以揭示出很多关于先前AI响应质量的信息。

核心原理解析

我们可以通过定义一个自定义的评价器（Evaluator）来从用户的后续回应中推断反馈。这个评价器通过观察用户在多轮对话中的情绪变化（例如用户变得愈发沮丧）来判断之前AI回复的有效性。这种方法不仅提高了反馈的数量，还提供了一种无缝集成到生产环境中的方案。

代码实现演示

以下是实现此方案的核心代码——我们通过自定义 ResponseEffectivenessEvaluator 来评估聊天机器人的响应：

import openai
from langserve import RemoteRunnable
from langchain.callbacks.manager import tracing_v2_enabled
from langchain_core.messages import BaseMessage, AIMessage, HumanMessage
from functools import partial
from typing import Optional, List, Callable

# 配置LangServe服务器
chain = RemoteRunnable("http://127.0.0.1:8031/chat-bot-feedback")

def stream_content(
    text: str,
    chat_history: Optional[List[BaseMessage]] = None,
    last_run_id: Optional[str] = None,
    on_chunk: Callable = None,
):
    results = []
    with tracing_v2_enabled() as cb:
        for chunk in chain.stream(
            {"text": text, "chat_history": chat_history, "last_run_id": last_run_id},
        ):
            on_chunk(chunk)
            results.append(chunk)
        last_run_id = cb.latest_run.id if cb.latest_run else None
    return last_run_id, "".join(results)

# 示例聊天过程
chat_history = []
text = "Where are my keys?"
last_run_id, response_message = stream_content(text, on_chunk=partial(print, end=""))
print()
chat_history.extend([HumanMessage(content=text), AIMessage(content=response_message)])
text = "I CAN'T FIND THEM ANYWHERE"
last_run_id, response_message = stream_content(
    text,
    chat_history=chat_history,
    last_run_id=str(last_run_id),
    on_chunk=partial(print, end=""),
)
print()
chat_history.extend([HumanMessage(content=text), AIMessage(content=response_message)])

应用场景分析

这种自动化反馈体系适用于任何希望提高自身服务质量的聊天机器人应用。特别是在大规模用户交互的应用场景中，这种系统可以为产品分析、调优及评价提供丰富的数据支持。

实践建议

• 持续优化：利用自动化反馈来获取大规模用户数据，以支持模型的持续改进。
• 自定义调优：根据具体应用场景调整反馈模板，从而更精确地捕获所需指标。
• 监控情绪：注意用户情绪波动，及时调整AI响应策略以提高用户体验。

如果遇到问题欢迎在评论区交流。
—END—