基于GPT3.5逆向 和 本地Bert-Vits2-2.3 的语音智能助手

文章目录

    • 一、效果演示
    • 二、操作步骤
    • 三、架构解析

一、效果演示

各位读者你们好,我最近在研究一个语音助手的项目,是基于GPT3.5网页版的逆向和本地BertVits2-2.3 文字转语音,能实现的事情感觉还挺多,目前实现【无需,国内网络发送消息,返回答案文字和语音】,网站已上线并未公开链接,以下是演示GIF:

二、操作步骤

  1. 前端使用uni-app完成,登录后主页中选中【AI助手】
    • 基于GPT3.5逆向 和 本地Bert-Vits2-2.3 的语音智能助手_第1张图片
  2. 跳转到对话页面
    • 基于GPT3.5逆向 和 本地Bert-Vits2-2.3 的语音智能助手_第2张图片
  3. 输入对话,并发送

自研人工智能助手-说话演示

  1. 切换模型,秒级响应

自研人工智能助手-切换人物演示

三、架构解析

  • 整体架构
    • 后端使用SpringCloud微服务 + nacos注册中心/配置中心 + sentinel限流
    • 前端使用 uni-app H5快速开发
  • 后端服务规划有:
    1. TTS服务(文本转语音服务):本地离线BertVits2-2.3
    2. ARS/STT服务 (语音转文本服务):sherpa-ncnn-fast
    3. Chat服务:Chatglm2-6b-int4 GPU/Chatglm3-6b-int4 c++ CPU/ChatGPT3.5 网页逆向
    4. 分布式爬虫服务,用于在网络上爬取 chat服务返回文本包含“抱歉”的需要进行在线实时搜索的内容
    5. 本地知识库服务:用于缓存热词,需要实时搜索的关键词,查询记录等
    6. 大文件上传下载服务:支持断点续传

你可能感兴趣的:(编程实战经验,gpt-3,bert,人工智能)