Django中使用流式响应，自己也能实现ChatGPT的效果

最近在研究ChatGPT的时候，想通过openai提供的接口使国内用户也可以无限制访问，于是打算基于django开发一款应用。页面的渲染也得想ChatGPT一样采用流式响应，django中StreamingHttpResponse是支持流式响应的一种方式。

django 代码

class ChatView(APIView):

    def get(self, request, *args, **kwargs):
        prompt= request.GET.get('prompt', '')
        chat_response = openai.ChatCompletion.create(
            model="gpt-3.5-turbo",
            stream=True,
            messages=[
                {
                    'role': 'user',
                    'content': prompt,
                }
            ]
        )
        
        def get_streaming_content(chat_response):
            for chunk in chat_response:
                yield chunk
                
        response = StreamingHttpResponse(get_streaming_content(chat_response), content_type='application/octet-stream')
        return response

settings.py

TEMPLATES = [
    {
        'BACKEND': 'django.template.backends.django.DjangoTemplates',
        'DIRS': [os.path.join(BASE_DIR,'templates')],
        'APP_DIRS': True,
        'OPTIONS': {
            'context_processors': [
                'django.template.context_processors.debug',
                'django.template.context_processors.request',
                'django.contrib.auth.context_processors.auth',
                'django.contrib.messages.context_processors.messages',
            ],
        },
    },
]

遇到的问题

在本地通过python manage runserver启动项目后，通过浏览器访问(一开始是GET请求)是能明显看到效果的，但是当使用Nginx+uwsgi部署之后，发现流式响应失效了，于是研究了一下写下这篇文章备忘。

解决方案

首先Nginx和uwsgi的通信方式不能使用socket方式，必须使用http方式，还得修改部分Nginx配置

nginx部分配置

location / {
    proxy_pass http://127.0.0.1:8080;
    proxy_buffering off;  # 重点是这个配置
}

uwsgi部分配置

[uwsgi]
; 不能使用socket方式通信
;socket = /tmp/uwsgi_%(site_name).sock
; 使用http方式通信
http = 0.0.0.0:8080

GET请求直接在浏览器打开才有此问题，POST请求前端处理流没有哦

附上前端处理响应并实时渲染的代码

    
    




    

        

            

                输入内容：
                
            
            提交