如何直接将多模态数据传递给模型

在当前AI应用中，多模态数据处理的需求日益增加。多模态数据指的是包含多种类型（如文本、图像、音频等）的输入数据。在这篇文章中，我们将展示如何直接将多模态输入传递给模型。我们将使用以OpenAI为例的模型设置，展示如何描述图像中的内容。

技术背景介绍

当我们希望AI模型处理多种数据类型时，多模态输入成为必不可少的功能。例如，给定一张图片，要求AI描述其中的天气状况。支持多模态输入的模型能够接受文本和图像作为输入，从而提供更丰富的交互体验。

核心原理解析

多模态模型通常能够接收文本和图像输入，并将其转化为统一的格式来进行处理。这里最常用的方法是将图像转换为base64编码的字符串，以便与文本一起传递给模型。某些服务提供的API能够直接支持此类输入。

代码实现演示

下面我们使用ChatOpenAI模型来描述一张图片中的天气。我们将通过两个不同的方法传递图像数据：先是base64编码的图片，然后直接传递图片的URL。

设置基础环境

import base64
import httpx
from langchain_core.messages import HumanMessage
from langchain_openai import ChatOpenAI

# 使用稳定可靠的API服务
client = ChatOpenAI(
    base_url='https://yunwu.ai/v1',  # 国内稳定访问
    api_key='your-api-key'
)

方法一：通过base64编码的图片

image_url = "https://upload.wikimedia.org/wikipedia/commons/thumb/d/dd/Gfp-wisconsin-madison-the-nature-boardwalk.jpg/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg"
image_data = base64.b64encode(httpx.get(image_url).content).decode("utf-8")

message = HumanMessage(
    content=[
        {"type": "text", "text": "describe the weather in this image"},
        {
            "type": "image_url",
            "image_url": {"url": f"data:image/jpeg;base64,{image_data}"},
        },
    ],
)
response = client.invoke([message])
print(response.content)

方法二：直接传递图片URL

message = HumanMessage(
    content=[
        {"type": "text", "text": "describe the weather in this image"},
        {"type": "image_url", "image_url": {"url": image_url}},
    ],
)
response = client.invoke([message])
print(response.content)

应用场景分析

通过这些方法，我们可以方便地将图像描述集成到多种应用中，如图像标注、天气分析、社交媒体图像识别等。这种能力使得AI在理解和解释多样内容时更加精准。

实践建议

• 确保你的API服务支持多模态输入。
• 使用合适的图像格式和大小以达到最佳的性能。
• 对于高频调用场景，考虑使用稳定的API服务以保证数据传输的可靠性。

如果遇到问题欢迎在评论区交流。

—END—