使用BLIP模型生成图像描述的可查询索引

在本篇文章中，我们将介绍如何使用预训练的Salesforce BLIP图像描述模型，生成一个可查询的图像描述索引。我们将使用ImageCaptionLoader来加载图像，并通过一系列步骤生成查询索引。使用示例代码进行演示，帮助读者理解和实践。

技术背景介绍

随着计算机视觉技术的发展，图像描述生成成为了重要的研究领域。通过对图像内容自动生成文字描述，可以大大提高对图像信息的检索和管理效率。Salesforce BLIP图像描述模型是一个预训练的模型，能够生成高质量的图像描述。

核心原理解析

BLIP模型通过学习大量图像-文本对，可以理解图像内容并生成相应的描述。我们利用ImageCaptionLoader加载图像并生成描述，然后通过向量化和索引构建，实现在大量图像中快速检索的功能。

代码实现演示

以下是具体的代码实现，演示如何使用BLIP模型生成图像描述并构建可查询索引：

安装依赖包

%pip install -qU transformers langchain_openai langchain_chroma

配置API Key

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass()

准备图像URL列表

from langchain_community.document_loaders import ImageCaptionLoader

list_image_urls = [
    "https://upload.wikimedia.org/wikipedia/commons/thumb/e/ec/Ara_ararauna_Luc_Viatour.jpg/1554px-Ara_ararauna_Luc_Viatour.jpg",
    "https://upload.wikimedia.org/wikipedia/commons/thumb/0/0c/1928_Model_A_Ford.jpg/640px-1928_Model_A_Ford.jpg",
]

创建图像描述加载器

loader = ImageCaptionLoader(images=list_image_urls)
list_docs = loader.load()
print(list_docs)

显示图像

import requests
from PIL import Image

Image.open(requests.get(list_image_urls[0], stream=True).raw).convert("RGB").show()

创建索引

from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import RecursiveCharacterTextSplitter

text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200)
splits = text_splitter.split_documents(list_docs)
vectorstore = Chroma.from_documents(documents=splits, embedding=OpenAIEmbeddings())

retriever = vectorstore.as_retriever(k=2)

进行查询

from langchain.chains import create_retrieval_chain
from langchain.chains.combine_documents import create_stuff_documents_chain
from langchain_core.prompts import ChatPromptTemplate
from langchain_openai import ChatOpenAI

model = ChatOpenAI(model="gpt-4o", temperature=0)

system_prompt = (
    "You are an assistant for question-answering tasks. "
    "Use the following pieces of retrieved context to answer "
    "the question. If you don't know the answer, say that you "
    "don't know. Use three sentences maximum and keep the "
    "answer concise."
    "\n\n"
    "{context}"
)

prompt = ChatPromptTemplate.from_messages(
    [
        ("system", system_prompt),
        ("human", "{input}"),
    ]
)

question_answer_chain = create_stuff_documents_chain(model, prompt)
rag_chain = create_retrieval_chain(retriever, question_answer_chain)

示例查询

response = rag_chain.invoke({"input": "What animals are in the images?"})
print(response["answer"])  # The images include a bird.

response = rag_chain.invoke({"input": "What kind of images are there?"})
print(response["answer"])  # There are images of a bird flying in the air and a vintage car parked on the street.

应用场景分析

这种方法可以广泛应用于各类图像管理和检索系统，如电商网站的商品图片管理、社交媒体平台的照片检索、图像资料库的分类和检索等。

实践建议

1. 确保API Key的安全性，在实际应用中可以使用环境变量或安全存储工具。
2. 如果处理的图像数量大，可以考虑分批次加载和处理，避免内存溢出。
3. 建议结合具体应用场景调整模型和参数，以获得最佳效果。

如果遇到问题欢迎在评论区交流。