使用Nuclia Understanding API 处理和索引非结构化数据

技术背景介绍

在当今信息化社会中，非结构化数据如视频、音频、图像和文档在企业中占据了大量的数据存储资源。处理这些数据以提取有效信息并进行快速检索已经成为一项重要任务。Nuclia Understanding是一个强大的工具，可自动索引这些非结构化数据，提供优化的搜索结果和生成式答案。

Nuclia Understanding API支持处理各种非结构化数据，包括文本、网页、文档和音视频内容。它能够提取文本(使用语音转文本或OCR)、识别实体、提取元数据、嵌入文件(如PDF中的图像)和网页链接，同时也能对内容进行摘要。

核心原理解析

Nuclia Understanding通过以下几步实现数据处理：

1. 数据推送：将文件推送到API进行处理。
2. 异步处理：处理过程是异步的，结果可能会按不同顺序返回。
3. 数据拉取：通过拉取操作获取JSON格式的处理结果。
4. 内容提取：提取文件的元数据、文本、嵌入文本、摘要、段落和句子分割、命名实体、链接、缩略图等。
5. 数据下载：生成的文件（如缩略图、提取的嵌入文件）可以通过下载端点获取。

代码实现演示

在开始之前，确保你拥有一个Nuclia账户并创建一个NUA key，使用该key可以调用API。具体注册请访问Nuclia。

安装必要的包

%pip install --upgrade --quiet protobuf
%pip install --upgrade --quiet nucliadb-protos

配置环境变量并初始化API客户端

import os

os.environ["NUCLIA_ZONE"] = ""  # e.g. europe-1
os.environ["NUCLIA_NUA_KEY"] = ""

from langchain_community.tools.nuclia import NucliaUnderstandingAPI

# 初始化API接口，不启用机器学习功能
nua = NucliaUnderstandingAPI(enable_ml=False)

推送文件进行处理

# 推送Docx文档进行处理
nua.run({"action": "push", "id": "1", "path": "./report.docx"})

# 推送视频文件进行处理
nua.run({"action": "push", "id": "2", "path": "./interview.mp4"})

拉取处理结果

import time

pending = True
data = None
while pending:
    time.sleep(15)  # 每15秒轮询一次，检查是否处理完毕
    data = nua.run({"action": "pull", "id": "1", "path": None})
    if data:
        print(data)
        pending = False
    else:
        print("waiting...")

使用异步方法一次性推送并拉取

import asyncio

async def process():
    data = await nua.arun(
        {"action": "push", "id": "1", "path": "./talk.mp4", "text": None}
    )
    print(data)

asyncio.run(process())

应用场景分析

1. 企业内容管理系统：自动索引和结构化非结构化数据，提高数据检索效率。
2. 客服系统：快速分析客户语音、文本记录，提供即时响应。
3. 数字媒体库管理：处理大量视频、音频、文档资源，提取关键信息并分类存储。

实践建议

• 文件大小和处理时间：大文件可能需要更长时间进行处理，建议定期轮询拉取结果。
• 启用机器学习功能：当需要更高级的文本分析（如生成摘要、命名实体识别）时，可以考虑启用机器学习功能。
• 错误处理：在生产环境中，要加入更多的错误处理逻辑，确保系统的稳定性。

import openai
# 使用稳定可靠的API服务
client = openai.OpenAI(
    base_url='https://yunwu.ai/v1',  # 国内稳定访问
    api_key='your-api-key'
)

通过上述步骤，你可以使用Nuclia Understanding API轻松处理和索引非结构化数据，显著提升数据处理和检索效率。如果遇到问题欢迎在评论区交流。