langchain UnstructuredPDFLoader读取pdf仅生成单篇Document解决办法

from langchain.document_loaders import UnstructuredPDFLoader

loader = UnstructuredPDFLoader("test.pdf")

pages = loader.load_and_split()

langchain 的UnstructuredPDFLoader默认采用的是fast解析，如果是比较长的pdf，会发现没有分割文档，把整篇文章都放到一个document里了，这样在向量索引以后进行大模型问答的时候很容易就超过了max_tokens。

解决办法是采用PyPDFLoader，会按照页面分割文档。

from langchain.document_loaders import PyPDFLoader

loader = PyPDFLoader("test.pdf")

pages = loader.load_and_split()