本文档提供了一个使用 LangChain 框架和开源 LLM (例如 Flan-T5-Small) 处理大型文档（超过 512 个 tokens）进行摘要和主题提取的实践教程。重点介绍如何使用 LangChain 连接私有 LLM API，并展示了代码示例，演示了如何加载、分割文档，并使用 RetrievalQA 链进行信息检索和问答。
LangChain 提供了一套强大的工具，可以帮助开发者构建基于 LLM 的应用程序。当处理大型文档时，直接将整个文档输入 LLM 可能会超出其上下文窗口的限制。因此，需要将文档分割成更小的块，并使用适当的策略来提取信息。
处理大型文档
LangChain 提供了 load_and_split() 函数，可以用于加载和分割大型文档。这个函数接受一个文档加载器作为输入，并返回一个文档块的列表。例如，可以使用 PyPDFLoader 加载 PDF 文档，然后使用 CharacterTextSplitter 将文档分割成块。
from langchain.document_loaders import PyPDFLoader
from langchain.text_splitter import CharacterTextSplitter
# 加载 PDF 文档
loader = PyPDFLoader("path/to/your/document.pdf")
documents = loader.load()
# 将文档分割成块
text_splitter = CharacterTextSplitter(chunk_size=512, chunk_overlap=0)
texts = text_splitter.split_documents(documents)
print(f"文档被分割成了 {len(texts)} 个块")chunk_size 参数控制每个块的大小，chunk_overlap 参数控制块之间的重叠部分。适当的 chunk_size 和 chunk_overlap 可以提高信息检索的准确性。
使用 HuggingFaceEmbeddings 进行嵌入
为了更好地理解文档块的语义信息，需要将它们转换成向量嵌入。HuggingFaceEmbeddings 类可以用于从 Hugging Face 模型中心加载预训练的嵌入模型。
from langchain.embeddings import HuggingFaceEmbeddings
embeddings = HuggingFaceEmbeddings(
model_name="sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2")model_name 参数指定要使用的嵌入模型的名称。sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 是一个常用的多语言嵌入模型。
使用 FAISS 构建向量数据库
向量数据库可以用于存储和检索文档嵌入。FAISS (Facebook AI Similarity Search) 是一个高效的向量数据库。
from langchain.vectorstores import FAISS # 使用文档块和嵌入创建 FAISS 向量数据库 docsearch = FAISS.from_texts(texts, embeddings)
FAISS.from_texts() 函数接受一个文档块列表和一个嵌入模型作为输入，并返回一个 FAISS 向量数据库。
使用 HuggingFaceHub 连接私有 LLM
LangChain 可以通过 HuggingFaceHub 类连接到 Hugging Face Hub 上的 LLM。
from langchain.llms import HuggingFaceHub
llm = HuggingFaceHub(repo_id = "google/flan-t5-base",
model_kwargs={"temperature":0.6,"max_length": 500, "max_new_tokens": 200
})repo_id 参数指定要使用的 LLM 的名称。google/flan-t5-base 是一个常用的开源 LLM。model_kwargs 参数可以用于配置 LLM 的参数，例如 temperature 和 max_length。
使用 RetrievalQA 进行问答
RetrievalQA 链可以用于从文档中检索信息并回答问题。
from langchain.prompts import PromptTemplate
from langchain.chains.retrieval_qa.base import RetrievalQA
prompt_template = """
Compare the book given in question with others in the retriever based on genre and description.
Return a complete sentence with the full title of the book and describe the similarities between the books.
question: {question}
context: {context}
"""
prompt = PromptTemplate(template=prompt_template, input_variables=["context", "question"])
retriever=docsearch.as_retriever()
qa = RetrievalQA.from_chain_type(llm=llm, chain_type="stuff", retriever=retriever, chain_type_kwargs = {"prompt": prompt})
print(qa.run({"query": "Which book except 'To Kill A Mocking Bird' is similar to it?"}))RetrievalQA.from_chain_type() 函数接受一个 LLM、一个链类型和一个检索器作为输入，并返回一个 RetrievalQA 链。 chain_type="stuff" 表示将所有检索到的文档块都传递给 LLM。retriever=docsearch.as_retriever() 将 FAISS 向量数据库转换为检索器。
总结
本文档提供了一个使用 LangChain 和开源 LLM 处理大型文档进行摘要和主题提取的实践教程。通过加载和分割文档，使用 HuggingFaceEmbeddings 进行嵌入，使用 FAISS 构建向量数据库，以及使用 RetrievalQA 进行问答，可以有效地从大型文档中提取信息。 请注意，私有 LLM 的 API 调用方式可能略有不同，需要根据具体的 API 文档进行调整。
