llamaindex 是一个利用法学硕士构建情境增强生成式 ai 应用程序的框架。
什么是上下文增强？
上下文增强是指向 llm 模型提供附加相关信息或上下文的技术，从而提高其对给定查询的理解和响应。这种增强通常涉及检索、集成外部数据源（例如文档、嵌入）或将其附加到模型的输入。目标是通过为模型提供必要的上下文来帮助模型提供更好、更准确和细致的答案，从而使模型更加明智。检索增强生成（rag）是上下文增强最流行的示例。
什么是代理？
代理是由法学硕士提供支持的自动推理和决策引擎，它们使用工具来执行研究、数据提取、网络搜索和更多任务。它们可用于简单的用例，例如基于数据回答问题，以便能够决定并采取行动来完成任务。
在这篇文章中，我们将使用 llamaindex 构建一个简单的 rag 代理。
构建 rag 代理
安装依赖项
我们将使用 python 使用 llamaindex 构建简单的 rag 代理。让我们首先安装所需的依赖项，如下所示：
pip install llama-index python-dotenv
设置llm并加载文档
我们将使用 openai 的 gpt-4o-mini 作为法学硕士。您需要将 api 密钥放入环境变量文件中。您可以在此处阅读有关使用 llamaindex 设置本地法学硕士的更多信息。
乐彼多用户商城系统，采用ASP.NET分层技术和AJAX技术，运营于高速稳定的微软.NET+MSSQL 2005平台；完全具备搭建超大型网络购物多用户网上商城的整体技术框架和应用层次LBMall 秉承乐彼软件优秀品质，后台人性化设计，管理窗口识别客户端分辨率自动调整，独立配置的菜单操作锁，使管理操作简单便捷。待办事项1、新订单、支付、付款、短信提醒2、每5分钟自动读取3、新事项声音提醒 店铺管理1
from llama_index.core import simpledirectoryreader, vectorstoreindex, settings
from llama_index.llms.openai import openai
from dotenv import load_dotenv
# load environment variables (e.g., openai_api_key)
load_dotenv()
# configure openai model
settings.llm = openai(model="gpt-4o-mini")
# load documents from the local directory
documents = simpledirectoryreader("./data").load_data()
# create an index from documents for querying
index = vectorstoreindex.from_documents(documents)
query_engine = index.as_query_engine()
- 首先，我们使用 openai 配置 llm 模型并指定 gpt-4o-mini 模型。您可以根据您的需要切换到其他可用的模型/llm。
- 然后，我们使用 simpledirectoryreader 从本地 ./data 目录加载文档。该阅读器扫描目录、读取文件并构造数据以供查询。
- 接下来，我们从加载的文档创建向量存储索引，使我们能够在查询执行期间执行高效的基于向量的检索。
为代理创建自定义函数
现在，让我们定义代理可以用来执行任务的一些基本函数。
def multiply(a: float, b: float) -> float:
"""multiply two numbers and returns the product"""
return a * b
def add(a: float, b: float) -> float:
"""add two numbers and returns the sum"""
return a + b
为代理创建工具
接下来，我们将根据之前定义的函数和查询引擎创建工具，代理将使用这些工具来执行任务。这些工具充当代理在处理不同类型的查询时可以利用的实用程序。
from llama_index.core.tools import functiontool, queryenginetool
# wrap functions as tools
add_tool = functiontool.from_defaults(fn=add)
multiply_tool = functiontool.from_defaults(fn=multiply)
# create a query engine tool for document retrieval
space_facts_tool = queryenginetool.from_defaults(
query_engine,
name="space_facts_tool",
description="a rag engine with information about fun space facts."
)
- functiontool 包装了加法和乘法函数并将它们公开为工具。代理现在可以访问这些工具来执行计算。
- queryenginetool 包装了 query_engine，以允许代理从向量存储中查询和检索信息。我们将其命名为 space_facts_tool 并附有说明，表明该工具可以检索有关空间事实的信息。您可以摄取任何内容并根据摄取的数据自定义工具。
创建代理
我们现在将使用 reactagent 创建代理。代理将负责决定何时使用这些工具以及如何响应查询。
from llama_index.core.agent import reactagent
# create the agent with the tools
agent = reactagent.from_tools(
[multiply_tool, add_tool, space_facts_tool], verbose=true
)
该代理使用 react 框架，该框架允许模型通过按逻辑顺序利用给定工具来推理并采取行动。代理使用我们创建的工具进行初始化，并且 verbose=true 标志将输出有关代理如何推理和执行任务的详细信息。
运行代理
最后，让我们在交互式循环中运行代理，它会处理用户查询，直到我们退出。
while True:
query = input("Query: ")
if query == "/bye":
exit()
response = agent.chat(query)
print(response)
print("-" * 10)
rag 代理如何工作？
- 当您提出与您摄取的文档相关的问题时，space_facts_tool（即矢量存储工具）会使用 query_engine 检索相关信息。
- 当您要求计算时，代理使用 add_tool 或 multiply_tool 来执行这些任务。
- 代理根据用户查询即时决定使用哪个工具并提供输出。
