解决Chainlit中Langchain会话管理与输入变量的常见问题

本文旨在解决在使用Langchain与Chainlit构建RAG应用时，因不当的用户会话管理（`cl.user_session`）和输入变量配置而导致的常见错误。通过详细分析`set()`和`get()`方法的区别，并结合代码示例，指导开发者正确地在Chainlit会话中存储和检索Langchain Chain实例，同时简要阐述Langchain提示模板中输入变量的正确使用方式，确保应用顺畅运行。

引言：Langchain与Chainlit集成中的常见挑战

在使用Langchain框架结合Chainlit界面构建检索增强生成（RAG）应用时，开发者可能会遇到多种配置问题。一个常见的场景是，当尝试将Llama 2模型与自定义检索链集成时，可能会遇到关于Langchain链的输入变量（如context）未找到的错误，例如1 validation error for StuffDocumentsChain root document_variable_name context was not found in llm_chain input_variables: ['', 'question']。此外，在Chainlit的用户交互流程中，如果对会话管理API cl.user_session 使用不当，也可能导致UserSession.set() missing 1 required positional argument: 'value'这样的运行时错误。这些问题通常源于对Langchain提示模板机制或Chainlit会话存储与检索机制的误解。

问题分析：Chainlit用户会话管理误用

在Chainlit应用中，cl.user_session 提供了一种在用户会话期间存储和检索数据的方式。它是一个键值存储，允许开发者在不同回调函数（如@cl.on_chat_start 和 @cl.on_message）之间共享状态。

原始代码中，在@cl.on_chat_start 装饰器下，qa_bot() 返回的Langchain Chain实例被正确地存储到了用户会话中：

@cl.on_chat_start
async def start():
    chain = qa_bot()
    # ... 其他初始化消息 ...
    cl.user_session.set('chain', chain) # 正确地存储了 'chain' 键及其对应的值

然而，在处理用户消息的 @cl.on_message 函数中，开发者尝试以错误的方式获取这个已存储的Chain实例：

@cl.on_message
async def main(message):
    chain = cl.user_session.set("chain") # 错误：这里应该获取，而不是设置
    # ... 后续处理 ...

cl.user_session.set("chain") 的作用是设置一个名为 "chain" 的键，并期望提供一个值作为第二个参数。当只提供一个参数时，Python会报错，提示缺少必需的位置参数 value。正确的操作应该是获取之前存储的 "chain" 键对应的值。

解决方案：正确获取用户会话中的Chain实例

解决UserSession.set() missing 1 required positional argument: 'value'错误的关键在于区分 set() 和 get() 方法的用途。

• cl.user_session.set(key, value)：用于将一个 value 存储到 key 下。
• cl.user_session.get(key)：用于检索 key 对应存储的 value。

因此，在 cl.on_message 函数中，应该使用 get() 方法来获取之前在 cl.on_chat_start 中存储的Chain实例。

将以下代码行：

chain = cl.user_session.set("chain")

修改为：

ArrowMancer

手机上的宇宙动作RPG，游戏角色和元素均为AI生成

下载

chain = cl.user_session.get("chain")

修正后的 cl.on_message 函数示例：

import chainlit as cl
# ... 其他导入和函数定义 ...

@cl.on_chat_start
async def start():
    chain = qa_bot()
    msg = cl.Message(content="Starting the bot......")    
    await msg.send()
    msg.content = "Hi, Welcome to the Medical Bot. What is your query?"
    await msg.update()
    cl.user_session.set('chain', chain) # 在这里存储 Chain 实例

@cl.on_message
async def main(message):
    chain = cl.user_session.get("chain") # 在这里正确获取 Chain 实例
    cb = cl.AsyncLangchainCallbackHandler(
        stream_final_answer = True, answer_prefix_tokens = ["FINAL", "ANSWER"]
        )
    cb.answer_reached = True
    res = await chain.acall(message.content, callbacks = [cb]) # 注意：message 现在是对象，应访问其 content 属性
    answer = res["result"]
    sources = res["source_documents"]

    if sources:
        answer += f"\nSources:" + str(sources)
    else:
        answer += f"\nNo Sources Found"

    await cl.Message(content = answer).send()

注意事项：在Chainlit 1.0版本及以后，on_message回调函数的message参数是一个cl.Message对象，而不是直接的字符串。因此，在调用chain.acall时，应使用message.content来获取用户输入。

关于Langchain提示模板与输入变量的注意事项

另一个在问题描述中提及的错误是关于Langchain的input_variables，例如context was not found in llm_chain input_variables: ['', 'question']。这通常发生在PromptTemplate的 input_variables 与模板字符串中的占位符不匹配，或者Langchain链未能正确提供所有必需的变量时。

在提供的代码中，set_custom_prompt 函数定义如下：

custom_prompt_template = """Use the following pieces of information to answer the user's question.
If you don't know the answer, please just say that you don't know the answer, don't try to make up
an answer.

Context: {}
Question: {question}

Only returns the helpful answer below and nothing else.
Helpful answer:

"""

def set_custom_prompt():
    prompt = PromptTemplate(template = custom_prompt_template, input_variables = ['context','question'])
    return prompt

这里的 PromptTemplate 初始化 input_variables = ['context','question'] 与 custom_prompt_template 中的 Context: {} 和 Question: {question} 是匹配的。当使用 RetrievalQA.from_chain_type(llm=llm, chain_type="stuff", ..., chain_type_kwargs={'prompt': prompt}) 时，stuff 类型的链会自动从检索器获取文档作为 context，并将用户问题作为 question 传递给提示模板。

如果仍然遇到 context 未找到的错误，请检查以下几点：

1. 模板字符串与 input_variables 的精确匹配：确保模板中的所有 {}占位符都对应 input_variables 列表中的一个元素。
2. 链的配置：确认 RetrievalQA 或其他链类型正确接收了 PromptTemplate 实例，并且其内部机制能正确填充所有 input_variables。
3. 调试：在Langchain链的执行过程中，可以打印出链的 input_variables 和实际接收到的输入，以诊断问题。

在大多数情况下，如果 PromptTemplate 和 RetrievalQA 的配置如示例所示，context 变量应能被正确处理。上述 cl.user_session 的修正通常是更直接和常见的错误源。

总结与最佳实践

正确管理Chainlit的用户会话和Langchain的提示模板是构建稳定RAG应用的关键。

1. Chainlit会话管理：始终记住 cl.user_session.set(key, value) 用于存储数据，而 cl.user_session.get(key) 用于检索数据。避免混淆这两个方法，尤其是在回调函数之间传递状态时。
2. Langchain提示工程：确保 PromptTemplate 的 input_variables 列表与自定义提示模板字符串中的所有占位符（例如 {variable_name}）精确匹配。理解所使用的Langchain链类型（如 RetrievalQA 的 stuff 类型）如何处理和填充这些输入变量。
3. 逐步调试：在遇到问题时，采用模块化的方法，首先确保每个组件（如LLM加载、嵌入、向量存储、提示模板）独立工作正常，然后逐步集成并测试。

通过遵循这些最佳实践，开发者可以有效避免在Langchain和Chainlit集成过程中遇到的常见问题，从而更高效地构建强大的AI应用。