本文旨在解决gemini pro api在使用自定义安全设置时仍遭遇内容屏蔽的问题。我们将深入探讨api安全设置的正确配置方法，指出常见误区，并提供基于`safetysetting`对象的标准实现方案，确保开发者能有效管理内容过滤，提升api调用的成功率。
在使用Google Gemini Pro API进行内容生成时，开发者可能会遇到即使尝试配置了自定义安全设置，API仍然返回BlockedPromptException的困扰。这通常是由于对safety_settings参数的理解和使用不当造成的。本教程将详细介绍如何正确配置Gemini Pro API的安全设置，以有效控制内容过滤行为。
理解Gemini Pro API的安全设置机制
Gemini Pro API内置了强大的内容安全过滤机制，旨在识别并阻止生成有害或不当内容。这些过滤机制涵盖了多个危害类别，如色情内容、仇恨言论、骚扰和危险内容等。API允许开发者通过safety_settings参数来调整这些过滤器的严格程度。
常见的问题在于，许多开发者可能会尝试将safety_settings配置为一个简单的字典，例如：
safety_settings = {
'SEXUALLY_EXPLICIT': 'block_none',
'HATE_SPEECH': 'block_none',
'HARASSMENT': 'block_none',
'DANGEROUS_CONTENT': 'block_none'
}然而，这种字典形式的配置方式对于Gemini Pro API而言是不正确的。当API收到此类配置时，它可能无法正确解析，从而导致即使你指定了block_none，内容仍然会被默认的安全策略所拦截，并抛出BlockedPromptException，错误信息会明确指出被哪个类别拦截以及其概率，例如：
BlockedPromptException: block_reason: SAFETY safety_ratings { category: HARM_CATEGORY_HATE_SPEECH probability: HIGH }这表明API的内部安全模型仍然认为内容存在高风险，并且由于配置方式不正确，无法应用你期望的宽松策略。
正确配置安全设置
Gemini Pro API的safety_settings参数期望接收一个SafetySetting对象的列表，而不是一个简单的字典。每个SafetySetting对象都应明确指定一个危害类别（HarmCategory）及其对应的阻断阈值（HarmBlockThreshold）。
1. 导入必要的类
首先，你需要从相关的库中导入用于定义危害类别、阻断阈值以及SafetySetting本身的类。
from vertexai.preview.generative_models import (
GenerativeModel,
HarmCategory,
HarmBlockThreshold
)
# 注意：SafetySetting类通常来自google.cloud.aiplatform_v1beta1.types.content
# 这取决于你使用的具体客户端库版本和导入方式。
# 在某些情况下，它可能直接通过vertexai.preview.generative_models导入，
# 但为了兼容性，使用明确的路径更稳妥。
from google.cloud.aiplatform_v1beta1.types.content import SafetySetting2. 构建SafetySetting对象列表
接下来，你需要为每个希望自定义其阻断阈值的危害类别创建一个SafetySetting实例，并将这些实例放入一个列表中。
例如，如果你希望将所有危害类别的阻断阈值都设置为BLOCK_NONE（即尽可能不阻断），你可以这样配置：
def get_gemini_response_with_custom_safety(question: str) -> str:
"""
使用自定义安全设置调用Gemini Pro API。
Args:
question: 要发送给模型的问题或提示。
Returns:
模型的响应文本。
"""
model = GenerativeModel("gemini-pro")
custom_safety_settings = [
SafetySetting(
category=HarmCategory.HARM_CATEGORY_SEXUALLY_EXPLICIT,
threshold=HarmBlockThreshold.BLOCK_NONE,
),
SafetySetting(
category=HarmCategory.HARM_CATEGORY_DANGEROUS_CONTENT,
threshold=HarmBlockThreshold.BLOCK_NONE,
),
SafetySetting(
category=HarmCategory.HARM_CATEGORY_HATE_SPEECH,
threshold=HarmBlockThreshold.BLOCK_NONE,
),
SafetySetting(
category=HarmCategory.HARM_CATEGORY_HARASSMENT,
threshold=HarmBlockThreshold.BLOCK_NONE,
),
]
try:
response = model.generate_content(
question,
generation_config={
"max_output_tokens": 2048,
"temperature": 0,
"top_p": 1,
},
safety_settings=custom_safety_settings
)
return response.text
except Exception as e:
print(f"API调用失败: {e}")
return f"错误：{e}"
# 示例调用
# prompt_text = "描述一起轻微的交通事故，包括擦伤和车辆损坏。"
# print(get_gemini_response_with_custom_safety(prompt_text))在上述代码中，我们创建了一个custom_safety_settings列表，其中包含了四个SafetySetting对象，分别针对不同的危害类别设置了BLOCK_NONE的阈值。这意味着API在处理这些类别的内容时将采取最宽松的策略。
注意事项与最佳实践
- 并非绝对的“不阻断”：即使将HarmBlockThreshold设置为BLOCK_NONE，Google Gemini Pro API仍然可能基于其内部的严格政策对极端有害的内容进行阻断。BLOCK_NONE意味着开发者放弃了对该类别的显式阻断，但API服务提供商的最终策略可能仍会生效。
-
细致调整：根据你的应用场景和用户群体，仔细评估每个危害类别的风险，并选择合适的HarmBlockThreshold。例如，对于儿童教育应用，你可能需要更严格的过滤；而对于某些特定研究或内容创作工具，可能需要更宽松的策略。
- BLOCK_NONE: 不阻断。
- BLOCK_LOW_AND_ABOVE: 阻断低、中、高概率的危害内容。
- BLOCK_MEDIUM_AND_ABOVE: 阻断中、高概率的危害内容。
- BLOCK_ONLY_HIGH: 仅阻断高概率的危害内容。
- 错误处理与调试：当遇到BlockedPromptException时，仔细检查异常信息中的safety_ratings部分。它会告诉你哪些危害类别被检测到以及其概率。这有助于你理解为何内容被阻断，并据此调整你的提示或安全设置。
- 测试与迭代：在生产环境中部署之前，务必使用各种边界情况的提示进行充分测试，以确保安全设置符合预期，并且不会过度阻断合法内容或允许不当内容通过。
总结
正确配置Gemini Pro API的安全设置是确保API稳定运行和内容符合预期的关键。通过使用SafetySetting对象列表来定义危害类别和阻断阈值，开发者可以获得对内容过滤机制更精细的控制。理解API的内部工作原理，并结合实际需求进行细致的测试与迭代，将有助于构建更健壮、更符合道德规范的AI应用。
