本文旨在解决Gemini Pro API在自定义安全设置后仍出现内容阻塞的问题。通过详细分析`BlockedPromptException`的原因，本教程将指导开发者如何正确导入并使用`SafetySetting`、`HarmCategory`和`HarmBlockThreshold`类，以列表形式构建精确的安全设置，从而有效管理API响应，避免因不当配置导致的内容过滤。
引言：理解Gemini Pro的内容安全机制
Google Gemini Pro API集成了强大的内容安全过滤机制，旨在防止生成有害、不当或敏感的内容。开发者在使用API时，可能会遇到即使尝试通过safety_settings参数将所有类别设置为block_none，API仍然返回BlockedPromptException的困扰。这通常表明对安全设置的配置方式存在误解。本教程将深入探讨Gemini Pro内容安全设置的正确配置方法，帮助开发者有效管理API响应。
Gemini Pro API内容阻塞的常见原因
当开发者尝试绕过Gemini Pro的默认安全策略时，常见的错误是将safety_settings参数设置为一个简单的字典，例如：
def get_gemini_response(question, safety_settings=None):
if safety_settings is None:
safety_settings = {
'SEXUALLY_EXPLICIT': 'block_none',
'HATE_SPEECH': 'block_none',
'HARASSMENT': 'block_none',
'DANGEROUS_CONTENT': 'block_none'
}
# ... use safety_settings尽管这种方式看似直观，但当遇到可能被模型识别为有害的内容时，API仍然可能返回如下错误：
BlockedPromptException: block_reason: SAFETY safety_ratings { category: HARM_CATEGORY_SEXUALLY_EXPLICIT probability: NEGLIGIBLE } safety_ratings { category: HARM_CATEGORY_HATE_SPEECH probability: HIGH } safety_ratings { category: HARM_CATEGORY_HARASSMENT probability: NEGLIGIBLE } safety_ratings { category: HARM_CATEGORY_DANGEROUS_CONTENT probability: NEGLIGIBLE }这个错误信息明确指出，即使某些类别的概率被评估为NEGLIGIBLE，但如HATE_SPEECH类别被评估为HIGH，仍然会导致内容被阻塞。问题的核心在于，safety_settings参数期望的并不是一个简单的字符串字典，而是一个特定类型的对象列表。
正确配置Gemini Pro API安全设置
要正确配置Gemini Pro API的安全设置，我们需要使用Google Cloud AI Platform SDK中提供的特定类来构建安全规则。这包括导入必要的枚举类型和SafetySetting对象。
1. 导入必要的类
首先，从vertexai.preview.generative_models和google.cloud.aiplatform_v1beta1.types.content中导入所需的类。
from vertexai.preview.generative_models import (
HarmCategory,
HarmBlockThreshold
)
from google.cloud.aiplatform_v1beta1.types.content import SafetySetting- HarmCategory: 这是一个枚举类，定义了Gemini模型识别的各种有害内容类别，例如HARM_CATEGORY_SEXUALLY_EXPLICIT（色情内容）、HARM_CATEGORY_HATE_SPEECH（仇恨言论）、HARM_CATEGORY_HARASSMENT（骚扰）和HARM_CATEGORY_DANGEROUS_CONTENT（危险内容）。
- HarmBlockThreshold: 这是一个枚举类，定义了模型在何种概率下应阻塞内容的阈值，例如BLOCK_NONE（不阻塞）、BLOCK_LOW_AND_ABOVE（低概率及以上阻塞）等。
- SafetySetting: 这是一个数据结构，用于封装单个安全设置规则，它包含一个category（有害类别）和一个threshold（阻塞阈值）。
2. 构建SafetySetting对象列表
safety_settings参数期望的是一个SafetySetting对象的列表。每个SafetySetting对象都指定了一个HarmCategory及其对应的HarmBlockThreshold。
例如，要将所有有害内容的阻塞阈值都设置为BLOCK_NONE，你需要为每个类别创建一个SafetySetting实例，并将它们放入一个列表中：
from vertexai.preview.generative_models import (
GenerativeModel,
HarmCategory,
HarmBlockThreshold
)
from google.cloud.aiplatform_v1beta1.types.content import SafetySetting
# 假设你已经初始化了模型
model = GenerativeModel("gemini-pro")
# 待处理的提示文本
prompt_text = "这是一个示例提示，可能包含敏感内容：{}"
text_content = "描述一个受伤的场景，细节可能比较血腥。" # 替换为你的实际内容
# 构建安全设置列表
custom_safety_settings = [
SafetySetting(
category=HarmCategory.HARM_CATEGORY_SEXUALLY_EXPLICIT,
threshold=HarmBlockThreshold.BLOCK_NONE,
),
SafetySetting(
category=HarmCategory.HARM_CATEGORY_DANGEROUS_CONTENT,
threshold=HarmBlockThreshold.BLOCK_NONE,
),
SafetySetting(
category=HarmCategory.HARM_CATEGORY_HATE_SPEECH,
threshold=HarmBlockThreshold.BLOCK_NONE,
),
SafetySetting(
category=HarmCategory.HARM_CATEGORY_HARASSMENT,
threshold=HarmBlockThreshold.BLOCK_NONE,
),
]3. 应用到API调用
将构建好的custom_safety_settings列表作为safety_settings参数传递给model.generate_content()方法。
try:
response = model.generate_content(
prompt_text.format(text_content),
generation_config={
"max_output_tokens": 2048,
"temperature": 0,
"top_p": 1,
},
safety_settings=custom_safety_settings
)
print("API响应内容：", response.text)
except Exception as e:
print(f"API调用发生错误: {e}")通过这种方式，你才能确保API正确解析并应用你自定义的安全阈值。
注意事项与最佳实践
- BLOCK_NONE并非万能：将阈值设置为BLOCK_NONE意味着模型不会基于该类别的概率来主动阻塞内容。然而，这并不代表模型会生成任何内容。Google的AI模型仍然有其固有的安全策略和限制，对于某些极端或非法内容，即使设置为BLOCK_NONE，模型也可能因内部更深层次的策略而拒绝生成或返回空响应。
- 仔细评估风险：在生产环境中将安全阈值设置为BLOCK_NONE需要极其谨慎。这样做可能会导致模型生成不当、有害或冒犯性的内容，这可能对用户和你的应用造成负面影响。务必在受控环境中进行测试，并充分理解潜在风险。
- 迭代与测试：对于特定的应用场景，你可能需要根据实际需求调整不同有害类别的阻塞阈值。建议通过小范围测试来验证不同设置的效果。
- 查阅最新文档：Google Cloud AI Platform SDK和Gemini API会不断更新。务必查阅官方文档以获取最新的API用法和安全设置指南。
总结
正确配置Gemini Pro API的内容安全设置是确保API按预期行为的关键。通过理解safety_settings参数期望的是一个SafetySetting对象的列表，并结合HarmCategory和HarmBlockThreshold枚举，开发者可以精确地控制模型在面对潜在有害内容时的响应行为。然而，在放宽安全限制时，务必充分评估潜在风险，并采取必要的预防措施，以维护用户体验和平台安全。
