Gemini Pro API安全设置详解:如何有效避免内容阻断

心靈之曲
发布: 2025-11-19 13:36:07
原创
709人浏览过

Gemini Pro API安全设置详解:如何有效避免内容阻断

gemini pro api在自定义安全设置后仍可能阻断回复。本文将详细解释为何直接设置字典无效,并提供正确的python代码示例,指导开发者通过导入`safetysetting`、`harmcategory`和`harmblockthreshold`等类,以对象列表形式配置安全阈值,从而有效管理内容审核,确保api稳定输出,避免不必要的阻断异常。

理解Gemini Pro API的安全机制与阻断问题

Google Gemini Pro API集成了强大的内容安全检测机制,旨在过滤有害、不适宜或违反政策的内容。开发者在使用API时,即使尝试通过自定义safety_settings来放宽内容限制,仍可能遇到BlockedPromptException,提示内容因安全原因被阻断。这通常是因为对安全设置的配置方式存在误解。

最初,开发者可能尝试直接将一个字典传递给safety_settings参数,例如:

def get_gemini_response(question, safety_settings=None):
    if safety_settings is None:
        safety_settings = {
            'SEXUALLY_EXPLICIT': 'block_none',
            'HATE_SPEECH': 'block_none',
            'HARASSMENT': 'block_none',
            'DANGEROUS_CONTENT': 'block_none'
        }
    # ... 调用模型 ...
登录后复制

然而,这种字典形式的设置方式并不能被Gemini Pro API正确解析为有效的安全配置。API期望接收的是一个特定类型的对象列表,而不是简单的字符串映射。当API收到不符合预期的设置时,它会回退到默认的安全策略,或者无法正确应用自定义规则,从而导致即使开发者意图“不阻断任何内容”(block_none),仍然会因内容被判定为高风险而触发阻断异常,例如:

BlockedPromptException: block_reason: SAFETY safety_ratings { category: HARM_CATEGORY_SEXUALLY_EXPLICIT probability: NEGLIGIBLE } safety_ratings { category: HARM_CATEGORY_HATE_SPEECH probability: HIGH } safety_ratings { category: HARM_CATEGORY_HARASSMENT probability: NEGLIGIBLE } safety_ratings { category: HARM_CATEGORY_DANGEROUS_CONTENT probability: NEGLIGIBLE }
登录后复制

这个异常明确指出,即使其他类别概率较低,HARM_CATEGORY_HATE_SPEECH的概率为HIGH,这足以触发默认的阻断机制。

正确配置Gemini Pro API安全设置

要正确配置Gemini Pro API的安全设置,我们需要导入特定的类,并以SafetySetting对象的列表形式来定义每个有害类别的阻断阈值。

1. 导入必要的类

首先,从vertexai.preview.generative_models和google.cloud.aiplatform_v1beta1.types.content中导入相关类:

from vertexai.preview.generative_models import (
    GenerativeModel,
    HarmCategory, 
    HarmBlockThreshold,
    GenerationResponse
)
from google.cloud.aiplatform_v1beta1.types.content import SafetySetting
登录后复制
  • GenerativeModel: 用于实例化Gemini模型。
  • HarmCategory: 定义了各种有害内容类别,如HARM_CATEGORY_SEXUALLY_EXPLICIT、HARM_CATEGORY_HATE_SPEECH等。
  • HarmBlockThreshold: 定义了每个有害类别的阻断阈值,如BLOCK_NONE、BLOCK_ONLY_HIGH等。
  • SafetySetting: 一个数据结构,用于封装单个有害类别的阻断策略。
  • GenerationResponse: 模型生成的响应类型。

2. 构建SafetySetting对象列表

接下来,在调用model.generate_content()时,将safety_settings参数设置为一个包含SafetySetting对象的列表。每个SafetySetting对象应指定一个category(有害类别)和一个threshold(阻断阈值)。

以下是正确配置所有常见有害类别为“不阻断”(BLOCK_NONE)的示例:

Dreamhouse AI
Dreamhouse AI

AI室内设计,快速重新设计你的家,虚拟布置家具

Dreamhouse AI 78
查看详情 Dreamhouse AI
from vertexai.preview.generative_models import (
    GenerativeModel,
    HarmCategory, 
    HarmBlockThreshold,
    GenerationResponse
)
from google.cloud.aiplatform_v1beta1.types.content import SafetySetting

def get_gemini_response_with_custom_safety(prompt_text: str, text: str) -> GenerationResponse:
    """
    使用自定义安全设置调用Gemini Pro模型。

    Args:
        prompt_text: 包含占位符的提示模板。
        text: 填充到提示模板中的实际文本。

    Returns:
        模型的生成响应。
    """
    model = GenerativeModel("gemini-pro")

    response: GenerationResponse = model.generate_content(
        prompt_text.format(text),
        generation_config={
            "max_output_tokens": 2048,
            "temperature": 0,
            "top_p": 1,
        },
        safety_settings=[
            SafetySetting(
                category=HarmCategory.HARM_CATEGORY_SEXUALLY_EXPLICIT,
                threshold=HarmBlockThreshold.BLOCK_NONE,
            ),
            SafetySetting(
                category=HarmCategory.HARM_CATEGORY_DANGEROUS_CONTENT,
                threshold=HarmBlockThreshold.BLOCK_NONE,
            ),
            SafetySetting(
                category=HarmCategory.HARM_CATEGORY_HATE_SPEECH,
                threshold=HarmBlockThreshold.BLOCK_NONE,
            ),
            SafetySetting(
                category=HarmCategory.HARM_CATEGORY_HARASSMENT,
                threshold=HarmBlockThreshold.BLOCK_NONE,
            ),
        ]
    )
    return response

# 示例用法
if __name__ == "__main__":
    example_prompt = "请描述以下文本内容:{}"
    # 假设这里有一个可能触发安全审查的文本
    example_text = "一个关于争议性事件的描述,可能包含敏感词汇。" 

    try:
        # 调用自定义安全设置的函数
        gemini_response = get_gemini_response_with_custom_safety(example_prompt, example_text)
        print("Gemini Pro 响应内容:")
        for part in gemini_response.candidates[0].content.parts:
            print(part.text)

        # 打印安全评分(即使设置为BLOCK_NONE,模型仍会返回评分)
        print("\n安全评分:")
        for rating in gemini_response.candidates[0].safety_ratings:
            print(f"  类别: {rating.category.name}, 概率: {rating.probability.name}")

    except Exception as e:
        print(f"调用Gemini Pro API时发生错误: {e}")
登录后复制

在这个示例中,我们创建了一个包含四个SafetySetting对象的列表,每个对象都明确指定了一个HarmCategory(如HARM_CATEGORY_SEXUALLY_EXPLICIT)和对应的HarmBlockThreshold.BLOCK_NONE。这意味着对于这些特定类别的有害内容,API将尝试不进行阻断。

注意事项与最佳实践

  1. 理解BLOCK_NONE的含义: 即使将阈值设置为BLOCK_NONE,模型仍然会对内容进行评估并返回安全评分。这表示API不会主动阻断该类别的内容,但如果内容被判定为极其有害或违反Google的服务条款,底层系统仍可能介入进行阻断。BLOCK_NONE旨在为开发者提供更大的灵活性,但并非完全取消内容审核。

  2. 谨慎调整安全设置: 根据您的应用场景和法律合规性要求,谨慎调整HarmBlockThreshold。除了BLOCK_NONE,还有其他阈值选项:

    • BLOCK_ONLY_HIGH: 只阻断高概率有害内容。
    • BLOCK_MEDIUM_AND_ABOVE: 阻断中等及以上概率的有害内容。
    • BLOCK_LOW_AND_ABOVE: 阻断低等及以上概率的有害内容。 选择合适的阈值,以平衡内容自由度和平台责任。
  3. API版本兼容性: 请注意,vertexai库和google.cloud.aiplatform_v1beta1是Google Cloud AI Platform SDK的一部分。随着SDK版本的迭代,导入路径或类名可能会有细微变化。请始终查阅最新的官方文档以确保代码的兼容性。

  4. 错误处理: 即使正确配置了安全设置,仍然建议在代码中加入错误处理机制,捕获BlockedPromptException或其他可能的API异常,以便在内容确实被阻断时能进行优雅处理,例如提示用户修改输入或记录日志进行分析。

  5. 内容评估透明度: 即使内容未被阻断,GenerationResponse中仍然会包含safety_ratings信息。开发者可以利用这些评分来了解模型对内容的风险评估,从而在应用程序层面进行额外的过滤或提示。

总结

正确配置Gemini Pro API的安全设置是确保API稳定运行、有效管理内容输出的关键。通过导入SafetySetting、HarmCategory和HarmBlockThreshold等类,并以对象列表的形式传递给safety_settings参数,开发者可以精确控制每个有害类别的阻断阈值。理解这些设置的真正含义,并结合应用程序的需求进行谨慎调整,将有助于构建更健壮、更符合预期的AI应用。

以上就是Gemini Pro API安全设置详解:如何有效避免内容阻断的详细内容,更多请关注php中文网其它相关文章!

最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。

下载
来源:php中文网
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
开源免费商场系统广告
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新 English
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号