在 AWS Glue Notebook 中，无法通过 UI 直接修改关联作业的 Timeout（运行超时），需借助 boto3 调用 update_job API 显式更新；本文详解如何安全、精准地将超时值从默认 10 分钟延长至所需时长（如 120 分钟），并规避常见配置陷阱。
在 aws glue notebook 中，无法通过 ui 直接修改关联作业的 `timeout`（运行超时），需借助 boto3 调用 `update_job` api 显式更新；本文详解如何安全、精准地将超时值从默认 10 分钟延长至所需时长（如 120 分钟），并规避常见配置陷阱。
AWS Glue Notebook 本质上是绑定到一个底层 Glue 作业（Job）的交互式开发环境。虽然 Notebook 提供了 %idle_timeout 魔法命令用于控制会话空闲超时（即用户无操作后自动断开连接的时间），但它完全不控制作业的实际执行时长限制。真正决定作业是否被强制终止的是 Glue 作业资源中的 Timeout 参数（单位：分钟），该参数默认为 10 分钟——这正是您遇到“15 分钟任务被中断”的根本原因。
要持久化延长作业运行时限，必须调用 AWS Glue 的 update_job API 更新该作业的 Timeout 字段。以下是一个生产就绪的 Python 示例（可在 Notebook 单元格中直接运行）：
import boto3
from botocore.exceptions import ClientError
glue_client = boto3.client('glue', region_name='us-east-1') # 请替换为您的实际区域
job_name = "my_glue_job" # 替换为您的 Glue 作业名称
new_timeout_minutes = 120 # 设置为所需超时值（例如 120 分钟）
try:
# 1. 获取当前作业完整配置
response = glue_client.get_job(JobName=job_name)
job_details = response['Job']
# 2. 构建最小化更新载荷：仅传递必需且允许更新的字段
# ⚠️ 关键原则：不要复制只读/系统字段（如 CreatedOn, LastModifiedOn）或已弃用字段（如 AllocatedCapacity）
update_payload = {
'Role': job_details['Role'],
'ExecutionProperty': job_details.get('ExecutionProperty', {'MaxConcurrentRuns': 1}),
'Command': job_details['Command'],
'DefaultArguments': job_details.get('DefaultArguments', {}),
'NonOverridableArguments': job_details.get('NonOverridableArguments', {}),
'Connections': job_details.get('Connections', {}),
'MaxRetries': job_details.get('MaxRetries', 0),
'Timeout': new_timeout_minutes,
'GlueVersion': job_details['GlueVersion'],
'NumberOfWorkers': job_details.get('NumberOfWorkers', 2),
'WorkerType': job_details.get('WorkerType', 'Standard'),
'SecurityConfiguration': job_details.get('SecurityConfiguration'),
'NotificationProperty': job_details.get('NotificationProperty'),
'LogUri': job_details.get('LogUri')
}
# 3. 执行更新
glue_client.update_job(
JobName=job_name,
JobUpdate=update_payload
)
print(f"✅ 成功将作业 '{job_name}' 的超时时间更新为 {new_timeout_minutes} 分钟。")
except ClientError as e:
error_code = e.response['Error']['Code']
if error_code == 'EntityNotFoundException':
print(f"❌ 错误：作业 '{job_name}' 不存在，请检查名称及区域配置。")
else:
print(f"❌ AWS API 调用失败：{e}")
except Exception as e:
print(f"❌ 未知错误：{e}")重要注意事项与最佳实践：
- ✅ 必须显式传入所有必需字段：update_job 是“全量覆盖式”更新，遗漏 Role、Command 或 GlueVersion 等关键字段将导致作业配置损坏甚至无法启动。
- ❌ 禁止传递只读字段：CreatedOn、LastModifiedOn、Name 等字段若写入会触发 ValidationException；AllocatedCapacity 已被弃用，应改用 NumberOfWorkers + WorkerType。
- ? 权限要求：执行该脚本的 IAM 角色必须拥有 glue:GetJob 和 glue:UpdateJob 权限。
- ? 区域一致性：boto3.client 初始化时指定的 region_name 必须与目标 Glue 作业所在区域严格一致，否则 get_job 将返回 EntityNotFoundException。
- ? 验证更新结果：运行后建议立即在 AWS 控制台或通过 glue_client.get_job(JobName=job_name) 再次检查 Timeout 值是否生效。
- ? 进阶提示：若需批量更新多个作业，可将 job_name 和 new_timeout_minutes 封装为字典列表循环处理；对于 CI/CD 场景，建议将此逻辑集成至部署流水线，确保作业配置版本受控。
通过以上方法，您即可彻底解决 Glue Notebook 因默认 10 分钟超时导致长任务中断的问题，让数据处理流程稳定运行更长时间。
