Bedrock 流式 500 如何定位区域与请求问题

status_code=500
InvokeModelWithResponseStream
InternalServerException: An internal error occurred.
Please try again later.

应用代码
  ↓
AWS SDK / HTTP 客户端
  ↓
region 中的 Bedrock Runtime
  ↓
目标 modelId 的推理通道
  ↓
流式事件连接
  ↓
应用解析 chunk

import os

print("region:", os.environ.get("AWS_REGION"))
print("model_id:", os.environ.get("BEDROCK_MODEL_ID"))
print("endpoint_mode:", os.environ.get("BEDROCK_ENDPOINT_MODE", "runtime"))

SDK 使用的 region 是否是预期区域。
modelId 是否包含错误的版本或提供商前缀。
模型是否已经在该区域开通。
跨区域推理配置是否与当前账户一致。

开发角色：只允许测试模型和测试区域。
预发布角色：允许有限流式模型。
生产角色：只允许经过审批的 modelId 和 region。

import json
import os
import boto3
from botocore.config import Config

config = Config(
    retries={"max_attempts": 0},
    connect_timeout=10,
    read_timeout=120,
)

client = boto3.client(
    "bedrock-runtime",
    region_name=os.environ["AWS_REGION"],
    config=config,
)

body = {
    "prompt": "Return OK",
    "max_tokens_to_sample": 32,
}

response = client.invoke_model_with_response_stream(
    modelId=os.environ["BEDROCK_MODEL_ID"],
    body=json.dumps(body),
    contentType="application/json",
    accept="application/json",
)

for event in response["body"]:
    chunk = json.loads(event["chunk"]["bytes"])
    print(chunk)

import random
import time
from botocore.exceptions import ClientError

def invoke_with_retry(client, model_id, body, max_retries=3):
    for attempt in range(max_retries + 1):
        try:
            return client.invoke_model_with_response_stream(
                modelId=model_id,
                body=body,
                contentType="application/json",
                accept="application/json",
            )
        except client.exceptions.InternalServerException:
            if attempt == max_retries:
                raise
            delay = min(3 * (2 ** attempt), 30)
            time.sleep(delay + random.uniform(0, 1))
        except ClientError:
            raise

“根据日志可以判断，问题出在……”

重复开头。
结论互相矛盾。
工具动作执行两次。
计费被重复计算。

主通道返回 500
       ↓
记录 request_id 和模型状态
       ↓
有限退避一次
       ↓
切换已验收的备用模型或通道
       ↓
仍失败则进入队列并告警

request_id
project_id
team_id
environment
region
model_id
endpoint
stream_started
chunks_received
retry_count
fallback_model
status_code
error_code
latency_ms
input_tokens
output_tokens

500 InternalServerException 比例升高。
单一区域或模型连续失败。
重试和备用路由造成成本异常增长。

打开熔断 → 暂停主通道 → 探测请求 → 恢复或延长熔断

成功任务成本
= 首次调用
+ 退避重试
+ 备用模型调用
+ 工具调用
+ 人工兜底

[ ] region 和 modelId 已在目标账户验证。
[ ] IAM 权限和模型访问已按最小权限配置。
[ ] 请求体与目标模型官方格式一致。
[ ] SDK、网关和应用没有重复开启多层重试。
[ ] 500、429、400、403、404 有不同处理策略。
[ ] 流式中途失败不会把新旧响应直接拼接。
[ ] 有 task_id、request_id 和最终状态记录。
[ ] 上游 API 的备用模型和通道经过质量验收。
[ ] 熔断、队列、告警和人工接管已演练。
[ ] 预算、限流、日志脱敏和回滚策略已验证。