从防封到治理 | 4SAPI网关落地

账号能不能稳定用？
支付会不会失败？
登录会不会异常？

模型能力能不能被稳定、合规、可审计地接入业务系统？

怎么让账号不出事？

怎么让模型调用可控、可查、可回滚、可降级？

业务前端
   ↓
业务后端
   ↓
AI Gateway 层
   ↓
4SAPI
   ↓
Claude / GPT / Gemini / GLM / 其他模型

def choose_model(task_type):
    if task_type in ["tagging", "classification"]:
        return "low-cost-model"
    if task_type in ["long-writing", "reasoning"]:
        return "claude-sonnet"
    if task_type == "code":
        return "coding-model"
    if task_type == "review":
        return "gpt-strong"
    return "default-model"

主模型失败 -> 同等级备用模型
主通道超时 -> 低延迟模型
强模型不可用 -> 返回排队提示
非关键任务失败 -> 延迟重试
关键任务失败 -> 人工介入

用户：每分钟 20 次
项目：每天 500 万 token
组织：每天 5000 万 token

request_id
user_id
project_id
task_type
model
input_tokens
output_tokens
cost
latency_ms
status
error_type

手机号 -> [PHONE]
邮箱 -> [EMAIL]
身份证 -> [ID_CARD]
银行卡 -> [BANK_CARD]
API Key -> [SECRET]
客户姓名 -> [CUSTOMER_NAME]

import re

def mask_sensitive(text):
    text = re.sub(r"\\b[\\w.-]+@[\\w.-]+\\.\\w+\\b", "[EMAIL]", text)
    text = re.sub(r"\\b1[3-9]\\d{9}\\b", "[PHONE]", text)
    text = re.sub(r"sk-[A-Za-z0-9_-]+", "[SECRET]", text)
    return text

import os
import requests

def call_model(task_type, prompt):
    model = choose_model(task_type)
    safe_prompt = mask_sensitive(prompt)

    resp = requests.post(
        f"{os.environ['LLM_BASE_URL']}/chat/completions",
        headers={
            "Authorization": f"Bearer {os.environ['LLM_API_KEY']}",
            "Content-Type": "application/json"
        },
        json={
            "model": model,
            "messages": [{"role": "user", "content": safe_prompt}]
        },
        timeout=60
    )

    if resp.status_code >= 500:
        return call_fallback_model(task_type, safe_prompt)

    resp.raise_for_status()
    return resp.json()

1. 是否所有模型调用都经过后端
2. 是否统一走 4SAPI 或网关层
3. 是否有 Key 分级
4. 是否有项目额度
5. 是否有用户限流
6. 是否有 fallback
7. 是否有日志审计
8. 是否脱敏敏感数据
9. 是否有成本报表
10. 是否有异常告警
11. 是否有人工复核环节
12. 是否遵守模型平台条款和当地法律法规

统一入口、权限控制、日志审计、成本统计、模型路由、失败降级。

从防封到治理，是所有团队规模化使用大模型必须跨过的一步。