从零搭一个 AI 有声书配音工作台：用 Agent 把长文变成多角色广播剧，中途接入 4sapi

整本文稿
   ↓
① 文本切分    长文 → 按段落/句子切成 TTS 能处理的小块
   ↓
② 角色识别    哪句是旁白？哪句是 A 说的？哪句是 B 说的？
   ↓
③ 音色分配    给旁白和每个角色各配一个固定音色
   ↓
④ 批量合成    每个文本块 → 对应音色的音频片段（TTS）
   ↓
⑤ 拼接成品    所有片段按顺序拼接，加停顿，输出整本音频

                   ┌──────────────────────────┐
   上传文稿  ──→    │   Orchestrator 总调度      │
                   └─────────────┬────────────┘
                                 │ 流水线派活
      ┌──────────────┬──────────┼──────────┬──────────────┐
      ↓              ↓          ↓          ↓              ↓
 [切分Agent]   [角色Agent]  [配音Agent]  [拼接Agent]   音色表
      └──────────────┴──────────┼──────────┴──────────────┘
                                ↓
                   ┌──────────────────────────┐
                   │   统一 API 网关 (4sapi)    │  ← 文本/TTS 都走这
                   └──────────────────────────┘

https://4sapi.com/v1

# .env
FOURSAPI_BASE_URL=https://4sapi.com/v1
FOURSAPI_KEY=sk-你的令牌

# gateway.py
import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["FOURSAPI_KEY"],
    base_url=os.environ["FOURSAPI_BASE_URL"],   # 指向中转网关
)

def chat(model, messages, **kwargs):
    resp = client.chat.completions.create(model=model, messages=messages, **kwargs)
    return resp.choices[0].message.content

def tts(text, voice, model="tts-1"):
    """语音合成，走同一个网关"""
    resp = client.audio.speech.create(model=model, voice=voice, input=text)
    return resp.content     # 音频二进制

if __name__ == "__main__":
    audio = tts("测试一下，网关通了。", voice="zh-female-1")
    open("test.mp3", "wb").write(audio)   # 能生成可播放的音频即成功

import re

def split_agent(text, max_len=300):
    # 按中文句末标点切句，再合并到不超过 max_len 的块
    sentences = re.split(r'(?<=[。！？\n])', text)
    chunks, buf = [], ""
    for s in sentences:
        if len(buf) + len(s) > max_len:
            chunks.append(buf); buf = s
        else:
            buf += s
    if buf: chunks.append(buf)
    return chunks

import json

def role_agent(chunks):
    text = "\n".join(f"[{i}] {c}" for i, c in enumerate(chunks))
    prompt = f"""下面是小说片段，每行前面是编号。判断每一段是"旁白"还是某个
角色在说话。输出 JSON 数组，元素含 idx 和 speaker（旁白/角色名）。
{text}"""
    raw = chat(
        model="gpt-4o",
        messages=[{"role": "user", "content": prompt}],
        response_format={"type": "json_object"},
    )
    return json.loads(raw)["roles"]

# 音色分配：旁白用沉稳男声，角色按性别/年龄分配不同音色
VOICE_MAP = {
    "旁白":   "zh-male-narrator",
    "林夏":   "zh-female-1",
    "老陈":   "zh-male-2",
}
DEFAULT_VOICE = "zh-female-2"     # 没预设的角色用默认

def voice_agent(chunk, speaker):
    voice = VOICE_MAP.get(speaker, DEFAULT_VOICE)
    return tts(chunk, voice=voice)    # 合成，走网关

from pydub import AudioSegment

def merge_agent(audio_segments):
    book = AudioSegment.empty()
    pause = AudioSegment.silent(duration=300)   # 0.3 秒停顿
    for seg_bytes in audio_segments:
        seg = AudioSegment.from_file(io.BytesIO(seg_bytes))
        book += seg + pause
    return book      # 导出 mp3 即整本有声书

def make_audiobook(full_text):
    chunks = split_agent(full_text)          # ① 切分
    roles = role_agent(chunks)               # ② 角色识别
    speaker_of = {r["idx"]: r["speaker"] for r in roles}

    segments = []
    for i, chunk in enumerate(chunks):
        speaker = speaker_of.get(i, "旁白")
        audio = voice_agent(chunk, speaker)   # ③④ 配音+合成
        segments.append(audio)

    return merge_agent(segments)             # ⑤ 拼接成品

function AudiobookStudio() {
  const [text, setText] = useState("");
  const [progress, setProgress] = useState(0);

  async function generate() {
    const res = await fetch("/api/audiobook", {
      method: "POST",
      body: JSON.stringify({ text }),
    });
    // 用 SSE 回报"已合成 X / 共 Y 段"，更新进度条
  }

  return (
    <div>
      <textarea value={text} onChange={e => setText(e.target.value)}
                placeholder="粘贴或上传文稿…" />
      <VoiceConfigPanel />     {/* 给每个角色挑音色 */}
      <button onClick={generate}>开始生成有声书</button>
      <Progress value={progress} />
    </div>
  );
}