リアルタイム音声認識

# 依存: pip install "openai[realtime]"
import asyncio
import base64
from openai import AsyncOpenAI

# 公式 SDK を再利用するには 3 箇所の適応だけで済む:
#   1) websocket_base_url を AiHubMix ゲートウェイに向ける(OpenAI のデフォルトアドレスではなく)
#   2) connect() に model を明示的に渡す —— 上記 Note を参照、ゲートウェイのハンドシェイクに必須
#   3) extra_query に intent=transcription を付ける
client = AsyncOpenAI(
    api_key="sk-***",  # あなたの AiHubMix API キーに置き換え
    websocket_base_url="wss://aihubmix.com/v1",
)

async def main():
    async with client.realtime.connect(
        model="gpt-live-transcribe",           # 必須: ハンドシェイク URL に入り、ゲートウェイはこれに基づいてルート選択+課金
        extra_query={"intent": "transcription"},
    ) as conn:
        # 1) 転写セッションを設定
        await conn.session.update(session={
            "type": "transcription",
            "audio": {"input": {
                "format": {"type": "audio/pcm", "rate": 24000},
                "transcription": {
                    "model": "gpt-live-transcribe",
                    "languages": ["en", "zh"],
                    "prompt": "会議録音、製品名と英語略称を含む",
                    "keywords": ["AiHubMix", "gpt-live-transcribe"],
                },
                "turn_detection": None,
                "noise_reduction": {"type": "near_field"},
            }},
        })

        # 2) ローカルの PCM16 / 24kHz / モノラル 生オーディオを読み込み、分割送信
        async def send_audio():
            with open("audio_pcm16_24k.raw", "rb") as f:
                pcm = f.read()
            chunk = 24000 * 2 // 10  # 100ms = サンプリングレート × 2バイト ÷ 10
            for i in range(0, len(pcm), chunk):
                await conn.input_audio_buffer.append(
                    audio=base64.b64encode(pcm[i:i + chunk]).decode()
                )
                await asyncio.sleep(0.1)  # リアルタイムのペースを模倣
            # VAD なし、オーディオ送信後に手動 commit で転写の締めくくりをトリガー
            await conn.input_audio_buffer.commit()

        asyncio.create_task(send_audio())

        # 3) 転写結果を受信
        async for evt in conn:
            etype = getattr(evt, "type", "")
            if etype.endswith("transcription.delta"):
                print(getattr(evt, "delta", ""), end="", flush=True)
            elif etype.endswith("transcription.completed"):
                print("\n[完了]", getattr(evt, "transcript", ""))
                break  # 完全な結果を取得したら終了してよい
            elif etype == "error":
                print("\n[エラー]", evt.to_dict())
                break

asyncio.run(main())

import asyncio
import base64
import json
import websockets

API_KEY = "sk-***"  # あなたの AiHubMix API キーに置き換え
URL = (
    "wss://aihubmix.com/v1/realtime"
    "?intent=transcription&model=gpt-live-transcribe"
)

async def main():
    # websockets >= 13 は additional_headers を使用；旧バージョンは extra_headers を使用
    async with websockets.connect(
        URL, additional_headers={"Authorization": f"Bearer {API_KEY}"}
    ) as ws:
        # 1) 転写セッションを設定
        await ws.send(json.dumps({
            "type": "session.update",
            "session": {
                "type": "transcription",
                "audio": {"input": {
                    "format": {"type": "audio/pcm", "rate": 24000},
                    "transcription": {"model": "gpt-live-transcribe", "language": "en"},
                    "turn_detection": None,
                    "noise_reduction": {"type": "near_field"},
                }},
            },
        }))

        # 2) ローカルの PCM16 / 24kHz / モノラル 生オーディオを読み込み、分割送信
        async def send_audio():
            with open("audio_pcm16_24k.raw", "rb") as f:
                pcm = f.read()
            chunk = 24000 * 2 // 10  # 100ms = サンプリングレート × 2バイト ÷ 10
            for i in range(0, len(pcm), chunk):
                await ws.send(json.dumps({
                    "type": "input_audio_buffer.append",
                    "audio": base64.b64encode(pcm[i:i + chunk]).decode(),
                }))
                await asyncio.sleep(0.1)  # リアルタイムのペースを模倣
            # VAD なし、オーディオ送信後に手動 commit で転写の締めくくりをトリガー
            await ws.send(json.dumps({"type": "input_audio_buffer.commit"}))

        asyncio.create_task(send_audio())

        # 3) 転写結果を受信
        async for msg in ws:
            evt = json.loads(msg)
            etype = evt.get("type", "")
            if etype.endswith("transcription.delta"):
                print(evt.get("delta", ""), end="", flush=True)
            elif etype.endswith("transcription.completed"):
                print("\n[完了]", evt.get("transcript", ""))
                break  # 完全な結果を取得したら終了してよい
            elif etype == "error":
                print("\n[エラー]", evt.get("error"))
                break

asyncio.run(main())

# wscat で接続性と認証を素早く検証（先に npm i -g wscat が必要）
wscat -c "wss://aihubmix.com/v1/realtime?intent=transcription&model=gpt-live-transcribe" \
  -H "Authorization: Bearer $AIHUBMIX_API_KEY"

# 接続成功後、session.update を1フレーム貼り付ければ開始できる（オーディオは自分で base64 化し input_audio_buffer.append で送信）