常見問題

​

存取異常 / 介面無法連線怎麼辦？

​

為什麼LLM 回答錯誤的模型基座資訊？

​

模型幻覺：LLM 自信卻錯誤的自我認知

• 上下文視窗大小：如 GPT-4 Turbo 支援最大 128k token，傳入 max_tokens 參數可以驗證、上下文截斷點也可用作間接判斷；
• 首 Token 延遲（first-token latency）：不同模型響應速度差異顯著；
• 生成吞吐率（tokens/sec）：GPT-3.5 和 Claude-Haiku 明顯快於 GPT-4 或 Claude-Opus；
• 系統 API 返回的 Headers 或元資料：如 model-id、provider 欄位；
• 原生調用：OpenAI 或 Gemini 模型無法透過 Claude 原生方式請求，其他類似情況同理；
• 輸出風格指紋：Claude 系列往往更加克制含蓄，GPT 系列更邏輯導向。

​

常見幻覺場景舉例

​

原因分析

1. 語言模型並非感知型系統
   模型對自身所處環境無感知能力。它只是基於上下文提示預測最可能出現的回答，而非讀取系統實際資訊。
2. 上下文投餵資訊可能不準確或誤導
   某些平台可能在系統 Prompt 中主動注入「身份資訊」，如「你是 Claude Sonnet」，這將顯著影響模型的回答風格。
3. 聚合平台屏蔽真實運行資訊
   透過統一代理接口調用不同模型時，模型本體無法得知它運行在哪個實際環境中，所提供資訊純屬猜測。

​

應對措施

​

1. 禁止信任模型自身的基座回答

​

2. 從系統後端傳遞可信資訊

{
  "model_id": "claude-sonnet-202405",
  "provider": "Anthropic",
  "source": "official_api",
  "note": "Do not infer identity from model's own response"
}

​

3. 使用明確系統 Prompt 注入真實身份

你運行在某某平台，由後端調用 Anthropic Claude Sonnet 模型。請勿修改或猜測模型身份。

​

4. 在前端標注系統識別資訊

​

5. 幻覺檢測與可信度降權

​

總結

​

為什麼我在 Claude 官網上和透過 API 調用時，使用相同的提示詞和內容輸入，輸出結果卻不同？

​

為什麼 gpt-4 額度消耗這麼快？

• gpt-4 的消耗速度是 gpt-3.5-turbo 的 20 到 40 倍，假設購買了 9w token，我們用 30 倍作為平均倍率，也就是 90000 / 30 = 3000 字左右，加上每次要附帶上歷史訊息，能發的訊息數將會進一步減半，在最極限的情況下，一條訊息就能把 9w token 消耗完，所以請謹慎使用。

​

使用 Next Web 時，有哪些節省 token 的小技巧？

• 點開對話框上方的設定按鈕，找到裡面的設定項：
  • 攜帶歷史訊息數：數量越少，消耗 token 越少，但同時 gpt 會忘記之前的對話
  • 歷史摘要：用於記錄長期話題，關閉後可以減少 token 消耗
  • 注入系統級提示詞：用於提升 ChatGPT 的回覆品質，關閉後可減少 token 消耗
• 點開左下角設定按鈕，關閉自動生成標題，可以減少 token 消耗
• 在對話時，點擊對話框上方的機器人圖示，可以快捷切換模型，可以優先使用 3.5 問答，如果回答不滿意，再切換為 4.0 重新提問。

​

為什麼後台建立 key 沒有顯示已用額度

​

用戶協議

1. 本服務不會以任何形式持久化儲存任何用戶的任何聊天資訊；
2. 本服務不知曉也無從知曉用戶在本服務上傳輸的任何文字內容，用戶使用本服務引發的任何違法犯罪後果，由使用者承擔，本服務將全力配合由此可能引起的相關調查；