想讓結構化輸出可靠,該放寬的是解析器,不是把模型管得更緊。

這是 BAML 作者在 2024 年 7 月 29 日那篇文章的立場(頁面署名 Vaibhav Gupta),他把這套做法叫 schema-aligned parsing(SAP)。前提只有一句:假設模型會出錯,與其想辦法讓它不出錯,不如把 parser 做到夠耐操。這個說法跟主流方向相反:大家花很多力氣讓模型「只能」吐出合法 JSON,他反過來問,模型吐了一堆不合法的東西,我們能不能照樣讀懂?

先交代我的界線。我只讀了文件:作者的部落格、repo 內的文件、OpenAI 的 structured outputs 說明、GitHub issue。沒有在本機安裝或執行過 BAML,沒有重現任何 issue,也沒有自己跑 benchmark。下面凡是「輸出長怎樣」,都是別人貼的。

拼字檢查器,對上防呆輸入框

把表單填對,有兩種辦法。一種是輸入框:你按錯鍵它就不讓你輸入,永遠只能填出合法內容。另一種是拼字檢查器:你隨便打,打完它幫你改成最接近的正確拼法。

constrained decoding 是第一種,SAP 是第二種。作者的說法是把問題換成編輯距離:從模型輸出走到一個能符合 schema 的結果,最少要改幾個地方?照他文章列的清單,要修的是字串裡沒跳脫的引號與換行、漏掉的逗號與冒號、拼錯的 key 名稱、要轉成浮點數的分數、多出來的 key,還有模型在 JSON 前後多講的廢話;模型一次吐出好幾個候選時,從中挑最好的。文章範例另外有尾逗號和註解。我是用轉述的,那一頁在我手上是摘要版,我沒有逐字比對每一句。

repo 文件把這個想法掛在一條老原則下,原文是:「BAML’s breakthrough innovation follows Postel’s Law: “Be conservative in what you do, be liberal in what you accept from others.”」讀進來寬鬆,送出去嚴格。這句我是從 repo 的 fern/01-guide/why-baml.mdx 看的。

作者拿什麼證明

證據是一張表,來自同一篇 2024 年的文章。條件要一起看:用的是 Berkeley Function Calling Leaderboard(BFCL),頁面註明每個模型 n=1000,三欄是 Function Calling、Python AST Parser 和 SAP。作者自己寫了「I’m obviously a bit biased」,這是廠商自行回報的數字,文章沒寫跑了幾次,也沒有變異數或信賴區間。

模型 Function Calling Python AST Parser SAP
gpt-3.5-turbo 87.5% 75.8% 92%
gpt-4o 87.4% 82.1% 93%
claude-3-haiku 57.3% 82.6% 91.7%
gpt-4o-mini 19.8% 51.8% 92.4%
claude-3-5-sonnet 78.1% 93.8% 94.4%

表裡我略過最後一列:頁面上寫的是 llama-3.17b,SAP 76.8%,模型名稱疑似 typo,我不確定指的是哪個模型。

這張表是 2024 年中的模型、廠商自測,對 2026 年的模型成不成立,我沒有查到任何新的 benchmark,所以不下結論。另外 gpt-4o-mini 那一列的 Function Calling 遠低於同廠其他模型,文章沒交代原因(用的 prompt、是否啟用 strict、評分多寬鬆都沒寫)。我不拿它當「function calling 就是不行」的證據,只能說這是整張表差距最大的一格,原因我不知道。

作者另一篇 2024 年 8 月 13 日的文章還主張 BAML 在準確度、成本、速度上都勝過原生 function calling API,但沒有給我能核對的條件,所以我不引用那些數字,這裡只轉述成「作者宣稱」。同一篇的註腳倒是有一句值得記:當時的 BAML 用的是 prompting 技術,tool API 的支援寫的是「即將」。也就是說,2024 年的對照是純 prompt 加 SAP,跟現在的 BAML 是不是同一回事,我沒有查證。

現在的 BAML 確實已經不是當年的樣子。repo 描述是「The programming language for agents」,README 第一句也是這個,而 README 現行版本完全沒提 schema-aligned parsing。專案是 Apache-2.0,截至 11 月 17 日,最新的非 nightly 版本是 2026-11-06 發的 baml-language-0.25.2。

另一邊並不弱

如果只讀作者的文章,容易覺得 constrained decoding 是笨辦法。OpenAI 2024 年 8 月 6 日那篇講得很清楚:把你給的 JSON Schema 轉成 context-free grammar,生成時只允許符合 schema 的 token。照 OpenAI 那篇文章的說法,他們自家的 complex JSON schema following 評測,gpt-4o-2024-08-06 搭配 Structured Outputs 拿到 100%,gpt-4-0613 不到 40%(廠商自評,2024-08)。

重點在 100% 量的是什麼:符合 schema,不是內容正確。OpenAI 那篇也寫明了限制:只支援 JSON Schema 的子集;新 schema 的第一次請求要多等;模型拒絕不安全的請求時,回應可以不符合 schema;最後一條是它不擋所有種類的模型錯誤(以上是轉述 2024 年那篇。現行 guide 我只讀到前 100,000 字元,確認了第一次請求的延遲和拒絕不一定符合 schema 這兩點,其餘幾條現在是否一樣,我沒逐條核)。其他家的 structured outputs 怎麼做,我沒讀,這篇不談。

所以兩條路擋的是不同層的錯。CFG 約束的是形狀,SAP 修的也是形狀,但它是事後修。有意思的是作者那篇文章的結尾,自己說之後要示範把 function calling、structured generation 跟 SAP 組合起來,連他都不是二選一。BAML 作者轉引過一篇論文 “Let Me Speak Freely”,主張加上 schema 限制後表現反而下降;那篇論文我沒讀,只知道是他引的,不拿它當 constrained decoding 一定變差的證據。

寬容的代價,記在 issue #4590

我把這篇當成一個值得相信的主張來讀,直到翻到 issue #4590,標題是:「SAP silently discards array elements it cannot coerce — baml run returns exit 0 with fewer rows and NO signal on any channel」。

回報者給的重現條件很樸素:BAML 0.17.0、wrapper 0.2.0,用一個 HTTP sink 假裝成模型,固定回兩列資料,第一列的 date 是 null。結果 exit code 為 0,輸出只剩一列,stderr 只有 fmt 的警告。兩列都正常的對照組,輸出兩列。issue 的原文:

「When Schema-Aligned Parsing cannot coerce ONE element of a list, the element is dropped and the call SUCCEEDS with a shorter list.」

更尖銳的是下一句:對一個把「沒有」當成「模型什麼都沒找到」的呼叫端來說,被丟掉的那一列,和一個正確的空答案,看起來一模一樣。最上層的必填欄位是 null 時,整個呼叫會大聲失敗而且可以處理;同樣的缺陷往下一層、落在 list 的元素裡,卻回報成功、資料少了一塊。回報者形容那是「the one outcome we cannot defend」。

這又回到拼字檢查器。它遇到修不了的字,不是標紅,是直接刪掉,整句仍然通順,你根本不會發現少了一個字。SAP 的寬容放在 list 元素上,結果就是這樣。

這不是個新發現。issue #1859 在 2025 年 4 月 25 日就提過同一件事:解析 list 時要有「別靜默丟掉無效值」的替代方案,我查的時候仍然 open,比 #4590 早了約十六個月。#4590 本身建立於 2026-08-25,之後有人(留言帳號 BenSpex,自述與開單者同一環境)在 10 月 27 日(0.23.1-nightly.20261026.a)和 10 月 31 日(另外兩個 nightly)又回來留言,說還是重現,還補了兩種走同一條路徑的靜默遺失。maintainer 在 9 月 23 日的回覆,我引原文:

「We’re talking about what we need to do to support this FYI - this behavior is actually what we had in BAML v0 and you’re not alone in requesting this, but we’re still figuring out the shape that we’ll use for exposing this information.」

意思是:他們承認要把「丟了東西」這件事露出來,只是還沒決定長什麼樣子,而且舊版就是這個行為。截至 11 月 17 日這張 issue 仍是 open。我沒有拿 0.25.2 去驗證它修了沒有,issue 裡最新的重現是 nightly 版本,所以能說的只有「截至 11 月 17 日未修」。

我的立場,和會讓我改的條件

我認為「放寬解析器」這個方向是對的,語法層的錯(引號、逗號、多餘的廢話)我認為容忍的代價很小,這些錯誤本來就沒帶什麼資訊。但容忍一旦跨進內容層,也就是「這個元素的值不對,我要怎麼辦」,SAP 現在的選擇是丟掉,而且不吭聲,這一步我不接受。把「我不確定」換成「我猜一個」是容錯的本質,猜的結果如果是「沒有」,下游就把它當成答案。

如果由我決定要不要把它放進一個真的會被人依賴的流程,我會等它露出一個訊號,讓呼叫端知道丟了幾個元素、為什麼丟。maintainer 已經說在做,形狀還沒定。有兩件事會讓我改看法:一是那個訊號出現,而且預設就看得到;二是有人拿 2026 年的模型做出新的對照,顯示 constrained decoding 在同樣題目上已經沒有差距,那 SAP 要解的問題就小很多,利弊要重算。這兩件事我目前都沒有看到。

帶得走的檢查

換個場景,這不只是 BAML 的問題。任何「讀進來寬鬆」的設計,都會把一部分錯誤從大聲變成安靜。問兩個問題就夠了:這個容忍發生在哪一層,是形狀還是內容;容忍之後,有沒有人知道它發生過。形狀層的容忍可以安靜地做,內容層的容忍必須留痕,不然你省下的重試成本,換回來的是一個永遠對不上帳的資料集。

參考來源:BoundaryML/baml(repo 欄位與 releases,版本以 2026-11-17 當天為準)、Prompting vs JSON Mode vs Function Calling vs Constrained Generation vs SAP(2024-07-29)、issue #4590、issue #1859、Introducing Structured Outputs in the API(2024-08-06)、OpenAI Structured Outputs guide