同一個設定畫面,同一個模型,官方 benchmark 量到成本從 $0.140 掉到 $0.044。我的看法是,在這組 React 數字裡,省下這筆錢的是 agent 和畫面之間被換掉的那條介面,元件庫本身沒有出力。

任務出自 vercel-labs/ui(套件名 @ui-sdk/*)的 benchmark:一個「專案設定」畫面,3 個 tab,24 位成員,每一列都有選單,還有確認對話框和一組 switch 手風琴。要 agent 把專案名改成 Atlas、可見度改 Internal、Priya Shah 設成 admin、移除 Tom Becker 並確認、在 Email 裡開 Deploy failures 並關 Weekly digest(Slack 不動),最後存檔。「correct」的定義是頁面只存檔一次,而且恰好是這些變更。出處是 benchmark 的 README。

先交代我讀了什麼:README、AGENTS.md、文件站的 agents 幾頁,以及 benchmark 的 README,讀取日是 2026-11-15。我沒有安裝 ui-sdk,沒有重跑 benchmark,下面每一句「行為是什麼」都是文件這樣寫。

對照列比結果更值得看

README 說條件是 “Medians of three runs per row, with Sonnet through Claude Code, on November 15, 2026. Every run was correct.”。React 這一組有四列:

組合 工具呼叫 讀入文字 時間 tokens 成本
Base UI+瀏覽器工具 17 41.0k 53 s 291.7k $0.139
Ark UI+瀏覽器工具 19 39.8k 65 s 330.9k $0.144
ui-sdk+瀏覽器工具 17 41.3k 56 s 294.1k $0.140
ui-sdk+agent 工具 7 7.0k 31 s 69.5k $0.044

第三列是整份數字裡最誠實的一列。ui-sdk 的畫面,用跟別人一樣的瀏覽器工具(README 說仿 Playwright MCP server:accessibility tree 快照加 ref,動作回傳新快照)去操作,成本跟 Base UI、Ark UI 幾乎一樣。文件自己也這樣寫:”With browser tools, the ui-sdk screen takes about as much as the others. The difference comes from the agent tools.”。Vue 和 Svelte 的列,ui-sdk 的 agent 工具那一列同樣最低。但瀏覽器工具那一列,Vue 是 $0.140 對 Reka UI 的 $0.113,Svelte 是 $0.141 對 Bits UI 的 $0.123,ui-sdk 反而貴一些,「差不多」是文件的說法,不是每一組都成立。

如果你原本期待「換成 ui-sdk 的元件就會比較省」,這個對照列把那條路擋掉了。第四列才是差距的來源,而第四列改變的只有一件事:agent 不再去讀畫面。

文件站另外列了 React 一列的 delta:59% fewer tool calls、76% fewer tokens、41% faster、68% cheaper,原文註明 “Delta compares ui-sdk with the best other result in the row.”,也就是拿 ui-sdk 去比同列裡最好的其他結果。

agent 看到的是一份清單

第四列的介面長這樣。以下是文件範例,註解是我加的,其餘照抄:

1
2
3
4
5
6
const agent = createAgent()

// agent.snapshot() 回傳元件清單,文件範例的一筆:
// {"ref":"c1","component":"input","label":"Project name","value":"Apollo","actions":["setValue","clear"]}

agent.act({ steps: [{ ref: "Project name", action: "setValue", args: ["Atlas"] }] })

createAgent 從 @ui-sdk/react/agent 匯入,其他框架有對應的 @ui-sdk/vue/agent 等。元件自己列出 label、目前值和能做的動作,agent 用 label 或 snapshot 給的 ref 指定目標,label 比對 “whole words regardless of case and accents”,不唯一時 bridge 回 error 並列出符合項。

還有第三個工具 query,給 Select、Combobox 這類選項藏在裡面的元件用。文件說 query() never opens anything,items 最多 50 筆,超出的用 more 說明;snapshot 超過 100 個元件只列前 100 筆,最後一筆會說明還剩多少。這裡我做一個推測,標明是推測:benchmark 的畫面有 24 位成員、每列一個選單,瀏覽器路線大概得一個個點開看,而 query 不開任何東西。我沒有讀 benchmark 的執行記錄,所以這句只是從設計推出來的。

allow 在動作發生之前

讓 agent 直接按元件的動作,馬上冒出的問題是:它按了不該按的東西怎麼辦。文件的答案是 createAgent({ allow }),回 true 才執行,回 false 則 act 回 ok: false 並停止。

細節比「有個 callback」多一點。allow 在 step 改變任何東西之前執行;對於要先開選單或對話框才找得到按鈕的 press,bridge 會先開、先問,答案是 no 就把它關回去。可以回 Promise<boolean>,5 分鐘沒人回答該步失敗,timeout 可調。

控制項本身也能帶說明。data-agent-confirm="<說明這個控制項做什麼的句子>",文件範例是「Charges $20 to your card for 1,000 credits」。snapshot 會帶 confirm 欄位;沒有 allow 的時候,按下去會失敗,訊息是 Needs a person: "…". Ask them to press "Buy credits" themselves.。

文件接著放了一句警告,我整句抄過來:”An allow that returns true without reading step.confirm answers yes for the person.”。懶得讀 step.confirm 的 allow,等於替使用者回答了 yes。我的判斷是這一頁最容易被寫錯的就是這裡,因為它看起來只是個回傳布林值的函式。

另外兩個標記:data-agent-hidden 讓元件從 snapshot 和 query 完全消失;data-agent-secret 讓元件還在、已填的值顯示 "[redacted]",agent 仍然可以輸入。Password、card、one-time-code 欄位不用標記也視為 secret。拼錯標記(例如 data-agent-confim),開發模式會警告。

接瀏覽器的那條路是 registerTools(agent, { allow }),透過 document.modelContext 把 snapshot、act、query 暴露出去。文件說得很直接:你沒寫那個 agent,所以 registerTools 要求一個它自己的 allow,在 bridge 的權限之後對每一步再跑一次。snapshot 和 query 標 readOnlyHint: true,三個工具都標 untrustedContentHint: true(結果含使用者輸入的文字),act 標 consequentialHint: true(可按任何按鈕,含不可逆的)。瀏覽器如果沒有 document.modelContext.registerTool,registerTools 什麼都不做。WebMCP 這個標準本身的狀態、哪些瀏覽器支援,我沒查。

前面的步驟不會退回去

多步驟的 act 有一條語意,我覺得比權限更容易被忽略:步驟失敗時 result.ok 是 false,並說明哪一步失敗,然後 “Earlier steps stay applied.”。前面已經改的,不回滾。

再加上變更的 callback 可以取消(callback 會收到 source: "agent",app 能回應或否決),所以 agent 送出去的值不一定真的生效。result.values 帶的是目前欄位的值,文件的建議是 check those values when you need to know what took effect。拿 benchmark 的任務想一下:六件事裡第四件失敗,前三件已經改了,而頁面的 correct 定義是「只存檔一次且恰為這些變更」。這是我拿文件的語意去套任務的推想,benchmark 實際有沒有碰到這種情況,我不知道。

這份數字能帶走多少

回到開頭那句斷言,我要把它的涵蓋範圍畫清楚。證據只有一個畫面、一個任務、每列取三次的中位數、單一模型、專案方自己跑的。README 有一句 “If one could be written better, open a pull request.”,也說可以自己重跑(pnpm --filter agent-benchmark bench,需要 Claude Code CLI 與 Chromium)。這份公平性聲明我願意採信到「它有公開、可被挑戰」這一步,再往上就是我沒驗證的了。

另外兩件事一起放進判斷:專案 2026-10-26 才建立,README 自己寫 “UI SDK is in beta”,並引用 Vercel 的 beta 條款,說框架、API、文件與行為在正式發布前可能改變;releases 列表上最新是 @ui-sdk/[email protected],prerelease。同一天(2026-11-15,也是 benchmark 標的日期)還發了 beta.3 和 beta.4 兩版。這個介面的形狀還在動,今天讀到的 snapshot、act、query 三件套,下週不保證長一樣。

會讓我改口的條件有兩種。換掉畫面、換掉模型後,第三列(瀏覽器工具)與第四列(agent 工具)的差距縮到看不出來,那我現在這句「省下成本的是介面」就得收回。或是第三方重跑,第三列比別家元件庫明顯更貴或更便宜,那就代表元件本身也有份,我的斷言只對這一個畫面成立。Vue 與 Svelte 那兩組官方自己的數字,ui-sdk 的瀏覽器列已經比 Reka UI、Bits UI 貴一些,所以「元件庫沒出力」我只敢對 React 這組說,另外兩組的落差我沒有解釋。

誰替畫面負責猜

我之前寫過的 agent-desktop 是一種做法:讓 agent 去讀 accessibility tree 操作桌面 app,寧可報錯也不猜。ui-sdk 的做法站在另一端:元件自己列出狀態與動作,需要人類點頭的控制項自己寫明「這會扣 20 美元」。這是我的讀法,文件沒這樣講:前一種把猜的責任放在 agent,後一種放在寫元件的人。

放在寫元件的人手上,代價是你得多寫幾個 data-agent-* 標記,並且記得在 allow 裡讀 step.confirm。漏掉的那一行,通常也是出事的那一行。

參考來源