商傳媒｜林昭衡／綜合外電報導
輝達（NVIDIA）日前發布一篇技術部落格文章，針對人工智慧（AI）領域中，模型（model）與代理（agent）的評估方式提出關鍵區別，並向開發者分享五項實用技巧。文章強調，評估AI代理的重點應放在其在動態環境下完成實際工作流程的表現，而非僅專注於底層模型的能力分數。
傳統的模型評估主要測試基礎模型（例如大型語言模型LLM或視覺語言模型VLM）的獨立能力，像是其語言理解、指令遵循或在靜態任務上解決問題的表現。這類評估通常依賴MMLU（通用知識）、GSM8K（數學推理）和HumanEval（程式編寫能力）等基準測試，旨在回答「這個引擎是否足以理解指令並進行事實推理？」
然而，AI代理的評估則將重點轉移至端到端（end-to-end）的執行軌跡，也就是代理進行推理、呼叫工具、處理不確定性並在動態環境中完成真實工作流程的整個過程。即使底層模型表現優異，代理仍可能因對應用程式介面（API）結構產生幻覺或在搜尋失敗後陷入無限循環而失效。因此，代理評估會採用GAIA（真實世界協助）、SWE-bench（GitHub問題解決）和WebArena（網路任務執行）等基準測試，測量任務成功率（Task Success Rate, TSR）、工具呼叫準確性（Tool Call Accuracy）和軌跡效率（Trajectory Efficiency），以回答「這個系統能否在非確定性環境中可靠執行多步驟工作流程？」
AI代理評估五大心法
輝達文章為開發者提出了五個評估AI代理的實用建議：
-
衡量任務成功而非僅準確性 ：傳統模型基準測試僅顯示代理基礎模型的能力，無法反映其在實際應用中的任務完成度。應將任務定義為意圖與限制的組合，並在代理完全達成意圖且符合限制時，才計為任務成功。同時需追蹤在正常、工具降級或模糊指令等不同情境下的任務成功率。
-
評估完整執行軌跡 ：兩個代理即使輸出相同結果，其內部行為可能截然不同。應記錄代理的完整軌跡，包括規劃、子目標、所有工具呼叫、參數、回應、中間推理步驟及最終結果。透過分析軌跡效率、工具呼叫準確性和故障模式分佈，可更全面理解代理表現。
-
將工具使用視為關鍵信號 ：代理在生產環境中的成敗，往往取決於其如何使用API、資料庫或搜尋工具。開發者應為每個評估任務指定預期的工具行為，例如允許或必須使用的工具、每個工具的最大呼叫次數，以及預期的結構。衡量工具選擇的精確度和召回率，以及結構遵循性，可揭示代理是否產生幻覺或過度使用耗時工具。
-
評分推理品質與效率 ：即使答案正確，若推理過程混亂或步驟過多，將導致運算資源浪費。應捕捉推理軌跡並定期評估其健全性，確保推理過程有使用擷取到的證據。此外，追蹤每個成功任務的符記（tokens）使用量、工具呼叫次數和端到端延遲，並設定明確的預算限制（例如「95%的任務在N個符記和M次工具呼叫內完成」），以優化提示、路由或重試策略。
-
從開發初期建立透明且可自訂的評估機制 ：評估應從代理設計階段就融入，而非事後補強。應記錄每一個計畫、工具呼叫和關鍵推理步驟，並附上穩定編號以便重建軌跡。同時，為軌跡貼上標籤（成功/失敗、錯誤類型、人類評分），並支援全域及特定使用情境的衡量指標。這可將評估轉化為日常開發工具，及早發現改進機會或潛在漏洞。
輝達指出，可靠的AI代理系統需將評估重心從靜態模型基準測試，轉向反映代理在真實環境中行為的動態、軌跡感知型指標。旗下的NVIDIA NeMo Agent Toolkit便旨在協助開發者無須大幅重構，即可輕鬆整合評估、優化與可觀察性，以實現評估驅動的開發循環。
