最近，我請 AI 幫我潤飾一篇部落格文章。
它寫得很快。結構完整，想法也很清楚。當我說希望語氣更專業時，它加入了技術性的討論。當我要求學術佐證時，它找到了近期的論文。
文章變得越來越嚴肅，但我開始猶豫：它真的需要這樣寫嗎？
內容本身沒有明顯的錯誤。但我想寫的，是一篇帶有我個人聲音的文章，一篇能讓讀者看見我如何思考一個問題的文章。經過幾輪修改後，它逐漸變成一篇我自己都需要時間消化的研究回顧。
我的期待也在過程中不斷改變。一開始，我並沒有完全想清楚，對這篇特定的文章來說，「專業」或「深入」應該是什麼意思。
那段經驗讓我重新思考，什麼才造就一個好的 agent。
如果我逐項核對需求，我們的協作其實完成了不少事：文章寫好了、研究做了、參考文獻也備齊了。每一個個別的要求都有對應的產出。
但當我把它們放在一起，我還是得問：這是我想發表的文章嗎？
要檢查一個 agent 做了什麼很容易。要說明這些行動是否讓使用者更接近目標，則需要更多功夫。
在這個例子裡，「加入學術佐證」是一個明確的要求。它的目的是讓論點更有說服力。如果加入研究會讓文章失去原本的聲音，我們就需要重新考慮該如何使用那些素材。
使用者的新要求，並不總是只要往上疊加就好。它可能是一次方向的修正，甚至可能是移除已完成工作的理由。
對於一個持續參與任務的 agent 來說，理解這些變化會影響整個協作的品質。它需要在回饋進來時修正自己對任務的理解，而不是不斷在結果上添加更多東西。
這也讓「完成」變得更複雜。文章可能有了結尾，任務也可能被標記為完成，但使用者仍然沒有拿到真正可用的東西。
所以在設計評估之前，我想先釐清另一件事：我們想從結果中做出什麼判斷？
檢查事實正確性，意味著核實引用與佐證證據。評估修改能力，意味著觀察 agent 是否理解回饋，並保留仍然有效的內容。判斷它能否從頭到尾承擔一項任務，也意味著要看它留了多少工作給使用者。
這些問題彼此相關，但「整體品質很好」這句話，幾乎無法回答其中任何一個。
只有當我們清楚自己在評估什麼，才知道該蒐集哪些證據，以及一個分數能告訴我們多少。
評估也需要對當時的條件保持公平。
在這個寫作過程中，有些目標是透過討論才逐漸清楚的。早期的回應應該對照當時已經表達的需求來評判，而不是後來才浮現的偏好。
如果需求已經很清楚，結果卻仍然不合適，我們就需要更精確地找出問題所在。是 agent 誤解了？是它忘了先前的限制？還是為了滿足新要求，反而破壞了原本已經運作良好的部分？
這些情況都可能被描述為「寫得不好」，但它們需要非常不同的改善方式。提供更多任務資訊、調整上下文，或改變執行方式，可能各有幫助。不過首先，我們需要知道問題出在哪裡。
其他要求則不應該隨著個人偏好而改變。引用是否真實、事實是否準確、結論是否有支持，都必須獨立查核。使用者喜歡某個結果，並不足以證明這些要求已經達成。
我認為這個區分很重要。它讓評估能夠顧及特定需求，同時保留必要的判斷標準。
即使目標清楚，agent 這次也做對了，仍然有更多值得觀察的地方。
它第二次能把同樣的任務做好嗎？如果使用者換個說法提出要求，它會誤讀意圖嗎？當資訊不足時，它能承認不確定性，而不是用流暢的文字填補空缺嗎？
有一項關於 agent 可靠性的研究，分別檢視了一致性、穩健性、可預測性與安全性。在它所測試的模型與基準中，能力的提升只帶來有限的可靠性改善。這提醒我們，在了解一個 agent 能完成什麼之後，我們仍然需要理解在什麼條件下可以依賴它。相關研究
那麼，誰有資格定義什麼是好的 agent？
我認為應該以使用者的實際目的為起點。產品團隊需要清楚自己打算服務哪些需求，以及願意承擔多少責任。工程團隊需要理解實作方式與系統能力的極限。評估則把這些期待放進具體情境中，檢驗結果是否印證了它們。
必須有人為最終的取捨負責，也必須有證據作為討論的依據。
以「更專業」這個要求為例。有人想到的是術語與參考文獻。有人想到的是更嚴謹的推理。還有人期待作者能精準指出問題的核心。當我們把這個要求套用到一篇實際的文章上，就更容易看出，我們談的其實不是同一件事。
我寧願透過這樣的案例來建立共識。哪些事實必須正確？哪些部分會影響結果是否可用？哪裡有不同選擇的空間？這些都可以討論。我們的標準越具體，日後就越有機會解釋彼此的分歧。
這些標準也應該保持可修訂。新的情境可能暴露出我們未曾考慮的問題，使用者也可能開始提出不同的要求。重要的是記錄我們為什麼做出調整，讓團隊能區分產品本身的改善，與評判方式的改變。
評估的價值也需要體現在我們之後所做的選擇上。
如果一次評估能讓我們更清楚該優先處理什麼、能說明為什麼某項改善值得投入，並在證據不足時知道還需要哪些額外測試，那麼這些分數就有了實用價值。
回頭來看，AI 確實幫我把文章變得更完整。是後來幾輪的討論，才幫我們釐清哪些該保留、哪些可以捨去。
這也是我希望評估能幫團隊做到的事：當結果看起來已經不錯時，仍然有方法判斷它是否準備好交到使用者手上，以及我們為什麼能對這個判斷有信心。