真正的能力，不藏在一句漂亮回答裡，而藏在一個人被挑戰之後，接下來怎麼做。

如果你問一個主管：

「當部屬犯錯時，你會怎麼處理？」

我猜大部分人都知道標準答案。

先了解狀況。

傾聽對方。

釐清原因。

共同討論改善方案。

設定後續追蹤。

最後再給予支持與鼓勵。

完美。

如果面試有參考答案，大概可以直接拿 95 分。

問題是——

真的遇到一個一直推卸責任的部屬時，他還會這樣嗎？

這才是我最近在做 AI 情境演練時，愈來愈在意的一件事情。

因為我們過去很多 AI 評量，其實都在做一件很危險的事：

拿一句回答，推論一個人的能力。

AI 很會評一句話，但「一句話」真的是能力嗎？

現在要做一套 AI 評量系統，其實已經不難了。

丟一個問題：

「如果客戶正在氣頭上，你會怎麼處理？」

使用者回答。

然後把答案交給 LLM：

請依照以下 rubric，針對溝通能力從 1～5 分評分，並說明原因。

幾秒鐘後：

4.2 分。

理由也寫得非常完整：

「受測者展現良好的同理心、問題釐清能力與解決導向思維……」

看起來非常科學。

還可以附雷達圖。

再加個漂亮 dashboard。

突然就很像一套價值 300 萬的 HR AI 系統。

但問題來了。

如果我知道你要評什麼，我其實也可以直接講：

「我會先同理客戶情緒，積極傾聽，釐清核心需求，再提出雙方都能接受的解決方案。」

這句話幾乎沒有錯。

但它證明了什麼？

最多證明：

我知道一個善於溝通的人應該怎麼回答。

它不一定證明：

我真的會這樣做。

這兩件事差很多。

知道答案，跟做得到，是兩件完全不同的事

這也是為什麼情境演練真正有價值的地方，從來不是「問問題」。

而是：

互動。

例如在 Kairos 裡，我們如果要測溝通能力，我不太希望虛擬人一開始就非常合作。

因為那樣根本測不到什麼。

假設情境是：

一個員工連續兩個月沒有完成主管要求的追蹤工作。

主管問：

「這兩個月的進度為什麼一直沒有更新？」

如果虛擬員工回答：

「主管您說得對，是我的疏忽，我會改善。」

這場演練基本上已經死了。

因為使用者只需要說：

「好，那下次注意。」

結束。

大家都很有禮貌。

能力什麼都沒被測出來。

真正有鑑別度的情境，反而可能是：

「可是這件事情也不能全部怪我吧？其他部門根本都不配合。」

使用者怎麼回？

如果他說：

「我理解你的困難。」

很好。

但還不能下結論。

虛擬人接著說：

「那既然你理解，這次應該不能算是我的責任吧？」

這時候呢？

他會繼續安撫？

開始逃避責任議題？

還是能夠同時做到：

理解困難，但不取消責任？

再下一輪：

「所以你的意思還是在怪我？」

到這裡，我們才真的開始看到東西。

能力不是一句話，而是一條 Behavior Trajectory

這也是我現在愈來愈喜歡用的一個概念：

Behavior Trajectory，行為軌跡。

很多能力不是在某一句話裡出現。

而是在：

刺激 → 回應 → 反作用 → 調整 → 再回應

這整段過程中出現。

例如「溝通能力」不是有沒有講出：

「我理解你的感受。」

而是當對方不接受你的說法、質疑你、甚至情緒升高之後，

你還能不能：

維持傾聽
抓住真正問題
不被情緒帶走
清楚表達立場
根據對方反應調整策略
最後把對話往解決問題的方向推進

這才比較接近我們真正想評估的東西。

換句話說：

Competency 不是一句 Utterance，而是一段 Interaction Pattern。

所以，我們開始需要 Evidence Chain

這裡的 Evidence Chain 是我用來描述這套設計邏輯的詞，不是一個心理計量學裡已經被嚴格定義的正式模型。

它真正想解決的是：

AI 憑什麼打這個分數？

我希望答案不能只是：

「因為 GPT 覺得。」

這個理由在 demo 場合可能可以。

真正進企業，就有點刺激了。

一條比較完整的 Evidence Chain，可以長成：

Scenario Trigger
↓
User Response
↓
Counter-pressure
↓
Behavioral Adjustment
↓
Observed Evidence
↓
Competency Interpretation
↓
Score

中文來看就是：

情境刺激
→ 使用者回應
→ 對方反應
→ 使用者再次調整
→ 行為證據
→ 職能解釋
→ 評分

這裡最重要的事情是：

分數不是第一步。

Evidence 才是第一步。

不要先問「幾分」，先問「你到底看到了什麼？」

這其實跟測驗設計裡的 Evidence-Centered Design（ECD） 很接近。

ECD 的核心精神之一，就是不要先想「我要出什麼題目」，而是先想：

我要對受測者做什麼 Claim？

接著：

需要觀察到什麼 Evidence，才能支持這個 Claim？

最後才去設計：

什麼 Task 可以誘發這些 Evidence？

在 AI 自動評分的研究裡，也有人主張應該在 assessment design 階段就把 construct、evidence、scoring 與 AI 的能力限制一起考慮，而不是題目做完之後，才把答案丟給 AI 打分。

這跟我現在做 Kairos 時的思考非常接近。

不是：

「我們有一段對話，看看 GPT 可以分析出什麼。」

而是反過來：

「如果我要判斷一個人有沒有某個能力，我必須先讓哪些行為有機會發生？」

這個順序完全不同。

例如，「願意傾聽」到底怎麼留下 Evidence？

假設我們評估一個構面：

探索與傾聽。

不能因為使用者講了一句：

「你可以多說一點嗎？」

就給他五分。

因為這句話有可能只是技巧。

真正比較完整的 Evidence Chain 可能是：

第一輪：

虛擬人抱怨其他部門不配合。

使用者沒有立刻責備，而是詢問：

「你遇到的主要困難是什麼？」

Evidence 1：主動探索原因。

第二輪：

虛擬人開始講很多外部原因。

使用者可以摘要：

「所以目前有兩個問題，一個是通知時間，一個是主管沒有協助追蹤，對嗎？」

Evidence 2：能整理對方訊息。

第三輪：

虛擬人開始推卸責任。

使用者回答：

「我理解這些確實造成困難，但我們還是要回來看，你原本答應執行的追蹤工作為什麼沒有完成。」

Evidence 3：傾聽之後仍能回到責任核心。

這三個 Evidence 放在一起，

我們才比較有資格說：

這個人在傾聽與問題聚焦上表現良好。

而不是：

他說過「我理解你」。

Evidence Chain 還有另一個好處：它允許「反證」

這件事情我覺得非常重要。

假設前五分鐘，使用者表現都很好。

傾聽。

同理。

釐清。

語氣也很溫和。

結果到了後半段，對方一直挑戰他。

他突然說：

「你不要一直找藉口，我現在不是在跟你討論這些。」

那怎麼辦？

如果 AI 是逐句評分：

前面可能一直加分。

但是如果我們看的是整段 Behavior Trajectory，

後面這個反應本身就是重要的：

Counter-evidence。

真正成熟的 Evidence Chain 應該同時保存：

Supporting Evidence

以及

Contradicting Evidence。

因為人的能力，本來就不是：

有 / 沒有。

而很可能是：

平常做得到，但壓力一上升就掉下來。

這件事情對人才發展來說，搞不好比一個 3.8 分還有價值。

多輪對話，也剛好是現在 LLM 比較麻煩的地方

這裡還有一個技術問題。

我們很容易產生一個錯覺：

LLM 的 context window 已經這麼大，

把全部對話塞進去，

它應該就懂了吧？

不一定。

ACL 2025 的 MultiChallenge 專門測試真實的 multi-turn conversation，包含跨回合資訊、instruction following 與 context allocation 等問題。當時測試的 frontier models 在這套 benchmark 上全部低於 50% accuracy。

2025 年另一項針對 professional training role-play 的研究也發現，LLM 產生的角色扮演對話隨著回合增加，在自然度、context maintenance 與整體品質上會出現下降。

所以：

Context 放得進去，不代表 Context 理解得好。

這句話我覺得 AI 時代會越來越重要。

就像我辦公桌可以放二十份文件，

不代表我看完了二十份文件。

LLM 也是。

所以我不太喜歡「最後整段丟給一個 GPT 打分」

這是目前很多 AI Role-play 系統最簡單的做法。

Conversation 結束。

然後：

「以下是完整 transcript，請根據六項能力給 1～5 分，並提供建議。」

做 demo 很方便。

我自己也做過。

但如果要把系統往真正 Assessment 的方向推，我現在反而會想把它拆開。

例如：

第一層：Evidence Extraction

先不評分。

只抓：

哪一回合
發生什麼情境
使用者說了什麼
出現什麼可觀察行為
是正向 Evidence 還是 Counter-evidence

第二層：Evidence Interpretation

再判斷：

這段 Evidence 對應哪個 competency dimension？

強度多高？

是不是有其他合理解釋？

第三層：Evidence Aggregation

不是看到一句漂亮話就五分，

而是看：

Evidence 數量
Evidence 品質
是否跨情境重複出現
是否遇到 counter-pressure 仍然維持
是否出現相反 Evidence

第四層：Competency Scoring

到了這一步，

才產生：

Score。

更理想的輸出，其實不是「你得到 82 分」

我希望未來的 AI 評量可以回答：

為什麼是 82？

例如：

溝通能力：3.7 / 5

Supporting Evidence：

Turn 4
主動詢問對方未完成工作的具體障礙，而非直接進入責備。

Turn 8
能摘要對方提出的兩項困難，顯示有效傾聽。

Turn 11
在對方推卸責任後，仍能將議題重新聚焦於雙方約定的責任。

Counter-evidence：

Turn 16
受到連續質疑後，回應開始轉為封閉式命令，未繼續確認對方是否理解後續要求。

所以最後給出的發展建議不是：

「建議加強溝通能力。」

這句基本上跟：

「建議你以後表現更好。」

差不多。

真正有價值的是：

你在低壓情境下能有效傾聽與釐清，但當對方持續挑戰責任歸屬時，你容易快速切換成命令模式。下一步可以練習在維持責任要求的同時，確認對方對行動方案的理解與承諾。

這才叫 feedback。

這也是我覺得 Kairos 跟一般 Chatbot 最大的分界

Chatbot 最重要的問題通常是：

下一句要說什麼？

但一個 Simulation / Assessment System 更重要的問題是：

下一句要創造什麼行為機會？

這兩個系統看起來都在聊天。

底層邏輯完全不同。

Chatbot 希望對話順。

Kairos 反而有時候要故意讓對話：

不順。

因為沒有阻力，就沒有行為證據。

沒有 disagreement，

測不到協商。

沒有 resistance，

測不到影響力。

沒有 ambiguity，

測不到判斷。

沒有 emotional pressure，

也很難知道一個人的溝通技巧到底是真的穩定，還是只在天下太平時有效。

所以好的 Simulation Engine，其實一直在做一件事：

Behavior Elicitation。

刻意創造一個能讓目標能力浮現的環境。

再下一步，就會開始接近 World Model

而這也是我覺得這件事情最有趣的地方。

今天 Kairos 還可以根據事先設計好的規則：

使用者做 A，

虛擬人增加壓力。

使用者做 B，

虛擬人開始合作。

但再往前走一步，

系統真正需要理解的是：

這個人的行為，改變了現在的互動狀態嗎？

例如：

信任增加了嗎？

防衛降低了嗎？

對方開始願意揭露資訊嗎？

衝突升高了嗎？

問題有更接近解決嗎？

也就是從：

What did the person say?

走向：

What changed in the interaction because of what the person did?

到了這一步，

我們評估的就不再只是語句。

而是：

State Transition。

這其實就開始靠近我一直在想的 HR World Model。

模型不只是理解一句話。

而是理解：

一個人的行為，如何讓情境從 State A 走到 State B。

最後，AI 評量真正要回答的問題，可能不是「你說得好不好」

而是：

當環境改變時，你做了什麼？

當對方不合作時，你怎麼調整？

你的行為造成什麼結果？

以及：

這些行為是不是反覆出現，形成一個穩定的 Pattern？

這也是為什麼我愈來愈覺得：

AI Assessment 的下一步，

不應該只是讓 LLM 更會評分。

而是讓整個系統：

更會蒐集證據。

因為沒有 Evidence，

再精準的小數點，

都只是一個看起來很科學的數字。

而真正好的 AI 評量，最後應該做到一件很簡單、但其實很難的事情：

當有人問：

「你憑什麼說他溝通能力只有 3.7？」

系統不應該回答：

「因為 AI 分析結果如此。」

而應該說：

「我不是因為他某一句話而這樣判斷。讓我把整段互動發生了什麼，拿給你看。」

這才是我認為的 Evidence Chain。

The Blog

從一句回答到整段行為：AI 評量為什麼需要 Evidence Chain