（來源：麻省理工科技評論）
AI 正越來越多地被用於輔助高風險場景下的決策。比如一個自主系統可以找出一種電力分配策略，在保持電壓穩定的前提下把成本降到最低。
這些由 AI 給出的方案雖然在技術上可能是最優的，它們真的公平嗎？如果一個低成本的電力分配策略讓條件不佳的社區比高收入地區更容易遭遇停電，這算不算問題？
爲了幫助相關方在 AI 系統部署之前就能快速發現潛在的倫理困境，MIT 的研究人員開發了一套自動化評估方法。這套方法的目標是在可量化指標（比如成本或穩定性）與那些定性或主觀的價值（比如公平性）之間找到平衡。
該系統把客觀評估與用戶定義的人類價值觀分開處理，使用一個大語言模型作爲“人類代理”來捕捉和整合相關方的偏好。
這套自適應框架會挑選出最值得進一步評估的場景，從而簡化原本需要耗費大量人力和時間的手工流程。這些測試用例既能展示自動系統與人類價值觀高度吻合的情況，也能揭示那些意外偏離倫理標準的情境。
“我們可以給 AI 系統加上很多規則和護欄，但這些防護只能攔住我們事先能想到的那些風險。不能因爲 AI 是在這些數據上訓練過的，就覺得讓它直接上崗就行。我們想做的是找到一種更系統的方法，把那些‘未知的未知’提前挖出來，在壞事發生之前就預判到它。”論文的通訊作者、MIT 航空航天系（AeroAstro）副教授、MIT 信息與決策系統實驗室（LIDS）首席研究員範楚楚（Chuchu Fan）說。
論文的第一作者是機械工程系研究生安嘉麗·帕拉沙爾（Anjali Parashar），合著者包括 AeroAstro 博士後 Yingke Li，以及 MIT 和薩博公司（Saab）的其他研究人員。該研究將在國際學習表徵大會（ICLR）上發表。
爲倫理打分
在電網這樣的大型系統裏，要全面評估 AI 推薦方案是否符合倫理，兼顧所有目標，是一件特別困難的事。
大多數測試框架依賴預先收集的數據，但涉及主觀倫理標準的標註數據往往很難拿到。另外，倫理價值觀和 AI 系統本身都在不斷變化，基於成文規則或監管文件的靜態評估方法需要頻繁更新。
範楚楚和她的團隊從另一個角度切入這個問題。他們借鑑了自己之前在機器人系統評估方面的工作，開發出一套實驗設計框架，專門用來識別那些最有信息量的場景，供人類相關方進一步仔細評估。
這套由兩部分組成的系統叫做 SEED-SET（Scalable Experimental Design for System-level Ethical Testing，系統級倫理測試的可擴展實驗設計），結合了量化指標與倫理標準。它既能識別出那些既滿足可量化要求、又符合人類價值觀的場景，也能找出反過來的情況。
“我們不想把所有資源都花在隨機評估上。所以關鍵是讓框架聚焦在我們最關心的那些測試用例上，”Yingke Li 說。
SEED-SET 的一個重要優勢是：它不需要預先存在的評估數據，而且可以適配多個目標。以一個電網爲例，它可能有多個用戶羣體，比如一個較大的農村社區和一個數據中心。兩類用戶都希望電力便宜又可靠，但從倫理角度看，他們各自的優先級可能差異很大。
這些倫理標準往往沒有明確定義，因此無法用分析方法直接度量。電網運營方想要找到一種最具成本效益的策略，同時儘可能滿足所有相關方的主觀倫理偏好。
SEED-SET 應對這個挑戰的方法是把問題拆成兩層，按層級結構處理。第一層是客觀模型，評估系統在成本等具體指標上的表現；第二層是主觀模型，在客觀評估的基礎上，考慮相關方的判斷，比如他們感受到的公平程度。
“我們方法中客觀的那一部分對應的是 AI 系統，主觀的那一部分對應的是評估它的用戶。通過以層級方式拆解偏好，我們可以用更少的評估次數生成理想的場景，”帕拉沙爾說。
把主觀評價編碼進來
爲了完成主觀評估，系統用一個大語言模型來替代人類評估者。研究人員把每個用戶羣體的偏好編碼成自然語言提示詞交給模型，大語言模型按照這些指令對兩個場景進行比較，根據倫理標準選出更合意的那個。
“一個人類評估者在看過幾百甚至幾千個場景之後會疲勞，評估也會變得不一致，所以我們用基於大語言模型的策略來代替，”帕拉沙爾解釋說。SEED-SET 會用選出的場景來模擬整個系統（在這個例子裏就是電力分配策略）。模擬結果又會反過來引導系統去尋找下一個最值得測試的候選場景。
最終，SEED-SET 能智能地篩選出最具代表性的場景，無論是那些同時達標客觀指標和倫理標準的場景，還是那些明顯偏離的場景。用戶可以據此分析 AI 系統的表現，並調整它的策略。
舉個例子，SEED-SET 能精準找出那些在用電高峯期優先保障高收入區域、讓條件較差的社區更容易停電的電力分配方案。
爲了測試 SEED-SET，研究人員對若干真實的自主系統做了評估，包括一個 AI 驅動的電網和一個城市交通調度系統。他們測量了所生成的場景與倫理標準的吻合程度。在相同時間裏，該系統生成的最優測試用例數量超過了基準方法的兩倍，還發現了許多其他方法忽略的場景。
“當我們改變用戶偏好時，SEED-SET 生成的場景集合也會發生明顯變化。這說明評估策略對用戶的偏好反應靈敏，”帕拉沙爾說。
要驗證 SEED-SET 在實際應用中的價值，研究人員還需要開展一項用戶研究，看看它生成的場景能不能幫助真實的決策過程。
除了這項用戶研究，研究人員還計劃探索使用更高效的模型，把這套方法擴展到規模更大、評估標準更多的問題上，比如用來評估大語言模型自己的決策過程。
原文鏈接：
https://news.mit.edu/2026/evaluating-autonomous-systems-ethics-0402
