AI代理人框架的發展與改進

前言：多代理框架的熱門趨勢

在現代科技中，多代理框架（Multi-Agent Frameworks）正在迅速成為人工智慧（AI）領域中的核心技術。這些框架允許多個專業化的AI代理人協同工作，從而提高任務完成的效率和準確性。近年來，多代理框架如AutoGen、MetaGPT、Agents和Camel等，已經展現出巨大的潛力，並廣泛應用於客戶服務、軟體開發流程、自動化生產內容等等。

目前評估指標的不足

大多數AI代理人的基準測試過於關注準確性，而忽視了成本這一關鍵因素。這導致了許多最先進的代理人變得過於複雜和昂貴，反而未能在實際應用中發揮最佳效果。例如，AutoGen框架試圖簡化代理人之間的溝通的程式碼複雜度，並最大化大語言模型（LLM）的性能，以減少錯誤和提升效率需要花費大量費用於LLM部分。

尋找甜蜜點: 成本與準確性的聯合優化

《AI Agents That Matter》論文強調，開發AI代理人時應同時考慮成本與準確性。論文展示了一種新優化方案，能夠在大幅降低成本的同時保持高準確性，這不僅提高了AI代理人的實用性，還為開發更具成本效益的AI解決方案提供了新思路

推動標準化和可重複性

評估實踐中的標準化缺失，導致了AI代理人研究中的可重複性問題。論文強調了標準化的重要性，並提出了一系列步驟，以促進一致和可重複的代理人評估方法，這有助於推動代理人在實際應用中的發展，使其更具實用性和可靠性

透過實例分析：簡單策略的高效性，我們應該同時最佳化準確性和成本，找到最佳平衡點。根據《AI Agents That Matter》的研究，作者展示了即使使用簡單的基本策略如Retry、Warming和Escalation，也能達到與一些複雜代理架構相似的效果，但成本卻更低。

--Retry：如果模型出錯，則重試一次。

--Warming：也是重試，但將溫度加0.5。

--Escalation：如果模型出錯，則換用更高效的模型。

附圖顯示了在HumanEval評測中，不同策略的表現。可以看到，基本策略（標記為紫色的Baseline Agent）在準確性上幾乎達到了複雜策略（如LATS、LDB、Reflexion）的效果，但成本更低。這些結果強調了考慮成本的重要性。作者建議，未來在設計新代理架構時，應該將這些基本策略納入基準。

這一發現對於AI代理人的發展具有重要意義，表明了在滿足性能需求的同時，降低成本的重要性。作為工程師，在設計AI代理人時，忽視成本是不明智的。這些簡單策略的成功展示了簡單高效的設計在實際應用中的潛力。

總結:

《AI Agents That Matter》這篇論文對於AI代理人的研究和開發提出了重要的改進建議。通過揭示目前評估指標的不足，強調成本與準確性的聯合優化，區分模型開發者和應用開發者的需求，提出防止過度擬合的框架，以及推動標準化和可重複性，這些建議對於未來的AI代理人研究和應用具有深遠的影響。

P.S.特別感謝 #ChatGPT 潤飾此篇文章。 🤖

撰文：許楷翊

參考文獻：

Kapoor, S., Stroebl, B., Siegel, Z. S., Nadgir, N., & Narayanan, A. (2024). AI Agents That Matter. ArXiv. /abs/2407.01502