ตัวแทนต่อเนื่องหลายรูปแบบ: วิสัยทัศน์ ข้อความ และการกระทำ
ตัวแทนแบบข้อความเท่านั้นสามารถให้เหตุผลและเรียก API ได้ แต่จะไม่สามารถมองเห็นได้ ตัวแทนต่อเนื่องหลายรูปแบบเพิ่มเลเยอร์การรับรู้ภาพ: สามารถดูภาพหน้าจอ ไดอะแกรม รูปภาพผลิตภัณฑ์ หรือฟีดกล้องถ่ายทอดสด และใช้ข้อมูลนั้นเพื่อตัดสินใจดำเนินการต่อไป นี่คือรากฐานของตัวแทนการใช้คอมพิวเตอร์ ระบบทำความเข้าใจเอกสาร และหุ่นยนต์ที่นำทางสภาพแวดล้อมทางกายภาพ