صفحة وموجة صوت وإطار صورة قرب آلية قرار مضبوطة، رمز لتعدد الوسائط

الوكلاء متعددو الوسائط: حين تتحول الصورة والصوت إلى فعل

· مصطلح الذكاء الاصطناعي

Multimodal Agents — الوكلاء متعددو الوسائط

قد يصل طلب الترجمة في صورة وثيقة ورسالة صوتية ونص قصير. يستطيع المساعد متعدد الوسائط جمع هذه المعلومات، وقد يستخدمها الوكيل لاختيار خطوات العمل وإعداد مسودة طلب. يشرح المقال معنى ذلك، وما يحتاج إلى تحقق وموافقة قبل التنفيذ.

نسخة تعليمية منقحة ·

الفكرة من خلال مثال

في مثال صحفي مقترح، يراجع المساعد تسجيل مقابلة وصورة لجدول ورد فيها، ثم يقترح ملخصًا مع توقيت الأقوال وموضع الأرقام. يعود الصحفي إلى التسجيل والصورة للتحقق قبل النشر.

النموذج متعدد الوسائط يستطيع معالجة أنواع مختلفة من البيانات. أما الوكيل فيضيف اختيار خطوات وأدوات لمتابعة هدف. لذلك فإن وصف صورة وحده لا يعني إنجاز مهمة كاملة، كما أن رؤية ختم على وثيقة لا تكفي للحكم على صحتها. المثال تعليمي ولم يُختبر عمليًا.

ما الذي يجعل الوكيل متعدد الوسائط؟

المقصود بـ Multimodal Agents، أو الوكلاء متعددي الوسائط، أنظمة تستقبل معلومات من وسائط مختلفة، مثل النص والصورة والصوت والفيديو، ثم تستخدمها في متابعة هدف واتخاذ خطوات متعاقبة. وقد تنتج بدورها نصًا أو صوتًا أو إشارات مرئية، أو تستدعي أداة تنفذ إجراءً.

وتصف إرشادات Google للمواجهات التكيفية هذا الجمع بين الإشارات الحسية بوصفه وسيلة لتغيير طريقة التفاعل بحسب المستخدم والسياق، مع تطبيقات محتملة في الإتاحة لذوي الإعاقة. [1]

لكن تعدد الوسائط وحده لا يصنع وكيلًا. فنموذج يصف صورة عند الطلب نموذج متعدد الوسائط، أما الوكيل فيحافظ على هدف، ويقرر ما يحتاج إلى رؤيته أو سماعه، ويختار أداة، ويراقب أثر الفعل، ثم يواصل أو يتوقف. هذا هو الفرق بين القدرة الإدراكية ودورة العمل.

وفي مثال استخدام الحاسوب، تُضاف لقطة الشاشة إلى السياق، ويُختار الفعل التالي، ثم تُلتقط حالة جديدة لتقويم النتيجة. [2]

ولا يعني ذلك أن النظام يملك حواسًا بشرية أو فهمًا شاملًا للعالم. ما يصل إليه تمثيل رقمي انتقائي: إطار من الفيديو، أو موجة صوتية، أو نص استخرجه التعرف الضوئي. وقد تُفقد أثناء التحويل نبرة أو تفصيلة بصرية أو ترتيب مكاني حاسم.

لذلك ينبغي وصف الوسائط التي يدعمها النظام فعليًا، ومعدل أخذ العينات وحدود الجودة، بدل الاكتفاء بصفة عامة توحي بإحاطة غير موجودة.

ما الفرق بين النموذج والوكيل وتعدد الوكلاء؟

النموذج متعدد الوسائط هو محرك قادر على معالجة نوعين أو أكثر من البيانات، لكنه قد يعمل في سؤال واحد بلا ذاكرة ولا أدوات. أما الوكيل الذكي فيختار خطوات وأدوات لإنجاز مهمة؛ وقد يتعامل مع النص وحده. أما الوكيل متعدد الوسائط فيجمع الصفتين: يدرك عبر أكثر من وسيط، ويستعمل هذا الإدراك داخل دورة قرار وفعل.

كذلك يختلف المصطلح عن النظام متعدد الوكلاء. فالأول يصف تنوع قنوات الإدراك والإخراج، والثاني يصف توزيع العمل بين عدة وكلاء. يمكن لوكيل واحد أن يقرأ صورة ويسمع صوتًا ويستخدم أداة، ويمكن لفريق من الوكلاء أن يتبادل نصوصًا فقط. وقد تجتمع الخاصيتان، لكن جمعهما يضيف كلفة تنسيق ومخاطر جديدة، ولا يعد ترقية تلقائية للجودة.

أما المساعد الصوتي فليس بالضرورة وكيلًا متعدد الوسائط؛ فقد يحول الكلام إلى نص، يولد جوابًا واحدًا، ثم يحوله إلى صوت. يصبح الوصف أقرب إلى الوكالة حين يحتفظ النظام بالهدف ويستعمل ما يسمعه أو يراه لتحديد الخطوة التالية، مع قدرة مضبوطة على استدعاء الأدوات والتوقف عند الغموض.

الفرق العملي هو من يدير سير المهمة: برنامج ثابت، أم نموذج يختار الخطوات ضمن قواعد واضحة.

لماذا يزداد حضورها الآن؟

السبب ليس اختراع الفكرة في عام واحد؛ فالرؤية الحاسوبية والتعرف على الكلام والوكلاء التفاعليون مجالات أقدم. الجديد نسبيًا هو تقارب نماذج الرؤية واللغة والاستدلال مع أدوات تشغيل الحاسوب في منتجات وأطر تطوير متاحة. ففي 23 يناير 2025 عرضت OpenAI وكيل استخدام الحاسوب بوصفه معاينة بحثية تجمع رؤية الشاشة والتخطيط والفأرة ولوحة المفاتيح.

وهذا وصف من المطور يتضمن نتائج اختباراته، لا تقويمًا مستقلًا للمنتج. [2]

وفي 13 نوفمبر 2025 عرضت Google DeepMind نظام SIMA 2، الذي يتلقى تعليمات لغوية ومدخلات بصرية ويعمل في بيئات ثلاثية الأبعاد عبر لوحة مفاتيح وفأرة افتراضيتين. استُخدم هذا المصدر مثالًا على انتقال الإدراك إلى الفعل داخل بيئة تفاعلية، لا دليلًا على أن قدراته تنتقل كما هي إلى الإدارة أو الترجمة أو العالم المادي.

كما أن عبارات التقدم العام الواردة في الإعلان تبقى تقييمًا صادرًا عن الجهة المطورة. [3]

وتكشف اختبارات أحدث أن الطريق ما زال طويلًا. فقد قدمت ورقة OSWorld 2.0، بنسختها الثانية في 13 يوليو 2026، مئة وثماني مهام طويلة تمتد عبر تطبيقات ووثائق وحالات متغيرة. وفي المقياس الثنائي الأساسي عند حد أقصى قدره خمسمئة خطوة، أكمل أفضل إعداد اختبره المؤلفون 20.6% من المهام.

هذه نتيجة ضمن بيئة وبروتوكول محددين، وليست حكمًا على كل وكيل؛ لكنها تحذر من تحويل عرض ناجح قصير إلى وعد بعمل مهني كامل. [4]

مثال: صورة ورسالة صوتية لطلب ترجمة

لنفترض أن مكتب ترجمة يريد تجربة وكيل داخلي لاستقبال الطلبات. يرسل العميل صورة لوثيقة، ورسالة صوتية يذكر فيها اللغة والموعد، ونصًا قصيرًا يوضح بلد الاستعمال. هذا سيناريو تحريري مقترح، وليس نظامًا نفذناه أو نتيجة قسناها.

يبدأ المسار بنسخ الصوت واستخراج النص المرئي، مع الاحتفاظ بالمصدر والموضع ودرجة الثقة لكل معلومة بدل دمجها في قصة واحدة بلا أثر.

يقارن الوكيل الاسم ورقم الوثيقة واللغات المطلوبة، ويشير إلى التعارض بدل حسمه بالتخمين. فإذا قالت الرسالة الصوتية إن الوثيقة ستستعمل في فرنسا، بينما ذكر النص إسبانيا، يطرح سؤالًا محددًا على الموظف أو العميل. ولا يستنتج من الصورة وحدها أن الترجمة محلفة، ولا يحدد صلاحية الوثيقة قانونيًا؛ فهذه أحكام تتطلب معرفة بالجهة المستقبلة ومراجعة بشرية.

بعد التحقق يمكنه إنشاء مسودة بطاقة طلب داخلية، وإرفاق الملفات الصحيحة، واقتراح قائمة بالمعلومات الناقصة. ولا يرسل عرض سعر أو وثيقة أو رسالة خارجية إلا بعد موافقة موظف مخول. وتبقى الصور والتسجيلات في نطاق تخزين معروف، بسياسة حذف وصلاحيات وصول واضحة.

قيمة التعدد هنا أنه يقلل النقل اليدوي بين القنوات، لا أنه ينقل المسؤولية المهنية إلى الآلة.

ما الفائدة وكيف نختبرها؟

قد يتيح الوكيل الوصول إلى معلومات لم تكن النصوص المنظمة تمثلها جيدًا: تخطيط صفحة، ختم ظاهر، اختلاف بين جدول وصورة، أو نبرة تدل على تردد يحتاج إلى سؤال. وقد يحسن الإتاحة حين يسمح للمستخدم باختيار الصوت أو النص أو الصورة بحسب قدرته وظرفه.

غير أن الفائدة لا تُفترض من عدد الوسائط؛ فالوسيط الإضافي قد يرفع زمن المعالجة والكلفة، ويضيف مرحلة جديدة للخطأ. [1]

ينبغي لذلك تقويم السلسلة كاملة. لا يكفي قياس دقة نسخ الصوت أو تعرف النص داخل الصورة منفردين؛ بل يجب فحص ما إذا حافظ الوكيل على مصدر المعلومة، واكتشف التعارض، وامتنع عن الفعل عند انخفاض الثقة، وأنجز المهمة النهائية من دون أثر جانبي.

كما تُقاس الحالات العربية والفرنسية والدارجة والمزج بينها، والصور المائلة أو الضعيفة، والضجيج الصوتي الواقعي.

وتذكر OSWorld 2.0 أن الوكلاء في المهام الطويلة قد يفقدون القيود، ويفوتهم تغير يصل أثناء التنفيذ، ويخمنون بدل طلب التوضيح، ويتجاوزون التحقق النهائي. لذلك يجب أن تشمل الاختبارات مسارًا طويلًا وحالة متغيرة، لا لقطة مثالية معدة للعرض.

كما ينبغي مقارنة الوكيل بمسار أبسط: نموذج استخراج مع قواعد ثابتة وموظف قد يكون أدق وأقل كلفة في المهمة المحدودة. [4]

كيف تصل تعليمات مضللة عبر صورة أو صوت؟

حين يقرأ الوكيل شاشة أو وثيقة، قد يعامل نصًا داخل الصورة كأنه تعليمات موجهة إليه، مع أنه جزء من مادة غير موثوقة. وفي 8 سبتمبر 2026 قدمت ورقة MMPIBench اختبارًا لحقن الأوامر عبر حوامل بصرية وصوتية في أطر وكلاء متعددة.

أبلغ المؤلفان عن تفاوت بين النماذج وعن محاولات لتنفيذ بعض الأوامر المزروعة، مع بقاء الإكمال الفعلي أقل بكثير في التجربة البصرية. الورقة أولية على arXiv، ولم نتحقق من تحكيمها أو نكرر تجاربها. [5]

الدرس العملي ليس أن كل صورة عدائية، بل أن البيانات والتعليمات يجب ألا تختلطا. تُوسم المدخلات الخارجية بوصفها غير موثوقة، وتُقيد الأدوات المتاحة، ويُمنع تنفيذ الأوامر المستخرجة من وثيقة أو شاشة من دون تحقق مستقل.

كما تُعرض للمراجع البشري خلاصة واضحة: ما الذي رآه النظام، ومن أي ملف، وما الفعل الذي يقترحه، وما البيانات التي ستغادر المؤسسة.

ومن الأخطاء الشائعة منح الوكيل متصفحًا وبريدًا وملفات حساسة بحساب واحد واسع الصلاحية، أو الاحتفاظ بالصوت والصور بلا حاجة، أو إخفاء فشل الإدراك خلف جواب لغوي واثق. العلاج هو أقل قدر من الصلاحية، وبيئات معزولة، وسجلات قابلة للمراجعة، وموافقات قبل الآثار الخارجية، وخيار رجوع إلى إجراء يدوي.

الأمن هنا تصميم للمسار، لا عبارة تضاف إلى التعليمات.

كيف نبدأ بمهمة واحدة؟

تبدأ المؤسسة بمهمة واحدة يكون تعدد الوسائط فيها ضرورة فعلية، لا زينة تقنية. تُرسم خريطة المدخلات والتحويلات والأدوات، ويُحدد ما يعد حقيقة مستخرجة وما يعد استنتاجًا. ثم تُبنى مجموعة اختبار تمثل اللغات وجودة الملفات والتعارضات، وتُسجل النتيجة المرجعية التي راجعها مختص، مع مقاييس للإنجاز والخطأ الخطير ووقت التصحيح.

في التشغيل التجريبي تُفصل القراءة عن الفعل: يسمح للوكيل أولًا بإعداد تقرير أو مسودة، ثم يراجع الإنسان قراره. وبعد ثبوت الأداء في حالات محددة يمكن أتمتة خطوات منخفضة الأثر، مع إبقاء الإرسال والحذف والشراء والقرارات القانونية تحت الموافقة. وكل تحديث للنموذج أو أداة التعرف أو واجهة البرنامج يستوجب إعادة اختبار الحالات الحرجة.

الوكلاء متعددو الوسائط مهمون لأن العالم المهني نفسه متعدد الوسائط. غير أن تقريب النظام من بيئة الإنسان يزيد ما يمكنه إدراكه وما يمكن أن يخطئ فيه معًا. والاختيار الرشيد لا يبدأ بالسؤال عن عدد الحواس الرقمية، بل عن المهمة والدليل وحدود التفويض: ماذا رأى النظام؟ كيف تحقق؟ وما الفعل الذي يجوز له اقتراحه أو تنفيذه؟

المصادر وحدود الاعتماد

مقالات مرتبطة

كتاب أن تصبح مترجمًا