الإشارة بدلًا من الكتابة.. جوجل تعيد ابتكار مؤشر الفأرة ليتحوّل إلى مساعد ذكي يفهم ما تراه

تسعى شركة جوجل عبر شركة “ديب مايند” لتغيير طريقة التفاعل مع أدوات الذكاء الاصطناعي من خلال تحويل مؤشر الفأرة إلى عنصر أساسي في “هندسة السياق”، بدلاً من الاعتماد الكامل على الأوامر النصية التقليدية.

أوضح الباحثان أدريان بارانيس وروب مارشانت من ديب مايند أن أدوات الذكاء الاصطناعي الحالية تعمل عادة في نوافذ منفصلة، مما يفرض على المستخدم نقل المحتوى يدوياً. يهدف المشروع الجديد إلى جعل الذكاء الاصطناعي يفهم السياق المحيط بالمؤشر مباشرةً، بالاعتماد على قدرات Gemini في تحليل العناصر البصرية على الشاشة.

تتيح التقنية للمستخدم تنفيذ أوامر مختصرة مثل “أصلح هذا” أو “انقل ذلك هنا”، مع دعم التفاعل الصوتي والإيماءات. يحلل النظام ما يحيط بالمؤشر ويتعرّف على العناصر الظاهرة مثل الأماكن والتواريخ والأجسام.

يمكن للمستخدم تحويل صور لملاحظات مكتوبة بخط اليد إلى قوائم مهام تفاعلية، أو حجز طاولة مباشرة من صورة داخل مقطع فيديو لمطعم، أو إجراء تعديلات سريعة داخل مستند نصي باستخدام المؤشر.

بدأت جوجل بإدماج هذه الاستخدامات داخل Gemini في متصفح كروم، حيث أصبح بإمكان المستخدم تحديد أجزاء من صفحة ويب وطرح أسئلة مباشرة عنها. تخطط الشركة لإطلاق الميزة في أجهزة Googlebook المرتقبة تحت اسم “المؤشر السحري Magic Pointer”.

تشير ديب مايند إلى أن التقنية الجديدة لن تستبدل “هندسة الأوامر النصية” بالكامل، حيث أن المهام المعقدة لا تزال تتطلب أوصافاً دقيقة ومفصلة. сосّطت الفكرة الجديدة على تبسيط التفاعلات اليومية السريعة وتقليل الجهد اللازم لإتمام المهام عبر الذكاء الاصطناعي.