بيانات الرؤية في الذكاء الاصطناعي غير مستقرة: النماذج التوليدية تعطي إجابات مختلفة في كل مرة، لذلك قد يكون القياس الفردي مضللاً. يقدم بحث جديد من IQRush قاعدة التوقف التي تسمح بتحديد متى تصبح التصنيفات موثوقة. في هذه المقالة، سنحلل كيفية تمييز النمو الحقيقي عن ضوضاء القياسات وما هي الاستنتاجات العملية التي تتبع ذلك للمسوقين.
لماذا القياسات الفردية للرؤية في الذكاء الاصطناعي غير موثوقة
محركات البحث مثل SearchGPT و Gemini و Perplexity تُدخل العشوائية في كل إجابة. نفس الاستعلام قد ينتج مصادر مختلفة – هذه سمة من سمات البنية. أظهر البحث أنه، على سبيل المثال، عند اختبار SearchGPT حول موضوع معدات الجري، حصل Tom’s Guide على حوالي 9.5% من الاستشهادات، بينما حصل Runner’s World على حوالي 6.0%. كان الفرق البالغ 3.5 نقطة مئوية ضمن هامش الخطأ، لذا فإن الادعاء بتفوق Tom’s Guide كان غير صحيح.
كم عدد البيانات اللازمة لتصنيف موثوق
تتكون الإجابة من شرطين يجب تحقيقهما في وقت واحد. الأول: يجب أن يتوقف الترتيب عن التغيير. بعد جمع عدد كافٍ من الإجابات، تبدأ المواقع الأعلى في الظهور بوضوح. الثاني: يجب أن يتجاوز الفرق بين المواقع الأعلى هامش خطأ القياسات. إذا كان المنافسون قريبين جدًا، فإن التصنيف لا يعكس التفوق الحقيقي.
في 30 اختبارًا عبر منصات وموضوعات مختلفة، تراوح عدد الإجابات اللازمة لتحقيق كلا الشرطين من 33 إلى 94 (تم أخذ الإجابات ذات الاستشهادات فقط في الاعتبار). في ثلاث حالات من أصل 30، لم يكن من الممكن تحقيق ذلك حتى بعد 125 استعلامًا – جميعها على SearchGPT، حيث كانت المواقع الأعلى متشابهة جدًا.
استنتاجات عملية للمسوقين
ينصح راند فيشكين (SparkToro): قبل إنفاق الأموال على تتبع الرؤية في الذكاء الاصطناعي، تأكد من أن المزود “يظهر حساباته”. يعطي بحث IQRush قاعدة توقف بسيطة لعدم الاعتماد على الحدس. إذا رأيت زيادة في الاستشهادات بمقدار 3 نقاط مئوية بعد تحديث المحتوى، فقد يكون هذا تباينًا طبيعيًا. قم بقياس المؤشرات قبل وبعد عدة مرات – القياس الفردي لا يمكن تمييزه عن الضوضاء.
منصات مختلفة – متطلبات بيانات مختلفة
Gemini يُحمّل الاستشهادات لنفس المواقع ضمن إجابة واحدة، لذلك تحمل العديد من الاستشهادات معلومات جديدة قليلة. SearchGPT يعطي استشهادات أقل لكل إجابة، لكنه يوزعها على نطاق أوسع – كل إجابة تحتوي على بيانات مستقلة أكثر. نفس عدد الإجابات على منصتين لا يعطي نفس الثقة: الميزانية الكافية لـ Gemini قد تتركك في جهل على SearchGPT.
عندما تكون البيانات غير كافية: اعرف متى تتوقف
في ثلاثة من أصل 30 اختبارًا، لم تنفصل المواقع الأعلى بشكل واضح. في مثل هذه الحالات، القرار الصحيح هو الامتناع عن نشر التصنيف. المتتبع الذي يمكنه أن يقول “بيانات غير كافية” هو أكثر قيمة من ذلك الذي ينتج ترتيبًا واثقًا في كل استعلام.
يمكن الوثوق فقط بالقادة: مع عدد كافٍ من الإجابات، ينفصلون عن الوسط والذيل. ولكن حتى بالنسبة لأفضل 10، فإن هامش الخطأ النموذجي يبلغ حوالي خمسة مراكز، وكل مركز خامس يزيد عن 10. لا تنشر مراكز دقيقة خارج قمة القائمة.
قيود البحث
هذه نسخة أولية مبنية على 30 اختبارًا عبر ثلاث منصات باستخدام أسئلة تم إنشاؤها بواسطة ChatGPT، وليس استعلامات مستخدمين حقيقية. الأرقام الدقيقة لا تنتقل إلى مواضيعك – اعتبرها كشكل من أشكال المشكلة، وليس جدول قيم. في اختبار واحد، أعطت 125 سؤالاً 104 إجابات مفيدة فقط (فقدان 17%)، لذا يجب أن يكون العدد الحقيقي للاستعلامات أكبر.
تم التحقق من الطريقة داخليًا: تمت مقارنة التصنيف المبكر بالتصنيف النهائي، وليس بمعيار خارجي. ومع ذلك، نشر فريق مستقل من جامعة سانت غالن (يوليوس شولت، مالت بليكر، فيليب كوفمان) في أبريل نتائج مماثلة على مجموعة البيانات الخاصة بهم، مؤكدين أن القراءة الفردية غير موثوقة.
مستقبل الرؤية في الذكاء الاصطناعي: من الأرقام الدقيقة إلى النطاقات
تتجه التقارير حول الرؤية في الذكاء الاصطناعي إلى تنسيق مع هامش خطأ، كما هو الحال في تحليلات الإعلانات والويب. طالما أن Search Console لا تبلغ عن النقرات التي جاءت من الذكاء الاصطناعي، فإن المهمة تقع على عاتقك: قم بتشغيل الفحص عدة مرات وأبلغ عن نطاق، وليس رقمًا واحدًا من لوحة المعلومات.
الأسئلة الشائعة
كم مرة يجب استجواب بحث الذكاء الاصطناعي للحصول على بيانات مستقرة؟
من 33 إلى 94 إجابة مع استشهادات حسب المنصة والموضوع. لا يوجد حد عالمي.
هل يمكن الوثوق بلوحات معلومات الرؤية في الذكاء الاصطناعي؟
فقط إذا أظهرت هامش الخطأ والقياسات المتعددة. الرقم المجرد بدون سياق هو علامة حمراء.
ماذا تفعل إذا زادت الاستشهادات بنسبة 3% بعد تحديث المحتوى؟
قم بعدة قياسات قبل وبعد. إذا استمر الفرق – فهذا نمو حقيقي. إذا لم يستمر – فهي ضوضاء.
ما هي المنصات التي تتطلب بيانات أكثر؟
SearchGPT – بسبب عدد أقل من الاستشهادات لكل إجابة، ولكن استقلالية أكبر لكل إجابة. Gemini – على العكس، يعطي العديد من الاستشهادات، لكنها غالبًا ما تكرر نفس المواقع.
الخلاصة
الاستنتاج الرئيسي: الرؤية في الذكاء الاصطناعي ليست مقياسًا ثابتًا، بل هي نطاق. استخدم قاعدة التوقف، وتحقق عدة مرات، ولا تنشر تصنيفات إذا لم تنفصل المواقع الأعلى. فقط بهذه الطريقة ستحصل على بيانات يمكن الاعتماد عليها. ابدأ في تطبيق هذه المبادئ اليوم لجعل تقارير الرؤية في الذكاء الاصطناعي الخاصة بك موثوقة ومفيدة لاتخاذ القرارات.