يقدم المساعد إجابة ناقصة. يتوقف تقرير في منتصفه. يقول الفريق إن الوكيل متعطل. قد تبدو هذه مشكلة واحدة للمستخدم، لكنها قد تتطلب أعمالاً هندسية مختلفة تماماً.
السؤال المفيد الأول محدد: أين توقفت المهمة عن التقدم؟
في تنفيذ LEED Agency، اعتمدت التقارير الأعمق على قواعد خاصة بكل عميل وتقارير سابقة وملفات. شمل العمل الهندسي تنظيم هذه المعرفة وإضافة الاسترجاع وضبط تشغيل المهام الأطول. يحتاج مساعد التقارير إلى مسار موثوق للسياق الصحيح قبل أن يفيده تحسين التعليمات.
كشف ConvertSail نوعاً مختلفاً من الأعطال. فقد تكون الأداة متصلة عبر مسار، بينما يفحص المساعد مساراً آخر ويبلغ بأنها غير متاحة. كان التصحيح بتحديد التكامل المعتمد ومنح النظام طريقة ثابتة لاستخدامه. مطالبة المستخدم بإعادة ربط خدمة تعمل بالفعل كانت ستضيف خطوة دون معالجة السبب.
أوضح تحقيق منفصل في سير عمل لإنتاج الوسائط هذا الفرق. فقد تضمنت شكوى من تعطل الوكيل مشكلة في الوصول إلى إحدى القنوات. وكانت موثوقية المزود وجودة المخرجات مسألتين منفصلتين. فصل العمل الموثق بينهما، وفحص سجلات الخدمة والمهام، وأنتج عينات منضبطة للمراجعة. فالعملية العاملة والقناة المتاحة والنتيجة المقبولة ثلاثة أمور مختلفة ينبغي التحقق من كل منها.
تقترح هذه الأمثلة طريقة عملية لمراجعة سير عمل الذكاء الاصطناعي. ابدأ بطلب المستخدم وحدد المخرج المتوقع. افحص المصدر الذي ينبغي للنظام قراءته والمسار الذي يجب استخدامه والصلاحية المطلوبة والسجل المتوقع بعد ذلك. ثم افحص النقطة التي ينحرف عندها الواقع عن هذا التسلسل.
تساعد لوحة التحكم عندما تعرض هذه الحالات بوضوح. كلمة «يعمل» أقل فائدة من توضيح ما إذا كان النظام يسترجع السياق أو ينتظر الصلاحيات أو يعدّ مسودة أو يطلب قراراً. ينبغي أن تجعل الواجهة الخطوة التالية مفهومة للشخص المسؤول عنها.
هذا هو العمل الهندسي حول النموذج: تزويد نظام قادر بالسياق الصحيح والصلاحيات ومسار التشغيل المناسب. الهدف سير عمل يستطيع الفريق استخدامه وفحصه، وأعطال محددة بما يكفي لمعالجتها.