كيف تقيس جودة نتائج البحث في الأرشيف على عينة ممثلة؟

هذه المقالة لفريق التقييم والشراء، من تقنية المعلومات وإدارة الوثائق والمشتريات، حين يريد أن يقول «البحث في هذا النظام جيد» برقم يمكن الدفاع عنه. تعطيك طريقة بناء مجموعة الأسئلة، وقواعد التنفيذ، والمقاييس وطريقة حسابها، وبطاقة قياس بمثال محسوب، وطريقة التشخيص والتحسين. وهي تكمل اختبار OCR العربي الذي يقيس هل قُرئ النص، بينما تقيس هذه المقالة هل يصل المستخدم بسؤاله إلى الوثيقة الصحيحة.

لماذا يخدع الانطباع في تقييم البحث؟

في العرض التوضيحي يكتب المورد كلمة يعرف أنها موجودة، فتظهر الوثيقة في أول النتائج، ويخرج الفريق بانطباع ممتاز. وبعد التشغيل يكتب الموظف السؤال بطريقته، بصيغة إملائية أخرى أو بمرادف أو برقم منسوخ من خطاب، فلا يجد شيئًا. الانطباع قاس حالة واحدة اختارها من يعرف الإجابة.

القياس يغيّر ثلاثة أشياء:

• من يختار الأسئلة: فريقكم، من أسئلة طُرحت فعلًا، وقبل أن يرى النظام.
• ما يُعد نجاحًا: مكتوب مسبقًا في مفتاح الإجابة، لا يُقرر بعد رؤية النتائج.
• ما يُقارن: الأسئلة نفسها على الوثائق نفسها لكل مورد، أو للنظام نفسه قبل تعديل الإعدادات وبعده.

ويصبح للفريق لغة مشتركة: بدل «البحث ضعيف في الخطابات» تقول «ثلاثة من خمسة أسئلة عن الخطابات الممسوحة لم تصل إلى الوثيقة ضمن أول خمس نتائج»، وهذه جملة يمكن تشخيصها ومعالجتها.

ابنِ مجموعة أسئلة الاختبار

مجموعة الأسئلة هي أداة القياس، وجودة القياس من جودتها. اجمعها من مصادر حقيقية: طلبات البحث التي تصل إلى موظفي الأرشيف، وأسئلة المراجعين الداخليين، وما يبحث عنه موظفو الإدارات الأكثر تعاملًا مع الوثائق. ثم وزعها على فئات، لأن كل فئة تختبر جانبًا مختلفًا من محرك البحث.

قواعد كتابة السؤال:

• اكتبه كما يكتبه الموظف: لا تنسخ عنوان الوثيقة أو جملة كاملة منها، فهذا يختبر أسهل حالة فقط. اطلب من موظف لم يرَ الوثيقة أن يصوغ السؤال من وصفها.
• سؤال واحد لكل حاجة: إن كان للسؤال أكثر من وثيقة صحيحة، فاجعله من فئة «قائمة كاملة» وحدد الوثائق الصحيحة كلها في المفتاح.
• أدخل أسئلة سلبية: سؤال يجب ألا يعيد نتيجة لمستخدم بعينه، أو يعيد نتيجة واحدة لا غير. هذه تكشف ما لا تكشفه الأسئلة الإيجابية.
• لا يوجد عدد قياسي: المطلوب أسئلة كافية في كل فئة تهمكم لتظهر نمطًا، مع إدراك أن الفئة ذات السؤالين نتيجتها هشة. والوثائق التي تُبنى عليها الأسئلة تأتي من العينة الممثلة كما في مقالة اختيار عينة تجريبية ممثلة.

مفتاح الإجابة وقواعد التنفيذ

لكل سؤال سطر في مفتاح الإجابة: نص السؤال كما سيُكتب، والمستخدم الذي ينفذه، ومعرّف الوثيقة أو الوثائق الصحيحة، والفئة. يُعد المفتاح قبل تحميل الوثائق في أي نظام، ويبقى لدى فريقكم.

1. الوثائق نفسها لكل نظام

   المجموعة نفسها بالصيغ نفسها، وتأكد قبل البدء أن المعالجة اكتملت: القراءة الآلية انتهت، والفهرس بُني. البحث في نظام لم يُكمل الفهرسة يقيس التوقيت لا الجودة.

   تقنية المعلومات
2. فريقكم يكتب السؤال

   ينفذ عضو من فريقكم كل سؤال بحساب المستخدم المحدد في المفتاح، ويكتبه كما هو في المفتاح دون تحسين. المورد يحضر ويشرح، ولا يكتب.

   فريق التقييم
3. المحاولة الأولى تُسجل منفصلة

   سجّل النتيجة بالمحاولة الأولى. ويُسمح بإعادة صياغة واحدة مسجلة، تُحسب في عمود مستقل، لأن الموظف يعيد الصياغة أحيانًا لكنه لا يفعل ذلك بلا حدود.

   فريق التقييم
4. الترتيب كما يراه المستخدم

   سجّل موضع الوثيقة الصحيحة في النتائج بالترتيب الافتراضي للنظام، وتوقف عند أول عشر نتائج. ما بعد العاشرة يُعد «لم تظهر»، فالموظف نادرًا ما يصل إليه.

   فريق التقييم
5. الدليل لكل سؤال

   صورة شاشة للنتائج لكل سؤال، خاصة عند الإخفاق وفي أسئلة الصلاحيات، حتى لا يُختلف لاحقًا على ما ظهر.

   فريق التقييم

يمكنك قبل الاختبار الرسمي أن تتعرف على طرق البحث وشروط التصفية في تجربة البحث المتقدم، حتى يعرف فريقك أين يكتب وكيف يصفّي، ولا تتحول قلة الإلمام بالشاشة إلى إخفاق يُنسب إلى البحث.

أربعة مقاييس مبسطة

المقاييس التالية مأخوذة من فكرة مقاييس استرجاع المعلومات المعروفة، مبسطة لتُحسب في جدول عادي دون أدوات خاصة:

• نسبة الوصول ضمن أول خمس نتائج: عدد الأسئلة التي ظهرت فيها الوثيقة الصحيحة ضمن أول خمس نتائج، مقسومًا على عدد أسئلة الوثيقة الواحدة. تجيب عن: هل يجد الموظف ما يريد دون تمرير طويل؟ ويمكن حسابها أيضًا للمرتبة الأولى وحدها.
• درجة الترتيب: لكل سؤال واحد مقسوم على موضع الوثيقة الصحيحة: 1 إن ظهرت أولًا، و0.5 إن ظهرت ثانية، و0.33 ثالثة، وهكذا، وصفر إن لم تظهر ضمن العشر الأولى. ومتوسطها يكافئ النظام الذي يضع الوثيقة الصحيحة في أعلى القائمة، ويُعرف في أدبيات البحث بمتوسط مقلوب الترتيب (MRR).
• الاكتمال في أسئلة القوائم: عدد الوثائق الصحيحة التي ظهرت، مقسومًا على عدد الوثائق الصحيحة في المفتاح. وسجّل معه عدد النتائج غير المطلوبة في الصفحة الأولى، لأن الاكتمال مع ضجيج كبير يرهق الموظف.
• التسرب في أسئلة الصلاحيات: عدد الوثائق التي ظهرت لمستخدم لا يحق له رؤيتها، في النتائج أو المقتطفات أو عدد النتائج. المعيار صفر، وأي قيمة أعلى إخفاق لا يعوضه أداء بقية الأسئلة.

لا تجمع المقاييس الأربعة في درجة واحدة. كل منها يجيب عن سؤال مختلف، والدرجة المجمعة تخفي أيها ضعيف.

بطاقة القياس: مثال محسوب

البطاقة التالية لنتيجة نظام واحد على عشرة أسئلة، ثمانية منها لوثيقة واحدة، وسؤال قائمة، وسؤال صلاحيات. الأرقام افتراضية لتوضيح التعبئة والحساب، وليست نتيجة نظام بعينه، والعدد صغير عمدًا ليسهل تتبع الحساب.

لاحظ ما تقوله البطاقة وما لا تقوله. هي تقول إن البحث قوي في الأرقام المرجعية والملفات الرقمية والبحث المركب والحقول، وإن الصلاحيات سليمة في هذا السؤال. وتقول إن هناك ثلاث نقاط تستحق التشخيص: المرادفات، وتوحيد الأرقام المشرقية، واتساق أسماء الموردين في الفهرسة. لكنها لا تقول إن «جودة البحث 75%»، لأن ثمانية أسئلة لا تكفي لحكم عام، وكل سؤال فيها يحرك النسبة 12.5 نقطة.

كيف تقرأ النتائج وتقارن بين الأنظمة؟

• لكل فئة قبل المجموع: رتّب النتائج بحسب فئات الأسئلة. إخفاق فئة كاملة، كالأرقام أو الملفات الممسوحة، أخطر من إخفاقات متفرقة في فئات مختلفة، لأنه نمط سيتكرر في كل بحث من نوعه.
• وزن الفئات بحسب استخدامكم: إن كان أغلب بحث موظفيكم بالأرقام المرجعية، فنتيجة هذه الفئة تحكم الرضا اليومي أكثر من المتوسط.
• حجم الفرق مقابل حجم العينة: فرق سؤال أو سؤالين بين نظامين في عينة صغيرة لا يعني أن أحدهما أفضل. الفرق الحقيقي هو المتكرر في فئة كاملة، أو الذي يظهر في مقياس لا يحتمل الخطأ كالتسرب.
• المحاولة الأولى والثانية معًا: نظام تنجح فيه إعادة الصياغة كثيرًا يعني أن الموظف سيجد ما يريد بعد جهد إضافي، وهذا أفضل من نظام لا تنجح فيه إعادة الصياغة، لكنه أقل من نظام ينجح من المحاولة الأولى.
• المعايير مكتوبة مسبقًا: حدد قبل التنفيذ ما يُعد مقبولًا لكل مقياس وفئة، ويعتمده صاحب القرار. وإن جاءت النتائج مختلفة عن المتوقع، فناقش السبب ولا تعدّل المعيار.

ضع نتيجة القياس في مصفوفة التقييم إلى جانب بقية المعايير، ولا تجعلها تحسم الاختيار وحدها إلا إن كان البحث هو سبب المشروع الأساسي.

من الرقم إلى التحسين: صنّف كل إخفاق

قيمة القياس في ما يأتي بعده. كل سؤال لم يصل إلى الوثيقة يُفتح ويُصنف سببه، لأن لكل سبب علاجًا مختلفًا وجهة مسؤولة مختلفة:

بعد المعالجة أعد الأسئلة نفسها كلها، لا الأسئلة التي فشلت فقط، لأن تعديل إعداد قد يحسن فئة ويضر بأخرى. أما سلوك البحث مع تغيير الصلاحيات تحديدًا، كنقل موظف أو سحب صلاحية، فله اختبار مستقل في مقالة اختبار أثر تغيير الصلاحيات على نتائج البحث. وفي حالة البحث باللغة الطبيعية، يضاف إلى المقاييس سؤال عن صحة الإجابة ومصادرها، كما في مقالة تقييم البحث باللغة الطبيعية.

بعد التشغيل: المجموعة نفسها اختبار دوري

مجموعة الأسئلة ومفتاحها أصل يبقى للجهة بعد الشراء. استخدمها بثلاث طرق:

• قبل أي تحديث أو تغيير إعدادات: أعد الأسئلة في بيئة الاختبار بعد التحديث وقبل نقله إلى التشغيل، وقارن النتيجة بآخر قياس.
• دوريًا: أعد القياس على فترات منتظمة يحددها مدير الأرشيف، لأن جودة البحث تتغير مع نمو الأرشيف وتغير أسلوب الفهرسة.
• أضف إليها من الواقع: كل بحث فاشل يبلغ عنه موظف ويُعرف جوابه يصبح سؤالًا جديدًا في المجموعة بمفتاحه. هكذا تقترب المجموعة سنة بعد سنة من أسئلة جهتك الحقيقية.

ولأن الوثائق في التشغيل تتغير، احتفظ بمعرّفات الوثائق في المفتاح، وراجع المفتاح إذا أُتلفت وثيقة أو استُبدل إصدارها المعتمد.

الخطوة التالية: قِس البحث على أسئلتكم

جهّز مجموعة أولى من الأسئلة موزعة على الفئات التي تهمكم، ومعها الوثائق التي تجيب عنها ومفتاح الإجابة، مع مراعاة ما يفيد إرساله في الاستعداد للعرض التوضيحي، وحدد المستخدمين الذين ستُنفذ بحساباتهم، ومعايير القبول لكل مقياس. وتعرض صفحة البحث باللغة العربية صيغ الكتابة التي يطابقها النظام، والنتائج والصلاحيات ما تعرضه كل نتيجة، فتعرف ما يُتوقع قبل الاختبار.

ثم اطلب تجربة البحث على نموذج من مستنداتكم، ونحمّل الوثائق وننفذ معكم الأسئلة بحسابات مستخدميكم، ويسجل فريقكم النتائج في بطاقته هو.

أسئلة شائعة