L12 · 22 دقيقة
تحقّق نماذج QSAR
y-scrambling وتقسيم زمني لا عشوائي فقط.
التصميم الليبنديمنهج البحث
أهداف التعلّم
- التفريق بين التحقّق الداخلي والخارجي والزمني.
- استخدام y-scrambling لكشف النماذج التي تحفظ الضجيج.
- رفض التقسيم العشوائي وحده على بيانات series كيميائية.
الصدق أغلى من R²
التحقّق يجيب: هل سيعمل النموذج على جزيئات لم تُستخدم في تقدير معاملاته؟ التحقّق الداخلي يقدّر ذلك داخل نفس التوزيع. الاختبار الخارجي يجب أن يُحجب حتى تثبيت النموذج. التقسيم الزمني (أقدم → تدريب، أحدث → اختبار) يحاكي الاستخدام الحقيقي في مشروع medchem.
أدوات تكشف الوهم
- Y-scrambling: اخلط قيم النشاط وأعد التدريب. إن بقي الأداء عالياً فالنموذج يحفظ الواصفات لا SAR.
- Scaffold split: احجب هيكلاً بأكمله. أصعب وأصدق من split عشوائي.
- منحنى التعلم: هل يتحسّن الاختبار بزيادة N أم أنك في ضجيج؟
- معايرة الأخطاء: هل ± المعلن يشبه الأخطاء الحقيقية خارج العينة؟
| Random split | Scaffold / temporal split | |
|---|---|---|
| ما يقيسه | الاستيفاء بين نظائر مختلطة. | التعميم على هيكل جديد أو على مستقبل المشروع. |
| الرقم المتوقع | أكثر إطراءً، أقل صلة بالقرار. | أقسى، أقرب لما ستفعله غداً. |
لماذا؟ — لماذا y-scrambling وليس فقط مجموعة اختبار؟
مجموعة اختبار صغيرة قد تُحسن بالمصادفة. إذا كان بإمكانك الحصول على أداء مشابه بعد خلط y، فإن الواصفات والمرونة النموذجية كافيتان لحفظ الضجيج.
ماذا لو؟ — ماذا لو كان كل مركبات الاختبار ضمن Tanimoto 0.9 من التدريب؟
أنت تقيس إعادة إنتاج النظائر، لا التنبؤ. استخدام هذا الرقم للادعاء بأن النموذج يصلح لفرز ZINC كامل تضليل.
تمرين
صمّم خطة تحقّق من أربع نقاط لـ 120 مثبطاً عبر ثلاثة scaffolds.
مواضيع مرتبطة