اعتبارسنجی سری زمانی: آینده را وارد آموزش مدل نکنید

پیش‌بینی مراجعه هفته آینده با برآورد میانگین سال آینده مسئله یکسانی نیست. افق موردنیاز و زمان تصمیم را مشخص کنید. سپس بنویسید در همان زمان، چه اطلاعاتی واقعاً در دسترس خواهد بود.

در اعتبارسنجی سری زمانی، مجموعه آموزش باید پیش از دوره ارزیابی قرار بگیرد. می‌توان مبدأ پیش‌بینی را در طول زمان جلو برد و خطاهای پیش‌بینی را برای چند دوره سنجید. این روش به ارزیابی نزدیک‌تر به شرایط استفاده کمک می‌کند. برازش خوب روی گذشته، به‌تنهایی کیفیت پیش‌بینی آینده را نشان نمی‌دهد.

اگر متغیری پس از زمان تصمیم معلوم می‌شود، استفاده از آن برای پیش‌بینی همان تصمیم می‌تواند ارزیابی را مخدوش کند. مثال عملی: گزارش نهایی ماه نباید ورودی پیش‌بینی‌ای باشد که ابتدای همان ماه انجام می‌شود. زمان در دسترس شدن هر ستون را ثبت کنید.

• تاریخ‌ها مرتب و بدون تکرار ناخواسته باشند.
• واحد و تناوب ثبت روشن باشد.
• تغییر فرآیند، تعطیلی یا وقفه ثبت توضیح داده شود.
• تفاوت صفر واقعی و روز ثبت‌نشده مشخص شود.

درباره افق پیش‌بینی، مدل پایه، معیار خطا و نمایش عدم‌قطعیت توافق کنید. نتیجه باید در زمینه تصمیم واقعی شما تفسیر شود. اگر شرایط تولید داده تغییر کرده است، این تغییر را از تیم تحلیل پنهان نکنید؛ بخشی از مسئله مدل‌سازی است.