Comment comparer les modèles de prévision avant d’en sélectionner un dans AWS Supply Chain

Ce tutoriel montre comment comparer des candidats de prévision avant de sélectionner un modèle pour une utilisation opérationnelle dans AWS Supply Chain.

1. Conserver le jeu de données constant

Utiliser le même historique, horizon de prévision, granularité produit-emplacement et exclusions pour tous les candidats. La comparaison de modèles n'a aucun sens si chaque candidat est évalué sur un cadre différent.

2. Générer des candidats comparables

Exécuter plusieurs approches de prévision et capturer leur performance en utilisant les mêmes périodes d'évaluation et segments métier.

3. Comparer les métriques par segment

Examiner l'erreur, le biais et la stabilité par catégorie, pattern de demande et importance métier plutôt que de choisir le modèle avec le meilleur score agrégé unique.

4. Examiner les erreurs structurelles

Rechercher les sous-prévisions systématiques, sur-prévisions, mauvais traitement de l'intermittence et comportement instable autour des promotions ou lancements.

5. Valider sur une période de rétention

Ne pas sélectionner un modèle uniquement sur la performance intra-échantillon. Utiliser une période que le modèle n'a pas vue pendant l'ajustement et le comparer à la méthode en place.

6. Documenter la décision de sélection

Enregistrer pourquoi le modèle a été sélectionné, qui l'a approuvé, les segments où il s'applique et le seuil qui déclencherait un retour arrière.

Contrôles d'échec

• Aucun changement automatique de modèle sans seuil de gain prédéfini.
• Segmentation stable entre les candidats.
• Critères de retour arrière explicites.
• Surveillance de la dérive post-déploiement.