Données de validation

À quoi servent les données de validation ?

Les données de validation aident à évaluer et sélectionner des variantes de modèle ou des réglages pendant le développement. Leur rôle diffère de celui des exemples à partir desquels le modèle apprend ses paramètres. Elles peuvent être utilisées comme ensemble réservé ou dans des répartitions successives. Le choix de la répartition dépend aussi des relations temporelles ou d’autres dépendances entre exemples. La sélection du modèle doit être prise en compte pour organiser une évaluation finale indépendante.

Dans un projet fictif de classification de photos de pièces détachées, l’équipe prévoit de comparer plusieurs variantes avec des images de validation. Elle examine les erreurs par classe d’article et condition de prise de vue au lieu de choisir uniquement selon un score global. Dans ce projet, les images réservées au test final restent hors de cette sélection. Adapter sans cesse les variantes aux mêmes cas de validation peut aussi y produire une image trop favorable. L’équipe documente donc le rôle des images et les décisions de sélection. Un bon score de validation ne démontre pas à lui seul des performances équivalentes sur de futures photos de produits.

Sources

• Google · Datasets: Dividing the original dataset

• scikit-learn · Cross-validation