Données de test en apprentissage automatique

Que doivent montrer les données de test ?

Les données de test servent à évaluer un modèle sélectionné avec des exemples qui n’ont pas guidé son développement ou sa sélection. Elles doivent correspondre à l’usage prévu et être séparées de façon adaptée des données de développement. La répartition dépend aussi des groupes et des relations temporelles. Le nom jeu de test ne prouve ni l’indépendance ni une couverture suffisante. Le résultat vaut pour les données et les conditions effectivement évaluées.

Dans un projet fictif de pièces détachées, des photos d’autres exemplaires physiques des mêmes classes d’articles sont réservées au test final. Des prises de vue très proches d’un même exemplaire ne doivent pas se retrouver, sans qu’on le remarque, dans l’entraînement et le test. Les éclairages et conditions de prise de vue prévus sont aussi considérés. L’équipe note la variante et les données évaluées. Si elle utilise ensuite les résultats du test pour sélectionner la variante suivante, ce test a influencé le développement. Une nouvelle évaluation finale indépendante exige alors un contrôle adapté hors de cette sélection. Un résultat favorable sur les images précédentes ne garantit pas des performances équivalentes dans d’autres conditions.

Sources

• Google · Datasets: Dividing the original dataset

• scikit-learn · Cross-validation