Cette page décrit le protocole de nos comparaisons publiques. Elle ne présente pas un benchmark terminé ni un taux de réussite. Chaque résultat publié doit pouvoir être rattaché à un fichier, une méthode et une date.

Définir la question avant le test

Choisissez le résultat à mesurer : variation du score d’un détecteur, préférence d’écoute ou temps de traitement. Fixez les critères avant de voir les résultats. Un seuil fixé par une interface ne devient pas une vérité sur l’origine du morceau.

Séparer réglage et évaluation

Les morceaux utilisés pour choisir une recette constituent le lot de développement. Évaluez ensuite cette recette sur un lot distinct, jamais utilisé pour ces choix. Conservez plusieurs styles, durées et versions de générateurs ; des extraits du même titre ne comptent pas comme des morceaux indépendants.

Pour publier l’audio, utilisez des créations dont les droits de diffusion sont vérifiés. Les fichiers clients ne deviennent pas des exemples publics par défaut.

Conserver une trace de chaque passage

Séparer les fichiers analysés des copies d’écoute

Le détecteur reçoit les fichiers tels qu’exportés. Pour l’écoute, ajustez seulement le niveau de lecture ou préparez des copies identifiées à niveau comparable. Ne substituez pas ces copies aux fichiers dont les scores ont été enregistrés.

Masquez le nom du traitement et alternez l’ordre des versions lorsque c’est possible. Notez séparément voix, aigus, transitoires, image stéréo et préférence globale. Une baisse de score ne compense pas automatiquement une perte sonore.

Publier le dénominateur et les limites

Indiquez le nombre de morceaux, de traitements et d’analyses disponibles. Publiez les résultats défavorables et les exclusions avec leur motif. Affichez la distribution des scores plutôt que le meilleur cas seul. Un petit lot ne permet pas de garantir le comportement sur tous les morceaux.

Le benchmark compare les fichiers et les versions indiquées à une date donnée. Il ne certifie ni une origine humaine, ni une suppression de watermark, ni une acceptation par une plateforme.

Rédigé avec assistance IA. Sources ci-dessous.