How to successfully set up your AI-Moderated Interviews and AI/ML data collection projects

Prev Next

Ce document a été créé pour soutenir les clients et les projets qui exploitent les capacités d’IA dans la recherche et la collecte de données. Cela inclut :

  • Des clients qui ont besoin de données humaines qualitatives à grande échelle.

  • Des marques, des sondeurs politiques, des médias ou des agences de recherche menant des études AIMI (AIMI) via vidéo, audio ou texte.

  • Des entreprises d’IA/ML entraînant et validant des modèles ou améliorant des ensembles de données conversationnelles ou comportementales .

    Standardisé pour l’orthographe américaine « behavioral » afin de correspondre à « behavior » utilisée plus tard dans le document.

  • Des projets nécessitant un effort et une variabilité plus élevés des répondants que les enquêtes quantitatives traditionnelles.

  • Les projets où les références traditionnelles des enquêtes, par exemple la durée de l’entretien (LOI), le taux d’incidence (IR) et le coût par entretien (CPI), peuvent ne pas s’appliquer directement.

Quand utiliser ce guide des meilleures pratiques ?

Nous encourageons les clients souhaitant lancer des projets à soutenir la collecte de données pour les entretiens modérés par IA et la construction, formation et validation de modèles IA/ML à se référer à ce guide afin de garantir que leurs projets puissent être menés avec succès.

Parmi les exemples de projets qui bénéficieraient des meilleures pratiques définies :

  • Recherche conversationnelle : Interviews modérées par IA, où un agent IA utilise du texte, de l’audio ou une vidéo pour sonder le répondant et obtenir des informations plus approfondies à partir des réponses fournies.

  • Collecte de données pour la construction, l’entraînement et la validation de modèles IA/ML : Ensembles de données comportementaux, linguistiques ou multimodaux pouvant être appliqués à un large nombre de cas d’usage.

Comment mettre en place avec succès votre projet

Avant de lancer votre projet, veuillez vous assurer d’avoir pris en compte les éléments suivants :

  • Le déroulement de l’étude et le parcours des répondants

  • Attentes réalistes pour les LOI et les IR

  • Effort et temps réels, non perçus, du répondant

En considérant les points ci-dessus, il sera plus simple de répondre au défi commun des projets conçus en fonction de l’expérience prévue des répondants plutôt que sur leur comportement réel.  

Sans prise en compte appropriée, des taux d’abandon élevés, de faibles taux de conversion des enquêtes et des données de qualité incohérente ou de faible qualité peuvent survenir, allongeant le temps de déploiement.

Nous vous recommandons de tester votre projet avant de le lancer afin d’identifier et de résoudre les problèmes afin d’assurer un lancement sans heurts.

Découvrez comment trouver la lettre d’intention et la relation IR appropriées dans notre FAQ.

Conception pour l’effort du répondant

Le concept le plus important dans les projets AIMI est que l’effort, et non la durée de l’entretien, détermine la performance et la qualité des données.

L’effort augmente significativement selon les différentes modalités :

  • Texte : friction la plus faible, le plus grand nombre de complets

  • Audio : effort modéré, conversion plus faible

  • Vidéo : plus d’efforts, taux d’abandon le plus élevé

Cela s’applique à tous les clients utilisant les capacités d’IA pour la recherche, bien que différemment :

  • Marques et agences de recherche : Impact sur la faisabilité et le coût

  • Entreprises IA/ML : Impact sur la richesse des données vs compromis d’échelle

Nous vous recommandons d’informer les participants dès le début de la modalité de recherche à laquelle ils participeront et du niveau d’engagement attendu. Cela leur permettra de prendre une décision éclairée quant à leur participation, contribuant ainsi à réduire le taux d’abandon et garantissant des réponses de haute qualité.

Créer une expérience enrichissante pour les répondants

Dans certains projets AIMI, il peut être demandé aux répondants de :

  • Ouvrez un nouvel onglet ou une nouvelle fenêtre pour enregistrer audio/vidéo

  • Utilisez un outil externe en dehors de l’enquête

  • Quittez l’enquête et revenez plus tard pour la compléter

Bien que ces configurations puissent fonctionner, elles introduisent souvent des frictions dans l’expérience. À chaque étape supplémentaire, surtout en quittant l’enquête, le volume et la qualité des réponses reçues ont un impact. Par exemple :

  • Une interruption du flux du répondant peut contribuer à une perte de concentration

  • Introduisez de la confusion sur les prochaines étapes et menez à une dépose

C’est particulièrement important pour des tâches comme l’audio et la vidéo, où l’effort est déjà plus élevé. Dans la mesure du possible, maintenir toute l’expérience dans un seul flux continu (dans la même fenêtre) tend à aboutir à une expérience plus fluide et à des taux d’achèvement plus élevés.

Une expérience plus simple et plus fluide permet de garantir que :

  • Les répondants restent engagés

  • Réduire la complexité pour diminuer les chutes

  • Améliorer la qualité globale des données et la performance du projet

Astuce : utilisez une barre de progression pour maintenir l’engagement des répondants

L’une des principales raisons pour lesquelles les répondants abandonnent les entretiens qualitatifs plus longs est l’incertitude.

Lorsque les participants ne savent pas combien de temps il reste pour remplir le questionnaire, ils ont tendance à percevoir l’entretien comme plus long qu’il ne l’est réellement. Un indicateur de progrès simple et précis aide à définir les attentes et donne aux répondants la confiance qu’ils progressent de manière régulière.

Une barre de progression peut aider :

  • Réduire la durée perçue de l’entretien

  • Donnez aux répondants un sentiment d’accomplissement au fil de l’entretien

  • Réduire l’anxiété autour du « Combien de temps ça va encore ? »

  • Encouragez les participants à rester engagés jusqu’à la fin

  • Des taux d’abandon potentiellement plus faibles, en particulier lors d’entretiens longs modérés par l’IA.

Meilleures pratiques

  1. Fixez les attentes dès le départ.
    Avant le début de l’entretien, dites aux répondants approximativement :

  • combien de temps cela prendra,

  • que des réponses audio ou vidéo soient attendues,

  • et qu’ils pourront suivre leurs progrès tout au long du processus.

    Des attentes claires réduisent l’incertitude dès le départ.

  1. Montre toujours des progrès.
    Affichez une barre de progression tout au long de l’entretien afin que les répondants sachent toujours où ils se trouvent.

    Exemples :

  • Pourcentages de réussite, par exemple 25 % de complétion

  • Questions terminées : par exemple, la question 5 sur 12

  • Suivi temporel, par exemple 8 minutes restantes (seulement si une estimation fiable est présentée)

  1. Assurer un suivi précis de ses progrès

    Évitez les barres de progression qui restent à 10 % pendant plusieurs minutes puis qui passent soudainement à 90 %. Les répondants remarquent lorsque les progrès semblent trompeurs, ce qui peut réduire la confiance. L’indicateur de progrès doit refléter une véritable progression lors de l’entretien.

  2. Divisez l’entretien en étapes individuelles

    Au lieu de montrer une longue interview, divisez-la en sections logiques.

    Par exemple :

  • Introduction

  • Apprendre à te connaître

  • Expérience produit

  • Discussion plus approfondie

  • Dernières réflexions

     Les répondants estiment qu’ils atteignent des étapes importantes plutôt que de devoir affronter une tâche continue.

  1. Célébrez des étapes importantes

    De petits messages tout au long de l’entretien peuvent renforcer les progrès.

    Par exemple :

✅ Tu en es à environ un tiers du chemin.

🎉 Super ! À mi-chemin.

👍 Il ne reste plus que quelques questions.

     Ces indices simples peuvent aider à maintenir la motivation.

  1. Ne laissez pas les 10 % restants traîner

L’une des plus grandes frustrations de l’expérience utilisateur est d’atteindre « 90 % » puis de passer plusieurs minutes de plus à finir. Visez des progrès cohérents du début à la fin pour chaque question afin que les répondants restent engagés.

Meilleures pratiques en matière de sondage par IA

Pour créer une expérience de haute qualité pour les répondants tout en maintenant l’efficacité des entretiens, le sondage par IA doit être intentionnel, limité et adaptable.

  • Fixez le nombre maximal de sondes : Configurez un nombre maximal de sondes de suivi pour chaque question afin d’éviter des conversations répétitives ou trop longues.

  • Ajoutez des garde-fous de modération : Passez à la question suivante une fois la limite maximale de sonde atteinte. Si un participant ne peut pas fournir d’informations significatives après le nombre imparti de requêtes de suivi, l’IA devrait aller de l’avant plutôt que de continuer à sonder indéfiniment.

  • Fixez des normes claires pour mettre fin à l’enquête : Terminez les entretiens dynamiquement en temps réel lorsque cela est nécessaire. Configurez l’IA pour écourter l’entretien si un participant échoue à plusieurs reprises à apporter du contenu, empêchant ainsi une poursuite inutile jusqu’à la fin.

    Meilleures pratiques : Lorsque vous établissez la logique de la modération, faites attention à ne pas rendre les règles de disqualification trop strictes. Un bon équilibre entre l’intégrité des données et l’expérience du participant est essentiel, garantissant ainsi que les répondants ont une occasion équitable de développer ou d’éclaircir leurs points avant la résiliation. Cette approche permet de prendre en compte les indicateurs de santé, de minimiser les frictions pour le participant et de réduire le besoin pour les clients de filtrer manuellement les entretiens médiocres après la fin du travail de terrain.

  • Estimez la LOI précise : En examinant en facteurs la LOI estimée. Pour fournir aux répondants une estimation précise de la durée, la durée anticipée de l’entretien doit intégrer le nombre maximal de sondes configurées.

  • Ajoutez des réglages dynamiques de la barre de progression : La barre de progression doit indiquer avec précision l’avancement global de l’entretien. Plutôt que de s’arrêter ou de ralentir lorsque des sondes de suivi sont présentées, l’indicateur doit avancer progressivement pour refléter le parcours continu du participant.

Définir des incitations appropriées

Les modèles traditionnels de tarification par sondage reposent fortement sur les LOI pour déterminer quelle est une récompense juste et appropriée pour le répondant. Pour les projets AIMI, cela est souvent insuffisant car une tâche vidéo courte peut sembler plus exigeante qu’une longue enquête, et l’audio et la vidéo introduisent des frictions psychologiques et techniques.

Nous recommandons aux chefs de projet :

  • Alignez l’IPC sur l’effort perçu par le répondant, pas seulement sur le temps

  • Utilisez Boost CPI lorsque :

    • Les médias (audio/vidéo) sont impliqués

    • Le ciblage est un domaine de niche

    • Le rythme au début est lent

Augmenter l’IPC améliore le trafic sur une enquête qui demande plus d’efforts, mais ne résout pas les problèmes structurels. Si votre projet continue à rencontrer des problèmes, veuillez vous assurer qu’il est correctement configuré et que les répondants puissent réussir l’enquête.

Découvrez comment augmenter l’IPC dans notre FAQ.

Garantir la qualité des données dans les études AIMI

Dans les études AIMI, les réponses sont souvent ouvertes et peuvent varier en profondeur, en style et en niveau d’engagement. Par conséquent, la gestion de la qualité doit être adaptée, plutôt que de suivre la même approche utilisée pour les enquêtes traditionnelles.

Comparé aux enquêtes traditionnelles :

  • Les réponses peuvent varier davantage en longueur, en profondeur et en style

  • Des réponses répétitives ou de type peuvent survenir plus fréquemment

  • L’engagement des participants ne sera pas uniforme

  • La variabilité naturelle est attendue pour les questions ouvertes

Ainsi, lorsque cela est possible, des contrôles qualité devraient être intégrés directement dans le flux de l’enquête, par exemple des critères de sélection ou de terminaison.

Il est important qu’il y ait un alignement interfonctionnel sur ce qui constitue des réponses de haute qualité et que des contrôles intégrés le soutiennent.

Différents acteurs peuvent définir la « qualité » différemment. Voici quelques exemples à considérer :

  • Les équipes de recherche peuvent se concentrer sur la clarté et l’analyse

  • Les équipes IA/ML peuvent se concentrer sur la structure, la variabilité ou l’utilité de l’entraînement

  • Les partenaires mondiaux du panel se concentrent généralement sur une évaluation équitable et des critères cohérents

Pour aider les chercheurs qualitatifs à maintenir des normes élevées, la Global Data Quality Initiative a publié le manuel Safeguarding Qualitative Research Handbook. En s’appuyant sur cette ressource, nos recommandations principales incluent :

  • Protégez tous les projets de manière égale, car les fraudeurs visent tout type de projet

  • Effectuez des vérifications de qualité et de fraude dans les enquêtes de sélection pour éliminer rapidement les acteurs malveillants

  • Fixez les attentes comportementales lors des enquêtes de dépistage pour les répondants

  • Utilisez des vérifications de connaissances pour les sujets spécialisés, mais soyez attentif au rappel des répondants pour des événements spécifiques, par exemple un répondant pourrait dire avoir acheté une marque le mois dernier, mais en réalité c’était dans les derniers mois.

Nous vous encourageons à consulter le document des approches internes du GDQ pour une liste complète des mesures pouvant être prises afin d’améliorer la qualité des données

Équilibrer la qualité des réponses et la faisabilité

Il est important de s’assurer que la conception de votre étude et l’expérience des répondants permettent aux répondants de participer et de soumettre avec succès une réponse. Les meilleures pratiques incluent :

  • S’aligner sur les critères de qualité dès le départ

  • Utilisation des vérifications en cours d’enquête lorsque cela est possible

  • Révision précoce des données et calibration des paramètres du projet

  • Maintenir un équilibre entre les standards de qualité et les performances réalisables

  • Utiliser les qualifications appropriées pour trouver votre public cible au sein de la Cint Exchange

Cela vous permettra de pouvoir répondre à temps, de gérer efficacement votre budget et d’accéder à toutes les fournitures disponibles pour répondre aux besoins de votre projet.  

Découvrez la faisabilité dans le Cint Exchange dans notre FAQ.

Soumission de rapprochements corrects

Si les réponses ne répondent pas à vos exigences, elles peuvent être rejetées dans l’enquête (préférentiel) ou lors de l’examen du sondage.

Néanmoins, il est crucial de respecter les répondants qui ont consacré leur temps à fournir des éclairages. Avant de décider d’exclure un participant, évaluez s’il a fait preuve d’honnêteté et d’engagement. Si oui, leurs données devraient généralement être conservées. Les cas où les données manquent de profondeur malgré l’honnêteté et l’engagement d’un participant indiquent souvent la nécessité d’affiner la structure de l’enquête ou la méthodologie de l’entretien.

Veuillez noter que partager des exemples clairs ou des données expliquant pourquoi une réponse doit être rapprochée aide à améliorer la qualité future des réponses.

Veuillez garder à l’esprit que toute variation dans les réponses n’indique pas une mauvaise qualité et qu’un certain niveau de variabilité est attendu dans les formats ouverts.

Découvrez-en plus sur la politique de rapprochement de Cint Exchange et comment soumettre des rapprochements dans notre FAQ.

Performance itérative du projet

Contrairement aux enquêtes traditionnelles, les études AIMI sont rarement optimales au lancement.

Ils exigent :

  • Premiers tests pour vérifier et résoudre les erreurs du projet

  • Surveillance de la performance réelle

  • Ajustements itératifs pour augmenter les performances

Nous recommandons aux chefs de projet de suivre de près :

  • Points de dépôt (notamment les étapes médias)

  • Taux de conversion

  • Temps réel d’achèvement vs effort attendu

Dans le Cint Exchange, le suivi des données de performance est simplifié en exploitant l’onglet performance du groupe cible.

Découvrez comment suivre la performance du groupe cible dans notre FAQ.

Configuration de la plateforme et validation technique

Avant de lancer une étude, nous recommandons aux chefs de projet de s’assurer de :

  • Toutes les redirections fonctionnent correctement (complet, termine, surquota)

  • Les identifiants des répondants (RID) passent avec précision

  • Le parcours de bout en bout est testé, et un répondant peut soumettre avec succès une réponse

C’est particulièrement crucial lorsque :

  • Des outils externes sont utilisés dans l’expérience du répondant

  • Une logique personnalisée ou une capture média est impliquée

Considérations de confidentialité

Veuillez vous assurer qu’un consentement clair et explicite du répondant est obtenu :

  • Fournir des instructions pour répondre à l’enquête afin de définir des attentes claires pour les répondants

  • Expliquez, si possible, comment les données seront utilisées

  • Informez les répondants de leurs droits et processus concernant les données pour faire de nouvelles demandes concernant leurs données et leur participation à la recherche, le cas échéant

Pour garantir le respect total des réglementations locales et internationales sur la vie privée, nous recommandons de consulter des experts juridiques ou un conseiller juridique en interne afin de vérifier que toutes les mesures requises ont été mises en œuvre.