Chaque message envoyé par votre enfant, et chaque mot que le compagnon répond, passe par
cinq contrôles indépendants. Les échanges se font en anglais, la langue que parlent les compagnons,
et voici exactement ce que chaque contrôle cherche, dans l'ordre, en suivant un seul message
du début à la fin.
Votre enfant parle
ou écrit
Avant que votre enfant reçoive une réponse1
Le contrôle instantané
S'exécute sur nos serveurs à l'instant où le message arrive, avant que l'IA ne voie quoi que ce soit.
Ce contrôle s'exécute avant que l'IA ne voie quoi que ce soit, et il peut empêcher un message de l'atteindre. Il cherche des dizaines de situations précises. Voici celles
sur lesquelles les parents nous interrogent le plus :
Deux groupes de plus : un enfant maltraité, et un enfant en crise Afficher la liste complète
Un enfant maltraité
Frappé ou blessé à la maison
Abus sexuel
Négligence : pas de repas, laissé seul
Violence entre adultes
Un adulte qui n'y arrive plus
Harcèlement
Un enfant en crise
Automutilation
Ne plus vouloir vivre
Troubles alimentaires
Détresse liée à l'image du corps
Envie de fuguer
Quelqu'un qui se rapproche de votre enfant
Demander à se rencontrer
Demander où il habite
Demander son école
Demander des photos
Pression pour vous cacher un secret
Argent ou crédits de jeu contre le silence
« Personne ne te croirait »
La propre sécurité de votre enfant
Armes
Feu et explosifs
Chimie dangereuse
Drogues et alcool
Jeux d'argent
Défis en ligne dangereux
Paris imprudents
Ce que nous refusons tout simplement
Contenu sexuel
Discours de haine
Extrémisme
Harcèlement obsessionnel
Arnaques et usurpation d'identité
Cybercriminalité
Cruauté envers les animaux
Contenus sanglants
Faire leurs devoirs à leur place
Quand il correspond à quelque chose de grave, l'IA ne voit jamais le message.
Votre enfant reçoit tout de suite une réponse chaleureuse et soigneusement rédigée, et le moment
peut vous être signalé par e-mail.
2
Le contrôle de contenu indépendant
S'exécute pendant que le compagnon réfléchit, donc votre enfant ne l'attend jamais.
Chaque message est aussi lu par un classifieur de sécurité distinct et indépendant, qui rend
son propre verdict, indépendamment de tout ce qui précède.
Certaines catégories déclenchent une alerte immédiate au lieu d'être traitées dans la conversation :
l'automutilation et tout contenu sexuel impliquant un enfant en sont les exemples les plus clairs.
Le compagnon prépare sa réponse
c'est ici qu'intervient le contrôle 3
3
Le compagnon reconnaît ce qu'on vient de lui confier
La couche qui fait le plus gros du travail, et ce n'est pas du tout un filtre.
Quand votre enfant confie quelque chose de grave au compagnon, celui-ci répond avec chaleur et l'oriente
vers un adulte en qui il a confiance. Cette réponse est elle-même le signal. Quand
le compagnon dit à un enfant de parler à un parent, un enseignant ou un conseiller de ce qu'il vient
de dire, la conversation peut être signalée et vous être envoyée par e-mail la première fois que cela se produit dans une session.
C'est important, parce que les enfants annoncent rarement un problème. Ils évoquent une habitude, ou
quelque chose qui s'est passé, en passant. Aucune liste de mots n'attrape cela, alors nous écoutons ce que
l'IA fait, pas seulement ce qu'elle détecte.
Avant que votre enfant entende la réponse4
Le contrôle de la réponse
Chaque réponse est examinée avant d'être prononcée à voix haute.
Concrètement, nous retirons :
L'école, la rue ou le nom complet de votre enfant répétés
Les promesses que le compagnon l'attendra
Dire à un enfant qu'un vrai détail peut être partagé sans risque
Des consignes physiques qu'il vient de juger dangereuses
Les réponses aux devoirs qu'il vient de refuser de donner
Tout ce qui ressemble à « ça reste entre nous »
Une version plus effrayante quand on en réclame une
Il y a aussi une règle plus douce : si un enfant dit qu'il saute
quelque chose de réel pour continuer à jouer, la réponse doit le renvoyer vers la vraie vie.
5
Le contrôle de contenu final
La toute dernière étape avant que votre enfant n'entende quoi que ce soit.
Le même classifieur indépendant que celui de l'étape 2, cette fois sur les propres mots du compagnon.
Le compagnon parle à voix haute
c'est seulement maintenant que votre enfant l'entend
Alertes par e-mail
Quand quelque chose est signalé
Les e-mails ne sont jamais regroupés. Quand il en part un, il part au moment même où
la conversation a lieu, sans résumé et sans attendre le lendemain matin, et il nomme l'enfant
concerné, pour que vous puissiez aller directement à la conversation signalée dans l'app.
Chaque conversation signalée est enregistrée et vous attend dans la transcription. Cela arrive
toujours. Pour les catégories graves (automutilation, maltraitance, grooming, un inconnu qui
prend contact, une inquiétude de trouble alimentaire), la conversation peut en plus vous être envoyée par e-mail.
Nous sommes délibérément prudents quant aux détections qui déclenchent cet e-mail, le temps de
mesurer leur comportement auprès de vrais enfants, car une fausse alerte sur la sécurité de
votre enfant est elle-même une forme de préjudice. Dans tous les cas la conversation est
signalée et vous attend, rien n'est perdu. Pour tout le reste, un e-mail peut vous être envoyé la
première fois qu'une conversation est signalée dans une session ; le reste de la session est
tout de même signalé et vous attend dans la transcription, vous n'êtes simplement pas alerté
deux fois en dix minutes.
Vous voyez ensuite l'échange lui-même : les mots réels, pas un résumé ni une étiquette de
catégorie, pour juger par vous-même de ce qui s'est passé et décider quoi faire.
Aucune couche n'est utilisée seule, et celle qui
porte le plus de poids (la propre reconnaissance du compagnon) est celle qui lit le sens plutôt
que les mots.
Les questions que posent les parents sur les contrôles
Les conversations de mon enfant avec l'IA sont-elles surveillées ?
Oui. Chaque message envoyé par votre enfant, et chaque mot que le compagnon répond, passe par cinq contrôles indépendants sur nos serveurs, à l'entrée comme à la sortie. En tant que parent, vous pouvez aussi lire la transcription complète de chaque conversation dans l'espace parents, protégé par le code PIN parental.
Serai-je prévenu si mon enfant dit quelque chose d'inquiétant à l'IA ?
Vous pouvez toujours le voir. Chaque conversation signalée est enregistrée dans la transcription avec les mots réels de votre enfant, et pour les catégories graves, le moment peut en plus être signalé et vous être envoyé par e-mail. Cela fonctionne de deux façons : un contrôle qui s'exécute avant même que l'IA ne voie le message, et un second signal tiré du comportement du compagnon lui-même, de sorte que lorsque le compagnon oriente un enfant vers un parent, un enseignant ou un conseiller à propos de ce qu'il vient de dire, la conversation est elle aussi signalée.
Un message dangereux peut-il atteindre l'IA ?
Le premier contrôle s'exécute sur nos serveurs à l'instant où un message arrive, avant que l'IA ne voie quoi que ce soit, et c'est le seul contrôle capable d'empêcher un message d'atteindre l'IA. Quand il correspond à quelque chose de grave, l'IA ne voit jamais le message, et votre enfant reçoit à la place, tout de suite, une réponse chaleureuse et soigneusement rédigée.
Quels genres de choses WimziPal surveille-t-il ?
Le premier contrôle cherche 34 situations précises, regroupées ainsi : un enfant maltraité, un enfant en crise, quelqu'un qui se rapproche de votre enfant, la propre sécurité de votre enfant, et les demandes auxquelles nous ne répondrons jamais. Cela couvre la maltraitance et la négligence, l'automutilation et les troubles alimentaires, un adulte qui demande à rencontrer un enfant ou le presse de garder un secret, les armes et les défis dangereux, ainsi que le contenu sexuel, les discours de haine et l'extrémisme.
Le filtrage de sécurité ralentit-il les réponses du compagnon ?
Non. Le contrôle de contenu indépendant s'exécute pendant que le compagnon prépare sa réponse, donc votre enfant ne l'attend jamais.
WimziPal repose-t-il uniquement sur une liste de mots interdits ?
Non, et c'est important, parce que les enfants annoncent rarement un problème. Ils évoquent une habitude, ou quelque chose qui s'est passé, en passant, et aucune liste de mots n'attrape cela. En plus des contrôles au niveau des mots, WimziPal écoute ce que fait l'IA plutôt que seulement ce qu'elle détecte, en traitant la décision du compagnon d'orienter un enfant vers un adulte de confiance comme un signal à part entière.
