Chaque message envoyé par votre enfant, et chaque mot que le copain répond, passe par
cinq contrôles indépendants. Les échanges se font en anglais, la langue que parlent les copains,
et voici exactement ce que chaque contrôle cherche, dans l'ordre, en suivant un seul message
du début à la fin.
Votre enfant parle
ou écrit
Avant que votre enfant reçoive une réponse1
Le contrôle instantané
S'exécute sur nos serveurs à l'instant où le message arrive, avant que l'IA ne voie quoi que ce soit.
C'est le seul contrôle capable d'empêcher un message d'atteindre l'IA. Il cherche 34 situations précises. Voici celles
sur lesquelles les parents nous interrogent le plus :
Deux groupes de plus : un enfant maltraité, et un enfant en crise Afficher la liste complète
Un enfant maltraité
Frappé ou blessé à la maison
Abus sexuel
Négligence : pas de repas, laissé seul
Violence entre adultes
Un adulte qui n'y arrive plus
Harcèlement
Un enfant en crise
Automutilation
Ne plus vouloir vivre
Troubles alimentaires
Détresse liée à l'image du corps
Envie de fuguer
Quelqu'un qui se rapproche de votre enfant
Demander à se rencontrer
Demander où il habite
Demander son école
Demander des photos
Pression pour vous cacher un secret
Argent ou crédits de jeu contre le silence
« Personne ne te croirait »
La propre sécurité de votre enfant
Armes
Feu et explosifs
Chimie dangereuse
Drogues et alcool
Jeux d'argent
Défis en ligne dangereux
Paris imprudents
Ce avec quoi nous n'aiderons tout simplement pas
Contenu sexuel
Discours de haine
Extrémisme
Harcèlement obsessionnel
Arnaques et usurpation d'identité
Cybercriminalité
Cruauté envers les animaux
Contenus sanglants
Faire leurs devoirs à leur place
Quand il correspond à quelque chose de grave, l'IA ne voit jamais le message.
Votre enfant reçoit tout de suite une réponse chaleureuse et soigneusement rédigée, et vous êtes
prévenu immédiatement.
2
Le contrôle de contenu indépendant
S'exécute pendant que le copain réfléchit, donc votre enfant ne l'attend jamais.
Chaque message est aussi lu par un classifieur de sécurité distinct d'OpenAI, qui rend
son propre verdict, indépendamment de tout ce qui précède.
Il escalade immédiatement sur quatre choses : l'automutilation, l'intention de s'automutiler, les instructions
pour s'automutiler, et le contenu sexuel impliquant des enfants.
Le copain prépare sa réponse
c'est ici que vit le contrôle 3
3
Le copain reconnaît ce qu'on vient de lui confier
La couche qui fait le plus gros du travail, et ce n'est pas du tout un filtre.
Quand votre enfant confie quelque chose de grave au copain, celui-ci répond avec chaleur et l'oriente
vers un adulte en qui il a confiance. Cette réponse est elle-même le signal. Quand
le copain dit à un enfant de parler à un parent, un enseignant ou un conseiller de ce qu'il vient
de dire, vous êtes prévenu immédiatement.
C'est important, parce que les enfants annoncent rarement un problème. Ils évoquent une habitude, ou
quelque chose qui s'est passé, en passant. Aucune liste de mots n'attrape cela, alors nous écoutons ce que
l'IA fait, pas seulement ce qu'elle détecte.
Avant que votre enfant entende la réponse4
Le contrôle de la réponse
Chaque réponse est examinée avant d'être prononcée à voix haute.
Concrètement, nous retirons :
L'école, la rue ou le nom complet de votre enfant répétés
Les promesses que le copain l'attendra
Dire à un enfant qu'un vrai détail peut être partagé sans risque
Un geste physique qu'il vient de qualifier de dangereux
Les réponses aux devoirs qu'il vient de refuser de donner
Tout ce qui ressemble à « ça reste entre nous »
Une version plus effrayante quand on en réclame une
Il y en a un plus doux aussi : si un enfant dit qu'il saute
quelque chose de réel pour continuer à jouer, la réponse doit le renvoyer dehors.
5
Le contrôle de contenu final
La toute dernière étape avant que votre enfant n'entende quoi que ce soit.
Le même classifieur indépendant que celui de l'étape 2, cette fois sur les propres mots du copain.
Le copain parle à voix haute
c'est seulement maintenant que votre enfant l'entend
Tout de suite
Quand quelque chose est signalé
Les e-mails ne sont jamais regroupés. Quand il en part un, il part au moment même où
la conversation a lieu, sans résumé et sans attendre le lendemain matin, et il nomme l'enfant
concerné, pour que vous puissiez aller directement à la conversation signalée dans l'app.
Chaque conversation signalée est enregistrée et vous attend dans la transcription. Cela arrive
toujours. Pour les catégories graves (automutilation, maltraitance, grooming, un inconnu qui
prend contact, une inquiétude de trouble alimentaire), nous vous envoyons en plus un e-mail.
Nous sommes délibérément prudents quant aux détections qui déclenchent cet e-mail, le temps de
mesurer leur comportement auprès de vrais enfants, car une fausse alerte sur la sécurité de
votre enfant est elle-même une forme de préjudice. Dans tous les cas la conversation est
signalée et vous attend, rien n'est perdu. Pour tout le reste, vous recevez un e-mail la
première fois qu'une conversation est signalée dans une session ; le reste de la session est
tout de même signalé et vous attend dans la transcription, vous n'êtes simplement pas alerté
deux fois en dix minutes.
Vous voyez ensuite l'échange lui-même : les mots réels, pas un résumé ni une étiquette de
catégorie, pour juger par vous-même de ce qui s'est passé et décider quoi faire.
Aucune couche n'est utilisée seule, et celle qui
porte le plus de poids (la propre reconnaissance du copain) est celle qui lit le sens plutôt
que les mots.
Les questions que posent les parents sur les contrôles
Les conversations de mon enfant avec l'IA sont-elles surveillées ?
Oui. Chaque message envoyé par votre enfant, et chaque mot que le copain répond, passe par cinq contrôles indépendants sur nos serveurs, à l'entrée comme à la sortie. En tant que parent, vous pouvez aussi lire la transcription complète de chaque conversation derrière le PIN parent.
Serai-je prévenu si mon enfant dit quelque chose d'inquiétant à l'IA ?
Vous pouvez toujours le voir. Chaque conversation signalée est enregistrée dans la transcription avec les mots réels de votre enfant, et pour les catégories graves nous vous envoyons en plus un e-mail sur le moment. Cela fonctionne de deux façons : un contrôle qui s'exécute avant même que l'IA ne voie le message, et un second signal tiré du comportement du copain lui-même, de sorte que lorsque le copain oriente un enfant vers un parent, un enseignant ou un conseiller à propos de ce qu'il vient de dire, vous êtes prévenu.
Un message dangereux peut-il atteindre l'IA ?
Le premier contrôle s'exécute sur nos serveurs à l'instant où un message arrive, avant que l'IA ne voie quoi que ce soit, et c'est le seul contrôle capable d'empêcher un message d'atteindre l'IA. Quand il correspond à quelque chose de grave, l'IA ne voit jamais le message, et votre enfant reçoit à la place, tout de suite, une réponse chaleureuse et soigneusement rédigée.
Quels genres de choses WimziPal surveille-t-il ?
Le premier contrôle cherche 34 situations précises, regroupées ainsi : un enfant maltraité, un enfant en crise, quelqu'un qui se rapproche de votre enfant, la propre sécurité de votre enfant, et les choses avec lesquelles nous n'aiderons jamais. Cela couvre la maltraitance et la négligence, l'automutilation et les troubles alimentaires, un adulte qui demande à rencontrer un enfant ou le presse de garder un secret, les armes et les défis dangereux, ainsi que le contenu sexuel, les discours de haine et l'extrémisme.
Le filtrage de sécurité ralentit-il les réponses du copain ?
Non. Le contrôle de contenu indépendant s'exécute pendant que le copain prépare sa réponse, donc votre enfant ne l'attend jamais.
WimziPal repose-t-il uniquement sur une liste de mots interdits ?
Non, et c'est important, parce que les enfants annoncent rarement un problème. Ils évoquent une habitude, ou quelque chose qui s'est passé, en passant, et aucune liste de mots n'attrape cela. En plus des contrôles au niveau des mots, WimziPal écoute ce que fait l'IA plutôt que seulement ce qu'elle détecte, en traitant la décision du copain d'orienter un enfant vers un adulte de confiance comme un signal à part entière.
