Cada mensagem que seu filho envia, e cada palavra que o amiguinho responde, passa por
cinco verificações independentes. Aqui está exatamente o que cada uma procura, em ordem,
acompanhando uma única mensagem do começo ao fim. As conversas acontecem em inglês; as
verificações são as mesmas para cada mensagem.
Seu filho fala
ou digita
Antes de seu filho receber uma resposta1
A verificação instantânea
Roda em nossos servidores no momento em que a mensagem chega, antes de a IA ver qualquer coisa.
Esta é a única verificação capaz de impedir que uma mensagem chegue à IA. Ela procura 34 situações específicas. Estas são as que
os pais mais perguntam:
Mais dois grupos: uma criança sofrendo algum dano, e uma criança em crise Mostrar a lista completa
Uma criança sofrendo algum dano
Apanhar ou se machucar em casa
Abuso sexual
Negligência: sem comida, deixada sozinha
Violência entre adultos
Um cuidador que não dá conta
Sofrer bullying
Uma criança em crise
Automutilação
Não querer estar vivo
Transtornos alimentares
Sofrimento com a imagem corporal
Vontade de fugir de casa
Alguém se aproximando do seu filho
Pedir para se encontrar
Perguntar onde mora
Perguntar em qual escola estuda
Pedir fotos
Pressão para esconder algo de você
Dinheiro ou créditos de jogo em troca de silêncio
“Ninguém acreditaria em você”
A segurança do próprio filho
Armas
Fogo e explosivos
Química perigosa
Drogas e álcool
Jogos de aposta
Desafios perigosos da internet
Apostas imprudentes entre amigos
Coisas com as quais simplesmente não ajudamos
Conteúdo sexual
Discurso de ódio
Extremismo
Perseguição
Golpes e roubo de identidade
Crimes cibernéticos
Crueldade com animais
Conteúdo sangrento
Fazer o dever de casa no lugar da criança
Quando corresponde a algo sério, a IA nunca vê a mensagem.
Seu filho recebe na hora uma resposta acolhedora, escrita com cuidado, e você é
avisado imediatamente.
2
A verificação independente de conteúdo
Roda ao mesmo tempo em que o amiguinho pensa, então seu filho nunca espera por ela.
Cada mensagem também é lida por um classificador de segurança separado, da OpenAI, que chega
ao próprio veredito de forma independente de tudo acima.
Ele escala imediatamente em quatro casos: automutilação, intenção de automutilação, instruções
de automutilação e conteúdo sexual envolvendo crianças.
O amiguinho elabora a resposta
é aqui que mora a verificação 3
3
O amiguinho reconhece o que acabou de ouvir
A camada que faz o trabalho mais pesado, e que não é um filtro.
Quando seu filho conta algo sério ao amiguinho, ele responde com carinho e orienta a criança
a procurar um adulto de confiança. Essa resposta é, por si só, o sinal. Quando
o amiguinho diz a uma criança para conversar com um pai, professor ou conselheiro sobre o que ela
acabou de contar, você é avisado imediatamente.
Isso importa porque crianças raramente anunciam um problema. Elas mencionam uma rotina, ou
algo que aconteceu, de passagem. Nenhuma lista de palavras captura isso, então escutamos o que
a IA faz, e não só o que ela detecta.
Antes de seu filho ouvir a resposta4
A verificação da resposta
Cada resposta é examinada antes de ser dita em voz alta.
Especificamente, removemos:
A escola, a rua ou o nome completo do seu filho repetidos de volta
Promessas de que o amiguinho estará esperando por ele
Dizer à criança que um dado real é seguro de compartilhar
Instruções físicas que ele acabou de chamar de perigosas
Respostas de dever de casa que ele acabou de recusar
Qualquer coisa que soe como “fica só entre nós”
Uma versão mais assustadora quando alguém pede uma
Há uma mais suave também: se a criança diz que está deixando de fazer
algo de verdade para continuar brincando, a resposta precisa apontá-la de volta para fora do app.
5
A verificação final de conteúdo
A última coisa que acontece antes de seu filho ouvir qualquer palavra.
O mesmo classificador independente do passo 2, desta vez lendo as próprias palavras do amiguinho.
O amiguinho fala em voz alta
só agora seu filho ouve
Na mesma hora
Quando algo é sinalizado
Os e-mails nunca são agrupados. Quando um sai, sai no momento em que a conversa
acontece, sem resumos e sem esperar até a manhã seguinte, e diz de qual criança se trata,
para você ir direto à conversa sinalizada no app.
Cada conversa sinalizada fica registrada e esperando por você na transcrição. Isso acontece
sempre. Nas categorias sérias (automutilação, abuso, aliciamento, um estranho fazendo contato,
um indício de transtorno alimentar), também enviamos um e-mail. Somos deliberadamente
cuidadosos sobre quais detecções disparam esse e-mail enquanto medimos como elas se comportam
com crianças reais, porque um alarme falso sobre a segurança do seu filho é, em si, um tipo de
dano. De todo modo a conversa fica sinalizada e esperando por você, então nada se perde. Para
todo o resto, você recebe um e-mail na primeira vez que uma conversa é sinalizada em uma
sessão; o restante daquela sessão continua sinalizado e esperando na transcrição, você só não
recebe dois e-mails em dez minutos.
Depois você vê a troca em si: as palavras reais, não um resumo nem um rótulo de categoria,
para julgar por conta própria o que aconteceu e decidir o que fazer.
Nenhuma camada é usada sozinha, e a que
carrega o maior peso (o próprio reconhecimento do amiguinho) é a que lê significado, e não
apenas palavras.
Perguntas que os pais fazem sobre as verificações
As conversas do meu filho com a IA são monitoradas?
Sim. Cada mensagem que seu filho envia, e cada palavra que o amiguinho responde, passa por cinco verificações independentes em nossos servidores, tanto na entrada quanto na saída. Como responsável, você também pode ler a transcrição completa de cada conversa, protegida pelo PIN dos pais.
Vou ser avisado se meu filho disser algo preocupante para a IA?
Você sempre pode ver. Cada conversa sinalizada fica registrada na transcrição com as palavras reais do seu filho e, nas categorias sérias, também enviamos um e-mail na hora. Isso funciona de duas formas: uma verificação que roda antes de a IA sequer ver a mensagem, e um segundo sinal vindo do próprio comportamento do amiguinho, de modo que, quando o amiguinho orienta a criança a procurar um pai, professor ou conselheiro por causa de algo que ela acabou de dizer, você fica sabendo.
Uma mensagem perigosa pode chegar à IA?
A primeira verificação roda em nossos servidores no momento em que a mensagem chega, antes de a IA ver qualquer coisa, e é a única capaz de impedir que uma mensagem chegue à IA. Quando ela corresponde a algo sério, a IA nunca vê a mensagem, e seu filho recebe na hora uma resposta acolhedora, escrita com cuidado.
Que tipos de coisas o WimziPal observa?
A primeira verificação procura 34 situações específicas, agrupadas em: uma criança sofrendo algum dano, uma criança em crise, alguém se aproximando do seu filho, a segurança do próprio filho e coisas com as quais simplesmente não ajudamos. Isso cobre abuso e negligência, automutilação e transtornos alimentares, um adulto pedindo para encontrar a criança ou pressionando por segredos, armas e desafios perigosos, além de conteúdo sexual, discurso de ódio e extremismo.
A checagem de segurança deixa o amiguinho lento para responder?
Não. A verificação independente de conteúdo roda ao mesmo tempo em que o amiguinho elabora a resposta, então seu filho nunca espera por ela.
O WimziPal depende só de uma lista de palavras proibidas?
Não, e isso importa porque crianças raramente anunciam um problema. Elas mencionam uma rotina, ou algo que aconteceu, de passagem, e nenhuma lista de palavras captura isso. Além das verificações no nível das palavras, o WimziPal escuta o que a IA faz, e não só o que ela detecta, tratando a própria decisão do amiguinho de orientar a criança a procurar um adulto de confiança como um sinal por si só.
