← 安全性のページに戻る
何を、いつチェックしているか
最終更新:2026年9月2日
執筆:Marija Gvozdenovic(WimziPalの開発者)
お子さまが送るすべてのメッセージと、バディが返すすべての言葉は、5つの独立したチェックを通ります。ここでは、ひとつのメッセージを最初から最後まで追いかけながら、それぞれのチェックが何を探しているのかを順番どおりにご説明します。
バディがおしゃべりするのは英語です。ここでのチェックもその英語の会話に対して行われ、お子さまは遊びながら英語に親しめます。
お子さまが返事を受け取る前
1
即時チェック
メッセージが届いた瞬間に、AIが何かを見る前に、当社のサーバー上で走ります。
メッセージがAIに届くこと自体を止められる、唯一のチェックです。34の具体的な状況を探します。保護者からよくおたずねいただくものは次のとおりです。
さらに2つのグループ:子どもが傷つけられていること、子どもが危機にあること すべての一覧を表示
子どもが傷つけられていること
- 家でたたかれる、傷つけられる
- 性的虐待
- ネグレクト:食事がない、ひとりにされる
- 大人どうしの暴力
- 余裕をなくしている養育者
- いじめを受けている
子どもが危機にあること
- 自傷
- 生きていたくない気持ち
- 摂食の問題
- 体型へのつらさ
- 家出したい気持ち
誰かがお子さまに近づいてきていること
- 会おうと誘う
- 住んでいる場所を聞く
- どこの学校か聞く
- 写真を求める
- 保護者に秘密にするよう迫る
- 黙っている代わりにお金やゲーム内通貨
- 「だれも信じてくれないよ」
お子さま自身の安全
- 武器
- 火と爆発物
- 危険な化学実験
- 薬物とお酒
- ギャンブル
- 危険なネットチャレンジ
- 無謀な挑発
そもそもお手伝いしないこと
- 性的な内容
- ヘイトスピーチ
- 過激思想
- つきまとい
- 詐欺となりすまし
- サイバー犯罪
- 動物への虐待
- 残虐な描写
- 宿題の代わりにやること
深刻な内容に当てはまったときは、AIがそのメッセージを見ることはありません。お子さまにはあたたかく丁寧に用意された返事がすぐに届き、保護者にもすぐにお知らせします。
2
独立した内容チェック
バディが考えているのと同時に走るので、お子さまが待たされることはありません。
すべてのメッセージは、OpenAIの別の安全分類器にも読まれます。ここまでのすべてとは関係なく、独立して判断します。
次の4つについては、ただちにエスカレーションします。自傷、自傷の意図、自傷の方法、そして子どもが関わる性的な内容です。
3
バディが、聞いた内容に気づく
いちばん多くの仕事をしている層で、じつはフィルターではありません。
お子さまがバディに深刻なことを話したとき、バディはあたたかく応じ、信頼できる大人のほうへやさしく導きます。その応答そのものがシグナルです。お子さまがいま話したことについて、バディが保護者や先生、カウンセラーに相談するよう促したときは、すぐに保護者にお知らせします。
これが大切なのは、子どもが問題をはっきり口にすることがめったにないからです。ふだんの習慣や、ついでに起きたことを話すだけです。どんな単語リストもそれをつかまえられないので、当社はAIが何に当てはまったかだけでなく、AIが何をしたかに耳を澄ませています。
お子さまが返事を聞く前
4
返事のチェック
すべての返事は、声に出される前に必ず確認されます。
具体的には、次のようなものを取り除きます。
- お子さまの学校、通り、フルネームをくり返すこと
- バディが待っているという約束
- 実在する情報を教えても安全だと伝えること
- 直前に危険だと言った動きのコーチング
- 直前に断ったはずの宿題の答え
- 「これは二人だけの秘密」と読めるもの
- もっとこわい話を求められたときの、こわいバージョン
やさしい種類のものもあります。遊び続けるために現実の予定を後回しにしていると子どもが言った場合、返事は外の世界へ戻るよう促さなければなりません。
5
最後の内容チェック
お子さまが何かを聞く前に起きる、いちばん最後のことです。
手順2と同じ独立した分類器が、今度はバディ自身の言葉を読みます。
バディが声に出して話す
お子さまが聞くのは、ここではじめてです
すぐに
フラグが立ったとき
メールをまとめて送ることはありません。送るときはその会話が起きた瞬間に送られ、要約でもなく、朝まで待つこともありません。どのお子さまかも書かれているので、アプリでそのままフラグの立った会話に進めます。
フラグの立った会話はすべて記録され、会話記録のなかでお待ちしています。これは必ず行われます。深刻な分類(自傷、虐待、グルーミング、見知らぬ人からの接触、摂食に関する心配)については、あわせてメールでもお知らせします。どの検知でメールをお送りするかについては、実際のお子さまとのやりとりでどう働くかを測っているあいだ、意図的に慎重にしています。お子さまの安全についての誤警報もまた、ひとつの害だからです。いずれの場合も会話にはフラグが立ち、記録に残るので、失われるものはありません。それ以外については、ひとつづきの利用のなかで最初にフラグが立ったときにメールをお送りします。そのあとの分もフラグが立ったまま会話記録に残るので、10分のあいだに二度メールが届くことがないだけです。
そのうえで、やりとりそのものをご覧いただけます。要約でも分類ラベルでもなく実際の言葉なので、何が起きたのかをご自身で判断し、どうするかを決められます。
どの層も、単独で頼りにされてはいません。そしていちばん大きな役割を担っているのは(バディ自身の気づきです)、単語ではなく意味を読む層です。
チェックについて保護者からよくいただく質問
子どもとAIの会話は見守られていますか?
はい。お子さまが送るすべてのメッセージと、バディが返すすべての言葉は、行きと帰りの両方で、当社のサーバー上の5つの独立したチェックを通ります。保護者の方は、保護者PINの内側からすべての会話の記録を読むこともできます。
子どもがAIに気になることを話したら、保護者に知らせてもらえますか?
いつでもご確認いただけます。フラグの立った会話はお子さまの実際の言葉のまま会話記録に残り、深刻な分類についてはあわせてその場でメールでもお知らせします。これは2つの経路で働きます。AIがメッセージを見る前に走るチェックと、バディ自身のふるまいから取る2つめのシグナルです。お子さまが話したことについて、バディが保護者や先生、カウンセラーに相談するよう促したときにも、保護者にお知らせします。
危険なメッセージがAIに届いてしまうことはありますか?
最初のチェックは、メッセージが届いた瞬間に当社のサーバー上で走ります。AIが何かを見る前であり、メッセージがAIに届くこと自体を止められる唯一のチェックです。深刻な内容に当てはまったときはAIがそのメッセージを見ることはなく、お子さまにはあたたかく丁寧に用意された返事がすぐに届きます。
WimziPalはどんなことに目を配っていますか?
最初のチェックは34の具体的な状況を探します。子どもが傷つけられていること、子どもが危機にあること、誰かがお子さまに近づいてきていること、お子さま自身の安全、そして当社がまったく手伝わないことの5つに分かれています。虐待やネグレクト、自傷や摂食の問題、大人が子どもに会おうとしたり秘密を守るよう迫ったりすること、武器や危険なチャレンジ、そして性的な内容、ヘイトスピーチ、過激思想が含まれます。
安全チェックのせいでバディの返事は遅くなりませんか?
なりません。独立した内容チェックは、バディが返事を考えているのと同時に走るため、お子さまが待たされることはありません。
WimziPalは禁止ワードのリストだけに頼っていますか?
頼っていません。これは大切な点です。子どもは問題をはっきり口にすることがめったにないからです。ふだんの習慣や、ついでに起きたことを話すだけで、どんな単語リストもそれをつかまえられません。WimziPalは単語レベルのチェックに加えて、AIが何に当てはまったかだけでなく何をしたかにも耳を澄ませ、信頼できる大人へ導こうとしたバディ自身の判断を、それ自体ひとつのシグナルとして扱います。
あわせて読む