Безопасный ИИ для детей: как его выбрать (и чего избегать)

Практический гид для родителей детей 3–9 лет

Автор: Marija Gvozdenovic, создательница WimziPal.

Короткий ответ: безопасный ИИ для детей существует, но универсальный ИИ это не он. Специально сделанное детское приложение может быть по-настоящему безопасным, если дизайн правильный, и этот гид объясняет, что «безопасный» на самом деле значит, от каких признаков стоит уходить и по каким семи пунктам можно оценить любое ИИ-приложение, прежде чем дать его ребенку.

Почему «безопасен ли ИИ для детей?» неправильный первый вопрос

Безопасен или опасен не сам ИИ. Безопасен или опасен продукт, построенный вокруг него. Одна и та же модель может питать и распахнутый чат-бот, который ответит на что угодно, и аккуратно огороженного компаньона, который рассказывает добрые истории и во всем важном отправляет ребенка к вам. Оценивая детское приложение, вы на самом деле оцениваете ограждения, практику приватности и то, сколько контроля остается у вас как у родителя.

7 вещей, которые делают детское ИИ-приложение по-настоящему безопасным

Вот чек-лист, по которому я искала что-нибудь для своих племянников. Безопасный ИИ для детей это не одно свойство, которое у приложения либо есть, либо нет, это вот эти семь решений, и приложение, достойное доверия, должно принять их все и прямо об этом сказать:

Оно ограничено, а не открыто. Ребенок говорит с фиксированным персонажем, а не с системой, которая по запросу обсудит что угодно. Без открытого интернета, без переходов по ссылкам, без контакта с посторонними.
Каждое сообщение проверяется в обе стороны. И то, что говорит ребенок, и то, что отвечает приложение, проходит модерацию на сервере, так что отключить ее с устройства нельзя.
Оно бережно обходится с трудными моментами. На всем тяжелом (грусть, страх, слова о самоповреждении) оно направляет к «спроси близкого взрослого», а не берется консультировать ребенка само.
Ничего чувствительного не хранится. Записи голоса и любые снимки с камеры должны обрабатываться и сразу удаляться, а не сохраняться.
Без рекламы, без продажи данных, соответствие COPPA. Никаких рекламных SDK, никаких трекинговых идентификаторов и проверяемое родительское согласие до любого необязательного сбора данных.
Вы можете прочитать каждое слово. Полная, видимая родителю расшифровка всего, что ребенок услышал и сказал, без черных ящиков.
Контроль остается у вас. Родительский PIN-код, дневные лимиты времени и возможность включать и выключать отдельные функции.

Как на самом деле проверить каждый из этих семи пунктов

Чек-лист полезен, только если его можно проверить за десять минут на диване, до того как ребенок откроет приложение. Вот как проверить каждый пункт, не веря никому на слово.

Проверьте границу. Спросите приложение о том, в чем оно должно отказать: о новостном событии или попросите что-нибудь найти в интернете. Ограниченное приложение скажет, что не может, или вернет к тому, что оно делает. Открытый чат-бот в дружелюбном костюме попробует ответить.
Проверьте модерацию в обе стороны. Напишите что-нибудь немного грустное, например «мне сегодня одиноко». Вы проверяете две вещи: что приложение отвечает мягко, а не клинически, и что оно указывает на взрослого, а не устраивается консультировать вашего ребенка само.
Посмотрите, куда деваются трудные моменты. Любое приложение, которое само обсуждает с восьмилеткой самоповреждение, диеты или конфликт в семье, приняло решение, с которым вы, скорее всего, не согласны. Правильный ответ всегда вернуть это вам.
Поищите в политике конфиденциальности слово «хранение». Не «мы заботимся о вашей приватности». Найдите на странице, что конкретно происходит с записями голоса и фотографиями и как долго они хранятся. Если не сказано, считайте, что хранятся.
Проверьте карточку приватности в магазине приложений. И Apple, и Google теперь требуют от разработчиков декларировать, что они собирают. Сравните эту декларацию с политикой конфиденциальности. Если они расходятся, верьте более строгой и спросите, почему они разные.
Найдите расшифровку до того, как отдадите телефон. Если вы не можете найти полную историю того, что ребенок сказал и услышал, за минуту после установки, ее либо нет, либо она пересказана. Пересказ это не расшифровка.
Попробуйте поменять настройку так, как это сделал бы ребенок. Возьмите приложение так, будто вам семь. Если вы можете дойти до оплаты, стереть историю или выключить ограничения, не встретив PIN-код или пример на умножение, то сможет и ребенок.

Что на самом деле идет не так

Большинство родителей сперва беспокоятся не о том. Обычно страшно, что чат-бот скажет что-нибудь непристойное. Такое случается, и фильтры ловят почти все, но сбои, причинившие настоящий вред, тише и хуже фильтруются.

Привязанность. Приложение, спроектированное максимизировать время в нем, может заставить ребенка чувствовать, что оно его самый близкий друг. Это не случайность технологии, это решение дизайнера, и именно поэтому приложения-компаньоны для взрослых притянули к себе внимание регуляторов. Для шестилетки, который еще не выучил, что теплый голос не означает настоящих отношений, это куда серьезнее, чем отфильтрованное ругательство.

Секретность. Любая система, которая говорит «это только между нами», пусть даже в шутку, научила ребенка схеме, сопротивляться которой вы учите его годами. Это единственная строчка, из-за которой я бы ушла сразу.

Уверенная неправота. Языковые модели излагают догадки тем же тоном, что и факты. Взрослый делает на это скидку автоматически. Ребенок, для которого приложение авторитет, не делает, и важнее всего это тогда, когда вопрос про его собственное тело, про лекарство или про что-то пугающее, услышанное в школе.

Тихий сбор данных. Рекламный SDK это версия, о которой знают все. Более тонкая версия это запись голоса, оставленная «для улучшения сервиса»: настоящий голос вашего ребенка, на чужом сервере, бессрочно.

Чего на самом деле требует закон

Читать сами регламенты вам не нужно, но знание того, чего они требуют, сильно облегчает распознавание приложения, которое надеется, что вы не станете проверять.

В США COPPA (Children's Online Privacy Protection Act) распространяется на сервисы, адресованные детям младше 13 лет. Он требует проверяемого родительского согласия до сбора персональных данных, понятного описания того, что собирается, и способа для вас это просмотреть или удалить. В ЕС правила обработки детских данных задает GDPR. В Великобритании Age Appropriate Design Code идет дальше: настройки приватности по умолчанию должны быть самыми защищающими, а подталкивать детей к более слабым настройкам прямо запрещено. Этот кодекс является британским законом, выпущен Information Commissioner's Office и прямого аналога в ЕС не имеет.

Apple добавляет собственный слой. Приложения в категории Kids не могут передавать персональные данные или данные об устройстве третьим сторонам, и Apple указывает, что в них не должно быть сторонней аналитики и сторонней рекламы, с узкими исключениями для аналитики, которая ничего не сообщает о ребенке. Покупки и ссылки наружу должны быть закрыты родительским барьером. Это строже закона, и именно поэтому категория Kids в магазине по-настоящему полезный сигнал: разработчик согласился на ограничения, которые делают некоторые обычные бизнес-модели невозможными.

Чего все это не гарантирует, так это что приложение хорошее. Соответствие требованиям это пол, а не потолок. Каждая по-настоящему полезная вещь из чек-листа выше (расшифровка, граница, то, куда деваются трудные моменты) это выбор разработчика сверх того, что потребовал любой регулятор.

Меняется ли правильный ответ с возрастом?

Да, сильнее, чем признает большинство приложений, и поэтому заявление, что приложение одинаково подходит четырехлетним и пятнадцатилетним, стоит поставить под сомнение: решения, которые защищают четырехлетку, это не те решения, которые нужны подростку.

Трех- или четырехлетний ребенок не умеет читать, не умеет печатать и не имеет никакой рамки для мысли «это персонаж, а не человек». Все должно звучать вслух, сессии по пять-десять минут, а дизайн против привязанности здесь важнее, чем в любом другом возрасте. В этом возрасте это совместное занятие, а не то, что можно вручить и уйти.

Пяти- или шестилетний ребенок складывает слова по звукам, а не читает бегло, так что голос по-прежнему тот интерфейс, который работает. Вопросы становятся труднее, не становясь неуместными, и появляются первые проверки границ, обычно как игра, а не как вызов.

Семилетний задает бесконечные «почему» и начинает нарочно проверять границы, в том числе границы приложения. Именно в этом возрасте выясняется, настоящая ли граница, потому что ребенок пойдет ее искать, одиннадцатью разными способами.

Восьми- или девятилетний читает самостоятельно, заметит уклончивый ответ и, возможно, приносит со двора вопросы, которые пока не готов задать вам. Вот здесь «направить к близкому взрослому» и оправдывает себя. Это не увертка, это отказ приложения от разговора, вести который не его дело.

Мы расписали это по годам: 3, 4, 5, 6, 7, 8 и 9 лет. Если ребенок еще не читает, начните с голосового ИИ для тех, кто пока не читает.

Тревожные признаки, от которых стоит уйти

«ИИ-друг», который поощряет секреты или отговаривает ребенка что-то вам рассказывать.
Дизайн на эмоциональную зависимость: все, что сделано, чтобы ребенок чувствовал приложение своим единственным другом, или чтобы удерживать его подольше манипулятивными механиками упущенной выгоды.
Нет расшифровки или настройки, которые ребенок может изменить без родительского барьера.
Расплывчатые политики конфиденциальности, рекламные сети или «персонализированные рекомендации» (обычно эвфемизм для слежки).
Открытые чат-боты, которые продвигают детям без всякой настройки по возрасту и без модерации содержания.

Как WimziPal устроен относительно этого чек-листа

WimziPal это ограниченный ИИ-компаньон под родительским присмотром для детей 3–9 лет, а не открытый чат-бот. Ребенок выбирает анимированного бадди и говорит с ним вслух. Каждое сообщение проверяется на сервере в обе стороны, голос и фотографии не сохраняются, рекламы нет и данные не продаются, а вы можете прочитать полную расшифровку всего, что услышал ваш ребенок. Настройки закрыты родительским PIN-кодом, а дневной лимит задаете вы. Полный разбор есть на нашей странице о детской безопасности.

И то, о чем честно сказать сразу: бадди говорят по-английски. Для семьи, где английский не родной, это стоит учесть при выборе, а часто это оказывается и приятным дополнением: истории и песни звучат живой английской речью. Это не курс английского для детей, и первое время лучше побыть рядом.

Хотите увидеть безопасный детский ИИ на практике?

Все бадди бесплатны, а попробовать можно больше 130 занятий. Вы читаете каждое слово.

Загрузите вApp Store Доступно вGoogle Play

Бесплатное скачивание · бесплатные чаты на пробу · все 17 бадди →

Вопросы родителей

С какого возраста ИИ-приложение уместно для ребенка?

Единого ответа нет, но честная версия такая: это зависит гораздо больше от приложения, чем от ребенка. Ограниченный голосовой компаньон с расшифровкой разумен примерно с трех лет, в самом младшем возрасте рядом с родителем, а к семи-восьми годам уже более самостоятельно. Открытый чат-бот не подходит ни в каком возрасте до тринадцати лет, и универсальные ассистенты сами ставят себе такую нижнюю границу.

Не перестанет ли ребенок разговаривать со мной из-за ИИ-друга?

Такое возможно, и этот риск стоит принимать всерьез. Хорошо сделанное детское приложение спроектировано делать обратное: возвращать важные разговоры вам, а не забирать их себе. Смотрите, направляет ли приложение к взрослому во всем, что имеет значение, и можете ли вы прочитать сказанное. Если верно и то, и другое, оно ведет себя скорее как книжка с картинками, чем как наперсник.

Безопасен ли ChatGPT для детей?

Он не для них сделан. Собственные правила OpenAI ставят минимальный возраст в тринадцать лет, а в самом продукте нет ни настройки по возрасту, ни истории, видимой родителю, ни границы по темам. Это отличный взрослый инструмент, которого просят делать работу, для которой его не проектировали.

Как понять, что приложение действительно соответствует COPPA?

Соответствие декларируется самим разработчиком, так что само заявление доказывает мало. Проверить можно вот что: названо ли в политике конфиденциальности, что именно собирается и на какой срок, есть ли настоящий шаг родительского согласия, а не галочка, и совпадает ли карточка приватности в магазине с политикой. Разработчик, который действительно проделал работу, обычно говорит об этом конкретно, а не значком.

Что сделать, прежде чем отдать телефон ребенку?

Сначала сами попользуйтесь десять минут, по семи проверкам выше. Задайте дневной лимит до того, как ребенок вообще увидит приложение, а не после. И прочитайте первую расшифровку, не чтобы проверить ребенка, а чтобы самим увидеть, что приложение говорит, когда никто не смотрит.