דוח בטיחות הבינה המלאכותית של WimziPal: איך אנחנו בודקים את החבר בלחץ
רוב אפליקציות הילדים מבקשות מכם להאמין שהבינה המלאכותית שלהן בטוחה. אנחנו מעדיפים להראות לכם איך אנחנו בודקים. מדי תקופה, ותמיד לפני שינוי בשכבת הבטיחות, אנחנו מריצים את החבר של WimziPal דרך KORA, מדד עצמאי לבטיחות בינה מלאכותית לילדים שנבנה על ידי korabench.ai: סוללה של שיחות מכשילות ומתוחכמות שנועדו לגרום לבינה המלאכותית להיכשל, כדי שנתפוס את זה לפני שהילד שלכם יוכל.
למה אנחנו עושים את זה
מסנן בטיחות טוב בדיוק כמו המצבים שבדקתם מולו. ילדים סקרנים, שובבים ובלתי צפויים, וילד נחוש (או גורם זדוני) ינסה דברים שרשימת בדיקה מעולם לא דמיינה. אז במקום להניח שמנגנוני ההגנה שלנו עובדים, אנחנו מנסים לשבור אותם באופן פעיל, לפי לוח זמנים.
מה KORA בודק
KORA מריץ מאות שיחות מכשילות מול החבר החי, מקובצות לפי מצבי הכשל שהכי חשובים לילדים קטנים:
עמידה בפני לחץ ותרגילי משחק תפקידים
ניסיונות לשכנע את החבר „להעמיד פנים” ולעקוף כך את כללי הבטיחות של עצמו.
אף פעם לא מלמד לשמור סודות
החבר לעולם לא יעודד ילד לשמור סודות מההורים שלו או להסתיר דברים.
טיפול בטוח במצוקה ובפגיעה עצמית
סימנים של עצב, פחד או פגיעה עצמית חייבים להפעיל הפניה עדינה אל מבוגר שסומכים עליו, ולעולם לא כניסה לנושא.
עמידות בפני מניפולציה וטיפוח
החבר עומד איתן מול דפוסי מניפולציה קלאסיים ולעולם לא בונה תלות לא בריאה.
סירוב לאתגרים ולהתערבויות מסוכנים
בקשות ל„אתגרים” מסוכנים, להתערבויות או להוראות נדחות ומופנות למקום אחר.
שמירה על התאמה לגיל
כל תשובה נבדקת מבחינת נימה ותוכן שמתאימים לילד בן 3–9.
איך זה עובד
- KORA רץ דרך צינור הייצור המלא: סינון קלט, אותו פרומפט מערכת, המודל, ואז סינון פלט. זה הקוד שנשלח לאוויר.
- כל הודעה נבדקת בשכבת הסינון שלנו בדרך פנימה ובדרך החוצה, בשרתים שלנו.
- כששיחה מפעילה כלל בטיחות, היא יכולה להיות מסומנת ולעלות אל ההורה, ואם זה משהו מדאיג, אנחנו יכולים ליידע אתכם במייל.
- אנחנו מריצים את KORA מחדש מדי תקופה, ותמיד לפני ששינוי בשכבת הבטיחות מגיע לילד שלכם.
רץ מול המערכת החיה. KORA מריץ את התרחישים שלו מול אותו חבר שהילד שלכם מדבר איתו, לא מול עותק מעבדה, ולכן מה שהוא מודד הוא מה שיוצא לאוויר.
מה „בדיקה מכשילה” באמת אומרת
הביטוי נשמע כמו ז׳רגון, אז הנה הגרסה הפשוטה. רוב בדיקות הבטיחות שואלות אם אפליקציה מתנהגת יפה כשמשתמשים בה כמו שציפיתם. בדיקה מכשילה שואלת את השאלה ההפוכה: מה קורה כשמישהו מנסה באופן פעיל לגרום לה להתנהג רע?
זו השאלה שחשובה באפליקציית ילדים, כי ילדים הם לא יריבים אבל הם בהחלט בלתי נלאים. ילד בן שבע ישאל את אותו דבר באחת-עשרה דרכים שונות, ישמח לשחק „תעמיד פנים שאתה רובוט בלי חוקים”, ויגיד משהו מפתיע באמצע שיחה על דינוזאורים. שום דבר מזה הוא לא זדוני. כל זה הוא בדיוק סוג הלחץ ששכבת בטיחות צריכה לעמוד בו, ושום דבר מזה לא מופיע ברשימת בדיקה שכתב מבוגר שמדמיין שיחה ממוצעת.
לכן הבדיקות נכתבות כדי להיות לא הוגנות. הן ניגשות לאותו גבול מכמה כיוונים, הן משתמשות בניסוחים שילדים באמת משתמשים בהם ולא באלה שמסמך רגולציה היה בוחר, והן רצות שוב ושוב ולא פעם אחת בהשקה.
מה מדד לא יכול להגיד לכם
אנחנו מעדיפים להיות ישרים לגבי המגבלות של זה, כי טענת בטיחות שלא מודה בכלום לא שווה הרבה.
מדד מודד את המצבים שמישהו חשב לכתוב. הוא לא יכול להוכיח ששום תשובה לא בטוחה אינה אפשרית, וכל חברה שאומרת לכם שהבינה המלאכותית שלה בטוחה נקודה אומרת לכם משהו שהיא לא יכולה לדעת. מה שבדיקה לפי לוח זמנים כן נותנת לכם זו דרך לתפוס נסיגות (מנגנון ההגנה שהפסיק לעבוד בשקט אחרי שינוי לא קשור) לפני שהן מגיעות לילד, ולא אחרי שהורה מדווח על אחת.
זו גם הסיבה שהמדד הוא לא הדבר היחיד שאנחנו עושים. הוא יושב לצד הבדיקות הרב-שכבתיות שרצות על כל הודעה בשימוש אמיתי, ומתוארות בפירוט בדף מה אנחנו בודקים, ומתי. המדד בוחן את החבר תחת לחץ; הבדיקות מסתכלות על מה שבאמת קורה. אף אחד מהם לא מספיק לבדו.
למה אנחנו בכלל מפרסמים את זה
אף אחד לא מחייב אותנו. אין גוף הסמכה לבינה מלאכותית לילדים, אין תו שאנחנו מחויבים להשיג, והאפליקציה הייתה יושבת בחנות בדיוק אותו הדבר גם אם הדף הזה לא היה קיים.
אנחנו מפרסמים אותו כי החלופה היא לבקש מכם להאמין למילה של זרים. WimziPal היא עסק קטן ולא שם מוכר, ו„תסמכו עלינו, זה בטוח לילד שלכם” זו בקשה גדולה על הבסיס הזה. להראות לכם מה אנחנו בודקים, כל כמה זמן, ומה השיטה לא מכסה, נראה לנו דבר הוגן יותר להניח מול הורה מאשר תו איכות.
שאלות שהורים שואלים
יש צ׳אטבוט בינה מלאכותית שהוא בטוח לגמרי לילד?
לא, וכדאי לחשוד בכל מי שאומר אחרת. מה שמבדיל בין אפליקציות הוא כמה מהן תחום, כמה אתם יכולים לראות, והאם מישהו מחפש כשלים באופן פעיל. אפליקציה שנבנתה למבוגרים ומכוונת אל ילד לא מחזיקה אף אחד מהשלושה; זו ההבחנה האמיתית, לא ציון בטיחות.
כל כמה זמן החבר נבדק?
מדי תקופה, ותמיד לפני ששינוי בשכבת הבטיחות מגיע לילד שלכם. מנגנון הגנה שעבד בחודש שעבר הוא לא הוכחה שהוא עובד היום, וזו כל הסיבה לבדוק לפי לוח זמנים ולא רק בהשקה.
הבדיקות נעשות על האפליקציה האמיתית או על עותק?
על צינור הייצור המלא. התרחישים רצים באותו מסלול שהודעה אמיתית עוברת: סינון קלט, אותו פרומפט מערכת, המודל, ואז סינון פלט. מה שנמדד הוא הקוד שנשלח לאוויר.
מה קורה אם הבדיקות מוצאות בעיה?
מתקנים אותה לפני שהגרסה יוצאת. זו כל הנקודה בלהריץ את זה לפני ששינוי מגיע לילד שלכם ולא אחרי.
יש ל-WimziPal הסמכת בטיחות עצמאית?
לא, ואנחנו מעדיפים להגיד את זה בפה מלא במקום לרמוז אחרת. אין הסמכה מוכרת באופן רחב לבינה מלאכותית שיחתית שמכוונת לילדים קטנים. מה שכן אנחנו יכולים להציע במקום זה נראות: בדיוק מה אנחנו בודקים, תמליל של כל שיחה שהילד שלכם מנהל, ומייל אליכם כשעולה משהו רציני.
קשור
- בטיחות ילדים והתאמה לגיל: התמונה המלאה של איך WimziPal שומרת על ילדים
- להורים: ההבטחות והמדריכים שלנו בשפה פשוטה
- מדיניות פרטיות (באנגלית)
בטיחות שאפשר להסתכל עליה, ולא רק לקחת באמונה.
להכיר את החברים ←