שורה תחתונה:
עדכונים על הגשת מועמדים לפגיעויות חדשות לרשימת OASP Top 10 גרסה 2.0
הזמנה להגשת מועמדים לפגיעויות חדשות
הקבוצה המומחית של OASP Top 10 מזמינה את הקהילה להגיש מועמדים לפגיעויות חדשות שיכללו בגרסה 2.0 של הרשימה. זוהי הזדמנות לכל מי שמעוניין לתרום מהידע והניסיון שלו ולסייע בעיצוב הגרסה הבאה של מסמך חשוב זה.
התהליך פתוח לכולם, כך שכל אחד יכול להציע רעיונות חדשים או לשפר הצעות קיימות. אין צורך להיות מומחה אבטחה מנוסה – אנו מעריכים תובנות מכל הרקעים והתחומים.
הנחיות להגשת מועמדים
כדי להגיש מועמד לפגיעות חדשה, אנא עקוב אחר ההנחיות הבאות:
– השתמש בתבנית שסופקה כדי לתאר את הפגיעות המוצעת
– הסבר מדוע לדעתך הפגיעות ראויה להיכלל ברשימה
– ציין דוגמאות ממשיות לאופן שבו הפגיעות יכולה להשפיע על מערכות בעולם האמיתי
– שקול איך הפגיעות מתייחסת או חופפת לפגיעויות קיימות ברשימה
ההגשות ייבחנו על ידי הקבוצה המומחית, שתעבוד על מיזוג, עידון ובחירת המועמדים הסופיים במהלך החודשים הקרובים.
חשיבות ההשתתפות של הקהילה
השתתפות הקהילה היא קריטית להצלחת התהליך הזה. ככל שיהיו יותר אנשים שיתרמו מהידע והפרספקטיבות הייחודיות שלהם, כך הגרסה הסופית של הרשימה תהיה מקיפה ורלוונטית יותר.
אנו מעודדים את כולם להפיץ את המסר ולעודד עמיתים וקולגות להגיש מועמדים משלהם. יחד, נוכל להבטיח ש-OASP Top 10 גרסה 2.0 תשקף את המצב הנוכחי של האיומים הביטחוניים במודלים שפתיים גדולים ותשמש כמשאב חיוני לקהילה.
יוזמות של מכוני בטיחות AI בארה"ב ובבריטניה וההשתתפות של OASP
יוזמות AI לבטיחות בארה"ב
בארצות הברית, המכון האמריקאי לבטיחות AI (ASIC) מתקדם לאט אך בטוח בתהליך הקמת כוח המשימה שלו. הם קיבלו 77 מועמדים ל-300 משבצות, ולכן הם עוברים בקפידה על המועמדים. למרות שלא יוכלו להכיל את כולם, הם מנסים למצוא דרכים יצירתיות לשלב רוב האנשים, למשל על ידי יצירת רשימות מורחבות ומושבים מורחבים עם קבוצת העבודה.
OASP שוקלת לקיים מפגשי דיון פתוחים כדי לאפשר השתתפות רחבה יותר ולתרום לחזית המחקר בתחום. המטרה היא להקדים את הזמנים כך שכאשר ההכרזה על המועמדים תתפרסם, הם יוכלו לתרום ולשתף את הידע עם כולם.
פעילות המכון הבריטי לבטיחות AI
לעומת זאת, המכון הבריטי לבטיחות AI נוקט גישה שונה ואגרסיבית יותר בהפקת עבודה. הם פיתחו כלי מבריק בשם InSpect להערכות שיש לבחון. בנוסף, ממשלת בריטניה הכריזה על 85 מיליון ליש"ט עבור הערכות בטיחות, והם עוברים כעת רכש ציבורי.
OASP מאמינה שיש מקום עבורה להיות נוכחת בשולחן הדיונים, ויש שיחות מתוכננות בשבוע הבא כדי לקדם זאת. באופן כללי, נראה שיש הסכמה רחבה לגבי מראה הבטיחות והאבטחה עבור AI גנרטיבית, עם גוונים שונים בפרטים.
הצורך בהערכות מתוקננות כדי לחזק אמון
ישנו ביקוש רב ליצירת הערכות מתוקננות כדי לחזק את האמון במודלים החדשים המשוחררים. עם זאת, זו אינה משימה קלה. לדוגמה, כדי להריץ סט מלא של Benchmark אמין ל-AI של Decoding Trust, נדרשים 9,000 פאונד לריצה אחת בלבד. יש צורך לחשוב מחדש ולדמוקרטיזציה של התהליך הזה.
בכל מקום, אנשים מבקשים לדבר על אבטחת ובטיחות AI, גם בעיירה קטנה ביוון. הנושא המרכזי שעולה הוא כיצד ניתן לייצר אמון. OASP מאמינה שיש לעשות זאת לחלק מעבודת יישור התקנים, ומתכננת סקר וסדנה מקוונת כדי להניע מחדש את השיחה על משמעות השקפה אחידה על תקנים.
הצורך בהערכות סטנדרטיות כדי לחזק את האמון במודלי AI גנרטיביים
הצורך בהערכות סטנדרטיות
ישנו ביקוש רב ליצירת הערכות סטנדרטיות ומתוקננות כדי לחזק את האמון במודלים החדשים של AI גנרטיבית המשוחררים לשימוש. יש הסכמה רחבה בקהילה לגבי החשיבות של קיום תקנים אחידים לבטיחות ואבטחה של מערכות אלו. עם זאת, המשימה של יצירת מערך הערכה סטנדרטי אינה פשוטה כלל ועיקר.
לדוגמה, כדי להריץ סט מלא של Benchmark אמין ל-AI של Decoding Trust, נדרשים 9,000 פאונד לריצה אחת בלבד. מחיר כזה הופך את התהליך ללא נגיש לרוב הארגונים והחוקרים. יש צורך לחשוב מחדש על הגישה ולמצוא דרכים לדמוקרטיזציה של תהליך ההערכה, כך שיהיה זמין ובר-השגה יותר.
הצורך באמון ציבורי במודלים
בכל פינה בעולם, מיוון ועד ארה"ב, אנשים מבקשים לדבר על נושא אבטחת ובטיחות מערכות AI. השאלה המרכזית שחוזרת על עצמה היא כיצד ניתן לייצר אמון ציבורי במודלים החדשים שמשוחררים לשימוש הציבור הרחב. ללא רמה גבוהה של שקיפות לגבי מה נכנס למודלים ואיך הם נבדקים, קשה לצפות מהציבור לתת אמון מלא במערכות אלו.
OASP מאמינה שפיתוח מערך הערכה סטנדרטי צריך להיות חלק בלתי נפרד מהמאמץ ליישר קו בין התקנים השונים בתחום. הארגון מתכנן לערוך סקר וסדנה מקוונת כדי להניע מחדש את השיחה על משמעות השקפה אחידה על תקנים לבטיחות ואבטחה של מודלי AI גנרטיביים. המטרה היא למפות את התקנים הקיימים, להבין איך הם מתייחסים זה לזה, ולזהות את החוזקות והחולשות של כל אחד מהם.
שיתוף פעולה בינלאומי
כדי להתמודד עם האתגר, נדרש שיתוף פעולה בינלאומי בין מכוני מחקר, רגולטורים, חברות טכנולוגיה וארגוני תקינה. OASP פועלת לקדם דיאלוג כזה ולהביא את כל הצדדים הרלוונטיים לשולחן. בארה"ב ובבריטניה כבר החלו יוזמות מבטיחות בתחום, כמו המכון האמריקאי והבריטי לבטיחות AI.
עם זאת, עדיין יש עבודה רבה לעשות כדי לתאם בין המאמצים השונים וליצור מערכת הערכה אחידה ומוסכמת על הכל. OASP שואפת לתרום את הידע והניסיון שלה לתהליך, ולסייע ביצירת סטנדרטים שיאפשרו לנו ליהנות מהיתרונות של מודלי AI גנרטיביים תוך שמירה על ביטחון הציבור ועל ערכים חברתיים חשובים כמו פרטיות והוגנות.
תוכניות להמשך פיתוח עבודת יישור הסטנדרטים של OASP
קידום שיתוף פעולה בינלאומי
כדי להתמודד עם האתגרים הכרוכים ביצירת מערך הערכה סטנדרטי למודלי AI גנרטיביים, נדרש שיתוף פעולה בינלאומי הדוק בין מכוני מחקר, רגולטורים, חברות טכנולוגיה וארגוני תקינה. OASP פועלת באופן אקטיבי לקדם דיאלוג כזה ולהביא את כל הצדדים הרלוונטיים לשולחן אחד. המטרה היא לתאם בין היוזמות השונות שכבר החלו בארה"ב ובבריטניה, כמו המכון האמריקאי והבריטי לבטיחות AI, וליצור מסגרת עבודה משותפת ומוסכמת.
OASP מתכננת לתרום את הידע והניסיון שצברה בתחום לתהליך זה, ולסייע ביצירת סטנדרטים אחידים שיאפשרו לנו ליהנות מהיתרונות של מודלי AI גנרטיביים תוך הבטחת אמון הציבור ושמירה על ערכים חברתיים חשובים. שיתוף הפעולה הבינלאומי חיוני כדי להתגבר על המכשולים הטכניים והרגולטוריים ולהגיע להסכמה רחבה על הדרך הנכונה קדימה.
שקיפות ונגישות של תהליך ההערכה
אחד האתגרים המרכזיים ביצירת מערך הערכה סטנדרטי הוא העלות הגבוהה הכרוכה בביצוע בדיקות מקיפות ואמינות. כפי שצוין, ריצה אחת של Benchmark מלא עבור מודל AI יכולה לעלות אלפי ליש"ט. מחירים כאלה הופכים את התהליך ללא נגיש עבור מרבית הארגונים והחוקרים.
OASP מאמינה שיש למצוא דרכים לדמוקרטיזציה של תהליך ההערכה ולהפוך אותו לזמין ובר-השגה יותר. הדבר יכול לכלול פיתוח כלים אוטומטיים לביצוע בדיקות, שיתוף משאבי מחשוב ומידע בין ארגונים, ומתן תמריצים כלכליים לעידוד השתתפות. חשוב גם להבטיח שקיפות מלאה לגבי המתודולוגיה והתוצאות של תהליכי ההערכה, כדי לבנות אמון ציבורי במערכת.
הטמעת תהליכי הערכה בפיתוח מודלים
בסופו של דבר, המטרה צריכה להיות הטמעה של תהליכי הערכת בטיחות ואבטחה כחלק אינטגרלי מתהליך הפיתוח של מודלי AI גנרטיביים. במקום לבצע בדיקות בדיעבד על מודלים מוגמרים, יש לשלב אותן לאורך כל מחזור החיים, החל משלב התכנון והאפיון.
הדבר ידרוש שינוי תרבותי ותהליכי בקרב חברות וצוותי פיתוח, אך הוא הכרחי כדי להבטיח שהמודלים שמגיעים לשוק יהיו בטוחים ואמינים מלכתחילה. OASP מקווה לקדם מודעות לנושא זה ולספק הנחיות מעשיות לאופן שבו ניתן ליישם עקרונות של "אבטחה ובטיחות by design" בתחום ה-AI הגנרטיבי.
בסופו של דבר, הדרך ליצירת אמון ציבורי במודלים עוברת דרך הקמת מערכת הערכה סטנדרטית, שקופה ונגישה, שתהיה מוטמעת כחלק בלתי נפרד מתהליכי הפיתוח. זהו אתגר משמעותי שידרוש מאמץ משותף של כל השחקנים בתעשייה, אך הוא חיוני כדי לממש את ההבטחה של טכנולוגיית AI גנרטיבית תוך שמירה על ביטחון המשתמשים ועל האינטרס הציבורי.
דיון על תהליך ההצבעה והבחירה לרשימה הסופית של OASP Top 10 גרסה 2.0
תהליך ההצבעה הראשוני
במהלך השבועות האחרונים, הקבוצה המומחית של OASP Top 10 ביצעה סדרה של סקרים ופניות לקהילה כדי לאסוף רעיונות ראשוניים לפגיעויות חדשות שיש לכלול בגרסה 2.0 של הרשימה. בשלב זה, המטרה הייתה לעודד חשיבה יצירתית ולייצר מגוון רחב של הצעות, ללא סינון או שיפוט.
כ-100 אנשים השתתפו בסקרים הללו, מה שסיפק לקבוצה המומחית תובנות חשובות לגבי הכיוון שבו הקהילה חושבת שהרשימה צריכה להתפתח. חלק מההצעות שהוגשו היו דומות לפגיעויות קיימות, בעוד אחרות הציעו זוויות או רעיונות חדשים לחלוטין.
הגשת מועמדים לפגיעויות חדשות
כעת, התהליך נמצא בשלב שבו הקבוצה המומחית מזמינה את הקהילה הרחבה יותר להגיש הצעות מפורטות יותר לפגיעויות חדשות. לשם כך, פורסמו הנחיות ותבניות שמסבירות כיצד יש לנסח ולהגיש מועמד.
ההזמנה פתוחה לכולם, כך שכל מי שמעוניין יכול להציע רעיונות או לשפר הצעות קיימות. עד כה התקבלו כ-20 הצעות חדשות, חלקן דומות זו לזו וחלקן שונות לגמרי ממה שהיה ברשימה הקודמת. הקבוצה המומחית מעודדת את כולם להמשיך ולהגיש רעיונות נוספים בשבוע הקרוב, מבלי לחשוש להציע דברים "מוזרים" או שונים.
תהליך מיזוג ועידון ההצעות
לאחר תום תקופת ההגשה הראשונית, הקבוצה המומחית תתחיל בתהליך של מיון, מיזוג ועידון ההצעות שהתקבלו. זה צפוי להימשך מספר חודשים, במהלכם חברי הקבוצה יעברו על כל ההצעות, יעריכו את הרלוונטיות והחשיבות שלהן, וינסו למזג הצעות דומות לכדי פגיעויות מוגדרות היטב.
סביר להניח שחלק מההצעות "ייפלו" בסופו של דבר מכיוון שהקבוצה תחליט שהן פחות מעניינות או חשובות. הצעות אחרות עשויות להתמזג זו עם זו או עם פגיעויות קיימות. המטרה היא להגיע בסופו של דבר לרשימה מזוקקת ומדויקת של הפגיעויות המשמעותיות ביותר.
בנוסף לדיונים של הקבוצה המומחית עצמה, המטרה היא לאסוף גם נתונים מהעולם האמיתי כדי להפיק תובנות נוספות שיסייעו בתהליך הסופי של בחירה ודירוג הפגיעויות. זה יכול לכלול למשל סטטיסטיקות על תדירות הופעת פגיעויות מסוימות או על ההשפעה שלהן על מערכות קיימות.
התהליך כולו נועד להבטיח שהגרסה 2.0 של OASP Top 10 תשקף בצורה מדויקת ומהימנה את הסכנות העיקריות שמודלי שפה גדולים מציבים כיום, על בסיס קלט מגוון מהקהילה המקצועית ונתונים אמפיריים מהשטח. המעורבות הרחבה של הציבור חיונית להצלחת המיזם ולהפיכת הרשימה הסופית לכלי רלוונטי ושימושי.
