נתונים לאימון AI | מרכז יחסי האמון של Microsoft

אמון ושקיפות הם בלב האופן שבו אנחנו, כאן ב- Microsoft, ניגשים לנתונים לאימון מודלי AI.

המטרה של דף זה היא לשתף את הגישה שלנו, ולהציג את קטגוריות הנתונים שבהן אנחנו משתמשים לצורך אימון, ואת מה שאנחנו עושים כדי לתת למפרסמי אתרים וליוצרי תוכן שליטה על האופן שבו התוכן שלהם משמש לאימון המודלים האלה.

מה המשמעות של אימון מודל AI?

מודלי AI מבצעים תחזיות על סמך נתונים. במהלך תהליך האימון, מודל AI מזהה דפוסים, קשרים ומושגים מתוך כמויות עצומות של נתונים, ולאחר מכן משתמש במה שלמד כדי ליצור תשובות לשאלות או לבקשות. אפשר לכוונן את המודל באמצעות קטגוריות שונות של נתוני אימון כדי למטב את יכולות היצירה עבור סוגים מסוימים של מידע, כמו שפה טבעית, קוד תוכנה או תמונות. אפשר גם לבסס אותו על הנתונים של ארגון מסוים - לדוגמה, בתחום תעשייה כמו חקלאות, בריאות או קמעונאות.

מודלי AI גנרטיביים לא נועדו לאחסן, לגשת או לשחזר את נתוני האימון המקוריים. במקום זאת, המודלים האלה נועדו ליצור יצירות ותוכן חדשים ובעלי ביטוי.

שני אנשים עומדים בתוך מבנה, ובוחנים לוח מחוונים במסך גדול עם תרשימים ומדדים מוצגים.

כיצד Microsoft מאמנת מודלי AI גנרטיביים על נתונים מגוונים

מערכי נתונים גדולים ומגוונים הם חלק בלתי נפרד מהיצירה של מערכות ה- AI של היום. חשוב להשתמש במגוון רחב של נתונים כדי לפתח מודלים מדויקים יותר, שמייצגים יותר תרבויות ושפות שונות, ושיודעים ללמוד ולהחיל את כל קשת הניסיון והיצירתיות האנושיים.

אנחנו מאמנים על נתונים זמינים באופן ציבורי שנבחרו בקפידה, מתוך שילוב של מערכי נתונים ל- Machine Learning בסטנדרט תעשייתי וסריקות רשת. אנחנו לא כוללים מקורות עם חומות תשלום ותוכן שמפר את המדיניות שלנו, וכאלו שבחרו לא להשתתף באימון באמצעות פקדי אינטרנט שפרסמנו. נתונים שנסרקו באינטרנט מסוננים לפי כללי בטיחות ומעובדים כדי להסיר תוכן בלתי חוקי, כולל חומר של התעללות מינית בילדים (CSAM), בהתאם לחוקים החלים ולפריטי מדיניות אחראי AI של Microsoft.

אנחנו מכבדים תקנים כגון תגי robots.txt שמפרסמי אתרים משתמשים בהם כדי לבחור שלא להשתתף בסריקת רשת. אנחנו לא משתמשים בנתונים מתחומים שמופיעים ברשימת השווקים הידועים לשמצה בדיגום ובפיראטיות (Notorious Markets for Counterfeiting and Piracy) של נציבות הסחר של ארצות הברית (Office of the United States Trade Representative (USTR)).
אלה נתוני אימון שאנחנו מקבלים באמצעות הסכמים מוסכמים, למשל עם מפרסמים ובעלי זכויות יוצרים.
הנתונים האלה נאספים משירותי צרכנים נבחרים של Microsoft ומוגנים בהתאם להצהרת הפרטיות של Microsoft שלנו. הבלוג של Microsoft Copilot ושאלות ותשובות בנושא Copilot מסבירים כיצד אנחנו משתמשים בנתוני צרכנים מ- Copilot,‏ Bing ו- Microsoft Start (MSN) כדי לעזור לאמן את המודלים שלנו ב- Copilot. אנחנו מקלים על משתמשים לבטל את ההצטרפות, ומיישמים אמצעי הגנה כמו הסרת מזהים שעשויים לזהות אותך כדי להגן על פרטיות המשתמשים. אנחנו לא משתמשים בנתונים של הלקוחות הארגוניים שלנו בלי הרשאה שלהם.
לעתים אנחנו מאמנים על ערכות נתונים סינתטיות. את אלה אנחנו יוצרים על-ידי הנחיה של מודלי שפה גדולים (LLMs) לייצר פלט מבוקש במיוחד שמרחיב נתונים מהעולם האמיתי שהם נדירים או מוגבלים. לאחר מכן התוצאות נבדקות ומסוננות, כולל על-ידי בודקים אנושיים, כדי לוודא שהן באיכות מספקת כדי להיות חלק ממערך נתוני האימון.
אנחנו משלבים במשימת האימון שלנו משוב אנושי ממאמני AI, מחברי צוות אדום, מעובדים ומשותפי ביאור חיצוניים. זה כולל, למשל, משוב אנושי שמחזק פלט איכותי בתגובה לבקשת משתמש, ומשפר את חוויית משתמש הקצה. גם חברי צוות אדום בודקים את המודל מול בקשות מזיקות או לא בטוחות, והמשוב שלהם משמש לשיפור התנהגויות הבטיחות של המודל.

לצד המודלים שלנו של Microsoft, אנחנו משלבים במוצרים ובשירותים שלנו מודלים שונים נוספים, כולל מ- OpenAI. מידע נוסף על האופן שבו OpenAI מאמנת מודלים.

כדי לקדם AI מועיל וכוללני, חלק ממפרסמי האתרים ובעלי התוכן רוצים יותר השפעה על האופן שבו התוכן שלהם משמש. פקדים של מפרסמי אתרים עוזרים, אבל הם לא הפתרון המלא. אנחנו עובדים לצד אחרים בתעשייה, בגופים מפרסמים, בגופי תקינה ובקהילת התוכן כדי לזהות גישה משותפת שכולנו יכולים לקדם ולאמץ.