DLSS

Deep Learning Super Sampling (בראשי תיבות: DLSS; בתרגום חופשי לעברית: סופר-דגימות בלמידה עמוקה) היא טכנולוגיית רינדור וטכניקת החלקת עקומות (Anti-aliasing) המפותחת על ידי אנבידיה אשר מבוססת על למידה עמוקה בבינה מלאכותית ליצירת תמונות ומסגרות באיכות גבוהה מדגימות באיכות נמוכה, תוך שמירה על ביצועים מיטביים בכרטיסים גרפיים וכתחליף לטכניקות החלקת עקומות מסורתיות.^[1] עד לאפריל 2020, הטכנולוגיה הייתה זמינה רק לבעלי כרטיס גרפי מסדרת GeForce RTX 20.

סופר-דגימות בלמידה עמוקה
Deep Learning Super Sampling

מפתח	אנבידיה
מחזור חיים	פברואר 2019 – הווה (כ־6 שנים ו־10 חודשים)
גרסה אחרונה	3.5 (ספטמבר 2023)
מערכת הפעלה	Microsoft Windows Linux macOS
נכתבה בשפות	CUDA
סוג רישיון	קנייני
קטגוריה	טכנולוגיית רינדור
developer.nvidia.com/dlss

הטכנולוגיה המקבילה של חברת AMD היא FidelityFX Super Resolution‏ (FSS).

היסטוריה

Nvidia פרסמה את הטכנולוגיה בתור תכונה עיקרית בסדרת ה-GeForce RTX 20, כאשר היא יצאה בספטמבר 2018.^[2] באותו הזמן, הטכנולוגיה הוגבלה למספר משחקי וידאו בודדים בלבד (לרבות Battlefield V^[3] ו-Metro Exodus) כיוון שהאלגוריתם עבד על כל משחק בנפרד ותוצאות שעובדו ברשת העצבית למשחק אחד, לא תאמו לשום משחק אחר וכמו כן, התוצאות לא היו טובות כל כך בניגוד לאלגוריתמים מסורתיים.^[4][5]

ב-2019, משחק הווידאו Control יצא לאור וכלל בתוכו ניתוב קרניים וגרסה מוקדמת של סופר-דגימות שלא השתמשה בלמידה עמוקה.^[6][7]

באפריל 2020, חברת Nvidia הוציאה לאור את גרסה 445.75 למנהל ההתקן של כרטיסי הגרפיקה שלה, אשר כולל בין היתר גרסה משופרת של DLSS אשר מכונה DLSS 2.0, אשר הייתה זמינה למספר משחקים שיצאו כבר, כמו Control ו-Wolfenstein: Youngblood ותהיה זמינה למשחקים אחרים אשר יצאו לאור. הפעם, האלגוריתם חזר להשתמש שוב בלמידה עמוקה ובניגוד לגרסאות הקודמות, אין צורך "לאמן" את הרשת העצבית על כל משחק בנפרד.^[2][8]

תופעת לוואי ניכרת של DLSS 2.0 היא שהתוצאה המתקבלת נפגעת אם מפעילים טכניקות החלקת עקומות (אנ') כמו MSAA (אנ') או TSAA (אנ'), כאשר הביצועים נפגעים קשה, אם הטכניקות האלו פועלות על גבי DLSS.^[9]

נכון לאפריל 2020, מפתחי המשחקים צריכים להכליל את הטכנולוגיה בעצמם אם הם יחפצו בכך, בניגוד לטכניקות החלקת עקומות מסורתיות אשר יכולות להיות מופעלות ישירות ממנהל ההתקן ללא כל התערבות של המפתחים.

היסטוריית גרסאות

גרסה	תאריך שחרור	הערות
DLSS 1.0	פברואר 2019	הגרסה הראשונה שיצאה, משתמשת בבינה מלאכותית אשר "מאומנת" לעבוד עם משחקים מסוימים, ביניהם - Battlefield V ו-Metro Exodus.[3]
DLSS 2.0 (האיטרציה הראשונה)	אוגוסט 2019	הגרסה הראשונה ל-2.0, לא משתמשת בלמידת מכונה ומותאמת במיוחד למספר משחקים, כמו Control.[6]
DLSS 2.0 (האיטרציה השנייה)	אפריל 2020	הגרסה השנייה ל-2.0, השימוש בלמידת מכונה חזר והרשת העצבית מתוכננת לעבוד באופן כללי.[10] הרינדור בפועל חולק ל-3 קטגוריות: ביצועים, מאוזן ואיכות, כאשר אבחנת הרינדור היא 25%, 50% ו-75% מהאבחנה המקורית בהתאמה.
DLSS 3.0	ספטמבר 2022	נבנתה על בסיס גרסה 2.0 בתוספת אלגוריתם לייצור מסגרות בצורה מלאכותית על מנת להגדיל את קצב הפריימים לשנייה.
DLSS 3.5	ספטמבר 2023	נבנתה על בסיס גרסה 3.0 בתוספת אלגוריתם להרכבה מחדש של קרניים, המחליף אלגוריתמי סינון רעשים עם מודל בינה מלאכותית יחיד שאומן על כמות מידע שהיא פי 5 מגרסה 3.0.

האלגוריתם

DLSS 1.0

החברה הסבירה כי DLSS 1.0 עובדת בכל משחק המתוכנן לעבוד איתה כך: תחילה, המסגרת מרונדרת במלואה באמצעות טכניקת סופר-דגימה מסורתית, משם התוצאה נשלחת לרשת העצבית שהוקמה בשרתי החברה, על מנת שתוכל ללמוד ולחזות את המסגרות. בשלב הבא, הבינה המלאכותית למדה לנתח קלטים דומים מהתוצאה הראשונית. בכך, נוצר מצב שבו המשחק מרונדר בפועל באבחנה נמוכה יותר והבינה המלאכותית משלימה את הפיקסלים החסרים באמצעות חיזוי והמסגרת הסופית היא באבחנה גבוהה יותר ממה שרונדר בפועל ובסופו של דבר מתקבלת תוצאה טובה יותר תוך שמירה על ביצועים מיטביים (כיוון שהסצנה כולה מרונדרת באבחנה נמוכה יותר).^[11][12]

DLSS 2.0

ב-DLSS 2.0, החברה שינתה את דרך הפעולה של האלגוריתם:^[13]

• תחילה, הרשת העצבית "מאומנת" על ידי Nvidia, באמצעות מסגרות "אידיאליות" ממשחקי וידאו באבחנה מאוד גבוהה (פי 64) שרונדרו במחשבי על ואותם מסגרות שרונדרו באבחנה נמוכה. התוצאה נשמרת במנהל ההתקן של הכרטיס הגרפי. Nvidia משתמשת בשרת ה-DGX-1 שלה על מנת לבצע את פעולות ה-"אימון" לרשת העצבית.
• הרשת העצבית אשר מאוחסנת במנהל ההתקן משווה בין המסגרת באבחנה נמוכה לבין המסגרת באיכות הגבוהה אשר עובדה בשרתי החברה ובסופו של דבר מתקבלת מסגרת באיכות גבוהה יותר מאשר אם המסגרת הייתה מרונדרת באבחנה הטבעית. הקלטים שמשמשים את הרשת העצבית הם המסגרות באיכות נמוכה אשר מרונדרים על ידי המנוע הגרפי וכן את וקטורי התנועה של הפיקסלים של אותם המסגרות, אשר גם כן מרונדרים על ידי המנוע הגרפי באיכות נמוכה. וקטורי-התנועה מכווינים את הרשת העצבית לאן כל אובייקט בכל מסגרת נע, על מנת לחזות מה תהיה המסגרת הבאה.^[14] כך נוצר מצב בו המשחק מרונדר בפועל באבחנה נמוכה יותר (עד 75% מהאבחנה המקורית), אך התוצאה הסופית איכותית וטובה יותר מאשר התוצאה המתקבלת ברינדור באבחנה טבעית.

ארכיטקטורה

DLSS זמינה בכרטיסי מסך מסדרת GeForce RTX 20 ומעלה, בליבות המיועדות להאצת בינה מלאכותית המכונות "ליבות טנזור" (Tensor cores) המאפשרות ריצה בדיוק מעורב (Mixed-precision_arithmetic).^[14]

ליבות טנזור נמצאות החל מארכיטקטורת וולטה, אשר שולבה לראשונה בכרטיסים מסדרת ה-Tesla V100.^[15] כל ליבת טנזור עובדת על 16 ביט של נקודה צפה במטריצה של 4 על 4 ומתוכננת להשתמש בסביבת CUDA, גם ברמת המהדר.^[16]

קישורים חיצוניים

• אתר האינטרנט הרשמי של Deep Learning Super Sampling (באנגלית)
• DLSS, באתר PCGamingWiki (באנגלית)
• אמט קילגריף, הנרי מורטון, ניק סטם וברנדון בל, NVIDIA Turing Architecture In-Depth, באתר NVIDIA, ‏‏14 בספטמבר 2018 (באנגלית)
• יאן לנגרמן, NVIDIA מכריזה על טכנולוגיית ה-DLSS 2.0 – מנגנון שיפור ביצועי משחקים משופר, באתר גאדג'טי, 24 במרץ 2020
• איאן בואדראו, Death Stranding running at an N64-level 360p actually looks good with DLSS, באתר PCGamesN, ‏‏6 באוקטובר 2020 (באנגלית)
• אלכס בטאגליאה, Does Nvidia ultra performance DLSS make 8K gaming viable?, באתר Eurogamer, ‏‏8 באוקטובר 2020 (באנגלית)