DataOps

DataOps היא מערכת של פרקטיקות, תהליכים וטכנולוגיות המשלבת פרספקטיבה משולבת ומכוונת תהליך על נתונים עם אוטומציה ושיטות Agile כדי לשפר את האיכות, המהירות, שיתוף פעולה ולקדם תרבות של שיפור מתמיד בתחום ניתוח הנתונים.^[1] בעוד ש-DataOps החלה כמערכת של שיטות עבודה מומלצות, היא התבגרה כעת והפכה לגישה חדשה ועצמאית לניתוח נתונים.^[2] DataOps חלה על כל מחזור חיי הנתונים^[3] מהכנת הנתונים ועד לדוח. ומכירה באופי המקושר של צוות ניתוח הנתונים ופעולות טכנולוגיית המידע.^[4]

DataOps היא הלחם של Data ו-Operations, משלבת את מתודולוגיית פיתוח תוכנה זריז כדי לקצר את זמן המחזור של פיתוח אנליטיקה בהתאם למטרות העסקיות.^[3]

DevOps מתמקדת באספקה רציפה על ידי מינוף משאבי IT לפי דרישה ועל ידי אוטומציה של בדיקות ופריסה של תוכנה. מיזוג זה של פיתוח תוכנה ותפעול IT שיפר את המהירות, האיכות, החיזוי וקנה המידה של הנדסת תוכנה ופריסה. DataOps, השואלת שיטות מ-DevOps, שואפת להביא את אותם שיפורים לניתוח נתונים.^[4]

DataOps משתמש בבקרת תהליכים סטטיסטית (SPC) כדי לנטר ולשלוט בצינור ניתוח הנתונים. עם SPC קיים, הנתונים הזורמים דרך מערכת תפעולית מנוטרים באופן מתמיד ומאומתים כתקינים. אם מתרחשת אנומליה, ניתן להודיע לצוות ניתוח הנתונים באמצעות התראה אוטומטית.^[5]

DataOps אינו קשור לטכנולוגיה, ארכיטקטורה, כלי, שפה או מסגרת מסוימת. כלים התומכים ב-DataOps מקדמים שיתוף פעולה, תזמור, איכות, אבטחה, גישה וקלות שימוש.^[6]

היסטוריה

DataOps הוצג לראשונה על ידי לני ליבמן, עורך תורם ב-InformationWeek, בפוסט בבלוג של IBM Big Data & Analytics Hub תחת הכותרת "3 סיבות מדוע DataOps חיוני להצלחה בביג דאטה " ב-19 ביוני 2014.^[7] המונח DataOps זכה מאוחר יותר לפופולריות על ידי אנדי פאלמר ב-Tamr.^[8][4]

2017 הייתה שנה משמעותית עבור DataOps עם פיתוח משמעותי של המערכת האקולוגית, סיקור אנליסטים, חיפושי מילות מפתח מוגברים, סקרים, פרסומים ופרויקטים בקוד פתוח.^[9] גרטנר ציינה את DataOps במחזור ההייפ לניהול נתונים בשנת 2018.^[10]

מורשת DataOps מ-DevOps, Agile וייצור

מטרות ופילוסופיה

נפח הנתונים צפוי לגדול בקצב צמיחה שנתי ממוצע (CAGR) של 32% ל-180 זטה-בייט עד שנת 2025 (מקור: IDC).^[6] DataOps שואפת לספק את הכלים, התהליכים והמבנים הארגוניים להתמודדות עם העלייה המשמעותית הזו בנתונים.^[6] אוטומציה מייעלת את תהליך ה-preboarding, קליטת הנתונים וניהולם של מסדי נתונים משולבים גדולים, ומשחררת את צוות הנתונים לפתח ניתוחים חדשים בצורה יעילה ואפקטיבית יותר.^[11][4] DataOps שואפת להגביר את המהירות, האמינות והאיכות של ניתוח הנתונים.^[12] היא שמה דגש על תקשורת, שיתוף פעולה, אינטגרציה, אוטומציה, מדידה ושיתוף פעולה בין מדעני נתונים, אנליסטים, מהנדסי נתונים/ETL (חילוץ, טרנספורמציה, טעינה), טכנולוגיית מידע (IT) והבטחת איכות/ממשל.

יישום

טוף ויטמור מחברת Blue Hill Research מציע את עקרונות המנהיגות הבאים של DataOps עבור מחלקת טכנולוגיית המידע:^[2]

• קבעו מדידות התקדמות וביצועים בכל שלב של זרימת הנתונים. במידת האפשר, ביצעו בוחן ביצועים למחזור של זרימת הנתונים.
• הגדירו כללים לשכבה סמנטית מופשטת. ודאו שכולם "מדברים באותה שפה" ומסכימים על מה הנתונים (והמטאדטה) הם ומה לא.
• אימות באמצעות "מבחן עין": כלול לולאות משוב אנושיות המכוונות לשיפור מתמיד. צרכנים חייבים להיות מסוגלים לסמוך על הנתונים, וזה יכול לבוא רק באמצעות אימות הדרגתי.
• אוטומציה של כמה שיותר שלבים בזרימת הנתונים, כולל BI, מדעי נתונים ואנליטיקה.
• באמצעות בוחן ביצועים ממוחשב, זהה צווארי בקבוק ולאחר מכן אופטימיזציה עבורם. ייתכן שזה ידרוש השקעה בחומרה בסיסית, או אוטומציה של שלב מדעי הנתונים שסופק בעבר על ידי אדם בתהליך.
• ביסוס משמעת, עם דגש מיוחד על בקרת נתונים דו-כיוונית, בעלות על נתונים, שקיפות ומעקב מקיף אחר שושלת נתונים לאורך כל תהליך העבודה.
• תהליך תכנון לצמיחה והרחבה. יש לתכנן את מודל זרימת הנתונים כך שיתאים לנפח ולמגוון של נתונים. יש לוודא שטכנולוגיות מתומחרות במחיר סביר בהתאם לצמיחת הנתונים הארגונית.

אירועים

• דאטה אופטיקון^[13]
• פסגת Data Ops^[14]
• אליפות Data Ops מקוונות^[15]