עוז לוי, CTO

בין המגמות הבולטות בעולם המחשוב ניתן למצוא גם את המעבר המאסיבי לענן, ה-IoT, ומוניטיזציית ה-Big Data, שממשיכות לשנות שווקים, מודלים עסקיים וגדלי עסקאות. חלקן כבר מלוות אותנו מספר שנים, אך ההשפעות שלהן על כל תחום או תת תחום בעולם המחשוב – הפרטי והארגוני, מתרחשות כל הזמן, יוצרות מתודולוגיות פעולה חדשות, יעילות וחסכוניות יותר. זה קורה באבטחת המידע, ביכולות האחסון, במודלי התוכנה/פלטפורמה/תשתית כשירות, וזה קורה היום גם בעולם הבינה העסקית: ה-BI, בו ארצה לדון בשורות הבאות.

ניתוח חכם של כמויות מידע עצומות

עולם ה-BI עבר מהפכה של ממש במהלך שלוש השנים האחרונות, שהיוו מעין קו פרשת מים שמחלק, הלכה למעשה, בין ה-BI הישן והמסורתי ל-BI המודרני. מעבר חד מעולם של דיווח וניתוח בסיסי של מידע קיים במערכת, לעולם חדש של ניתוח התנהגות על גבי כמויות אדירות של מידע – רובו מושתת דווקא על המידע שהמשתמשים/לקוחות הארגון יוצרים – אשר גדל אקספוננציאלית ומגיע להיקפים גדולים מאוד. כמות הערוצים שמהם ניתן לאסוף מידע שוברת שיאים בשנים האחרונות: סלולר, אינטרנט, רשתות חברתיות, שעונים חכמים, אפליקציות ועוד. עם התפתחות ה-Big Data כאמור, היום גם קל הרבה יותר לאחסן ולנתח את כל הנ”ל.

עולם ה-BI המסורתי מאופיין בתהליכי Batch כבדים השולפים מידע מכמות גדולה של מקורות מובנים ברובם. תהליכי העיבוד (ETL/ELT) התמקדו בביצוע תהליכי תיקוף (Validation) ושינוי (Transformation) על מנת שיתאימו לסכמות שתוכננו עבורם. לרוב, התוצרים של המערכות הללו הם דו״חות, דשבורדים וכד’. הפופולאריות של מערכות אלו גאתה לרוחבה של התעשייה, והתמקדה בעיקר בניהול יעדים ומדדים, תוך ניתוח מידע פנים ארגוני ממערכות ה-CRM, ERP, SCM וכד’, כאשר בהרבה מקרים רק חלק מהמידע היה נגיש לביצוע ניתוחים. כך למשל, ממערכות ה-CRM ניתן היה להוציא מידע מובנה כמו שם הלקוח, מקום מגורים, מספר פניה, תאריך ביצוע הזמנה וכולי, אבל לא הרבה יותר מכך. מידע כמו תמליל השיחה ומצב הרוח של הלקוח עפ”י אותו תמליל (Sentiment Analysis) או מציאת מילות מפתח כמו שם המתחרה אשר משחקים חשיבות מכרעת בהבנת הלקוח לא היו זמינים. דבר זה יצר פער אמיתי בהבנת הלקוח.

ניתוח נתונים בהיקף רב ובזמן אמת

לעומת זאת, עולם ה-BI החדש מתמקד ביצירת יתרון תחרותי מול המתחרים. הוא אינו כבול למערכות פנימיות, מידע מובנה וידע ארגוני קיים, ותוצריו אינם מתמקדים ביצירת דו״חות “יבשים” ודשבורדים עמוסים. אם בעבר ה-BI היה מתמקד בשאלות כמו מה קרה ומתי, וארגונים בודדים היו מתמקדים בלמה ובאיך אפשר יהיה לשפר בעתיד, היום הפוקוס נמצא בשאלות בעלות אופי עמוק יותר. בנוסף, כאמור, הוזלת עלויות ה-Big Data וייעול משימות השמירה והעיבוד, לצד עליית שירותי הענן ויכולות העיבוד המבוזר עם מודלי Machine Learning שהביא עמו, מאפשרים היום יותר מתמיד תהליכי מחקר מבוססי נתונים אשר לא תמיד מתבססים על הנחת מוצא (Null Hypothesis) ומנצלים את כוח העיבוד הרב על מנת לגלות את הלא נודע, ה-Unknowns, על המשתמש, על השוק ועל הארגון.

הגישה לנתונים חדשים אלו, והטכנולוגיות שמאפשרות ניתוח בזמן אמת והשפעה על קבלת החלטות, פותחת אין סוף של אפשרויות חדשות: שימושים כמו מציאת דפוסים וניתוח סטיות, ניתוח התנהגות, גיבוש תמונת לקוח ואופטימיזציה של תהליכים עסקיים. כל אלה דורשים יכולות BI הכוללות לעיתים ייבוא מידע מרשתות חברתיות, אתרי אינטרנט של מתחרים, שילובם עם מידע פנים ארגוני וביצוע תהליכי ניתוח עמוקים כמו מציאת קורלציות, סיווג, ניתוח טקסט ועוד.

יישומים כמו רפואה מותאמת אישית, תכנון ערים ותנועה, מתן פרסומות ממוקדות, ניתוח ואף (ניסיונות) חיזוי התנהגות צרכנים הם רק חלק מהתחומים המעניינים שה-BI חודר אליהם היום בעזרת פלטפורמות ה-Big Data. בנוסף חוסר התלות בסכמה הופך את השלב הראשוני במחזור החיים של מערכות BI, מניתוח עסקי ותכנון מבנה הנתונים לאיסוף מידע בכל הצורות וכמה שיותר ממנו.

ועם זאת, לא מדובר במטה קסמים

עם זאת, חשוב לציין כי בניגוד לדעה הרווחת כיום, פלטפורמות Big Data לבדן הן לא מטה קסמים שבעזרתו ניתן להגיע לתובנות אלו ולעיתים, ניתוח נתונים פשוט, פשוט לא מספיק. על כן עלייתו של מדע הנתונים (Data Science) הנוצר ע”י שילוב של כישורי מדעי מחשב לצד ניתוח סטטיסטי והבנה עסקית עמוקה של הנתונים, מסייע לנו לחזות בתמונה מלאה יותר, למלא פערים, וגם למצוא תשובות לשאלות שעדיין לא חשבו עליהן. לפיכך, יש להתחשב בתהליכי המחקר והמתודולוגיות הנלוות לפרוייקטי ההקמה בתחום זה כבעלות משמעות קריטית במתן ערך לארגון: כל אחד יכול להקים מערך של Hadoop אך השאלה היא איזה ערך ארגוני ניתן להוציא ממנו וכמה מהר עושים זאת.

לסיום, כניסתו של הענן לעולם ה-BI וה-Analytics ומודל ה-BI as a Service מהווה אירוע המשנה את כללי המשחק, לא פחות מכך. אם עד כה היכולת להקים מאגרים ולבצע עיבוד של כמויות אדירות של מידע הייתה שמורה לארגוני אנטרפרייז חזקים, כעת היכולת הזו נגישה גם לחברות קטנות ובינוניות, סטארטאפים בתחילת הדרך, וכוללות יכולות אלסטיות כמו הוספת והורדת משאבים, פריסה גלובלית ושימוש בשירותי Machine Learning מתקדמים כמו שמציעות IBM, Amazon ומיקרוסופט, בשיטת Pay as you go.

לאחר אין סוף הצלחות, עולם ה-BI ממציא את עצמו מחדש, הוא נעזר במילים כמו Big Data ו-Analytics ו אף חורג מה- ecosystem  הטכנולוגי בו התרגלנו למצוא אותו NoSQL, Hadoop ) וכו’), הוא מכניס לסטנדרט יכולות כמו חיפוש בשפה חופשית זיהוי דפוסים ועוד אבל המניע הראשי לכל הפעילויות הללו היה ויישאר ערך עסקי.