ארגון מסד נתונים באמצעות מטה-דאטה

במאמר זה, נציג כיצד ארגונים יכולים לנהל את הנתונים שלהם באמצעות יצירת מלאי מסודר של נכסי הנתונים (data assets) ושימוש במטה-דאטה, בכדי ליצור תצוגה אחידה, כוללנית ובעלת אפשרות לחפש בתוכה.

Oracle Cloud Infrastructure Data Catalog הוא כלי שעוזר לארגונים לנהל את הנתונים שלהם ומסייע לאנליסטים, למדעני נתונים ולכל מי שעובד עם דאטה, למצוא נתונים לפרויקטים שבהם נדרש הניתוח. בנוסף,  הקטלוג תומך בניהול הנתונים, בכך שהוא עוזר למשתמשים למצוא, להבין ולעקוב אחרי נכסי הנתונים שלהם, הן אלו המאוחסנים בענן והן אלו המאוחסנים לוקאלית. כל זה כלול במנוי של שירות הענן של אורקל‍‍

‍

מדוע Oracle Cloud Infrastructure Data Catalog כה חשוב?

Oracle Cloud Infrastructure Data Catalog כה חשוב משום שהוא חלק בסיסי מכל מסד נתונים מודרני. באמצעותו כל הנתונים המאוחסנים בו יכולים לפעול כגוף אחד, והמשתמש יכול להציג את הנתונים האלה ולהגיע אליהם בקלות, ולא משנה היכן הנתונים מאוחסנים -בענן של אורקל, בפלטפורמת אחסון אובייקטים, במסד נתונים לוקאלי, במערכת של big data או במסד נתונים אוטונומי.

משמעות הדבר, שכל מי שעובד עם נתונים בארגון, מדעני נתונים, אנליסטים, מהנדסי נתונים ועוד, יכול למצוא נתונים ביתר קלות במערכות השונות ובארגון, משום שקטלוג הנתונים יוצר סביבה מרכזת ומשתפת, המעודדת חיפוש וחקירה של נתונים. עם קטלוג הנתונים, כל אלו שעובדים עם נתונים, יכולים להיות בטוחים בנכונות הנתונים שהם מצאו, משום שהם מקושרים גם בהיבט הטכני וגם בהיבט העסקי, ונותנים נקודת מבט רחבה יותר.

יתרה מכך, לעובדים אלו לא צריכה להיות גישה ל-SQL, הם אינם נדרשים לדעת מהו אחסון אובייקטים ואינם צריכים להבין את המורכבות של Hadoop.הם יכולים להיכנס לעבודה במהירות רבה יותר ולהשתמש בתצוגה האחידה היחידה של קטלוג הנתונים, כך שכבר לא צריך חמישה אנשים עם חמש מיומנויות שונות, רק בשביל למצוא איפה נמצאים הנתונים הנכונים.

ובפשטות, קטלוג הנתונים מאפשר לאתר את הנתונים בקלות.

קטלוג הנתונים מקל לא רק על איתור הנתונים. הוא מקל גם על ארגון הנתונים, שזה יתרון מרכזי עם GDPR ועם כל דרישות התאימות, שנעשות מורכבות יותר ויותר, בעולם שבו ישנן מערכות ארגוניות רבות, שעובדות גם לוקאלית, גם בענן וגם בסביבה מרובת עננים.

Oracle Cloud Infrastructure Data Catalog מציג בצורה טובה יותר את כל הנכסים, יחד עם ההקשר העסקי שלהם, המובא כמילון מונחים עם הערות המשתמשים וכמובן, שהבנת הנתונים הזמינים חיונית לניהולם.

איך Oracle Cloud Infrastructure Data Catalog עובד?

קטלוג הנתונים, לוקח מטה-דאטה טכנית, עסקית ותפעולית ממקורות נתונים, ממשתמשים ומנכסים שונים, אוסף אותה ומקטלג אותה בתוך קטלוג הנתונים. כך, הוא יוצר מערכת שיתופית אחת לכל אנשי המקצוע, שיכולים באמצעותה לאסוף, לארגן, למצוא, לגשת, להעשיר ולהפעיל מטה-דאטה, ולהסתמך עליה בבואם לנתח את המידע בעצמם ולנהל נכסים מהימנים הנמצאים בענן של אורקל.

ולמה המטה-דאטה הזאת כל כך חשובה? היא כל כך חשובה כי היא מהווה את המפתח ל- Oracle Cloud Infrastructure Data Catalog.

‍

ישנם שלושה סוגים של מטה-דאטה שרלוונטיים ומהווים מפתחות לעבודה של קטלוג הנתונים:

1. מטה-דאטה טכנית: המשמשת לאחסון ולבניית הנתונים בתוך מסד הנתונים או המערכת

2. מטה-דאטה עסקית: המוספת על ידי משתמשי המערכת כהערות או כהקשרים עסקיים

3. מטה-דאטה תפעולית: הנוצרת כתוצאה מעיבוד הנתונים ומהגישה עליהם, ומלמדת על עדכניות הנתונים ועל השימוש בהם ויוצרת חיבור משמעותי בין כל הנתונים.

המשתמש יכול לאסוף את הנתונים ממגוון מקורות, כולל:

·         Oracle Cloud Infrastructure Object Storage

·         Oracle Database

·         Oracle Autonomous Transaction Processing

·         Oracle Autonomous Data Warehouse

·         Oracle MySQL Cloud Service

·         Hive

·         Kafka

בסוגי הקבצים ש-Oracle Cloud Infrastructure Object Storage תומך בהם נכללים:

·         CSV, Excel

·         ORC, Avro, Parquet

·         JSON.

אחרי שהמטה-דאטה הטכנית נאספת, המשתמשים יכולים להוסיף מטה-דאטה עסקית בצורה של הערות למטה-דאטה הטכנית. באמצעות סידור כל המטה-דאטה הזאת ומתן מבט כולל עליה, Oracle Cloud Infrastructure Data Catalog מסייע למשתמשים בנתונים למצוא את הנתונים שהם צריכים, לגלות מידע על נתונים זמינים ולקבל מידע על מהימנות הנתונים לשימושים שונים.

איך תוכל להשתמש בקטלוג הנתונים?

העשרת מטה-דאטה

קטלוג הנתונים מאפשר למשתמשים להוסיף למטה-דאטה מידע טכני לפי ההקשר העסקי, כדי לאסוף ידע פנימי ולשתף אותו. ידע פנימי זה הוא ידע שבטי, המשמש כנכס לא מוחשי לארגון. אפשר לתייג ולקשר ישויות נתונים ותכונות למונחים עסקיים, וכך ככל שייאספו יותר נתונים, תיווצר תצוגה כוללת יותר עבור פרויקטים של ניתוח נתונים. הוספת מידע זה מסייעת גם בסיווג, בחיפוש ובגילוי נתונים.

מונחים עסקיים

אחד הצעדים הראשונים הנחוצים לניהול יעיל של נתונים, הוא יצירת הבנה משותפת של מושגים בכל רחבי הארגון ויצירת קשר ביניהם לבין נכסי הנתונים בארגון. קטלוג הנתונים מאפשר לראות קשרים וקישורים בין מילון המונחים לבין מונחים טכניים אחרים, נכסים וממצאים. דבר זה עוזר להעלות את אמון המשתמשים, משום שהם מבינים את מערכות היחסים בין הישויות השונות ואת מה שהם רואים.

קטלוג הנתונים מאפשר זאת בכך שהוא כולל אפשרות להגדיר מונחים עסקיים באופן שיתופי בצורה של טקסט עשיר, סיווגם לקטגוריות כהלכה ובניית היררכיה לארגון המונחים הללו. נוסף על כך, אפשר גם לבנות קשרים בין מונחי אב לצאצאיהם לבניית טקסונומיה או להגדיר בעלים למונחים עסקיים ומצב אישור, כך שמשתמשים יידעו מי יכול לענות על שאלותיהם בקשר למונחים ספציפיים. אחרי שהמונחים האלו נוצרים, המשתמשים יכולים לקשר ביניהם לבין נכסים טכניים, כדי לתת להם משמעות עסקית ולהשתמש גם בהם בחיפושים.

מלאי נכסי הנתונים זמין לחיפוש

באמצעות סידור כל המטה-דאטה הזאת ומתן מבט כולל עליה, קטלוג הנתונים מסייע למשתמשים בנתונים למצוא את הנתונים שהם צריכים, לגלות מידע על נתונים זמינים ולקבל מידע על מהימנות הנתונים לשימושים שונים.

היכולת לחפש מידע בתוך מאגרי נתונים שונים הופכת את מציאת הנתונים הנכונים לקלה הרבה יותר. עם קטלוג הנתונים, נבנה מלאי עוצמתי, הבנוי בצורה אחידה ועם יכולת חיפוש בתוכו של מקורות הנתונים, הישויות והתכונות הזמינים. המשתמש יכול להזין מידע טכני, תגיות מוגדרות או מונחים עסקיים, כדי לדלות בקלות את ישויות הנתונים ואת הנכסים הנכונים. המשתמש יכול גם להשתמש באפשרויות הסינון כדי לגלות מערכי נתונים רלוונטיים או לעיין במטה-דאטה, המבוססת על ההיררכיה הטכנית של נכסי נתונים, ישויות ותכונות. תכונות אלו מאפשרות להתחיל בקלות פרויקטים של מדע נתונים, אנליזה והנדסת נתונים.

קטלוג הנתונים, API ו-SDK

אפשרויות רבות הקיימות ב-Oracle Cloud Infrastructure Data Catalog זמינות גם כקוד פתוח של REST APIs, כדי לאפשר שילובים כדוגמת:

·         חיפוש והצגה של תוצאות ביישומים המשתמשים בנכסי הנתונים

·         חיפוש הגדרות של מונחים עסקיים מוגדרים בתוך מילון המונחים העסקי והצגתן ביישומי דיווח

·         בקשה לביצוע של משימה לאיסוף נתונים לפי הצורך.

אפשרויות החיפוש הזמינות כוללות:

·         חיפוש נתונים המבוססים על שמות טכניים, מונחים עסקיים או תגיות

·         צפייה בפרטים של אובייקטים שונים

·         עיון בקטלוג הנתונים המבוסס על נכסי נתונים.

סביבה שיתופית יחידה כוללת:

·         דף בית עם קיצורי דרך מועילים וסטטיסטיקות על ביצוע פעולות

·         חיפוש וגלישה

·         פעולות מהירות לניהול נכסי נתונים, מילוני המונחים, משימות ולוחות זמנים

·         תגיות נפוצות ואובייקטים שעודכנו לאחרונה.

מסקנות

Oracle Cloud Infrastructure Data Catalog הוא התשתית הבסיסית לניהול נתונים שחיכיתם לו, והוא כלול במנוי של Oracle Cloud Infrastructure. כעת, אנשי מקצוע יכולים להשתמש במטה-דאטה טכנית, עסקית ותפעולית, ולהסתייע בה כאשר הם באים לנתח את הנתונים בעצמם ולנהל את נכסי הנתונים, הנמצאים בענן של אורקל ומחוצה לו.

קטלוג הנתונים מאפשר לכם למנף את השימוש שלכם בנתונים בדרכים חדשות ופשוטות יותר מבעבר, ובזה ערכו הגדול.

להתנסות חינם:

https://israelclouds.technology/Oracle_free_trial