העבודה החמישית של הרקולס: האורוות הדיגיטליות

המלך אאוגיאס קיבל מהאלים עדרים אדירים. הבקר מעולם לא חלה, והתרבה שוב ושוב. האורוות לא נוקו במשך שנים. הרקולס עשה את זה ביום אחד — הוא הטה שני נהרות דרכן.

לכולנו יש אורווה דיגיטלית. היא נקראת בשמות שונים: "ארכיון 2012", "לפטופ ישן", "כונן D — למיין אחר כך". גם קבצים נערמים מעצמם — האפליקציה שומרת אוטומטית, צילומי מסך נעשים בלחיצת כפתור, האימייל מושך קבצים מצורפים, לקוח הטורנט מוריד דברים "ליתר ביטחון". הם לא חולים, לא מסריחים, כמעט לא תופסים מקום — אז הם פשוט שם.

הנה ההוכחות מארכיונים אמיתיים:

בערוץ התקשורת הזמין (כ-30 מגהביט לשנייה, נמדד בפועל) העלאת נפח כזה לענן הייתה אורכת כ-262 ימים — לעומת 96 הימים שבהם זה עובד בפועל במקום. האחסון היה עולה מ-$84 לחודש, והעיבוד על GPU בעוצמה דומה היה עולה מ-$150–190 לחודש. וזה בלי לספור עוד שלב: הנתונים עדיין צריכים לעבור מהאחסון אל מכונת ה-GPU עצמה לצורך העיבוד — גם בערוץ מהיר פי שלושה (100 מגהביט לשנייה), אצווה של כמה טרה-בייט לוקחת בערך 3 ימים.

1. מי המשתמש הסביר

האדם עם דיסקים בארון. הכיתוב אומר "חשוב". בפנים — כמה עותקים של אותו דבר, תיקיית "תמונות למיין" עם אלפי קבצים, ארכיונים עם תוכן לא ידוע. אי אפשר לזרוק, כי מה אם יש שם משהו בעל ערך. אי אפשר למיין, כי מתי?

המשווק בעשרות צ'אטים בו-זמנית. צ'אטים עבודה עם לקוחות, ערוצי נושא, קהילות מקצועיות. איפשהו שם — לקוחות חיים, בקשות לא סגורות, בעיות של אנשים אחרים. אבל הזרם כל כך צפוף שאין זמן לקרוא, ולשכור אנליסט זה יקר.

הסטודנט. שנים של סיכומים, חוברות סרוקות, הקלטות הרצאות וסמינרים — לעיתים קרובות בכמה שפות בו-זמנית. מסודר בתיקיות עם שמות כמו "שיעורים שנה ג'" ו"צריך לעבור שוב". למצוא את הקטע הנכון לפני מבחן זה חקירה שלמה.

המרצה — בבית ספר או באוניברסיטה. חומרי הוראה נערמים במשך עשורים: סיכומי קורסים, הקלטות הרצאות, תכתובת עם סטודנטים, טיוטות חוברות בשפות שונות. הארכיון גדל מהר יותר מהזמן שיש לעבור עליו ולעדכן אותו.

המהנדס. דפי נתונים, סכמות, חישובים, תיעוד טכני — במשך שנים, עשרות גיגה-בייטים. אי אפשר לענן: חסוי, או פשוט לא רוצה להזין חוות דעת של מרכז נתונים זר בידע שלו. חצי מהקבצים ללא זיהוי טקסט, כלומר הם פשוט לא קיימים לחיפוש — ואיפשהו שם, מהנדס אחר כבר פתר בדיוק את הבעיה שבה הוא תקוע, בתיקייה פרטית לא פחות משלו. (עוד על זה.)

המוזיקאי או כותב השירים. הקלטות קונצרטים, טיוטות, טייקים כפולים של אותו קטע בביצועים שונים, קלטות מגנטיות, דיגיטציות. יודע שיש איפשהו שם ביצוע ייחודי או הקלטה לא-מפורסמת. לא יודע באיזה מתוך מאות קבצים — ולא יודע שמישהו בקהל באותו ערב מחזיק בזווית שחסרה להקלטה שלו עצמו. (עוד על זה.)

מועדון מוזיקלי או ספרותי. מערב לערב נצברות הקלטות של הופעות, ערבי יצירה וערבי שירה — אבל אין כבר מי שיפענח ידנית מי הופיע ומה בדיוק נאמר או בוצע: ההרכב מתחלף, והארכיון נשאר משותף, לא שייך לאף אחד באופן ספציפי. לעיתים קרובות כמה חברים הקליטו את אותו הערב ממקומות ישיבה שונים, ואף אחד מעולם לא השווה ביניהם. (עוד על זה.)

הארכיבאי של סצנה מוזיקלית, פואטית או תרבותית. שומר מוכרז מעצמו של הקלטות מאירועים של ז'אנר או קהילה שלמה — מעגל שירת בארדים הוא רק דוגמה אחת, רחוק מלהיות היחידה. קונצרטים, קריאות, ערבים לאורך עשורים, שמוחזקים יחד בזכות מי שעדיין זוכר מי הופיע, מה ומתי. הארכיון שלם בדיוק כמו ההקלטות של אדם אחד בלבד — למרות שסביר מאוד שנוכחים אחרים, לאורך השנים, הקליטו את אותם הערבים מהמקומות שלהם.

הארכיבאי. שומר קרן — אישית, משפחתית, או ארכיון של מישהו אחר שהופקד בטיפולו. מדיה, מסמכים והקלטות מתקופות שונות מעורבבים יחד, ללא מערכת תיאור אחידה. המשימה אינה "למחוק", אלא להבין מה בכלל יש לפני שמחליטים משהו.

2. מה המוצר עושה

ארבעה כלים תחת גג אחד — ארבעה נהרות שהוטו דרך ארבע אורוות שונות.

זרם ראשון: הספרייה. לוקח תיקייה עם קבצים מכל סוג — ספרים, דפי נתונים, סכמות, מסמכים — ומבקש מרשת נוירונים מקומית לכתוב הערה לכל אחד. מכין קובצי PDF לא מזוהים ל-OCR. הפלט: אינדקס תקין שאפשר לחפש בו לפי משמעות, במקום לנחש לפי שם קובץ כמו doc_final_FINAL_v3_USE_THIS.pdf.

זרם שני: אודיו ווידאו. לוקח הקלטות — קונצרטים, הודעות קוליות, שיחות, בועות קוליות ממסרים מיידיים — והופך אותן לטקסט עם קודי זמן. אם זו מוזיקה — מנסה לזהות מה בדיוק בוצע. אם אלה שיחות או ראיונות עם כמה משתתפים — מחלק את השורות לפי דובר ומסכם מי אמר מה.

זרם שלישי: תכתובת. לוקח ייצוא מלא של ערוץ או צ'אט, אוסף את כל הטקסט, מוריד הודעות קוליות וסרטונים, מתמלל אותם, מרכיב למסמך ארוך ומסכם. הפלט: מי האנשים האלה, מה מעניין אותם, האם יש ביניהם לקוחות פוטנציאליים — בתוספת תדריך מוכן לכל רשת נוירונית: הנה הקהל, הנה השפה שלו, הנה מה להציע לו.

זרם רביעי: תמונות. לוקח אשכולות של תמונות דומות — למשל כל התמונות מאירוע או תקופה אחת — ומבקש מרשת נוירונים מקומית עם ראייה לתאר מה רואים בהן: מי בתמונה וכמה אנשים, איפה זה צולם, מה קורה בה. לא כל תמונה בודדת מתוך אלפים — דגימה מייצגת בתוך כל אשכול, כדי שתיאור הארכיון ייגמר בזמן סביר ולא ייקח שבועות של עבודת מעבד גרפי.

הכול רץ באופן מקומי. קבצים לא יוצאים לשום מקום.

3. לאיזו קטגוריה זה שייך

סייר AI מקומי לאוספים אישיים — קטגוריה חדשה ללא שם מבוסס: לא מתמלל בענן, לא ניהול מסמכים ארגוני, לא כלי חיפוש קבצים ולא שרת מדיה, אלא משהו בין לבין — עם הבדל עקרוני: רץ על החומרה שלכם, עם הנתונים שלכם, והפלט שלו הוא לא רשימת קבצים — הוא ספרייה מובנית. לכל קובץ בנפרד — נושא, שפה, סוג מסמך, ישויות מפתח, תקציר. זה נעשה מראש, בלי לחץ ובלי דדליין, לפני שמישהו זקוק לזה בדחיפות — לא ברגע האחרון תחת לחץ למשימה ספציפית. את הספרייה המוכנה אפשר להזין לכל רשת נוירונים, מסד נתונים או מנוע חיפוש — מכאן הם ממשיכים לבד, מוצאים את הנדרש ובונים את הממשק; Digercules לא מחליפה את השלב הבא הזה, היא הופכת אותו לאפשרי מלכתחילה, בכך שהיא לוקחת על עצמה את ההכנה הדורשת עבודה רבה שלעולם אין לה משאבים.

4. למה זה עדיף על החלופות הקרובות ביותר

כל הכלים האלה — מארגני קבצים מבוססי AI, חיפוש דסקטופ, מערכות ניהול מסמכים עם OCR, תמלול רגיל — עובדים רק ברגע שהארכיון כבר הובא לצורה קריאה למחשב: טקסט מזוהה, קבצים מתוארים, הכול ממוין. בדיוק את ההכנה הזו הם לא עושים ולא יכולים לעשות — הם מניחים אותה כעובדה קיימת.

Digercules עושה בדיוק את החלק החסר הזה: ארכיון מעורב (טקסט + אודיו + וידאו + תמונות + סריקות) הופך לספרייה מובנית אחת, מאומנת על המאפיינים הספציפיים של האוסף — לגמרי באופן מקומי. משם, כל אחד מהכלים לעיל, כל רשת נוירונית, או כל מערכת חיפוש יכולים לעבוד עם הספרייה הזו — Digercules לא מתחרה בהם, הוא נותן להם את הדבר היחיד שבלעדיו הם חסרי תועלת.

5. אילו משימות הוא יכול לבצע

6. איך זה עוזר

האדם עם דיסקים בארון מפעיל את הכלי, מצביע על תיקייה, הולך לשתות תה. כמה שעות אחר כך: הנה הזבל — למחוק? הנה תמונות המשפחה. הנה מסמכי עבודה — זהירות, אולי חסוי.

המשווק טוען ייצואי ערוצים. מקבל בחזרה: אלה רעש, לא כדאי לבזבז זמן. זה — יש כאן לקוחות פוטנציאליים, הנה הבעיות שלהם, הנה תדריך מוכן לשיחה הבאה.

המהנדס רואה את הספרייה שלו בשלמותה, בפעם הראשונה: מה קיים, מה מיושן, מה לא ניתן למצוא בשום מקום אחר. ההערות כתובות בשפה שלו — כי הכלי אומן על האוסף שלו עצמו.

סטודנטים ומרצים מקבלים ארכיון ניתן לחיפוש של סיכומים, סריקות והקלטות הרצאות, גם בכמה שפות בו-זמנית — מה שקודם דרש דפדוף ידני בקבצים, עכשיו ניתן לחיפוש לפי משמעות.

מוזיקאים וכותבי שירים מקבלים תמלול וקטלוג של הקלטות קונצרטים תוך זיהוי מה בדיוק בוצע בכל אחת — כולל טייקים וטיוטות שאיש אחר לא היה מאזין להם מחדש.

מועדון מקבל קטלוג של הערבים שלו: מי הופיע, מה הקריא או ניגן, ובאיזו הקלטה לחפש מה — במקום ארכיון שמוחזק בזיכרון של כמה ותיקים בלבד.

ארכיבאים מקבלים, לא רשימת קבצים, אלא הערכה מובנית של הקרן כולה: מה בעל ערך, מה כפול למה שכבר ידוע, מה דורש תשומת לב מיידית.

7. כמה זה עולה ומה נחוץ לזה

בחינם — רק ההערכה המקדימה. לפי תיאור הארכיון שלכם או צילום מסך של התיקייה, נאמר לכם אם באמת אפשר לסדר אותו וכמה זמן זה ייקח בערך. הכלי עצמו בתשלום — רכישה חד־פעמית בלי הגבלה על נפח או על זמן: מתקינים אותו על המחשב שלכם ומסדרים את הארכיון כולו מקומית, לא משנה כמה נתונים יש שם. אם החומרה שלכם מסוגלת גם לעיבוד הכבד (תמלול, זיהוי) — הרישיון לא מונע מכם להריץ אותו בעצמכם.

כשהכוח שלכם לא מספיק. העיבוד הנוסף נשכר על מכונת GPU חיצונית לבחירתכם ועל חשבונכם (לאסמכתא מהשוק, ראו את הנתונים למעלה בעמוד הזה), או שאנחנו לוקחים על עצמנו את התיאום רב־הימים הזה. במקרה כזה המחיר נקבע לפי הנפח שנמצא בפועל — היום אין מספר קבוע או תקרה; זה הסכם נפרד לארכיון שלכם.

מה שנחוץ מכם. הארכיון עצמו (דיסק, תיקייה, ייצוא צ'אט) ותשובה למה אתם רוצים לגלות או לקבל ממנו.

אם אנחנו מתאמים. מה שיוצא הוא לא הארכיון עצמו אלא ייצוא עבודה מצומצם שלו (דוגמה: 2 טרהבייט הקלטות וידאו → כ-2.7 ג'יגהבייט), ישירות למכונה מוסכמת — לעולם לא לענן ציבורי.

אם משהו השתבש. חלון התמיכה לניסיון חוזר לאחר תקלה הוא 48–72 שעות מרגע הפנייה; הרצה חוזרת היא הסכם נפרד.

עדיין לא מתואר באתר: טופס הגדרת המשימה, דוגמת חוזה, לאן בדיוק מעלים את הנתונים, לוח הזמנים של העיבוד והתשלום, וקריטריוני הקבלה של התוצאה.

יש מצב נפרד, שונה מבחינה רגשית — כשהארכיון לא שלכם, אלא הגיע מישהו אחר. מכוסה בנפרד: ארכיון בירושה.

אותה הטכנולוגיה לא עובדת רק עבור ארכיונים אישיים — אם אתם מייצגים ארגון (חברה, אולפן, משרד, מרפאה, ספרייה), ראו Digercules לארגונים.