בפודקאסט השתתפו גארי איליס ומרטין ספליט ואלו חלקו את התובנות שלהם בנוגע ליצירת אינדקס לאינטרנט כפי שגוגל רואה אותו. איליס אמר כי המושג ״תקציב סריקה״ נוצר על ידי קהילת החיפוש ולא על ידי גוגל. הוא אמר ציין כי בעוד אנשים מדברים על תקציב הסריקה מה שקרה בגוגל הוא פיתוח של מדדים שונים שקובעים את אופן הסריקה ואינדוקס התוכן.
גוגל פיתחה מדדים פנימיים
״לא היה לנו משהו שבפני עצמו נחשב לתקציב זחילה״ אמר איליס והוסיף כי העובדה שאנשים דיברו על זה הובילה את גוגל לנסות להגדיר את התחום. מספר צוותים בחברה עבדו במטרה ליצור מדדים פנימיים שיעזרו להגדיר את תקציב הזחילה.
חלק מהתקציב מבוסס על שיקולים מעשיים. אחד מהם הוא הגדרה של מספר כתובות ה-URL שהשרת מציג ושנסרקות על ידי ה- Googlebot באתר המדובר. ספליט אמר כי זוהי פחות או יותר המשמעות של תקציב הסריקה.
השאיפה לאיזון
גוגל שואפת לאזן בין השיקולים השונים שלה כשהיא יודעת כי ישנו גבול למה שניתן לאחסן. לכן, במונחי גוגל מדובר על יצירת סדר עדיפויות. ספליט אמר כי כולם רוצים שהתוכן שלהם יתווסף לאינדקס במהירות האפשרית. בין אם מדובר על אתר חדש ובין אם באתר עם דפים רבים, כולם רוצים שהאתרים שלהם יעלו והאתגר הוא להגיע להצליח לסרוק את התכנים הרלוונטיים במהירות האפשרית בלי לבזבז את המשאבים של גוגל.
לא מזמן צייץ ג׳ון מולר מגוגל את נקודת המבט שלו: ״…חשוב לזכור שגוגל לא מצרפת כל עמוד שעולה, גם אם הוא נשלח ישירות וגם אם אין שגיאה יתכן וגוגל תוסיף את התוכן בעתיד או שתעדיף להתמקד בדפים אחרים באתר…״. בהמשך כתב מולר: ״אתרי SEO ואחרים רבים מייצרים תוכן נוראי שלא שווה לאנדקס. זה שהוא קיים לא אומר שהוא שימושי למשתמשים״.
שימוש במשאבים בצורה חכמה
בפודקאסט ספליט כינה את תהליך הסריקה כנושא של הוצאת משאבים במקום שחשוב לגוגל. הוא התייחס לדבריו של מולר בנוגע לשימושיות ואמר כי זוהי דרך לשפוט את התוכן כשיש לכוון אותו יותר למשתמש ופחות למילות המפתח.
לצד כל זאת איליס וספליט אמרו כי רוב האתרים לא צריכים לדאוג מתקציב הזחילה. איליס הפנה אצבע לבלוגים בתעשייה אשר קידמו רעיון תקציב הזחילה אך לדעתו זה משהו שלא צריך לדאוג בגללו. בהמשך הוא ציין כי לדעתו לפחות 90% מהאתרים לא צריכים בכלל לדאוג מתקציב הזחילה.
איך גוגל קובעת מה להוסיף לאינדקס
על אף שרוב האתרים לא באמת צריכים לדאוג מתקציב הזחילה, צריך לזכור כי אין לגוגל מרחב אינסופי ולכן המטרה היא להוסיף לאינדקס תוכן חשוב. האלגוריתמים של גוגל קובעים מה חשוב למשתמשים ולכן הם מחפשים אחר ״איתותים״ מסוימים.
אותם ״איתותים״ שהאלגוריתמים מחפשים הם שונים. בין היתר הם מחפשים אותות איכות שקשורים לתחום העניין של המשתמש. ״למשל, האם אנשים מתעניינים במוצר או באתר״ אמר איליס והוסיף ״ישנה חשיבות לתדירות העדכון אך לא רק. גם דפוסים כמו פופולריות, נושאים שמדברים עליהם בפורומים כמו Reddit ושמקשרים לכתובות האתר יכולים להיות אותות.
בהמשך ציין איליס גם את הקישורים שאנשים מוסיפים בשילוב לפופולאריות. אם אנשים אוהבים את האתר אז ישנו סיכוי גדול יותר שהתוכן יתווסף לאינדקס. איליס ציין כי לגוגל קיבולת מוגבלת ולכן היא לא מוסיפה כל תוכן לאינדקס ולכן היא תחפש אחר אתרים חשובים, שימושיים שדנים בהם ומקשרים אליהם.
זוהי אינה רשימה מלאה וגם לא רשימת משימות לקידום אתרים אלא רעיון בנוגע לדברים החשובים בתהליך החיפוש והאינדקס של גוגל.
