אם מעולם לא שמעת על "תקציב זחילה" אתה לא לבד. זה בעצם משהו שאתרי חדשות ואתרים שמתעדכנים על בסיס יומי – לא צריכים לדאוג לו (כל עוד הדפים זוכים לסריקה ע"י הבוט ביום שהם מפורסמים). בנוסף, אם יש לך אתר קטן עם פחות מכמה אלפי כתובות דפים, הוא כנראה כבר עובר סריקה בזמן שהבוט רואה לנכון.
הכל התחיל בציוץ של חברנו עידן בן-אור:
@methode so… When i have 100k pages, will nofollow help me with the crawling budget? 😉
— Idan Ben Or (@idanbenor) December 13, 2016
ובתשובתו של גארי אילייס:
@idanbenor in some ways, yes, but twitter is not the right medium to elaborate. We'll try to put up a post on the blog to dehaze this topic
— Gary Illyes ᕕ( ᐛ )ᕗ (@methode) December 13, 2016
אז גארי הבטיח – גארי מקיים.
בפוסט שעלה בעמוד הרשמי של Webmaster Central גארי הסביר בדיוק מהו תקציב זחילה ואילו גורמים יכולים להשפיע על זחילה מהירה של גוגל.
ראשית כל יש את מגבלת קצב הזחילה אשר מגבילה את קצב החיבורים הסימולטני באתר מסוים על מנת לא להרוס את חווית המשתמש. "הבוט של גוגל נועד להיות אזרח אינטרנטי טוב. מטרתו העיקרית היא סריקה תוך כדי שהוא מוודא שהוא אינו פוגע בחווית המשתמש כאשר הוא מבקש קריאות רבות." אומר גארי.
קצב הזחילה (=סריקה) יעלה וירד בהתבסס על מהירות האתר ושגיאות שרת. אתרים תגובתיים ומהירים שאין להם שגיאות יקבלו יותר זחילות.
"גם אם אתר לא מגיע אל מגבלת קצב הזחילה שלו, כל עוד אין דרישה לאינדוקס (fetch, render & index), הבוט יפעל בצורה מועטה." אומר גארי. הוא אומר שאתרים פופולאריים מקבלים עדיפות לזחילה ושבכלליות גוגל רוצה לזחול בתוכן חדש. "אם נאחד את קצב הזחילה ואת הדרישה לזחילה ביחד אנו מגדירים את תקציב הזחילה כמספר כתובות האינטרנט שהבוט יכול ורוצה לזחול בהם."
איך ניתן לשפר את תקציב הזחילה?
דפי אינטרנט עם ערך נמוך לגולש יכולים להשפיע באופן שלילי על הזחילה של האתר ותהליך האינדוקס שלו. להלן דברים נוספים שיש לשים לב אליהם כשעוסקים בתקציב זחילה:
ניווט שגוי
תוכן משוכפל
עמודי שגיאה 404
עמודים שנפרצו ומכילים קודים זדוניים
תוכן באיכות נמוכה & ספאם
"בזבוז משאבי שרת על עמודים כגון אלו יפגע בפעילות הזחילה ועמודים שבאמת יש להם ערך עלולים להתעכב בקבלת הייחס המתאים." אומר גארי.
אז מה הדבר הבא שאתם עושים? מריצים Screaming Frog ובודקים שהכל תקין. מטפלים בדפים חסרי ערך. בהצלחה!