תקציב זחילה (Crawl Budget) הוא מספר העמודים שהבוט של גוגל סורק ומאנדקס באתר שלכם בפרק זמן נתון. אם עמוד לא נסרק, הוא לא יופיע בתוצאות החיפוש.
רוב האתרים לא צריכים לדאוג מתקציב זחילה. אם העמודים שלכם מאונדקסים באותו יום שפרסמתם אותם, הכל תקין. לפי התיעוד הרשמי של גוגל, אופטימיזציית תקציב זחילה רלוונטית בעיקר לאתרים גדולים (מיליון+ עמודים עם שינויים שבועיים) או אתרים בינוניים (10,000+ עמודים עם שינויים יומיים).
עם זאת, הבנת אופן פעולת תקציב הזחילה עוזרת להימנע מטעויות נפוצות שמבזבזות משאבי זחילה, במיוחד באתרים שמייצרים כתובות URL רבות באופן דינמי (למשל ניווט עם סינון, פרמטרים ב-URL).
מגבלת תדירות הזחילה – Crawl Rate Limit
מגבלת תדירות הזחילה מגדירה את מספר החיבורים המקביליים שבהם Googlebot משתמש לסריקת האתר שלכם, ואת ההשהייה בין הבקשות. מגבלה זו קיימת כדי למנוע מהסורק להעמיס על השרת ולפגוע בחוויית המשתמש.
תדירות הזחילה יכולה להשתנות עם הזמן ומושפעת משני גורמים עיקריים:
- Crawl Health – אם האתר שלכם מגיב מהר בזמן מסוים ההגבלה תהיה קטנה יותר, כלומר יתבצעו יותר חיבורים מקביליים עבור הזחילה.
- הגבלת תקציב הזחילה ב Google Search Console – בעלי אתרים יכולים להגביל או להקטין את תדירות הזחילה של Googlebot באמצעות קונסולת החיפוש של גוגל (Google Search Console).
נחיצות הזחילה – Crawl Demand
גם אם מגבלת התדירות לא הגיעה לתקרה, Googlebot לא יסרוק הרבה אם אין צורך בזחילה. שני הגורמים העיקריים שמשפיעים על נחיצות הזחילה הם:
- פופולריות – כתובות URL או דומיינים יותר פופולריים ברשת האינטרנט נוטים להסרק על ידי גוגל בתדירות גבוהה יותר.
- Staleness | עיפוש – המערכות של גוגל מנסות למנוע מצב בו כתובות URL כבר אינן רלוונטיות באינדקס.
אירועים רחבים יותר, כגון מעבר לדומיין חדש, יכולים גם הם לגרור עלייה בנחיצות הזחילה כש-Google מאנדקס מחדש את הכתובות החדשות.
שילוב מגבלת התדירות עם נחיצות הזחילה נותן לנו את תקציב הזחילה – מספר כתובות ה-URL שהבוט של גוגל יכול ומעוניין לסרוק באתר שלכם.
גורמים המשפיעים על תקציב הזחילה
כתובות URL בעלות ערך נמוך מבזבזות תקציב זחילה שיכול להיות מושקע בעמודים עם תוכן אמיתי. הנה הגורמים הנפוצים ביותר, לפי רמת ההשפעה:
- תפריטי סינון או חיפוש (Faceted navigation) – למשל סינון לפי צבע או מחיר בחנויות דיגיטליות יכולות לעזור למשתמשים אך יוצרות המון קומביניציות של כתובות URL. אלו כוללות גם Session Identifiers ופרמטרים שונים בכתובת ה URL.
- תוכן משוכפל (תוכן כפול) הקיים באתר שלכם.
- שגיאות Soft 404s – שגיאות המתקבלות כאשר השרת מחזיר 200 כ HTTP Response Code עבור עמודים שאינם קיימים במקום להחזיר שגיאת 404. עמודים אלו יכולים להפריע לזחילה מכיוון שכתובות אלו יסרקו במקום כתובות עם תוכן ייחודי הקיים באתר שלכם.
- תוכן בעל ערך נמוך ותוכן ספאם.
- ניווט אינסופי – מצבים בהם קיים ניווט אינסופי יגרום לבזבוז תקציב הזחילה. למשל מצב של עימוד ממוספר שאינו מסתיים, קישורים ביומן כלשהו המאפשרים לדפדפף בין חודשים ושנים בצורה בלתי מוגבלת יהוו בעיה עבור תקציב הזחילה באתר שלכם.
- הפניות – כל פעם שעמוד באתר שלכם מבצע הפנייה, הוא משתמש בחלק קטן מתקציב הזחילה. הגבילו את מספר ההפניות בכדי להמנע מבזבוז זה.
טיפול בבעיות אלו משחרר תקציב זחילה עבור עמודים בעלי ערך אמיתי, מה שמוביל לזחילה יעילה יותר ואינדוקס מהיר יותר של תוכן חשוב.
טיפ! ייתכן ותרצו לבקש ממנועי חיפוש לא לאנדקס את עמודי תוצאות החיפוש באתר שלכם בשביל לחסוך בתקציב זחילה.
שאלות נפוצות
שאלות נפוצות על תקציב זחילה:
סיכום
תקציב זחילה קובע כמה עמודים Googlebot סורק באתר שלכם בפרק זמן נתון. הוא מעוצב על ידי מגבלת התדירות (בריאות השרת, משאבי גוגל) ונחיצות הזחילה (פופולריות העמודים, רעננות התוכן).
עבור רוב האתרים הקטנים עד הבינוניים, תקציב זחילה אינו מקור לדאגה. עבור אתרים גדולים, צמצום כתובות URL בעלות ערך נמוך, תיקון שגיאות ושמירה על קישור פנימי נקי הם הדרכים היעילות ביותר להבטיח שעמודים חשובים נסרקים ומאונדקסים.
