מנועי חיפוש זקוקים לכתובת אתר ייחודית לכל עמוד כדי לאפשר סריקה ויצירת אינדקס וכדי להפנות את המשתמשים לעמוד זה. בואו נסביר מעט על המבנה של כתובת URL ונתאר כיצד מנועי חיפוש מתייחסים לכתובות אלו. ניתן לומר כי באופן כללי כתובת URL מתפצלת למספר חלקים באופן הבא:
protocol://hostname/path/filename?querystring#fragmentלדוגמה:
https://www.example.co.il/walkingshoes/womens.html?size=8#infoמעבר לכתובת הקובץ עצמו בדוגמה מעלה (שמסתיים ב-womens.html), ניתן לראות כי ישנו פרמטר בשם size אליו מתייחסים כ-Query String, ובנוסף ישנו פרמטר נוסף בשם info אליו מתייחסים כ-Fragment (החלק שאחרי הסימן #) בשפה המקצועית.
אותם Query Strings בכתובת ה-URL מעבירים מידע בו ניתן להשתמש בעמוד המדובר. Fragments לעומתם משמשים על מנת לזהות את החלק בעמוד אליו תתבצע גלילה בדפדפן (מבוסס ID של אלמנט HTML כלשהו הקיים בעמוד).
חשוב לציין כי גוגל ומנועי חיפוש מתעלמים לחלוטין מאותם Fragments אך בהחלט מתייחסים ל-Query Strings. לכן, כאשר ישנו שימוש רחב בפרמטרים מסוג זה (חנויות דיגיטליות למשל), עליכם לוודא כי מנועי החיפוש יתייחסו לכתובת URL זהה אך בעלת Query String שונה ככתובת אחת, אחרת הם עלולים להתייחס לאותה כתובת בעלת פרמטר שונה ככתובת שונה או כתוכן משוכפל.
חסימת מנועי חיפוש ושימוש בכתובות קנוניות
באפשרותכם לחסום מנועי חיפוש מלסרוק כתובות אלו על ידי קובץ robots.txt ונכון לעשות זאת בלא מעט מקרים. הדרך לחסום כתובות עם Query Strings מתבצעת בצורה הבאה:
User-agent: *
Disallow: *?dir=*
Disallow: *&order=*
Disallow: *?price=*חסימה ב-robots.txt מונעת סריקה אך לא אינדוקס. אם גוגל מגלה את הכתובות האלו דרך קישורים בדפים אחרים, היא עלולה לאנדקס אותם בלי לסרוק את תוכנם. למניעת כפילויות באופן אמין, השתמשו בכתובות קנוניות במקום – או בנוסף – לכללי robots.txt.
בהמון מקרים הדרך הנכונה לפתור מצבים אלו היא שימוש בכתובות קנוניות הלא הן חלק בלתי נפרד מביצוע SEO טכני נכון. עליכם לדאוג כי לכל הכתובות עם הפרמטרים השונים קיימת כתובת קנונית לכתובת ה-URL של קטגורית הבסיס (Base Category).
הנה מספר דוגמאות להמחשה (הסרתי את הפרוטוקול לצורך נוחות הטבלה):
| URL/Page Type | Visible URL | Canonical URL |
| Base Category URL | domain.co.il/page-slug | domain.co.il/page-slug |
| Social Tracking URL | domain.co.il/page-slug?utm_source=twitter | domain.co.il/page-slug |
| Affiliate Tracking URL | domain.co.il/page-slug?a_aid=123456 | domain.co.il/page-slug |
| Sorted Category URL | domain.co.il/page-slug?dir=asc&order=price | domain.co.il/page-slug |
| Filtered Category URL | domain.co.il/page-slug?price=13 | domain.co.il/page-slug |
הבחנה בין סוגי הכתובות השונות
גוגל ושאר מנועי החיפוש מתייחסים לכתובות עם WWW וללא WWW ככתובות שונות. כנ״ל לגבי כתובות HTTP לעומת HTTPS.
כאשר מוסיפים את האתר לקונסולת החיפוש של גוגל (Search Console), הגישה המומלצת היא להשתמש ב-Domain property, שמכסה את כל וריאציות הכתובת (http, https, www, ללא www) בנכס אחד. אם משתמשים בשיטה הישנה יותר של URL-prefix, יש להוסיף כל וריאציה בנפרד.
מעבר לכך, יש להבחין בין כתובות המסתיימות בקו נטוי סוגר (/) לכתובות ללא אותו קו נטוי הנקרא Trailing Slash בשפה המקצועית. אם מסתכלים על הכתובת הראשית של הדומיין, גוגל אינה מחשיבה קו נטוי זה ככתובת שונה, לדוגמה – הכתובת https://example.co.il/ זהה לכתובת https://example.co.il.
לעומת זאת, בנתיב המופיע לאחר הכתובת הראשית יש להבחין בין שני המקרים. למשל, הכתובת https://example.co.il/dogs אינה זהה לכתובת https://example.co.il/dogs/.
למידע נוסף על אותו קו נטוי תנו מבט במדריך חשיבות ה-Trailing Slash בכתובות URL.
שאלות נפוצות
שאלות נפוצות בנושא אופן הטיפול של מנועי חיפוש בכתובות URL:
http://example.com ול-https://example.com ככתובות שונות. כנ״ל לגבי גרסאות עם www וללא www. כדי למנוע בעיות תוכן כפול, בחרו גרסה אחת והפנו את האחרות אליה באמצעות הפניות 301, והגדירו כתובת קנונית בכל הדפים.noindex או בכתובות קנוניות.?) שולח פרמטרים לשרת ויכול לשנות את תוכן הדף. גוגל מתייחסת לכתובות עם Query Strings שונים כדפים שונים בפוטנציה. Fragment (החלק שאחרי #) מטופל כולו בדפדפן לצורך ניווט בתוך הדף ולעולם אינו נשלח לשרת. גוגל מתעלמת מ-Fragments לחלוטין.
