מנועי חיפוש זקוקים לכתובת אתר ייחודית לכל עמוד בכדי לאפשר סריקה ויצירת אינדקס ובכדי להפנות את המשתמשים לעמוד זה. בואו נסביר מעט על המבנה של כתובת URL ונתאר כיצד מנועי חיפוש מתייחסים לכתובות אלו. ניתן לומר כי באופן כללי כתובת URL מתפצלת למספר חלקים באופן הבא:
protocol://hostname/path/filename?querystring#fragmentלדוגמה:
https://www.example.co.il/walkingshoes/womens.html?size=8#infoמעבר לכתובת הקובץ עצמו בדוגמה מעלה (שמסתיים ב womens.html), ניתן לראות כי ישנו פרמטר בשם size אליו מתייחסים כ Query String, ובנוסף ישנו פרמטר נוסף בשם info אליו מתייחסים כ Hash Tag בשפה במקצועית.
אותם Query Strings בכתובת ה URL מעבירים מידע בו ניתן להשתמש בעמוד המדובר. Hash Tags לעומתם משמשים על מנת לזהות את החלק בעמוד אליו תתבצע גלילה בדפדפן (מבוסס ID של אלמנט HTML כלשהו הקיים בעמוד).
חשוב לציין כי גוגל ומנועי חיפוש מתעלמים מאותם Hash Tags אך בהחלט מתייחסים ל Query Strings. לכן, כאשר ישנו שימוש רחב בפרמטרים מסוג זה (חנויות דיגיטליות למשל), עליכם לוודא כי מנועי החיפוש יתייחסו לכתובת URL זהה אך בעלת Query String שונה ככתובת אחת, אחרת הם עלולים להתייחס לאותה כתובת בעלת פרמטר שונה ככתובת שונה או כתוכן משוכפל.
חסימת מנועי חיפוש ושימוש בכתובות קנוניות
באפשרותכם לחסום מנועי חיפוש מלהתייחס לכתובות אלו על ידי קובץ robots.txt ונכון לעשות זאת בלא מעט מקרים. הדרך לחסום כתובות עם Query Strings מתבצעת בצורה הבאה:
User-agent: *
Disallow: *?dir=*
Disallow: *&order=*
Disallow: *?price=*אך בהמון מקרים הדרך הנכונה לפתור מצבים אלו היא שימוש בכתובות קנוניות הלא הן חלק בלתי נפרד מביצוע SEO טכני נכון. עליכם לדאוג כי לכל הכתובות עם הפרמטרים השונים קיימת כתובת קנונית לכתובת ה URL של קטגורית הבסיס (Base Category).
הנה מספר דוגמאות להמחשה (הסרתי את הפרוטוקול לצורך נוחות הטבלה):
| URL/Page Type | Visible URL | Canonical URL |
| Base Category URL | domain.co.il/page-slug | domain.co.il/page-slug |
| Social Tracking URL | domain.co.il/page-slug?utm_source=twitter | domain.co.il/page-slug |
| Affiliate Tracking URL | domain.co.il/page-slug?a_aid=123456 | domain.co.il/page-slug |
| Sorted Category URL | domain.co.il/page-slug?dir=asc&order=price | domain.co.il/page-slug |
| Filtered Category URL | domain.co.il/page-slug?price=13 | domain.co.il/page-slug |
הבחנה בין סוגי הכתובות השונות
גוגל ושאר מנועי החיפוש מתייחסים לכתובות עם WWW וללא WWW ככתובות שונות. כנ״ל לגבי כתובות HTTP לעומת HTTPS. זה המקום לציין כי כאשר מוסיפים את האתר לקונסולת החיפוש של גוגל (Search Console) יש להוסיף את כל ארבעת הנכסים בגירסאות השונות.
מעבר לכך, יש להבחין בין כתובות המסתיימות בקו נטוי סוגר ( / ) לכתובות ללא אותו קו נטוי הנקרא Trailing Slash בשפה המקצועית. אם מסתכלים על הכתובת הראשית של הדומיין, גוגל אינה מחשיבה קו נטוי זה ככתובת שונה, לדוגמה – הכתובת https://example.co.il/ זהה לכתובת https://example.co.il.
לעומת זאת, בנתיב המופיע לאחר הכתובת הראשית יש להבחין בין שני המקרים. למשל, הכתובת https://example.co.il/dogs אינה זהה לכתובת https://example.co.il/dogs/.
למידע נוסף כל אותו קו נטוי תנו מבט במדריך חשיבות ה Trailing Slash בכתובות URL.
