במידה ונרצה שדף באתר לא יסרק לגוגל נוכל לבצע זאת דרך הוספת קובץ robots.txt.
בקובץ זה ניצור את ההגדרות המיוחדות לדפים באתר שלא נרצה שיסרקו.
הסבר נוסף לגבי קובץ robots.txt ניתן למצוא כאן.
שימו לב כי קובץ זה נכנס ישירות לתיקייה הROOT אבל אינו פעיל בסאב דומיין אלא רק בדומיין של הלקוח.
על מנת לערוך קובץ זה יש להכנס לממשק הניהול, פותחים דף מידע נוסף בממשק (לחצו כאן), כנסו ל: דפי החנות - דפים נוספים - יצירת דף חדש, בשדה "כותרת" הזינו robots (או כל דבר שתרצו) ובשדה "הצג תוכן של דף זה ב URL הזה" הזינו "/robots"
בשדה של עריכת הדף תוכלו להזין כל קוד שתרצו.
****את השדה של Crawl-delay לא ניתן לבטל, אך השדה לא רלוונטי לגוגל- הוא לא מתייחס אליו.
לדוגמא:
דוגמאות לחסימה של סוגי דפים.
דפי מיון של קטגוריה
Disallow: /*top$
Disallow: /*mid$
Disallow: /*low$
דפי השוואה
Disallow: /*?compare_it=
דפי הזמנה
Disallow: /*?order=
דפי טבלת תשלומים (דפים שמסתיימים בpayments)
Disallow: /*?payments=