תפוז לא מכבד את robots.txt

By | 21 בינואר 2007

חיפוש במנוע של תפוז (שכבר נטשתי, אבל זה סיפור אחר) הציג לי תוצאות מתוך אתר שתיל (שאותו אני מנהל) שלא היו אמורות להופיע. מדובר במודעות דרושים וחיפוש עבודה עם פרטים אישיים של אנשים שלא ראוי שיגיעו ויוצגו במנועי החיפוש. כדי להגביל את הופעת המודעות במנועי החיפוש יצרתי את הקובץ robots.txt שעל פיו אמורים מנועי החיפוש להימנע מאינדוקס תכנים מסויימים באתר.

גוגל ויהאו מכבדים את ההנחיות בקובץ.

הרובוט של תפוז לא כיבד את ההנחיות בקובץ ואינדקס את המודעות. חלק מהמודעות זמינות לצפיה בגרסת המטמון וזה מאד מכעיס אותי.

בבקשה לתקן. מהר. תודה.

0

3 thoughts on “תפוז לא מכבד את robots.txt

  1. Pingback: וובסטר 2 - חנן כהן » ארכיון הבלוג » על תקנים רשמיים ותקנים נהוגים

  2. Pingback: חנן נהיה מיקרוסופט, וליאור הנרד לא קורא » Content / Interactive

  3. Pingback: » עיתונאים, בלוגרים, חברים, ידידים » וובסטר 3 - חנן כהן

כתיבת תגובה

האימייל לא יוצג באתר. שדות החובה מסומנים *