תפוז לא מכבד את robots.txt
חיפוש במנוע של תפוז (שכבר נטשתי, אבל זה סיפור אחר) הציג לי תוצאות מתוך אתר שתיל (שאותו אני מנהל) שלא היו אמורות להופיע. מדובר במודעות דרושים וחיפוש עבודה עם פרטים אישיים של אנשים שלא ראוי שיגיעו ויוצגו במנועי החיפוש. כדי להגביל את הופעת המודעות במנועי החיפוש יצרתי את הקובץ robots.txt שעל פיו אמורים מנועי החיפוש… Read More »