Google вносит изменения в стандарт REP (Robots Exclusion Protocol), протокол исключения роботов, который используется файлами Robots.txt для googlebot, сообщается в официальном блоге компании.
Кроме того, были представлены новые META-тэги роботов: unavailable_after и X-Robots-Tag. С их помощью можно исключить страницу из результатов поиска после указанной даты, запретить кэширование страницы и т.д. Например, при использовании unavailable_after страница перестает показываться в результатах поиска, но продолжает оставаться в системе.
Комментарии:
Next |
Previous
|
That's the same <a href=" rel="nofollow">735.CM</a> we sell in golf shops. Please see the close-up of Zach's club below.<p align="center"><img srlboqu&t;/wp-content/uploads/2007/05/=cog_735_zach.jpg" width="250" height="250" border="1"></p>