Google сделал значительный шаг на пути к индексированию так называемой Невидимой сети, то есть той львиной части сетевого контента, которая до сих пор не поддаётся роботам поисковых систем. Это, в основном, запароленые сайты и различные базы данных, а также огромные массивы отсканированных документов в формате PDF.
И Google, и многие другие поисковики без проблем индексируют PDF, если в нём есть текстовый слой (он хранится в стандартном текстовом формате в контейнере файла). Но подобных «правильных» PDF на самом деле довольно мало. Гораздо больше документов представляют собой обычные отсканированные копии в графическом формате, просто сохранённые в PDF.
Яндекс запустил сервис поиска картинок для мобильных устройств - http://m.images.yandex.ru/. Вся прелесть нового сервиса в том, что он автоматически меняет размеры найденные картинки под разрешение экрана мобильного устройства.
Вот как это выглядит на айфоне:
Адаптировать контент под устройство является довольно интересным подходом.
1. Теперь вы можете управлять таймаутом, с которым поисковый робот Яндекса закачивает страницы с вашего сервера (Crawl-delay).
Если сервер сильно нагружен и не успевает отрабатывать запросы на закачку, воспользуйтесь директивой "Crawl-delay". Она позволяет задать поисковому роботу минимальный период времени (в секундах) между концом закачки одной страницы и началом закачки следующей. В целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву "Crawl-delay" необходимо добавлять в группе, начинающейся с записи "User-Agent", непосредственно после директив "Disallow" ("Allow").
Поисковый робот Яндекса поддерживает дробные значения Crawl-Delay, например, 0.5. Это не гарантирует, что поисковый робот будет заходить на ваш сайт каждые полсекунды, но дает роботу больше свободы и позволяет ускорить обход сайта.
Буквально несколько дней назад, в сервисе для WEB мастеров (http://webmaster.yandex.ru/wmconsole/) появилась новая функция ”Файлы Sitemap” позволяющая добавить карту сайта.
Протокол Sitemap изначально был разработан Google и распространяется по условиям соглашения Attribution-ShareAlike в соответствии со свободной лицензией Creative Commons.
Зачем это надо ?? спросите вы, да все просто надо помочь поисковику чтобы он знал важность страниц вашего сайта их количество дату последнего обновления и желаемую частоту обновления индексированных страниц, в основном это касается динамического контента.
Ну а поскольку затронули тему Sitemap, то я предлагаю Вам несколько онлайн сервисов для генерации этих самых Sitemap’ов.
Бесплатная антивирусная защита Касперского для Я.Онлайн
Яндекс совершенно бесплатно предоставляет вам лицензию на специальную версию антивирусной защиты Касперского. Программа содержит ключ для работы в течение полугода. Потом вы сможете получить и установить новый ключ — также бесплатно.
Кроме того, Я.Онлайн уведомляет о новых письмах в Яндекс.Почте (при поступлении нового письма Вам выведется уведомление на экран), показывает погоду в вашем городе ( погода обновляется каждый раз при открытии Я.Онлайн) и информацию о пробках в Москве (нажав на информер пробок, можно посмотреть подробную карту.). А при помощи встроенной поисковой строки можно находить данные в интернете еще быстрее (при поиске через Я.Онлайн можно не запускать браузер. Вы сразу же попадаете на