Поиск кэшированных страниц. Как искать информацию в веб-кэше Google (Инструкция)

Возможно, сайт был подвергнут блокировке из-за нарушения закона, а может этот сайт просто пока что не отвечает на запрос. Как бы ни была причина, иногда вам нужно взять какую информацию с сайта, который совсем недавно перестал работать или был взломан и лишился всего контента. В большинстве случаев удача может повернуться к вам лицом. Вы можете просмотреть кэшированную версию этого сайта в Google?

Кэшированные сайты: что это?

Для того чтобы быстро отыскать все эти сайты, Google и другие поисковые системы сохраняют внутреннюю копии этих сайтов на серверах. Эти сохраненные файлы и называются кэшем, и Google позволяет их просматривать, если такая копия существует. Раньше этот процесс был очень понятен – вам просто нужно было нажать ссылку, представленную под результатом, выданном в поиске. Сейчас все немного сложнее, но вам не стоит беспокоиться, так как кэшированные сайты по-прежнему существуют.

Смотрим кэш сайта в Гугл :

1. Попробуйте найти что-нибудь. В данном случае, мы будем искать по ключу «кеширование», и предположим, что в коем-то веке Wikipedia ушла в даун.

2. Наведите курсор мыши на результат поиска, но не кликайте.
3. Вы увидите, что рядом справа от результата появится стрелка вправо. Кликните по этой стрелке.
4. Теперь вы можете видеть миниатюру сайта. Вы также увидите ссылку Cached сверху от миниатюры. Можете кликать по этой ссылке.

Таким образом, вы будете перенаправлены к кэшированной версии сайта. И эта версия не обязательно будет содержать актуальные данные. Это просто копия сайта в том состоянии, в котором бот Google последний раз его сканировал, и на самом деле эта страница хранится на сервере Google, и поэтому ссылка будет начинаться с webcache.googleusercontent.com, а не с Wikipedia.org. Google также расскажет вам о том, насколько свежая эта копия.

Иногда бывает так, что на страницах отсутствуют изображения или фоны. Вы можете кликнуть по ссылке в верхней части страницы и увидеть текстовую версию сайта, который вы на данный момент читаете. Иногда это помогает найти необходимую вам информацию. Вы также можете кликнуть по ссылке, которая приведет вас к актуальной странице, если вам вдруг нужно будет сравнить две эти версии.

Если вам нужно найти определенный термин, вы можете воспользоваться сочетанием клавиш Ctrl+F, и просто отыскать его при помощи вашего браузера.

Сайты, которые не кэшируются

У большинства сайтов есть кэшированные копии, но бывают и исключения. Владельцы сайтов могут использовать файл robots.txt для того, чтобы попросить поисковую систему не индексировать сайт, либо удалять кэш. Иногда такое бывает, когда владелец хочет полностью удалить сайт, и не хочет, чтобы где-то появлялся его контент. Ведь существует довольно много сайтов с «черным» контентом или контентом, который не обязательно должен индексироваться (приватные форумы, информация о кредитных картах или сайты с платным доступом к контенту).

Вы можете проследить за тем, как изменялся сайт, воспользовавшись инструментом от Google под названием WebArchive , но функционал этого инструмента также может быть запрещен файлом robots.txt.

Слово кэш можно услышать довольно часто в разных сферах ИТ, сегодня же мы будем разбираться с кэшем страниц сайта. Сам термин означает сохранение поисковыми системами копий страниц от определенного числа, как правило от последнего посещения роботом сайта. Вы можете в любой момент найти и использовать копию (кэш) страницы для своих потребностей.

Это довольно таки хорошо, что поисковики сохраняют на некоторое время страницы на своих серверах и дают нам шанс воспользоваться этим. На хранение кэшированных страниц выделяется много ресурсов и денег, но свою помощь они окупают, так как нам все равно необходимо заходить на их поисковые системы.

Для чего нужен кэш (копии) страниц

Бывают разные ситуации при работе с сайтами.

Как всегда работы у Вас много, а времени мало и внимательности на все не хватает. Бывают случаи, когда ведутся работы с сайтом, предположим изменение дизайна или мелкие правки по шаблону, тексту. И в один момент понимаете, что где-то допустили ошибку и пропал текст или исчезла часть дизайна сайта. Ну бывает такое и каждый наверное с таким имел дело.

На данный момент, бэкапов у Вас нету, у тоже и не помните как выглядело все изначально. В этом случае помочь сможет копия страницы, которую можно найти в кэше как Яндекса, так и в Гугла, посмотреть как было изначально и поправить.

Или второй случай , Вы изменили немного текст, для того, что бы повысить и хотите посмотреть обновилась страница на которой внесли изменения или нет. Проверить можно с помощью страницы, которая находится в кэше, для этого ищем данную страницу и смотрим на результат.

Так же бывает ситуация, когда сайт не доступен, по той или иной причине, а вам необходимо на него зайти. В этом случае может помочь копия страницы которую можно найти ниже перечисленными способами.

В общем я думаю, стало ясно, что пользоваться кэшем страниц нужно и полезно.

Как найти страницу в кэше Google, Yandex

Для начала давайте рассмотрим как искать в поисковой системе Google.

Способ №1.

Вы заходите на страницу поисковой системы и прописываете адрес страницы которую хотите найти и посмотреть копию. Я возьму для примера наш сайт:

Прописываем название страницы, сайта в поисковую строку, нажимаем “Enter” и видим , где отображается страница которую вы искали. Смотрим на сниппет и там де УРЛ (адрес) с права от него есть не большая стрелочка вниз, нажимаем на нее и у нас появляется пункт “Сохранённая копия”. Нажимаем на него и нас перекинет на копию страницу от определенного числа.

Способ №2.

Способ можно назвать полуавтоматическим, так как необходимо скопировать адрес, что находится ниже и вместо site.ru подставить домен своего сайта. В результате Вы получите туже самую копию страницы.

http://webcache.googleusercontent.com/search?q=cache:site.ru

Способ №3.

Можно просматривать кэш с помощью плагинов для браузеров или онлайн сервисов. Я использую для этих целей .

Здесь можно посмотреть когда последний раз заходил робот на ресурс, соответственно и копия страницы будет за это число.

Теперь рассмотрим как искать кэш в поисковой системе Яндекс.

Способ №1.

Способ такой же как и для системы Google. Заходим на страницу поисковой системы и прописываете адрес страницы которую хотите найти и посмотреть копию. Снова возьму для примера наш сайт и пропишу:

Прописываем название страницы, сайта в поисковую строку, нажимаем “Enter” и видим поисковую выдачу, где отображается страница которую вы искали. Смотрим на сниппет и там де с права от него есть не большая стрелочка вниз, нажимаем на нее и у нас появляется пункт “Сохранённая копия”. Нажимаем на него и нас перекинет на копию страницу от определенного числа.

Способ №2.

Используем дополнительные плагины для браузеров. Читайте немного выше всё так же как и для Google.

Если страница не находится в , то большая вероятность того, что ее нету и в кэше. Если страница была ранее в индексе, то возможно она сохранилась в нем.

Как очистить кэш в Yandex, Google

Бывает необходимо убрать страницу из кэша Яндекса или Гугла или вообще скрыть страницу которая ранее индексировалась и кешировалась от посторонних глаз. Для этого необходимо дождаться пока поисковая система сама выкинет данную страницу естественным путем если Вы ее предварительно удалили. Можно запретить индексировать страницу в файле или использовать тег:

Только смотрите аккуратно с тегом, не поставьте его в общий шаблон сайта ибо будет запрет на кэширование всего сайта. Для этих целей лучше всего используйте дополнительные плагины или программистов которые ранее занимались такой работой.

Теперь давайте посмотрим как средствами поисковой системы Google и Яндекс можно очистить кэш (очистить, удалить страницу).

Очистить кэш страницы в Google

Поисковая система Google к этому вопросу подошла с правильной стороны и создала такой инструмент как «Удалить URL-адреса » в Webmaster Tools. Что бы им воспользоваться необходимо зайти в инструменты вебмастера по адресу:

www.google.com/webmasters/

Для того, что бы очистить кеш или удалить полностью страницу (а так же можно сразу удалить и очистить кэш вместе), необходимо нажать на кнопку «Временно скрыть » и ввести url адрес страницы которую необходимо очистить и нажать кнопку «Продолжить «.

Теперь в данном окне при нажатии на список «Тип запроса » можно увидеть несколько способов удаления и очистки как страницы с индекса гугла так и очистки кєша.

1. Если Вам необходимо полностью удалить страницу и cache, то используем первый способ.
2. Если необходимо просто очистить его, то используем второй способ. Как правило для нашего примера нужно использовать именно его. Страница остается в индексе, но кэш удаляется и при следующем приходе робота, она снова появится там.
3. Если необходимо временно скрыть, то используем третий способ. Используется в том случае когда не успевают наполнятся страницы качественным контентом. В данном случае скрыть ее на некоторое время будет лучше.

Как только выбираете один из способов, в данном случае 2й, нажимаем на кнопку «Отправить запрос «.

После нажатия получаем страницу, где можно увидеть, что данная страница добавлена на удаление из кэша и находится в статуже «Ожидание «. Теперь остается только ждать. Как правило данная процедура занимает от нескольких минут до нескольких часов.

Если Вы не правильно указали страницу и хотите сделать отмену, то можно нажать на кнопку «Отмена «.

После того как вы через некоторое время зайдете в инструмент «Удалить URL-адреса», можно будет увидеть статус «Выполнено». Это означает, что робот Гугл зашел на страницу и очистил ее историю.

Очистить (удалить) страницу в Yandex

У поисковой системы Яндекс есть похожий инструмент в инструментах для вебмастеров, но здесь есть одно «НО». Очистки кэша как такового нету, можно целиком удалить страницу из индекса ПС и при этом удалится вся ее история.

Для того, что бы воспользоваться данным инструментом необходимо зайти в Yandex webmaster по ссылке:

webmaster.yandex.ua/delurl.xml

и в строку ввести необходимый урл.

Поисковая система исключит данный адрес через некоторое время «АП». Как правило у Яндекса на это уходит пару ней, поэтому необходимо будет подождать.

Если у Вас есть вопросы задавайте их в комментариях, мы всегда на связи!

• Перевод

Довольно подробное и интересное изложение материала, касающегося кэша и его использования. Часть 2 .

От переводчика: об опечатках и неточностях просьба сообщать в личку. Спасибо.

Веб-кэш располагается между одним или несколькими веб-серверами и клиентом, или множеством клиентов, и следит за входящими запросами, сохраняя при этом копии ответов - HTML-страниц, изображений и файлов (совокупно известных, как представления (representations); прим. переводчика - позвольте я буду употреблять слово “контент” - оно, на мой взгляд, не так режет слух), для собственных нужд. Затем, если поступает другой запрос с аналогичным url-адресом, кэш может использовать сохраненный прежде ответ, вместо повторного запроса к серверу.

Существует две основные причины, по которым используется веб-кэш:

1. Уменьшение времени ожидания - так как данные по запросу берутся из кэша (который располагается “ближе” к клиенту), требуется меньше времени для получения и отображения контента на стороне клиента. Это делает Веб более отзывчивым (прим. переводчика - “отзывчивым” в контексте быстроты реакции на запрос, а не эмоционально).

2. Снижение сетевого трафика - повторное использование контента снижает объем данных, передаваемых клиенту. Это, в свою очередь, экономит деньги, если клиент платит за трафик, и сохраняет низкими и более гибкими требования к пропускной способности канала.

Виды веб-кэшей

Кэш браузера (Browser cache)

Этот кэш особенно полезен, когда пользователь нажимает кнопку “Назад” или кликает на ссылку, чтобы увидеть страницу, которую только что просматривал. Также, если вы используете одни и те же изображения навигации на вашем сайте, они будут выбираться из браузерного кэша почти мгновенно.

Прокси-кэш (Proxy cache)

Поскольку прокси не являются частью клиента или исходного сервера, но при этом обращены в сеть, запросы должны быть к ним как-то переадресованы. Одним из способов является использование настроек браузера для того, чтобы вручную указать ему к какому прокси обращаться; другой способ - использование перехвата (interception proxy). В этом случае прокси обрабатывают веб-запросы, перенаправленные к ним сетью, так, что клиенту нет нужды настраивать их или даже знать об их существовании.

Прокси-кэши являются своего рода общей кэш-памятью (shared cache): вместо обслуживания одного человека, они работают с большим числом пользователей и поэтому очень хороши в сокращении времени ожидания и сетевого трафика. В основном, из-за того, что популярный контент запрашивается много раз.

Кэш-шлюз (Gateway Cache)

Запросы могут быть перенаправлены на шлюзы рядом методов, но обычно используется балансировщик нагрузки в той или иной форме.

Сети доставки контента (content delivery networks, CDN) распространяют шлюзы по всему интернету (или некоторой его части) и отдают кэшированный контент заинтересованным веб-сайтам. Speedera и Akamai являются примерами CDN.

Это учебное пособие преимущественно сфокусировано на браузерных кэшах и прокси, но некоторая информация подходит также и тем, кому интересны шлюзы.

Почему я должен им пользоваться

К несчастью для них (веб-мастеров), даже если бы веб-кэша не существовало, есть слишком много переменных в интернете, чтобы гарантировать, что владельцы сайтов будут в состоянии получить точную картину того, как пользователи обращаются с сайтом. Если это является для вас большой проблемой, данное руководство научит вас как получить необходимую статистику, не делая ваш сайт “кэшененавистником”.

Другой проблемой является то, что кэш может хранить содержимое, которое устарело или просрочено.

С другой стороны, если вы ответственно подходите к проектированию вашего веб-сайта, кэш может помочь с более быстрой загрузкой и сохранением нагрузки на сервер и интернет-соединение в рамках допустимого. Разница может быть впечатляющей: загрузка сайта, не работающего с кэшем, может потребовать нескольких секунд; в то время как преимущества использования кэширования могут сделать её кажущейся мгновенной. Пользователи по достоинству оценят малое время загрузки сайта и, возможно, будут посещать его чаще.

Подумайте об этом в таком ключе: многие крупные интернет-компании тратят миллионы долларов на настройку ферм серверов по всему миру для репликации контента для того, чтобы ускорить, как только можно, доступ к данным для своих пользователей. Кэш делает то же самое для вас и он гораздо ближе к конечному пользователю.

CDN, с этой точки зрения, являются интересной разработкой, потому что, в отличие от многих прокси-кэшей, их шлюзы приведены в соответствие с интересами кэшируемого веб-сайта. Тем не менее, даже тогда, когда вы используете CDN, вы все равно должны учитывать, что там будет прокси и последующее кэширование в браузере.

Резюмируя, прокси и кэш браузера будут использоваться, нравится вам это или нет. Помните, если вы не настроите ваш сайт для корректного кэширования, он будет использовать настройки кэша по-умолчанию.

Как работает веб-кэш

Вообще говоря, это самые общие правила (не волнуйтесь, если вы не понимаете детали, они будут объяснены ниже):

1. Если заголовки ответа сообщают кэшу не сохранять их, он не сохранит.
2. Если запрос авторизованный (authorized) или безопасный (то есть, HTTPS), он не будет закэширован.
3. Кэшированный контент считается “свежим” (то есть, может быть отправлен клиенту без проверки с исходного сервера), если:
   • У него установлено время истечения или другой заголовок, контролирующий время жизни, и он еще не истек.
   • Если кэш недавно проверял контент и тот был модифицирован достаточно давно.
   Свежий контент берется непосредственно из кэша, без проверки с сервера.
4. Если контент является устаревшим, исходному серверу будет предложено провалидировать его или сообщить кэшу, является ли имеющаяся копия по-прежнему актуальной.
5. При определенных обстоятельствах - например, когда он отключен от сети - кэш может сохранять устаревшие ответы без проверки с исходного сервера.

Свежесть (freshness) и валидация (validation) являются наиболее важными способами, с помощью которых кэш работает с контентом. Свежий контент будет доступен мгновенно из кэша; валидное же содержимое избежит повторной отправки всех пакетов, если оно не было изменено.