Здравствуйте! Сегодня пост о наболевшем для большинства из начинающих сайтостроителей. Мне приходилось очень часто в комментариях отвечать на один и тот же вопрос — как удалить страницы из поиска , которые были проиндексированы ранее, но в силу сложившихся обстоятельств были удалены и больше не существуют, но по-прежнему находятся в индексе поисковых систем. Или же в поиске находятся страницы запрещенные к индексации.
В комментариях особо не развернешься, поэтому после очередного вопроса решил уделить данной теме отдельное внимание. Для начала давайте разберемся, каким образом такие страницы могли оказаться в поиске. Примеры буду приводить исходя из собственного опыта, так что если я что-то забуду, то прошу дополнить.
Причин может быть несколько и некоторые из них я постараюсь выделить в виде небольшого списка с пояснениями. Перед началом дам пояснение что подразумеваю под «лишними» (закрытыми) страницами: служебные или иные страницы, запрещенные к индексации правилами или мета-тегом.
Итак, с причинами разобрались. Стоит отметить, что после устранения причины несуществующие или лишние страницы еще долгое время могут оставаться в поисковой базе — все зависит от или частоты посещения сайта роботом.
Для удаления URL из Яндекс достаточно пройти по ссылке и в текстовое поле формы вставить адрес страницы, которую нужно удалить из поисковой выдачи.
Главное условие успешного запроса на удаление:
При следующем обходе сайта роботом запросы на удаление будут выполнены, а страницы исчезнут из результатов поиска.
Для удаления страниц из поступаем аналогичным образом. Открываем инструменты для веб-мастеров и находим в раскрывающемся списке Оптимизация пункт Удалить URL-адреса и переходим по ссылке.
Перед нами специальная форма с помощью которой создаем новый запрос на удаление:
Нажимаем продолжить и следуя дальнейшим указаниям выбираем причину удаления. По-моему мнению слово «причина» не совсем подходит для этого, но это не суть…
Из представленных вариантов нам доступно:
Очень удобная функция удаления целого каталога, когда приходится удалять по несколько страниц, например из одной рубрики. Следить за статусом запроса на удаление можно на этой же странице инструментов с возможностью отмены. Для успешного удаления страниц из Google необходимы те же условия, что и для . Запрос обычно выполняется в кратчайшие сроки и страница тут же исчезает из результатов поиска.
Представьте ситуацию: вы создаете сайт. Нанимаете веб-мастера или делаете его сами, потратив на это много денег и личного времени. Размещаете свое детище на хостинге и любовно заполняете его информацией, не задумываясь о том, что нужно сохранить копию сайта, чтобы не потерять данные.
В один день, не очень для вас прекрасный, вы заходите на свой сайт, а он не работает. Вы начинаете узнавать, в чем дело, и, о ужас, сгорел дата-центр или полетел хостинг. А может, к вам забрался вирус и уничтожил данные. Потеря информации на сайте сравнима с потерей информации на компьютере. Так как же сохранить копию сайта?
Разберемся сначала с определением. Процесс архивирования веб-сайтов — это сохранение текущей версии страницы или сайта в архиве для последующей работы с ним. Для данных целей используется специализированное программное обеспечение. Крупнейшей компанией в мире является Internet Archive, о которой мы поговорим ниже.
Для частного архива вы можете воспользоваться офлайн-браузерами, которые были специально созданы для работы в офлайн-режиме. Они помогут создать локальные копии отдельных веб-страниц или сайтов целиком. К ним, например, относятся:
Можно настроить сайта на вашем хостинг-провайдере. Для этого вам нужно зайти в админпанель, в раздел создания резервных копий. У каждого хостинга своя админпанель, и тяжело сказать, где именно у вашего размещается этот раздел. Если не можете разобраться, напишите в техническую поддержку.
Если ваш сайт размещается на CMS-платформе, такой как, например, WordPress, вы можете сохранить копию сайта, установив плагин wp-db-backup (ru.wordpress.org/plugins/wp-db-backup/) или похожие на него. Правильно настроив плагин, вы будете получать бэкап сайта каждый день или каждую неделю, как пожелаете.
На компьютер можно сохранить сайт, используя FTP-клиент. Если вы пользуетесь программой FileZilla, то создайте на своем компьютере папку "Бэкап" (имя папки может быть любым). Подключитесь к серверу через FTP-клиент и простым перетаскиванием сделайте полный бэкап сайта в папку "Бэкап".
Кроме этого, можно воспользоваться сервисом Site2ZIP (сайт в архив), программой для скачивания WinHTTrack WebSite Copier. Как посмотреть сохраненную копию сайта? Для этого нужно открыть папку, в которой был сохранен сайт, и кликнуть на файл index.html.
В Сан-Фарнциско в 1996 году Брюстер Кейл основал некоммерческую организацию "Архив Интернета". Он собирает копии всех веб-страниц, аудио- и видеозаписи, графические файлы и программы. Здесь очень долго хранятся архивы собранного материала и имеется к своим базам бесплатный доступ для всех желающих.
Если вы задаетесь вопросом о том, как открыть сохраненную копию сайта, то перейдите по адресу archive.org/web/ и в соответствующем поле введите адрес сайта или страницы. В конце 2012 года размер Интернет-архива составлял 10 петабайт - это 10 000 терабайт! А к середине 2016 года в нем накопилось 502 млрд копий веб-страниц.
Сохраненная копия сайта Google — это не что иное, как кэш страниц сайта, который был сделан поисковой системой. Любой пользователь в любой момент может использовать для своих нужд копию страницы. Сохранение их на серверах поисковых систем занимает много ресурсов, и для этого выделяется немало денег, но такая помощь окупает себя, так как мы все равно заходим на поисковые системы. Правда, этот способ подходит только для существующих сайтов или для тех, которые были удалены недавно. Если же это произошло достаточно давно, то поисковая система стирает данные.
Кроме того, что вы можете вручную искать кэшированные страницы в Google или "Яндексе", вы можете воспользоваться специализированным поисковиком cachedview.com. У него есть аналог: cachedpages.com.
Если вы хотите сохранить копию сайта или его отдельной страницы, вы можете сделать это самостоятельно и бесплатно на сайте archive.is. Кроме этого, там есть и глобальный поиск по версиям, которые были когда-либо сохранены пользователем.
На сегодняшний день перед национальными библиотеками стоит задача создания архивов интернет-документов, которые являются частью научного, культурного и исторического наследия человечества. Но это очень проблематично.
Проведенные исследования выявили, что количество веб-документов в Сети растет экспоненциально, и в среднем документ живет от одного до четырех месяцев. В качестве единицы учета архива веб-документов удобнее всего использовать веб-сайт. Процесс создания фонда состоит в создании копии или "зеркала" сайта. Так как информация на нем изменяется со временем, библиотеке нужно создавать зеркала одного и того же веб-сайта с определенной периодичностью.
Так, в Швеции 60 000 сайтов, что в 20 раз превышает количество традиционных печатных изданий. Экземпляры печатных документов в библиотеке Швеции занимают 1,7 км полок в год. Веб-архив занял бы 25 км полок! Сейчас их архив содержит 138 млн файлов общим весом 4,5 гигабайта.
Интернет растет каждый день. Есть множество компаний и сайтов, которые заботятся о том, чтобы сохранять копии веб-страниц в своих архивах. Но не стоит полагаться только на них. Делайте своевременные бэкапы, и вы не потеряете свой сайт никогда.
Всем привет дорогие друзья! Недавно, неделю назад, я столкнулся с такой проблемой, на одном сайте, что у меня выпали все страницы из индекса поисковый системы Яндекс. Если честно, я подумал что был наложен какой-то , хотя до этого момента, все страницы попали в индекс очень быстро и сидели там 1,5 месяца отлично.
За эти полтора месяца я только и писал статьи, а больше ничего противозаконного не делал. Поэтому мне было обидно, что так со мной поступил Яндекс. Естественно, что я не хотел это все дело оставлять и как можно быстрее вернуть страницы в индекс. Я проверил свой сайт на сервисе и выявил, что мне там пишет: Отсутствует сохраненная копия в Яндексе!
Если честно, то я не понял ничего, почему копия сайта там отсутствует. Я начал искать проблему и наткнулся на один сайт, где у него была похожая проблема, то есть, тоже отсутствовала сохраненная копия сайта в поисковой системе Яндекс. Но у него страницы из-за этого не выпали, а просто просели позиции.
Я все равно надеялся, что при помощи его сайта решу проблему. Оказывается, у него отсутствовала копия в Яндексе из-за того, что на его страницах сайта присутствовал тег noarchive , который был автоматически включен при использовании плагина WordPress – Robots Meta. В настройках этого плагина была включена опция запрета делать копию в поисковых системах, то есть, прописывался тег для страниц – noarchive .
На моем сайте не был установлен данный плагин, но я все равно проверил все страницы на наличие данного тега, причем не только страницы, но и файл robots.txt. В итоге я так ничего и не нашел. То есть, данный вариант для меня отпадал, на моем ресурсе не присутствовало такого тега.
Мне ничего не оставалось, как обратиться в службу технической поддержки поисковой системы Яндекс и выяснить причину (см. как ):
В вебмастере Яндекса, для сайта ********** отображается, что в индексе 57 страниц, а на самом деле 1 страница. На сервисе xtool проверяю его и мне выдает сообщение: Отсутствует сохранённая копия в Яндексе!
Я проверил свой сайт на наличие тега noarchive и нигде его не было. Скажите, почему сайт 49 дней был полностью в индексе, а сейчас только одна главная страница сайта?
Через 1 сутки мне пришел ответ от Яндекса:
В настоящее время невозможно выяснить, что спровоцировало исключение страниц Вашего сайта, так как подобная информация не хранится. В ближайшее время Ваш сайт должен начать индексироваться и затем сможет появиться в поиске. Скорее всего, это произойдет в течение двух недель. Пожалуйста, дождитесь окончания указанного срока.
То есть, у меня еще была надежда на то, что мой сайт будет проиндексирован нормально, что это какое-то недоразумение и страницы выпали из-за какой-то ошибки, ведь надежда умирает последней.
В итоге, весь следующий день я наблюдал, как мой сайт «штормило», то есть, то в индексе была 1 страница, то 8, то 57 и так каждый день, цифры менялись. Но сегодня произошел апдейт и сейчас страницы все снова в индексе, чему я очень рад. Так что, если у Вас возникла такая проблема, то причины могут быть следующими:
В общем, если у Вас возникла такая ситуация, то не стоит сразу паниковать, посмотрите все возможные причины, сделайте те моменты, которые проделал я, а затем уже делайте выводы. Удачи Вам дорогие друзья и до новых встреч!
Всякий раз, когда мы разглядываем результаты любого запроса, на странице выводятся ссылки "Сохраненная копия" и "Еще с сайта". Разберем сначала первую из них.
Индексация , всех сайтов, информацию на которых ищет Яндекс, сопровождается созданием копии этих сайтов, которые размещаются на серверах Яндекса. Да, грубо говоря, Яндекс хранит на своих серверах весь Рунет и значительную часть Интернета. Конечно, на серверах, в кэше, размещаются не все страницы сайтов, а также не все элементы сайтов - чаще всего хранится лишь текстовое содержимое. Также не нужно представлять себе Яндекс в качестве некоего суперархива, в который попадают все странички, которые когда-либо были в сети 1Для таких задач есть другие сервисы, например, http://www.archive.org . Кэш Яндекса динамический, его содержимое постоянно обновляется по мере изменения основных сайтов.
Как это использовать? Для чего нужна ссылка "Сохраненная копия". Представим себе, что некоторая газета опубликовала скандальную статью. Поисковый бот Яндекса невозмутимо прошелся по сайту этой газеты и проиндексировал ее, сохранив копию на свой сервер . Тем временем широкая общественность, возмущенная статьей, потребовала удалить ее с сайта, а журналиста, который написал статью - уволить. Главный редактор газеты, посыпая голову пеплом, выполняет эти требования. Статьи на сайте газеты больше нет. Драматические события развиваются чрезвычайно быстро, буквально в течении утра.
Тем временем, некоторый читатель, который проснулся к обеду, заходит в сеть и видит, что форумы и блоги кипят от обсуждений этой статьи. Он набирает в Яндексе ее название, переходит по ссылке на сайт редакции и получает ошибку 404. Статьи, конечно, больше нет, но есть ссылка "Сохраненная копия", перейдя по которой читатель получает удовольствие от шокирующих подробностей копии статьи.
Когда эта ужасная статья исчезнет из кэша Яндекса? Когда поисковый бот, скажем, после обеда еще раз пройдется по сайту газеты и проиндексирует его. Статьи там больше нет, значит содержимое кэша тоже обновится и наступит полная гармония в сети.
Нам, пользователям, остается ловить промежутки времени между переиндексацией Яндекса после удаления некоторых материалов. Можно сказать, что если где-то исчезли материалы, то в течении нескольких часов их еще можно будет вытащить из кэша Яндекса по ссылке "Сохраненная копия".
Конечно, не все столь драматично и интересно. Чаще всего ссылка "Сохраненная копия" помогает, когда материалы основного сайта недоступны по причине банального падения сервера.
"Сохраненная копия" - это возможность увидеть материалы, которые были перемещены, удалены или недоступны. Работает в течение определенного промежутка времени.
Терабайтный жесткий диск - это уже не фантастика, а самая обыденная вещь. Фантастикой становится найти документ на таком жестком диске, особенно когда не очень хорошо помнится, когда он был создан, кем он был создан и вообще где он лежит.
Операционная система Windows Vista содержит средства поиска "на лету". Достаточно ввести в проводнике название файла как в окне результатов, тут же будут выведены соответствующие документы.
Яндекс предлагает Персональный поиск http://desktop.yandex.ru/ , который обеспечивает возможность находить файлы и документы на локальном компьютере. Для начала работы скачиваем программу (размером около 4,4 МБ) и устанавливаем ее. Персональный поиск должен вначале проиндексировать все документы, которые находятся на нашем жестком диске. По умолчанию, процесс полной индексации запускается автоматически, когда мы не трогаем центрального процессора не превышает 35%. Однако лучше всего сразу после установки выполнить принудительную индексацию - чтобы получить работающий локальный поиск . Для этого в системном трее (возле часов) щелкаем по иконке установленной программы и в контекстном меню выбираем пункт "Индексация \ Принудительная" ( рис. 1.32 2):
Рис.
1.32.
Скорость завершение процесса зависит от мощности компьютера, размера жесткого диска и количества документов. На двухядерном процессоре с двумя гигабайтами оперативной памяти, набитый под завязку 250 гигабайтный винчестер проиндексировался за пару часов. При этом какого-либо замедления в работе не замечалось - параллельно использовался браузер с множеством открытых вкладок, Microsoft Word , Excel , почта и т.д. Словом, индексация требует определенных затрат машинных ресурсов, но она выполняется гораздо легче, чем, скажем, антивирусное сканирование. В течении индексации иконка Персонального поиска переливается, а как только она становится статичной - значит, можно использовать поиск . Для запуска поиска дважды щелкаем по иконке - открывается браузер , в котором есть строка поиска. Но это только интерфейс - персональный поиск работает без подключения к Интернету. Вводим название файла и результаты отображаются моментально ( рис. 1.33):
Все найденные результаты группируются по вкладкам (табам), расположенным в правой части страницы. На странице помощи Персонального поиска
Как бы хороша память пользователя ни была, а всё ж таки историю посещённых страниц в Яндекс Браузере запомнить он не всегда может. Особенно, в тех случаях, когда прогулка по Глобальной сети затянулась на несколько часов, и было просмотрено добрых два-три десятка сайтов, да и ещё многие из них незнакомые, увиденные, так сказать, впервые.
Как их взять на заметку? Опытные товарищи сразу же подскажут: «Делов-то! Открой журнал браузера, пройди по ссылке и добавь её в закладки.» Да, всё верно. А вот если этой самой истории уже нет, если все записи в ней стёрты по завершении онлайн-сессии. Как тогда?
Конечно, когда все ссылки удаленные, ситуация не из простых. Однако вернуть их можно. Эта статья расскажет вам, как посмотреть удалённую историю в Яндекс Браузере, а также как создать её резервную копию и выполнить при необходимости восстановление.
Восстановить историю в Яндекс Браузере можно различными способами. Рассмотрим пошагово их реализацию на ПК.
Восстановить историю в браузере после удаления можно посредством возвращения настроек системы к сохранённой точке восстановления. Но помните, что установленное ПО, ваши личные настройки, данные, созданные после создания резерва операционной системы, удаляются. То есть цифровой «слепок» отображает состояние ОС, которое было на момент его сохранения.
Есть и другой существенный нюанс: постарайтесь вспомнить, очищали ли вы журнал веб-обозревателя до резервирования ОС, и когда выполнялось последнее резервирование. Если очистка проводилась или резервной точке больше месяца, выполнять восстановление не целесообразно. Есть большая вероятность того, что историю вернуть не удастся.
Внимание! Если есть более важные документы на ПК, чем журнал посещений, тогда рисковать не стоит. Целесообразней восстановить удаленную историю другим способом.
1. Зажмите вместе клавиши - «Ctrl» + «Break».
2. В меню появившегося окна кликните «Дополнительные параметры… ».
3. В панели «Свойства» клацните вкладку «Защита системы».
4. В блоке «Параметры», в списке «Доступные диски», выделите кликом мышки «Диск C».
5. Нажмите кнопку «Восстановление».
6. Установите флажок в окошке «Показать другие… ». Выберите последнюю точку восстановления.
8. Следуйте инструкции системы, чтобы завершить откат настроек.
Внимание! Если появится сообщение «На системном диске… нет точек восстановления…», значит, откат выполнить не получится. Нажмите «Отмена» в окне с уведомлением и попробуйте использовать другой способ просмотра удалённых ссылок в веб-журнале.
История Яндекс Браузера хранится в специальном файле под названием History. Во время очистки через штатные опции он удаляется с диска стандартным способом. Но его можно вернуть при помощи специальных восстанавливающих утилит. Ниже приводится метод восстановления посредством бесплатной программы Piriform Recuva, но вы можете применить другое аналогичное по функциям ПО.
1. Откройте офсайт приложения - https://www.piriform.com/recuva.
2. Щёлкните кнопку «Download Free Version».
3. После перемещения по странице в первом блоке снова кликните «Free Download».
4. На новой вкладке, в блоке «Recuva Free», под надписью «Download from:», щёлкните ссылку «FileHippo.com».
5. Клацните в правой части загрузившейся странички «… Latest Version».
6. По завершении загрузки запустите инсталлятор.
7. Вверху справа кликом мыши откройте ниспадающее меню со списком языков и выберите «Russian».
8. Нажмите «Install».
9. Когда появится сообщение «…. Setup Completed», нажмите «Run Recuva».
11. Чтобы найти все удалённые файлы в профиле Яндекса, выберите настройку «Показ всех файлов». Снова щёлкните «Далее».
12. В списке «Размещение … » кликните «В указанном месте». В строке задайте путь к профилю браузера Яндекс:
C:\Users\ИМЯ\AppData\Local\Yandex\YandexBrowser\User Data\Default
Вместо «ИМЯ» вставьте название вашей учётной записи в системе. (Оно отображается в панели «Пуск» вверху правого блока под иконкой.) Либо воспользуйтесь кнопкой «Обзор» и укажите директорию профиля вручную через системное окно.
14. Щелчком мышки установите «птичку» в настройке «Включить углублённый анализ».
15. Клацните кнопку «Начать».
16. Дождитесь окончания процедуры восстановления (прогресс выполнения будет отображаться в дополнительной панели).
17. Программа отобразит список найденных удалённых файлов в указанной директории, которые можно вернуть. Найдите в нём файл «History» и кликните возле него окошко, чтобы появилась «галочка».
18. Щёлкните «Восстановить». Укажите путь к папке профиля для размещения восстановленного файла с историей. Либо выберите альтернативную директорию и затем самостоятельно переместите history.
19. Запустите браузер и откройте журнал посещённых веб-страниц.
Этот способ «спасёт» вас, если в браузере проводилась лишь выборочная очистка, в результате которой кэш и все сохранённые куки остались «нетронутыми». В этих данных можно довольно легко найти ссылки на веб-ресурсы, загруженные в процессе веб-сёрфинга.
Итак, чтобы найти URL в кэше, сделайте так:
1. В адресной строке Яндекса наберите - browser://cache.
2. Просмотрите список, кликните интересующие ссылки и добавьте их в закладки.
Совет! Если вы помните только какую-то часть доменного имени сайта, воспользуйтесь внутренним поиском по кэшу: нажмите «Ctrl + F» → в панели вверху справа введите запрос.
1. Нажмите кнопку «Меню» (иконка «три линии» вверху справа).
2. Откройте раздел «Настройки».
3. Внизу страницы нажмите «Показать дополнительные… ».
4. В блоке «Личные данные» щёлкните «Настройки содержимого».
5. В подразделе «Файлы cookie» клацните кнопку «Показать cookie… ».
6. В списке отображаются имена сайтов, куки которых были сохранены в браузере. Перенесите все необходимые ссылки в закладки и закройте панель.
Резервирование истории исключает всевозможные неприятности, связанные со случайным удалением журнала (по ошибке, в результате вирусной атаки или программного сбоя). Но, разумеется, о создании копии нужно побеспокоиться заранее. Создать бэкап и выполнить восстановление при помощи него можно различными методами.
1. Откройте профиль в директории браузера:
C: → Users → → AppData → Local → Yandex → YandexBrowser → User Data → Default
2. Кликните правой кнопкой по файлу History. В списке клацните «Копировать».
3. Вставьте файл в другую папку. Желательно, чтобы она находилась в другом разделе диска (не системном!).
4. Это и будет ваш бэкап. При необходимости вы можете его снова вставить в профиль Яндекса - заменить текущий файл History.
hc.Historian - достойная альтернатива штатному инструменту браузеров для просмотра журнала посещений. В автоматическом режиме она создаёт отдельный бэкап истории, который в любой момент можно просмотреть и использовать для восстановления. Даже в случае полного удаления браузера.
В интерфейсе утилиты можно задавать настройки резервирования (указывать директорию, архиватор для компрессии копии, а также браузер, данные которого нужно обрабатывать).
Синхронизация подразумевает сохранение всех настроек пользовательского профиля с возможностью последующего его восстановления (загрузки) в браузере не только на компьютере, но и на мобильных устройствах (например, на Андроиде).
Примечание. Чтобы воспользоваться этим способом, вам понадобится учётная запись в системе Yandex.
1. Кликните «Меню». В списке нажмите «Синхронизация».
2. Введите логин и пароль для входа в аккаунт.
3. Клацните «Включить синхронизацию».
4. Теперь, когда вам нужно будет восстановить историю и другие пользовательские данные, снова откройте раздел «Синхронизация» и выполните авторизацию в профиле.
Выберите наиболее действенный способ восстановления конкретно для вашего случая. Восстановление файла утилитой Recuva, безусловно, выполнить проще и безопасней. Но если она не смогла обнаружить ранее удалённый журнал, можно выполнить откат настроек системы. Не забывайте периодически создавать бэкапы истории, если в ней хранятся важные, ценные для вас ссылки.
