Поисковые системы в Интернете: описание и статистика

Александр Егоров

В Интернете существует немало прекрасно организованных поисковиков. Например, Yahoo для поиска во всей Сети или Rambler для поиска в ее русскоязычной части (которую часто коротко называют Рунет).

Каталог в Сети, как и обычный каталог, позволяет искать нужные вам сведения, углубляясь в подходящие по тематике разделы и подразделы. Например, начав с ссылки на каталог Rambler, вы можете перейти к разделу "Бизнес/Финансы", затем к подразделу "Наличный курс в обменных пунктах Москвы сегодня", и т.д.

Искать по каталогам для многих вполне привычно. Интернет с этой точки зрения - просто невероятно богатая мировая библиотека с быстрым доступом в хранилище. При этом практически любой приличный узел Сети можно использовать в качестве каталога этой библиотеки.

Интернет предоставляет средства поиска, которые совсем недавно даже трудно было вообразить. Это так называемые поисковики или искатели (search engines).

В отличие от поиска по каталогам, который можно назвать вертикальным ("спускаемся" от общих разделов к частным подразделам), поисковики позволяют искать "горизонтально" (сразу по всему информационному полю мировой Сети или выбранного узла).

На практике вертикальный поиск комбинируют с горизонтальным, тем более что и популярные поисковые узлы предоставляют и автоматические искатели, и выверенные людьми каталоги.

Как пользоваться поисковиками?

Для того чтобы воспользоваться поисковиком, необходимо ввести запрос в поле запроса и нажать на копку Найти, Find или Search. Затем поисковик выдаст список ссылок, соответствующих вашему запросу. Если поиск удался, вам остается нажать на ссылку, чтобы открыть нужные вам ресурсы.

Формулировка вопроса

Обычно для поиска достаточно ввести несколько ключевых слов, разделенных пробелами. При этом ищутся документы, связанные хотя бы с одним словом запроса. Например, если вы наберете "Цифровые фотоаппараты", будет осуществлен поиск страниц, где встречаются эти слова. Их окажутся десятки тысяч. Но сразу вы увидите 10-20 ссылок на сайты, в которых встречается полная комбинация этих слов. Среди этих ссылок вы, скорее всего, найдете нужную информацию. Если нужно найти точную фразу, поместите ее в кавычки. Для повышения эффективности поиска никогда не рекомендую писать поисковые слова целиком. Например, вы ищите "Холодильные установки для быстрой заморозки продуктов". Так вот, вместо этой фразы я рекомендую вам писать "холодильн установк продукты", а поисковая система выдаст вам более обширный результат, а не узкоспециализированный материал.

По данным глобальной статистики, в Рунете основными поисковыми системами являются Яndex, Google, Rambler, Яndex.Новости, Mail.Ru, Yahoo! и Апорт.

На диаграмме представлены данные глобальной статистики за период с 19.08.2006 по 19.10.2006 (диаг. 1).

Яndex - http://www.yandex.ru (упрощенно - http://www.ya.ru)

Yandex выполняет поиск по российской части Интернета с учетом морфологии русского языка. Имея очень мощный механизм подбора сайтов под запросы, эта поисковая машина помогает найти наиболее подходящие веб-страницы в русской части Интернета. Яндекс ежедневно просматривает сотни тысяч веб-страниц в поисках изменений или новых ссылок. Коллекция ссылок постоянно растет.

Слово "Яndex" означает "Языковой index", или, если по-английски, "Yandex" - "Yet Another indexer". За 4 года публичного существования Яndex возникли и другие толкования. Например, если в слове "Index" перевести с английского первую букву ("I" - "Я"), получится "Яndex".

Официально поисковая машина Yandex.Ru была анонсирована 23 сентября 1997 года на выставке Softool. Уже тогда поисковик обладал некоторыми преимуществами - возможностью проверки документов на уникальность, учетом морфологии русского языка, возможностью поиска с учетом расстояния (например, при поиске точного словосочетания). Основной отличительной чертой Yandex был тщательно разработанный алгоритм оценки соответствия ответа запросу (релевантности), учитывающий не только количество слов запроса, найденных в тексте, но и "контрастность" слова (его относительную частоту для данного документа), расстояние между словами и положение слова в документе.

Согласно данным глобальной статистики Рунета, сегодня 46% поискового трафика генерируется именно этим поисковиком (для сравнения, на долю Google"a приходится порядка 22%, а Rambler"a - около 17%).

Google - http://www.google.com

Google - одна из самых популярных во всем мире поисковых машин. Google обеспечивает поиск по гипертекстовым документам, находящихся в любых языковых зонах - английской, русской, украинской, немецкой и др. Поисковая система Google имеет собственные поддомены для большинства стран, например, для России - http://www.google.ru/.

На момент написания статьи в базе данных Google содержалось почти 3,5 миллиарда документов! Это одна из самых больших поисковых баз в мире. Google ищет не только гипертекстовые файлы (html), но и файлы в формате PDF, DOC, PostScript, Corel WordPerfect и др.

Поисковая система Google обладает очень качественным поисковым "движком". Правильность выдачи результатов поиска в Google часто превышает качество выдачи результатов поиска у русских поисковых систем, например, у Яндекса. Именно поэтому все больше пользователей начинают переходить на Google. В своей системе Google использует механизм PageRank, изменяющий "важность" сайта при выдаче результатов поиска. PageRank зависит от количества и качества ссылок на ресурс (т. е. почти то же самое, что и индекс цитирования у Яндекса). Но в отличие от Яндекса, влияние PageRank у Google не настолько значительно, поэтому люди в Google находят именно то, что и ищут.

Все страницы Google кэширует (заносит в свою базу) и разрешает человеку, производящему поиск, смотреть документ, не открывая его в первоисточнике, а беря из кэша Google (что часто намного быстрее). Google - одна из немногих поисковых систем, которая полностью индексирует все страницы, а не только самые главные.

Поисковая система Google обладает также возможностью поиска изображений. Количество изображений огромно, потому что Google индексирует большинство сайтов в мире. Можно искать фотографии различных размеров, глубины цвета, формата файла.

Строку поиска в Google можно также использовать и как калькулятор. Вы вводите, допустим, (24+15)*31, а Google выдает правильный результат.

Google разрешает настроить каждому пользователю язык интерфейса поисковой машины, выбрать языковые зоны для поиска, количество сообщений при выдаче результатов и др.

Пользователи Microsoft Internet Explorer могут установить себе программу Google Toolbar, которая создает новую панель инструментов, позволяющую искать в Google, не заходя на сам сайт. Пользователи браузеров Opera и Firefox уже имеют подобную встроенную панель.

Кстати, слово Google образовано от слова Googol, означающее число со ста нулями после единицы.

Rambler - http://www.rambler.ru (упрощенно - http://www.r0.ru)

Rambler занимает сегодня третье место среди поисковиков Рунета, был первой поисковой программой, созданной специально для русской Сети программистом компании Stack Ltd Дмитрием Крюковым (1996). Название этого проекта придумал Дмитрий Крюков. Для этого он открыл англо-русский словарь. Взгляд упал на Rambler. Дмитрию понравилось значение слова "скиталец, странник, бродяга"; роботы поисковой машины действительно ходят по сайтам круглые сутки, не зная покоя.

Rambler постоянно совершенствует свой поисковый алгоритм. Проводятся работы по оптимизации работы системы для точности и актуальности поиска. Как и большинство русских поисковых машин, Rambler учитывает морфологию русского языка. При выдаче результатов влияние оказывает также положение сайта в рейтинге Rambler"s Top100. Rambler индексирует сайты в зонах ru, .su, .ua, .by, .kz, .kg, .uz, .ge, а также русскоязычные сайты в доменах .com, .net или .org.

Апорт - http://www.aport.ru

Поисковая система "Апорт!" была разработана компанией "Агама" при поддержке Intel и впервые продемонстрирована в феврале 1996 года на пресс-конференции "Агамы" по поводу открытия "Русского клуба". Тогда она искала только по сайту russia.agama.com.

Важнейшими свойствами первой версии "Апорта" являлся перевод запроса и результатов поиска на английский язык и обратно, а также реконструкция всех проиндексированных страниц из собственной базы (что означает возможность просмотра страниц, уже несуществующих в оригинале).

К концу 1999 года была представлена новая версия Апорт - "Апорт 2000", который стал первым русским поисковиком, построенным на основе выдачи результатов по отдельно взятым сайтам. "Апорт 2000" практически реализовал две базовых технологии американской поисковой машины Google: учет "ранга сайта" (Page Rank) и обработка запроса, ориентируясь на HTML-код страницы. Среди недокументированных особенностей - больший приоритет сайтам, получившим высшую и элитную лигу в каталоге AtRus.

Еще одна особенность Aport заключается в том, что Aport является полнотекстовой поисковой системой. Это означает, что она индексирует все слова, которые бы увидел на экране человек, просматривая конкретную страницу вашего сервера. В результате, любое слово из текста ваших документов может служить критерием последующего поиска. Апорт индексирует как принадлежащие документу тексты гиперссылок на этот документ с других страниц, находящихся как внутри сайта, так и за его пределами, а также составленные (или проверенные) редакторами описания сайтов из каталога.

Результаты поиска упорядочиваются по частоте употребления искомых терминов. Вместе со ссылкой отображается фрагмент текста, где встречается термин, указывается индекс соответствия запросу и дата последней модификации файла. "Апорт!" очень удобен тем, что в выдаваемом фрагменте текста выделяет красным цветом запрошенные слова.

Nigma - http://www.nigma.ru

Я рекомендую использовать, на мой взгляд, лучшую поисковую систему www.nigma.ru. Почему именно ее? Дело в том, что она разработана совсем недавно (т.е. немногие знают о ее существовании). Nigma берет информацию с наиболее распространенных поисковиков (их вы можете сами отметить галочками), анализирует полученные данные и выводит результат поиска с наиболее желаемым результатом.

В англоязычном Интернете основными поисковыми системами являются Google, Yahoo! и MSN, на них приходится более 80% всего поиска (диаг. 2). Рассмотрим эти системы более подробно.

Yahoo - http://www.yahoo.com

Yahoo был основан в 1994, и на сегодняшний день это самый старый и наиболее полный каталог интернет-ресурсов.

Удивительно, но эта невероятно популярная система, обслуживающая миллионы запросов ежедневно, зародилась как простая коллекция закладок, которую пополняли всего 2 человека - Дэвид Фило и Джерри Янг.

Yahoo является наиболее популярным поисковым средством. Секрет успеха Yahoo заключается в людях. Yahoo имеет около 150 редакторов, для того чтобы составлять и редактировать содержимое своих каталогов. Yahoo имеет базу данных в более чем 1 млн. проиндексированных сайтов. Также, в случае нехватки своей собственной базы данных, Yahoo использует базу данных Google (до июля 2000 года Yahoo пользовался базой данных Inktomi).

AltaVista - http://www.altavista.com

AltaVista начала предоставлять свои услуги в декабре 1995 года и на сегодняшний день является одной из наиболее крупных поисковых систем (по количеству проиндексированных страниц). Особенность этого поисковика заключается в возможности вести поиск по усложненным критериям отбора. Alta-vista также предлагает дополнительные услуги в виде поиска по каталогам (взятыми из Open Directory and LookSmart), а также службу под названием "Ask AltaVista" ("спроси AltaVista"), результаты которой берутся из Ask Jeeves. В настоящее время AltaVista владеет поисковой системой Raging Search.

MSN - http://www.msn.com

Поисковик разработан и запущен компанией Microsoft в 1997 году. В отличие от других поисковых систем, ранее у MSN никогда не было собственного паука или каталога. С 1997 года для выдачи результатов поиска использовались разные базы данных, такие как: Yahoo!, LookSmart, Altavista, DirectHit, Inktomi и RealNames.

Только с начала 2005 года MSN запустил бета-версию собственного поискового алгоритма. Пользователи MSN Search, как и раньше, смогут осуществлять поиск по всей Сети в целом, а также по отдельным тематическим категориям, в том числе и по энциклопедии Microsoft Encarta.

Также новый движок включает возможность локализированного поиска (Near Me) - система способна автоматически определять местонахождение пользователя по IP-адреcу его компьютера.

Ну вот мы и ознакомились с основными поисковыми системами Интернета, выбирайте ту, которая вам больше по душе.