Поиск информации в www
Служба HotBot была создана в мае 1996 г. компанией Wired Digitals, которую в 1998 г. перекупила поисковая служба Lycos. Несмотря на это, HotBot продолжает функционировать как самостоятельная поисковая служба, параллельно с Lycos.
Inktomi (inktorm/)
Ядро поисковой системы Inktomi было разработано вуниверситете Калифорнии в Беркли. Несколько позже создатели системы учредили одноименную компанию и сформировали указатель ссылок Inktomi, который был использован в качестве основы службой HotBot. Сегодня этот указатель используют и некоторые другие поисковые службы. Несмотря на то, что при ответе на запрос пользователя все подключенные службы обращаются к одной и той же базе данных, результаты выдаются разные. Это связано с тем, что хотя Inktomi и обеспечивает партнерам доступ к общей базе указателей, система всетаки различает партнеров и применяет системы рейтингования и фильтрации результатов в соответствии с их идеологией.
LookSmart (looksmart/)
Служба LookSmart — ближайший последователь концепции Yahoo! в том, что касается «человеческого фактора» при составлении каталогов Web-ресурсов. Она предоставляет доступ к своему каталогу службе Alta Vista и другим партнерам. В тех случаях, когда поиск по архивам LookSmart не дает результата, ей помогает своими указателями Alta Vista.
Служба LookSmart была создана в 1996 г. при финансовой поддержке концерна Reader's Digest, но примерно через год ее учредители откупили ' службу, и сегодня она независима.
Lycos (lycos/)
Первоначально служба Lycos была запущена как поисковая система, основанная на программе-роботе, собирающей информацию из WWW. Запущенная в эксплуатацию еще в мае 1994 г., сегодня она считается одной из старейших поисковых служб. Однако совсем недавно, в 1999 г. служба перешла на другую модель, похожую на Yahoo! и основанную на каталогизации Web-узлов. Свои основные каталоги служба получает от проекта Open Directory, а дополнительные возможности поиска опираются на мониторинг WWW с помощью программ-роботов. В качестве альтернативной услуги Lycos ведет еще один каталог — каталог Web-узлов Lycos Community Guides.
Название компании образовано из латинского словосочетания, которое можно перевести примерно как волкопаук. В 1998 г. служба Lycos выкупила акции своего ближайшего конкурента HotBot, который продолжает автономную работу под общим управлением Lycos.
MSN Search (search.msn/)
Служба MSN Search, принадлежащая компании Microsoft была создана в 1998 г. и является порталом, на котором представлены и другие поисковые службы. В основу результатов поиска, выдаваемых службой, положен указатель, поставляемый системой Inktomi.
Netscape Search (searchscape/)
Поисковая служба Netscape Search получает первичные результаты поиска от проекта Open Directory и собственной базы Smart Browsing. Вторичные результаты Search поставляются службой Google. На портале Netscape NetCenter кроме этой собственной службы присутствуют ссылки и на другие поисковые службы.
Yahoo! (yahoo/)
Yahoo'—одна из старейших и наиболее популярных поисковых служб. Ее каталог был запущен в эксплуатацию еще в 1994 г. Секрет успеха Yahoo' в < человеческом факкоре». На службу работают около 150 редакторов, неустанно улучшающих и пополняющих множество тематических разделов огромною каталога. В каталоге содержатся данные по одному миллиону Web-узлов. Если поиск по собственному каталогу не дает результата, привлекаются ресурсы поискового указателя Inktomi.
Отечественные поисковые службы
С большим удовлетворением мы должны отметить, что российский сектор Интернета развивается очень бурно. Сегодня ситуация такова, что даже если западный сектор по каким-либо причинам «прикажет долго жить», российский сектор достаточно автономен, чтобы развиваться самостоятельно и достойно обслуживать отечественных клиентов.
Важную роль в становлении и развитии отечественного сектора Интернета сыграли отечественные поисковые службы (за что им огромное спасибо). Не знаем, смогли ли они к сегодняшнему дню подойти к самоокупаемости, но в первые годы без сомнения работали на энтузиазме, доброй воле своих сотрудников и вере в будущее. В России есть как универсальные, так и специализированные поисковые службы. Как и везде в мире, в первую очередь развиваются поисковые указатели и рейтинговые системы, но имеется и полноценный каталог — @Rus, в прошлом «Ау'».
Aport (aport/)
«Апорт» — один из первых поисковых указателей российского Интернета — детище компании « Агама » (agama/). В прошлом служба предоставляла традиционные общепринятые средства поиска, но в конце 1999 года внедрила новую систему («Апорт 2000») и сделала большой шаг вперед, особенно в том, что касается представления результатов поиска. Выше мы уже отмечали, что сегодня владение самым большим проиндексированным пространством Web уже не является самоцелью. Главное — наилучшим образом обеспечить потребности пользователя, afl простейший путь к этому лежит не в безмерном увеличении индекса, а вs применении новых технологий при обработке результатов. Прежде всего следует отметить, что системе «Апорт 2000» удается мастерски сочетать «машинный» и «человеческий» факторы. Это достигнуто за счет тесной интеграции с партнерским каталогом @Rus. Так, например, когда по результатам поиска выводится адрес Web-страницы, он может сопровождаться кратким описанием Web-узла, взятым из каталога @Rus. Хотя пользователь и не видит глубинных процессов, но система «Апорт 2000» уделяет особое внимание рейтингованию результатов поиска. В частности, она использует наиболее эффективную сегодня систему рейтингования по количеству ссылок, ведущих к данному ресурсу (по индексу цитирования). По способу представления результатов поиска служба «Апорт 2000" в настоящее время является одной из самых передовых не только в России, но и в мире. Страница результатов поиска доставляет настоящее эстетическое удовольствие, хотя и требует разрешения экрана не менее, чем 600х800 точек
Атрус (@Rus) (atms/)
@Rus —популярнейший отечественный поисковый каталог, известный в прошлом под именем «Ау!» (au/). Каталог разработан компанией « Web Tech» в сотрудничестве с компанией «Агама». При его наполнении активно используются средства поисковой системы «Апорт 2000», а результаты поиска могут предоставляться как самостоятельно через службу @Rus, так и в составе результатов поиска, проведенного службой «Апорт 2000». |
Кроме средств поиска служба @Rus предоставляет удобный каталог-портал Мой @Rus. Пользователь может настроить его на быстрое получение наиболее нужной ему информации. Средства настройки каталога позволяют также отключить все лишнее на основной странице поисковой сиетемы, что делает работу с ней особенно быстрой и удобной.
Rambler (rambler/)
Rambler — это рейтинговая система, обладающая всеми основными функциями поисковых указателей. Как поисковый указатель, служба обладает одним из крупнейших индексов в России, но ей явно недостает быстродействия и современных алгоритмов рейтингования результатов поиска. Впрочем, это не очень существенно, ведь основную популярность служба приобрела в первую очередь как рейтинговая система. Она позволяет быстро выявить круг Web-узлов, поставляющих информацию на заданную тему и оценить их популярность по количеству посещений за последние сутки. Мы уже говорили о том, что эта характеристика качественности Web-ресурса является относительной, но в тех случаях, когда речь идет о теме, имеющей общественный интерес, ей можно доверять.
Япс1ех (http://www.yandex.ru/)
яndex — мощная поисковая служба, основанная на указателе, обладающая как большой и представительной базой данных по отечественным Web-ресурсам, так и изощренной системой индексации. Функционирование службы обеспечивает компания CompTek (comptek/).
На основной странице службы сказано, что «поиск — это искусство». Однако это не означает, что для работы с ней надо быть особо искусным. Просто для тех, кто предпочитает подходить к поиску творчески и стремится развивать свое мастерство, Яndех предоставляет уникальные в своем роде инструменты, сосредоточенные в разделе расширенного поиска. Возможно, он даже несколько опережают свое время и украсили бы западную поисковую службу, имеющую дело с сотнями миллионов проиндексированных документов. А в российском секторе, где пока проиндексировано лишь 10-20 млн документов, мы нередко обходимся средствами простого поиска.
Но и в области простого поиска служба Яndех имеет ряд технологических достижений, прежде всего интеллектуальный механизм морфологического разбора слов, что особенно важно для русского языка.
Интересна новая услуга, предоставляемая службой. Для корпоративных клиентов она бесплатно предоставляет «облегченную» версию программы Яndeх.site, выполняющей индексацию содержимого Web-узла. Это удобно тем владельцам Web-узлов, которые хотели бы организовать локальную систему для поиска информации в пределах собственного узла. В то время как большинство поисковых служб хранят свои средства индексации как < зеницу ока>, этот шаг компании CompTek выглядит удачным маркетинговым ходом, способствующим росту популярности службы.
Приемы простого поиска информации в WWW
Каждая поисковая система предоставляет свои методы поиска и имеет свои особенности в правилах записи комбинации ключевых слов. Однако есть общие элементы, одинаково справедливые для большинства поисковых систем.
Прежде всего, надо заметить, что чем точнее сформулировано задание на поиск, тем точнее будут и результаты. Например, если вы хотите найти документы с описанием замеченных ошибок Windows 98, то так и надо формулировать запрос: ошибки Windows 98, а не просто Windows. На англоязычных серверах очень часто срабатывает простое человеческое описание проблемы: printer works incorrectly (принтер работает неправильно).
Ловушка для начинающих
Обычно наша задача состоит в том, чтобы выделить в пространстве Web самые нужные документы, однако многие начинающие ловятся на один и тот же крючок. Например, если вы хотите найти информацию о компьютерных играх (computer games), то кажется, что так и надо оформить запрос:
computer games
Увы, для большинства поисковых систем этот запрос будет ошибочным. При таком запросе система будет искать все Web-страницы, в которых встречается либо слово computer, либо слово games, либо оба вместе. В WWW полно страниц, на которых упоминаются компьютеры и нет ни слова про игры. Точно так же там полно страниц со спортивными, настольными и другими играми, которые нам не интересны. Вот всю эту массу и надо как-то отсеять, а мы наоборот ее запрашиваем.
Вот список поисковых систем, которые рассматривают группу слов, введенных через пробел, как задание на поиск любого из этих слов:
AltaVista Excite GoTo
Infoseek LookSmart Netscape Search
Snap WebCrawler Yahoo!
Следующие системы тоже способны выполнять поиск по любому из слов группы, но для этого надо либо установить соответствующий флажок, либо выбрать соответствующий пункт в меню:
HotBot (через меню);
Lycos (в режиме расширенного поиска);
MSN Search (через меню);
Rambler (после установки флажка Все словоформы).
Система Northern Light позволяет производить поиск по любому из ключе вых слов только путем использования логической команды OR (см. ниже). Система Google вообще не имеет средств для такого поиска («ловушка для начинающих» в ней принудительно закрыта).
Сложение наоборот
Если нам надо, чтобы поисковая система нашла страницы, на которых одно временно присутствуют все использованные ключевые слова, то перед каждым из них надо поставить знак «+». Предположим, вы хотите узнать, не 'было ли в жизни известного лица каких-нибудь щекотливых ситуаций. В этом случае в условии поиска надо указать:
+Клинтон +скандал
'Поисковая система выдаст список страниц, на которых встречаются оба слова, хотя, конечно, не исключено, что между ними нет прямой связи. Список слов может быть больше — тогда результаты поиска будут точнее, например:
+свет +оптика +линза
Использование знака «+» особенно полезно, если вы провели поиск по распространенному слову, но в ответ получили так много ссылок, что не знаeтe, как с ними поступить. Используя знак «+», мы сужаем круг поиска и уменьшаем количество возможных ссылок.
Знак «+» понимают все основные поисковые системы, за исключением LookSmart. А следующие системы выполняют такой поиск по умолчанию, рдаже если знак «+» не указан:
Google HotBot
Lycos MSN Search
Northern Light Aport 2000
Rambler (в режиме простого поиска при сброшенном флажке Все словоформы).
Имеет отличия и российская система Яndex. Если слова разделены пробелами, то система ищет одновременное появление этих слов, но только в пределах одного предложения. Если же требуется одновременность в пределах всего документа, надо использовать знак «+».Интересную особенность имеет и российская система Rambler. В ней знак«+» можно использовать для управления весовым коэффициентом при рейтинговании результатов. Так, например, поставив несколько знаков «+» перед каким-либо словом, можно форсировать отображение страниц, содержащих его, в вершине результирующего списка.
Арифметика вычитания
Интересно, что сужать круг поиска можно не только знаком «+», но и знаком «-».Допустим, вам надо написать для детского сада реферат о деятельности президента Клинтона, но при этом не хочется вникать в его историю с Моникой Ленински. Исключить Ленински из рассмотрения можно знаком «минус», например так.
Клинтон -Левински
Если, к примеру, нам надо написать реферат по оптике, но только по геометрической, а не по волновой, то поиск может быть таким:
+свет -оптика -волна
Последняя команда разыщет все страницы, где присутствуют слова свет и оптика, но покажет только ссылки на страницы, не содержащие слова волна.
Знак «-» понимают практически все основные поисковые системы.
Применим джокера
Возьмем следующее предложение:
В геометрической оптике световой луч рассматривается как прямая линия.
Интересно отметить, что поиск по команде +свет +оптика может его и но найти, хотя это самая настоящая геометрическая оптика. Мы дали команду искать слово свет, а в документе написано: световой. Мы дали команду искать слово оптика, а в документе написано: оптике. Разумеется, многие поисковые системы производят нормализацию слов, но не все и не всегда, так что не стоит на это полагаться, а следует использовать подстановочный символ «*». Как джокер в карточной колоде может заменить любую карту, так этот символ может заменить любой другой символ или набор любых символов до конца слова. Если бы мы сформировали свой запрос так:
+свет* +оптик* -волн* то наверное его результаты были бы шире без особой потери точности. Подстановочный символ «*» можно использовать в следующих поисковых системах:
AltaVista HotBot
MSN Search Northern Light
Snap Yahoo!
Некоторые из крупнейших поисковых служб поддерживают нормализацию слов по умолчанию, то есть, они уже учитывают сокращение слов до основы, и потому в них не надо использовать подстановочный символ. В частности, к таким службам относится Infoseek.
Контекстный поиск
А почему бы нам сразу не искать то, что надо?
+геометрическая +оптика
Может быть, это и было бы хорошим решением, но такой поиск выдаст ссылки на страницы, где упоминаются оба эти слова, причем совсем не Необязательно, что вместе. То есть, слово геометрическая может быть в одном конце текста, а слово оптика — совсем в другом. Если же мы хотим объедить оба эти слова в одно сочетание, то надо применить кавычки:
"Геометрическая оптика" "геометрическая оптика"
случае использования кавычек поисковая система разыскивает документы, в которых абсолютно точно есть тот текст, который в них заключен. Поиск с помощью кавычек называется контекстным поиском.
Роль прописных букв
Прописные буквы при проведении поиска имеют особый статус. Вам ведь понятна разница между сочетаниями красная шапочка и Красная Шапочка? прописными буквами поисковые системы обращаются буквально, то есть разыскивают тексты, в которых слова записаны точно такими же буквами. Со строчными буквами все происходит демократичнее. Совпадения засчитываются и в том случае, когда в тексте стоит прописная буква, и в том случае, когда буква строчная.
поиск по словам:
+красная +шапочка
вернет результаты, в которых будут и красная шапочка, и Красная шапочка, ДЦ красная Шапочка, и Красная Шапочка.
Ир Другой стороны, поиск по словам:
И| +красная +шапочка Издаст гораздо более узкий результат: Красная Шапочка, — и все.
Поиск по заголовкам
Каждая Web-страница может иметь заголовок, если Web-мастер не поленился его создать. Когда мы разыскиваем Web-страницы с помощью поисковых систем, то по результатам поиска нам обычно выдается ссылка, в которой присутствует заголовок Web-страницы, если он есть. Если его нет, то обычно выдается одно-два предложения первого абзаца.
Многие поисковые системы позволяют разыскивать Web-документы по тексту, содержащемуся в заголовках. Такой поиск существенно уменьшает количество возвращаемых ссылок, но очень точно выводит на нужные материалы. Например, если вам нужны данные для доклада о Солнечной системе, имеет смысл искать не просто словосочетание Solar System (Солнечная система), а страницы, в которых это сочетание присутствует в заголовке. Командой такого поиска является title:, например:
title: Solar System или (лучше)
title: solar system
Поиск заголовков Web-страниц по команде title: поддерживают следующие поисковые системы:
AltaVista GoTo HotBot Infoseek MSN Search Northern Light
Snap
Поисковый каталог Yahoo! тоже имеет команду для поиска заголовков. Она записывается так:
t: solar system
Система Lycos разыскивает заголовки только в режиме расширенного поиска.
Поисковая система Aport 2000 имеет несколько альтернативных команд для поиска заголовков. Основная команда — title = . Примеры:
title = Солнечная система
t = Солнечная система
заг = Солнечная система
з = Солнечная система В поисковой системе Япс1ех команда поиска в заголовке записывается так:
$title (Солнечная система) а в поисковой системе Rambler — похоже, но без скобок, через двоеточие:
$title:Солнечная система
Поиск Web-узлов
Сам по себе поиск Web-узлов используется достаточно редко, но команды этого поиска часто применяют для сокращения числа ссылок, возвращенных другими методами и ограничения их одним Web-узлом или, наоборот, исключения некоего Web-узла из результатов поиска.
Одной из команд такого поиска является команда host:.Например, на поисковой системе Alta Vista команда host: microsoft разыщет все Web-страницы, принадлежащие доменному имени mycrosoft.
Эту команду обычно комбинируют с другими. Если, например, нас интересуют планеты солнечной системы, но мы уже сыты по горло трудами Национального управления по исследованию космического пространства
США (NASA), то сервер NASA можно исключить из поиска командой:
+solar + system -host: nasa .:
В команду можно включать не полное доменное имя сервера, а только его часть, например только имя домена. Так, если мы хотим обыскать только российские серверы, то можно использовать имя домена ru, например:
+cookies +host: ru
По этой команде мы узнаем, что пишут о маркерах cookies на российских Web-узлах.
Не все поисковые системы позволяют проводить поиск по Web-узлам, да
и команда поиска у них может быть различной. Вот список систем, которые такой поиск выполняют:
Alta Vista host:
Hot Bot domain:
& f InfoSeek site:
MSN Search domain:
GoTo domain:
Snap domain:
Поисковая система Lycos выполняет поиск Web-узлов только в режиме расширенного поиска.
Поиск URL-адресов
Этот поиск очень похож на поиск Web-узлов. Суть и смысл его те же, только Команда другая — uri:. Эту команду поддерживают следующие поисковые службы:
AltaVista Infoseek
Northern Light
Поисковый каталог Yahoo! использует команду u:, а система Lycos реализует поиск URL-адресов с помощью команд расширенного режима. В России поисковая система Яndex использует команду #url=, после которой следует записать URL-адрес в кавычках. Поисковая система Апорт 2000 , обходится более простым синтаксисом, например url=www.intel, а в поисковой системе Rambler команда должна начинаться с символа <$>, например так:
$uri: www.intel
Поиск ссылок
Поиск ссылок бывает полезен владельцам Web-страниц и Web-мастерам. Он позволяет, к примеру, количественно оценить динамику популярности своей страницы регулярным контролем числа ссылок, которые к ней ведут. Типовая команда для такого поиска — link:.
Например, команда link: mywebsite/mypage/index.htm позволит выявить ссылки, которые ведут к титульной странице index, htm на Web-узле mypage, размещенном на Web-сервере www.mywebsite.
Команду link: поддерживают следующие поисковые службы:
AltaVista Infoseek Google
Некоторые поисковые службы поддерживают команду linkpage:
GoTo HotBot S MSN Search Snap
Как обычно, российские поисковые системы имеют свои особенности. Например. Апорт 2000 поддерживает четыре разных представления команды:
Link=
L=
Ссылка=
Сс=
Система Яndex поддерживает команду #link:, после которой адрес ссылки должен записываться в кавычках.
Средства расширенного поиска
Выше мы рассмотрели лишь десять методов формулирования задания на поиск, однако их достаточно для проведения 90% поисковых работ в 90% поисковых служб. Все рассмотренные выше методы являются методами простого поиска. Кроме средства простого поиска обычно поисковые службы предоставляют средства расширенного поиска. Эти средства позволяют более точно формулировать поисковое задание, но требуют определенного опыта и работают заметно медленнее. В большинстве поисковых систем команды расширенного поиска формируются с помощью логических команд и рассчитаны на профессионалов. Удобство использования логических команд в частности связано с тем, что команды простого поиска у многих поисковых систем реализованы по-разному. Каждая система стремится сделать средства простого поиска наиболее удобными, а средства расширенного поиска — наиболее стандартными.
Команда OR
Логическая команда OR (ИЛИ) служит для формирования поискового задания, состоящего из нескольких ключевых слов, если надо, чтобы разыскиваемый документ содержал любые из этих слов в любой комбинации. Например, по команде solutions OR hints будут разысканы Web-страницы, содержащие решения к компьютерным играм (solutions) или подсказки к ним (hints).
Команду OR поддерживают абсолютное большинство основных поисковых служб, за исключением следующих:
Google Infoseek LookSmart Yahoo!
Службы Infoseek, LookSmart и Yahoo! по умолчанию выполняют поиск по принципу ИЛИ, если через пробел задано несколько ключевых слов, и поэтому нс нуждаются в этой команде. Лишь поисковая система Google вообще не имеет таких средств.
«Апорт 2000» позволяет использовать как английское ключевое слово OR, так н русское ИЛИ. Можно также использовать знак « | ». Система Rambler использует или слово OR, или знак « | », а система Яndeх — только знак « | ».
Команда AND
Логическая команда AND (И) служит для формирования поискового задания, когда надо, чтобы разыскиваемый документ содержал одновременно все слова, введенные пользователем. Это аналог команды «+» простого поиска. Например, по команде свет AND луч будут разысканы все Web-страницы, содержащие оба эти слова.
Команду AND поддерживают абсолютное большинство основных поисковых служб, за исключением следующих, которые используют знак «+»:
Google Infoseek LookSmart Yahoo!
Апорт 2000 позволяет использовать как английское ключевое слово AND, так и русское И, а