Раздел 4. Организация и технология поиска информации в Интернете

Поисковая система (search engine) —это компьютерная система, предназначенная для поиска информации. Одно из наиболее известных применений поисковых систем — веб-сервисы для поиска текстовой или графической информации во Всемирной паутине.Основные составляющие поисковой системы:

Ø поисковый робот, собирающий информацию с сайтов сети Интернет или из других документов

Ø индексатор, обеспечивающий быстрый поиск по накопленной информации

Ø поисковик — графический интерфейс для работы пользователя

Алгоритм поисковой системы

1. Анализ содержания страниц поисковым роботом (web crawler, веб-паук). Поисковый робот — программа, которая автоматически проходит по всем ссылкам, найденным на странице, и выделяет их. Краулер, основываясь на ссылках или исходя из заранее заданного списка адресов, осуществляет поиск новых документов, ещё не известных поисковой системе.

2. Индексация - разбиение на малые части. Индексатор — это модуль, который анализирует страницу, предварительно разбив её на части, применяя собственные лексические и морфологические алгоритмы. Все элементы веб-страницы вычленяются и анализируются отдельно. Данные о веб-страницах хранятся в индексной базе данных для использования в последующих запросах. Индекс позволяет быстро находить информацию по запросу пользователя.

Приём пользовательского запроса

4. Обработка индекса. Когда пользователь вводит запрос в поисковую систему (обычно при помощи ключевых слов), система проверяет свой индекс.

5. Ранжирование - упорядочивание страниц по наибольшему соответствию поисковому запросу. Полезность поисковой системы зависит от релевантности найденных ею страниц. Хоть миллионы веб-страниц и могут включать некое слово или фразу, но одни из них могут быть более популярны или авторитетны, чем другие. Большинство поисковых систем использует методы ранжирования, чтобы вывести в начало списка «лучшие» результаты. Поисковые системы решают, какие страницы более релевантны, и в каком порядке должны быть показаны результаты, по-разному

Возврат к результатам поиска.

Есть несколько факторов, которые влияют на отображение результатов поиска:

Ø Популярность

Ø тИЦ - тематический индекс цитирования

Ø Информативность

Ø Соответствие текста и заголовка запросу

Ø Регион поиска