Симанков В.С., Толкачев Д.М. - Методы и алгоритмы поиска информации в интернете [2017, PDF, RUS]

Введение .................................................................................................... 9
1. Введение в информационный поиск в Интернете...................... 12
1.1. Информационный поиск: определение, классификация .......... 12
1.2. Сеть Интернет: история развития, структура ............................ 14
1.3. Поиск различных видов информации в сети Интернет ............ 24
1.4. Выводы ........................................................................................... 32
2. Некоторые концептуальные подходы к поиску информации в
Интернете ................................................................................................ 33
2.1. Классический поиск ...................................................................... 33
2.2. Нечёткий поиск .............................................................................. 39
2.3. Web Mining ..................................................................................... 44
2.4. Анализ изображений, аудио и видео ........................................... 54
2.5. Интеллектуальный веб-поиск ...................................................... 57
2.6. Классификация подходов к поиску информации ...................... 62
2.7. Выводы ........................................................................................... 63
3. Методы поиска информации в Интернете ................................... 65
3.1. Булев поиск .................................................................................... 65
3.2. Векторно-пространственный, вероятностный и языковой поиск .......... 69
3.3. Хеширование и деревья поиска ................................................... 77
3.4. Методы Web Content Mining ........................................................ 81
3.5. Машинное обучение для поиска по запросу .............................. 87
3.6. Латентно-семантическое индексирование ................................. 91
3.7. Распознавание образов для поиска изображений ...................... 94
3.8. Методы поиска аудио и видео ................................................... 106
3.9. Методы интеллектуального веб-поиска ................................... 115
3.10. Оценка достоверности информации ....................................... 123
3.11. Классификация методов поиска информации ....................... 125
3.12. Выводы ....................................................................................... 126
4. Алгоритмы поиска информации в Интернете .......................... 129
4.1. Построение и сжатие индекса .................................................... 129
4.2. Ранжирование документов по степени соответствия запросу ..... 134
4.3. Алгоритм PageRank ..................................................................... 137
4.4. Алгоритмы классификации ........................................................ 141
4.5. Алгоритмы кластеризации ......................................................... 144
4.6. Автоматическое реферирование ................................................ 154
4.7. Поиск семантических связей в тексте ....................................... 165
4.8. Оценка смыслового подобия ...................................................... 175
4.9. Поиск ответов на вопрос ............................................................ 179
4.10. Классификация алгоритмов поиска информации .................. 188
4.11. Выводы ....................................................................................... 190
5. Универсальные поисковые системы в сети Интернет ............ 192
5.1. История развития универсальных поисковых систем ............ 192
5.2. Характеристики и возможности универсальных поисковых
систем................................................................................................... 201
5.3. Поисковые роботы ...................................................................... 209
5.4. Логические операторы на службе поисковиков ...................... 214
5.5. Сравнительный анализ поисковых систем ............................... 215
5.6. Поисковые системы и конкурентная разведка ......................... 219
5.7. Перспективные направления развития универсальных
поисковых систем ............................................................................... 225
5.8. Схема выполнения задач поиска информации универсальными
поисковыми системами ...................................................................... 229
5.9. Выводы ......................................................................................... 229
6. Специализированные и инновационные поисковые системы ... 232
6.1. Системы вертикального поиска ................................................. 232
6.2. Метапоисковые системы ............................................................ 236
6.3. Визуальные поисковые системы ............................................... 242
6.4. Рекомендательные машины ....................................................... 244
6.5. Поиск изображений и видео ....................................................... 249
6.6. Поиск семантически размеченного контента ........................... 253
6.7. Поисковые системы в «скрытом вебе» ..................................... 257
6.8. Вопросно-ответные системы ...................................................... 262
6.9. Схема выполнения задач поиска информации
специализированными поисковыми системами ............................. 268
6.10. Выводы ....................................................................................... 269
7. Информационно-аналитическая система «IntellST» ............... 272
7.1. Поиск информации в сети Интернет ........................................ 272
7.2. Теоретические основы информационно-аналитической
системы «IntellST» ............................................................................. 276
7.3. Практическая реализация информационно-аналитическиой си-
стемы «IntellST» ................................................................................ 294
7.4. Выводы ......................................................................................... 300
Заключение ........................................................................................... 302
Литература ............................................................................................ 304