Модель свежего веба и кроулинг

Механизм предпочтительного присоединения (preferential attachment) был положен в основу модели развития Интернета в 1999 году Барабаши и Альберт. Их гипотеза состояла в том, что в Интернете новые страницы «предпочитают» цитировать более популярные страницы, т.е. с большей вероятностью ссылаются на те страницы, которые до этого уже много цитировались. С помощью идеи предпочтительного присоединения удалось объяснить многие свойства веб-графа.
Однако для некоторых частей Интернета модели предпочтительного присоединения в изначальном виде плохо подходят. Например, они плохо описывают эволюцию медиа-веба, т.е. высокодинамической части веба, где ежедневно появляется множество новых страниц, связанных с медиа-контентом: новостями, постами в блогах и форумах. Действительно, в новостях и блогах редко цитируют сюжеты, потерявшие свою актуальность, какими бы популярными они ни были до этого.
В докладе будут предложены пути улучшения моделей предпочтительного присоединения для более адекватного описания поведения медиа-веба. Также будут рассмотрены приложения моделей медиа-веба для улучшения его обхода роботом поисковых систем.