分布式Web Crawler的研究：结构、算法和策略
摘要
本文介绍了一个大型分布式Web Crawler系统--Igloo1.2版，它采用分布式的系统结构，通过我们设计的二级哈希映射算法使系统可以进行高效的任务分割，并且系统的规模动向可扩展，爬行页的质量是评价Crawler 的一个重要指标，Igloo以PageRank值作为网页质量评价的标准，从而提高了爬行质量，加快爬行速度的关键是如何解除Crawler系统中的性能瓶颈，本文对此也作了详细的讨论，并提出了一种基于滞后全并策略的URL数据库存取方法。实验表明，Igloo在保持高性能的同时能快速爬行到高质量的网页。
引用本文（GB/T 7714）
叶允明, Yu Shui. 分布式Web Crawler的研究：结构、算法和策略[J]. Acta Scientiarum Naturalium Universitatis Sunyatseni, 2002.
引文网络
本站仅收录题录与摘要供学习参考，全文版权归属出版方；如有侵权请联系我们删除。