Есть куча поисковых систем, все они ползают по ссылкам по всемирной паутине, дабы потом адепты ур-днд, да и другие продвинутые люди, могли посылать нубасов в гугл. Но суть не в этом.

Однако, идиоты в этой истории вовсе не нубасы (хотя среди них идиотов не мало), а те, кто писали поисковый робот мега-системы Апорт. Их робот настолько крут, что мегасайтом логи нагружает 1 ядро Xeon E5320 в течение часа на 30%. Это, извините, сколько запросов надо послать?

Смею заметить, что мегаботы Гугла нагружают тоже ядро на целый 0.01% в час и, при этом, отлично индексируют всю вики.

Вывод про качество ПО напрашивается сам собой.

Да, к чему всё это. К ур-хайву хостер прислал письмо, мол, нагружает ур-хайв их бедный и несчастный процессор сверх меры. Мол работать он должен только 7.5% времени на нас, а получается, что все 30. По результатам расследования хайв принял решение отправить мега-систему Апорт в бан. Так что не используйте (если по глупости вы такое делали) для поисков по сайтам Ur-D&D Апорт и будет вам счастье великое.

На закуску кусочек статистики от хостера:
27.79 % - 194.67.18.224 (indexer33.aport.ru)
0.12 % - 89.178.37.168 (89-178-37-168.broadband.corbina.ru)
0.08 % - 94.180.77.216
0.04 % - 94.248.30.84 (94-248-30-84.dynamic.peoplenet.ua)
0.03 % - 194.186.53.100
0.03 % - 38.99.44.102 (crawl-11.cuill.com)
0.03 % - 83.167.100.57 (n100h057.catv.ext.ru)
0.02 % - 93.81.228.222
0.01 % - 66.249.65.14 (crawl-66-249-65-14.googlebot.com)
0.01 % - 78.46.75.178 (static.178.75.46.78.clients.your-server.de)