Первые очень весело реализовали сайт -
на каждой словарной странице 36 килобайт
мусора (код на скрипте и т.п.). Это как если бы
вы хотели купить какие-нибудь мемуары
и заранее думали примерно так:
1. Сама книжка 300 страниц
2. Ну Переслегин напишет 100 страниц комментариев
(кому интрересно читать а кому и нет) но зло видимо неизбежное.
2. В худшем случае еще подверстают еще 100 страниц
чего-то типа военной энциклопедии с картинками
(маленькие картинки и ттх ну чтоб все знали что у т34
пять больших колесиков сбоку :))
Итого 500 но книжка интересная - купим.
Ну вот вы приходите и видите что мемуары занимают
5000 (ага в 12 томах)страниц причем нужные вам 300
страниц равномерно размазаны между одним и тем-же
текстом о сборе урожая клюквы в Карелии.
так вот rubricon.ru сделан так же
Общий объем БСЭ (в html) - более 3 гигабайт
объем полезных страниц - около 180 мегабайт
(1:16 или 1:17)
Я написал программку (для личных целей)
которая последовательно обходит все статьи
и закачивает только их содержимое.
Так вот админы стали пытаться сопротивляться -
закрывать доступ с анонимных прокси, которые я использую.
Налицо полное непонимание ситуации с HTTP -
если что выложили то выложили - оно уйдет хотят они или нет. Так как анонимных прокси наверное более 100000 тысяч а накрывают они от силы 20 в день я закачал
процентов 60 уже. (у меня канал слабый).
Поскольку контора ведет себя неправильно видимо придется информацию распространять.
_________
Apple