Получение списка урлов из новостных архивов:

$ tarcview -e index | grep URL= | perl -ne 's/^URL=//;print' > urls.list

Получение хостов из урлов (с учётом владельцев):

$ cat urls.list | hosts_getter ~/arcadia/yweb/urlrules 1 2 > urls.hosts

Ограничение урлов с хоста в выборке:

$ sort -R urls.hosts | perl -ane 'if ($hosts{$F[1]} < 20){$hosts{$F[1]}++;print}' | cut -f 1 > urls.max20

Добление html в коллекцию:

$ ~/arcadia/tools/segutils/quality_measurers/miscdolb/collect.py urls.max20 news.tar news.map

Измерение качества:

$ mains_quality -r arc -a indexarc -m news.mapping.max20 -f files -c ~

Получение gulin3:

$ mains_features -r arc -f files -a indexarc -m news.mapping.max20 -c ~
