I don’t want to index sites, that i never added for crawling! How to do it?
Depends, whether the sites were crawled by you (by allowing the recursive indexing in the Crawler) or transfered to you by DHT.
erikobox,
если Вы хотите запретить краулеру уходить с заданного Вами ресурса, то запускайте индексирование через меню Advanced Crawler. Там есть поля фильтров, в котрые можно вписать регулярное выражение, разрешающее индексировать только совпадающие адреса (или несовпадающие).
Чтобы проверить, правильно ли работает составленное Вами регулярное выражение, используйте меню Target Analysis, Regex Test.
(Обратите внимание, что Regex Test может застревать. Если такое произошло, страницу надо перезагрузить через меню.)
Там так много полей, что черт ногу сломит. Потом я не хочу по одному сайту вставлять, а сразу списками. Не хочу чтобы краулер уходит по внешним ссылкам и гулял по ненужным мне сайтам.
Thank you, you saved me again!
Так Вам из них нужно только несколько.
Crawling Depth - глубина индексироваия. Ставите 0, т.е. по ссылкам вообще не ходить.
А полю Unlimited crawl depth for (Неограниченная глубина в пределах домена) ставите галочку и вписываете регулярное выражение, являющееся шаблоном адреса сайта, который индексируете:
.*yousite.ru.*
где .* заменяет любую строку символов, т.е. адреса страниц сайта yousite.ru
Maximum Pages Per Domain - можно ограичить количество индексируемых страниц, если сайт очень велик.
Accept URLs with query-part(“?”) - эту галочку ставим, когда индексируем форумы, в которых номера сообщений находятся в адресе страницы после вопросительного знака. (Такие страницы обычно являются .php)
Clean up search events cache - эту галочку предпочтительно снять.
Дальше идут опции про устаревание индекса, они вполне понятны - удаалять, не удалять, через сколько дней. (Я ничего не удаляю).
Document Cache - я снимаю эту галочку и не использую кэш, потому что места мало.
Галочка index media - ее можно снять, если в системе мало памяти и она часто переполняется и виснет при индексации картинок и видео.
Всё; остальные поля можно не трогать, по умолчанию.
В меню простой индексации тоже есть опция Path:load all files in domain, но я не уверен, как она работает.
Такую опцию я не встречал.
Можно записать адреса в локальный файл и задать индексирование его, но, похоже это индексируется только с глубиной 1, т.е. придется записывать в такой файл ссылки на каждую индексируемую страницу. а не на целый домен.
Поправка:
так было написано в документации.
Но проверка показала, что если запускать индексирование по файлу через Advanced Crawler, то глубина индексирования будет та, которую Вы задали.
Пробовал на файле .txt, где адреса сайтов были записаны построчно простым текстом.