У меня малость вопрос про боты?! в данном случае какую роль они играют и в какое место устанавливаються...?!
Если не ошибаюсь боты нужны для посковых систем...! для чего их прописывать?!
Отключить в смысле сделать запрет на индексацию определенными поисковыи системами (ботами)...?!
Боты они если правильно понимаю где прописываються?! или виде мета тегов в шапке...?!
И для чего нужен такой болшой список с ботами...?! чтобы назначить для каждой посиковой систему различные возможности на индексацию...?!
Мельком где-то читал, что сайты в виде форумов как-то распознаються поисковиками... и могут не индексировать их...?! Как эти поисковики их так определяют?!
Если ничего не трогать в настройках форума, а оставить по умолчанию (ну только добавить в список в настройках ботов что выше написаны), то все будет норм индексироваться.
Система настройки ботов на форуме по большей части для внешнего отображения и статистики для админа.
Никаких мета не надо! Главное выставить ботам такую группу, чтобы они видели форум. Скажем если Заблокированным нельзя видеть форум и ботаов сделать как Заблокированных, то разумеется форум они не проиндексируют.
А так они стоят как Гости - то есть видят форум, но такие ненужные для индексации функции как личные настройки, отправка сообщений и т.п. им не достпуны и не индексируются.