Парсинг 6 млн. доменов - как найти среди них форумы?

Мой опыт парсинга форумов на Python и поисковиков. Парсинг 6 млн. сайтов, как добавил их в базу Mysql, как искал исполнителей, что пошло не так. Рассказываю почему отказался от многопоточности. Застрял на асинхронности. Чтобы добавить в базу сразу несколько миллионов записей из файла (примерно 1-2 минуты), нужно использовать запрос LOAD DATA INFILE, подробно в документации , так добавить в промежуточную таблицу. Затем скопировать в нужную таблицу так: INSERT INTO table_name (column_name) - тут в какую таблицу вставить SELECT column_name FROM temporary_table - это промежуточная таблица, берём данные из неё. Как загрузить данные в Mysql из CSV на Python - рабочий скрипт. -- Проекты, которые сейчас развиваю ► - агентство по seo-продвижению ecommerce-проектов (интернет-магазины и каталоги) ► - сервис линкбилдинга (кра