Евгений Слайковский | Как добывать данные, когда их не хотят отдавать
Data Fest Online 2021
Data Collection track
Спикер: Евгений Слайковский, Zyte (ScrappingHub), инженер
Как добывать данные, когда их не хотят отдавать
1. Почему так происходит? Сервис хочет отдавать данные только реальным пользователям. Что нам делать? Пытаться выглядеть как реальный пользователь.
2. Уровни симуляции пользователя: заголовки, IP, Сессии, Javascript, Сложные отпечатки (js fingerprint, network fingerprint).
3. Заголовки: порядок важен, регистр важен. Пробелы важны
4. IP. Адреса Тора, плохие прокси, дата центр прокси, всё это можно проверить
5. Сессии
6. Javascript. Простые челенджи. Использование JS эмуляторов и браузеры
7. Js fingerprints. Canvas, webGL, webRTC leak. Автоматизация браузеров. (Splash, Puppeteer, Playwright)
8. Network fingerprint, http/2, tls fingerprinting
9. Каптчи. Recaptcha v2, v3, hcaptcha, geetest captcha
10. Обзор антибот систем и кейсы
11. Cloudflare
12. PerimeterX
13. Akamai
14. Datadome
15. А почему только десктоп?
16. Мобильная версия
17. Мобильное приложение
18. Будущее антибот систем
Презентация:
Посмотреть эфир и список треков и организаторов:
Зарегистрироваться на фест и получить доступ к трекам:
Вступить в сообщество:
Соцсети Data Fest:
1 view
172
42
2 weeks ago 00:26:33 2
Евгений Слайковский | Как добывать данные, когда их не хотят отдавать
4 months ago 00:10:41 25
АлконостЪ - Подробнее о победе на Битве хоров
5 months ago 07:03:01 1
Рожденная революцией. 6-10 серии (1975-77) / Многосерийный фильм об истории советской милиции
1 year ago 01:29:40 25.8K
Рождённая революцией. (1975. Экзамен. Серия 6). FHD