Praylist 0:00 Содержательная задача: выгрузить с сайта информацию о конкурсах для фрилансеров и о реакции фрилансеров на них, чтобы впоследствии выяснить детерминанты (не)популярности конкурсов. 0:30 Архитектура веб-источника: 3 раздела сайта . 1:05 Интересующие переменные. 3:15 Архитектура скриптов. 3:30 Упоминание реляционных баз данных. 4:05 Итоговая таблица. 5:45 Статья «Автоматическое извлечение текстовых и числовых веб-данных для целей социальных наук» . 6:10 . 6:35 Корректировка содержательной задачи. 7:15 Полезный пререквизит: видео «Эффективно программировать на Python в Jupyter Notebook» . 7:45 Markdown и закомменчивание. 8:15 Скачать пакеты из Интернета на компьютер. 8:55 Активировать пакет requests. Записать в объект. Класс объектов «текст». Кавычки. 9:30 Альтернативные точки входа. 11:35 Маскировка алгоритмического запроса под запрос обычного пользователя; Cookie и User-Agent. Класс объектов «словарь». 15:10 Заменить класс объекта ’объект requests’ на класс объекта ’текст’. Функции (методы) и атрибуты. 16:25 Активировать класс BeautifulSoup из пакета bs4 . HTML-теги, их атрибуты и содержимое. 17:35 “Название конкурса“. Ограничить область поиска искомого текста в выгруженном HTML-коде посредством релевантного тега из веб-инспектора. Почему не span id=“prj_name_5007925“ . Методы .find_all() и .find() и HTML-теги. Вспомогательные чанки. 19:20 Метод find_all , класс объектов «список» и индексирование. 22:25 Метод get_text пакета bs4 и метод strip для текста. Применимость методов только к объектам “своего“ класса. Классы данных и классы модулей. 24:25 Промежуточные итоги. 28:10 Блок “Заказчик конкурса“, “Дата регистрации заказчика“. В искомом тексте много лишних символов. Оптимальное, но сложно для понимания решение пакетом re. Упоминание пакета re . 30:00 Цикл while , чтобы заменить все двойные пробелы на одинарные. 31:20 “Бюджет“. Двойное ограничение области поиска. Конкатенировать. 33:40 Цикл for для итерирования диапазона элементов. 37:35 Иллюстрация различия оптимальности в компьютерных науках и в DCSS (цифровых и вычислительных социальных науках). 38:55 Оформить переменные. Пакет pandas. Датафреймы. Индексировать датафрейм на запись. 42:35 Сохранить датафрейм в формате экселевской таблицы. 43:25 Итоговый чанк.
84 views
4371
1523
1 month ago 02:05:48 7
[Android Guards] 👨🎓Открытая лекция: Основы информационной безопасности для мобильных разработчиков
1 month ago 00:28:57 6
[Request for Quest] Война Геенны: экшн и конфликт в ВтМ — обзор VtM Gehenna War
2 months ago 00:07:35 44
Postman Для Тестировщиков - Тестирование API для начинающих
2 months ago 00:38:45 5
Основы мониторинга и сбор метрик
2 months ago 00:06:12 1
Вкусные и полезные котлеты из гречневой каши и грецкого ореха. Рецепт постный. Монастырские рецепты
3 months ago 00:53:42 2
🇷🇺 Армен Гаспарян / Визит Зеленского в США, реформа Совбеза ООН и шанс на диалог по ДСНВ.
3 months ago 00:53:51 1
🇷🇺 Дмитрий Евстафьев / Ветераны СВО во власти, преступления в сфере ОПК, налоги на Украине.🎥🎦🎤🎙️🔥💥⚡️
3 months ago 00:46:57 1
Волонтеры Победы. Основы добровольческой деятельности в сфере сохранения исторической памяти.
3 months ago 00:56:30 4
Advanced HTML for Performance & Accessibility - Mandy Michael - NDC Oslo 2024
3 months ago 01:38:50 15
Взаимодействия на основе событийной модели // Демо-занятие курса «Software Architect»
3 months ago 00:12:45 2
Основные ошибки при покупке земельного участка // Инвестиции в землю 2021
3 months ago 00:11:30 1
Основные ошибки при покупке земельного участка - Часть 2 // Инвестиции в землю 2021
3 months ago 00:02:50 1
Toyota - map DVD Australia to 2016 original navigators from JP and AU.
3 months ago 00:28:58 9
Война Геенны: экшн и конфликт в ВтМ — обзор VtM Gehenna War
3 months ago 00:42:21 1
СВО. На чьей стороне правда? Важный разговор с отцом Сергием Барановым
3 months ago 00:10:15 20
Git Курс Для Новичков _ Pull request _ Уроки по GIT #8
3 months ago 01:23:59 43
Работа с Git, основы и уверенное использование // Занятие курса «Administrator Linux Professional»
3 months ago 00:44:23 84
Основы requests и bs4 за 44 минуты. Видео 1
3 months ago 00:24:03 67
Основы requests и bs4. Схема парсинга. Видео 2
3 months ago 00:33:19 89
Основы regular expression, а также requests и bs4. Видео 3
3 months ago 00:49:34 179
Демо-сессия КПТ-психолога с Владиславом №2 | Учимся получать удовольствие от общения с людьми
3 months ago 01:10:56 248
Демо-сессия КПТ-психолога с Владиславом №1 | Почему нам сложно сближаться с людьми?
3 months ago 00:51:52 108
КПТ-техника “рескриптинг ранних воспоминаний“. Рескриптинг “Барби“ | Демо-сессия с Маргаритой
3 months ago 00:52:43 59
КПТ-техника “пирог ответственности“ | Демо-сессия КПТ-психолога с Маргаритой