Скрапинг сайтов с JavaScript на Python
Языки клиентской стороны — это языки, которые выполняются в браузере, а не на веб-сервере. Успех языка клиентской стороны зависит от способности вашего браузера правильно интерпретировать и выполнять этот
Школа Виктора Комлева
Парсинг и формы авторизации
Чтобы парсить страницы, которые открываются только после входа, программа повторяет то же, что делает человек в браузере: отправляет логин и пароль, получает от сайта куки (cookies — небольшие
Школа Виктора Комлева
Обработка естественного языка
До сих пор данные, с которыми вы работали, в основном были в виде чисел или подсчитываемых значений. В большинстве случаев вы просто сохраняли данные без проведения какого-либо анализа
Школа Виктора Комлева
Парсинг документов с помощью Python
Заманчиво думать о интернете преимущественно как о сборнике текстовых веб-сайтов, чередующихся с новомодным мультимедийным контентом Web 2.0, который в основном можно игнорировать для целей веб-скрапинга. Однако, интернет прежде
Школа Виктора Комлева
Фреймворк Scrapy
Предыдущие статьи  представили некоторые техники и шаблоны для создания крупных, масштабируемых и (самое главное!) поддерживаемых веб-скрейперов. Хотя это можно сделать вручную достаточно легко, многие библиотеки, фреймворки и даже
Школа Виктора Комлева
Хранение данных для парсинга сайтов
Хотя вывод на терминал может быть веселым занятием, это не особенно полезно, когда речь идет о сборе и анализе данных. Чтобы сделать большинство веб-скрейперов действительно полезными, нужно иметь
Школа Виктора Комлева
Написание Веб-пауков (краулеров)
Веб-паук (краулер, от английского crawl — «ползти») — это программа, которая сама ходит по сайту: открывает страницу, находит на ней ссылки, переходит по ним и по дороге собирает
Школа Виктора Комлева
Веб скрапинг (парсинг) данных
Что такое веб-скрапинг? Автоматизированный сбор данных из интернета существует почти столько же времени, сколько и сам интернет. Сегодня общее мнение склоняется в пользу термина «веб-скрапинг», поэтому я буду
Школа Виктора Комлева
Парсинг сайтов с помощью Beautiful Soup
В мире, где информация является ключевым активом, умение эффективно извлекать данные из интернета становится незаменимым навыком. Представьте, что вы можете автоматически собирать актуальные новости, анализировать рыночные тренды или
Школа Виктора Комлева
Фреймворк aiogram-dialog. Высокоуровневый интерфейс телеграм бота.
Основные идеи. : Разделение получения данных и отображения сообщений. Объединение отображения кнопок и обработки нажатий. Улучшенная маршрутизация состояний. Виджеты Основной строительный блок вашего интерфейса в телеграм боте с
Школа Виктора Комлева