Парсинг
В 2010 году инженер-программист Пит Уорден создал веб-краулер для сбора данных с Facebook. Он собрал данные примерно 200 миллионов пользователей Facebook: имена, информацию о местоположении, друзей и интересы.
Когда вы работаете над веб-проектами, которые включают много разных технологий, часто проверяют только серверную часть. Большинство языков программирования, таких как Python, имеют инструменты для тестирования, но часть, с
Веб-скрейпинг — это быстрый процесс. По крайней мере, он обычно гораздо быстрее, чем найм дюжины стажёров для ручного копирования данных из интернета! Конечно, развитие технологий и непрерывное стремление
Эта статья посвящена использованию прокси для веб-скрейпинга, что является важным шагом для серьезного скейлинга ваших скрейперов. Работая со скрейперами локально с вашего ноутбука или домашнего компьютера, вы скоро
Мало что может быть более раздражающим, чем попытка скрапить сайт, просмотреть результат и не увидеть данные, которые так явно видны в вашем браузере. Или отправка формы, которая должна
Чтобы получить данные через API на Python, достаточно библиотеки requests: вызываете requests.get(адрес, params=..., headers=..., timeout=10), проверяете ответ через raise_for_status() и превращаете его в словари и списки Python методом
Чтобы распознать текст с картинки на Python, поставьте программу Tesseract с русским языком, библиотеки pytesseract и Pillow и вызовите pytesseract.image_to_string(Image.open("pic.png"), lang="rus+eng") — функция вернёт строку с текстом. На
Языки клиентской стороны — это языки, которые выполняются в браузере, а не на веб-сервере. Успех языка клиентской стороны зависит от способности вашего браузера правильно интерпретировать и выполнять этот
Чтобы парсить страницы, которые открываются только после входа, программа повторяет то же, что делает человек в браузере: отправляет логин и пароль, получает от сайта куки (cookies — небольшие
До сих пор данные, с которыми вы работали, в основном были в виде чисел или подсчитываемых значений. В большинстве случаев вы просто сохраняли данные без проведения какого-либо анализа