Разработка
Чтобы получить данные через API на Python, достаточно библиотеки requests: вызываете requests.get(адрес, params=..., headers=..., timeout=10), проверяете ответ через raise_for_status() и превращаете его в словари и списки Python методом
Чтобы распознать текст с картинки на Python, поставьте программу Tesseract с русским языком, библиотеки pytesseract и Pillow и вызовите pytesseract.image_to_string(Image.open("pic.png"), lang="rus+eng") — функция вернёт строку с текстом. На
Языки клиентской стороны — это языки, которые выполняются в браузере, а не на веб-сервере. Успех языка клиентской стороны зависит от способности вашего браузера правильно интерпретировать и выполнять этот
Чтобы парсить страницы, которые открываются только после входа, программа повторяет то же, что делает человек в браузере: отправляет логин и пароль, получает от сайта куки (cookies — небольшие
До сих пор данные, с которыми вы работали, в основном были в виде чисел или подсчитываемых значений. В большинстве случаев вы просто сохраняли данные без проведения какого-либо анализа
Заманчиво думать о интернете преимущественно как о сборнике текстовых веб-сайтов, чередующихся с новомодным мультимедийным контентом Web 2.0, который в основном можно игнорировать для целей веб-скрапинга. Однако, интернет прежде
Предыдущие статьи представили некоторые техники и шаблоны для создания крупных, масштабируемых и (самое главное!) поддерживаемых веб-скрейперов. Хотя это можно сделать вручную достаточно легко, многие библиотеки, фреймворки и даже
Хотя вывод на терминал может быть веселым занятием, это не особенно полезно, когда речь идет о сборе и анализе данных. Чтобы сделать большинство веб-скрейперов действительно полезными, нужно иметь
Веб-паук (краулер, от английского crawl — «ползти») — это программа, которая сама ходит по сайту: открывает страницу, находит на ней ссылки, переходит по ним и по дороге собирает
Что такое веб-скрапинг? Автоматизированный сбор данных из интернета существует почти столько же времени, сколько и сам интернет. Сегодня общее мнение склоняется в пользу термина «веб-скрапинг», поэтому я буду