Зачем мониторинг данных, этика и формирование решения

Третий продукт даёт то, чего не было раньше — регулярный подписочный доход. Ты собираешь данные (например, цены конкурентов) и следишь за их изменениями. А с этого урока в продукт впервые попадает Claude API: он будет анализировать собранное.

🎯 После урока сможешь: объяснить ценность мониторинга данных и разобраться в этике сбора.

Где данные — это деньги

• Цены конкурентов — чтобы вовремя реагировать.
• Наличие товаров, новые позиции у соперников.
• Отзывы и упоминания бренда.

Вручную это не масштабируется: следить за десятком источников каждый день невозможно. Поэтому такой сервис берут на подписку — 5–10 тысяч ₽/мес за источник. Настройка — 15–40 тысяч ₽. Это первый продукт с регулярным доходом.

Этика: что можно, а что нельзя

Собирать данные нужно честно — это защищает и тебя, и клиента. Простые правила:

• Можно: публичные данные, которые видны любому без входа в аккаунт (открытый каталог с ценами).
• Уважать robots.txt: это файл сайта, где написано, что автоматически собирать нельзя. Написано «нельзя» — не собираем.
• Не долбить: делать паузы между запросами (rate limit), не создавать нагрузку на чужой сайт.
• Нельзя: личные данные, контент за авторизацией, а также сайты, чьи правила (ToS) прямо запрещают парсинг.

Клиенты и деньги. Блок C: из хаоса — в решение

После созвона у тебя в голове хаос: клиент рассказал десять проблем. Твоя задача — превратить это в чёткое решение на одну страницу:

Особенно важны границы («что НЕ входит») — они спасают от бесконечных доработок. И критерии успеха — по ним потом видно, что работа сделана.

Контрольный вопрос. Почему сервис мониторинга берут на подписку, а не разово?

АРазово его сделать нельзя — сайты этого не дают

БДанные меняются постоянно — следить нужно каждый день

ВТак просто дороже выходит для клиента и выгоднее нам

Подсказка: Мониторинг — это не разовый сбор, а постоянное наблюдение.

Онлайн-проверка ответа появится позже

Контрольный вопрос. На сайте в robots.txt указано, что автоматический сбор запрещён. Как поступаешь?

АСобираю всё равно, robots.txt никто не проверяет

БНе собираю с этого сайта — уважаю robots.txt

ВСобираю, но медленно и по чуть-чуть, чтобы не заметили

Подсказка: robots.txt — это явное «нельзя» от владельца сайта.

Онлайн-проверка ответа появится позже

Контрольный вопрос. Что в решении на одну страницу защищает от бесконечных доработок?

АКак можно больше обещаний, чтобы клиент точно согласился

БКрасивое оформление документа и логотип клиента

ВГраницы — явно прописано, что НЕ входит в работу

Подсказка: Вспомни пункт про то, чего в проекте нет.

Онлайн-проверка ответа появится позже

Контрольный вопрос. К тебе пришли пять запросов на сбор данных. Отметь ВСЕ, которые допустимы по правилам этики из урока.

Выберите все верные варианты.

АСобрать цены с открытого каталога интернет-магазина, где в robots.txt сбор не запрещён, с паузами между запросами

БСобрать отзывы покупателей с открытой страницы товара, куда не нужно входить по паролю

ВСобрать email и телефоны пользователей из личного кабинета, куда нужно входить по паролю

ГСобрать цены с сайта, где в robots.txt прямо написано, что автоматический сбор запрещён

ДСобрать список вакансий с открытой страницы, но слать запросы подряд без пауз, чтобы успеть быстрее

Подсказка: Проверь каждый пункт по правилам урока: данные публичны, robots.txt не против, между запросами есть паузы, личных данных нет.

Онлайн-проверка ответа появится позже

Что дальше

Ты понимаешь ценность мониторинга, правила этики и умеешь оформить решение. В следующем уроке спроектируем сам мониторинг — с историей изменений, а не разовым сбором.

← К навигатору курса  ·  ↑ В начало урока  ·  ⌂ В начало курса  ·  Вперёд →