Еще больше и чаще пишу в канал t.me/bezsmuzi - подписывайтесь.
Рассказываю о том, как можно зарабатывать 5 млн. в месяц на парсинге сайтов и как построить на этом свой бизнес. Делюсь нашим опытом.
00:00:00 Введение в парсинг
• Автор рассказывает о своем опыте в парсинге, начиная с 2019 года, когда он и его команда начали заниматься этим бизнесом.
• Они зарабатывают на этом около 40-60 миллионов рублей в год, обслуживая клиентов из России, Беларуси и Казахстана.
00:04:48 Инструменты и источники данных
• Парсинг выполняется на стеке дотнет, питоне и других языках программирования.
• Основные источники данных - интернет-магазины, маркет-плейсы, ЦИАН, ДомКлик и другие.
00:09:38 Подводные камни парсинга
• Защита сайтов от парсинга, капчи и другие сложности.
• Парсинг не дешев, но обеспечивает качество данных.
00:10:38 Архитектура парсера
• Парсер пишется с чистого листа, без шаблонов и решений.
• Поддержка парсера осуществляется командой программистов, которые адаптируются к новым задачам и изменениям на сайтах.
00:11:18 Хранение и выгрузка данных
• Парсеры собирают данные, выгружают их на облако, где клиенты могут забрать их вручную или через API.
• Парсеры не хранят данные, так как это физически невозможно для тысяч сайтов в день.
00:12:54 Оценка качества работы и блокировка ботов
• Отчеты о работе парсеров приходят на почту, команда поддержки следит за количеством собираемых данных.
• Парсеры обходят блокировки ботов, используя прокси-серверы.
00:13:50 Автоматизация и обучение
• Парсеры автоматизируют мониторинг цен и сбор контента, но не занимаются аналитикой или оценкой правомерности действий.
• Для парсинга достаточно базовых навыков программирования.
00:14:45 Ускорение работы и оптимизация хранения данных
• Парсеры оптимизируют хранение данных, чтобы избежать перегрузки базы данных.
• Обучение парсингу: начать парсить и учиться на практике.
00:18:04 Успешные коммерческие проекты
• Бренд-монитор с выручкой около миллиарда рублей занимается аналитикой тональности и упоминаемости.
• Парсеры продают данные, а не сам парсинг.
00:19:31 Тестирование и языки программирования
• Парсеры тестируют работу парсеров через техническую поддержку и визуальные инструменты.
• Для парсинга подходят языки программирования, такие как Python.
00:22:22 Парсинг и его использование
• Парсинг - это сбор данных с сайтов, не считается незаконным, если не нарушает авторские права.
• Парсинг может быть использован для анализа данных и создания продуктов на их основе.
00:24:12 Выбор прокси и задачи парсинга
• Используются мобильные прокси для обхода защиты сайтов.
• Задачи парсинга связаны с топовыми ресурсами в каждой сфере (маркетплейсы, строительные магазины, автомобильные сайты).
00:25:24 Потенциал парсинга для бизнеса
• Парсинг может приносить регулярный доход для бизнеса.
• Важно получать регулярные платежи от клиентов.
00:26:53 Рекомендации по парсингу
• Не пытайтесь решать задачи за клиента, пусть клиент приходит к вам.
• Используйте библиотеки для упрощения парсинга, но не делайте его ключевым моментом.
• Важно не навредить сайту при парсинге и не нарушать авторские права.
00:29:47 Защита парсера от блокировки
• Обходить защиту сайта и не нарушать авторские права.
• Не давать гарантий на качество парсинга.
00:33:26 Правовые претензии и парсинг
• Автор рассказывает о том, как компания столкнулась с правовыми претензиями из-за использования товарного знака "Эльдорадо" на своем сайте.
• Он решил проблему, просто изменив название на "Парсинг Эльдорадо".
00:34:28 Книги для парсинга и обучение
• Автор утверждает, что для обучения парсингу достаточно использовать готовые библиотеки и начать парсить сайты.
• Он также отмечает, что в индустрии парсинга растет конкуренция, но объем рынка остается колоссальным.
00:35:27 Будущее парсинга
• Автор считает, что парсинг будет востребован в различных отраслях, и его навыки будут востребованы.
• Он также упоминает о необходимости нанимать команду программистов и поддерживать серверы для выполнения заказов на парсинг.
00:36:19 Заключение
• Автор считает парсинг вечной темой и надеется, что она не станет вне закона в России.
• Он также отмечает, что зарубежные заказчики продолжают обращаться к его компании, несмотря на ограничения в их странах.
Наши проекты:
Защита от скликивания рекламы clickfraud.ru
Мониторинг цен конкурентов xmldatafeed.com/
Разработка мобильных приложений notissimus.com/
Мне можно писать вопросы здесь: t.me/maximkulgin
16 июл 2024
