Репозиторий ScrapeGraphAI и пошаговая установка для сбора лидов

ScrapeGraphAI — это открытый инструмент на базе нейросетей, который считывает веб-страницы и извлекает контакты клиентов в готовую таблицу. Инструкция предназначена для предпринимателей, маркетологов и отделов продаж, которым необходима актуальная база лидов без ручной рутины и платных сервисов.

1. Получение кода и выбор моделей

1. Перейди в официальный репозиторий проекта на GitHub.
2. На странице репозитория увидишь зеленую кнопку Code — отсюда скопируй URL или исходные файлы.
3. Выбери способ работы нейросети:

• Бесплатный локальный запуск: установи Ollama для обработки данных прямо на своем компьютере без сторонних API.
• Запуск через API: используй API-ключи OpenAI, Anthropic или DeepSeek, если хочешь обрабатывать большие объемы страниц с минимальной нагрузкой на ПК.

2. Установка библиотеки и веб-драйвера

1. Открой терминал (Terminal в macOS/Linux или Командную строку / PowerShell в Windows).
2. Введи команды для установки библиотеки ScrapeGraphAI и системного браузера Playwright:

pip install scrapegraphai
playwright install

1. В окне терминала отобразится статус загрузки зависимостей, а в конце — подтверждение успешной установки Successfully installed scrapegraphai.

3. Настройка и запуск сценария парсинга

1. Создай новый текстовый файл scraper.py в любой удобной директории.
2. Вставь в него шаблон скрипта, который находит нужных контрагентов и сохраняет их в CSV-файл:

import json
import pandas as pd
from scrapegraphai.graphs import SmartScraperGraph

# Настройки для бесплатной локальной модели Ollama
graph_config = {
    "llm": {
        "model": "ollama/llama3.2",
        "temperature": 0,
        "base_url": "http://localhost:11434",
    },
    "verbose": True,
}

# Вариант с API-ключом (раскомментируй при необходимости):
# graph_config = {
#     "llm": {
#         "api_key": "твой_api_key",
#         "model": "gpt-4o-mini",
#     }
# }

# Задача для нейросети и целевой сайт
prompt = "Извлеки название компании, сферу деятельности, имя владельца, телефон и e-mail. Верни результаты в виде списка объектов."
target_url = "https://example-directory.com/companies"

scraper = SmartScraperGraph(
    prompt=prompt,
    source=target_url,
    config=graph_config
)

# Запуск парсинга
result = scraper.run()

# Экспорт результатов в чистую таблицу
df = pd.DataFrame(result.get("companies", result))
df.to_csv("leads.csv", index=False, encoding="utf-8-sig")
print("Контакты сохранены в файл leads.csv")

1. В терминале выполни команду python scraper.py.
2. В окне начнет отображаться логика обработки страницы, а по завершении работы в твоей папке появится готовый файл leads.csv.

4. Автоматизация ежедневного сбора

1. Открой планировщик задач на своем компьютере (crontab -e для Linux/macOS или Планировщик задач в Windows).
2. Настрой расписание, чтобы скрипт запускался каждое утро без твоего участия:

0 7 * * * /usr/bin/python3 /path/to/scraper.py

1. В 7:00 утра скрипт будет самостоятельно сканировать источники и добавлять свежие контакты в базу.

Лимиты и нюансы

• Затраты: Сам код библиотеки полностью бесплатен. При использовании Ollama расходы равны $0. При подключении внешних API стоимость составит от $0.001 до $0.01 за одну выгруженную страницу, что значительно дешевле коммерческих облачных парсеров.
• Требования к ПК: Для работы локальных моделей требуется от 8 до 16 ГБ оперативной памяти. Если компьютер не справляется с нагрузкой, надежнее переключить конфигурацию на API.
• Защита сайтов: Каталоги с жесткой антибот-защитой (Cloudflare, капчи) могут блокировать запросы. Для таких ресурсов понадобятся ротируемые прокси.
• Форматирование: Модели иногда вышибает из схемы, если на странице нет запрошенных данных. Чтобы избежать пустых строк, четко прописывай структуру промпта или передавай JSON-схему.

Что дальше

Автоматический парсинг лидов — это базовый элемент системного отдела продаж. Когда собранные контакты автоматически обогащаются данными, квалифицируются нейросетью и попадают в CRM-систему, команда занимается только первыми касаниями и закрытием сделок.

Если ты хочешь спроектировать и внедрить полноценную ИИ-систему под процессы своего бизнеса, напиши в директ @ii.systema слово система. Подскажем оптимальную архитектуру и поможем с реализацией.