Новаком
Главная/Услуги/ETL-разработка
УСЛУГА · ETL · DATA ENGINEERING

Разработка ETL-пайплайнов
и data-платформ

Разработка ETL-пайплайнов — сбор, трансформация, загрузка данных из любых источников. Airflow, dbt, Kafka, Python. От 800 000 ₽, MVP за 4 недели. Замена ручных выгрузок из 1С, Excel и API.

Обсудить данные →Telegram
25+
ETL-систем
↓90 %
ручной работы
50+
источников данных
4 нед.
MVP пайплайна
ЧТО ДЕЛАЕМ

Данные под контролем.

01

ETL/ELT-пайплайны

Airflow, Prefect, Dagster: расписание, мониторинг, retry, алерты. Источники: API, БД, файлы, 1С, маркетплейсы. Целевое хранилище: DWH, ClickHouse, BigQuery.

02

Data Warehouse

Проектирование хранилища: star schema, dimensional modeling, SCD. dbt для трансформаций. Версионирование SQL, тесты, документация.

03

Real-time стриминг

Kafka Connect, Kafka Streams, Flink. CDC (Change Data Capture) из PostgreSQL/MySQL. Обработка событий в реальном времени.

04

BI и отчётность

Подключение Metabase, Superset, Grafana к вашему DWH. Дашборды, отчёты, алерты. Замена ручных Excel-отчётов.

СТЕК · DATA

Технологии.

PythonApache AirflowdbtKafkaKafka ConnectPostgreSQLClickHouseRedisMetabaseApache SupersetDockerKubernetesYandex Cloud
ПРОЦЕСС

4 этапа.

  1. 01

    Аудит данных

    Инвентаризация источников, форматов, объёмов. Карта данных, требования к SLA. 3-5 дней.

  2. 02

    MVP пайплайна — 4 недели

    Первый ETL: самый ценный источник → DWH → дашборд. Airflow + dbt + Metabase. Работает в проде.

  3. 03

    Расширение источников

    Подключаем остальные источники: API, 1С, файлы, CDC. Каждый источник — отдельный DAG.

  4. 04

    Мониторинг и SLA

    Алерты при сбоях, data quality checks, lineage. SLA на свежесть данных: 5 мин, 1 час, 1 день.

ТАРИФЫ

Стоимость.

MVP

от 800 000 ₽
4-6 недель
  • →1-3 источника
  • →Airflow + dbt
  • →1 дашборд
  • →Docker
Обсудить →
ПОПУЛЯРНОЕ

Data Platform

от 2 500 000 ₽
2-4 месяца
  • →10+ источников
  • →DWH (ClickHouse)
  • →Real-time (Kafka)
  • →BI (Metabase/Superset)
  • →SLA 3 месяца
Обсудить →

Enterprise

от 5 000 000 ₽
4-8 месяцев
  • →Все модули +
  • →Data Governance
  • →CDC стриминг
  • →Multi-tenant
  • →24/7 поддержка
Обсудить →
FAQ

Вопросы.

Ручная выгрузка: 2-4 часа/день, ошибки, задержки. ETL: автоматически, по расписанию, с проверкой качества. Окупается за 1-2 месяца за счёт экономии времени аналитиков.

Любые: REST API (маркетплейсы, CRM, рекламные кабинеты), базы данных (PostgreSQL, MySQL, MongoDB, Oracle), файлы (CSV, Excel, XML), 1С, Google Sheets, S3. Пишем кастомные коннекторы.

Airflow — стандарт индустрии, максимальная гибкость. Prefect — проще для небольших проектов. Dagster — если нужен data lineage из коробки. Подберём под ваш масштаб.

MVP (1-3 источника, дашборд) — от 800 000 ₽ за 4-6 недель. Data Platform (10+ источников, DWH, BI) — от 2 500 000 ₽. Enterprise — от 5 000 000 ₽.

НАЧАТЬ

Данные в хаосе?

Расскажите, откуда и куда нужно гонять данные — предложим архитектуру за 3 дня.

Обсудить данные →Telegram · WhatsApp
50+источников
3 дняпредложение
NDAсразу
↓90 %ручной работы