Март 2025 — ECOM CONNECTOR

Часть 1: Установка через Docker Compose

Apache Superset с PostgreSQL

docker-compose-superset.yml:

version: '3.7'
services:
  postgres:
    image: postgres:14
    environment:
      POSTGRES_USER: superset
      POSTGRES_PASSWORD: superset_pass
      POSTGRES_DB: superset
    volumes:
      - postgres_data:/var/lib/postgresql/data

  superset:
    image: apache/superset:2.1.0
    ports:
      - "8088:8088"
    depends_on:
      - postgres
    environment:
      SUPERSET_SECRET_KEY: 'your-secret-key-123'
      SUPERSET_DB_HOST: postgres
      SUPERSET_DB_USER: superset
      SUPERSET_DB_PASSWORD: superset_pass
      SUPERSET_DB_NAME: superset
    command: ["/app/docker/docker-init.sh"]

volumes:
  postgres_data:

Запуск:

docker-compose -f docker-compose-superset.yml up -d
docker exec -it superset superset-init

Metabase с MySQL

docker-compose-metabase.yml:

version: '3.7'
services:
  mysql:
    image: mysql:8.0
    environment:
      MYSQL_ROOT_PASSWORD: root_pass
      MYSQL_DATABASE: metabase
      MYSQL_USER: metabase
      MYSQL_PASSWORD: metabase_pass

  metabase:
    image: metabase/metabase:v0.46.4
    ports:
      - "3000:3000"
    depends_on:
      - mysql
    environment:
      MB_DB_TYPE: mysql
      MB_DB_DBNAME: metabase
      MB_DB_PORT: 3306
      MB_DB_USER: metabase
      MB_DB_PASS: metabase_pass
      MB_DB_HOST: mysql

Запуск:

docker-compose -f docker-compose-metabase.yml up -d

Часть 2: Интеграция с источниками данных

Подключение PostgreSQL к Superset

1. Откройте http://localhost:8088
2. Sources → Databases → + Database
3. SQLAlchemy URI: postgresql://superset:superset_pass@postgres:5432/superset
4. Test Connection → Save

Пример подключения ClickHouse к Metabase

docker run -d -p 3000:3000 \
-e MB_DB_TYPE=clickhouse \
-e MB_DB_HOST=your-clickhouse-host \
-e MB_DB_PORT=8123 \
-e MB_DB_DBNAME=default \
metabase/metabase

Часть 3: Создание дашбордов

Пример 1: Анализ продаж в Superset

1. Создайте SQL Lab запрос:

   SELECT 
       date_trunc('month', order_date) AS month,
       SUM(amount) AS total_sales,
       COUNT(DISTINCT customer_id) AS unique_customers
   FROM orders
   GROUP BY 1

2. Сохраните как Dataset
3. Создайте визуализацию: Line Chart
4. Настройки:
   • Time Column: month
   • Metrics: SUM(total_sales)

Пример 2: Когортный анализ в Metabase

1. New Question → Native Query
2. Введите SQL:

   WITH cohorts AS (
     SELECT 
         user_id,
         DATE_TRUNC('month', MIN(created_at)) AS cohort_month
     FROM users
     GROUP BY 1
   )
   
   SELECT 
       cohort_month,
       COUNT(DISTINCT u.user_id) AS total_users,
       COUNT(DISTINCT CASE WHEN DATE_TRUNC('month', o.created_at) = cohort_month THEN u.user_id END) AS month_0,
       COUNT(DISTINCT CASE WHEN DATE_TRUNC('month', o.created_at) = cohort_month + INTERVAL '1 month' THEN u.user_id END) AS month_1
   FROM cohorts c
   JOIN orders o ON c.user_id = o.user_id
   GROUP BY 1

3. Визуализация: Cohort Analysis

Часть 4: Продвинутые настройки

Настройка аутентификации

Superset (config.py):

from flask_appbuilder.security.manager import AUTH_OAUTH
AUTH_TYPE = AUTH_OAUTH
OAUTH_PROVIDERS = [
    {
        'name': 'google',
        'token_key': 'access_token',
        'icon': 'fa-google',
        'remote_app': {
            'client_id': 'YOUR_CLIENT_ID',
            'client_secret': 'YOUR_SECRET',
            'api_base_url': 'https://www.googleapis.com/oauth2/v2/',
            'client_kwargs': {'scope': 'email profile'},
            'request_token_url': None,
            'access_token_url': 'https://accounts.google.com/o/oauth2/token',
            'authorize_url': 'https://accounts.google.com/o/oauth2/auth'
        }
    }
]

Настройка кэширования в Metabase

# docker-compose метаданные
environment:
  MB_DB_CACHE_TTL: 1200 # 20 минут
  MB_QUERY_CACHING_TTL_MIN: 60
  MB_QUERY_CACHING_MAX_KB: 10000

Часть 5: Оптимизация производительности

• Для Superset:

  docker run -d \
  -e SUPERSET_WORKERS=4 \
  -e SUPERSET_CELERY_WORKERS=2 \
  -p 8088:8088 \
  apache/superset

• Для Metabase:

  docker run -d \
  -e JAVA_TOOL_OPTIONS="-Xmx4G -Xms2G" \
  -p 3000:3000 \
  metabase/metabase

Часть 6: Мониторинг и бэкапы

Мониторинг через Prometheus

Добавьте в docker-compose-superset.yml:

superset:
  environment:
    SUPERSET_FEATURE_FLAGS:
      'ENABLE_PROMETHEUS_EXPORTER': True
    PROMETHEUS_EXPORTER_PORT: 8089

Бэкап метаданных Metabase

docker exec -it metabase pg_dump -U metabase -d metabase > metabase_backup.sql

Часть 7: Рекомендации для Production

1. Используйте отдельный сервер для БД
2. Настройте HTTPS через Nginx
3. Регулярно обновляйте версии Docker-образов
4. Включите мониторинг ресурсов
5. Используйте снэпшоты для резервного копирования

Заключение

Оба инструмента позволяют построить полноценную BI-инфраструктуру. Для сложной аналитики выбирайте Apache Superset, для быстрого старта — Metabase. Развертывайте решения на облачных серверах Reg.ru для максимальной производительности.

Введение в open-source BI-инструменты

В эпоху big data визуализация и анализ информации стали критически важными. Среди open-source решений выделяются два лидера: Apache Superset и Metabase. Оба инструмента позволяют:

• Создавать интерактивные дашборды
• Выполнять SQL-запросы
• Интегрироваться с популярными БД
• Настраивать доступ для команд

Ключевые особенности

Apache Superset

• Поддержка 50+ типов визуализаций
• Встроенный SQL-редактор с автодополнением
• Интеграция с Druid, BigQuery, Snowflake
• Расширяемость через плагины

Metabase

• Простой интерфейс для нетехнических пользователей
• Визуальный конструктор запросов
• Встроенная аналитика (когортный анализ, трекнинг метрик)
• Бесплатная облачная версия

Сравнение возможностей

Критерий	Apache Superset	Metabase
Поддержка БД	40+ коннекторов	20+ коннекторов
Кастомизация	Высокая (CSS, JS)	Ограниченная
Сложность	Требует знания SQL	Low-code подход

Развертывание через Docker

Apache Superset

docker pull apache/superset
docker run -d -p 8088:8088 --name superset apache/superset
docker exec -it superset superset-init

Metabase

docker run -d -p 3000:3000 --name metabase metabase/metabase

Интеграции и экосистема

• Superset: Airflow, Redash, dbt
• Metabase: Slack, Google Analytics, Salesforce

Производительность и масштабируемость

Оба инструмента поддерживают горизонтальное масштабирование. Для высоких нагрузок рекомендуется использовать облачные серверы, например:

• Высокочастотные VPS для Superset
• Предустановленные приложения для быстрого старта

Что выбрать?

• Superset — для сложной аналитики и кастомизации
• Metabase — для быстрого старта и команд без технического бэкграунда

Рекомендации по развертыванию

1. Используйте отдельные серверы для БД и BI-инструментов
2. Настройте регулярные бэкапы метаданных
3. Ограничьте доступ по IP-адресам
4. Мониторьте потребление ресурсов через встроенные дашборды

Заключение

И Apache Superset, и Metabase предлагают уникальные возможности для анализа данных. Выбор зависит от технической экспертизы команды и требований к функционалу. Для enterprise-решений рекомендуем использовать мощные облачные серверы Reg.ru, которые обеспечат стабильную работу ваших BI-инструментов.

В современной разработке программного обеспечения контейнеризация стала стандартом де-факто. Docker и Docker Compose позволяют быстро развертывать сложные системы, включая базы данных, с минимальными затратами времени и ресурсов. В этой статье мы подробно рассмотрим, как развернуть PostgreSQL и pgAdmin с помощью этих инструментов.

Что такое Docker и Docker Compose?

Docker — это платформа для разработки, доставки и запуска приложений в контейнерах. Контейнеры позволяют упаковать приложение со всеми его зависимостями в стандартизированный блок, который может работать на любой системе с Docker.

Docker Compose — это инструмент для определения и запуска многоконтейнерных приложений Docker. С помощью YAML-файла вы можете настроить все сервисы вашего приложения и запустить их одной командой.

Преимущества использования Docker для PostgreSQL

• Быстрое развертывание: Запуск PostgreSQL в контейнере занимает секунды
• Изоляция: База данных работает в собственном окружении, не влияя на хост-систему
• Переносимость: Контейнер можно запустить на любой системе с Docker
• Масштабируемость: Легко добавить реплики или кластер
• Управление версиями: Можно быстро переключаться между разными версиями PostgreSQL

Установка Docker и Docker Compose

Перед началом работы убедитесь, что на вашей системе установлены Docker и Docker Compose.

Установка на Linux (Ubuntu/Debian)

# Обновляем пакеты
sudo apt update

# Устанавливаем необходимые зависимости
sudo apt install -y apt-transport-https ca-certificates curl software-properties-common

# Добавляем официальный GPG-ключ Docker
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg

# Добавляем репозиторий Docker
echo "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

# Устанавливаем Docker
sudo apt update
sudo apt install -y docker-ce docker-ce-cli containerd.io

# Проверяем установку
sudo docker --version

# Устанавливаем Docker Compose
sudo curl -L "https://github.com/docker/compose/releases/download/v2.20.3/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
sudo chmod +x /usr/local/bin/docker-compose
docker-compose --version

# Добавляем текущего пользователя в группу docker
sudo usermod -aG docker $USER
newgrp docker

Установка на Windows/macOS

Для Windows и macOS рекомендуется установить Docker Desktop, который включает в себя и Docker, и Docker Compose.

Развертывание PostgreSQL с помощью Docker

Самый простой способ запустить PostgreSQL в Docker — использовать официальный образ с Docker Hub.

Запуск PostgreSQL одной командой

docker run --name my-postgres \
-e POSTGRES_PASSWORD=mysecretpassword \
-e POSTGRES_USER=myuser \
-e POSTGRES_DB=mydatabase \
-p 5432:5432 \
-d postgres:15

Разберем параметры:

• --name my-postgres — имя контейнера
• -e POSTGRES_PASSWORD=... — пароль для суперпользователя
• -e POSTGRES_USER=... — имя пользователя (если не указать, будет использоваться postgres)
• -e POSTGRES_DB=... — имя базы данных (если не указать, будет создана база с именем пользователя)
• -p 5432:5432 — проброс порта (хост:контейнер)
• -d — запуск в фоновом режиме
• postgres:15 — имя образа и версия PostgreSQL

Проверка работы PostgreSQL

Убедимся, что контейнер запущен:

docker ps

Подключимся к контейнеру и проверим базу данных:

docker exec -it my-postgres psql -U myuser -d mydatabase

В интерактивной консоли PostgreSQL можно выполнить:

\l   -- список баз данных
\dt  -- список таблиц
\q   -- выход

Развертывание pgAdmin с помощью Docker

pgAdmin — это популярная веб-админстративная панель для PostgreSQL. Запустим её также в Docker:

docker run --name my-pgadmin \
-e PGADMIN_DEFAULT_EMAIL=admin@example.com \
-e PGADMIN_DEFAULT_PASSWORD=secret \
-p 8080:80 \
-d dpage/pgadmin4

Параметры:

• PGADMIN_DEFAULT_EMAIL — email для входа
• PGADMIN_DEFAULT_PASSWORD — пароль
• -p 8080:80 — проброс порта (на хосте 8080, в контейнере 80)

После запуска pgAdmin будет доступен по адресу http://localhost:8080.

Использование Docker Compose для совместного развертывания

Для управления несколькими контейнерами удобнее использовать Docker Compose. Создадим файл docker-compose.yml:

version: '3.8'

services:
  postgres:
    image: postgres:15
    container_name: my-postgres
    environment:
      POSTGRES_USER: myuser
      POSTGRES_PASSWORD: mysecretpassword
      POSTGRES_DB: mydatabase
    volumes:
      - postgres_data:/var/lib/postgresql/data
    ports:
      - "5432:5432"
    networks:
      - postgres-network
    restart: unless-stopped

  pgadmin:
    image: dpage/pgadmin4
    container_name: my-pgadmin
    environment:
      PGADMIN_DEFAULT_EMAIL: admin@example.com
      PGADMIN_DEFAULT_PASSWORD: secret
    ports:
      - "8080:80"
    networks:
      - postgres-network
    restart: unless-stopped
    depends_on:
      - postgres

volumes:
  postgres_data:

networks:
  postgres-network:
    driver: bridge

Разберем ключевые моменты:

• volumes — создает постоянное хранилище для данных PostgreSQL
• networks — создает сеть, в которой контейнеры могут общаться друг с другом
• restart: unless-stopped — автоматический перезапуск при падении
• depends_on — pgAdmin запустится только после PostgreSQL

Запуск и управление

Для запуска всех сервисов выполните:

docker-compose up -d

Для остановки:

docker-compose down

Если вы хотите сохранить данные PostgreSQL, используйте:

docker-compose down --volumes

Настройка pgAdmin для работы с PostgreSQL

После запуска контейнеров:

1. Откройте pgAdmin по адресу http://localhost:8080
2. Войдите с email и паролем, указанными в docker-compose.yml
3. Щелкните правой кнопкой на "Servers" → "Register" → "Server"
4. Введите имя сервера (например, "My PostgreSQL")
5. На вкладке "Connection" укажите:
   • Host name/address: postgres (имя сервиса из docker-compose)
   • Port: 5432
   • Maintenance database: mydatabase
   • Username: myuser
   • Password: mysecretpassword
6. Нажмите "Save"

Перенос проекта на облачный сервер

Когда ваше приложение готово к развертыванию в production, вы можете перенести его на облачный сервер. Облачные серверы Reg.ru — отличное решение для хостинга ваших Docker-приложений.

Почему стоит выбрать Reg.ru?

• Высокая производительность SSD-дисков
• Гибкая система тарификации
• Простое управление через веб-интерфейс
• Быстрое развертывание серверов
• Техническая поддержка 24/7

Развертывание на облачном сервере

После заказа сервера выполните следующие шаги:

1. Подключитесь к серверу по SSH
2. Установите Docker и Docker Compose (инструкции выше)
3. Скопируйте ваш docker-compose.yml на сервер
4. Запустите сервисы командой docker-compose up -d
5. Настройте фаерволл (если нужно):

   sudo ufw allow 5432/tcp  # PostgreSQL
   sudo ufw allow 8080/tcp  # pgAdmin
   sudo ufw enable

Резервное копирование и восстановление данных

При работе с Docker важно правильно организовать резервное копирование данных PostgreSQL.

Создание резервной копии

docker exec -t my-postgres pg_dump -U myuser -d mydatabase > backup.sql

Восстановление из резервной копии

cat backup.sql | docker exec -i my-postgres psql -U myuser -d mydatabase

Автоматическое резервное копирование

Можно настроить cron-задачу для регулярного создания резервных копий:

0 3 * * * docker exec -t my-postgres pg_dump -U myuser -d mydatabase > /backups/mydatabase_$(date +\%Y-\%m-\%d).sql

Оптимизация производительности

Для production-среды рекомендуется настроить параметры PostgreSQL:

services:
  postgres:
    ...
    environment:
      ...
      POSTGRES_USER: myuser
      POSTGRES_PASSWORD: mysecretpassword
      POSTGRES_DB: mydatabase
      POSTGRES_INITDB_ARGS: "--encoding=UTF-8 --locale=C --lc-collate=C"
      PGDATA: /var/lib/postgresql/data/pgdata
      POSTGRES_HOST_AUTH_METHOD: md5
    command: >
      postgres -c shared_buffers=256MB
               -c max_connections=100
               -c effective_cache_size=768MB
               -c work_mem=6553kB
               -c maintenance_work_mem=64MB
    ...

Безопасность

При развертывании в production учитывайте следующие меры безопасности:

• Используйте сложные пароли
• Не открывайте порт 5432 для внешнего мира без необходимости
• Ограничьте доступ к pgAdmin по IP или используйте VPN
• Регулярно обновляйте образы Docker
• Настройте бэкапы

Заключение

Docker и Docker Compose предоставляют мощные инструменты для быстрого развертывания PostgreSQL и pgAdmin. Этот подход особенно полезен для разработки, тестирования и даже production-сред, когда важны скорость развертывания и воспроизводимость окружения.

Для production-развертывания рассмотрите возможность использования облачных серверов, таких как облачные решения Reg.ru, которые обеспечивают высокую доступность и производительность.