Tantor PipelineDB
Tantor PipelineDB расширяет PostgreSQL средствами непрерывной обработки временных рядов. Заранее определённые SQL-запросы преобразуют входящий поток, а результаты накапливаются без периодического полного пересчёта истории.
«Лаборатория безопасности» является официальным партнёром вендора «Тантор Лабс» и готова осуществить поставку и внедрение продукта «Tantor PipelineDB».
Агрегация событий по мере поступления
Продукт рассчитан на потоковую аналитику, в которой требуемые показатели и SQL-вычисления известны заранее. Вместо сохранения каждой исходной записи для будущего полного пересчёта система поддерживает подготовленные результаты. Этот подход подходит для счётчиков, сводок и других заранее спроектированных метрик.
PipelineDB является расширением для Tantor и PostgreSQL, а не отдельным универсальным хранилищем любых данных. Существующие SQL-инструменты и реляционные таблицы остаются частью среды. Поток можно сопоставлять с историческим контекстом, например связывать текущие события с уже известными объектами или атрибутами.
Что можно вычислять на потоке
Непрерывные агрегаты
Поддерживать суммы, количества и группировки без запуска нового запроса на всю историю после каждого поступления событий.
Связь с таблицами
Дополнять входящий поток контекстом реляционных таблиц и использовать его в непрерывной обработке.
Временные окна
Строить метрики по последним минутам, часам или другому заданному интервалу.
Приближённые показатели
Использовать вероятностные алгоритмы для частот, уникальных значений и распределений при ограниченных ресурсах.
Непрерывное представление вместо периодического пересчёта
В руководстве continuous view описывается через запрос к потоку и сохраняемое состояние результата. Рабочие процессы обрабатывают входные микропакеты; комбинирующие процессы объединяют промежуточные данные с сохранёнными агрегатами. Для пользователя это реляционный результат, который можно читать обычными запросами.
Срок жизни результатов допускает управление через TTL. При необходимости поддерживается автоматическое секционирование представления по времени. Эти механизмы помогают ограничивать сохраняемый набор, но их параметры должны соответствовать длительности анализа и требуемой глубине истории.
Скользящие окна и приближённая аналитика
Для скользящего окна задаётся длительность интервала. При чтении система исключает из результата данные, которые уже вышли за его границы; сохранённое состояние также очищается. Такой запрос отвечает на вопрос о недавнем периоде, а не о всём времени работы приложения.
Вероятностные структуры позволяют выбирать компромисс между ресурсами и точностью. HyperLogLog предназначен для оценки числа уникальных значений, t-digest — для распределений и процентилей, а алгоритмы частотного анализа помогают находить наиболее распространённые элементы. Это оценки со своими свойствами, а не точные значения любых вычислений.
Подходящие задачи и границы применения
Характерные сценарии — посещаемость и рекламные события, частотные показатели, сетевой трафик и процентили задержки. Основное условие — заранее известная логика вычислений, выражаемая средствами SQL. Полученные агрегаты можно исследовать дополнительными запросами.
Если исходные события после обработки не сохранялись отдельно, произвольно пересчитать по ним новую метрику задним числом нельзя. Поэтому PipelineDB не подменяет ad-hoc-хранилище истории. Когда бизнесу необходим повторный анализ сырых записей, для них нужен самостоятельный контур хранения наряду с непрерывными агрегатами.
Подбор и внедрение
Нужны формат и скорость потока, набор агрегатов, интервалы, точность и требования к исходной истории. Проверим поддерживаемую версию СУБД.
На пилоте проверяем типовые запросы, интеграции, расширения и поведение системы под рабочей нагрузкой. Для переноса данных согласуем объём, допустимый простой и способ возврата к исходной конфигурации. Отдельно проверяем восстановление из резервной копии и порядок установки обновлений.
Лицензирование и стоимость Tantor PipelineDB
Условия использования расширения, его совместимость и необходимость коммерческого сопровождения согласуются для выбранной версии Tantor или PostgreSQL. Стоимость поддержки и внедрения — по запросу.
Стоимость — по запросу
Окончательные условия поставки согласуются в коммерческом предложении. Работы по внедрению, миграции, настройке и сопровождению рассчитываются отдельно от лицензий.
Другие продукты вендора в этом разделе
Описание подготовлено по официальным материалам разработчика: Продукт · Дополнительные сведения. Возможности и условия поставки уточняются для выбранной версии.
Другие направления каталога для комплексного проекта: Резервное копирование · Системы виртуализации. Совместимость выбранных решений проверяется при подборе конфигурации.
Подберём решение под вашу задачу
Уточним требования к инфраструктуре, состав лицензий, необходимый уровень поддержки и работы по внедрению. Согласуем проверку совместимости, этапы перехода и дальнейшее сопровождение. Работаем с организациями по всей России.
Запросить предложениеДля государственных и корпоративных заказчиков
Работаем с заказчиками по 44-ФЗ, 223-ФЗ и 275-ФЗ, а также с корпоративными заказчиками. Участвуем в закупочных процедурах любой степени сложности.
Готовим всю необходимую документацию для осуществления закупки, включая технические задания, коммерческие предложения и анализ рынка.