«Норникель» совместно с интегратором GlowByte внедрил корпоративную платформу машинного обучения (ML) на базе программного обеспечения Kolmogorov российского разработчика Data Sapience. Платформа объединила инструменты для создания и эксплуатации ML-моделей, упростила управление жизненным циклом AI/ML-решений и повысила эффективность работы команд Data Science.
Платформа интегрирована с корпоративной системой «Озеро данных» и системой DevSecOps (корпоративный репозиторий). В основе архитектуры — кластер Kubernetes, который позволяет гибко масштабировать модели и приложения в зависимости от нагрузки. В платформу также включены инструменты для работы с моделями: JupyterLab для разработки, MLFlow для управления экспериментами, AirFlow для оркестрации процессов и Grafana для мониторинга. ПО Kolmogorov связывает все компоненты в единую экосистему, что повышает производительность и эффективность работы команд.
«Норникель с 2018 года последовательно внедряет технологии искусственного интеллекта в производственные и бизнес-процессы. Рост объема применения требует нового уровня управления ИИ-решениями и повышения эффективности работы разработчиков моделей. Объединение инструментов работы с данными в единую экосистему с использованием Kolmogorov позволяет нам не только оптимизировать процессы, но и открывает новые возможности для развития бизнеса через инновационное использование данных», — сообщил руководитель по направлению «Бизнес-приложения» департамента информационных технологий «Норникеля» Алексей Манихин.
ПО Kolmogorov обеспечивает единый интуитивно понятный интерфейс для работы с моделями машинного обучения. Платформа позволяет запускать среды разработки, контролировать состояние моделей и процессы внедрения, управлять пайплайнами CI/CD и получать сводные данные о всех запущенных проектах.
«Kolmogorov объединяет популярные открытые технологии для машинного обучения в единой системе. Это позволяет разработчикам сосредоточиться на создании моделей, не отвлекаясь на технические сложности интеграции инструментов. Такой подход обеспечивает баланс между готовым промышленным решением и гибкостью настройки под задачи бизнеса», — отметил управляющий директор GlowByte Евгений Лисицин.
В рамках дальнейшего развития проекта планируется создать отдельный тестовый контур ML-платформы и интегрировать его в общий процесс MLOps. Также запланирована миграция существующих моделей машинного обучения, включая модели для временных рядов, компьютерного зрения, обработки естественного языка и крупных языковых моделей (LLM).