18. Разработка информационной системы для обработки заявок пользователей.

В модулях с постфиксом api содержатся интерфейсы прецендентов приложения (Use Cases) и классы специальных исключений, относящиеся к специфике модуля. Также для данных модулей существует строгое правило, при котором они не могут иметь никаких зависимостей кроме стандартной библиотеки языка.Модули, ассоциированные со своим api модулем, имеют реализации интерфейсов прецедентов, которые посредством Dependency Injection передаются в зависимые части приложения. Данная инверсия управления позволяет быть зависимым только от api модулей, не содержащих сторонних библиотек, и общаться при помощи интерфейсов, чьи реализации могут быть изменены без внесений изменений в код зависимостей. Также они содержат репозитории, через которые с помощью баз данных происходит сохранение и загрузка состояния бизнес-сущностей, и контроллеры, отвечающие за взаимодействие сервера с UI.Модуль app отвечает за запуск и конфигурирование приложения, за единые правиласериализации / десериализацииJSON объектов, форматов дат и времени, а также агрегирует все модули приложения и предоставляет единый DI-контейнер.Данное правило прослеживается на графе зависимостей модулей проекта (рисунок 17).connroncrorcronoroorocnonornrconnron_cr_orcron__oro_oro__cn_onorn_non__nРисунок 17. Зависимости между модулями проекта3.3Средства реализацииСогласно архитектуре (пункт 3.2) приложение и используемые им технологии можно разделить на 3 главных уровня (рисунок 18).Рисунок 18. Clean Architecture Layers [12]Вся бизнес-логика в Domain Layer написана на языке Kotlin 1.3.Presentation Layer реализован на языкеJavaScriptс помощью фреймворкаVue [13]и егокомпонентов:Vuex используется для хранения и изменения состояния сессии и общего состояния между компонентами.Vue Router используется для навигации пользователя между компонентами и проверки доступа к компоненту по состоянию сессии.Vuetify предоставляет Material Design компоненты для построения UI, динамическоеуправление разметкой, единую палитру цветов и вспомогательные CSS-стиликачестве HTTP клиента используется библиотека axios [14], а для общения с сервером по протоколу STOMP используется библиотека STOMP.js [15] через имплементацию WebSocketбиблиотеки SockJS [16].Граф зависимостей задач построен с помощью библиотеки визуализации d3.js [17] и расширением для отрисовки графов dagre-d3 [18]. Графики визуализируются с помощью библиотеки Plotly.js [19].Data Layer реализован с помощью фреймворкаSpring Boot 2.6 [20]и его компонентов:Spring Security используется приложением для аутентификации и авторизации совместно с JSON Web Token библиотеки Java JWT [21].Spring Web используется для создания HTTP REST API сервера, форм загрузки файлов в систему и их загрузки из системы.Spring WebSocket используется для хранения STOMP сессий и осуществляет распределение сообщений по топикам.Spring Data совместно с Hibernate ORM [22] используется в имплементациирепозиториев приложения и использует драйверы СУБД PostgreSQL [23] и MongoDBPostgreSQL используется системой для хранения информации о сущностях системы, а MongoDB для хранения файлов и их метаинформации. teamusr workflowteam_usersystem_role workloadtask dependency_marker file file_c unksРисунок 19. Схема таблиц баз данных системыТаблицы file и file_chunks являются элементами данных спецификации для хранения файлов MongoDB GridFS, остальные таблицы являются элементами реляционной базы данных PostgreSQL.3.4Результаты разработкиИзначально в системе имеется пользователь с правами администратора, который регистрирует пользователей команд, с указанием их имени, логина, пароля и ассоциированного пространства Kubernetes с заданной ресурсной квотой (рисунок 20).Рисунок 20. Добавление команды в системуДля администратора доступен просмотр списка команд с дополнительной информацией о конкретной команде в ее карточке, с возможностью редактирования информации и удаления команды (рисунок 21).Рисунок 21. Карточка командыАвторизированные команды в системе могут загружать архивы со скриптами, указывая дополнительную информацию о имени, тэге и доступности скрипта для других команд (рисунок 22).Рисунок 22. Загрузка скрипта в системуКоманда может просматривать доступные ей скрипты в системе, а также применять фильтры и сортировку по нескольким полям (рисунок 23).исунок 23. Фильтрация скриптов в системеДля конкретного скрипта можно посмотреть информацию на карточке, а также загрузитьархив из системы или удалить скрипт (рисунок 24).Рисунок 24. Карточка скриптаПосле загрузки скриптов в систему команда может создавать задачи на их основе, указывая информацию о планируемом запуске, количестве потребляемых ресурсов, а также о сохранении артефактов работы скрипта (рисунок 25).Рисунок 25. Создание задачи в системеКоманда может просматривать список задач в логической группе, а также совершать действия запуска, принудительной остановки, установки задачи на указанное расписание и снятие с расписания (рисунок 26).Рисунок 26. Управление задачами логической группыДля конкретной задачи можно посмотреть ее информацию на карточке, отредактировать информацию и параметры запуска, а также удалить задачу (рисунок 27).Рисунок 27. Карточка задачиВизуализация зависимостей задач логической группы и логики их расчета доступна на странице мониторинга группы в разделе Graph View (рисунок 28).Рисунок 28. Граф зависимостей задач логической группыЦвет вершины графа отображает текущий статус задачи, цвет контура вершины отображает принадлежность задачи к выбранной логической группе, а тип линии ребра обозначает тип зависимости между задачами.Для всех доступных задач команды можно посмотреть список загрузок, с возможностью фильтрации и сортировки по нескольким полям (рисунок 29).Рисунок 29. Фильтрация загрузок в системеДля конкретной загрузки можно посмотреть ее информацию на карточке, с возможностью скачать файл с логами выполнения скрипта, а также артефакт выполненного Jupyter Notebook скрипта (рисунок 30).Рисунок 30. Карточка загрузкиДля анализа времени выполнения задач за определенный интервал времени существуют линейный график времени выполнения задачи на временной последовательности и гистограмма среднего времени выполнения задачи за указанный интервал (рисунок 31).Рисунок 31. Графики времени выполнения задачВизуализация времени работы задач в виде диаграммы Ганта позволяет анализировать продолжительность выполнения задачи и места совпадения работы задач логический группы (рисунок 32).Рисунок 32. Диаграмма ГантаСистема обработки заявок пользователей в целях контроля выполнения и распределения ресурсов Серверной части предоставляет графики использования задачами ресурсов CPU и RAM на временной последовательности для анализа узких мест конкурирования задач за выделяемые им ресурсы, а также для детальной визуализации используемых ресурсов логической группой в конкретный промежуток времени (рисунок 33, рисунок 34).Рисунок 33. Диаграмма использования CPU на временной последовательности Рисунок 34. Диаграмма использования RAM на временной последовательностиДля анализа свободных интервалов времени для размещения новых задач Система обработки заявок пользователей в целях контроля выполнения и распределения ресурсов Серверной части предоставляет графики использования ресурсов CPU и RAM всеми логическими группами команды относительно доступной команде ресурсной квоты, выданной администратором (рисунок 35).Рисунок 35. Использование ресурсов CPU и RAM в командном пространствеЗАКЛЮЧЕНИЕходе работы были изучены современные технологии Docker и Kubernetes, и на их основе была разработана Система обработки заявок пользователей в целях контроля выполнения и распределения ресурсов Серверной части контроля выполнения и распределения ресурсов Серверной части системы на основе заявок пользователей на основе Python-скриптов.Основная функциональность реализована как у аналогичных систем планирования, но решение является более специализированным для автоматизации расчетов Data Science на Python, имея ряд преимуществ в данной сфере:Система обработки заявок пользователей в целях контроля выполнения и распределения ресурсов Серверной части полностью конфигурируется через UI и абстрагирует пользователя от технологий внутри, поэтому не нужно быть специалистом по этим технологиям для пользования системой.Система обработки заявок пользователей в целях контроля выполнения и распределения ресурсов Серверной части разграничивает роли авторизованного пользователя, что служит для совместной, но в тоже время изолированной работы команд, предоставляя функции для управления командными расчетами задач только для ответственной команды, а просмотр и возможность зависимости от их рассчитываемых задач для других команд.Система обработки заявок пользователей в целях контроля выполнения и распределения ресурсов Серверной части предоставляет ограничение ресурсов задач из коробки, работая на развернутой в компании системе Kubernetes, используя ресурсы кластера для расчета задач.Данная работа также представляет технический и научный интерес, так как решение построено на молодой, но быстро развивающейся платформе Kubernetes, на основе которой пока разработано относительно малое число решений. На примере использования возможностей Kubernetes в рамках работы для создания специализированной системы, решающей проблемы автоматизации ETL процессов и расчетов задач в области Data Science, можно найти применение этой технологии для решения задач и проблем в других сферах.Среди дальнейших путей развития системы можно выделить:Поддержку ограничения ресурсов GPU для выполнения задач, так как все большее количество библиотек в области Data Science используют вычислительные ресурсы видеокарт для их расчета.Добавление специальных переменных окружения системы во время расчета задачи, таких как время запуска и условие, послужившее триггером запуска задачи, а также переменных окружения пользователя.Добавление дополнительных условий запуска задач для более гибкого планирования их расчета.СПИСОК ИСПОЛЬЗУЕМОЙ ЛИТЕРАТУРЫОсновная литератураГрекул, В.И. Управление внедрением информационных систем: учебник / В.И. Грекул, Г.Н. Денищенко, Н.Л. Коровкина. – Москва : ИНТУИТ, 2017 ; Саратов : Вузовское образование, 2017. – 224 с. Грекул, В.И. Методические основы управления ИТ-проектами: учебник / В.И. Грекул, Н.Л. Коровкина, Ю.В. Куприянов. – Москва : ИНТУИТ, 2017 ; Саратов : Вузовское образование, 2017. – 392 с. Джестон, Дж. Управление бизнес-процессами: практическое руководство по успешной реализации проектов / Дж. Джестон, Н. Йохан ; пер. с англ. В. Агапова ; науч. ред. В. Тренев. – Москва : Альпина Паблишер, 2016. – 648 с. – (Библиотека Сбербанка).Тихомирова,О.Г. Управление проектами: практикум : учебное пособие / О.Г. Тихомирова. – Москва : ИНФРА-М, 2017. – 273 с. Белый, Е.М. Управление проектами : конспект лекций / Е.М. Белый, И.Б. Романова. – Саратов : Ай Пи Эр Медиа, 2018. – 79 с. Введение в программную инженерию : учебник / В.А. Антипов, А.А. Бубнов, А.Н. Пылькин, В.К. Столчнев. – Москва : КУРС: ИНФРА-М, 2019. – 336 с.Антонов,Г.Д. Управление проектами организации: учебник / Г.Д. Антонов, О.П. Иванова, В.М. Тумин. – Москва : ИНФРА-М, 2018. – 244 с. Царьков,И.Н. Математические модели управления проектами : учебник / И.Н. Царьков. – Москва : ИНФРА-М, 2018. – 514 с. Управление информационными системами: лабораторный практикум / авт.-сост. А.Ю. Орлова. – Ставрополь : СКФУ, 2016. – 138 с. Попов,Ю.И. Управление проектами : учебное пособие / Ю.И. Попов, О.В. Яковенко. – Москва : ИНФРА-М, 2015. – 207 с.Рыбалова, Е.А. Управление проектами : учебно-методическое пособие / Е.А. Рыбалова. – Томск : ТУСУР, 2015. – 149 с.Бараксанов,Д.Н. Управление ИТ-сервисами и контентом: учебное пособие / Д.Н. Бараксанов, Ю.П. Ехлаков. – Томск: Томский государственный университет систем управления и радиоэлектроники, 2015. – 144 c.Дополнительная литература и учебные материалы ГОСТ 6.61.1–87. Единая система классификации и кодирования технико-экономической информации. Основные положения : утвержден и введен в действие Постановлением Государственного комитета СССР по стандартам от 13.08.1987 № 77 : дата введения 1988-07-01. – Москва : Изд-во стандартов, 1994. – 15 с.РД 50-680–88. Руководящий документ по стандартизации. Методические указания. Автоматизированные системы. Основные положения : утвержден и введен в действие Постановлением Государственного комитета СССР по стандартам от 28.12.1988 № 4622 : дата введения 1990-01-01. – Москва : Изд-во стандартов, 1994. – 8 с. ГОСТ 34.201–89. Информационная технология. Комплекс стандартов на автоматизированные системы. Виды, комплектность и обозначение документов при создании автоматизированных систем : межгосударственный стандарт : утвержден и введен в действие Постановлением Государственного комитета СССР по стандартам № 664 от 24.03.1989 : дата введения 1990-01-01. – Москва : СТАНДАРТИНФОРМ, 2008. – 10 с. ГОСТ 34.602–89. Информационные технологии. Комплекс стандартов на автоматизированные системы. Техническое задание на создание автоматизированной системы : издание официальное : утвержден и введен в действие Постановлением Государственного комитета СССР по стандартам от 24.03.1989 № 661 : введен впервые : дата введения 1990-01-01. – Москва : СТАНДАРТИНФОРМ, 2009. – 12 с. ГОСТ 34.003–90. Информационная технология. Комплекс стандартов на автоматизированные системы. Автоматизированные системы. Термины и определения : утвержден и введен в действие Постановлением Государственного комитета СССР по управлению качеством продукции и стандартам от 27.12.90 № 3399 : дата введения 1992-01-01. – Москва : Изд-во стандартов, 1991. – 16 c. ГОСТ 19.701–90. Единая система программной документации. Схемы алгоритмов, программ, данных и систем. Условные обозначения и правила выполнения (ИСО 5807–85) : утвержден и введен в действие Постановлением Государственного комитета СССР по управлению качеством продукции и стандартам от 26.12.90 № 3294: дата введения 1992-01-01. – Москва : Изд-во Стандартинформ, 2005. – 24 с. ГОСТ 34.601–90. Информационная технология. Комплекс стандартов на автоматизированные системы. Автоматизированные системы. Стадии создания : утвержден и введен в действие Постановлением Государственного комитета СССР по управлению качеством продукции и стандартам от 29.12.90 № 3269 : введен впервые : дата введения 1992-01-01. – Москва : Стандартинформ, 2009. – 7 с.ГОСТ 34.603–92. Информационная технология. Виды испытаний автоматизированных систем :утвержден и введен в действие Постановлением Комитета стандартизации и метрологии СССР от 17.02.92 № 161 : дата введения 1993-01-01. – Москва : Изд-во Стандартинформ, 2009. – 6c.ГОСТ 2.105–95. Единая система конструкторской документации. Общие требования к текстовым документам : межгосударственный стандарт : принят Межгосударственным Советом по стандартизации, метрологии и сертификации (протокол № 7 от 26 апреля 1995 г.):дата введения 1996-07-01. – Москва : Стандартинформ, 2007. – 29 с.ГОСТ 34.320–96. Информационные технологии. Система стандартов по базам данных. Концепции и терминология для концептуальной схемы и информационной базы:утвержден и введен в действие Постановлением Государственного комитета Российской Федерации стандартизации и метрологии от 22.02.2001 № 87-ст : введен впервые : дата введения 2001-07-01. – Москва : Издательство стандартов, 2001. – 46 с.ГОСТ Р ИСО/МЭК 12207–99. Информационная технология. Процессы жизненного цикла программных средств :утвержден и введен в действие Постановлением Госстандарта России от 23.12.99 № 675-ст : введен впервые : дата введения 2000-07-01. – Москва : Стандартинформ, 2008. – 46 с. ГОСТ Р 7.0.5–2008. Система стандартов по информации, библиотечному и издательскому делу. Библиографическая ссылка. Общие требования и правила составления :утвержден и введен в действие Приказом Федерального агентства по техническому регулированию и метрологии от 28 апреля 2008 г. № 95-ст : введен впервые : дата введения 2009-01-01– Москва : Стандартинформ, 2008. – 22 с. –ГОСТ 7.82–2001. Система стандартов по информации, библиотечному и издательскому делу. Библиографическая запись. Библиографическое описание электронных ресурсов. Общие требования и правила составления: межгосударственный стандарт : утвержден и введен в действие Постановлением Государственного комитета Российской Федерации по стандартизации и метрологии от 4 сентября 2001 г. № 369-ст :дата введения 2002-07-01. – Москва : Изд-во стандартов, 2001. – 27 с.. ГОСТ Р ИСО/МЭК 14764–2002. Информационная технология. Сопровождение программных средств : утвержден и введен в действие Постановлением Госстандарта России от 25 июня 2002 г. № 248-ст : введен впервые : дата введения 2003-07-01 / Москва : Издательство стандартов, 2002. – 32 с. ГОСТ 7.0.100–2018. Система стандартов по информации, библиотечному и издательскому делу. Библиографическая запись. Библиографическое описание. Общие требования и правила составления : утвержден и введен в действие Приказом Федерального агентства по техническому регулированию и метрологии от 3 декабря 2018 г. № 1050-ст : введен впервые : дата введения 2019-07-01. – Москва : Стандартинформ, 2018. – 124 с.