Клеточно-автоматное моделирование природных процессов

Предполагаемое количество участников: 1 - 5

Группа проектов “HPC Community Cloud”

Все проекты сформулированы с ориентиром на перспективу в виде ВКР, конкретные задачи на школу определятся в ходе общения.

HPC Community Cloud (HPC2C) – программная платформа для создания и размещения высокоуровневых суперкомпьютерных приложений. Суперкомпьютерное приложение реализует набор программных инструментов обеспеченных высокоуровневым пользовательским интерфейсом для решения задач численного моделирования и обработки данных в некоторой предметной области, включает подсистемы для  управления данными, совместной работы пользователей и публикации результатов. В основе HPC2C – унификация интерфейсов высокопроизводительных вычислительных систем, представление знаний о программах и данных в предметной области с применением формализма вычислительных моделей, конструктор суперкомпьютерных приложений.

1. Подгруппа проектов “Разработка компонентов системы HPC2C”

см. https://ssd.sscc.ru/ru/projects/hpc-community-cloud

Руководитель: Максим Александрович Городничев, н.с.  ИВМиМГ СО РАН, ст. преп. каф ФИТ НГУ

1.1 Перевод HPC2C на микросервисную архитектуру: выделение сервисов управления пользователями, данными, вычислительными моделями, вычислениями, сервиса визуализации данных, сервис приложений. Подзадачи: реализация одного из сервисов, реализация системы развертывания множества сервисов, шлюза программного интерфейса (API gateway).

– сервис управления данными: данные, которые использует и производит суперкомпьютерное приложение, могут быть размещены в различных системах хранения, данные копируются на высокопроизводительные вычислительные системы для обработки, данные полученные в ходе расчетов, копируются в долговременное хранилище – сервис управления данными должен обеспечить учет данных суперкомпьютерных приложений и реализовывать необходимые копирования, удаления, перемещения по командам пользователя и при выполнении расчетов.

– сервис или группа сервисов управления пользователями обеспечивает учет, аутентификацию пользователей, авторизацию, возможность коллективного доступа к ресурсам суперкомпьютерных приложений

– сервис управления вычислительными моделями реализует учет, хранение вычислительных моделей, предоставление доступа к моделям, связь операций с программными модулями, реализующими операции вычислительных моделей

– сервис управления вычислениями обеспечивает вывод сценариев расчетов (алгоритмов, workflow) на моделях и выполнение этих сценариев на различных платформах, обеспечивающих выполнение workflows, может разделить эти функции между несколькими подсервисами, автоматизация развертывания программ на основе conda, контейнеров и др.

– сервис визуализации данных – предоставляет виджеты для ввода данных и визуализации объектов данных

– сервис приложений – обеспечивает учет суперкомпьютерных приложений, предоставление доступа пользователям к приложениям через браузер; каждое из которых задается композицией виджетов, обеспечивающих ввод и визуализацию входных данных для некоторого подмножества вычислительных задач, инструментов для управления выполнением этих задач, анализа результатов.

1.2 Развитие языка для представления вычислительных моделей, задающих сценарии организации расчетов на суперкомпьютерах. Вычислительная модель описывает множество операций, связанных между собой через величины предметной области, которые являются входами или выходами операций. Например, (m,a) -> op1 -> (F) – операция вычисления силы по массе и ускорению, (a,dt) - > op2 -> (v) – операция вычисления скорости по ускорению и шагу времени, (v, dt) -> op3 -> (s) – операция вычисления пути по скорости и шагу времени. Такая совокупность операций с входными и выходными величинами – вычислительная модель – описывает все множество возможных сценариев расчетов одних величин через другие в предметной области “механика”. При заданных наборах входных и искомых величин можно автоматически вывести алгоритм вычисления искомых. Требуется добавить в имеющийся язык конструкции для задания массовых операций типа map, reduce, sequence и др.. Ввести объединение величин в подмножества для возможности ссылаться на эти подмножества в некоторых операциях. Ввести атрибуты для указания нефункциональных свойств программных модулей, реализующих операции   Предложить алгоритмы вывода сценариев расчетов (алгоритмов, workflow) на вычислительных моделях с новыми конструкциями. Продемонстрировать работу на решении задач по микросейсмике (см. п. 2 ниже, соруководитель А. С. Матвеев).

1.3 Развитие визуальной среды Aka для интерактивной работы с вычислительными моделями. Среда позволяет визуально конструировать графы вычислительных моделей, редактировать атрибуты операций и величин (см. п. 1.2), визуализировать на графе процесс решения задач, ошибочные ситуации и т.п. Требуется 

• переработать структуру имеющегося кода,

• улучшить представление информации на узлах графа,

• реализовать автоматическое “красивое” размещение узлов графа на плоскости,

• реализовать отображение новых конструкций языка, которые вводятся в проекте п.1.2

• расширить набор режимов решения задач, в т.ч. пошаговое выполнение, ручной выбор пути решения в целях отладки,

• реализовать сворачивание и разворачивание частей графа

• реализовать взаимодействие с сервисом вывода алгоритмов для динамического отображения вариантов выполнения и их параметров

1.4 Развитие веб-фронтенда для системы управления данными: реализует пользовательский графический интерфейс для нового сервиса управления данными, управление данными, просмотр данных 

1.5 Альтернативные пользовательские интерфейсы для HPC Community Cloud:

• плагин для VS Code позволяющий автоматически собрать программу на выбранном вычислительном кластере, поставить в очередь, отслеживать состояние и т.д.

• библиотека для отправки вычислительных задач на вычислительные кластеры из среды Jupyter Notebook (Соруководитель  А. С. Матвеев)

2. Проект “Суперкомпьютерное приложение “Микросейсмика”

состоит из ряда подпроектов разного характера

Руководители 

Алексей Сергеевич Матвеев, вед. инж. ИНГГ СО РАН, ст. преп. каф. ПВ ФИТ НГУ

Максим Александрович Городничев, н.с. ИВМиМГ СО РАН, ст. преп. каф. ПВ ФИТ НГУ

Микросейсмический мониторинг – обнаружение местоположения сейсмических событий малого масштаба в различных практических целях, например, отслеживание развития системы трещин в породе, создание которой предусматривается методами добычи сланцевой нефти.

Требуется 

• познакомиться с типами данных, процедурами их обработки (устранение шума, поиск источника события, восстановление геометрии трещин и т.п.)

• составить вычислительную модель предметной области – формальную спецификацию операций и данных

• разработать виджеты для визуализации данных (сейсмограмм, строения расположения источников)

• разработать нейросетевые решатели для некоторых подзадач (например, определения времени прихода волн)

• собрать компоненты в суперкомпьютерное приложение

3. Проект HPC2C-Galaxy: биоинформатика

Руководитель

Максим Александрович Городничев, н.с. ИВМиМГ СО РАН, ст. преп. каф. ПВ ФИТ НГУ

Galaxy Project (https://galaxyproject.org/) – система для управления вычислительными задачами, workflow и данными в биоинформатике. В рамках этого проекта предполагается совместить наработки проектов HPC2C и Galaxy, обеспечить импорт воркфлоу из Galaxy в HPC2C, конструирование на их основе расширенных вычислительных моделей в HPC2C, вывод новых воркфлоу на вычислительных моделях в HPC2C, экспорт этих сценариев в Galaxy и выполнение сценариев на вычислительной инфраструктуре с помощью средств управления вычислениями Galaxy. 

4.  Проект “Суперкомпьютерное приложение Клеточные автоматы”

Руководители 

Медведев Юрий Геннадьевич, к.т.н., с.н.с. ИВМиМГ СО РАН, 

Максим Александрович Городничев, н.с. ИВМиМГ СО РАН, ст. преп. каф. ПВ ФИТ НГУ

Требуется разработать суперкомпьютерное приложение на базе библиотеки клеточно-автоматного моделирования:

• разработать вычислительную модель, задающую множество сценариев организации моделирования (задание параметров модели, параметров области моделирования, конструирование файлов с начальными данными, запуск моделирования на вычислительном кластере, визуализация, сохранение промежуточных состояний и т.п.),

• разработать виджеты для представления содержания объектов данных,

• отработать автоматический запуск и отслеживание работающих программ на кластере,

• собрать компоненты в суперкомпьютерное приложение

5. Проект “Суперкомпьютерное приложение Нейрофизиология”

Руководитель: Максим Александрович Городничев, н.с.  ИВМиМГ СО РАН, ст. преп. каф ФИТ НГУ

 Требуется разработать:

• Изучить имеющиеся компоненты для обработки данных, ЭЭГ

• Виджеты для визуализации нейрофизиологических данных: МРТ, ЭЭГ, данные психометрических опросников и выводы, сделанные по ним

• Перевод алгоритмов обработки данных диагностических психометрических опросников из языка системы статистической обработки данных SPSS в код на Python

• Обеспечить учет данных сервисом управления данных (п.1.1)

• Собрать компоненты в суперкомпьютерное приложение

Группа проектов “Разработка компонентов библиотеки для решения задач химической кинетики”

Руководитель: Максим Александрович Городничев, н.с.  ИВМиМГ СО РАН, ст. преп. каф ФИТ НГУ

Химическая кинетика изучает протекание реакций веществ во времени в различных условиях. Этапы численного решения задач:

• задание системы химических уравнений,

• задание условий протекания реакции (динамика давления, температуры),

• перевод химических уравнений в систему обыкновенных дифференциальных уравнений (ОДУ),

• применение решателей систем ОДУ,

• визуализация, анализ результатов, постановка дальнейших экспериментов.

Примеры тем проектов: 

• “Нейросетевая аппроксимация решения системы ОДУ” – разработать нейросеть, которая будет на вход принимать параметры реактора, концентрации веществ, на выход выдавать массив данных, отражающих изменение концентраций веществ, температуры и др. во времени, за основу для обучения сети берется система ОДУ и численное решение ОДУ.

• “Парсер химических уравнений, генерация системы ОДУ” – разбор списка строк с химическими уравнениями, строк задающих скорости реакций, составление правых частей уравнений ОДУ, выражающих закон изменения концентраций веществ.

• “Система тестирования библиотеки ХК” – автоматический прогон решения задач из валидационной базы, сравнение версий решателей, визуализация результатов и генерация отчетов 

Группа проектов: “Информационная система суперкомпьютерного центра”

Руководитель: Максим Александрович Городничев, н.с.  ИВМиМГ СО РАН, ст. преп. каф ФИТ НГУ

Цель проекта: разработать информационную систему для обеспечения работы администрации суперкомпюьтерного центра, организации работы с пользователями.

Требуется:

- спроектировать веб-приложение (разработать информационную модель работы суперкомьютерного центра, схему базы данных, сценарии работы пользователей информационной системы -- по категориям пользователей, окна пользовательского интерфейса)
- реализовать веб-приложение
 

Группа проектов: “Система LuNA”

Руководитель: Перепёлкин Владислав Александрович, к.т.н., с.н.с. ИВМиМГ СО РАН, доцент каф. ПВ ФИТ НГУ

Проект 1. Знакомство с системой LuNA. Задание. Система LuNA.

Проект 2. Метод решения задач на вычислительных моделях с массивами. Репозиторий.