HPC Community Cloud

HPC Community Cloud (HPC2C) – проект по разработке программного инструментария для объединения ресурсров различных высокопроизводительных вычислительных систем (ВВС) в единый сервис и предоставления сторонним программным системам программного интерфейса (API), а пользователям – веб-интерфейса для единообразного управления подключёнными ВВС и организации вычислений.

HPC2C является платформой для разработки и накопления с целью повторного использования суперкомпьютерных приложений: в терминах HPC2C, суперкомпьютерное приложение -- это сочетание программ, решающих прикладную задачу моделирования или обработки данных на ВВС и интерфейса, обеспечивающего управление решением задачи на ВВС и реализуемого с помощью средств HPC2C.

HPC2C dключает в себя подсистему Aka: онлайн-IDE для разработки вычислительных моделей и решения задач на основе вычислительных моделей (см. раздел с видео ниже).

Доступ к сервису и программам

Пользовательский интерфейс системы доступен по адресу: http://hpccloud.ssd.sscc.ru

Программный интерфейс: https://hpccloud.ssd.sscc.ru/api/1.0/

RAML-спецификация программного интерфейса: http://hpccloud.ssd.sscc.ru/api/1.0/raml

Отчеты об ошибках, пожелания принимаются в gitlab: https://gitlab.ssd.sscc.ru/hpccloud/hpc2c-feedback/issues

Репозиторий кода (доступ по приглашению): https://gitlab.ssd.sscc.ru/hpccloud

Скриншоты

Личный кабинет пользователя:

Онлайн-IDE общего назначения:

Онлайн-IDE для разработки вычислительных моделей:

Видео

О работе подсистемы Aka: см. с отметки 1 мин 20 сек

Презентации

* M. Gorodnichev, E. Nalepova, E. Merkulova, P. Rudych, A. Savostyanov. Automation of EEG Data Processing with HPC Community Cloud // 2023 IEEE 24th International Conference of Young Professionals in Electron Devices and Materials (EDM), June 29 - July 3, 2023

Публикации

* M. Gorodnichev, E. Nalepova, E. Merkulova, P. Rudych, A. Savostyanov. Automation of EEG data processing with HPC community cloud. – DOI 10.1109/EDM58354.2023.10225226. – 24 International Conference of Young Professionals in Electron Devices and Materials (EDM–2023) : proc., Novosibirsk, 29 June – 3 July 2023. – Novosibirsk : IEEE, 2023. – P. 1320–1323. – ISBN 979-8-3503-1044-3.
Налепова, Е. Д. Применение вычислительных моделей для высокоуровневой организации обработки нейрофизиологических данных на суперкомпьютерах / Е. Д. Налепова // Всероссийская летняя XXXVII молодежная Школа-конференция по параллельному программированию с международным участием и Всероссийская летняя XXXIX молодежная Школа-конференция по параллельному программированию с международным участием : Тезисы докладов, Новосибирск, 05 июля 2021 года – 15 2022 года. – Новосибирск: Новосибирский национальный исследовательский государственный университет, 2023. – С. 32-33. – EDN FCWRGR.
Налепова, Е. Д. Разработка сервиса для выполнения интерпретированных функциями на языке Python операций вычислительных моделей / Е. Д. Налепова // МНСК-2022 : Материалы 60-й Международной научной студенческой конференции, Новосибирск, 10–20 апреля 2022 года. – Новосибирск: Новосибирский национальный исследовательский государственный университет, 2022. – С. 46. – EDN GGUOGB.
* Maxim Gorodnichev, Danil Lebedev. Semantic tools for development of high-level interactive applications for supercomputers // The Journal of Supercomputing, 2021. DOI: 10.1007/s11227-021-03731-6
М. А. Городничев, П. Д. Рудыч. Применение платформы HPC Community Cloud для создания сервиса высокопроизводительной обработки данных ЭЭГ. 10 Сибирская конференция по параллельным и высокопроизводительным вычислениям : программа и тезисы докладов, Томск, 5–7 окт. 2021 г. – Томск : Изд-во ТГУ, 2021. – С. 16–17. - URL: http://conference.tsu.ru//pvv/&conference_page=text&pageid=432 (дата обращения: 10.01.2022).
Борзов, А. С. Разработка платформы для организации параллельных вычислений на множестве мобильных устройств / А. С. Борзов // МНСК-2021 : Материалы 59-й Международной научной студенческой конференции, Новосибирск, 12–23 апреля 2021 года. – Новосибирск: Новосибирский национальный исследовательский государственный университет, 2021. – С. 112. – EDN TRFURN.
Применение платформы HPC Community Cloud для автоматической генерации интерактивного суперкомпьютерного приложения на примере статистического моделирования газовых разрядов // Марчуковские научные чтения 2020 : Тезисы Междунар. конф., посв. 95-летию со дня рождения акад. Г. И. Марчука Новосибирск, 19-23 октября 2020 г. / Ин-т вычислит. математики и матем. геофизики СО РАН. – Новосибирск : ИПЦ НГУ, 2020. С. 104-105. DOI: 10.24411/9999-017A-2020-10175
Maxim Gorodnichev, Yuri Medvedev A Web-Based Platform for Interactive Parameter Study of Large-Scale Lattice Gas Automata // PaCT-2019 proceedings, LNCS 11657, Springer, 2019, P. 321-333. DOI: 10.1007/978-3-030-25636-4_25
М. А. Городничев, А. В. Комиссаров, А. В. Можина и др. Модели и проектные решения системы хранения и обработки исследовательских данных Ecclesia // Вестник Новосибирского государственного университета. Серия: Информационные технологии. - 2018. – Т. 16, № 3. – С. 87–104. – DOI: 10.25205/1818-7900-2018-16-3-87-104.
Шелехин, А. В. Подсистема управления распределенными фрагментами данных в суперкомпьютере / А. В. Шелехин // МНСК-2018: Информационные технологии : Материалы 56-й Международной научной студенческой конференции, Новосибирск, 22–27 апреля 2018 года. – Новосибирск: Новосибирский национальный исследовательский государственный университет, 2018. – С. 6. – EDN VKOFCM.
Прочкин, П. В. Система распределенной обработки экспериментальных данных / П. В. Прочкин // МНСК-2018: Информационные технологии : Материалы 56-й Международной научной студенческой конференции, Новосибирск, 22–27 апреля 2018 года. – Новосибирск: Новосибирский национальный исследовательский государственный университет, 2018. – С. 197. – EDN YMDFFR.
Можина, А. В. Scitrie: инструмент управления биомедицинскими данными / А. В. Можина // МНСК-2018: Информационные технологии : Материалы 56-й Международной научной студенческой конференции, Новосибирск, 22–27 апреля 2018 года. – Новосибирск: Новосибирский национальный исследовательский государственный университет, 2018. – С. 155. – EDN BPCYVT.
Комиссаров, А. В. Модели и концепции интеллектуальной системы формирования сценариев обработки данных / А. В. Комиссаров // МНСК-2018: Информационные технологии : Материалы 56-й Международной научной студенческой конференции, Новосибирск, 22–27 апреля 2018 года. – Новосибирск: Новосибирский национальный исследовательский государственный университет, 2018. – С. 151. – EDN YMDDSP.
М. А. Городничев, М. А. Марченко, В. А. Перепёлкин. М. А. Городничев. Инструменты внедрения приложений в HPC Community Cloud // Тезисы докладов Летней международной XXIX молодежной школы-конференции по параллельному программированию (г. Новосибирск, 10–14 июля 2017 г.). — Новосибирск: Наука, 2017, с. 12-14.
Можина, А. В. Модели и программные компоненты для организации хранения гетерогенных биомедицинских данных / А. В. Можина // МНСК-2017: Информационные технологии : Материалы 55-й Международной научной студенческой конференции, Новосибирск, 17–20 апреля 2017 года. – Новосибирск: Новосибирский национальный исследовательский государственный университет, 2017. – С. 54. – EDN XNKGQX
Комиссаров, А. В. Модели, алгоритмы и программные компоненты управления потоками вычислительных задач в системе хранения и обработки гетерогенных биомедицинских данных / А. В. Комиссаров // МНСК-2017: Информационные технологии : Материалы 55-й Международной научной студенческой конференции, Новосибирск, 17–20 апреля 2017 года. – Новосибирск: Новосибирский национальный исследовательский государственный университет, 2017. – С. 52. – EDN XNKGPZ.
М.А. Городничев, С.А. Вайцель. Разработка интерактивных приложений для HPC Community Cloud // Международная конференция «Актуальные проблемы вычислительной и прикладной математики – 2015», посвященная 90-летию со дня рождения академика Гурия Ивановича Марчука. Тезисы. Институт вычислительной математики и математической геофизики Сибирского отделения Российской академии наук. Новосибирск. 19-23 октября 2015 г. Новосибирск: Академиздат, 2015, с. 79.
Вайцель С. А. Методология встраивания программных решений в HPC Community Cloud на примере фреймворка для создания предметно-ориентированных систем конструирования алгоритмов и программ / С. А. Вайцель, В. Г. Сарычев ; науч. рук. М. А. Городничев // Материалы 53 международной научной студенческой конференции (МНСК-2015). Информационные технологии = Proceedings of the 53 international students scientific conference (ISSC-2015). Information technologies, 11-17 апр. 2015 г. – Новосибирск : Изд-во НГУ, 2015. – С. 128. – 300 экз. – ISBN. 978-5-4437-0354-1.
В. Г. Сарычев. Разработка среды визуального конструирования параллельных программ. Рук. - М. А. Городничев. Труды конференции молодых ученых. Новосибирск: ИВМиМГ СО РАН, 2015, с. 86-94. - https://elibrary.ru/item.asp?id=26060767
С. А. Вайцель. Программный инструментарий HPC Community Cloud для организации взаимодействия пользователей и внешних программных систем с вычислительными центрами. Рук. - М. А. Городничев. Труды конференции молодых ученых. Новосибирск: ИВМиМГ СО РАН, 2015, c. 19-32.- https://elibrary.ru/item.asp?id=26060767
А. Б. Купчишин. Система вывода алгоритмов на вычислительных моделях и интерпретатор для реализации алгоритмов на вычислительных системах с общей памятью. Труды конференции молодых ученых. Новосибирск: ИВМиМГ СО РАН, 2015, с. 55-63.- https://elibrary.ru/item.asp?id=26060767
Сарычев В. Г., Купчишин А. Б.. Разработка программного комплекса для конструирования программ обработки данных на высокопроизводительных вычислительных системах // 7-я Сиб. конф. по параллельным и высокопроизводительным вычислениям / Под ред. проф. А.В. Старченко. Томск: Изд-во ТГУ, 2014. С. 55–64.
* Городничев М.А., Вайцель С.А. Организация доступа к высокопроизводительным вычислительным ресурсам в HPC Community Cloud // Вестник Южно-Уральского государственного университета. Серия: Вычислительная математика и информатика. 2014. Т. 3, № 4. С. 85-95. DOI: 10.14529/cmse140406
* Городничев М.А., Малышкин В.Э., Медведев Ю.Г. HPC Community Cloud: эффективная организация работы научно-образовательных суперкомпьютерных центров // Научный вестник Новосибирского государственного технического университета. № 3 (52). 2013. С. 91-96. - https://journals.nstu.ru/vestnik/catalogue/contents/view_article?id=2142 - https://elibrary.ru/item.asp?id=20255653

Отдельные работы по проекту HPC2C велись/ведутся в рамках

Госзадание ИВМиМГ СО РАН:
- FWNM-2025-0005,
- FWNM-2022-0005,
- 0251-2021-0005,
РНФ 22-25-00735,
МОН РК BR05236340 "Создание высокопроизводительных интеллектуальных технологий анализа и принятия решения для системы «логистика-агломерация» в рамках формирования цифровой экономики РК",

Выпускные квалификационные работы

план: 2025, Разработка программных компонентов для системы управления анализом данных в биоинформатике
план: 2025, Разработка системы для реализации сценариев решения задач на вычислительных моделях
план: 2025, Разработка библиотеки виджетов для визуализации объектов данных суперкомпьютерных программ
план: 2025, Разработка алгоритмов и программных компонентов для создания системы управления конференциями в событийной модели
план: 2024, Разработка компонентов HPC Community Cloud для управления распределенными задачами и ресурсами метакомпьютера NumGrid
план: 2024, Разработка методов обработки экспериментальных данных по высокоскоростному удару капель о поверхность
план: 2024, Разработка методов и программных инструментов для организации обработки больших объемов нейрофизиологических данных на суперкомпьютерах
план: 2024, Разработка алгоритмов и программных компонентов для конструирования графических интерфейсов суперкомпьютерных приложений на основе библиотеки виджетов
2023, Разработка веб-приложения для управления конференцией PaCT, НГТУ, ФПМИ, бакалавр.
2022, Разработка программного инструментария для высокоуровневой организации обработки нейрофизиологических данных на суперкомпьютерах, НГУ, ФИТ, бакалавр.
2022, Адаптация теста HPL для оценки производительности неоднородных вычислительных систем, НГТУ, ФПМИ, бакалавр.
2022, Разработка комплекса программ для сбора и анализа данных о частоте сердечных сокращений пользователей, НГТУ, ФПМИ, бакалавр.
2021, Разработка модели для предиктивной диагностики асинхронных электродвигателей на основе методов машинного обучения, НГТУ, ФПМИ, бакалавр.
2021, Разработка Android-приложения для управления сбором и рассылкой данных с носимых устройств, НГТУ, ФПМИ, бакалавр.
2020, Разработка программной системы для реализации пользовательских интерфейсов вычислительных приложений, работающих под управлением HPC Community Cloud на высокопроизводительных вычислительных системах, НГТУ, ФПМИ, магистр.
2020, Разработка программного комплекса для поддержки реализации и исследования параллельных программ, способных реагировать на изменения в доступности вычислительных ресурсов, НГТУ, ФПМИ, магистр.
2020, Разработка модели для предиктивной диагностики асинхронных электродвигателей на основе методов машинного обучения, НГТУ, ФПМИ, бакалавр.
2019, Разработка сервиса для организации удаленных вычислений на высокопроизводительных вычислительных системах, НГТУ, ФПМИ, бакалавр.
2018, Разработка элементов языка высокоуровневого представления численных алгоритмов в явной параллельной форме, НГТУ, ФПМИ, бакалавр.
2018, Разработка программной системы для реализации пользовательских интерфейсов вычислительных приложений, работающих на высокопроизводительных вычислительных системах, НГТУ, ФПМИ, бакалавр.
2018, Разработка библиотеки для реализации реагирования MPI-программ на изменения в доступности вычислительных ресурсов, НГТУ, ФПМИ, бакалавр.
2016, Распределенная система статистической обработки данных: алгоритмы и реализация управления вычислениями на высокопроизводительных вычислительных системах, НГУ, ФИТ, бакалавр.
2016, Распределенная система статистической обработки данных: модели, алгоритмы и реализация программного и пользовательского интерфейсов, НГУ, ФИТ, бакалавр.
2016, Разработка технологических алгоритмов параллельной реализации метода адаптивных сеток для моделирования многофазных течений и программного комплекса для реализации метода на вычислительных кластерах, НГТУ, ФПМИ, магистр.
2016, Разработка алгоритмов и программного комплекса автоматизированного конструирования алгоритмов и программ на основе вычислительных моделей, НГТУ, ФПМИ, магистр.

Материалы

В этой группе пока нет содержания.

Участники

Городничев Максим