HPC Community Cloud
HPC Community Cloud (HPC2C) – проект по разработке программного инструментария для объединения ресурсров различных высокопроизводительных вычислительных систем (ВВС) в единый сервис и предоставления сторонним программным системам программного интерфейса (API), а пользователям – веб-интерфейса для единообразного управления подключёнными ВВС и организации вычислений.
HPC2C является платформой для разработки и накопления с целью повторного использования суперкомпьютерных приложений: в терминах HPC2C, суперкомпьютерное приложение -- это сочетание программ, решающих прикладную задачу моделирования или обработки данных на ВВС и интерфейса, обеспечивающего управление решением задачи на ВВС и реализуемого с помощью средств HPC2C.
HPC2C dключает в себя подсистему Aka: онлайн-IDE для разработки вычислительных моделей и решения задач на основе вычислительных моделей (см. раздел с видео ниже).
Доступ к сервису и программам
Пользовательский интерфейс системы доступен по адресу: http://hpccloud.ssd.sscc.ru
Программный интерфейс: https://hpccloud.ssd.sscc.ru/api/1.0/
RAML-спецификация программного интерфейса: http://hpccloud.ssd.sscc.ru/api/1.0/raml
Отчеты об ошибках, пожелания принимаются в gitlab: https://gitlab.ssd.sscc.ru/hpccloud/hpc2c-feedback/issues
Репозиторий кода (доступ по приглашению): https://gitlab.ssd.sscc.ru/hpccloud
Скриншоты
Личный кабинет пользователя:
Онлайн-IDE общего назначения:
Онлайн-IDE для разработки вычислительных моделей:
Видео
Презентации
- * M. Gorodnichev, E. Nalepova, E. Merkulova, P. Rudych, A. Savostyanov. Automation of EEG Data Processing with HPC Community Cloud // 2023 IEEE 24th International Conference of Young Professionals in Electron Devices and Materials (EDM), June 29 - July 3, 2023
Публикации
- * M. Gorodnichev, E. Nalepova, E. Merkulova, P. Rudych, A. Savostyanov. Automation of EEG data processing with HPC community cloud. – DOI 10.1109/EDM58354.2023.10225226. – 24 International Conference of Young Professionals in Electron Devices and Materials (EDM–2023) : proc., Novosibirsk, 29 June – 3 July 2023. – Novosibirsk : IEEE, 2023. – P. 1320–1323. – ISBN 979-8-3503-1044-3.
- Налепова, Е. Д. Применение вычислительных моделей для высокоуровневой организации обработки нейрофизиологических данных на суперкомпьютерах / Е. Д. Налепова // Всероссийская летняя XXXVII молодежная Школа-конференция по параллельному программированию с международным участием и Всероссийская летняя XXXIX молодежная Школа-конференция по параллельному программированию с международным участием : Тезисы докладов, Новосибирск, 05 июля 2021 года – 15 2022 года. – Новосибирск: Новосибирский национальный исследовательский государственный университет, 2023. – С. 32-33. – EDN FCWRGR.
- Налепова, Е. Д. Разработка сервиса для выполнения интерпретированных функциями на языке Python операций вычислительных моделей / Е. Д. Налепова // МНСК-2022 : Материалы 60-й Международной научной студенческой конференции, Новосибирск, 10–20 апреля 2022 года. – Новосибирск: Новосибирский национальный исследовательский государственный университет, 2022. – С. 46. – EDN GGUOGB.
- * Maxim Gorodnichev, Danil Lebedev. Semantic tools for development of high-level interactive applications for supercomputers // The Journal of Supercomputing, 2021. DOI: 10.1007/s11227-021-03731-6
- М. А. Городничев, П. Д. Рудыч. Применение платформы HPC Community Cloud для создания сервиса высокопроизводительной обработки данных ЭЭГ. 10 Сибирская конференция по параллельным и высокопроизводительным вычислениям : программа и тезисы докладов, Томск, 5–7 окт. 2021 г. – Томск : Изд-во ТГУ, 2021. – С. 16–17. - URL: http://conference.tsu.ru//pvv/&conference_page=text&pageid=432 (дата обращения: 10.01.2022).
- Борзов, А. С. Разработка платформы для организации параллельных вычислений на множестве мобильных устройств / А. С. Борзов // МНСК-2021 : Материалы 59-й Международной научной студенческой конференции, Новосибирск, 12–23 апреля 2021 года. – Новосибирск: Новосибирский национальный исследовательский государственный университет, 2021. – С. 112. – EDN TRFURN.
- Применение платформы HPC Community Cloud для автоматической генерации интерактивного суперкомпьютерного приложения на примере статистического моделирования газовых разрядов // Марчуковские научные чтения 2020 : Тезисы Междунар. конф., посв. 95-летию со дня рождения акад. Г. И. Марчука Новосибирск, 19-23 октября 2020 г. / Ин-т вычислит. математики и матем. геофизики СО РАН. – Новосибирск : ИПЦ НГУ, 2020. С. 104-105. DOI: 10.24411/9999-017A-2020-10175
- Maxim Gorodnichev, Yuri Medvedev A Web-Based Platform for Interactive Parameter Study of Large-Scale Lattice Gas Automata // PaCT-2019 proceedings, LNCS 11657, Springer, 2019, P. 321-333. DOI: 10.1007/978-3-030-25636-4_25
- М. А. Городничев, А. В. Комиссаров, А. В. Можина и др. Модели и проектные решения системы хранения и обработки исследовательских данных Ecclesia // Вестник Новосибирского государственного университета. Серия: Информационные технологии. - 2018. – Т. 16, № 3. – С. 87–104. – DOI: 10.25205/1818-7900-2018-16-3-87-104.
- Шелехин, А. В. Подсистема управления распределенными фрагментами данных в суперкомпьютере / А. В. Шелехин // МНСК-2018: Информационные технологии : Материалы 56-й Международной научной студенческой конференции, Новосибирск, 22–27 апреля 2018 года. – Новосибирск: Новосибирский национальный исследовательский государственный университет, 2018. – С. 6. – EDN VKOFCM.
- Прочкин, П. В. Система распределенной обработки экспериментальных данных / П. В. Прочкин // МНСК-2018: Информационные технологии : Материалы 56-й Международной научной студенческой конференции, Новосибирск, 22–27 апреля 2018 года. – Новосибирск: Новосибирский национальный исследовательский государственный университет, 2018. – С. 197. – EDN YMDFFR.
- Можина, А. В. Scitrie: инструмент управления биомедицинскими данными / А. В. Можина // МНСК-2018: Информационные технологии : Материалы 56-й Международной научной студенческой конференции, Новосибирск, 22–27 апреля 2018 года. – Новосибирск: Новосибирский национальный исследовательский государственный университет, 2018. – С. 155. – EDN BPCYVT.
- Комиссаров, А. В. Модели и концепции интеллектуальной системы формирования сценариев обработки данных / А. В. Комиссаров // МНСК-2018: Информационные технологии : Материалы 56-й Международной научной студенческой конференции, Новосибирск, 22–27 апреля 2018 года. – Новосибирск: Новосибирский национальный исследовательский государственный университет, 2018. – С. 151. – EDN YMDDSP.
- М. А. Городничев, М. А. Марченко, В. А. Перепёлкин. М. А. Городничев. Инструменты внедрения приложений в HPC Community Cloud // Тезисы докладов Летней международной XXIX молодежной школы-конференции по параллельному программированию (г. Новосибирск, 10–14 июля 2017 г.). — Новосибирск: Наука, 2017, с. 12-14.
- Можина, А. В. Модели и программные компоненты для организации хранения гетерогенных биомедицинских данных / А. В. Можина // МНСК-2017: Информационные технологии : Материалы 55-й Международной научной студенческой конференции, Новосибирск, 17–20 апреля 2017 года. – Новосибирск: Новосибирский национальный исследовательский государственный университет, 2017. – С. 54. – EDN XNKGQX
- Комиссаров, А. В. Модели, алгоритмы и программные компоненты управления потоками вычислительных задач в системе хранения и обработки гетерогенных биомедицинских данных / А. В. Комиссаров // МНСК-2017: Информационные технологии : Материалы 55-й Международной научной студенческой конференции, Новосибирск, 17–20 апреля 2017 года. – Новосибирск: Новосибирский национальный исследовательский государственный университет, 2017. – С. 52. – EDN XNKGPZ.
- М.А. Городничев, С.А. Вайцель. Разработка интерактивных приложений для HPC Community Cloud // Международная конференция «Актуальные проблемы вычислительной и прикладной математики – 2015», посвященная 90-летию со дня рождения академика Гурия Ивановича Марчука. Тезисы. Институт вычислительной математики и математической геофизики Сибирского отделения Российской академии наук. Новосибирск. 19-23 октября 2015 г. Новосибирск: Академиздат, 2015, с. 79.
- Вайцель С. А. Методология встраивания программных решений в HPC Community Cloud на примере фреймворка для создания предметно-ориентированных систем конструирования алгоритмов и программ / С. А. Вайцель, В. Г. Сарычев ; науч. рук. М. А. Городничев // Материалы 53 международной научной студенческой конференции (МНСК-2015). Информационные технологии = Proceedings of the 53 international students scientific conference (ISSC-2015). Information technologies, 11-17 апр. 2015 г. – Новосибирск : Изд-во НГУ, 2015. – С. 128. – 300 экз. – ISBN. 978-5-4437-0354-1.
- В. Г. Сарычев. Разработка среды визуального конструирования параллельных программ. Рук. - М. А. Городничев. Труды конференции молодых ученых. Новосибирск: ИВМиМГ СО РАН, 2015, с. 86-94. - https://elibrary.ru/item.asp?id=26060767
- С. А. Вайцель. Программный инструментарий HPC Community Cloud для организации взаимодействия пользователей и внешних программных систем с вычислительными центрами. Рук. - М. А. Городничев. Труды конференции молодых ученых. Новосибирск: ИВМиМГ СО РАН, 2015, c. 19-32.- https://elibrary.ru/item.asp?id=26060767
- А. Б. Купчишин. Система вывода алгоритмов на вычислительных моделях и интерпретатор для реализации алгоритмов на вычислительных системах с общей памятью. Труды конференции молодых ученых. Новосибирск: ИВМиМГ СО РАН, 2015, с. 55-63.- https://elibrary.ru/item.asp?id=26060767
- Сарычев В. Г., Купчишин А. Б.. Разработка программного комплекса для конструирования программ обработки данных на высокопроизводительных вычислительных системах // 7-я Сиб. конф. по параллельным и высокопроизводительным вычислениям / Под ред. проф. А.В. Старченко. Томск: Изд-во ТГУ, 2014. С. 55–64.
- * Городничев М.А., Вайцель С.А. Организация доступа к высокопроизводительным вычислительным ресурсам в HPC Community Cloud // Вестник Южно-Уральского государственного университета. Серия: Вычислительная математика и информатика. 2014. Т. 3, № 4. С. 85-95. DOI: 10.14529/cmse140406
- * Городничев М.А., Малышкин В.Э., Медведев Ю.Г. HPC Community Cloud: эффективная организация работы научно-образовательных суперкомпьютерных центров // Научный вестник Новосибирского государственного технического университета. № 3 (52). 2013. С. 91-96. - https://journals.nstu.ru/vestnik/catalogue/contents/view_article?id=2142 - https://elibrary.ru/item.asp?id=20255653
Отдельные работы по проекту HPC2C велись/ведутся в рамках
- Госзадание ИВМиМГ:
- 0251-2021-0005,
- РНФ 22-25-00735,
- МОН РК BR05236340 "Создание высокопроизводительных интеллектуальных технологий анализа и принятия решения для системы «логистика-агломерация» в рамках формирования цифровой экономики РК",
Выпускные квалификационные работы
- план: 2025, Разработка программных компонентов для системы управления анализом данных в биоинформатике
- план: 2025, Разработка системы для реализации сценариев решения задач на вычислительных моделях
- план: 2025, Разработка библиотеки виджетов для визуализации объектов данных суперкомпьютерных программ
- план: 2025, Разработка алгоритмов и программных компонентов для создания системы управления конференциями в событийной модели
- план: 2024, Разработка компонентов HPC Community Cloud для управления распределенными задачами и ресурсами метакомпьютера NumGrid
- план: 2024, Разработка методов обработки экспериментальных данных по высокоскоростному удару капель о поверхность
- план: 2024, Разработка методов и программных инструментов для организации обработки больших объемов нейрофизиологических данных на суперкомпьютерах
- план: 2024, Разработка алгоритмов и программных компонентов для конструирования графических интерфейсов суперкомпьютерных приложений на основе библиотеки виджетов
- 2023, Разработка веб-приложения для управления конференцией PaCT, НГТУ, ФПМИ, бакалавр.
- 2022, Разработка программного инструментария для высокоуровневой организации обработки нейрофизиологических данных на суперкомпьютерах, НГУ, ФИТ, бакалавр.
- 2022, Адаптация теста HPL для оценки производительности неоднородных вычислительных систем, НГТУ, ФПМИ, бакалавр.
- 2022, Разработка комплекса программ для сбора и анализа данных о частоте сердечных сокращений пользователей, НГТУ, ФПМИ, бакалавр.
- 2021, Разработка модели для предиктивной диагностики асинхронных электродвигателей на основе методов машинного обучения, НГТУ, ФПМИ, бакалавр.
- 2021, Разработка Android-приложения для управления сбором и рассылкой данных с носимых устройств, НГТУ, ФПМИ, бакалавр.
- 2020, Разработка программной системы для реализации пользовательских интерфейсов вычислительных приложений, работающих под управлением HPC Community Cloud на высокопроизводительных вычислительных системах, НГТУ, ФПМИ, магистр.
- 2020, Разработка программного комплекса для поддержки реализации и исследования параллельных программ, способных реагировать на изменения в доступности вычислительных ресурсов, НГТУ, ФПМИ, магистр.
- 2020, Разработка модели для предиктивной диагностики асинхронных электродвигателей на основе методов машинного обучения, НГТУ, ФПМИ, бакалавр.
- 2019, Разработка сервиса для организации удаленных вычислений на высокопроизводительных вычислительных системах, НГТУ, ФПМИ, бакалавр.
- 2018, Разработка элементов языка высокоуровневого представления численных алгоритмов в явной параллельной форме, НГТУ, ФПМИ, бакалавр.
- 2018, Разработка программной системы для реализации пользовательских интерфейсов вычислительных приложений, работающих на высокопроизводительных вычислительных системах, НГТУ, ФПМИ, бакалавр.
- 2018, Разработка библиотеки для реализации реагирования MPI-программ на изменения в доступности вычислительных ресурсов, НГТУ, ФПМИ, бакалавр.
- 2016, Распределенная система статистической обработки данных: алгоритмы и реализация управления вычислениями на высокопроизводительных вычислительных системах, НГУ, ФИТ, бакалавр.
- 2016, Распределенная система статистической обработки данных: модели, алгоритмы и реализация программного и пользовательского интерфейсов, НГУ, ФИТ, бакалавр.
- 2016, Разработка технологических алгоритмов параллельной реализации метода адаптивных сеток для моделирования многофазных течений и программного комплекса для реализации метода на вычислительных кластерах, НГТУ, ФПМИ, магистр.
- 2016, Разработка алгоритмов и программного комплекса автоматизированного конструирования алгоритмов и программ на основе вычислительных моделей, НГТУ, ФПМИ, магистр.
Материалы
В этой группе пока нет содержания.