Виртуальный суперкомпьютер (Virtual private supercomputer)
Проект поддержан грантом РФФИ 13-07-00747 "Облачные технологии как путь к персональным супервычислениям" (2013-2015)
Общим важнейшим результатом проекта является разработанный и опробованный на практике подход к созданию персонализированной распределенной вычислительной среды, которая изолирует пользователя от ряда технических ограничений вычислительных устройств с помощью технологий виртуализации, позволяя варьировать характеристики вычислителей и балансировать нагрузку – виртуального персонального суперкомпьютера. Для решения данной задачи был разработанслой промежуточного программного обеспечения, который позволяет конфигурировать вычислительный комплекс в соответствии с требованиями решаемой задачи и создавать распределенные приложения, содержащие в себе как параллельные вычисления, так и обработку больших массивов данных. В целом, концепция виртуального суперкомпьютера позволяет консолидировать разнородные ресурсы в единый комплекс, который адаптируется под решение поставленной задачи с учетом индивидуальных требований пользователей, их приложений и проводимых вычислительных экспериментов [1,13,17,41,62]
Важными результатами, полученными в 2015 году, являются:
- создание прототипа менеджера ресурсов для вычислительных кластеров, использующих технологии виртуализации и гибридные вычислительные ресурсы [10,30];
- создание модуля для получения детального аккаунтинга [12,35];
- разработка прототипов средств для создания контрольных точек «на лету» (как по требованию, так и автоматических).
- создание алгоритма объединения узлов кластера в дерево субординации без использования распределенного консенсуса [3,9];
- разработка системы индексации и поиска массивов данных и файлов общего назначения, хранящихся на различных узлах кластера [3,9],
- интеграция полученных компонент в единый фреймворк для программирования распределенных приложений, содержащих в себе как параллельные вычисления, так и обработку больших массивов данных [4,25,34].
- исследование способов гибкой конфигурации виртуализованной вычислительной инфраструктуры в зависимости от требований приложений [6,8]
- использование распределенных и гибридных вычислительных систем для решения прикладных задач [4,5,7,11,26,37]
Важными результатами предыдущих этапов являются:
- Создание алгоритма предоставления кластеров легковесных виртуальных машин для проведения параллельных и распределенных вычислений с фиксированными накладными расходами, не зависящими от характера решаемой задачи и уменьшающимися в процентном соотношении при увеличении характерного масштаба задачи. Создание системы, реализующей данный алгоритм, на основе контейнеров приложений и стандартных средств их взаимодействия друг с другом и средств динамического распределения нагрузки. Перенос реального приложения для проведения гидродинамических расчетов (OpenFOAM) в созданную среду вычислений, его оптимизация и тестирование на прикладных задачах.
- Анализ систем управления виртуальными кластерами, экспериментальное сравнение накладных расходов гипервизоров в системах управления виртуальными кластерами, обзор технологий виртуализации и платформ виртуализации (VMware vSphere, OpenStack Dashboard, FishDirector, Xen Virtual Cluster Manager, LXC Linux containers идр.) В результате анализа производительности для построения облачной среды виртуального суперкомпьютера была выбрана технология контейнеров приложений LXC, использованная в созданном прототипе вычислительной среды.
- Тестирование прототипа облачной среды на реальных гидродинамических задачах, перенос и оптимизация конкретных приложений в разнородной среде. Такие работы были проведены для пакета OpenFOAM на прикладных гидродинамических задачах. Было показано, что система, основанная на концепции контейнеров приложений, эффективно использует физические ресурсы и вносит минимальные накладные расходы на управление виртуальной инфраструктурой.
- Исследование способов интеграции гибридных систем на основе GPGPU в среду виртуального суперкомпьютера. Оценка эффективности гибридных систем для выполнения распространенных вычислительных программных пакетов (OpenFOAM, ANSYS, ViennaCL).
Библиографический список всех публикаций по проекту за весь период выполнения проекта, в порядке значимости: монографии, статьи в научных изданиях, тезисы докладов и материалы съездов, конференций и т.д.
Монографии (главы в монографии):
1. Virtual Supercomputer as basis of Scientific Computing / Alexander Bogdanov, Alexander Degtyarev, Vladimir Korkhov, Vladimir Gaiduchok, Ivan Gankevich // Horizons in Computer Science Research. — New York: Nova Science Publishers, Inc., 2015. — Vol. 11, — 159-198 P
2. Adam S.Z. Belloum, Reggie Cushing, Spiros Koulouzis, Vladimir Korkhov, Dmitry Vasunin, Victor Guevara-Masis, Zhiming Zhao, Marian Bubak. Support for Cooperative Experiments in e-Science: From Scientific Workflows to Knowledge Sharing, chapter in Identification of Ligand Binding Site and Protein-Protein Interaction Area, in Series: FOCUS ON STRUCTURAL BIOLOGY vol 8. pp 135-159, ISBN 978-94-007-5284-9 — Dordrecht: Springer, 2013.
Публикации Web of Science и Scopus:
3. I. Gankevich, Y. Tipikin, A. Degtyarev, V. Korkhov Novel approaches for distributing workload on commodity computer systems // Lecture Notes in Computer Science, 2015. — Vol. 9158, — P. 259-271.
4. A. Degtyarev and I. Gankevich Hydrodynamic Pressure Computation under Real Sea Surface on Basis of Autoregressive Model of Irregular Waves // Physics of Particles and Nuclei Letters, 2015. — Vol. 12, — № 3. — P. 389-391
5. Alexander V. Bogdanov, Vladimir V. Mareev, and Elena N. Stankova Hybrid Approach Perturbed KdVB Equation. O. Gervasi et al. (Eds.): ICCSA 2015, Part IV, LNCS 9158, pp. 331–341, 2015. DOI: 10.1007/978-3-319-21410-8_26
6. Alexander V. Bogdanov, Thurein Kyaw Lwin, and Elena Stankova Storage Database System in the Cloud Data Processing on the Base of Consolidation Technology. O. Gervasi et al. (Eds.): ICCSA 2015, Part IV, LNCS 9158, pp. 311–320, 2015. DOI: 10.1007/978-3-319-21410-8_24
7. Abrahamyan S. A., Balyan S.G., Ter-Minasyan H. A., Waizenauer A., Korkhov V.V. Distributed collaboration based on mobile infrastructure. //Lecture Notes in Computer Science, 2015. — Vol. 9158, — P. 354-368
8. Vladimir Korkhov, Sergey Kobyshev, Artem Krosheninnikov Flexible configuration of application-centric virtualized computing infrastructure // Lecture Notes in Computer Science, 2015. — Vol. 9158, — P. 342-353
9. Gankevich I., Tipikin Yu., Gaiduchok V. Subordination: Cluster management without distributed consensus // Proceedings of International Conference on High Performance Computing Simulation (HPCS), 2015. — P. 639-642
10. Bogdanov A., Gaiduchok V., Nabil Ahmed, Amissi Cubahiro, Gankevich I. Profiling Scheduler for Efficient Resource Utilization // Lecture Notes in Computer Science, 2015. — Vol. 9158, — P. 299-310
11. Yuzhanin A., Gankevich I., Stepanov E., Korkhov V. Efficient Asian option pricing with CUDA // Proceedings of International Conference on High Performance Computing Simulation (HPCS), 2015. — P. 623-628
12. Nikolai Iuzhanin, Tatiana Ezhakova, Valery Zolotarev, Vladimir Gaiduchok Development of the Configuration Management System of the Computer Center and Evaluation of Its Impact on the Provision of IT Services // Lecture Notes in Computer Science, 2015. — Vol. 9158, — P. 249-258
13. Ivan Gankevich, Vladimir Korkhov, Serob Balyan, Vladimir Gaiduchok, Dmitry Gushchanskiy, Yuri Tipikin, Alexander Degtyarev, Alexander Bogdanov Constructing Virtual Private Supercomputer Using Virtualization and Cloud Technologies // Proceedings of ICCSA’14. Lecture Notes in Computer Science, 2014. — Vol. 8584, — P. 341-354
14. Spiros Koulouzis, Dmitry Vasyunin, Reginald Cushing, Adam Belloum, Marian Bubak Cloud Data Federation for Scientific Applications // Lecture Notes in Computer Science, 2014. — Vol. 8374, — P. 13-22
15. G. Terstyanszky, T. Kiss, V. Korkhov, S.D. Olabarriaga Analyzing and Modeling of Medical Data on Distributed Computing Infrastructures // Proceedings of 47th Hawaii International Conference on System Sciences (HICSS), 2014. — P. 2918-2927
16. Kulabukhova N., Degtyarev A., Bogdanov A., Andrianov S. Simulation of space charge dynamics on HPC (2014) IPAC 2014: Proceedings of the 5th International Particle Accelerator Conference, pp. 1609-1611.
17. Gankevich I., Gaiduchok V., Gushchanskiy D., Tipikin Yu., Korkhov V., Degtyarev A., Bogdanov A., Zolotarev V. Virtual private supercomputer: Design and evaluation //Proceedings of CSIT 2013. IEEE Conference Proceedings, 2013. — Vol. 6710358, — P. 1-6
18. S. Olabarriaga, M. Jaghoori, V. Korkhov, B.D.C. Van Schaik and A. van Kampen. Understanding workflows for distributed computing: nitty-gritty details. Proceedings of the 8th Workshop on Workflows in Support of Large-Scale Science (WORKS’13), pp 68-76, ACM New York, NY, USA, 2013, ISBN: 978-1-4503-2502-8
19. V. Korkhov, A. Ivanov, N. Kulabukhova, A. Bogdanov, S. Andrianov. Virtual Accelerator: Distributed Environment for Modeling Beam Accelerator Control System. In proceedings of 13th International Conference on Computational Science and Its Applications (ICCSA 2013), 2013, June 24-27, 2013, Ho Chi Minh City, Vietnam, IEEE Conference Proceedings, pp 166-169 ISBN 978-0-7695-5045-9
20. V. Korkhov, D. Krefting, T. Kukla, G.Z. Terstyanszky, M.W.A. Caan, S.D. Olabarriaga. Exploring Workflow Interoperability for Neuroimage Analysis on the SHIWA Platform. Journal of Grid Computing, September 2013, Volume 11, Issue 3, pp 505-522. DOI: 10.1007/s10723-013-9262-7
21. Alexander B. Degtyarev, Arthur M. Reed. Synoptic and short-term modeling of ocean waves // International Shipbuilding Progress, 2013. — Vol. 60, — P. 523-553
Публикации в журналах ВАК:
22. Дик Г.Д., Дегтярев А.Б. К вопросу разработки модели формирования композиции ИТ-сервисов информационной системы на основе СОА с использованием теории нечетких множеств // ВЕСТНИК САНКТ-ПЕТЕРБУРГСКОГО УНИВЕРСИТЕТА. СЕРИЯ 10: ПРИКЛАДНАЯ МАТЕМАТИКА, ИНФОРМАТИКА, ПРОЦЕССЫ УПРАВЛЕНИЯ, 2015. — № 2. — С. 126-136.
23. Iakushkin O. O., Degtyarev A. B., Shvemberger S. V. Decomposition of the modeling task of some objects of archeological research for processing in a distributed computer system // Computer Research and Modeling, 2015. — Vol. 7, — № 3. — P. 525-529.
24. Guskov V. P., Gushchanskiy D. E., Kulabukhova N. V., Abrahamyan S., Balyan S., Degtyarev A. B., Bogdanov A. V. An interactive tool for developing distributed telemedicine systems // Computer Research and Modeling, 2015. — Vol. 7, — № 3. — P. 521-528.
25. Gankevich I. G., Degtyarev A. B. Efficient processing and classification of wave energy spectrum data with a distributed pipeline // Computer Research and Modeling, 2015. — Vol. 7, — № 3. — P. 517-520.
26. Богданов А. В., Дегтярев А. Б., Храмушин В. Н. Высокопроизводительные вычисления на гибридных системах: будут ли решены «задачи большого вызова»? // КОМПЬЮТЕРНЫЕ ИССЛЕДОВАНИЯ И МОДЕЛИРОВАНИЕ, 2015. — T. 7, — № 3. — С. 429-438
27. Degtyarev A. B., Myo Min Swe, Wunna Kyaw Cloud Computing for Virtual Testbed // Computer Research and Modeling, 2015. — Vol. 7, — № 3. — P. 753-758.
28. Дегтярев А. Б., Ежакова Т. Р., Храмушин В. Н. Алгоритмическое построение явных численных схем и визуализация объектов и процессов в вычислительном эксперименте в гидромеханике. // КОМПЬЮТЕРНЫЕ ИССЛЕДОВАНИЯ И МОДЕЛИРОВАНИЕ, 2015. — T. 7, — № 3. — С. 767-774.
29. Храмушин В. Н., Богданов А. В., Дегтярева Я. А., Захарчук Е. А., Тихонова Н. А., Фукс В. Р. Интерактивный графический инструментарий глобального вычислительного эксперимента в службе морских оперативных прогнозов. // КОМПЬЮТЕРНЫЕ ИССЛЕДОВАНИЯ И МОДЕЛИРОВАНИЕ, 2015. — T. 7, — № 3. — С. 641-648.
30. Bogdanov A. V., Gankevich I. G., Gaiduchok V.Yu., Yuzhanin N.V. Running applications on a hybrid cluster. // Computer Research and Modeling, 2015. — Vol. 7, — № 3. — P. 475-483.
31. Bogdanov A. V., Sone K.Ko., Zaya K. Performance of the OpenMP and MPI implementations on ultrasparc system. // Computer Research and Modeling, 2015. — Vol. 7, — № 3. — P. 485-491.
32. Bogdanov A. V., Thurein Kyaw Lwin Storage database in cloud processing. // Computer Research and Modeling, 2015. — Vol. 7, — № 3. — P. 493-498.
33. Bogdanov A. V., Zaya K., Sone K.Ko. Improvement of computational abilities in computing environments with virtualization technologies. // Computer Research and Modeling, 2015. — Vol. 7, — № 3. — P. 499-504.
34. Gankevich I. G., Balyan S., Abrahamyan S., Korkhov V.V. Applications of on-demand virtual clusters to high performance computing. // Computer Research and Modeling, 2015. — Vol. 7, — № 3. — P. 511-516.
35. Yuzhanin N.V., Tipikin Yu.A., Gankevich I.G., Zolotarev V.I. Computational task tracking complex in the scientific project informational support system. // Computer Research and Modeling, 2015. — Vol. 7, — № 3. — P. 615-620.
36. Bogdanov A.V., Thurein Kyaw Lwin Query optimization in relational database systems and cloud computing technology. // Computer Research and Modeling, 2015. — Vol. 7, — № 3. — P. 649-655.
37. Богданов А.В., Мареев В.В., Степанов Э.А., Панченко М.В.Моделирование поведения опционов. Формулировка проблемы. // КОМПЬЮТЕРНЫЕ ИССЛЕДОВАНИЯ И МОДЕЛИРОВАНИЕ, 2015. — T. 7, — № 3. — С. 759-766.
38. Дегтярев А.Б., Храмушин В.Н. Проектирование и построениевычислительных экспериментов в гидромеханике с использованием явныхчисленных схем и алгоритмов тензорной математики //МАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИЕ, 2014. — T. 26, — № 11. — С.4-17
39. Дик Г.Д., Дегтярев А.Б. Выбор ИТ-сервисов информационнойсистемы с целью повышения эффективности функционированиятранспортной логистической системы // ИЗВЕСТИЯ САНКТ-ПЕТЕРБУРГСКОГО ГОСУДАРСТВЕННОГОЭЛЕКТРОТЕХНИЧЕСКОГО УНИВЕРСИТЕТА «ЛЭТИ», 2014. — № 5. —С. 17-24
40. А. Богданов, Е Минт Н. Сравнение нескольких платформ облачных вычислений. Вестник СПбГУ, серия 10, № 2, СС.103 – 111. 2013.
Публикации в изданиях, индексируемых РИНЦ, и в трудах международных конференций:
41. Vladimir Korkhov, Ivan Gankevich, Alexander Degtyarev, Alexander Bogdanov, Vladimir Gaiduchok, Nabil Ahmed, Amissi Cubahiro Experience in Building Virtual Private Supercomputer // International Conference on Computer Science and Information Technologies, 2015. — P. 220-223
42. I.Gankevich, A.Degtyarev Computation of Pressures in Inverse Problem in Hydrodynamics of Potential Flow // Proceedings 12th International Conference on the Stability of Ships and Ocean Vehicles, 2015. — P. 1117-1122
43. Bogdanov A.V., Khramushin V.N. Tensor Arithmetic, Geometry and Mathematical Principles of Fluid Mechanics in the Implementation of Direct Computational Experiments. // International Conference on Mathematical Modeling and Computational Physics (MMCP-2015), Book of Abstracts. FEE&I TU Kosice, 2015, 96 p.
44. Degtyarev A.B., Khramushin V.N. Coordinate Systems, Numerical Objects and Algorithmic Operations of Computational Experiments in Fluid Mechanics. // International Conference on Mathematical Modeling and Computational Physics (MMCP-2015), Book of Abstracts. FEE&I TU Kosice, 2015, 96 p.
45. Дегтярев А. Б., Ежакова Т. Р., Храмушин В. Н. Алгоритмическое построение явных численных схем и визуализация объектов и процессов в вычислительном эксперименте в гидромеханике // Распределенные вычисления и грид-технологии в науке и образовании (Grid-2014, Distributed Computing and Grid-Technologies in Science and Education) — г. Дубна, — 2014. — С. 70
46. A.Degtyarev, V.Khramushin, V.Mareev Design and Construction ofComputer Experiments in Fluid Mechanicsand Ship Stability // 14thInternational Ship Stability Workshop, 2014. — P. 187-198
47. A.Degtyarev, I.Gankevich Calculation Scheme for Wave Pressures withAutoregression Method // 14th International Ship Stability Workshop, 2014. —P. 135-139
48. I. Gankevich, S. Balyan, S. Abrahamyan, V. Korkhov Applications ofon-demand virtual clusters to high performance computing // Book of abstractsof the 6th International Conference on Distributed Computing and GridTechnologies in Science and Education —Dubna, — 2014
49. Bogdanov A., Degtyarev A., Khramushin V. High Performance computations on hybrid systems will “GRAND CHALLENGES” be solved? //Grid-2014, Distributed Computing and Grid-Technologies in Science andEducation — Dubna, — 2014.
50. БалянС. Г., РаловецР. В., АбраамянС. А., ЮжанинН. В.Функциональности системы управления виртуальными кластерамиFishDirector и проверка ее эффективности // Процессы управления иустойчивость, 2014. — Vol. 1, — P. 283-288
51. I. Gankevich, A. Degtyarev Efficient processing and classification ofwave energy spectrum data with a distributed pipeline // Book of abstracts ofthe 6th International Conference on Distributed Computing and GridTechnologies in Science and Education — Dubna, — 2014. — P. 25
52. Богданов А.В., Дегтярев А.Б., Храмушин В.Н. Проектирование ипостроение вычислительного эксперимента – формализация числовыхструктур и математических операций // Современные методы прикладнойматематики, теории управления и компьютерных технологий, 2014. — С.31-48
53. Balyan S.G., Ralovets R.V., Abrahamyan S.A., Yuzhanin N.VFunctionalities of virtual cluster management system FishDirector and check ofits efficiency // The XLV annual international conference on Control Processesand Stability (CPS’14). Abstracts — St. Petersburg: Publishing HouseFedorova G.V., — 2014. — P. 55
54. V. Gaiduchok, N. Yuzhanin, I. Gankevich, A. Bogdanov RunningApplications on a Hybrid Cluster // Book of abstracts of the 6th InternationalConference on Distributed Computing and Grid Technologies in Science andEducation — Dubna, — 2014. — P. 24
55. Ганкевич И.Г., Дегтярев А.Б. Методы распределения нагрузки намногопроцессорную систему // Процессы управления и устойчивость:Труды 35-й научной конференции факультета ПМ-ПУ СПбГУ, 2014. — T.1(17), — С. 295-300
56. Гайдучок В.Ю., Корхов В.В., Раловец Р.В., Южанин Н.В. ВЫБОРСИСТЕМЫ УПРАВЛЕНИЯ ВИРТУАЛЬНЫМИ КЛАСТЕРАМИ НАПРИМЕРЕ ВЫЧИСЛИТЕЛЬНОГО ЦЕНТРА СПБГУ // СОВРЕМЕННЫЕМЕТОДЫ ПРИКЛАДНОЙ МАТЕМАТИКИ, ТЕОРИИ УПРАВЛЕНИЯ ИКОМПЬЮТЕРНЫХ ТЕХНОЛОГИЙ (ПМТУКТ-2014), 2014. — С. 81-83
57. Раловец Р.В., Гайдучок В.Ю. СРАВНЕНИЕ НАКЛАДНЫХРАСХОДОВ ГИПЕРВИЗОРОВ В СИСТЕМАХ УПРАВЛЕНИЯВИРТУАЛЬНЫМИ КЛАСТЕРАМИ // СОВРЕМЕННЫЕ МЕТОДЫПРИКЛАДНОИ МАТЕМАТИКИ, ТЕОРИИ УПРАВЛЕНИЯ ИКОМПЬЮТЕРНЫХ ТЕХНОЛОГИЙ (ПМТУКТ-2014), 2014. — С. 291-294
58. Богданов А. В., Дегтярева Я. А., Тихонова Н. А., Храмушин В. Н.Интерактивный вычислительный инструментарий глобальноговычислительного эксперимента в службе морских оперативных прогнозов// Распределенные вычисления и грид-технологии в науке и образовании(Grid-2014, Distributed Computing and Grid-Technologies in Science and Education) — г. Дубна, — 2014. — С. 85-86
59. Дегтярев А. Б., Ежакова Т. Р., Храмушин В. Н. Алгоритмическоепостроение явных численных схем и визуализация объектов и процессов ввычислительном эксперименте в гидромеханике // Распределенныевычисления и грид-технологии в науке и образовании (Grid-2014,Distributed Computing and Grid-Technologies in Science and Education) — г.Дубна, — 2014. — С. 70
60. Bogdanov A.V., Mareev V.V., Stankova E.N. High PerformanceAlgorithms for Multiphase and Multicomponent Media // Proceeding Book ofthe 14th International Ship Stability Workshop, 2014. — P. 242-245
61. Богданов А.В., Тхурейн Киав Лин Технологии хранения данныхдля распределенных универсистетских центров // СОВРЕМЕННЫЕМЕТОДЫ ПРИКЛАДНОЙ МАТЕМАТИКИ, ТЕОРИИ УПРАВЛЕНИЯ ИКОМПЬЮТЕРНЫХ ТЕХНОЛОГИЙ(ПМТУКТ-2014), 2014. — С. 46-49
62. Ivan Gankevich, Vladimir Gaiduchok, Dmitry Gushchanskiy, Yuri Tipikin, Vladimir Korkhov, Alexander Degtyarev, Alexander Bogdanov. Virtual Private Supercomputer: Design and Evaluation // Proceedings of IX International Conference on Computer Science and Information Tecnologies (CSIT’2013) — Yerevan, Armenia, — 2013. — P. 275-278
63. Alexander Degtyarev, Guskov Vadim, Alexander Eroshkin. Optimal Service Set Construction for Complex Problem Solution // Proceedings of IX International Conference on Computer Science and Information Tecnologies (CSIT’2013) — Yerevan, Armenia, — 2013. — P. 323-325
64. Ivan Gankevich, Alexander Degtyarev. Model of distributed computations in virtual testbed // Proceedings of IX International Conference on Computer Science and Information Tecnologies (CSIT’2013) — Yerevan, Armenia, — 2013. — P. 240-244
65. Ilarion Ishkulov, Alexander Degtyarev, Ivan Gankevich, Vladimir Gaiduchok, Yury Tipikin, Vladimir Korkhov. Tools for Modelling and Simulation Cloud Computing Infrastructure // Proceedings of IX International Conference on Computer Science and Information Tecnologies (CSIT’2013) — Yerevan, Armenia, — 2013. — P. 298-301
66. Dmitry Gushchanskiy. Ontology Structure and Processing in the Test Generation System // Proceedings of IX International Conference on Computer Science and Information Tecnologies (CSIT’2013) — Yerevan, Armenia, — 2013. — P. 133-136
67. Alexander Bogdanov, Vladimir Orekhov, Vladimir Gaiduchok. The methodology of application development for hybrid architectures // Proceedings of IX International Conference on Computer Science and Information Tecnologies (CSIT’2013) — Yerevan, Armenia, — 2013. — P. 272-274
68. Бусько И. В., Дегтярев А. Б. Идентификация параметров волнения в бортовой интеллектуальной системе. Линейный случай. // Процессы управления и устойчивость: Труды 44-й международной научной конференции аспирантов и студентов — г. СПб., — 2013. — С. 413-419
69. Degtyarev A., Gankevich I. Hydrodynamic pressure computation under real sea surface on basis of autoregressive model of irregular waves // Book of Abstr. of the international conference «Mathematical Modeling and Computational Physics» (MMCP’13) — Dubna, Russia, — 2013. — P. 65
70. N. Kulabukhova, V. Korkhov, S. Andrianov. Virtual Accelerator: Software for Modeling Beam Dynamics. In proceedings of 9th International Conference on Computer Science and Information Technologies (CSIT 2013), 23 - 27 September, 2013, Yerevan, Armenia, pp 305-308
71. A. Bogdanov, V. Orekhov, V. Gaiduchok. The methodology of application Development for hybrid Architectures. Proceedings of IX International Conference on Computer Science and Information Tecnologies (CSIT’2013) — Yerevan, Armenia, — 2013, pp 272-274.
72. T.K. Lwin, E.Stankova, A. Bogdanov. Using distributed database System and consolidation Resources for data servers. Proceedings of IX International Conference on Computer Science and Information Tecnologies (CSIT’2013) — Yerevan, Armenia, — 2013. pp 290-294
73. P.S. Ko Ko, K. Zaya, A. Bogdanov. Network performance Comparison of multiple Virtual machines. Proceedings of IX International Conference on Computer Science and Information Tecnologies (CSIT’2013) — Yerevan, Armenia, — 2013. pp 314-318.
74. P.S. Ko Ko, K. Zaya, A. Bogdanov. Approach to effective and efficient cloud computing environment. Proceedings of IX International Conference on Computer Science and Information Tecnologies (CSIT’2013) — Yerevan, Armenia, — 2013. pp 319-322