Северо-Кавказский федеральный университет (СКФУ) 22 мая 2017 года объявил об успешной интеграции технологии NVIDIA GRID в научно-исследовательский и учебный процесс своих ведущих кафедр. Внедрение комплексной инфраструктуры VDI позволило сотрудникам и студентам СКФУ существенным образом сократить временные затраты на выполнение научных расчетов на фоне значительного снижения эксплуатационных расходов вычислительного комплекса СКФУ в целом.
СевероКавказский федеральный университет — одно из крупнейших образовательных учреждений юга России. В работе 94 кафедр университета принимают участие 1879 преподавателей, в том числе 277 докторов наук и 1200 кандидатов наук. В вузе одновременно обучаются более 24 тыс. человек, представляющих большинство регионов России и 30 зарубежных государств.
О компании NVIDIA
NVIDIA — это компания, занимающаяся вычислениями в области искусственного интеллекта. Изобретенный NVIDIA в 1999 году графический процессор (GPU), стал не только катализатором роста рынка ПКигр, но и изменил наши представления о компьютерной графике и революционизировал параллельные вычисления. Эффективная работа с алгоритмами глубокого обучения на GPU стала важнейшей предпосылкой взрывного роста технологий искусственного интеллекта и началом новой эры вычислений, где GPU действует в качестве мозга компьютеров, роботов и самоуправляемых автомобилей, которые способны воспринимать и понимать окружающий мир. Узнать больше об NVIDIA — www.nvidia.ru, https://vk.com/nvidia.
Научноисследовательская работа в университете осуществляется в 13 научноисследовательских институтах и центрах. В СКФУ представлено 27 научных школ и 47 научных направлений, реализуется 192 специальности высшего профессионального образования.
Базовые предпосылки внедрения NVIDIA GRID
«Компьютерное моделирование, вычислительный эксперимент, высокопроизводительные и параллельные вычисления активно используются как инструмент научных исследований и предмет обучения на многих кафедрах нашего университета, — отмечает Константин Эдуардович Ловцкий, к.ф.м.н., проректор по информационным технологиям СКФУ. — Наиболее востребованы эти тематики учеными в пяти институтах СКФУ, а также студентами, обучающимися работе с графическими приложениями, системами автоматизированного проектирования и моделирования».
Среди институтов, активно занимающихся высокопроизводительными вычислениями, —институты информационных технологий и телекоммуникаций, математики и естественных наук, нефти и газа, электроэнергетики, электроники и нанотехнологий, а также строительства, транспорта и машиностроения. Для вычислений при работе с исследовательскими и прикладными проектами, а также для учебного процесса в СКФУ широко используются такие пакеты, как Autodesk 3DS Max 2014, Autodesk AutoCAD 2011, MathWorks MATLAB Builder EX, MATLAB Builder JA, MicroFe 2016 Подсистема Статика ГРУНТ, MicroFe СДК 2016, NI LabView Teaching Only, PLAXIS 2D, PLAXIS 3D, QChem, SCAD office КОМПЛЕКТ УН S392, SolidWorks SWRТехнология, SolidWorks SWRЭлектрика. Будущие инженеры и специалисты изучают такие приложения и учебные комплекты, как «ЛИРА 10.4 Full для вузов», «Лира 10.4 mini», СТАРКОН 2016, Artisan Rendering для КОМПАС3D V14, «Компaс3D V14. Проектирование и конструирование в машиностроении», «Компaс3D: Расчетноинформационная система Электронный справочник Конструктора» и «Компaс3D: Система прочностного анализа APM FEM V14 для Компaс3D V14».
При проектировании вычислительного комплекса СКФУ изначально пришлось учитывать тот факт, что постоянная потребность в высокопроизводительных вычислениях существует у множества институтов университета, лаборатории и учебные классы которых распределены на большой территории. Кроме того, ключевым требованием к создаваемому вычислительному центру также стала необходимость учета широкого спектра разнообразных потребностей в вычислениях в рамках учебных и научных работ, осуществляемых в стенах СКФУ.
Начальные условия и постановка задачи
На момент принятия решения о внедрении технологии NVIDIA GRID в СКФУ уже были знакомы с преимуществами VDI. Так, с 2013 года в университете была внедрена система виртуализации серверной инфраструктуры на базе блейдсерверов Cisco B220 M3 и Cisco B420 M3, а с 2014 года в компьютерных классах были запущены пилотные зоны VDI на программной платформе VMWare.
Инфраструктура VDI обеспечивает высокую безопасность и быстрое восстановление ITсистем после сбоя, управляемость, сокращение затрат на обслуживание (долгосрочный TCO), а также гибкость для пользователей и администраторов.
«Такие варианты VDI, как vSGA и vDGA, нас не устроили: в первом случае по быстродействию, во втором — по цене каждой ВМ. Таким образом, было принято решение и далее развивать серверную виртуализацию и VDI, — рассказывает Константин Эдуардович Ловцкий. — Однако с учетом полученного опыта мы обнаружили очень медленную работу программного обеспечения для САПР. Графические интерфейсы ПО работали с задержкой и низким откликом. На повестке дня остро встал вопрос реализации VDIинфраструктуры с поддержкой графических ускорителей».
Поиск решения и его внедрение
При выборе решения, на годы определяющего будущее высокопроизводительной вычислительной инфраструктуры университета, в расчет принимались многие экономические и технические факторы, такие как стоимость, гибкость решения, в части выделения ресурсов отдельным виртуальным машинам (удельная стоимость на ВМ при фиксированном приросте производительности). Одним из решающих факторов при выборе подходящих технологий стала совместимость уже имеющейся в наличии серверной инфраструктуры университета с новым оборудованием.
Решением, максимально соответствующим заданным критериям выбора, оказалась технология NVIDIA GRID.
NVIDIA GRID — это технология аппаратной виртуализации графического процессора, обеспечивающая полноценную графику уровня рабочих станций на виртуальных рабочих столах. По сути, NVIDIA GRID — это мощная производительная графическая станция со всеми ее преимуществами, перемещенная в облако без потерь в производительности и с полным доступом к любым приложениям с любого устройства — тонкого клиента, ноутбука или смартфона, независимо от операционной системы.
Cпециалисты СКФУ выбрали для формирования новой ITинфраструктуры серверы Cisco UCSCC240m4s / Intel Xeon E5E2690 v4 x2 / RAM 384Gb / 400 Gb SSD / vNIC / vFC и ускорители NVIDIA Tesla M60 с плотностью размещения — две карты на каждый сервер. В качестве гипервизора используется VMWare ESXi 6.0 U2; доставку приложений на рабочий стол обеспечивает VMWare Horizon View. Рабочие столы конфигурируются из плавающего пула виртуальных машин с «нулевыми» клиентами Dell Wyse p25 на базе чипов Teradici.
Решение для доставки приложений и рабочих столов выбиралось по принципу обеспечения совместимости с решением по виртуализации рабочих столов и серверной инфраструктуры, а также возможности поддержки работы с vGPU. Помимо того что на момент начала развертывания системы виртуализации серверной инфраструктуры в университете решение VMWare было лидером на рынке, конкурентные решения других производителей с аналогичным функционалом фактически отсутствовали.
Для обеспечения полноценных коммуникаций высокопроизводительных систем в формате VDI была сформирована новая сетевая инфраструктура. В качестве СХД используются системы хранения на флэшпамяти EMC VNX 7600 SSD и VNX 5300. Для пользователей обеспечена пропускная способность по каналам 100/1000 Мбит/c, для серверов — по каналам 10G/40G Ethernet. Технически использование личных устройств для работы в корпоративной сети (BYOD) допустимо в зоне действия университетской беспроводной сети WiFi (имеющей более 400 точек доступа).
Процесс внедрения NVIDIA GRID в СКФУ — от разработки концепции до пилотного запуска и внедрения — занял примерно год. Внедрение инфраструктуры рабочих столов производилось поэтапно, подключение к проекту для решения научных задач производилось по запросу подразделения (кафедры или института), ведущего эти работы.
Во время рабочего дня созданная инфраструктура задействуется в комбинированном режиме — VDI и высокопроизводительные вычисления, а в остальное время ресурсы графических процессоров используются для решения вычислительных задач, в том числе в режиме запуска ОС с прикладной задачей непосредственно на серверах без средств виртуализации (baremetal).
В настоящее время система поддерживает до 32 пользователей на карту или 16 на GPU одновременно, а кроме того, применяется профиль 0q для VDI. Для высокопроизводительных вычислений используется другая конфигурация, которая выбирается индивидуально, в зависимости от применяемого программного обеспечения и решаемых задач (в том числе для обеспечения поддержки технологии CUDA).
Результат и перспективы
«На сегодняшний день доступ к платформе с поддержкой NVIDIA GRID организован для 270 рабочих мест студентов, изучающих и использующих САПР или графические пакеты, и около 30 рабочих мест сотрудников университета, аспирантов, применяющих графические системы или выполняющих НИР с использованием высокопроизводительных параллельных вычислений на GPU, — отмечает Константин Эдуардович Ловцкий. — Студенты и аспиранты активно используют решения VDI. Отзывы главным образом положительные. Университет территориально размещен в большом количестве зданий, и возможность гибкого доступа к персональным рабочим столам востребована».
Благодаря использованию NVIDIA GRID ученые университета получили современный инструмент, позволяющий проводить исследования, выполнять моделирование различных процессов (например, в области вычислительной химии, геологического и гидродинамического моделирования нефтяных и газовых месторождений) как с применением стандартных математических пакетов (в частности MathWorks MATLAB) и специализированного ПО (Qchem, Roxar RMS, и т.д.), поддерживающего работу на GPU, так и путем разработки собственного ПО, использующего архитектуру параллельных вычислений NVIDA CUDA (в частности, для ускорения обучения нейронных сетей в исследованиях в области искусственного интеллекта).
Внедрение NVIDIA GRID обеспечило значительную гибкость рабочего и учебного процесса, повышение производительности, уменьшение количества обращений в службу поддержки и возможность применения удаленных рабочих столов в различных аудиториях в разных корпусах университета.
Значительно ускорилась работа всех приложений. Кроме того, в университете наконецто появилась возможность использовать в VDI приложения, требующие наличия графического ускорителя, — такие как САПР, а также выполнять вычисления на GPU, требующие высокой производительности.
В дальнейших планах СКФУ — распространение внедренных технологий внутри университета, увеличение числа пользователей и одновременно применяемых пакетов прикладного ПО.
