Высокопроизводительные вычисления в российской действительности: становление и развитие

Компания «Т-Сервисы», входящая в состав российского суперкомпьютерного холдинга «Т-Платформы», выступила исполнителем проекта, объявленного корпорацией «РОСНАНО», по формированию рынка суперкомпьютерных вычислений в наноиндустрии и промышленности для помощи инженерам и ученым в решении практических задач с помощью суперкомпьютерного моделирования.

Проект предоставил инженерам и исследователям полный комплекс услуг по постановке задач и подбору ПО, моделированию, суперкомпьютерным расчетам, анализу и интерпретации результатов. Предприятия смогли немедленно внедрить результаты моделирования и оценить его преимущества на практике. Такой подход направлен на активное формирование рынка коммерческих суперкомпьютерных расчетов при поддержке государства, радикально сокращая путь к новым технологиям в наукоемких отраслях промышленности. Проект также позволил оценить актуальный спрос на суперкомпьютерные расчеты и необходимость строительства суперкомпьютерного центра для наноиндустрии и других инновационных отраслей экономики.

Александр Мурашов, директор Центра вычислительной экспертизы

В рамках проекта, стоимость которого составила около 200 млн руб., в течение 10 месяцев было решено не менее 40 задач, требовавших суперкомпьютерного моделирования. Половина из них относилась к сфере нанотехнологий, остальные — к таким приоритетным отраслям, как авиа­ и судостроение, химическая промышленность, нефтедобыча, фармацевтика, строительство и пр. Задачи производственных и исследовательских организаций были представлены в соотношении 50:50. Финансирование каждой задачи частично осуществлялось корпорацией «РОСНАНО». До этого все коммерческие риски брала на себя компания «Т­Сервисы», выбранная в качестве головного исполнителя проекта по итогам открытого конкурса. Задачи были решены на суперкомпьютере компании «Т­Платформы» производительностью 20 Тфлопс, а также вузов — партнеров компании, владеющих суперкомпьютерными центрами.

Подобный проект впервые был осуществлен в нашей стране.

Редакции журнала «САПР и графика» удалось пообщаться с Александром Мурашовым, директором Центра вычислительной экспертизы, который любезно согласился ответить на наши вопросы.

«САПР и графика»: Александр, расскажите подробнее о вашей компании: чем занимается, основные цели и направления ее деятельности, крупнейшие клиенты и т.д.

Александр Мурашов: Мы считаем, что наша компания была основана в чрезвычайно актуальное время. Понимание в научных коллективах и производственных компаниях того, что узкоспециализированная «вычислительная инженерия», или, иными словами, проведение численных экспериментов с применением суперкомпьютеров, необходима, чтобы создавать качественно новые изделия, пришло недавно. За последние несколько лет спрос на специалистов в этой области значительно вырос. Вузы откликнулись на этот спрос и стали приобретать суперкомпьютеры. При этом всем было ясно, что специалиста нужно готовить несколько лет, и не только в академических стенах, но и на практике. В результате производители стали либо использовать недоученных специалистов, а потом разочаровываться в получаемых результатах, либо искать соисполнителей подобных работ. Некоторым компаниям удалось завладеть хорошими специалистами, но это не решило проблемы, поскольку постановка решения задачи хоть и является одним из самых трудоемких этапов в численном моделировании, но и без инструмента счета программно­аппаратных комплексов — не обойтись. Тут и появилась наша компания, имеющая как нужных специалистов, так и вычислители с коммерческим ПО.

Считается, что основная цель коммерческой компании — только получение прибыли. Отличие нашей компании в том, что мы открываем новый рынок предложения, и мы надеемся, что наши качественные результаты породят спрос. Есть мнение, что появиться нужно было раньше, чтобы предотвратить распространение «лженауки», но тогда условий для существования компании еще не было и она могла бы исчезнуть, не развившись.

СГ: Какова история проекта?

А.М.: Корпорация «РОСНАНО» и Фонд инфраструктурных и образовательных программ (ФИОП) — весьма инновационные организации, они стараются предпринять неординарные шаги для создания условий для развития высокоинтеллектуальных изделий в России.

ФИОП, видя появление спроса на суперкомпьютерные вычислители и «вычислительную инженерию», решил поддержать эту тенденцию. Однако бездумный вклад  в нашем мире опасен. Поэтому ФИОП предварительно решил выяснить реальную потребность в компьютерных вычислениях. Был проведен данный открытый конкурс. Как нам рассказали позднее, участников было немного, но выбор был. В итоге исполнителями данного проекта оказались мы.

СГ: Расскажите, как удалось выиграть тендер по проекту (если он был), объявленному «РОСНАНО»?

А.М.: Вскрытие конвертов, как это водится, было закрытым. Нам лишь сообщили результаты. Действительно, нам удалось обойти несколько других компаний. Мы честно готовились к этому конкурсу, тщательно составляли конкурсную документацию (КД), собирали подтверждающие факты к каждому слову, сказанному в КД. Привели огромный документ под названием «Опыт компании». Сюда вошли самые интересные задачи, решенные нашими специалистами, — цели, задачи, постановки решения, результаты. Мы сами были удивлены столь большим результирующим документом.

СГ: Каковы характеристики суперкомпьютеров,  на которых производился счет?

А.М.: Мы имеем несколько суперкомпьютеров разных конфигураций. Мы не сторонники гетерогенных вычислителей, потому все они представлены разными машинами. Кроме того, зная специфические особенности различного прикладного ПО, мы имеем машины разных платформ и архитектур.

Самая большая машина построена на процессорах AMD Opteron 6100 Series Magny­Cours. На каждом вычислительном узле по два процессора с 24 вычислительными ядрами каждый. На борту каждого узла находится 64 Гбайт оперативной памяти. Узлы связаны между собой высокоскоростным интерконнектом QDR Infiniband (IB). Кластер имеет многоуровневую систему хранения данных, одна из которых построена на базе параллельного файлового хранилища Panasas. 

Наш первый кластер гораздо менее производительный и представляет собой 160 вычислительных ядер на базе процессоров Intel Xeon серии 54xx. Кластер также имеет быстрый интерконнект IB DDR.

Все вышеперечисленные машины представляют собой вычислители с распределенной памятью. В нашем арсенале есть машина с общей памятью. Она, как и головной кластер, построена на базе  четырех процессоров AMD Opteron Magny­Cours. Машина имеет 256 Гбайт оперативной памяти и служит для генерации расчетных сеток большой размерности, например для задач CFD или большого количества степеней свободы для задач прочности. Кроме того, на этой машине проводится анализ результатов. Есть еще несколько машин, но они, в сравнении с представленными, имеют гораздо более низкую производительность и выполняют роль отладочных вычислителей.

СГ: Какие специалисты и из какой компании будут исполнять конкретные задачи? Есть ли они вообще?

А.М.: Несомненно, такие исполнители есть. Дело в том, что жесткие условия по количеству и качеству задач в срок выполнить одной компании сложно. Задачи были не только «расчетные», где мы лишь предоставляли вычислительные мощности заказчику. Согласно спросу, предметные задачи (требующие реализации всех этапов решения) превалировали. Организации уже осознали, что сама постановка задачи является чрезвычайно сложным и узкоспециализированным делом.

Задачи отбирались по принадлежности к нанотехнологиям или приоритетным отраслям, целесообразности реализации решения задачи методами численного моделирования с применением суперкомпьютеров, степени инновационности проекта, экономического эффекта реализации расчета, практической применимости. В связи с этим, задачи могли затрагивать совершенно разные области науки. Поэтому соисполнители подбирались исходя из специфики задач. Учитывались опыт и база. Иногда требовались только специалисты по фундаментальным вопросам, иногда соисполнение было 100%­ным. В штате ЦВЭ только специалисты в области механики жидкости и газа и механики деформаций твердого тела. Все остальные задачи были переданы соисполнителям. Наши инженерные кадры — в основном выходцы из научных учреждений или научных подразделений производственных предприятий, поэтому основные соисполнители были из академических кругов. Это тоже было обоснованно, поскольку, несмотря на сложную ситуацию в этих кругах, фундаментальная и инженерная наука в некоторых подобных организациях представлена широко и качественно.

Из государственных организаций можно отметить Научно­исследовательский институт механики МГУ, Научно­исследовательский вычислительный центр МГУ, Центральный институт авиационного моторостроения им. Баранова, учреждение Российской академии наук «Институт теоретической и прикладной механики им. С.А. Христиановича Сибирского отделения РАН», Владимирский государственный университет, Пермский государственный научно­исследовательский университет, Томский государственный университет. Выше перечислены государственные учреждения. Однако были и коммерческие организации: ООО «ЭластСофт», ООО «Фидесис», ООО «АртТек», ООО «Научно­исследовательский центр специальных вычислительных технологий» (Нижний Новгород), ООО «Саровский инженерный центр» и др.

СГ: Как проходили расчеты?

А.М.: Здесь всё очень зависело от типа задачи. Самые несложные в описании — так называемые «расчетные». Нами был создан специальный шаблон технического задания (ТЗ) — анкета. Там достаточно много вопросов, ответы на которые предоставляют исчерпывающую информацию — даже такую, как ориентировочная нагрузка на систему хранения данных, регламент работы (в какой очередности какие модули будут запускаться), и т.п.

После этого подготавливался специально выбранный под конкретную задачу суперкомпьютер. При необходимости суперкомпьютер соисполнителя брался в управление нашей компанией, настраивалось ПО. Случалось, что необходимо было изменить настройки вычислителя, чтобы масштабируемость используемого ПО на кластере была оптимальной. Бывало, что заказчик не мог определить необходимые мощности, поскольку не мог интерполировать существующие знания о масштабируемости пакета на большие вычислители. В таком случае мы проводили тестирование этого ПО, а иногда даже его адаптацию под конкретный суперкомпьютер. Саму работу (вычисления) выполнял заказчик на подготовленном программно­аппаратном комплексе.

Решение предметных задач оказалось более сложным. Сведу его к краткому описанию последовательности действий. Конечно, в ходе решения задач приходилось возвращаться к начальным этапам и заново проходить весь путь. Решение предметных задач можно описать так: переговоры с заказчиком, анализ проблемы, выбор стратегии и определение объемов поэтапно, согласование ТЗ, создание или импорт геометрической модели, создание или импорт конечно­элементной или конечно­объемной модели, формирование физической модели, проведение отладочных методических расчетов (чрезвычайно сложный этап), проведение серийных расчетов, обработка и интерпретация результатов, формирование отчетной документации в соответствии с ТЗ. Думаю, вышеописанные этапы достаточно стандартны при численном моделировании. Отдельно можно вынести этап «настройка прикладного ПО», однако зачастую это задачи нашего подразделения «Суперкомпьютерный центр». Кстати, в данном подразделении работают высококлассные специалисты. После этого проекта многие компании стали использовать их опыт и знания.

СГ: Оборонные предприятия относятся к разряду секретных, поэтому они не могут отдавать свои данные для расчетов на сторону. Как тут быть?

А.М.: Подобные задачи попасть в этот проект ввиду секретности не могли. Но мы решаем такие задачи вне проекта. Существует несколько вариантов, которые зависят от уровня секретности. Во­первых, наша компания и специалисты имеют форму секретности. Наши вычислители находятся на территории закрытого предприятия и доступ к системам хранения данных, как минимум, ограничен уже этим. Во­вторых, секретным является изделие в целом или агрегат, а какая­то подсистема может не быть секретной. Такие случаи тоже были, и неоднократно. Иногда мы рассчитываем отдельные части и даже не подозреваем, к чему это может относиться и что с этим будет в дальнейшем.

СГ: Каково распределение заказчиков по отраслям и типу задач?

А.М.: По результатам восьми заседаний Экспертного совета «РОСНАНО» к решению было отобрано 47 инновационных задач. Больше половины из них принадлежали к наноотрасли, остальные — к промышленности. Заказчики были абсолютно разные — как частные лица, так и коммерческие компании и научные коллективы. Если попробовать вспомнить распределение по отраслям, то ориентировочные цифры такие: авиастроение и химическая отрасль по ~ 15%, фармацевтика ~ 10%, строительство, нефтегазовая и судостроительные отрасли в среднем по ~ 5%. Наибольшую долю занимает энергомашиностроение ~ 25%. Другие инновационные отрасли приблизительно тоже 25%.

СГ: Какие задачи уже нашли применение?

А.М.: Свое применение нашли несколько задач, например системы водоподготовки — задача по моделированию течений в контактных резервуарах. В коммунальном хозяйстве в подавляющем большинстве технологий водоподготовки для целей очистки и обеззараживания воды используются химические реагенты, которые, смешиваясь с водой, поступают в специальные (контактные) проточные резервуары, где раствор должен находиться определенное время для обеспечения завершения химических реакций. Требование по обеспечению необходимой продолжительности контакта каждого индивидуального объема воды с введенным в него реагентом относится к разряду жизненно важных. Невыполнение подобного требования может превратить коммунальное водоснабжение из средства жизнеобеспечения населения в средство массового поражения. Предварительные оценки и расчеты показали, что в широко употребляемых в строительной практике резервуарах в форме прямоугольного параллелепипеда возникают «быстрые» траектории, по которым вода проходит от входа к выходу за короткое время, и крупные вихри, где вода задерживается довольно долго. Результаты расчетов показали, что оптимальным решением является объемный лабиринт, который минимизирует застойные зоны и делает время нахождения любых микрообъемов жидкости в резервуаре примерно одинаковым и вполне приемлемым для полноценной очистки. Значимость проекта определяется ожидаемым результатом, который позволит исключить риски, связанные с реагентной обработкой воды, а также повысить экологичность и экономичность технологий водоподготовки. При переходе к «правильному» проектированию контактных резервуаров, конструкция которых выбрана по результатам реализации настоящего проекта, экономический эффект только на контактных резервуарах обеззараживания при средней удельной стоимости строительства резервуаров составит 5­10 млрд руб.

СГ: Почему вы считаете, что проведенные расчеты верны, актуальны и выгодны?

А.М.: Вероятно, вы имеете в виду вопросы верификации? Каждый наш специалист на некоторых типах задач, можно сказать, собаку съел. Ими уже верифицированы методы и подходы к таким задачам эмпирически — это было во времена, когда они были сотрудниками производств и экспериментальных организаций. Те задачи, которые менее знакомы на этапе «методических исследований» или имеют малоизвестные модели, верифицировались на упрощенных моделях с аналитическими решениями или на экспериментальных данных, предоставляемых заказчиком. То есть ТЗ состояло из двух этапов: сначала создание математической модели существующей у заказчика аналогичной конструкции, для которой уже есть экспериментальные данные, и только потом расчет новых конструкций изделия. 

СГ: Есть общепринятые подходы к решению задач, методы и инструменты. Что необычного предприняли вы? Или краткосрочность проекта не позволила искать неординарные решения?

А.М.: У наших заказчиков были действительно неординарные задачи, и они требовали аналогичного подхода. Иногда заказчики просили выдавать результаты в виде, не преду­смотренном существующими пакетами инженерного анализа. К счастью, коммерческие пакеты позволяют применять пользовательские подпрограммы. И мы их писали. Часть задач требовала способов решения, которые еще не внедрены в коммерческое ПО, либо методики их решения вообще отсутствуют. Мы сами писали код или разрабатывали математическую модель.

СГ: Какие задачи показались наиболее легкими, а какие — наиболее сложными?

А.М.: Были задачи, которые из расчетных плавно перетекали в предметные. Предметные задачи на 90% были сложными. С простыми задачами в этот проект заказчики не приходили вообще.

СГ: В вашей компании много специалистов, в том числе наемных, которые были объединены одним проектом. Изменился ли их взгляд на CAE­вычисления за счет широкого круга задач, клиентов и т.п.

А.М.: Действительно, ушло ощущение существования нерешаемых задач. Есть задачи сложно решаемые. Если задачу невозможно решить в лоб, ее необходимо решать другими способами или подходами. Если программный инструмент, принятый к решению, не мог стандартными средствами решить задачу, дописывался модуль, менялся сам инструмент. Главное — верифицировать созданное, прежде чем приступить к решению и выдавать результаты.

СГ: Проект был посвящен анализу и формированию рынка высокопроизводительных вычислений. Что вы можете сказать об этом рынке?

А.М.: В некотором смысле рынок был создан. Прежде всего, мы определили, в каком он состоянии. В одной из публикаций мы уже дали ему определение — он разрозненный. Анализ того, почему он еще не организован, заслуживает отдельной статьи. Но мы знаем, как с этим бороться. К нашей радости, причины этого отнюдь не технические, а в основном политические и организационные. Однако, к сожалению, большую роль играет человеческий фактор — фактор привычки и неубеждаемости, недоверия и собственной переоценки.

СГ: Можно ли сказать, что, выполнив столь масштабный проект, затронувший всю Россию, ваша компания стала монополистом или законодателем?

А.М.: В процессе поиска соисполнителей мы пришли к выводу, что наша компания по концепции, действительно, почти единственная и может служить примером. Но монополистом ее точно нельзя назвать. Мы считаем, что монополистами, к сожалению, становятся конгломераты маленьких компаний, вместо результатов выдающие «за дешево» красивые картинки. Для нас, да и для страны в целом, это весьма плачевно. Хотелось бы на своем примере и примере наших соисполнителей показать иную сторону инженерных расчетов. В связи с этим мы не можем заявлять, что компания «Т­Сервисы» уже стала именем нарицательным, в отличие от группы компаний «Т­Платформы», хорошо зарекомендовавшей себя на рынке HPC­оборудования.

СГ: Будет ли продолжение этого проекта либо что­то подобное? Как вы оцениваете такие проекты, их целесообразность и способность достигать целей?

А.М.: Проект чрезвычайно хорош. Такие методы могут переломить существующую позицию инженерных расчетов и создать новые высокоинтеллектуальные изделия, с которыми можно и нужно выходить на мировой рынок. Да и широко применяемые изделия могут стать лучше, экологически выгоднее. Один пример систем водоподготовки питьевой воды чего стоит!

Мы рассчитываем на продолжение этого проекта. Однако решение может принять только «РОСНАНО». Мы надеемся, что положительные результаты этого проекта станут для экспертов и наблюдательного совета весомым аргументом.

Подобные проекты могут быть федерально­целевыми, но их следует иначе ставить и рассматривать.

СГ: Как вы оцениваете поданные ТЗ? Каковы их цели и задачи?

А.М.: Хороший вопрос. Оказалось, что многие заказчики видят лишь свою конечную цель. Зачастую они даже не представляют, что происходит внутри этих изделий, каким процессам следует уделить особое внимание. ТЗ почти во всех случаях мы писали совместно. Иногда не только цель, но и задачи первоначального ТЗ менялись. Нам было приятно видеть, что как только на этапе составления и согласования ТЗ заказчик достигал своей первоначальной цели, ТЗ составлялось уже на следующий этап.

СГ: Насколько плотно шла работа с заказчиком и соисполнителем?

А.М.: Пусть это и громко сказано, но на протяжении проекта мы работали буквально в одной команде, подразделении. Каждый новый результат для сложных проектов уже на этапе методических расчетов может изменить ход решения задачи.

СГ: Спецвыпуск 12­го номера журнала «САПР и графика» называется «Итоги и прогнозы». Каковы, на ваш взгляд, итоги прошедшего 2011 года для вас, и чего вы ждете для вашей компании в 2012 году?

А.М.: Так случилось, что все основные силы были брошены именно на проект с «РОСНАНО». В ходе проекта мы обрели новых клиентов, которые уже сейчас становятся нашими «серийными» заказчиками. Их устроило и качество выполнения поставленных задач, и сроки, за которые мы их выполнили. Появились новые задачи стратегического направления из области SaaS — тема, которую мы пытаемся развить. В заключение хочется сказать самое главное: в ходе проекта нам удалось отобрать очень сильных соисполнителей и тем самым расширить свои компетенции. А за счет решения неординарных задач мы обрели дополнительную функциональность. Так, до начала проекта наша компания не могла похвастаться опытом решения задач нанолитографии, молекулярной динамики, медицины и пр. Теперь мы умеем что­то из этого делать сами. Все эти наработки мы будем использовать и в дальнейшем.

СГ: Наш журнал обычно публикует материалы, связанные с СAD­ и PLM/PDM­системами, CAE­направление представлено не очень полно. Как вы считаете, насколько широко эти вопросы освещаются в других изданиях?

А.М.: Я бы сказал, что они практически не освещаются. А это очень важно. Люди, читающие журнал, посвященный САПР, несомненно интересуются подобными расчетами. Как пример, CAD­модель, наверное, затем неизбежно используется в CAE­приложениях, пусть даже для оценочных расчетов, которые своими результатами лишь определяют тенденцию. Считаю важным показывать, что численным экспериментом можно получать не только тенденцию, но и точный расчет и точный ответ на интересующий вопрос.

САПР и графика 12`2011