Трехмерная фотограмметрия, или От фотографии к 3D-модели

Анна Завтур
Директор по работе
с корпоративными заказчиками компании КРОК
Надежда Гришина
Руководитель направления информационного моделирования компании КРОК
Юрий Чалый
Системный инженер
департамента информационных технологий компании КРОК

В последнее время метод аэрофотосъемки — получения фото с высоты, в том числе и с помощью беспилотных летательных аппаратов (БЛА) — набирает по­пулярность как в архитектурных и строительных, так и в жилищно-коммунальных проектах.
В данной статье мы постарались проанализировать несколько программных комплексов, которые обрабатывают фотографии и строят по ним трехмерную модель. Кроме того, рассмотрели технологию обработки фото, а также методологию работы с программным комплексом и конкретные примеры моделей реально существующих объектов как зарубежных специалистов, так и отечественных, в частности опыт компании КРОК.

Введение

В наше время трехмерные технологии стали весьма востребованы в самых разных областях деятельности. 3D­моделирование является неотъемлемой частью таких сфер, как наука, промышленность, медицина, кинематограф и т.д.

Фотограмметрия родилась через 13 лет после изобретения фотографии. В 1852 году французский инженер Эмме Лосседа для создания плана местности получил первые перспективные снимки Парижа. Съемка была проведена с воздушного шара.

В наши дни под фотограмметрией [1] подразумевается научно­техническая дисциплина, занимающаяся определением формы, размеров, положения и иных характеристик объектов по их фотоизображениям. Метод получения фотоизображений может быть разнообразнейшим. От аэрофотосъемки с помощью дрона до наземной съемки с использованием автомобиля или даже ручная съемка на планшет или телефон.

Обзор существующих программных продуктов

В настоящее время на рынке присутствует довольно большое количество продуктов для создания трехмерной модели по фотографиям. В результате проведенных исследований были выбраны наиболее соответствующие нашим задачам продукты: PhotoScan (Agisoft), Pix4Dmapper (Pix4D), ContexCapture (Bentley Systems).

PhotoScan — это отечественный продукт, широко используемый специалистами, работающими с компьютерной графикой и профессиональными дизайнерами. Бюджетный и эффективный, PhotoScan является одним из ведущих решений для «полупрофессионального» рынка. Войти в перечень профессиональных решений продукту пока не позволяют такие недостатки, как слабые возможности масштабирования и низкая производительность.

Рис. 1. Результаты съемки после обработки Photoscan

Pix4Dmapper — разработанный в Швейцарии продукт, который сразу же стал использоваться для аэрофотосъемки с БЛА. Pix4Dmapper позиционируется как ведущее решение для работы с ортофотопланами, облаками точек и цифровыми моделями местности (ЦММ) на средних и малых проектах. К его плюсам можно отнести возможность редактирования ортофотоплана, детализацию модели, использование Pix4D большинством производителей БЛА в аппаратной связке с ПО дрона. Из недостатков: низкая производительность, ограниченные возможности масштабирования и взаимодействия с моделью.

ContexCapture — продукт французской фирмы Acute3D, которую в 2015 году поглотила компания Bentley Systems [2]. Продукт характеризуется как решение для автоматического и высокоточного построения 3D­моделей на основе простых фотографий, получаемых с помощью любого устройства — от смартфона до специализированных камер и сканеров. Решение обладает неограниченной масштабируемостью — от предмета до города. Точность представления ограничена только параметрами фотографий. Также важным преимуществом является возможность генерации не объемного облака точек, а трехмерного массива, который обладает свойствами геометрической модели. Решение выделяется своими промышленными характеристиками. К недостаткам можно отнести относительно слабые возможности по созданию интерьеров.

В итоге мы имеем три уникальных продукта, у каждого из которых есть свой набор как достоинств, так и недостатков.

Опыт зарубежных специалистов

Независимым экспертом [3] было проведено сравнение Pix4D и Agisoft. Для опыта использовался беспилотник DJI Phantom 2 и камера GoPro4. Следуя инструкциям на сайте поддержки Pix4D, была создана траектория полета дрона, настроены скорость и высота полета. Период съемки был установлен равным двум секундам.

Рис. 2. Результаты съемки после обработки Pix4Dmapper

В результате полета было сделано около 200 фотографий. После загрузки полученного массива фотографий в выбранные программные продукты были получены следующие результаты (рис. 1 и 2).

Видно, что качество моделей оказалось примерно одинаковым.Но было замечено, что у продукта Pix4D больше возможностей по работе с моделью, например, есть возможность изменения настроек в ее визуальном представлении (контраста, яркости, теплового баланса и пр.) или управления камерой в просмотрщике модели (включая свободное перемещение камеры во все стороны для «облета» модели, а не только вращение вокруг оси).

Следующий опыт [4] был проведен с объектами, для которых важна детализация. Для данных целей выбрали PhotoScan и ContexCapture. Были отобраны несколько скульптур и сделано 28 фотографий. Сборка производилась на рабочей станции со следующими параметрами:

• AMD Phenom X6 1090T @3.20GHz;
• 16 GB Ram DDR3;
• GeForce GTX 750 Ti 2048MB;
• GeForce GTX 465 1024MB.

В результате работы программных комплексов были получены результаты, показанные на рис. 3.

Рис. 3. PhotoScan (слева) и ContexCapture

Рис. 4. ContexCapture (слева) и PhotoScan

Большим преимуществом ContexCapture оказалось время сборки. В обоих случаях PhotoScan потребовалось 3 ч, чтобы собрать модель, в то время как ContexCapture справился за 45 мин. Также было установлено, что ContexCapture повышает разрешение в областях, где были сняты крупные планы, в отличие от PhotoScan.

Еще пример со сборкой более сложных и объемных моделей (рис. 4).

И в этом случае разница во времени оказалась заметной. PhotoScan — час, ContexCapture — 36 мин.

Личный опыт

Перед специалистами КРОК стояла задача получить трехмерный объект офисного здания компании КРОК в кратчайшие сроки. Полученные фото здания со всех сторон были обработаны с помощью ContexCapture. В результате была получена 3D­модель, которую мы выгрузили в голографический стол для демонстрации. Модель практически не отличается от реального объекта и представляет собой масштабированную копию здания и его окружения (рис. 5).

Рис. 5. Модель здания КРОК в формате виртуальной голограммы

В итоге вся работа заняла меньше одного рабочего дня. На создание эскиза модели вручную в 3D­редакторах понадобилось бы порядка 20­30 ч работы. Данная модель пока еще не может заменить проработанную модель, созданную инженером вручную, так как технология выдает много ошибок или неточностей изображения в макете. Однако эта технология идеальна для оперативного принятия решений и ситуаций, когда необходимо быстро получить вариант «грубой» визуализации.

Технологию создания 3D­модели на основе цифровых фотографий планируется использовать на объектах, по которым нет актуальной технической документации, а также для получения актуальной информации о текущем состоянии строительных площадок. В частности, данная технология уже применялась для получения моделей: транспортной развязки для дальнейшей реконструкции объекта, зданий и сооружений для контроля этапов строительства.

Описание технологии

В данном пункте представлено, как работают современные программные продукты по трехмерной фотограмметрии.

Информация о каждой фотографии записывается в специальный файл: высота, угол поворота камеры, данные долготы и широты. Программа использует технологии машинного зрения и фотограмметрии для нахождения общих точек на многих фотографиях. В результате каждому пикселю на фотографии находится цветовое соответствие на других фотографиях (рис. 6).

Рис. 6. Пример поиска ключевых точек

Каждое соответствие становится ключевой точкой [5]. Если ключевая точка найдена на трех фотографиях и более, программа строит эту точку в пространстве. Чем больше таких точек, тем лучше определяются координаты точки в пространстве. Следовательно, чем больше пересечений между фотографиями, тем точнее будет модель. Пересечение от 60 до 80% является оптимальным.

Пространственные координаты каждой точки вычисляются методом триангуляции: от каждой точки съемки к выбранной точке автоматически проводится линия зрения, и их пересечение дает искомое значение (рис. 7).

Рис. 7. Ключевые точки относительно модели

Кроме того, в фотограмметрии применяются алгоритмы, целью которых является минимизирование суммы квадратов множества ошибок. Обычно для решения используют алгоритм Левенберга — Марквардта (или метод связок), основанный на решении нелинейных уравнений методом наименьших квадратов.

В процессе обработки фотографий создается расширенное облако точек (совокупность всех 3D­точек), которое используется для генерирования поверхности, составленной из полигонов. В заключение вычисляется разрешение и определяется, какие пиксели на фотографии соответствуют какому полигону. Для этого 3D­модель развертывается в плоскость и затем пространственное положение точки ставится в соответствие оригинальной фотографии для задания цвета.

Перспективы развития и будущее отрасли

Как и у всякой инновационной отрасли, у трехмерной фотограмметрии есть огромный потенциал для развития: строительство, социально­культурная сфера, компьютерные игры.

В данный момент мониторинг процесса строительства — весьма актуальная проблема. Уже несколько лет 3D­модель объекта строительства используют для отображения прогресса стройки. Например, готовая в срок часть объекта на модели отображается зеленым, находящаяся в процессе — желтым, к строительству которой еще не приступили — серым (или скрыта вовсе), а просроченная — красным. Однако эти данные могут быть необъективны, так как не показывают непосредственно строительную площадку, а определить общий прогресс по фотографиям, как правило, довольно тяжело.

Фотограмметрия предлагает инновационное решение этой проблемы. Используется БЛА, который по заданной траектории облетает строительную площадку и производит аэрофотосъемку объекта. Далее массив фотографий выгружается в один из программных комплексов и производится сборка актуальной модели. Установив период облета, будь то неделя или месяц, удается отследить объективный прогресс строительства, который можно использовать для отчетов начальству. С помощью дополнительного ПО можно даже сравнивать эти две модели и подсвечивать разницу в них.

Социально­культурная сфера — это другая область инновационного применения фотограмметрии. Сейчас в музеях и выставочных центрах во всем мире наиболее популярна технология виртуального тура [6]. Это набор сферических панорам, соединенных между собой ссылками для перехода. У нее определенно есть свои плюсы — это дешево, быстро и просто. Однако и минусов тоже предостаточно: медленная работа, неподвижные точки обзора и визуальные недочеты. К тому же этим уже никого не удивишь.

С помощью фотограмметрии можно создать интерактивный трехмерный тур в виртуальной реальности. Фотореалистичность, универсальность, интерактивность — отличие колоссальное. Цифровой камерой делается массив фотографий, например, скульптуры и комнаты, в которой она находится. Далее этот массив загружается в программные продукты, и после доработки специалистами на выходе мы имеем трехмерную комнату со скульптурой, которую можно буквально обойти вокруг и посмотреть со всех ракурсов.

Рис. 8. 3D-модели макетов для компьютерной игры Rustclad

Дополнительные коммерческие возможности этой технологии также гораздо шире своего аналога: тур на сайте, мобильное приложение, выездные экспозиции, создание мини­демотура на входе и т.д.

Раньше фотограмметрия применялась преимущественно в геологии, топографии и археологических раскопках. Недавно ее начали применять в киноиндустрии, а сейчас с помощью этой техники создается компьютерная игра Rustclad [7]. Работа над трехмерным квестом только начата. Разработчики опубликовали официальный анонс и видеоролик с демонстрацией того, как они используют фотограмметрию для конструирования игрового мира, создавая цифровые 3D­модели из сделанных вручную макетов (рис. 8).

Вывод

В публикации представлена лишь малая часть, крупица информации о перспективах развития данной области. Но даже этого достаточно для понимания огромного потенциала трехмерной фотограмметрии. Технология обладает обширными перспективами использования в проектах проектирования, строительства и эксплуатации объектов, таких как дороги, офисные и промышленные здания, памятники архитектуры и пр.

Список использованной литературы

1. Аэрофотосъемка // Википедия. — Дата обновления: 28.01.2016. — URL: http://ru.wikipedia.org/?oldid=76068657 (дата обращения: 28.01.2016).
2. Randall Newton. Bentley acquires Acute3D to extend Reality Modeling portfolio. [Электронный ресурс] // GraphicSpeak, 2015 (10.02.2015) — URL: http://isicad.ru/ru/articles.php?article_num=17546 (дата обращения: 28.01.2016).
3. Steve Tietze. Generating 3D landscapes from Aerial Photos Part 2 [Электронный ресурс] // Ibareitall, 2015 (22.02.2015). — URL: http://ibareitall.com/generating­3d­landscapes­from­aerial­photos­part­2 (дата обращения: 29.01.2016).
4. Decamegas. AGISOFT PHOTOSCAN/ACUTE3D SMART3DCAPTURE. [Электронный ресурс] // Acute3DCommunity, 2014 (23.09.2014). — URL: https://community.acute3d.com/forum/agisoft­photoscan­acute3d­smart3dcapture (дата обращения: 01.02.2016).
5. MagisterLudi (Блог компании «ХакспейсNeuron»). «Хозяин, напиши для нас приложение». Требуется разработчик софта и железа для дронов DJI. [Электронный ресурс] // Хабрахабр, 2015 (13.08.2015). — URL: http://habrahabr.ru/company/neuronspace/blog/259527/ (дата обращения: 02.02.2016)
6. Виртуальный тур // Википедия. — Дата обновления: 26.08.2015. URL: http://ru.wikipedia.org/?oldid=72970843 (дата обращения: 26.08.2015).
7. Анатолий Ализар (alizar). Первая игра, которую делают с помощью фотограмметрии. [Электронный ресурс] // Хабрахабр, 2013 (3.03.2013) — URL: https://habrahabr.ru/post/171393/ (дата обращения: 02.02.201

САПР и графика 2`2016