Когда я объясняю людям, что фотограмметрия аналогична процессу 3D-сканирования с фотографиями, мне всегда не доверяют, так как это кажется слишком фантастическим, чтобы быть правдой. Только представьте себе, сделать несколько снимков объекта, отправить их в алгоритм и получить текстурированную 3D модель. Вау!
После представления модели, второй вопрос, который задают – вопрос точности. Какова точность 3D-сканирования по фото? Ответ: субмиллиметровый диапазон. И снова я удивлен выражением недоверия. К счастью, наша команда написала научную статью об эксперименте, который показал среднее отклонение 0,78 мм, то есть меньше одного миллиметра по сравнению со сканированной 3D моделью, сделанной с помощью лазерного сканера.
Так же, как на рынке лазерных сканеров, в фотограмметрии есть много различных опций ПО для проверки. Они варьируются от собственных и закрытых решений, до открытых и бесплатных. И точно, среди такого рода программ и решений, приходит третий вопрос, до сих пор остающийся без ответа, по крайней мере официально: какое программное обеспечение фотограмметрии является лучшим?
Как Перенести фотографию в 3D объект? Фотограмметрия в Meshroom, 3DF Zphyr
На этот вопрос сложно ответить, потому что ответ во многом зависит от ситуации. Но думая об этом, среди многих подходов, которые я взял в течение долгого времени, я решил ответить так, чтобы дать простой и объёмный ответ.
Череп лорда Сипана
В июле 2016 года я поехал в Ламбаек, Перу, где я встретился лицом к лицу с черепом лорда Сипана. Анализируя его, я понял, что можно было бы восстановить его лицо с помощью судебно-медицинской техники реконструкции лица. Череп, однако, был сломан и искажен годами давления, которое он перенес в своей могиле, найденной полной в 1987, одной из больших археологических экспедиций во главе с доктором Вальтером Альва.
Чтобы восстановить череп, я сделал 120 фотографий на смартфон ASUS Zenphone 2 и с этими фотографиями, я возобновил работы по реконструкции. Параллельно этому процессу, профессиональный фотограф Raúl Martin из отдела маркетинга Inca University Garcilaso de la Vega (спонсор моей поездки) сделал 96 фотографий на камеру Canon EOS 60D. Из них я выбрал 46 изображений, чтобы продолжить эксперимент.
Специалист Министерства культуры Перу, начинает процесс оцифровки черепа (в центре)
Спустя день после фотографического обследование, перуанское Министерство культуры послало специалистов в области лазерного сканирования, для сканирования черепа лорда Сипана, с помощью оборудования Leica ScanStation C10. Окончательное облако точек было отправлено через 15 дней, то есть тогда, когда я получил данные от лазерного сканера, все модели, полученные с помощью фотограмметрии были готовы.
Нам пришлось ждать всё это время, так как модель, полученная с помощью оборудования является золотым стандартом, то есть, все сетки, полученные с помощью фотограмметрии будут сопоставляться, одна за другой, с ней.
Полное облако точек, импортированное в MeshLab после преобразования сделаного в CloudCompare
Облако точек в результате сканирования было в .LAS и .E57 файлах… и я никогда не слышал о них. Я должен был сделать много исследований, чтобы выяснить, как открыть их на Linux с помощью бесплатного программного обеспечения. Решено было сделать это в CloudCompare, который предлагает возможность импорта файлов .E57. Затем я экспортировал модель как .ply, чтобы иметь возможность открыть в MeshLah и реконструировать 3D-сетку с помощью алгоритма Пуассона (Poisson algorithm).
3D-сетка реконструированы из облака точек. Цвет вершины (выше) и поверхность только с одним цветом (ниже).
Как было отмечено выше, челюсть и поверхность стола, где были размещены части были также отсканированы. Часть, связанная с черепом, была изолирована и убрала для эксперимента, который будет выполнен. Я не буду иметь дело с этими деталями здесь, так как объем отличается. Я уже писал другие материалы, объясняющие, как удалить несущественные части облака точек / сетки.
Для сканирования с помощью фотограмметрии, были выбраны системы:
1) OpenMVG (Open Multiple View Geometry library) + OpenMVS (Open Multi-View Stereo reconstruction library): Разряженное облако точек рассчитывается в OpenMVG и плотное облако точек в OpenMVS.
2) OpenMVG + PMVS (Patch-based Multi-view Stereo Software): Разряженное облако точек рассчитывается в OpenMVG, а затем, плотное облако точек с помощью PMVS.
3) MVE (Multi-View Environment): Полная система фотограмметрии.
4) Agisoft Photoscan: Полная и закрытая система фотограмметрии.
5) Autodesk Recap 360: Полная система онлайн фотограмметрии.
6) Autodesk 123D Catch: Полная система онлайн фотограмметрии.
7) РРТ-GUI (Python Photogrammetry Toolbox с графическим интерфейсом пользователя): Разряженное облако точек генерируется Bundler, а позже PMVS создает плотное облако.
Выше у нас есть таблица, содержащая важные аспекты каждой из систем. В целом по крайней мере по-видимому, нет ни одной системы, которая выделяется намного больше, чем другие.
Генерация разряженного облака + генерация плотного облака + 3D сетка + текстуры, немного времени, чтобы загрузить фотографии и 3D сетки (в случаях с Recap 360 и 123D Catch).
Выравнивание на основе общих точек
Выровненные черепа
Все сетки были импортированы в Blender и совмещены с лазерным сканированием.
Выше мы видим, что все сетки рядом. Мы можем видеть, что некоторые поверхности настолько плотны, что мы замечаем только края, как и в случае с 3D-сканированием и OpenMVG + PMVS. Изначально очень важная информация… текстура в сканированных сетках, как правило, обманывает нас по отношению к качеству сканирования, так что, в этом эксперименте я решил игнорировать результаты текстурирования и сосредоточиться на 3D-поверхности. Поэтому, я экспортировал все оригинальные модели в формат .stl, который, как известно, не имеет никакой информации о текстуре.
Присмотревшись, мы увидим, что результат согласуется с менее плотным результатом подразделений в сетке. Конечная цель сканирования, по крайней мере, в моей работе – получить сетку, которая согласуется с исходным объектом. Если эта сетка упрощается, так как она находится в гармонии с реальным объемным аспектом, это даже лучше, потому что, когда 3D-сетка имеет меньше граней, то она быстрее будет обработана при выпуске.
Если мы посмотрим на размеры файлов (.stl экспортированный без текстуры), что является хорошим показателем сравнения, мы увидим, что чистая сетка созданная в OpenMVG + OpenMVS, имеет размер 38.4 MB и Recap 360 всего 5,1 Мб!
После нескольких лет работы с фотограмметрией, я понял, что лучше всего делать, когда мы сталкиваемся с очень плотной сеткой, это упростить сетку, так что мы можем обрабатывать её в режиме реального времени. Трудно сказать, действительно это так или нет, поскольку это запатентованное и закрытое решение, но я полагаю, что Recap 360 и 123D Catch генерируют сложные сетки, но в конце процесса они значительно её упрощают, так что они работают на любом оборудовании (ПК и смартфоны), желательно с поддержкой WebGL (интерактивное 3D в интернет-браузере).
Вскоре мы вернемся к обсуждению этой ситуации, связанной с упрощением сеток, а теперь давайте сравним их.
Как работает сравнение 3D сеток
После того, как все черепа были очищены и приведены в соответствие с золотым стандартом (лазерного сканирования) пришло время сравнить сетки в CloudCompare. Но как работает технология сравнения 3D сеток?
Для иллюстрации я создал некоторые дидактические элементы. Давайте вернемся к ним.
Этот дидактические элемент имеет дело с двумя плоскостями с поверхностями нулевой толщины (это возможно в 3D моделировании), образуя X.
Тогда мы имеем объект А и объект B. В окончательной части обеих сторон концы плоскостей отстоят на миллиметры. Там, где существует пересечение, расстояние, конечно, 0 мм.
При сравнении двух сеток в CloudCompare они получаются пигментированными с цветовым спектром, который идет от синего до красного. На рисунке выше показаны два уже пигментированных плана, но мы должны помнить, что они представляют собой два различных элемента и сравнение производится в двух моментах, один по отношению к другому.
Теперь у нас есть четкое представление о том, как это работает. В основном то, что происходит, заключается в следующем: мы устанавливаем предел расстояния, в данном случае 5 мм. Сетка «из» старается быть пигментирована красным, а та, что «в» имеет тенденцию быть окрашенной синим и то, что находится на пересечении, то есть на той же линии, как правило, пигментировано в зеленый цвет.
Сейчас я объясню подход, примененный в данном эксперименте. Смотрите выше, у нас есть элемент с центральной областью, которая стремится к нулю, а концы установлены на +1 мм и -1 мм. В изображении это не появляется, но элемент, который мы используем для сравнения, это простая плоскость, расположенная в центре сцены, прямо в районе основания 3D колокола, или те, которые «направлены вверх», когда те, которые «смотря вниз».
Как я уже говорил ранее, мы установили предел сравнения. Первоначально он был установлен на уровне +2мм и -2мм. Что делать, если мы изменим этот предел до +1мм и -1мм? Смотрите, что это получилось на рисунке выше, и та часть, которая выходит за пределы границ.
Лучшее программное обеспечение для фотограмметрии
Когда дело доходит до 3D печати, одним из наиболее важных этапов является подготовка качественной 3D модели. Ее можно получить разными способами, включая проектирование в САПР, сканирование, 3D моделирование и фотограмметрию. Именно о ней, о фотограмметрии, мы подготовили эту статью. Предлагаем познакомиться с доступными программами, которые могут преобразовать 2D объект в 3D модель для печати!
Подобно 3D сканированию, программное обеспечение для фотограмметрии позволяет получать надежные данные об объектах реального мира в их естественном состоянии путем записи, измерения и интерпретации фотографических изображений. Такой способ измерений и преобразований данных часто используется геодезистами, архитекторами и инженерами для создания топографических карт, сеток, точек облаков или рисунков объектов реального мира.
Какие же преимущества открывает фотограмметрия для 3D печати? В отличие от 3D сканирования, это более простой способ сбора данных об объекте. Сделать фотографию объекта со всех сторон можно даже с помощью камеры смартфона, что значительно увеличивает доступность этого способа получения данных. Многие программы, представленные в этом списке, предназначены для работы с данными, полученными с дронов, также есть программы, объединяющие работы с данными фотограмметрии и 3D сканирования, а также программы или функционал внутри программ, которые могут работать именно с фотографиями, сделанными на ваш смартфон. Итак, вот такие программы для фотограмметрии вы можете использовать для работы с фотографиями.
Autodesk ReCap Pro
ReCap Pro, созданная известной компанией-разработчиком программного обеспечения Autodesk, представляет собой программу, способную преобразовывать фотографии в 3D модели или 2D чертежи. Программное обеспечение, получившее название от аббревиатуры «Reality Capture», было разработано для удовлетворения потребностей всех типов проектов в области съемки, планирования, а также строительства и реконструкции зданий и инфраструктуры.
С технической стороны это позволяет легко создавать облако точек или сетку, готовую для использования с другим программным обеспечением или инструментами САПР. Стоит отметить тот факт, что новая версия ReCap Pro 2023 года включает в себя ряд улучшений и обновлений для пользователей. Среди них — импорт и индексация необработанных сканов, автоматическая классификация местности для инфраструктурных проектов, или улучшение качества рендеринга за счет увеличения количества точек. Что касается цены программного обеспечения, Autodesk предлагает ежемесячную подписку за 55 евро, годовую подписку за 448 евро или трехлетнюю подписку за 1277 евро.
Agisoft Metashape
Agisoft Metashape — это профессиональное программное обеспечение для фотограмметрии, которое обрабатывает цифровые изображения для различных приложений. Например, приложения географической информационной системы, документация культурного наследия, создание визуальных эффектов, производство, а также для косвенных измерений объектов различного масштаба. Некоторые важные функции позволяют Metashape обрабатывать различные типы изображений (будь то аэрофотоснимки или изображения с близкого расстояния), выводить облако точек, измерять расстояния, площади и объемы, а также создавать трехмерные сетки, которые затем можно экспортировать в различные популярные форматы. Также программа дает возможность редактировать 4D модели, что позволяет создавать целые сцены в 3D, а затем редактировать их в программном обеспечении. Существует две версии лицензий Agisoft Metashape: профессиональная версия стоит 3499 долларов, а стандартная — 179 долларов.
AliceVision Meshroom
Meshroom от AliceVision — это бесплатное программное обеспечение для 3D реконструкции с открытым исходным кодом, которое использует фотографии для создания текстурированной сетки, которая в последующем станет структурной частью 3D модели. AliceVision — это пользовательский проект, который полностью поддерживается сообществом. Вы можете узнать больше об этом решении с открытым исходным кодом в видео ниже.
Colmap
Colmap — это универсальное программное обеспечение Structure-from-Motion (SfM) и Multi-View Stereo (MVS) с графическим интерфейсом и интерфейсом командной строки. Он предлагает широкий спектр функций для реконструкции упорядоченных и неупорядоченных коллекций изображений. Программное обеспечение работает под новой лицензией BSD. Colmap основан на существующих работах, и когда пользователь применяет определенные алгоритмы к программному обеспечению, обязательно цитировать первоначальных авторов.
Bentley ContextCapture
Программное обеспечение Bentley ContextCapture для фотограмметрии позволяет создавать 3D модели для любого инфраструктурного проекта из обычных фотографий. Для большей точности рекомендуется использовать данные лазерного сканирования. Это позволяет отразить мелкие детали, острые края и добиться хорошей геометрической точности.
Программное обеспечение может быстро создавать и использовать высокодетализированные 3D сетки реальности, чтобы обеспечить точный контекст для проектирования, строительства и операционных решений на протяжении всего проекта. ContextCapture также может надежно и быстро создавать 3D модели любого масштаба — от объектов размером от нескольких сантиметров до целых городов. Точность получаемой 3D модели ограничивается только разрешением изображения, которое применяет пользователь. Наконец, программное обеспечение Bentley позволяет не тратить ресурсы на дополнительное оборудование и обучение. Пользователи могут просто взять камеру своего смартфона, чтобы сделать изображения, а затем смоделировать проект.
DroneDeploy
DroneDeploy — это решение для создания аэрофотоснимков и моделей из изображений, снятых с помощью дронов DJI. Программное обеспечение, разработанное компанией из Сан-Франциско, позволяет операторам быстро создавать аэрофотоснимки и 3D модели.
Простое в использовании картографическое программное обеспечение подходит для начинающих и опытных пользователей и имеет множество функций автономного полета, которые можно применять с помощью мобильного приложения DroneDeploy. В дополнение к этому, программное обеспечение имеет ряд полезных функций, таких как различные типы анализа данных и возможность создавать точные 2D карты, 3D модели и даже 360-градусные панорамы, которыми можно легко поделиться со всей командой или с клиентами, а также многое другое. Подписка DroneDeploy стоит от 149 долларов в месяц. DroneDeploy предлагает множество различных моделей ценообразования для индивидуального использования или для команд. Также доступна бесплатная пробная версия на один месяц.
Mic Mac
Mic Mac — это бесплатное программное обеспечение для фотограмметрии с открытым исходным кодом, предназначенное для 3D реконструкции. Это программное обеспечение было разработано в 2003 г. Национальным институтом географической информации и леса (IGN) и Национальной школой географических исследований (ENSG).
Сначала оно было создано исключительно для картографической продукции IGN, и можно было использовать только внутренний формат файла изображения IGN. В 2010 году, когда интерфейс XML был заменен упрощенной командной строкой, программа стала более доступной и распространенной в других сообществах. Лучшее в этом программном обеспечении то, что его могут использовать новички, опытные пользователи и эксперты. По этой причине это программное обеспечение использовалось во многих французских и европейских проектах.
Open Drone Map
Open Drone Map — это программное обеспечение с открытым исходным кодом для обработки изображений, снятых дронами, и преобразования их географические данные в 3D для дальнейшего использования вместе с другими данными. Некоторые из его функций — это составление облака точек, цифровых моделей поверхности и цифровых моделей поверхности с текстурой. Open DroneMap был построен на Ubuntu 16.04, хотя его можно использовать на других платформах с Docker. Вот лишь некоторые варианты применения этой программы — создание 3D сетки, ортофотоснимков или облаков точек.
Pix4D
Pix4D — программное обеспечение для фотограмметрии. Приложение предлагает несколько решений в соответствии с потребностями пользователя и позволяет измерять различные данные с дрона, камеры или даже самолета.
В настоящее время компания предлагает 5 программ для картографирования и 3D моделирования, среди которых PIX4Dmapper: предложение для профессионалов, использующих дроны или другие камеры. Пользователи могут интегрировать любое RGB, тепловое или мультиспектральное изображение; после этапа оцифровки они также могут измерять поверхности, объемы и расстояния. Цены на PIX4Dmapper начинаются с 216 евро в месяц. Компания также предлагает другие инструменты фотограмметрии, такие как PIX4Dmatic, предназначенные для создания карт местности.
PhotoModeler
В предыдущем году пользователи программного обеспечения для фотограмметрии PhotoModelerсмогли насладиться новой версией. Разработчик выпустил более 100 улучшений с новыми обновлениями 2022.1 (выпущено 16 февраля 2022 г.) и 2022.0. Эти обновления в первую очередь были сосредоточены на основных областях морских работ, а также на криминалистике и реконструкции аварий.
В дополнение к новым сочетаниям клавиш, таким как экспорт или рисование кривой, программа теперь также позволяет удобно рисовать поверхности. Это означает, что, например, в режиме линии или кривой существующие точки поверхности теперь можно перемещать простым перетаскиванием или щелчком. Это значительно упрощает редактирование, корректировку и исправление точек, не выходя из режима рисования поверхности. Программное обеспечение доступно в стандартной и премиальной версиях.
RealityCapture
Компания CapturingReality создала программное обеспечение для фотограмметрии RealityCapture, которое работает с широким спектром входных данных. RealityCapture позволяет создавать сцены виртуальной реальности, текстурированные 3D сетки, ортогональные проекции, карты с географической привязкой и многое другое из изображений. В этом программном обеспечении также можно работать с лазерным сканированием, что позволяет собрать весь необходимый функционал для обработки данных в одном приложении. Простой и интуитивно понятный пользовательский интерфейс позволяет новичкам легко освоить рабочий процесс. Компания предлагает четыре различных тарифных плана для своего программного обеспечения в диапазоне от 19,90 до 15 000 евро для крупных бизнес-проектов.
Regard3D
Regard3D — еще одно бесплатное программное решение с открытым исходным кодом, которое может преобразовывать фотографии объекта, сделанные под разными углами, в 3D модель этого объекта. Вы можете запустить это приложение на нескольких платформах, Windows, OS X и Linux, а также использовать мощные сторонние инструменты и библиотеки. На официальном сайте с программным обеспечением для загрузки, вы также найдете набор обучающих материалов для ознакомления с программой и регулярные обновления.
Trimble Inpho
Trimble Inpho — одно из ведущих программных решений для цифровой фотограмметрии, предлагаемое Trimble Geospatial. Как и большинство предыдущих, это программное обеспечение предназначено для аэрофотосъемки. Алгоритмы программы преобразуют их в точные облака точек, модели поверхностей, ортофото-мозаики и оцифрованные трехмерные объекты. Trimble Inpho — это надежное решение, поскольку оно является одним из старейших на рынке.
WebODM
WebODM — это удобное решение, позволяющее создавать модели высот, текстурированные модели, карты с географической привязкой и облака точек с использованием аэрофотоснимков с дронов. Это программное обеспечение является проектом OpenDroneMap, который представляет собой открытую экосистему решений для сбора, обработки, анализа и отображения аэрофотоданных. После того, как вы загрузите эту программу фотограмметрии с дрона, она будет работать на вашем компьютере даже в автономном режиме. Установка и техподдержка стоят $57, это разовая плата, ежемесячных платежей нет.
3DF Zephyr
3DF Zephyr — это программное решение от 3DFlow, которое занимается автоматической 3D реконструкцией объекта независимо от того, какой датчик — дрон или лазерный сканер — вы используете. Другими словами, с помощью этого профессионального программного обеспечения для фотограмметрии, которое с легкостью создает 3D сканы, опытные пользователи могут вносить значительные изменения для оптимизации результата.
Пользователям доступен экспорт модели в разные форматы. Кроме того, вы можете комбинировать данные фотограмметрии с лазерным сканированием для большей точности модели, и упростить дальнейшую работу с моделью в программе САПР. Существует бесплатная версия, однако она ограничивается 50 изображениями для 3D реконструкции. Платная версия стоит от 149 евро до 3900 евро, в зависимости от функций.