Никита Шахулов - Определение положения в космосе на основе сопоставления изображения с 3D-цифровой моделью поверхности

(ошибка 3 м с SE90, что является аббревиатурой 90-го процентиля сферической ошибки) с ведущими компаниями, которые обеспечивают разрешение 0,5 м и абсолютную точность 3 м 3D-модель поверхности с текстурами со всех сторон. Высокое качество этих доступных продуктов обеспечивает прочную основу для этой работы. Это делает оценку положения камеры с помощью более известной 3D-модели поверхности реальной сцены многообещающим подходом в области дистанционного зондирования. Кроме того, новые технологии дополненной реальности (AR), виртуальной реальности (VR) и цифровых двойников позволяют использовать 3D-архитектурные модели в качестве интерактивных инструментов на компьютерах или мобильных устройствах.

1.2 Сопутствующая работа

Определенное внимание было уделено исследовательской работе, связанной с поиском способов сопоставления изображения с моделью для оценки положения камеры как в академических кругах, так и в промышленности. В этом разделе дается краткий обзор соответствующей структуры, которая в основном фокусируется на соответствующих методах оценки позы. Современные подходы к мультимодальной 2D-3D регистрации можно в целом разделить на два типа: (1) типичные методы, основанные на геометрии, и (2) методы регрессии позы, основанные на машинном обучении, которые подробно рассматриваются ниже.

Типичные методы, основанные на геометрии: Типичные методы, основанные на геометрии, реализуются путем установления соответствующей взаимосвязи между захваченным изображением и 3D-моделью. Как правило, процесс регистрации изображения в модель включает в себя три этапа: (1) извлечение признаков, (2) измерение сходства и сопоставление и (3) оценка положения камеры. Характерные особенности – это наиболее распространенные точки, которые обнаруживаются как на захваченном изображении, так и в 3D-модели, такие как края, контурные линии, точки пересечения и углы, а также используются в процессе сопоставления изображений [5, 8—12]. Необходимо проявлять особую осторожность, чтобы убедиться, что эти особенности различимы, хорошо распределены и могут быть надежно обнаружены в наборах данных изображений и 3D-моделей. В отличие от методов внешних датчиков, таких как инерциальные измерительные устройства (IMU), Cai и Ye [13] использовали предварительную информацию об ориентации изображения дистанционного зондирования в качестве ссылки, а положения захваченных изображений корректировались на основе отклонения ориентации между камерой запроса и эталонной камерой. На основе информации об ориентации спутника, которая была извлечена из спутникового изображения дистанционного зондирования, ориентация спутника была рассчитана на основе смещения между спутниковым изображением в реальном времени и эталонным изображением. Этот метод позволяет не только точно измерить ошибки ориентации осей крена и тангажа, но и измерить ось рыскания. Янг и Чен [14] предложили метод сопоставления изображений беспилотных летательных аппаратов (БПЛА) с данными лидара, в котором контур зданий сравнивался с величиной тензорного градиента на изображении для оценки параметров внешней ориентации (EOPs) изображения. Смещение между изображением в реальном времени и эталонным изображением было получено на основе таких методов, как обработка изображений. Этот метод обеспечивает точное измерение положения камеры на основе начальной внешней ориентации изображения. Была рассмотрена новая схема гибридного консенсуса случайной выборки (RANSAC) для улучшения оценки положения камеры как для 2D-3D, так и для 2D-2D совпадений [15], в которой подходящий решатель может быть автоматически выбирается из гибридных различных минимальных решателей на каждой итерации.

Крупномасштабное визуальное географическое местоположение было опубликовано в [16]. В этой работе подробно обсуждалась двунаправленная взаимосвязь между изображением и местоположением, были всесторонне рассмотрены новейшие технологии в области крупномасштабной визуальной географической локации, а также обсуждалась новая тенденция в этой области. В частности, регистрация 2D—3D является ключевым шагом для создания эталонной цифровой 3D-модели земли [17—19]. Использование прямых методов 2D—3D регистрации показало лучшую производительность с точки зрения улучшения производительности регистрации [20]. В [20], применяя квантование визуального словаря и приоритетный поиск соответствия, была изучена проблема быстрой локализации на основе изображений на основе эффективного прямого сопоставления 2D-3D. Стремясь решить такие проблемы, как масштабируемость и неоднозначность из—за прямого метода сопоставления 2D—3D, в [21] был исследован принципиальный подход глобального сопоставления 2D-3D, в котором для достижения локализации камеры использовалась глобальная контекстуальная информация из обоих наборов данных. Чжао и др. [22] представили надежный метод измерения сходства для сканирования 2D-изображения в 3D-диапазоне, собранного в городских сценариях с использованием недорогих и высококачественных датчиков путем вычисления измерений сходства между набором пар атрибутов 2D—3D. Автоматический и точный метод сопоставления изображения с моделью был предложен в [23], где для выполнения регистрации использовался алгоритм оптимизации роя частиц (PSO). PSO объединил разреженные и плотные объекты, чтобы значительно увеличить их сильные стороны, независимо от модальностей как изображения, так и 3D-модели. Однако качество регистрации, на которое влияют параметры PSO, нуждается в более детальном анализе. PSO также может быть использован для уточнения перевода между двумя различными представлениями [24]. Ли и др. [24] предложили автоматический и не требующий маркеров метод регистрации для точной регистрации, основанный на семантических признаках, извлеченных из панорамных изображений и облаков точек. Глобальная система позиционирования (GPS) и IMU использовались для предоставления некоторых вспомогательных средств для структуры из движения (SfM) для оценки точной матрицы вращения между панорамной камерой и лазерным сканером.