RU2818049C2 - Способ корректировки цифровой модели высот (варианты) - Google Patents
Способ корректировки цифровой модели высот (варианты) Download PDFInfo
- Publication number
- RU2818049C2 RU2818049C2 RU2021130268A RU2021130268A RU2818049C2 RU 2818049 C2 RU2818049 C2 RU 2818049C2 RU 2021130268 A RU2021130268 A RU 2021130268A RU 2021130268 A RU2021130268 A RU 2021130268A RU 2818049 C2 RU2818049 C2 RU 2818049C2
- Authority
- RU
- Russia
- Prior art keywords
- pixel
- satellite image
- roads
- pixels
- gps
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 108
- 238000009499 grossing Methods 0.000 claims description 10
- 230000015572 biosynthetic process Effects 0.000 claims description 6
- 238000010801 machine learning Methods 0.000 claims description 2
- 230000007717 exclusion Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 5
- 239000000126 substance Substances 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 51
- 238000012549 training Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 230000009471 action Effects 0.000 description 8
- 238000012937 correction Methods 0.000 description 6
- 238000010200 validation analysis Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 239000007787 solid Substances 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000010399 physical interaction Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Abstract
Изобретение относится к способам корректировки карты высот местности. Технический результат заключается в уменьшении погрешности при построении цифровой карты высот местности. Технический результат достигается за счет выполнения следующих этапов способа: принимается спутниковое изображение с одной или несколькими дорогами; принимаются зафиксированные данные системы GPS, соответствующие одной или нескольким дорогам; определяется пиксел на спутниковом изображении, соответствующий одной или нескольким дорогам; определяется, соответствует ли местоположение пиксела данным системы GPS; если определено, что местоположение пиксела не соответствует данным системы GPS, определяется набор пикселов цифровой модели высот (DEM), окружающих этот пиксел; высота каждого пиксела из набора пикселов DEM корректируется так, чтобы местоположение пиксела на спутниковом изображении соответствовало одной или нескольким дорогам. 3 н. и 17 з.п. ф-лы, 8 ил.
Description
Область техники, к которой относится изобретение
[01] Настоящая технология относится к получению изображений с помощью искусственных спутников Земли и, в частности, к способам и системам для корректировки цифровой модели высот, используемой для ортотрансформации спутникового изображения.
Уровень техники
[02] Спутниковые изображения используются для множества целей, в частности, для навигации. Пикселы спутникового изображения могут подвергаться различным искажениям. Искажения могут быть вызваны фотографической системой, используемой для получения спутникового изображения, положением спутника, наклоном спутника, высотой местности на изображении, препятствиями и/или другими причинами.
[03] Перед использованием полученного спутникового изображения оно может быть подвергнуто ортотрансформации для совмещения каждого пиксела спутникового изображения с надлежащим положением на местности. В процессе ортотрансформации для каждого пиксела спутникового изображения может назначаться физическое местоположение. Это позволяет уменьшить влияние искажений, но спутниковые изображения часто содержат ошибки даже после ортотрансформации. Эти ошибки могут создавать проблемы для систем, использующих спутниковые изображения, например, для транспортных средств, использующих спутниковые изображения для навигации. Исходя из изложенного выше, требуются новые способы и системы для корректировки спутниковых изображений.
[04] В патенте US9378585 (University of Seoul Industry Cooperation Foundation, выдан 28.06.2016) описан способ коррекции геометрических искажений изображения, рассчитанных в виде коэффициентов рационального многочлена (RPC, Rational Polynomial Coefficient) с использованием лишь соответствующей точки, полученной из цифровой модели высот (DEM, Digital Elevation Model) и стереоизображения, без непосредственного измерения наземной опорной точки (GCP, Ground Control Point). Для этой цели система автоматической коррекции геометрических искажений с использованием коэффициентов RPC согласно этому изобретению содержит блок получения вспомогательных данных, блок получения соответствующей точки, блок получения первых наземных координат, блок получения вторых наземных координат, блок формирования модели коррекции RPC, и блок коррекции искажений изображения. Блок получения вспомогательных данных получает два или более разных изображения, зафиксированных для одной и той же земной поверхности, и вспомогательные данные двух или большее количество разных изображений. Блок получения соответствующей точки получает соответствующую точку из двух или более разных изображений путем сопоставления этих изображений. Блок получения первых наземных координат получает первые наземные координаты из соответствующей точки и модели RPC вспомогательных данных. Блок получения вторых наземных координат получает вторые наземные координаты путем использования первых наземных координат и коэффициента корреляции модели DEM. Блок формирования модели коррекции RPC формирует модель коррекции RPC путем коррекции модели RPC на основе вторых наземных координат. Блок коррекции искажений изображения корректирует искажения изображения путем назначения наземных координат для всех координат изображения путем использования вторых наземных координат и модели коррекции RPC.
Раскрытие изобретения
[05] Разработчики настоящей технологии установили, что искажения на спутниковых изображениях могут быть уменьшены и/или скорректированы на основе данных системы глобального позиционирования (GPS, Global Positioning System), зафиксированных системами GPS в транспортных средствах (или в других пользовательских беспроводных устройствах). Данные системы GPS, собранные во время нескольких поездок транспортного средства, могут агрегироваться. Дороги на спутниковых изображениях могут определяться, например, путем использования методов компьютерного зрения. При этом могут быть определены пикселы, соответствующие дорогам.
[06] Для определения ошибки на спутниковом изображении данные системы GPS, собранные системами GPS, могут сравниваться с дорогами, идентифицированными на спутниковом изображении. Если зафиксированные данные системы GPS не соответствуют дорогам на спутниковом изображении, то может быть определено, что спутниковое изображение имеет высокий уровень ошибок. И напротив, если данные системы GPS соответствуют дорогам на спутниковом изображении, то может быть определено, что спутниковое изображение содержит меньший уровень ошибок.
[07] Для уменьшения ошибок на спутниковом изображении в отношении последнего может применяться сдвиг. Каждому пикселу на спутниковом изображении может быть назначен коэффициент RPC, указывающий на географическое местоположение, соответствующее этому пикселу. Сдвиг может применяться в отношении всех коэффициентов RPC спутникового изображения. Для определения сдвига, подлежащего применению в отношении коэффициентов RPC спутникового изображения, может быть сформировано несколько вариантов спутникового изображения. Каждый вариант спутникового изображения может быть сформирован путем применения другого сдвига в отношении коэффициентов RPC. Для каждого варианта может быть рассчитана ошибка путем определения степени совпадения между данными системы GPS и дорогами в данном варианте спутникового изображения. Может быть выбран вариант с наименьшей величиной ошибки, а сдвиг, соответствующий этому варианту, может быть применен в отношении всех коэффициентов RPC спутникового изображения.
[08] Для дополнительной коррекции спутникового изображения может быть скорректирована модель DEM, используемая для ортотрансформации спутникового изображения. Каждый пиксел модели DEM может указывать на высоту соответствующего пиксела или области спутникового изображения. Могут быть определены пикселы спутникового изображения, содержащие дороги. Для каждого пиксела может быть сформирован набор предполагаемых значений пиксела. Предполагаемые значения пиксела могут быть сформированы с использованием алгоритма сглаживания. Для каждого предполагаемого значения пиксела может быть рассчитана ошибка, когда предполагаемое значение пиксела используется для ортотрансформации спутникового изображения. Предполагаемое значение пиксела, соответствующее наименьшей ошибке, может быть выбрано и назначено для пиксела в скорректированной модели DEM.
[09] Разработанные варианты реализации настоящей технологии основаны на понимании разработчиками по меньшей мере одной технической проблемы, связанной с известными решениями. Поэтому разработчики разработали способы и системы для корректировки модели DEM. Кроме того, разработчики разработали способы и системы, позволяющие более точно размещать дороги на спутниковом изображении путем корректировки модели DEM на основе собранных данных системы GPS от транспортных средств, перемещающихся по дорогам.
[010] Согласно первому аспекту настоящей технологии реализован способ, включающий в себя получение спутникового изображения, содержащего одну или несколько дорог, и модели DEM, содержащей высоту каждого пиксела спутникового изображения, получение зафиксированных данных системы GPS, соответствующих одной или нескольким дорогам, определение пиксела на спутниковом изображении, соответствующего одной или нескольким дорогам, определение соответствия местоположения пиксела на спутниковом изображении данным системы GPS, определение набора пикселов модели DEM, окружающих пиксел на спутниковом изображении, если определено, что местоположение пиксела на спутниковом изображении не соответствует данным системы GPS, и корректировку высоты каждого пиксела из набора пикселов модели DEM таким образом, чтобы местоположение пиксела на спутниковом изображении соответствовало одной или нескольким дорогам.
[011] В некоторых вариантах осуществления способа корректировка высоты каждого пиксела включает в себя выбор случайным образом высоты для каждого пиксела из набора пикселов, применение выбранных случайным образом высот в отношении модели DEM, после применения выбранных случайным образом высот в отношении модели DEM определение соответствия местоположения пиксела на спутниковом изображении одной или нескольким дорогам, и сохранение выбранных случайным образом высот в модели DEM после определения того, что местоположение пиксела на спутниковом изображении соответствует одной или нескольким дорогам.
[012] В некоторых вариантах осуществления способа он дополнительно включает в себя определение второго набора пикселов, соответствующего дорогам на спутниковом изображении, и выбор пиксела на спутниковом изображении из второго набора пикселов, соответствующего дорогам на спутниковом изображении.
[013] В некоторых вариантах осуществления способа определение второго набора пикселов, соответствующего дорогам на спутниковом изображении, включает в себя ввод спутникового изображения в обученный алгоритм машинного обучения (MLA, Machine Learning Algorithm) и выдачу алгоритмом MLA второго набора пикселов, соответствующего дорогам на спутниковом изображении.
[014] В некоторых вариантах осуществления способа обученный алгоритм MLA обучен с использованием набора спутниковых изображений, каждое из которых содержит метку, указывающую на то, какие пикселы спутникового изображения соответствуют дорогам на спутниковом изображении.
[015] В некоторых вариантах осуществления способа он дополнительно включает в себя определение коэффициента RPC, соответствующего пикселу на спутниковом изображении.
[016] В некоторых вариантах осуществления способа определение соответствия местоположения пиксела на спутниковом изображении данным системы GPS, включает в себя определение на основе коэффициента RPC координат GPS, соответствующих пикселу на спутниковом изображении, и сравнение координат GPS пиксела на спутниковом изображении с данными системы GPS для определения соответствия между координатой GPS и дорогой.
[017] В некоторых вариантах осуществления способа корректировка высоты каждого пиксела включает в себя выбор случайным образом высоты для каждого пиксела из набора пикселов, применение выбранных случайным образом высот в отношении модели DEM, определение второго коэффициента RPC, соответствующего пикселу на спутниковом изображении, определение на основе второго коэффициента RPC второй координаты GPS, соответствующей пикселу на спутниковом изображении, сравнение второй координаты GPS пиксела на спутниковом изображении с данными системы GPS для определения соответствия между второй координатой GPS и дорогой, и сохранение выбранных случайным образом высот в модели DEM, если определено, что вторая координата GPS соответствует дороге.
[018] В некоторых вариантах осуществления способа зафиксированные данные системы GPS содержат координаты GPS, зафиксированные множеством электронных устройств, перемещающихся по одной или нескольким дорогам.
[019] В некоторых вариантах осуществления способа множество электронных устройств связано с транспортными средствами, перемещающимися по одной или нескольким дорогам.
[020] В некоторых вариантах осуществления способа зафиксированные данные системы GPS формируются путем получения координат GPS, зафиксированных множеством транспортных средств, перемещающихся по одной или нескольким дорогам, и исключения резко выделяющихся значений из координат GPS.
[021] Согласно другому аспекту настоящей технологии реализован способ, включающий в себя получение спутникового изображения, содержащего одну или несколько дорог, и модели DEM, содержащей высоту каждого пиксела спутникового изображения, получение зафиксированных данных системы GPS, соответствующих одной или нескольким дорогам, определение на основе данных системы GPS сдвига для применения в отношении спутникового изображения, выбор пиксела в модели DEM, определение на основе пикселов, окружающих выбранный пиксел, множества предполагаемых значений пиксела для этого пиксела, определение величины ошибки для каждого предполагаемого значения пиксела из множества предполагаемых значений пиксела, выбор предполагаемого значения пиксела с наименьшей величиной ошибки из множества предполагаемых значений пиксела и формирование на основе выбранного предполагаемого значения пиксела скорректированной модели DEM.
[022] В некоторых вариантах осуществления способа он дополнительно включает в себя формирование скорректированного спутникового изображения на основе скорректированной модели DEM.
[023] В некоторых вариантах осуществления способа он дополнительно включает в себя получение коэффициентов RPC, соответствующих спутниковому изображению, при этом определение сдвига для применения в отношении спутникового изображения включает в себя формирование множества вариантов коэффициентов RPC, определение для каждого варианта из этого множества вариантов величины ошибки на основе данных системы GPS, выбор соответствующего сдвигу варианта с наименьшей величиной ошибки из множества вариантов и применение этого сдвига в отношении коэффициентов RPC.
[024] В некоторых вариантах осуществления способа определение множества предполагаемых значений пиксела включает в себя применение алгоритма сглаживания в отношении пиксела и окружающих его пикселов.
[025] В некоторых вариантах осуществления способа определение величины ошибки включает в себя определение указания на соответствие между одной или несколькими дорогами и данными системы GPS.
[026] Согласно еще одному аспекту настоящей технологии реализован способ, включающий в себя получение спутникового изображения, содержащего одну или несколько дорог, и модели DEM, содержащей высоту каждого пиксела спутникового изображения, получение зафиксированных данных системы GPS, соответствующих одной или нескольким дорогам, выбор пиксела в модели DEM, формирование множества предполагаемых значений пиксела для выбранного пиксела,; определение величины ошибки для каждого предполагаемого значения пиксела из множества предполагаемых значений пиксела ошибки, выбор предполагаемого значения пиксела с наименьшей величиной ошибки из множества предполагаемых значений пиксела и формирование на основе выбранного предполагаемого значения пиксела скорректированной модели DEM.
[027] В некоторых вариантах осуществления способа определение величины ошибки для соответствующего предполагаемого значения пиксела включает в себя определение набора пикселов, окружающих пиксел, определение для набора пикселов степени соответствия между данными системы GPS и набором пикселов и определение на основе этой степени соответствия величины ошибки для соответствующего предполагаемого значения пиксела.
[028] В некоторых вариантах осуществления способа каждое предполагаемое значение пиксела находится в заранее заданном диапазоне значений пиксела.
[029] В некоторых вариантах осуществления способа он дополнительно включает в себя формирование скорректированного спутникового изображения на основе скорректированной модели DEM.
[030] В контексте настоящего описания термин «сервер» означает компьютерную программу, выполняемую соответствующими аппаратными средствами и способную принимать запросы (например, от клиентских устройств) через сеть и выполнять эти запросы или инициировать их выполнение. Аппаратные средства могут быть реализованы в виде одного физического компьютера или одной компьютерной системы, что не существенно для настоящей технологии. В данном контексте выражение «сервер» не означает, что каждая задача (например, принятая команда или запрос) или некоторая определенная задача принимается, выполняется или запускается одним и тем же сервером (т.е. одними и теми же программными и/или аппаратными средствами). Это выражение означает, что любое количество программных средств или аппаратных средств может принимать, отправлять, выполнять или инициировать выполнение любой задачи или запроса либо результатов любых задач или запросов. Все эти программные и аппаратные средства могут представлять собой один сервер или несколько серверов, причем оба эти случая подразумеваются в выражении «по меньшей мере один сервер».
[031] В контексте настоящего описания термин «электронное устройство» может означать любое компьютерное аппаратное средство, способное выполнять программы, подходящие для решения поставленной задачи. В контексте настоящего описания термин «электронное устройство» подразумевает, что устройство может функционировать в качестве сервера для других электронных устройств и клиентских устройств, тем не менее, это не обязательно для настоящей технологии. Таким образом, некоторые (не имеющие ограничительного характера) примеры электронных устройств включают в себя персональные компьютеры (настольные, ноутбуки, нетбуки и т.п.), смартфоны и планшеты, а также сетевое оборудование, такое как маршрутизаторы, коммутаторы и шлюзы. Должно быть понятно, что в настоящем контексте тот факт, что устройство функционирует в качестве электронного устройства, не означает, что оно не может функционировать в качестве сервера для других электронных устройств. Использование выражения «электронное устройство» не исключает использования нескольких электронных устройств для приема, отправки, выполнения или инициирования выполнения любой задачи или запроса либо результатов любых задач или запросов либо шагов любого описанного здесь способа.
[032] В контексте настоящего описания термин «клиентское устройство» означает любое компьютерное аппаратное средство, способное выполнять программы, подходящие для решения конкретной задачи. Некоторые (не имеющие ограничительного характера) примеры клиентских устройств включают в себя персональные компьютеры (настольные, ноутбуки, нетбуки и т.п.), смартфоны и планшеты, а также сетевое оборудование, такое как маршрутизаторы, коммутаторы и шлюзы. Следует отметить, что в данном контексте устройство, функционирующее как клиентское устройство, также может функционировать как сервер для других клиентских устройств. Использование выражения «клиентское устройство» не исключает использования нескольких клиентских устройств для приема, отправки, выполнения или инициирования выполнения любой задачи или запроса либо результатов любых задач или запросов, либо шагов любого описанного здесь способа.
[033] В контексте настоящего описания выражение «информация» включает в себя информацию любого рода или вида, допускающую хранение в базе данных. Таким образом, информация включает в себя аудиовизуальные произведения (изображения, фильмы, звукозаписи, презентации и т.д.), данные (данные о местоположении, числовые данные и т.д.), текст (мнения, комментарии, вопросы, сообщения и т.д.), документы, электронные таблицы и т.д., но не ограничивается ими.
[034] В контексте настоящего описания выражение «программный компонент» включает в себя обозначение программного обеспечения (подходящего для определенных аппаратных средств), необходимого и достаточного для выполнения указанной определенной функции или нескольких функций.
[035] В контексте настоящего описания выражение «носитель компьютерной информации» (также называется «носителем информации») означает носители любого рода и вида, включая оперативное запоминающее устройство (ОЗУ), постоянное запоминающее устройство (ПЗУ), диски (CD-ROM, DVD, гибкие диски, жесткие диски и т.д.), USB-накопители, твердотельные накопители, накопители на магнитных лентах и т.д. Для формирования носителя компьютерной информации возможно объединение множества элементов, включая два или более элементов носителя информации одного вида и/или два или более элементов носителя информации разных видов.
[036] В контексте настоящего описания термин «база данных» означает любой структурированный набор данных, независимо от его конкретной структуры, программного обеспечения для управления базой данных или компьютерных аппаратных средств для хранения этих данных, их применения или обеспечения их использования иным способом. База данных может располагаться в тех же аппаратных средствах, где реализован процесс, обеспечивающий хранение или использование информации, хранящейся в базе данных, либо база данных может располагаться в отдельных аппаратных средствах, таких как специализированный сервер или множество серверов.
[037] В контексте настоящего описания числительные «первый», «второй», «третий» и т.д. используются лишь для указания различия между существительными, к которым они относятся, но не для описания каких-либо определенных взаимосвязей между этими существительными. Например, должно быть понятно, что использование терминов «первый сервер» и «третий сервер» не подразумевает какого-либо определенного порядка, типа, хронологии, иерархии или классификации, в данном случае, серверов, а также что их использование (само по себе) не подразумевает наличие «второго сервера» в любой ситуации. Кроме того, как встречается здесь в другом контексте, ссылка на «первый» элемент и «второй» элемент не исключает того, что эти два элемента в действительности могут быть одним и тем же элементом. Таким образом, например, в некоторых случаях «первый» сервер и «второй» сервер могут представлять собой один и тот же элемент программных и/или аппаратных средств, а в других случаях - разные элементы программных и/или аппаратных средств.
[038] Каждый вариант осуществления настоящей технологии относится к по меньшей мере одной из вышеупомянутых целей и/или аспектов, но не обязательно ко всем ним. Должно быть понятно, что некоторые аспекты настоящей технологии, связанные с попыткой достижения вышеупомянутой цели, могут не соответствовать этой цели и/или могут соответствовать другим целям, явным образом здесь не упомянутым.
[039] Дополнительные и/или альтернативные признаки, аспекты и преимущества вариантов осуществления настоящей технологии содержатся в дальнейшем описании, на приложенных чертежах и в формуле изобретения.
Краткое описание чертежей
[040] Эти и другие признаки, аспекты и преимущества настоящей технологии поясняются в дальнейшем описании, в приложенной формуле изобретения и на следующих чертежах.
[041] На фиг. 1 представлена схема примера компьютерной системы для реализации не имеющих ограничительного характера вариантов осуществления настоящей технологии.
[042] На фиг. 2 представлено спутниковое изображение согласно некоторым вариантам осуществления настоящей технологии.
[043] На фиг. 3 представлена модель DEM согласно некоторым вариантам осуществления настоящей технологии.
[044] На фиг. 4 представлено скорректированное спутниковое изображение согласно некоторым вариантам осуществления настоящей технологии.
[045] На фиг. 5 представлена блок-схема способа корректировки спутникового изображения согласно некоторым вариантам осуществления настоящей технологии.
[046] На фиг. 6 представлена блок-схема способа определения сдвига для применения в отношении спутникового изображения согласно некоторым вариантам осуществления настоящей технологии.
[047] На фиг. 7 представлена блок-схема способа корректировки модели DEM спутникового изображения согласно некоторым вариантам осуществления настоящей технологии.
[048] На фиг. 8 представлена блок-схема способа формирования скорректированной модели DEM с использованием алгоритма MLA согласно некоторым вариантам осуществления настоящей технологии.
Осуществление изобретения
[049] Представленные здесь примеры и условный язык предназначены для обеспечения лучшего понимания принципов настоящей технологии, а не для ограничения ее объема до таких специально приведенных примеров и условий. Очевидно, что специалисты в данной области техники способны разработать различные способы и устройства, которые явно не описаны и не показаны, но реализуют принципы настоящей технологии в пределах ее существа и объема.
[050] Кроме того, чтобы способствовать лучшему пониманию, последующее описание может содержать упрощенные варианты реализации настоящей технологии. Специалистам в данной области должно быть понятно, что другие варианты осуществления настоящей технологии могут быть значительно сложнее.
[051] В некоторых случаях приводятся полезные примеры модификаций настоящей технологии. Они способствуют пониманию, но также не определяют объема или границ настоящей технологии. Представленный перечень модификаций не является исчерпывающим и специалист в данной области может разработать другие модификации в пределах объема настоящей технологии. Кроме того, если в некоторых случаях модификации не описаны, это не означает, что они невозможны и/или что описание содержит единственно возможный вариант реализации того или иного элемента настоящей технологии.
[052] Более того, описание принципов, аспектов и вариантов реализации настоящей технологии, а также их конкретные примеры предназначены для охвата их структурных и функциональных эквивалентов, независимо от того, известны они в настоящее время или будут разработаны в будущем. Например, специалистам в данной области техники должно быть понятно, что любые описанные здесь структурные схемы соответствуют концептуальным представлениям иллюстративных принципиальных схем, реализующих основы настоящей технологии. Также должно быть понятно, что любые блок-схемы, схемы процессов, диаграммы изменения состояния, псевдокоды и т.п. соответствуют различным процессам, которые могут быть представлены на машиночитаемом физическом носителе информации и могут выполняться компьютером или процессором, независимо от того, показан такой компьютер или процессор явно или нет.
[053] Функции различных элементов, показанных на чертежах, включая любой функциональный блок, обозначенный как «процессор», могут быть реализованы с использованием специализированных аппаратных средств, а также аппаратных средств, способных выполнять соответствующее программное обеспечение. Если используется процессор, эти функции могут выполняться одним выделенным процессором, одним совместно используемым процессором или множеством отдельных процессоров, некоторые из которых могут использоваться совместно. Кроме того, явное использование термина «процессор» или «контроллер» не должно трактоваться как указание исключительно на аппаратные средства, способные выполнять программное обеспечение, и может подразумевать, помимо прочего, аппаратные средства цифрового сигнального процессора (DSP), сетевой процессор, специализированную интегральную схему (ASIC), программируемую вентильную матрицу (FPGA), ПЗУ для хранения программного обеспечения, ОЗУ и энергонезависимое запоминающее устройство. Также могут подразумеваться другие аппаратные средства, общего назначения и/или заказные.
[054] Программные модули или просто модули, реализация которых предполагается в виде программных средств, могут быть представлены здесь как любое сочетание элементов блок-схемы или других элементов, указывающих на выполнение шагов процесса и/или содержащих текстовое описание. Такие модули могут выполняться аппаратными средствами, показанными явно или подразумеваемыми.
[055] Далее с учетом вышеизложенных принципов рассмотрены некоторые не имеющие ограничительного характера примеры, иллюстрирующие различные варианты реализации аспектов настоящей технологии.
[056] На фиг. 1 представлена компьютерная система 100, пригодная для использования с некоторыми вариантами осуществления настоящей технологии. В некоторых вариантах осуществления изобретения компьютерная система 100 может быть реализована в виде любого традиционного персонального компьютера, сетевого устройства и/или электронного устройства (например, мобильного устройства, планшетного устройства, сервера, блока контроллера, управляющего устройства и т.д.) и/или любого их сочетания, подходящего для решения поставленной задачи. В некоторых вариантах осуществления изобретения компьютерная система 100 содержит различные аппаратные элементы, включая один или несколько одно- или многоядерных процессоров, обобщенно представленных процессором 110, твердотельный накопитель 120, ОЗУ 130 и интерфейс 150 ввода-вывода. Компьютерная система 100 может представлять собой компьютер, специально разработанный для выполнения алгоритма MLA. Компьютерная система 100 может представлять собой компьютерную систему общего назначения.
[057] В некоторых вариантах осуществления изобретения компьютерная система 100 также может представлять собой подсистему одной из вышеупомянутых систем. В некоторых других вариантах осуществления изобретения компьютерная система 100 может представлять собой готовую компьютерную систему общего назначения. В некоторых вариантах осуществления изобретения функции компьютерной системы 100 могут быть распределены между несколькими системами. Компьютерная система 100 также может быть специально предназначена для реализации настоящей технологии. Как должно быть понятно специалисту в области настоящей технологии, возможно множество вариантов реализации компьютерной системы 100 без выхода за границы настоящей технологии.
[058] Специалистам в данной области известно, что процессор 110 обычно способен обрабатывать данные. В некоторых вариантах осуществления изобретения вместо одного или нескольких традиционных центральных процессоров (CPU, Central Processing Unit) или в дополнение к ним может быть предусмотрено одно или несколько специализированных ядер обработки данных. Например, один или несколько графических процессоров 111 (GPU, Graphic Processing Unit), тензорных процессоров (TPU, Tensor Processing Units) и/или других так называемых ускоренных процессоров (или ускорителей обработки данных) может быть предусмотрено в дополнение к одному или нескольким процессорам CPU или вместо них.
[059] Память системы обычно содержит ОЗУ 130, а в более широком смысле включает в себя физическую память системы любого вида, такую как статическое ОЗУ (SRAM, Static Random Access Memory), динамическое ОЗУ (DRAM, Dynamic Random Access Memory), синхронное динамическое ОЗУ (SDRAM, Synchronous DRAM), ПЗУ или их сочетание. Твердотельный накопитель 120 показан в качестве примера запоминающего устройства, но в более широком смысле такое запоминающее устройство может содержать физическое устройство хранения данных любого вида, способное хранить данные, программы и другую информацию, а также обеспечивать доступ к данным, программам и другой информации через системную шину 160. Например, запоминающее устройство может содержать один или несколько твердотельных накопителей, накопителей на жестких дисках, накопителей на магнитных дисках и/или накопителей на оптических дисках.
[060] Связь между различными элементами компьютерной системы 100 может обеспечиваться с помощью системной шины 160, содержащей одну или несколько внутренних и/или внешних шин (таких как локальная шина соединения периферийных устройств (PCI, Peripheral Component Interconnect), универсальная последовательная шина (USB, universal serial bus), шина FireWire стандарта 1394 Института инженеров по электронике и электротехнике (IEEE, Institute of Electrical and Electronics Engineers), шина системного интерфейса малых компьютеров (SCSI, Small Computer System Interface), шина последовательного интерфейса для подключения внешних устройств в AT-совместимых компьютерах (Serial-ATA, Serial Advanced Technology Attachment), с которыми различные аппаратные элементы соединены электронными средствами.
[061] Интерфейс 150 ввода-вывода может обеспечивать возможности организации сети, например, проводной или беспроводной доступ. Например, интерфейс 150 ввода-вывода может содержать сетевой интерфейс, такой как сетевой порт, сетевой соединитель, контроллер сетевого интерфейса и т.д. Специалисту в области настоящей технологии может быть известно много примеров реализации сетевого интерфейса. Например, сетевой интерфейс может обеспечивать физический уровень и канальный уровень стандартов, таких как Ethernet, Fibre Channel, Wi-Fi, Token Ring или протоколов последовательной связи. Конкретные физический уровень и канальный уровень могут обеспечивать основу полного стека протоколов сети для связи в небольших группах компьютеров в одной локальной сети (LAN, Local Area Network) и для связи в крупномасштабной сети с использованием маршрутизируемых протоколов, таких как интернет-протокол (IP, Internet Protocol).
[062] Интерфейс 150 ввода-вывода может соединяться с сенсорным экраном 190 и/или с одной или несколькими внутренними и/или внешними шинами 160. Сенсорный экран 190 может входить в состав дисплея. В некоторых вариантах реализации сенсорный экран 190 представляет собой дисплей. Сенсорный экран 190 может также называться экраном 190. В представленных на фиг. 1 вариантах осуществления изобретения сенсорный экран 190 содержит сенсорные аппаратные средства 194 (например, чувствительные к нажатию ячейки, встроенные в слой дисплея и позволяющие обнаруживать физическое взаимодействие между пользователем и дисплеем) и контроллер 192 ввода-вывода для сенсорных устройств, который обеспечивает связь с дисплейным интерфейсом 140 и/или с одной или несколькими внутренними и/или внешними шинами 160. В некоторых вариантах осуществления изобретения интерфейс 150 ввода-вывода может соединяться с клавиатурой (не показана), мышью (не показана) или сенсорной площадкой (не показана), которые обеспечивают взаимодействие пользователя с компьютерной системой 100 в дополнение к сенсорному экрану 190 или вместо него.
[063] Согласно некоторым вариантам осуществления настоящей технологии в твердотельном накопителе 120 хранятся программные команды, пригодные для загрузки в ОЗУ 130 и исполнения процессором 110 с целью выполнения действий одного или нескольких описанных здесь способов. В частности, по меньшей мере некоторые программные команды могут входить в состав библиотеки или приложения.
[064] На фиг. 2 представлено спутниковое изображение 200 согласно некоторым вариантам осуществления настоящей технологии. Спутниковое изображение 200 может быть зафиксировано одним или несколькими спутниками с околоземной орбиты. Несмотря на то, что здесь описано спутниковое изображение 200, должно быть понятно, что оно может быть зафиксировано любой другой фотографической системой, установленной на летательном аппарате. Спутниковое изображение 200 может быть зафиксировано беспилотным летательным аппаратом (т.е. дроном), неуправляемым аэростатом, самолетом и/или любым другим летательным аппаратом. Любое указание на спутниковое изображение здесь подразумевает изображения, полученные спутником или любым другим летательным аппаратом, и/или аэрофотографию любого вида.
[065] Спутниковое изображение 200 может представлять собой одно изображение или совокупность нескольких изображений. Несколько изображений могут быть получены из одного источника или из нескольких источников. Спутниковое изображение 200 содержит дороги 205. Дороги 205 могут представлять собой дороги общего пользования и/или частные дороги.
[066] Наложенное изображение на спутниковом изображении 200 представляет собой собранные данные 210 системы GPS. Собранные данные 210 системы GPS могут представлять собой данные, полученные от транспортных средств, перемещающихся по дорогам 205. Транспортные средства могут содержать встроенные устройства GPS или устройства GPS, которые перемещаются в транспортном средстве. Например, водитель транспортного средства может иметь смартфон с поддержкой GPS. Устройство GPS транспортного средства может регистрировать положение транспортного средства по мере его перемещения по дорогам 205. В частности, координаты транспортного средства могут регистрироваться через заранее заданные интервалы времени и/или каждый раз при определении нового положения транспортного средства.
[067] Данные 210 системы GPS могут собираться и сохраняться от нескольких транспортных средств, перемещающихся по дорогам 205, и/или во время нескольких поездок по дорогам 205. Транспортные средства и/или устройства могут передавать записанные координаты центральному серверу. Сервер может сохранять собранные координаты GPS в базе данных. Собранные координаты GPS могут фильтроваться и/или обрабатываться для формирования данных системы GPS. Собранные координаты GPS могут фильтроваться для исключения данных, собранных до конкретной даты и/или времени. Например, для формирования данных 210 системы GPS могут использоваться координаты GPS, собранные за последний год. Собранные координаты GPS могут подвергаться фильтрации для исключения резко выделяющихся значений. В некоторых случаях могут возникать ошибочные показания GPS, например, из-за погодных условий. В результате исключения резко выделяющихся значений могут быть удалены неточные координаты GPS.
[068] Как показано на спутниковом изображении 200, данные 210 системы GPS в некоторых областях могут не соответствовать дорогам 205. Это может быть обусловлено ошибками на спутниковом изображении 200 и/или ошибками в данных 210 системы GPS. Если собрано достаточное количество данных 210 системы GPS, то можно предположить, что несоответствие обусловлено ошибками на спутниковом изображении 200. С использованием описанных ниже способов спутниковое изображение 200 может быть скорректировано на основе данных 210 системы GPS.
[069] На фиг. 3 представлена модель 300 DEM согласно некоторым вариантам осуществления настоящей технологии. Исходное спутниковое изображение может быть модифицировано с использованием процесса ортотрансформации. При ортотрансформации спутниковое изображение может быть изменено с целью корректировки различных геометрических неточностей на спутниковом изображении, например, обусловленных наклоном спутника или другого устройства, фиксирующего изображение, влиянием рельефа местности, неточностями датчика, фиксирующего изображение, и/или другими причинами. В результате ортотрансформации может быть получена более точная версия спутникового изображения, географические элементы которого расположены ближе к их фактическим местоположениям на земной поверхности.
[070] При ортотрансформации могут учитываться геометрические искажения, обусловленные влиянием рельефа местности, такие как рельефное смещение. Изменяющаяся высота может привести к смещению видимого положения элемента на изображении. Эти изменения местности могут учитываться при ортотрансформации с использованием модели DEM, такой как модель 300 DEM. Модель 300 DEM является представлением топографической поверхности Земли. Модель 300 DEM содержит информацию о высоте для земной поверхности. Модель 300 DEM может не содержать другой информации о земной поверхности, отличной от высоты.
[071] В модели 300 DEM каждый пиксел соответствует географической области на Земле. Для каждого пиксела модели 300 DEM может быть назначено значение пиксела, указывающее на высоту географической области, соответствующей этому пикселу. Географическая область, соответствующая каждому пикселу, может иметь один и тот же размер. Модель DEM может быть представлена в виде полутонового изображения, цветного изображения или в любом другом подходящем формате. Приведенная в качестве иллюстрации модель 300 DEM представляет собой полутоновое изображение. Для каждого пиксела модели 300 DEM может быть назначено значение пиксела, соответствующее яркости пиксела. Значения пикселов могут лежать в любом диапазоне, например, от 0 (черный цвет) до 255 (белый цвет). Значение пиксела (т.е. яркость) для каждого пиксела модели 300 DEM может указывать на высоту соответствующего местоположения на спутниковом изображении 200. Эти значения пикселов в модели 300 DEM могут использоваться для корректировки спутникового изображения 200 при ортотрансформации.
[072] Модель 300 DEM иллюстрирует один способ хранения топографической информации, соответствующей спутниковому изображению. Тем не менее, должно быть понятно, что может использоваться любой другой подходящий способ. Например, модель 300 DEM может храниться в виде трехмерной модели, карты рельефа и/или в любом другом формате. Модель 300 DEM может формироваться спутником, зафиксировавшим спутниковое изображение 200, или другим спутником. Модель 300 DEM может формироваться любым подходящим воздушным летательным аппаратом, таким как самолет. Модель 300 DEM может формироваться с помощью нескольких источников данных, например, с использованием данных, собранных несколькими спутниками.
[0739] Модель 300 DEM может быть использована в процессе ортотрансформации. Значения пикселов модели 300 DEM могут влиять на положение дорог 205 на спутниковом изображении 200. Как более подробно описано ниже, модель 300 DEM может быть скорректирована для совмещения данных 210 системы GPS с дорогами 205.
[074] На фиг. 4 представлено скорректированное спутниковое изображение 400 согласно некоторым вариантам осуществления настоящей технологии. Скорректированное спутниковое изображение 400 подвергнуто ортотрансформации с использованием скорректированной модели DEM. Модель 300 DEM может быть скорректирована так, чтобы после ортотрансформации данные 210 системы GPS соответствовали дорогам 205. Для некоторых целей может быть особенно важно иметь спутниковые изображения с надлежащим образом размешенными дорогами. Ниже описаны способы корректировки модели DEM для совмещения собранных данных 210 системы GPS с дорогами 205.
Способ корректировки спутникового изображения (не имеющий ограничительного характера вариант осуществления)
[075] На фиг. 5 представлена блок-схема способа 500 корректировки спутникового изображения согласно некоторым вариантам осуществления настоящей технологии. Согласно одному или нескольким аспектам изобретения, способ 500 либо один или несколько его шагов могут выполняться компьютерной системой, такой как компьютерная система 100. Способ 500 либо один или несколько его шагов могут быть реализованы в виде компьютерных команд, хранящихся на машиночитаемом носителе информации, таком как физическое запоминающее устройство, загружаемых в память и исполняемых процессором CPU. Некоторые представленные на блок-схеме шаги или части шагов могут быль опущены либо может быть изменен их порядок следования.
Шаг 505: фиксация спутникового изображения географической области.
[076] На шаге 505 может быть зафиксировано изображение географической области. Изображение может представлять собой спутниковое изображение, изображение, полученное аэрофотосъемкой, и/или изображение любого другого вида, содержащее вид сверху географической области. Изображение может представлять собой совокупность нескольких изображений. При этом может быть записана информация о фиксации изображения, такая как дата и время фиксации, угол наклона устройства, фиксирующего изображение, и/или любая другая информация об устройстве, фиксирующем изображение. Может быть записан наклон спутника, фиксирующего изображение, и/или другая информация о спутнике. Как описано выше, спутниковое изображение может содержать различные неточности. Неточности могут быть обусловлены разными факторами, включая различную высоту географической области.
[077] Для спутникового изображения могут быть сформированы и/или получены коэффициенты RPC. Коэффициенты RPC могут описывать преобразование двумерного спутникового изображения в трехмерные координаты земной поверхности. Коэффициент RPC пиксела спутникового изображения может указывать на координаты местоположения на поверхности, соответствующего этому пикселу Координаты могут быть представлены в любом виде, таком как широта и долгота. Коэффициент RPC пиксела может быть использован для расчета широты и долготы, соответствующих этому пикселу.
Шаг 510: фиксация модели DEM географической области.
[078] На шаге 510 может быть сформирована модель DEM географической области. Модель DEM может быть сформирована спутником, фиксирующим спутниковое изображение на шаге 505, другим спутником или другим летательным аппаратом. Модель DEM может быть сформирована одновременно со спутниковым изображением или в другое время. Модель DEM может быть сформирована на основе нескольких источников данных, например, с использованием данных, собранных несколькими спутниками. Модель DEM может быть сформирована с использованием лидара, радиолокатора, стереофотограмметрии и/или любого другого подходящего способа определения высоты географической области. Модель DEM и/или спутниковое изображение могут быть получены из базы данных.
[079] Модель DEM может указывать на высоту местоположений на спутниковом изображении. Модель DEM может представлять собой изображение, содержащее пикселы, для каждого из которых назначено значение пиксела. Значение пиксела может соответствовать оттенку пиксела. Значение пиксела может указывать на высоту географической области, соответствующей пикселу.
Шаг 515: получение зафиксированных данных системы GPS.
[080] На шаге 515 могут быть получены данные, указывающие на местоположение дорог в географической области. Эти данные могут представлять собой зафиксированные данные системы GPS, соответствующие географической области. Зафиксированные данные системы GPS могут быть записаны устройствами, перемещающимися в транспортных средствах по дорогам в географической области. Данные системы GPS могут собираться с устройств GPS, встроенных в транспортные средства, и/или с устройств GPS, перемещающихся в транспортных средствах, таких как мобильные телефоны. Зафиксированные данные системы GPS могут собираться навигационным приложением, выполняемом в мобильном устройстве водителя или пассажира. Данные системы GPS могут отправляться навигационным приложением в облачную систему. Несмотря на то, что данные здесь описаны как данные системы GPS, они могут быть зафиксированы любой спутниковой навигационной системой, такой как ГЛОНАСС, BeiDou и/или Galileo. Данные системы GPS могут быть получены из базы данных.
[081] Полученные данные системы GPS могут быть подвергнуты фильтрации и/или обработаны иным образом. Данные системы GPS могут фильтроваться на основе времени, например, путем получения данных системы GPS, собранных в течение заранее заданного интервала времени, и/или путем получения заранее заданного количества последних собранных данных системы GPS. Из данных системы GPS могут быть исключены резко выделяющиеся значения, например, путем удаления координат GPS, находящихся далеко от других собранных координат GPS.
[082] Данные, указывающие на местоположение дорог, могут представлять собой карту географической области. Карта может указывать на местоположение дорог в географической области и/или на координаты, соответствующие дорогам в географической области. Данные карты могут использоваться вместо данных системы GPS и/или в дополнение к данным системы GPS. Может быть получено любое другое указание на местоположение дорог в географической области.
Шаг 520: определение дорог на спутниковом изображении.
[083] На шаге 520 могут быть определены дороги на спутниковом изображении, зафиксированном на шаге 505. При этом могут быть определены пикселы, координаты и/или другие указатели, соответствующие дорогам. Дороги могут быть определены с использованием способов компьютерного зрения, алгоритмов MLA и/или любых других способов определения дорог на изображении. Пиксел может быть помечен как пиксел дороги на основе цвета пиксела и/или цвета пикселов, окружающих этот пиксел.
[084] Для определения пикселов, соответствующих дорогам на спутниковом изображении, может быть использован обученный алгоритм MLA, такой как обученная нейронная сеть. Алгоритм MLA может получать спутниковое изображение в качестве входных данных. Алгоритм MLA может выдавать набор пикселов, соответствующий дорогам на спутниковом изображении, и/или любой другой указатель на пикселы, соответствующий дорогам на спутниковом изображении. Алгоритм MLA может быть обучен с использованием размеченных обучающих данных, содержащих набор точек обучающих данных. Каждая точка обучающих данных может содержать спутниковое изображение и карту или другую метку, указывающую на пикселы спутникового изображения, соответствующие дорогам. С использованием размеченных обучающих данных алгоритм MLA может быть обучен прогнозированию пикселов спутникового изображения, соответствующих дорогам.
Шаг 525: определение сдвига для применения в отношении спутникового изображения.
[085] На шаге 525 может быть определен сдвиг для применения в отношении спутникового изображения. Сдвиг может быть применен в отношении самого спутникового изображения и/или всех коэффициентов RPC, соответствующих спутниковому изображению. При этом могут быть определены величина и/или направление сдвига (например, его вектор). Затем определенный сдвиг может быть применен в отношении всех коэффициентов RPC спутникового изображения.
[086] Величина и/или направление сдвига, подлежащего применению, могут быть определены путем сравнения данных системы GPS с идентифицированными дорогами на спутниковом изображении. Может быть определена степень соответствия между данными системы GPS и дорогами. Степень соответствия может представлять собой метрику «пересечение над объединением» (IoU, Intersection over Union), такую как коэффициент Жаккара (Jaccard). Метрика IoU может указывать на количество пикселов спутникового изображения, соответствующих и данным системы GPS, и дорогам, определенным на шаге 520.
[087] Может быть сформирован набор вариантов спутникового изображения, которым соответствуют различные сдвиги, примененные в отношении коэффициентов RPC спутникового изображения. Этим вариантам могут соответствовать различные направления и/или величины сдвига. Для каждого варианта может быть рассчитана степень соответствия между дорогами на спутниковом изображении и данными системы GPS. Может быть выбран вариант с наибольшей степенью соответствия между данными системы GPS и дорогами, который может рассматриваться как соответствующий наименьшей ошибке. Соответствующий этому выбранному варианту сдвиг может быть применен в отношении коэффициентов RPC спутникового изображения. Действия, которые могут выполняться для определения величины сдвига, подлежащего применению, дополнительно описаны в способе 600 (см. фиг. 6), более подробно рассмотренном ниже.
Шаг 530: корректировка пикселов модели DEM.
[088] На шаге 530 может быть скорректирована модель DEM. Модель DEM может быть скорректирована для увеличения степени соответствия между данными системы GPS и дорогами на спутниковом изображении. Значение пиксела для отдельных пикселов модели DEM может быть скорректировано, например, путем увеличения или уменьшения яркости отдельного пиксела.
[089] Может быть выбран отдельный пиксел модели DEM. Для отдельного пиксела может быть сформирован набор пикселов-кандидатов. Все спутниковое изображение или его часть может подвергаться ортотрансформации с использованием всей или части модели DEM с примененными предполагаемыми значениями пиксела. Для каждого ортотрансформированного изображения, сформированного с использованием предполагаемого значения пиксела, может быть определена степень соответствия между дорогами на ортотрансформированном спутниковом изображении и данными системы GPS. Может быть выбрано предполагаемое значение пиксела, соответствующее наибольшей степени соответствия. Этот процесс может продолжаться для всех пикселов модели DEM или для подмножества пикселов модели DEM. Например, с использованием этого процесса могут быть скорректированы пикселы модели DEM, находящиеся на дорогах, определенных на шаге 520, или окружающие их, при этом пикселы модели DEM, не окружающие дороги, могут игнорироваться.
[090] Шаги, выполняемые для корректировки модели DEM, описаны в способе 700 (см. фиг. 7) и в способе 800 (см. фиг. 8), более подробно рассмотренных ниже.
[091] Каждый пиксел спутникового изображения, определенный на шаге 520 как часть дороги, может сравниваться с зафиксированными данными системы GPS. Может быть идентифицирован набор пикселов, определенных как часть дороги, но не соответствующих зафиксированным данным системы GPS. Для каждого пиксела из набора пикселов, который не соответствует данным системы GPS, значение пиксела для соответствующего пиксела модели DEM и/или значение пиксела для пикселов модели DEM, окружающих соответствующий пиксел, может быть скорректировано так, чтобы пиксел спутникового изображения соответствовал данным системы GPS.
[092] Для корректировки значений пиксела и окружающих его пикселов в модели DEM значения пикселов могут изменяться случайным образом до тех пор, пока пиксел спутникового изображения не будет соответствовать данным системы GPS. Могут быть сформированы различные измененные версии модели DEM. Каждая измененная версия модели DEM может быть использована для ортотрансформации спутникового изображения. На основе измененных версий модели DEM могут быть сформированы коэффициенты RPC для спутникового изображения. Коэффициенты RPC могут использоваться для проверки совмещения пиксела дороги на спутниковом изображении с данным системы GPS. После совмещения пиксела спутникового изображения модель DEM со скорректированными значениями пикселов может быть сохранена.
Шаг 535: формирование скорректированного спутникового изображения.
[093] На шаге 535 может быть сформировано скорректированное спутниковое изображение. Скорректированное спутниковое изображение может быть сформировано с использованием скорректированной модели DEM, сформированной на шаге 530. Скорректированная модель DEM может быть использована для ортотрансформации спутникового изображения, зафиксированного на шаге 505. По сравнению с первоначальным спутниковым изображением, зафиксированным на шаге 505, скорректированному спутниковому изображению может соответствовать большая степень соответствия между зафиксированными данными системы GPS и идентифицированными дорогами на спутниковом изображении. На фиг. 4 представлен пример спутникового изображения, скорректированного путем корректировки модели DEM для увеличения степени соответствия между дорогами на спутниковом изображении и данными системы GPS.
Шаг 540: сохранение скорректированного спутникового изображения.
[094] На шаге 535 скорректированное спутниковое изображение может быть сохранено. Также могут быть сохранены скорректированная модель DEM, коэффициенты RPC и/или любые другие данные, относящиеся к спутниковому изображению. Скорректированное спутниковое изображение может использоваться для разных целей, например, для навигации самоуправляемого автомобиля или другого транспортного средства.
Способ корректировки спутникового изображения (не имеющий ограничительного характера вариант осуществления)
[0959] На фиг. 6 представлена блок-схема способа 600 определения сдвига для применения в отношении спутникового изображения согласно некоторым вариантам осуществления настоящей технологии. Согласно одному или нескольким аспектам изобретения, способ 600 либо один или несколько его шагов могут выполняться компьютерной системой, такой как компьютерная система 100. Способ 600 либо один или несколько его шагов могут быть реализованы в виде компьютерных команд, хранящихся на машиночитаемом носителе информации, таком как физическое запоминающее устройство, загружаемых в память и исполняемых процессором CPU. Некоторые представленные на блок-схеме шаги или части шагов могут быль опущены либо может быть изменен их порядок следования.
Шаг 605: получение спутникового изображения географической области.
[096] На шаге 605 может быть зафиксировано, извлечено, сформировано и/или получено спутниковое изображение географической области. Выполняемые на шаге 605 действия могут быть подобны описанным выше для шага 505 способа 500.
Шаг 610: получение коэффициентов RPC для спутникового изображения.
[097] На шаге 610 могут быть получены, извлечены и/или сформированы коэффициенты RPC для спутникового изображения. Для каждого пиксела спутникового изображения коэффициенты RPC могут указывать на соответствующее физическое местоположение на Земле. Коэффициенты RPC могут использоваться для формирования набора географических координат (например, широты и долготы), соответствующих отдельному пикселу.
Шаг 615: получение зафиксированных данных системы GPS.
[098] На шаге 615 могут быть получены ранее зафиксированные данные системы GPS. Выполняемые на шаге 615 действия могут быть подобны описанным выше для шага 515 способа 500. Данные системы GPS могут быть зафиксированы ранее устройствами GPS в транспортных средствах, перемещающихся в географической области. Данные системы GPS могут содержать наборы координат, зафиксированных устройствами GPS во время перемещения по дорогам в географической области. Как описано выше для шага 515, в некоторых случаях вместо зафиксированных данных системы GPS или в дополнение к ним могут быть получены данные карты.
Шаг 620: определение дорог на спутниковом изображении.
[099] На шаге 620 на спутниковом изображении могут быть определены дороги. Могут быть определены пикселы, координаты и/или другие указатели, соответствующие дорогам. Выполняемые на шаге 620 действия могут быть подобны описанным выше для шага 520 способа 500. Для определения пикселов, соответствующих дорогам на спутниковом изображении, может использоваться обученный алгоритм MLA, такой как обученная нейронная сеть. Алгоритм MLA может получать спутниковое изображение в качестве входных данных и выдавать указание на пикселы спутникового изображения, которые предположительно содержат дороги.
Шаг 625: формирование вариантов спутникового изображения.
[0100] На шаге 625 могут быть сформированы варианты спутникового изображения. Может быть сформировано любое количество вариантов. Может быть сформировано заранее заданное количество вариантов. Может быть сформирован или получен набор сдвигов, каждый из которых содержит направление сдвига и/или величину сдвига. Сдвиги могут быть представлены в виде вектора. Для каждого сдвига может быть сформирован вариант спутникового изображения путем применения сдвига в отношении спутникового изображения и/или всех коэффициентов RPC спутникового изображения. Например, если получены команды для трех сдвигов, подлежащих применению в отношении спутникового изображения, то могут быть сформированы три варианта спутникового изображения: первый сдвиг применяется в отношении всех коэффициентов RPC спутникового изображения для формирования первого варианта, второй сдвиг применяется в отношении всех коэффициентов RPC для формирования второго варианта и третий сдвиг применяется в отношении всех коэффициентов RPC для формирования третьего варианта.
[0101] При формировании сдвигов может быть использован заранее заданный диапазон, который может содержать максимальную и минимальную величину для сдвига пикселов спутникового изображения по осям X и Y. Например, диапазон может быть от -8 до 8 пикселов для оси X и -8 до 8 пикселов для оси Y.
Шаг 630: расчет соответствия для каждого варианта.
[0102] На шаге 630 для каждого варианта, сформированного на шаге 625, может быть рассчитана степень соответствия. Могут быть определены пикселы, соответствующие зафиксированным данным системы GPS, полученным на шаге 615. Могут быть определены все пикселы спутникового изображения, соответствующие данным системы GPS. Степень соответствия может указывать на количество пикселов, соответствующих и данным системы GPS, и дорогам на спутниковом изображении, определенным на шаге 620. Степень соответствия может быть определена с использованием пикселов, координат или любого другого формата. Например, пикселы, соответствующие идентифицированным дорогам, могут быть преобразованы с использованием соответствующих коэффициентов RPC в координаты в том же формате, что и зафиксированные данные системы GPS. Когда оба набора данных представлены в формате координат, может быть определена степень соответствия между двумя наборами данных.
[0103] Для каждого варианта, сформированного на шаге 625, могут быть сформированы два набора данных. Первый набор данных может содержать пикселы, соответствующие зафиксированным данным системы GPS. Второй набор данных может содержать пикселы, определенные как образующие часть дорог на спутниковом изображении. Оба набора данных могут быть преобразованы в один формат, чтобы можно было определить соответствие между двумя наборами данных.
[0104] Набор данных, содержащий зафиксированные данные системы GPS, может содержать данные, полученные на шаге 615. Этот набор данных может быть представлен в формате координат GPS, которые могут содержать широту и долготу. Один и тот же набор данных системы GPS может быть использован с целью определения степени соответствия для всех вариантов.
[0105] Набор данных, содержащий идентифицированные дороги, может отличаться для каждого варианта. Для каждого варианта местоположение пикселов дорог, определенных на шаге 620, может быть преобразовано в координаты с использованием коэффициентов RPC для конкретного варианта. Поскольку для каждого варианта может применяться разная величина сдвига, то полученные в результате координаты будут отличаться для каждого варианта. После формирования обоих наборов данных в формате координат может быть определено соответствие между двумя наборами данных для конкретного варианта. Вместо сравнения наборов данных в формате координат зафиксированные данные системы GPS могут быть преобразованы в формат пикселов путем определения всех пикселов спутникового изображения, соответствующих данным системы GPS. Затем соответствие может быть определено путем определения количества пикселов, соответствующих и данным системы GPS, и идентифицированным дорогам.
[0106] Такое соответствие для варианта может быть рассчитано путем определения метрики IoU для двух наборов данных, например, путем расчета коэффициента Жаккара для двух наборов данных. Может быть использован любой другой показатель различия двух наборов данных. Соответствие может выдаваться в любом формате, например, в виде числа, указывающего на степень соответствия между двумя наборами данных. Степень соответствия может быть сохранена для каждого варианта.
Шаг 635: выбор варианта с наибольшим соответствием.
[0107] На шаге 635 может быть выбран вариант с наибольшей степенью соответствия. Соответствующие этому варианту коэффициенты RPC могут быть выбраны в качестве коэффициентов RPC для спутникового изображения. Поскольку этот вариант имеет наибольшую степень соответствия, он может рассматриваться как имеющий наименьшую ошибку и/или наиболее точный вариант спутникового изображения. Дороги на спутниковом изображении в выбранном варианте могут находиться ближе всего к фактическому физическому местоположению дорог по сравнению с другими вариантами.
Шаг 640: сохранение скорректированных коэффициентов RPC.
[0108] На шаге 640 могут быть сохранены скорректированные коэффициенты RPC и/или скорректированное спутниковое изображение. Скорректированные коэффициенты RPC могут представлять собой коэффициенты RPC выбранного варианта. Скорректированное спутниковое изображение может представлять собой спутниковое изображение, сформированное с использованием коэффициентов RPC выбранного варианта. Может быть сохранено скорректированное спутниковое изображение, в отношении которого применен выбранный сдвиг.
Способ коррекции спутникового изображения (не имеющий ограничительного характера вариант осуществления)
[0109] На фиг. 7 представлена блок-схема способа 700 коррекции модели DEM спутникового изображения согласно некоторым вариантам осуществления настоящей технологии. Согласно одному или нескольким аспектам изобретения, способ 700 либо один или несколько его шагов могут выполняться компьютерной системой, такой как компьютерная система 100. Способ 700 либо один или несколько его шагов могут быть реализованы в виде компьютерных команд, хранящихся на машиночитаемом носителе информации, таком как физическое запоминающее устройство, загружаемых в память и исполняемых процессором CPU. Некоторые представленные на блок-схеме шаги или части шагов могут быль опущены либо может быть изменен их порядок следования.
Шаг 705: получение спутникового изображения географической области.
[0110] На шаге 705 может быть зафиксировано, извлечено, сформировано и/или получено спутниковое изображение географической области. Выполняемые на шаге 705 действия могут быть подобны описанным выше для шага 505 способа 500. Могут быть получены данные системы GPS, собранные в географической области. Данные системы GPS могут представлять собой координаты, измеренные устройствами GPS, которые перемещаются по дорогам в географической области, такими как устройства GPS, встроенные в транспортные средства или перемещающиеся в транспортных средствах.
Шаг 710: получение модели DEM географической области.
[0111] На шаге 710 может быть зафиксирована, извлечена, сформирована и/или получена модель DEM географической области. Выполняемые на шаге 710 действия могут быть подобны описанным выше для шага 510 способа 500. Модель DEM может быть представлена в виде изображения, состоящего из пикселов. Каждый пиксел может соответствовать физическому местоположению в географической области. Каждый пиксел может иметь значение пиксела, представляющее собой яркость пиксела. Значение пиксела может указывать на высоту физического местоположения, соответствующего этому пикселу. Как описано выше, модель DEM может быть использована для ортотрансформации спутникового изображения.
Шаг 715: определение всех пикселов, соответствующих дорогам на спутниковом изображении.
[0112] На шаге 715 могут быть определены все пикселы, соответствующие дорогам на спутниковом изображении. Выполняемые на шаге 715 действия могут быть подобны описанным выше для шага 520. В некоторых случаях способ 700 может выполняться после способа 600. В этом случае шаги 705 и 715 могут не выполняться, поскольку подобные шаги выполнялись на шагах 605 и 620 способа 600. Как описано выше для шага 520, пикселы спутникового изображения, соответствующие дорогам, могут определяться с использованием алгоритма MLA, такого как нейронная сеть, обученная определению пикселов дорог на спутниковом изображении. Для каждого пиксела, соответствующего дороге, может быть сохранено местоположение или любой другой указатель.
Шаг 720: выбор пиксела в модели DEM.
[0113] На шаге 720 может быть выбран один из пикселов модели DEM. Может быть выбран любой пиксел модели DEM. В некоторых случаях могут быть выбраны пикселы модели DEM, соответствующие дорогам, а также могут быть выбраны пикселы модели DEM, не соответствующие дорогам. Выбор пикселов, соответствующих дорогам, без обработки пикселов, не соответствующих дорогам, может оказаться более эффективным. С целью выбора пикселов, соответствующих дорогам, могут быть выбраны определенные на шаге 715 пикселы модели DEM, соответствующие пикселам дорог на спутниковом изображении. Также могут быть выбраны пикселы, окружающие пикселы дорог. Например, могут быть выбраны все пикселы в пределах заранее заданного расстояния от пиксела дороги. Пикселы модели DEM могут выбираться в любом порядке.
Шаг 725: формирование предполагаемых значений пиксела.
[0114] На шаге 725 для пиксела могут быть сформированы предполагаемые значения пиксела. Предполагаемые значения пиксела могут представлять собой измененные значения пиксела для этого пиксела. Может быть сформирован набор предполагаемых значений пиксела, а затем одно значение пиксела может быть выбрано из набора и назначено для пиксела.
[0115] Для формирования предполагаемых значений пиксела могут использоваться разные способы. Верхняя граница, нижняя граница и/или количество предполагаемых значений пиксела для формирования могут задаваться заранее или определяться динамически. Предполагаемые значения пиксела могут быть расположены с равными интервалами в пределах диапазона на основе заданного количества значений пиксела для формирования. Предполагаемые значения пиксела могут быть сформированы случайным образом в диапазоне между нижней и верхней границей.
[0116] Предполагаемые значения пиксела могут быть сформированы на основе значений пикселов, окружающих пиксел. Может быть выбран набор пикселов, окружающих пиксел, выбранный на шаге 720. Например, могут быть выбраны все пикселы в пределах заранее заданного расстояния от этого пиксела. Затем в отношении пикселов, окружающих этот пиксел, может быть применен алгоритм сглаживания с целью определения значения пиксела для этого пиксела. Алгоритм сглаживания может представлять собой алгоритм на основе гауссова размытия и/или алгоритм сглаживания любого другого вида. Алгоритм сглаживания может формировать предполагаемое значение пиксела в виде средневзвешенного значения окружающих пикселов, при этом наибольшие веса назначаются пикселам, наиболее близким к выбранному пикселу.
[0117] Могут применяться различные алгоритмы сглаживания и/или индивидуальные алгоритмы сглаживания с различными параметрами. Множество предполагаемых значений пиксела может быть сформировано с использованием различных алгоритмов сглаживания и/или различных параметров.
Шаг 730: определение степени соответствия для каждого предполагаемого значения пиксела.
[0118] На шаге 730 может быть определена степень соответствия между данными системы GPS и пикселами дорог. Степень соответствия может определяться для всего спутникового изображения или для меньшей зоны, окружающей пиксел. Например, степень соответствия может быть определена для окружающей пиксел зоны размером 256×256 пикселов. Определение степени соответствия для зоны, меньшей всего спутникового изображения, может выполняться быстрее и/или требовать меньше ресурсов, чем определение степени соответствия для всего спутникового изображения.
[0119] Для каждого предполагаемого значения пиксела может быть сформирована модель DEM. Сформированная модель DEM может соответствовать зоне, используемой для определения соответствия. Например, если используется окружающая выбранный пиксел зона размером 256×256 пикселов, то модель DEM также может быть сформирована так, чтобы иметь размер 256×256 пикселов и/или содержать высоты для всех пикселов в зоне размером 256×256 пикселов. Предполагаемое значение пиксела может быть назначено для выбранного пиксела. Затем спутниковое изображение может быть ортотрансформировано с использованием модели DEM, сформированной для предполагаемого значения пиксела.
[0120] После ортотрансформации спутникового изображения с использованием модели DEM могут определяться координаты для каждого определенного на шаге 715 пиксела, соответствующего дорогам на спутниковом изображении. Для преобразования пикселов дорог в координаты могут использоваться коэффициенты RPC спутникового изображения. Может быть определена степень соответствия между этими координатами и зафиксированными координатами GPS. Действия, выполняемые на шаге 730 с целью определения степени соответствия, могут быть подобны описанным выше для шага 630 способа 600.
Шаг 735: выбор предполагаемого значения пиксела с наибольшим соответствием.
[0121] На шаге 735 может быть выбрано предполагаемое значение пиксела с наибольшей степенью соответствия, определенной на шаге 730. Выбранное предполагаемое значение пиксела может быть назначено для этого пиксела. Выбранное значение может заменять первоначальное значение пиксела в модели DEM.
Шаг 740: определение наличия пикселов для обработки.
[0122] На шаге 740 может быть определено, имеются ли еще пикселы для обработки или все пикселы были обработаны на шагах 720-740. Если имеются пикселы для обработки, то способ 700 может перейти к шагу 720, на котором может быть выбран следующий пиксел. В противном случае, если все пикселы были обработаны на шагах 720-735, способ может перейти к шагу 745.
[0123] Как описано выше, способ 700 позволяет обработать все пикселы модели DEM и/или подмножество пикселов модели DEM на шагах 720-740. В некоторых случаях пикселы модели DEM, совпадающие с пикселами, соответствующими дорогам на спутниковом изображении, могут быть выбраны на шаге 720 и обработаны. Обработка только пикселов, соответствующих дорогам, вместо обработки всех пикселов модели DEM, может оказаться более эффективной.
Шаг 745: сохранение скорректированной модели DEM.
[0124] На шаге 745 скорректированная модель DEM может быть сохранена. Для некоторых или всех пикселов модели DEM, полученной на шаге 710, первоначальные значения пикселов в модели DEM могут быть заменены предполагаемыми значениями пиксела, выбранными на шаге 735. Яркость отдельных пикселов модели DEM может быть скорректирована на основе предполагаемых значений пиксела, выбранных на шаге 735.
Шаг 750: формирование скорректированного спутникового изображения.
[0125] На шаге 750 спутниковое изображение, полученное на шаге 705, может быть ортотрансформировано с использованием скорректированной модели DEM для формирования скорректированного спутникового изображения. Степень соответствия между данными системы GPS и дорогами на скорректированном спутниковом изображении может быть больше степени соответствия между данными системы GPS и дорогами на первоначальном спутниковом изображении. Скорректированное спутниковое изображение может быть сохранено и использовано для любой подходящей цели, такой как навигация. Скорректированное спутниковое изображение может использоваться для навигации автономным транспортным средством, таким как самоуправляемый автомобиль.
Способ формирования скорректированной модели DEM (не имеющий ограничительного характера вариант осуществления)
[0126] На фиг. 8 представлена блок-схема способа 800 для формирования скорректированной модели DEM с использованием алгоритма MLA согласно некоторым вариантам осуществления настоящей технологии. Согласно одному или нескольким аспектам изобретения, способ 800 либо один или несколько его шагов могут выполняться компьютерной системой, такой как компьютерная система 100. Способ 800 либо один или несколько его шагов могут быть реализованы в виде компьютерных команд, хранящихся на машиночитаемом носителе информации, таком как физическое запоминающее устройство, загружаемых в память и исполняемых процессором CPU. Некоторые представленные на блок-схеме шаги или части шагов могут быль опущены либо может быть изменен их порядок следования.
Шаг 805: получение размеченного набора данных.
[0127] На шаге 805 может быть получен размеченный набор данных спутниковых изображений. Этот набор данных может содержать несколько обучающих объектов. Каждый обучающий объект может содержать спутниковое изображение с распознанными дорогами, набор эталонных дорог, соответствующих спутниковому изображению, и метку.
[0128] Спутниковое изображение с распознанными дорогами может представлять собой спутниковое изображение географической области, содержащей дороги. Распознанные дороги могут быть распознаны с использованием алгоритма MLA. Выше для шага 520 способа 500 описаны действия, выполняемые для определения дорог на спутниковом изображении. Алгоритм MLA может выдавать набор координат и/или набор пикселов, соответствующих распознанным дорогам на спутниковом изображении. Координаты могут представлять собой координаты по широте и долготе, соответствующие пикселам, определенным как соответствующие дорогам.
[0129] Набор эталонных дорог может быть сформирован на основе собранных данных системы GPS от транспортных средств, перемещающихся по дорогам. Эталонные дороги могут быть наложены на спутниковое изображение. Эталонные дороги могут быть представлены в любом подходящем формате, таком как набор координат по широте и долготе, соответствующих дорогам. Эталонные дороги могут быть сформированы на основе карты географической области. На карте может отображаться местоположение дорог в географической области.
[0130] Метка может указывать на сдвиги пикселов, перемещающие распознанные дороги к эталонным дорогам. Метка может представлять собой набор команд для сдвига пикселов на спутниковом изображении. Каждая команда может содержать ссылку на пиксел или набор пикселов спутникового изображения и сдвиг для применения в отношении пикселов. Сдвиг может быть представлен в виде вектора или в любом другом подходящем формате.
Шаг 810: обучение алгоритма MLA.
[0131] На шаге 810 алгоритм MLA может быть обучен на основе размеченного набора данных. Алгоритм MLA может представлять собой алгоритм MLA любого вида, такой как нейронная сеть, алгоритм MLA на основе деревьев и/или алгоритм MLA любого другого вида, либо сочетание алгоритмов MLA различных видов. Алгоритм MLA может представлять собой сверточную нейронную сеть.
[0132] Для обучения алгоритма MLA могут использоваться обучающие объекты. Спутниковое изображение с распознанными дорогами и эталонные дороги из обучающего объекта могут вводиться в алгоритм MLA для его обучения. Алгоритм MLA может выдавать прогнозируемый набор сдвигов пикселов для обучающего объекта. Прогнозируемый набор сдвигов пикселов и сдвиги пикселов из метки обучающего объекта могут вводиться в функцию потерь. Функция потерь может сравнивать сдвиги пикселов из метки с прогнозируемыми сдвигами пикселов. Функция потерь может выдавать показатель различия между прогнозируемыми сдвигами пикселов и сдвигами пикселов из метки. Затем алгоритм MLA может быть скорректирован на основе выходных данных функции потерь. Алгоритм MLA может быть скорректирован с целью минимизации различий между прогнозируемыми сдвигами пикселов и сдвигами пикселов из метки для будущих прогнозов.
Шаг 815: сохранение обученного алгоритма MLA.
[0133] На шаге 815 обученный алгоритм MLA может быть сохранен. После обучения алгоритма MLA он может быть сохранен. Часть размеченного набора данных может быть использована в качестве проверочного набора. Проверочный набор не может использоваться для обучения алгоритма MLA. Проверочный набор может быть использован для тестирования алгоритма MLA. Алгоритм MLA может быть использован с целью прогнозирования сдвигов пикселов для каждого обучающего объекта из проверочного набора. Функция потерь может быть использована для расчета различия между прогнозируемыми сдвигами пикселов и сдвигами пикселов из метки для каждого обучающего объекта из проверочного набора. Для обучающих объектов из проверочного набора могут быть рассчитаны средние потери. Обучение алгоритма MLA может прекращаться, когда средние потери становятся меньше порогового значения потерь. Пороговое значение потерь может представлять собой заранее заданное пороговое значение.
Шаг 820: ввод спутникового изображения в алгоритм MLA.
[0134] На шаге 820 алгоритм MLA может быть использован с целью прогнозирования сдвигов пикселов для спутникового изображения. Шаги 805-815 способа 800 могут называться этапом обучения алгоритма MLA. Шаги 820-830 могут называться этапом использования алгоритма MLA. Спутниковое изображение с распознанными дорогами может вводиться в алгоритм MLA. Эталонные дороги, соответствующие спутниковому изображению, могут вводиться в алгоритм MLA. Эталонные дороги могут быть представлены собранными данными системы GPS от транспортных средств, перемещающихся по дорогам на спутниковом изображении. Спутниковое изображение с распознанными дорогами и эталонные дороги могут быть представлены в том же формате, что и данные обучающих объектов.
Шаг 825: вывод сдвигов пикселов алгоритмом MLA.
[0135] На шаге 825 алгоритм MLA может выдавать набор сдвигов пикселов, соответствующих данным, введенным на шаге 820. Сдвиги пикселов могут выдаваться в том же формате, что и метки для точек обучающих данных. Сдвиги пикселов могут представлять собой набор команд, каждая из которых указывает на пиксел или набор пикселов спутникового изображения для сдвига и на сдвиг для применения в отношении этих пикселов.
Шаг 830: формирование скорректированной модели DEM на основе сдвигов пикселов.
[0136] На шаге 830 скорректированная модель DEM для спутникового изображения может сформироваться на основе сдвигов пикселов. Может быть получена модель DEM, соответствующая спутниковому изображению, введенному в алгоритм MLA. Для модели DEM могут быть определены корректировки на основе сдвигов пикселов. Для расчета корректировок модели DEM могут использоваться коэффициенты RPC каждого пиксела. При этом может скорректироваться яркость отдельных пикселов модели DEM. Скорректированная модель DEM может быть сохранена.
[0137] Специалистам в данной области техники должно быть понятно, что по меньшей некоторые варианты осуществления настоящей технологии преследуют цель расширения арсенала технических решений определенной технической задачи, а именно, корректировки спутникового изображения на основе собранных данных системы GPS.
[0138] Очевидно, что не все упомянутые здесь технические эффекты должны присутствовать в каждом варианте реализации настоящей технологии. Например, возможны варианты реализации настоящей технологии, когда пользователь не получает некоторые из этих технических эффектов, или другие варианты реализации, когда пользователь получает другие технические эффекты либо когда технический эффект отсутствует.
[0139] Для специалиста в данной области могут быть понятны возможные изменения и усовершенствования описанных выше вариантов осуществления настоящей технологии. Предшествующее описание приведено лишь в иллюстративных целях, а не для ограничения объема изобретения. Объем охраны настоящей технологии определяется исключительно объемом приложенной формулы изобретения.
Claims (66)
1. Способ корректировки цифровой модели высот, включающий в себя:
- получение спутникового изображения, содержащего одну или несколько дорог, и цифровой модели высот (DEM), содержащей высоту каждого пиксела спутникового изображения;
- получение зафиксированных данных системы глобального позиционирования (GPS), соответствующих одной или нескольким дорогам;
- определение пиксела на спутниковом изображении, соответствующего одной или нескольким дорогам;
- определение соответствия местоположения пиксела на спутниковом изображении данным системы GPS;
- определение набора пикселов модели DEM, окружающих пиксел на спутниковом изображении, если определено, что местоположение пиксела на спутниковом изображении не соответствует данным системы GPS; и
- корректировку высоты каждого пиксела из набора пикселов модели DEM таким образом, чтобы местоположение пиксела на спутниковом изображении соответствовало одной или нескольким дорогам.
2. Способ по п. 1, отличающийся тем, что корректировка высоты каждого пиксела включает в себя:
- выбор случайным образом высоты для каждого пиксела из набора пикселов;
- применение выбранных случайным образом высот в отношении модели DEM;
- после применения выбранных случайным образом высот в отношении модели DEM определение соответствия местоположения пиксела на спутниковом изображении одной или нескольким дорогам; и
- сохранение выбранных случайным образом высот в модели DEM, если определено, что местоположение пиксела на спутниковом изображении соответствует одной или нескольким дорогам.
3. Способ по п. 1, отличающийся тем, что он дополнительно включает в себя:
- определение второго набора пикселов, соответствующего дорогам на спутниковом изображении; и
- выбор пиксела на спутниковом изображении из второго набора пикселов, соответствующего дорогам на спутниковом изображении.
4. Способ по п. 3, отличающийся тем, что определение второго набора пикселов, соответствующего дорогам на спутниковом изображении, включает в себя:
- ввод спутникового изображения в обученный алгоритм машинного обучения (MLA); и
- выдачу алгоритмом MLA второго набора пикселов, соответствующего дорогам на спутниковом изображении.
5. Способ по п. 4, отличающийся тем, что обученный алгоритм MLA обучен с использованием набора спутниковых изображений, каждое из которых содержит метку, указывающую на то, какие пикселы спутникового изображения соответствуют дорогам на спутниковом изображении.
6. Способ по п. 1, отличающийся тем, что он дополнительно включает в себя определение коэффициента рационального многочлена (RPC), соответствующего пикселу на спутниковом изображении.
7. Способ по п. 6, отличающийся тем, что определение соответствия местоположения пиксела на спутниковом изображении данным системы GPS включает в себя:
- определение на основе коэффициента RPC координаты GPS, соответствующей пикселу на спутниковом изображении; и
- сравнение координаты GPS пиксела на спутниковом изображении с данными системы GPS для определения соответствия между координатой GPS и дорогой.
8. Способ по п. 7, отличающийся тем, что корректировка высоты каждого пиксела включает в себя:
- выбор случайным образом высоты для каждого пиксела из набора пикселов;
- применение выбранных случайным образом высот в отношении модели DEM;
- определение второго коэффициента RPC, соответствующего пикселу на спутниковом изображении;
- определение на основе второго коэффициента RPC второй координаты GPS, соответствующей пикселу на спутниковом изображении;
- сравнение второй координаты GPS пиксела на спутниковом изображении с данными системы GPS для определения соответствия между второй координатой GPS и дорогой; и
- сохранение выбранных случайным образом высот в модели DEM, если определено, что вторая координата GPS соответствует дороге.
9. Способ по п. 1, отличающийся тем, что зафиксированные данные системы GPS содержат координаты GPS, зафиксированные множеством электронных устройств, перемещающихся по одной или нескольким дорогам.
10. Способ по п. 9, отличающийся тем, что множество электронных устройств связано с транспортными средствами, перемещающимися по одной или нескольким дорогам.
11. Способ по п. 1, отличающийся тем, что зафиксированные данные системы GPS формируются путем:
- получения координат GPS, зафиксированных множеством транспортных средств, перемещающихся по одной или нескольким дорогам; и
- исключения резко выделяющихся значений из координат GPS.
12. Способ корректировки цифровой модели высот, включающий в себя:
- получение спутникового изображения, содержащего одну или несколько дорог, и модели DEM, содержащей высоту каждого пиксела спутникового изображения;
- получение зафиксированных данных системы GPS, соответствующих одной или нескольким дорогам;
- определение на основе данных системы GPS сдвига для применения в отношении спутникового изображения;
- выбор пиксела в модели DEM;
- определение на основе пикселов, окружающих выбранный пиксел, множества предполагаемых значений пиксела для этого пиксела;
- определение величины ошибки для каждого предполагаемого значения пиксела из множества предполагаемых значений пиксела;
- выбор предполагаемого значения пиксела с наименьшей величиной ошибки из множества предполагаемых значений пиксела; и
- формирование на основе выбранного предполагаемого значения пиксела скорректированной модели DEM.
13. Способ по п. 12, отличающийся тем, что он дополнительно включает в себя формирование скорректированного спутникового изображения на основе скорректированной модели DEM.
14. Способ по п. 12, отличающийся тем, что он дополнительно включает в себя получение коэффициентов RPC, соответствующих спутниковому изображению, при этом определение сдвига для применения в отношении спутникового изображения включает в себя:
- формирование множества вариантов коэффициентов RPC;
- определение для каждого варианта из множества вариантов величины ошибки на основе данных системы GPS;
- выбор соответствующего сдвигу варианта с наименьшей величиной ошибки из множества вариантов; и
- применение этого сдвига в отношении коэффициентов RPC.
15. Способ по п. 12, отличающийся тем, что определение множества предполагаемых значений пиксела включает в себя применение алгоритма сглаживания в отношении пиксела и окружающих его пикселов.
16. Способ по п. 12, отличающийся тем, что определение величины ошибки включает в себя определение указания на соответствие между одной или несколькими дорогами и данными системы GPS.
17. Способ корректировки цифровой модели высот, включающий в себя:
- получение спутникового изображения, содержащего одну или несколько дорог, и модели DEM, содержащей высоту каждого пиксела спутникового изображения;
- получение зафиксированных данных системы GPS, соответствующих одной или нескольким дорогам;
- выбор пиксела в модели DEM;
- формирование множества предполагаемых значений пиксела для выбранного пиксела;
- определение величины ошибки для каждого предполагаемого значения пиксела из множества предполагаемых значений пиксела;
- выбор предполагаемого значения пиксела с наименьшей величиной ошибки из множества предполагаемых значений пиксела; и
- формирование на основе выбранного предполагаемого значения пиксела скорректированной модели DEM.
18. Способ по п. 17, отличающийся тем, что определение величины ошибки для соответствующего предполагаемого значения пиксела включает в себя:
- определение набора пикселов, окружающих пиксел;
- определение для набора пикселов степени соответствия между данными системы GPS и набором пикселов; и
- определение величины ошибки для соответствующего предполагаемого значения пиксела на основе степени соответствия.
19. Способ по п. 17, отличающийся тем, что каждое предполагаемое значение пиксела находится в заранее заданном диапазоне значений пиксела.
20. Способ по п. 17, отличающийся тем, что он дополнительно включает в себя формирование скорректированного спутникового изображения на основе скорректированной модели DEM.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US18/082,078 US20230206408A1 (en) | 2021-10-18 | 2022-12-15 | Method and system for adjusting a digital elevation model |
Publications (2)
Publication Number | Publication Date |
---|---|
RU2021130268A RU2021130268A (ru) | 2023-06-30 |
RU2818049C2 true RU2818049C2 (ru) | 2024-04-23 |
Family
ID=
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US1058234A (en) * | 1910-07-08 | 1913-04-08 | Harry F Hamilton | Device for cleaning teeth. |
CN103218783A (zh) * | 2013-04-17 | 2013-07-24 | 国家测绘地理信息局卫星测绘应用中心 | 基于控制点影像数据库的卫星遥感图像快速几何纠正方法 |
RU2571871C2 (ru) * | 2012-12-06 | 2015-12-27 | Александр ГУРЕВИЧ | Способ определения границ дороги, формы и положения объектов, находящихся на дороге, и устройство для его выполнения |
US20200302250A1 (en) * | 2019-03-22 | 2020-09-24 | Nvidia Corporation | Iterative spatial graph generation |
KR20210095479A (ko) * | 2020-01-23 | 2021-08-02 | 한국전자통신연구원 | 위성 영상 처리 장치 및 그 지상기준점 추출 방법 |
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US1058234A (en) * | 1910-07-08 | 1913-04-08 | Harry F Hamilton | Device for cleaning teeth. |
RU2571871C2 (ru) * | 2012-12-06 | 2015-12-27 | Александр ГУРЕВИЧ | Способ определения границ дороги, формы и положения объектов, находящихся на дороге, и устройство для его выполнения |
CN103218783A (zh) * | 2013-04-17 | 2013-07-24 | 国家测绘地理信息局卫星测绘应用中心 | 基于控制点影像数据库的卫星遥感图像快速几何纠正方法 |
US20200302250A1 (en) * | 2019-03-22 | 2020-09-24 | Nvidia Corporation | Iterative spatial graph generation |
KR20210095479A (ko) * | 2020-01-23 | 2021-08-02 | 한국전자통신연구원 | 위성 영상 처리 장치 및 그 지상기준점 추출 방법 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102126724B1 (ko) | 포인트 클라우드 데이터를 복구하기 위한 방법 및 장치 | |
JP6812404B2 (ja) | 点群データを融合させるための方法、装置、コンピュータ読み取り可能な記憶媒体、及びコンピュータプログラム | |
CN102084398B (zh) | 街道级图像到3d建筑物模型的对准 | |
CN111461981B (zh) | 点云拼接算法的误差估计方法和装置 | |
JP2016029564A (ja) | 対象検出方法及び対象検出装置 | |
US11551411B2 (en) | Data processor, data processing method, and data processing program for determining correspondence relationships between laser scanning point clouds | |
US10089417B2 (en) | Structure determination in a geographic area | |
US10970541B2 (en) | Geo-registering an aerial image by an object detection model using machine learning | |
US11983890B2 (en) | Method and apparatus with motion information estimation | |
JP7343054B2 (ja) | 位置推定方法、位置推定装置、および位置推定プログラム | |
CN111127584A (zh) | 建立视觉地图的方法和装置、电子设备和存储介质 | |
US9875575B2 (en) | Smoothing 3D models of objects to mitigate artifacts | |
US20140286537A1 (en) | Measurement device, measurement method, and computer program product | |
CN112529957A (zh) | 确定摄像设备位姿的方法和装置、存储介质、电子设备 | |
WO2021063826A1 (en) | Methods and systems using digital map data | |
RU2818049C2 (ru) | Способ корректировки цифровой модели высот (варианты) | |
CN113758492A (zh) | 地图检测方法和装置 | |
WO2023179032A1 (zh) | 图像处理方法及装置、电子设备、存储介质、计算机程序、计算机程序产品 | |
KR102130687B1 (ko) | 다중 센서 플랫폼 간 정보 융합을 위한 시스템 | |
US20230206408A1 (en) | Method and system for adjusting a digital elevation model | |
JP2019138751A (ja) | 地図補完装置および地図補完プログラム | |
US20210390407A1 (en) | Training perspective computer vision models using view synthesis | |
US20210348938A1 (en) | Sensor calibration for space translation | |
CN113593026A (zh) | 车道线标注辅助地图生成方法、装置和计算机设备 | |
CN114429515A (zh) | 一种点云地图构建方法、装置和设备 |