RU2716843C1 - Цифровая коррекция аберраций оптической системы - Google Patents

Abstract

Изобретение относится к области оптических систем и позволяет корректировать аберрации оптической системы. Способ коррекции оптических аберраций основан на разделении полной процедуры вычислительной коррекции аберраций оптической системы на два отдельных (независимых) действия: формирование профиля оптической системы и корректировка аберраций оптической системы с использованием "оптического профиля". Первое действие осуществляется перед вторым и обеспечивает сбор информации об оптической системе, извлечение функции рассеивания точек, разделение функции рассеивания точек на части, причем части являются по меньшей мере частью ближнего поля и частью дальнего поля, коррекцию дальнего поля, обучение нейронной сети, извлечение весовых коэффициентов нейронной сети и формирование профиля оптической системы. Второе действие включает формирование исходного изображения в оптической системе, применение коррекции дальнего поля, расчет выходного значения нейронной сети и формирование скорректированного изображения, где скорректированное изображение является исходным изображением с уменьшенными оптическими аберрациями. 3 н. и 20 з.п. ф-лы, 7 ил.

Description

Область техники

[001]   Настоящее изобретение относится, в общем, к области оптических систем и, в частности, к усовершенствованию оптических устройств формирования изображения.

[002] Более точно, изобретение позволяет корректировать аберрации оптической системы с помощью вычислительного компонента. Изобретение расширяет границы оптического дизайна и/или диапазона применимости оптических систем за счет улучшения их качества при физических конструктивных ограничениях. Технология может быть применена к различным электроннооптическим системам формирования изображений.

Уровень техники

[003] В современных технологиях формирования изображения используются очень сложные оптические системы, часто состоящие из десятков отдельных оптических элементов. В последние десятилетия оптические средства формирования изображения становятся все более сложными, чтобы обеспечить световую эффективность таких оптических систем (например, зеркальные фотокамеры). Такая сложность обычно обусловлена требованием эффективного использования доступной апертуры, а также для компенсации нежелательных артефактов, которые свойственны простым линзовым элементам.

[004] Исключение или минимизация нелинейных отклонений (т.е. аберраций) из идеальной модели "тонкой линзы" является важной частью оптимизации общей эффективности системы формирования изображения. Оптические аберрации включают в себя такие артефакты, как геометрические искажения, хроматическую аберрацию (зависимость фокальной плоскости от длины волны), сферическую аберрацию (фокусное расстояние, зависящее от расстояния от оптической оси), и комы (угловая зависимость фокуса).

[005] Поскольку каждый отдельный оптический элемент со сферической поверхностью (поверхностями) производит от вышеупомянутые артефакты, используются комбинации различных оптических элементов, особенно когда требуется высококачественное изображение (например, в фотографии).

[006] Сложные оптические системы с компенсацией аберраций, которые обладают гораздо лучшими геометрическими свойствами изображения, тем не менее, страдают от других недостатков, включая резкое увеличение стоимости производства, веса, бликов, снижения надежности и т.д.

[007] Хотя в некоторых случаях можно исправить появление эффектов хроматической аберрации с помощью цифровой постобработки, в большинстве случаев, хроматическая аберрация приводит к постоянной потере некоторых деталей изображения.

[008] В предлагаемом изобретении используется альтернативный подход для получения высококачественного изображения. А именно, вместо более сложной оптики, улучшение рабочих характеристик достигается добавлением вычислительного элемента предварительной обработки или постобработки для коррекции аберраций оптической системы. Такой оптический компонент будет далее называться элементом "цифровой линзы" оптической системы.

[009] Существуют различные разработанные и описанные способы вычислительной коррекции аберрации. Таким образом, способы коррекции изображения на основе линзового профиля, как правило, используют известные характеристики оптической линзы/системы для (автоматической) коррекции различных типов искажений линз, таких как цветовые полосы на высококонтрастных краях, виньетирование и т.д.

[0010] На самом деле, детальное знание оптической системы, используемой для получения изображения, может играть важную роль в коррекции нежелательных артефактов в изображении. Из-за сложности хроматической аберрации (зависимость от фокусного расстояния и т.д.) изготовители камер используют различные способы, специфичные для конкретной линзы, для минимизации проявления хроматической аберрации.

[0011] В настоящее время почти каждый крупный производитель камер допускает некоторую форму коррекции хроматической аберрации как в камере, так и посредством их собственного программного обеспечения. Сторонние средства программного обеспечения (например, PTlens, DxO Optics Pro, Adobe Photoshop lightroom ) также способны комплексно снизить проявления хроматической аберрации используя соответствующие базы данных камер/линз.

[0012] Например, способ, указанный в патенте США 686273, выданном Эномото (Enomoto), описывает сбор как входных данных изображения, снимаемого оптическим элементом (линзой), так и данные о самой линзе, используемой для записи этого изображения. Способ дополнительно описывает обработку изображения с использованием данных о фокусном расстоянии и апертуре (отверстия ирисовой диафрагмы) во время съемки, а также характеристиках линзы для коррекции аберраций и виньетирования изображения.

[0013] Другой пример, раскрытый в японском патенте № 11-161773, авторства Хабу (Habu), также описывает корректировку хроматической аберрации увеличения без использования каких-либо оптических компонентов. Данные о хроматической аберрации увеличения линз для каждого цвета предварительно сохраняются, и обработка изображений выполняет увеличение и уменьшение изображения на основе упомянутых предварительно сохраненных данных, таким образом, выполняется коррекция аберрации увеличения каждый раз, когда изображение получают через эту линзу. Затем, после коррекции увеличения, изображения каждого цвета объединяются в одно изображение, осуществляя коррекцию хроматической аберрации увеличения.

[0014] Существует другой способ, раскрытый в патенте США 7,425,988, Окады (Okada) (и аналогичный в патенте США 8,508,655, выданном Суто (Suto) ), который описывает увеличение или уменьшение изображения каждого цвета; блок памяти данных для хранения данных хроматической аберрации, характерных для формирующей изображение линзы для каждого цвета (включая множество значений зума, фокусного расстояния и апертуры) и блок обработки, который управляет коэффициентом преобразования и коррекцией аберрации увеличения в координатах, используя как данные хроматической аберрации (хранящиеся в блоке памяти данных), так и снимаемого изображения (вместе с текущим фокусным расстоянием, фокусировкой и значениями апертуры).

[0015] В идеальной ситуации последующая обработка для удаления или коррекции поперечной хроматической аберрации потребует масштабирования выделенных цветовых каналов, или вычитание некоторых из масштабированных версий выделенных каналов. Таким образом, все каналы пространственно перекрывают друг друга в конечном изображении (например, в голографической микроскопии).

[0016] Однако, на практике, даже теоретически идеальная система уменьшения хроматической аберрации на основе постобработки не увеличивает детали изображения по сравнению с хорошо скорректированными физическими линзами.

[0017] С точки зрения хроматических аберраций, причины для этого следующие: I) вычислительное перемасштабирование применимо только к поперечным (не продольным) хроматическим аберрациям, II) отдельное повторное масштабирование цветовых каналов приводит к некоторой потере разрешения, III) хроматическая аберрация происходит по всему спектру света, при этом большинство фотокамер снимают только несколько дискретных (например, КЗС) цветовых каналов.

[0018] Хроматическая аберрация неизбежно приводит к межканальному цветовому загрязнению в датчиках камеры.

[0019] Поскольку вышеупомянутые проблемы тесно связаны с содержанием конкретного снимаемого изображения, никакие знания программирования и знания устройства фотографирования (например, данных камеры и линзы) не помогут преодолеть такие ограничения полностью.

[0020] Раскрытый способ предлагает новый усовершенствованный подход неслепой обратной свертки для электронной коррекции оптических аберраций. Как и другие вышеупомянутые способы, раскрытый способ также основан на наличии полученных данных (то есть сформированного профиля) оптической системы используемых для формирования изображения. Более того, способ, как следствие, позволяет обработать любое запечатленное изображение с помощью элемента «цифровой линзы» настоящего описания с использованием профиля, который уже известен для системы формирования изображения.

[0021] Однако, по сравнению с другими технологиями коррекции аберрации, раскрытый подход формирования профиля по своей природе отличается, по существу, использованием извлечения функции рассеивания точек (ФРТ) для различных масштабов изображения (т.е. деталей изображения) и последующего обучения искусственной нейронной сети (НС). ФРТ является важным свойством в прогнозировании характеристик системы распространения света и формирования изображения.

[0022] Раскрытый способ и элемент "цифровой линзы" расширяют применимость цифровой линзы от типичных систем фотографирования изображений (цифровых камер) к более общим способам формирования изображения, включая дополненную реальность (ДР)/виртуальную реальность (ВР), гарнитуры, окуляры и т.д.

[0023] Иные функции и аспекты настоящего изобретения станут очевидными из последующего описания предпочтительных и необязательных вариантов осуществления изобретения со ссылкой на приложенные чертежи.

Сущность изобретения

[0024] Описан способ оптического формирования изображения и элемент "цифровой линзы" для удаления оптических аберраций из изображения. Способ основан на двух независимых действиях, причем первое действие должно быть выполнено перед вторым действием.

[0025] Первое действие включает в себя сбор информации об оптической системе, осуществление геометрического и радиометрического выравнивания между сгенерированными компьютером таблицами и их изображением/изображениями, извлечение ФРТ-компонента с ядром дальнего поля, и свертывание его с совмещенным изображением для получения скорректированных по дальнему полю данных изображения. Первое действие также включает в себя предварительную обработку данных изображения, которая должна использоваться для обучения НС, извлечение весовых коэффициентов НС и формирование профиля оптической системы, которая представляет собой данные, содержащие весовые коэффициенты НС и ядра дальнего поля.

[0026] Второе действие включает в себя получение исходного изображения оптической системой, выделение компонентов с низкими и высокими пространственными частотами (НЧ и ВЧ), предварительную обработку компонентов НЧ/ВЧ для НС, также используя профиль оптической системы, полученный на первом действии. Исправленное выходное значение НС дополнительно суммируется с исходным компонентом НЧ, образуя одно скорректированное изображение с удаленными оптическими аберрациями.

[0027] Способ может использоваться с различными оптическими системами, такими как камеры, окуляры и дисплеи с известными параметрами изготовителя. Способ может быть применен к сегментам (фрагментам) изображений.

[0028] Компоненты НЧ и ВЧ могут быть вычислены с использованием линейных фильтров низких частот и высоких частот, соответственно, в то время как предварительная обработка может включать в себя уменьшение динамического диапазона и применение нелинейности. Выходное значение НС может включать в себя множество значений пикселей, в то время как обучение НС может быть выполнено с использованием алгоритма Левенберга-Марквардта.

[0029] Обратная предварительная обработка может быть применена для уменьшения погрешности обучения НС. Выходное значение НС может быть рассчитано с использованием арифметической обратной ВЧ-части, в то время как извлечение компонента ФРТ может быть выполнено с использованием двумерного быстрого преобразования Фурье.

Краткое описание чертежей

[0030] Фиг.1: общий вид способа коррекции оптических аберраций;

[0031] Фиг.2: геометрическое и радиометрическое выравнивание таблиц и изображений;

[0032] Фиг.3: формирование профиля оптической системы;

[0033] Фиг.4: операция коррекции изображения дальнего поля и извлечение функции рассеивания точек (ФРТ);

[0034] Фиг.5: обработка изображения;

[0035] Фиг.6: пример использования фильтра Байера с пиксельным фильтром (rg/gb) для выходных данных НС;

[0036] Фиг.7: коррекция оптических аберраций для систем отображения.

Подробное описание предпочтительного варианта осуществления изобретения

[0037] Настоящее изобретение, как правило, выполняет задачу коррекции оптических аберраций с использованием неслепой техники обратной свертки, которая подробно описана ниже. Термин «неслепая» используется здесь в том смысле, что функция рассеяния точки (ФРТ) заранее рассчитана и известна посредством формирования профиля интересуемой оптической системы. В общем случае, под ФРТ понимается трехмерный отклик системы формирования изображения на наличие точечного объекта или точечного источника света. В функциональном отношении ФРТ — функция системы формирования изображения, отвечающая за пространственный перенос.

[0038] Общая схема раскрытого изобретения показана на фиг.1, где объект (1) с помощью оптической системы (например, камеры) (2), которая получает цифровые изображения (3) объекта (1) и предоставляет скорректированное изображение (5) объекта (1) после применения постобработки коррекции цифровой аберрации, выполняемой вычислительным элементом (4) (т.е. "цифровой линзой") для коррекции аберраций оптической системы (2), при условии, что вычислительный элемент (4) предварительно обладает специфичными данными (6) (то есть "оптическим профилем") об оптической системе (2). Такие специфичными данные (6), получаемые путем создания профиля оптической системы (2), играют решающую роль в настоящем изобретении, как будет далее объяснено более подробно.

[0039] Раскрытый способ основан на разделении полной процедуры вычислительной коррекции аберраций оптической системы на два следующих отдельных (независимых) действия:

[0040] Действие I: формирование профиля оптической системы. Данным действием получают информацию о том, как оптимально корректировать аберрации, внесенные этой оптической системой. Эта информация затем сохраняется как "оптический профиль" для данной оптической системы. Обычно процесс формирования оптического профиля длителен и имеет итерационный характер. К счастью, для каждой конкретной оптической системы составление профиля достаточно выполнить один раз, например, при проектировании или производстве.

[0041] Действие II. Корректировка аберраций оптической системы с использованием "оптического профиля", полученного в ходе Действия I. Данное действие требует лишь однократного и относительно быстрого выполнения, что позволяет корректировать оптические аберрации изображения, например, с частотой поступления видеосигнала, как на существующих видеопроцессорах, так и на ограниченных по мощности мобильных устройствах.

[0042] Такое разделение процедуры на два действия также позволяет расширить диапазон применимости способа, например, от систем фотографирования изображений (цифровых камер) до более общих применений оптического формирования изображения, включая различные современные дисплеи дополненной и виртуальной реальности/гарнитуры/окуляры и так далее.

[0043] В предпочтительном варианте настоящего изобретения Действие I выполняется в выбранной оптической системе посредством замены человеческого глаза высококачественным устройством фотографирования, позволяющего эффективно составлять профиль выбранной оптической системы. Впоследствии для любого изображения, полученного данной оптической системой, может выполняться Действие II, предполагающее устранение аберраций, присущих такой несовершенной оптической системе.

[0044] Таким образом, предпочтительный вариант осуществления изобретения включает в себя два основных действия: Действие I – формирование профиля оптической системы, в частности, получение оптического профиля, содержащего информацию об оптической системе, и Действие II - применение оптического профиля, полученного в Действии I, к изображению, полученному одной и той же (или идентичной) оптической системой для уменьшения оптических аберраций в полученном изображении.

[0045] Во время Действия II так называемая коррекция "цифровой линзы" применяется непосредственно к данным (изображению), полученным оптической системой (т.е. камерой) в Действии I. Полученное в итоге скорректированное изображение может обрабатываться далее теми-же средствами обработки сигнала изображения что используются и без коррекции "цифровой линзы".

[0046] Действие I в предпочтительном варианте изобретения, в свою очередь, включает два следующих основных этапа (фиг.2):

[0047] Этап 1: создание изображения (фотографирование) для формирования профиля, геометрическое и радиометрическое выравнивание.

[0048] На этом этапе, описанном на фиг.2, создается серия таблиц, сгенерированных компьютером. Эти таблицы либо печатаются на бумаге, либо отображаются на дисплее с высоким качеством/высоким разрешением, для получения через оптическую систему/камеру.

[0049] Затем полученные компьютером таблицы снимаются на подлежащей профилированию оптической системе (также показана как (3) на фиг.1), как правило, в виде последовательности N изображений (21).

[0050] Полученная последовательность изображений (21) включает в себя информацию о параметрах оптической системы (т.е. метаданные о камере, используемой во время фотографирования) — о фокусном расстоянии, апертуре (диафрагме объектива), фокусном расстоянии и т.д.

[0051] Затем выполняются геометрическое и радиометрическое выравнивание (23) таблиц (21) из последовательности запечатленных изображений. С этой целью часть серии используемых для профилирования изображений из последовательности (21) и их запечатленные изображения (выходной результат (22)) используются для облегчения геометрического (т. е. по деталям в пространстве) и радиометрического (т. е. оценки нелинейной функции цветовых значений каждого изображения и применения ее для радиометрического выравнивания изображений таким образом, чтобы совпадали значения цветов для всех изображений последовательности) выравниваний.

[0052] Следует отметить, что сформированные компьютером таблицы (21), выравниваются относительно изображений таблиц, запечатленных самой профилируемой системой. Все такие изображения получаются с одинаковыми настройками камеры и при одинаковых условиях освещения, т.е. их выравнивание друг относительно друга не требуется.

[0053] Известны различные способы обработки изображений для геометрического и радиометрического выравнивания в предшествующем уровне техники, которые могут быть использованы описанным способом с целью обеспечения точного (насколько возможно) выравнивания изображений по цветам и геометрическим параметрам таблиц.

[0054] На выходе процесса выравнивания (23) получается пара выровненных изображений (24), частью которых, в предпочтительном варианте изобретения, является подсерия изображений таблиц, геометрически и радиометрически выровненных относительно их сформированных компьютером вариантов. Как показано на фиг.2, такая пара включает в себя так называемые "таблицы" и соответствующее "выровненное" изображение (24).

[0055] Эти изображения (24) (т.е. выровненные таблицы и их выравненные варианты) далее используются при создании профиля оптической системы, в частности, для получения данных о том, каким образом аберрации конкретной оптической системы будут исправлены.

[0056] Этап 2: создание оптического профиля оптической системы.

[0057] Этап 2 действия I подробно объясняется ниже и использует "таблицы" и "выровненное" изображение с предыдущего этапа для выполнения фактического формирования профиля оптической системы, см. (24) на фиг.2.

[0058] Полный процесс создания профиля (т.е. Действие I) оптической системы изображен на фиг.3. Процесс начинается с пары входящих изображений — таблицы и выровненного изображения (31), которые (опционально) разделены на тайлы (32) (более подробно описано на стадии 2а со ссылкой на фиг. 4). Эти данные используются для коррекции дальнего поля (34), включающую в себя коррекцию дальнего поля изображения и извлечение функции рассеяния точки (ФРТ) (более подробно описано на стадии 2б со ссылкой на фиг. 4).

[0059] На выходе процесс коррекции дальнего поля (34), в свою очередь, обеспечивает два выхода: получаются два набора данных — коэффициенты ядер дальнего поля, сохраняемые в профиле оптической системы (33) и данные о пикселях, сохраняющие лишь аберрации ближнего поля.

[0060] Эти данные поступают на разделение НЧ/ВЧ (36). Выходное значение процесса (36) представляет собой входное значение для НС (39). Для этой цели данные о пикселях, содержащие информацию о пространственных НЧ (НЧ-часть), направляются в НС, данные о пикселях, содержащие информацию о пространственных частотах ВЧ (ВЧ-часть, подвергаются обработке данных (38) перед передачей в НС (39).

[0061] Координаты данных о пикселях (в плоскости изображения или в тайле), получаемые непосредственно с процесса (32) (или (31) если разделение на тайлы не выполняется) формируют другое входное значение НС (39).

[0062] Во время действия 1 (создание профиля) НС (39) для обучения требует целевые данные о пикселях. Такие данные пикселей поступают с выровненного изображения, прошедшего через фильтр НЧ (35) и обработку данных (37). Весовые коэффициенты и смещения, полученные при обучении НС (391), также сохраняются в профиле оптической системы (33).

[0063] Процесс коррекции дальнего поля изображения и функции рассеяния точек (ФРТ) показаны на фиг. 3 как процедура (34) и описана ниже более подробно со ссылкой на фиг. 4.

[0064] Стадия 2в. Как показано на фиг. 3, данные таблиц и выравненных изображений (31) (или их тайлов (32)) разделяют на две части по следующим данным пространственных частот:

[0065] Одна часть (35) будет включать в себя только высокие пространственные частоты (далее ВЧ-часть, извлеченная из данных), в то время как другая часть (36) будет иметь как ВЧ-часть, так и НЧ-часть (НЧ-часть с низкими пространственными частотами, извлекаемая из данных). Это разделение может быть реализовано посредством применения хорошо известных линейных фильтров, которые основаны на использовании ядер пропускающих низкие и высокие частоты соответственно.

[0066] Важно, что НЧ-часть (36) обычно не подвергается влиянию аберрации, поэтому она может быть использована как-есть, без обработки. Однако, ВЧ-часть (35) должна быть надлежащим образом обработана, чтобы получить желаемое улучшенное изображение.

[0067] Как упомянуто выше, НЧ-часть (36) и ВЧ-часть (35) извлекают отдельно для таблиц и выравненных по ним изображений, или их соответствующих тайлов, если выбирается вариант разделения изображений на тайлы.

[0068] Этап 2д. Как показано на фиг. 3, предварительно полученные данные пикселей из ВЧ-части подготавливают (т.е. "обрабатывают") (37) для использования в качестве входных данных (т.е. справочных данных) для обучения НС (39). Как правило, НС (39) использует машинное обучения для оценки (или аппроксимирования) коэффициентов функций (391), которые зависят от большого числа, обычно неизвестных, входных значений. При обработке изображений, НС может использовать справочное (входное) изображение для процедуры самообучения, которая известна в мировой практике.

[0069] Различные известные способы предварительной обработки данных могут быть использованы перед началом обучения НС. Постобработку (37) (манипуляцию с данными после обучения НС) также можно использовать для улучшения эффективности обучения НС, например, для уменьшения ошибок при обучении НС.

[0070] Постобработка (37) является сходной с, но примененной в обратном порядке, предварительной подготовкой (38). Например, когда динамический диапазон данных НС уменьшается каким-либо образом, выходные данные НС должны быть исправлены с помощью соответствующего расширения динамического диапазона.

[0071] В предпочтительном варианте осуществления изобретения такие данные (предварительная подготовка (38) и последующая пост-обработка (37)) включают в себя любую комбинацию следующих двух операций:

а. Уменьшение динамического диапазона данных. Как правило, НС работает оптимально, когда она снабжена данными, имеющими ограниченный динамический диапазон. Существует много хорошо известных способов уменьшения динамического диапазона данных. Одним из возможных способов является нормализация входных данных либо суммирование значений пикселей на входе, либо по максимальному значению пикселей на входе.

б. Приложение нелинейности к значению пикселя. Такая нелинейность позволяет повысить значимость пикселя, имеющего малые значения, таким образом указывая НС получить более точный результат для входных данных малой амплитуды. Это, в свою очередь, приводит к лучшему отношению сигнал/шум (ОСШ) в изображении на выходе. Например, введенная нелинейность может иметь форму А^ (1-alpha ), где A-значение пикселя, а alpha - небольшой константа (обычно в диапазоне 0,02 -0,2).

[0072] После обучения алгоритм НС (включая предварительную обработку и исправление данных) будет получать информацию (33), т.е. "профиль оптической системы ", о возможностях коррекции аберраций (например, расплывчатости), что получить изображение максимально, насколько это возможно, близкое к входящему (без аберраций).

[0073] НС (39) обрабатывает данные попиксельно. Соответственно, для коррекции аберрации для конкретного пикселя, обрабатывается некоторая соседняя с данным пикселем область (в пределах входного изображения (32)). В предпочтительном варианте осуществления изобретения, подготавливаются данные для входов и выходов НС, как подробно показано на фиг.3.

[0074] НС (39) получает данные о местоположении обработанного пикселя, позволяя НС (39) эффективно приспосабливаться к разным ФРТ на данном тайле. Для этого пиксельные координаты (31) передаются на входы НС (33) на этапе разбиения изображения (32) на тайлы (34 ).

[0075] ВЧ-часть (36) из тайлов снятого изображения (32) передается на входы НС (39) после того, как они были подвергнуты вышеуказанной "подготовке данных" (38). Эта ВЧ-часть (36) извлекается с использованием пикселей в пределах определенного соседства (например, на расстоянии меньше, чем девять пикселей от обрабатываемого пикселя) на входящем изображении.

[0076] ВЧ-часть (35) пикселей, обрабатываемых из выровненных тайлов изображения (32), также поступают на выходы НС (39) после того, как они подвергаются вышеупомянутой "подготовке данных " (37) и выступают в качестве выходных данных НС.

[0077] Кроме того, НЧ-часть (36) из тайлов снятого изображения (32) поступает на входы НС (39). Как указано выше, эта НЧ-часть (36) извлекается с использованием пикселей в более удаленном соседстве от обрабатываемого пикселя (например, более чем в восьми пикселях) на входящем изображении.

[0078] Следует отметить, что в некоторых вариантах осуществления изобретения, входные данные пикселей получают непосредственно из датчика с мозаичным фильтром, без какой-либо предварительной обработки, предоставляемой процессором сигналов системы обработки изображений. Например, может быть использован фильтр Байера, который представляет собой массив цветных фильтров, нанесенных на фотодатчики матрицы для размещения цветовых светофильтров КЗС в виде квадратной сетки. Такое расположение цветных фильтров используется в большинстве одноэлементных цифровых сенсоров изображения, находящихся в цифровых камерах, видеокамерах и сканерах. В таком случае можно использовать такой тип НС, который создает несколько значений пикселей в выходном изображении (четверенные пиксели в случае шаблона Байера) за раз, как будет описано ниже со ссылкой на фиг.6.

[0079] После подготовки входных и выходных данных запускается обучение НС.

[0080] В предпочтительном варианте изобретения обучение выполняется с использованием известных обучающих алгоритмов, например, алгоритма Левенберга-Маркварда. Весовые коэффициенты обученной НС (391), фиг.4) извлекаются и сохраняются в форме «профиля оптической системы» вместе с ядром, полученным на этапе коррекции дальнего поля (34). Весовые коэффициенты и ядро уникальны для каждого тайла, так что для каждого тайла существует собственный набор параметров.

[0081] Как упоминалось выше, предпочтительный вариант осуществления изобретения включает в себя два отдельных Действия: действие I, которое заключается в создании профиля оптической системы, и действие II, которое применяет профиль, полученный в действии I, к изображению, снятому той же (т.е. идентичной ) оптической системой для уменьшения оптических аберраций выходящего изображения.

[0082] Полный процесс создания профиля оптической системы (действие I), показан на фиг.3, коррекция дальнего поля изображения (34) и извлечение функции рассеяния точки (ФРТ) (стадии 2a-2в) подробно описаны ниже со ссылкой на фиг.4.

[0083] На этапе 2а изображения (в поле обзора камеры, изначально показанные как (24) на фиг. 2) могут быть разделены на более мелкие части, далее называемые "тайлами" таблиц (42) и выровненных изображений (41), соответственно с использованием процедуры "разделения на тайлы" (40 ).

[0084] Вышеупомянутая ФРТ является весьма изменчивой по своей природе вследствие ее зависимости от размера, концентрации и распределения различных элементов по полю зрения оптической системы. Соответственно, (опциональные) этапы (41) и (42) обычно выполняют для уменьшения изменчивости формы ФРТ в поле обзора данной оптической системы. Вариативность (аберрации) ФРТ в пределах одного тайла остается, но становится меньше, что позволяет более эффективно ее компенсировать, в сравнении с исходными изображениями (таблицами и выровненными изображениями).

[0085] На этапе 2б выполняется так называемая удаленная коррекция, описанная ниже и показанная на фиг. 4. Аппроксимация ФРТ (43) извлекается и разделяется на две части: часть ближнего поля (44), рассчитанная в пределах определенного числа соседних с обрабатываемым пикселей (например, в радиусе шести пикселей), и часть дальнего поля (46), ФРТ (и аберрации) которой извлекаются для пикселей, лежащих снаружи радиуса ближнего поля.

[0086] Указанный процесс извлечения аппроксимации ФРТ (43) из входных данных может быть выполнен одним из многих способов, известных из уровня техники, см., например, Felix и др. Хотя этот описанный способ обеспечивает очень точную оценку ФРТ, он занимает очень много времени. Для уменьшения вычислительной нагрузки наиболее предпочтителен более простой способ.

[0087] В предпочтительном варианте осуществления настоящего изобретения следующий подход реализован для (43): i) двумерный (2D) Фурье-образ тайла входящего изображения делится на двумерный фурье-образ соответствующего тайла выровненного изображения, ii) результат преобразуется обратно в двумерный инвертированный Фурье-образ.

[0088] Такой подход хорошо известен специалистам в данной области техники. Следует отметить, что для того, чтобы избежать возможного переусиления шумовых компонентов при низкой амплитуде частотных компонентов выровненного изображения, защитное значение смещения должно быть добавлено к значениям частотных компонентов выровненного изображения.

[0089] Расчет ядра дальнего поля (45) и свертка (47) позволяют получить изображение со скорректированными аберрациями и размытиями в дальнем поле. Параметры выбранной коррекции дальнего поля (т.е. коэффициенты ядра (45), полученные по результатам коррекции дальнего поля (46)) регистрируются для применения в дальнейшем вместе с профилем оптической системы, как описано ниже.

[0090] При обработке изображений ядро представляет собой матрицу свертки (намного меньшую, чем само изображение), которая используется для изменения изображения (например, повышение резкости, размывание, обнаружение краев и т.д.). Для этого выполняют свертку матрицы между указанным ядром и выбранным изображением.

[0091] Часть ФРТ соответствующая ближнему полю (44) не используется ввиду невозможности простого обращения, т. к. это приведет к значительному повышению шума в выходном изображении.

[0092] Существуют две причины, по которой выполняется разделение на ближнее (44) и дальнее (46) поля. Во-первых, коррекция дальнего поля не усиливает шум, позволяет избавиться от нежелательных артефактов и, следовательно, может выполняться сравнительно более простыми методами, требующими меньших вычислительных мощностей. Во-вторых, такая коррекция ближнего поля требует обработки лишь ограниченного объема входящих данных, что также снижает вычислительную нагрузку. Такое разделение выполняется арифметически. В простейшем случае все значения ФРТ в некотором радиусе принимаются ближним полем, все значения вне данного радиуса — дальним. На практике, однако, между двумя этими полями существует нечеткая переходная область.

[0093] Для реализации такой нечеткой переходной области, является предпочтительным использование метода частотной области где ФРТ вычисляется через двумерное быстрое преобразование Фурье (2D FFT).

[0094] Область дальнего поля (46) получают путем умножения частотных коэффициентов на окно, которое имеет нулевую амплитуду для высоких частот, при этом приближается к единичному значению на низких частотах. Понятным примером подобного окна будет двумерное гауссово распределение.

[0095] Двумерное обратное преобразование выполняется для получения части дальнего поля (36) в пространственной области.

[0096] Поскольку коррекция дальнего поля не включает высокочастотные пространственные компоненты, ее выполнение не вызывает усиление высокочастотных шумовых компонентов. Поэтому способ получения ядра дальнего поля (45) может быть просто реализован некоторыми хорошо известными методами.

[0097] Способ, используемый в предпочтительном варианте осуществления, использует свертку входящего изображения припомощи полученной ФРТ дальнего поля с последующим вычитанием полученного результата из входящего изображения. Такой (сравнительно простой) подход эффективно корректирует размытия и аберрации первого порядка, вызванные оптической системой.

[0098] Следует отметить, что при этом возможно появление т. н. вторичных аберраций вследствие наличия аберраций уже во входящем изображении, используемом при обработке. Однако, в следствие того, что в типичных оптических системах эффекты дальнего поля отличаются низкой амплитудой, подобными вторичными эффектами указанной коррекции можно пренебречь.

[0099] После получения ядра дальнего поля (45), его коэффициенты передаются в профиль оптической системы. Затем ядро подвергается свертке (47) с данными пикселей тайла, что приводит к появлению дополнительных выходных данных для коррекции дальнего поля ((34) - (36) фиг. 3). Эти выходные данные представляют собой тайл, который содержит только остаточные аберрации ближнего поля (48).

[00100] Действие II представляет собой применение описанной "цифровой линзы" к входящему изображению, как будет подробно объяснено со ссылкой на фиг. 5 для предпочтительного варианта осуществления изобретения.

[00101] Исходное входящее изображение (52) и профиль оптической системы (56) являются входными данными для обработки. Данные пикселей исходного изображения разбиваются на тайлы (54). Опционально проводится коррекция дальнего поля (55) с использованием коэффициентов ядер, полученных с профиля оптической системы (56). После этого данные пикселей проходят через разделение НЧ/ВЧ (57), причем результаты разделения подаются на вход НС (590).

[00102] Таким образом, данные о пикселях, содержащие только информацию о пространственных НЧ, передаются непосредственно в НС, в то время как данные о пикселях, содержащие информацию о пространственных ВЧ, подвергаются обработке данных (591) перед передачей НС (590 ).

[00103] В НС (590) также направляются координаты пиксельных данных (в плоскости изображения или в тайле), получаемые непосредственно с процесса (54) (или (52), если разделение на тайлы не выполняется).

[00104] Весовые коэффициенты и смещения НС (590) получают для данного фрагмента из профиля оптической системы (56). Данные на выходе НС (590) проходят пост-обработку (593) и суммируются (58) с выходным значением НЧ после фильтра разделения НЧ и ВЧ (57). Суммированный результат дополнительно рекомбинируется (53) из отдельных тайлов (если разделение выполнялось). Такое суммирование образует скорректированное выходное изображение (51).

[00105] Обработка любого входящего изображения (в то время как профиль (56) уже подготовлен для этой системы в результате Действия I (фиг. 4, (43)) выполняется подобно действию I (формирования оптического профиля системы), лишь с некоторыми изменениями в потоке данных.

[00106] На вход данного процесса (52) поступает входящее изображение, которое должно быть обработанным и разбитым на тайлы (54) таким-же образом, как и в Действии I, этап 2а, см. фиг.3 и Фиг.4.

[00107] Затем осуществляют коррекцию дальнего поля (55) способом, аналогичным описанному в действии I, этап 2б, см. фиг.4, с тем отличием, что ядро для коррекции дальнего поля уже известно, как сформированное в Действии I, этап 2в.

[00108] Затем данные изображения разделяются на НЧ-часть и ВЧ-часть (57) аналогично процедуре разделения НЧ/ВЧ, объясненной в Действии I, этап 2в, см. фиг.3.

[00109] ВЧ-часть дополнительно проходит через процедуру формирования данных пикселей (591), подобно обработке, предусмотренной в Действии I, этап 2г, см. фиг.4.

[00110] Описанные процедуры (52), (54) и (55), а также профиль оптической системы (56) полученный в результате Действия I, составляют входящие данные для НС (590). Эти данные аналогичны тем, что были получены в Действии I во время этапа формирования профиля оптической системы - пиксельные координаты в обрабатываемой НЧ части и ВЧ части пикселей в определенном радиусе.

[00111] Последующая обработка выходных данных НС (590), в конечном счете, формирует изображение (51) (через слияние тайлов (53)), которое представляет собой «желаемое» изображение, в том смысле, что оптические аберрации были удалены. В частности, выходное значение НС (590) подвергается процедуре пост-обработки данных (592), которая, в предпочтительном варианте осуществления изобретения, представляет собой арифметическую инверсию предварительной подготовки данных (590). Этот результат впоследствии суммируется действием (58), предполагающим обработку НЧ части (57) пикселей.

[00112] Наконец, все обработанные тайлы (53) входящего изображения рекомбинируются для формирования единственного выходного изображения (51). В предпочтительном варианте осуществления изобретения тайлы (53) соединяются с перекрытием. В перекрывающихся областях результат обработки (53) плавно заглушается от одного тайла к другому для устранения любых видимых швов, образовавшихся во время их слияния в конечное изображение (51). Такие видимые швы вызваны отклонением от тайла к тайлу от скорректированного выходного значения.

[00113] В другом варианте осуществления изобретения может быть выполнена оптимизация скорости обработки цифровых линз. Таким образом, со ссылкой на фиг. 6, для вывода одного пикселя, соседняя с данным пикселем область (61) во входном изображении обрабатывается посредством применения НС (62). Размер (например, "диаметр" (61), выбранный в процессе формирования профиля) этой области зависит от характеристик оптической системы. Например, если фильтр Байера используется для входных и выходных данных, тогда четырехпиксельный фильтр (RG/GB) (63) может быть вычислен однократно.

[00114] В еще одном варианте осуществления изобретения монитор (дисплей, гарнитуру виртуальной реальности, либо окуляр)можно использовать для формирования профиля оптической системы. В таком варианте осуществления монитор используется для отображения изображений; высококачественная камера с высоким разрешением расположена точно в том месте, где глаз наблюдателя будет во время работы; а изображения снимаются этой камерой. Затем создается профиль оптической системы, аналогично описанному выше способу.

[00115] Как указано на фиг.7, для получения скорректированного изображения при осуществлении такого варианта изобретения изображение (71) сначала пропускается через корректирующий элемент цифровой линзы (72) и затем передается на устройство отображения (73). Скорректированное изображение затем наблюдается (74) пользователем.

[00116] Более того усовершенствования головной гарнитуры ВР для оптимальной производительности включают в себя отслеживание положения зрачка глаза (с помощью устройства слежения за глазом). Вся оптическая система в таком случае включает в себя зрачок глаза с произвольным (неоптимальным) местоположением. Данные о положении глаза относительно остальной части оптической системы позволяют точно корректировать аберрации, которые возникают в такой системе.

[00117] Хотя здесь были представлены и описаны несколько примерных вариантов осуществления изобретения, специалистам очевидно, что, не отклоняясь от существа и масштаба изобретения, возможно создать множество его модификаций и вариантов. Изобретение, таким образом, предполагается оценивать только по прилагаемой формуле.

Claims (59)

1. Способ удаления оптических аберраций для получения оптического изображения, в котором полученное изображение фиксируется оптической системой, состоящей из:

первого и второго действия, причем первое действие осуществляется перед вторым и предполагает:

- сбор информации об оптической системе,

- извлечение функции рассеивания точек,

- разделение функции рассеивания точек на части, причем части являются по меньшей мере частью ближнего поля и частью дальнего поля,

- коррекцию дальнего поля,

- обучение нейронной сети,

- извлечение весовых коэффициентов нейронной сети и

- формирование профиля оптической системы;

где второе действие предполагает:

- формирование исходного изображения в оптической системе,

- применение коррекции дальнего поля,

- расчет выходного значения нейронной сети и

- формирование скорректированного изображения, при этом скорректированное изображение является исходным изображением с уменьшенными оптическими аберрациями.

2. Способ по п.1, первая процедура которого дополнительно включает в себя:

- сбор данных оптической системы, при этом данные оптической системы представляют собой данные о фокусном расстоянии, апертуре, фокусной длине,

- создание серии таблиц, сгенерированных компьютером,

- создание последовательности сгенерированных компьютером таблиц оптической системы в виде запечатленных изображений,

- осуществление геометрического и радиометрического выравнивания между последовательностью полученных изображений и сгенерированных на компьютере таблиц,

- получение выровненного изображения из геометрического и радиометрического выравнивания и

- создание ближней области и удаленной области в выровненном изображении.

3. Способ по п.2, в котором часть ближнего поля вычисляют с использованием ближней области, а часть дальнего поля вычисляют с использованием удаленной области.

4. Способ по п.2, в котором коррекция дальнего поля представляет собой свертку ядра дальнего поля с выровненным изображением, причем изображение с коррекцией дальнего поля содержит только аберрации ближнего поля.

5. Способ по п.2, в котором данные об оптической системе включают в себя производственные параметры линз.

6. Способ по п.2, в котором первая процедура дополнительно включает в себя:

- разделение выровненного изображения на выровненную часть с низкой пространственной частотой, содержащую низкие пространственные частоты, которые вычисляют с использованием ближней области, и выровненную часть с высокой пространственной частотой, содержащую только высокие пространственные частоты, вычисляемые с использованием удаленной области,

- вычисление предварительно исправленной выровненной части с высокой пространственной частотой с использованием выровненной высокочастотной и низкочастотной частей и

- обеспечение первых входных данных для нейронной сети, причем первые входные данные представляют собой сочетание предварительно исправленной выровненной высокочастотной и низкочастотной частей и полученной части с низкой пространственной частотой.

7. Способ по п.6, в котором выровненную часть с низкой пространственной частотой вычисляют при помощи линейного фильтра низких частот, а выровненную часть с высокой пространственной частотой вычисляют при помощи линейного фильтра высоких частот.

8. Способ по п.6, в котором предварительно обработанные выровненные высокие частоты включают в себя совокупность уменьшения динамического диапазона выровненной части низких пространственных частот и применение нелинейности к выровненной части низких пространственных частот.

9. Способ по п.2, дополнительно содержащий извлечение полученных тайлов из полученного изображения и извлечение выровненных тайлов из выровненного изображения.

10. Способ по п.9, в котором формирование единственного скорректированного изображения включает в себя слияние скорректированных тайлов.

11. Способ по п.10, в котором слияние скорректированных тайлов включает в себя устранение швов между скорректированными тайлами.

12. Способ по п.1, в котором коэффициенты ядра дальнего поля вычисляются из части дальнего поля.

13. Способ по п.1, в котором профиль оптической системы представляет собой данные, содержащие весовые коэффициенты нейронной сети и коэффициенты ядра дальнего поля,

причем профиль оптической системы является уникальным для каждого выровненного изображения.

14. Способ по п.1, в котором второе действие дополнительно включает:

- создание ближней и удаленной областей в исходном изображении, разделение исходного изображения на исходную часть низких пространственных частот, содержащую только низкие пространственные частоты, а исходная часть высоких пространственных частот, содержащая только высокие пространственные частоты, вычисляется с использованием удаленной области,

- вычисление предварительно обработанной исходной части высоких пространственных частот с использованием исходных части высоких пространственных частот,

- обеспечение вторых входных данных для нейронной сети, причем вторые входные данные представляют собой совокупность данных профиля оптической системы, предварительно исправленные исходные части высокочастотных пространственных частот и исходные части низкочастотных пространственных частот,

- вычисление откорректированного выходного значения нейронной сети от выходного значения нейронной сети и

- выполнение суммирования исправленного выходного значения нейронной сети с исходной частью низких пространственных частот.

15. Способ по п.14, в котором откорректированное выходное значение нейронной сети вычисляют с использованием арифметической обратной величины предварительно откорректированной части высоких пространственных частот.

16. Способ по п.1, в котором оптическая система представляет собой камеру.

17. Способ по п.1, в котором оптическая система представляет собой окуляр.

18. Способ по п.1, в котором оптическая система представляет собой дисплей.

19. Способ по п.1, в котором выходное значение нейронной сети включает несколько значений пикселей.

20. Способ по п.1, в котором предварительную обработку используют для уменьшения погрешностей на этапе обучения нейронной сети, причем постобработка является обратной предварительной обработке.

21. Способ по п.1, в котором разделение функции рассеивания точек выполняется с использованием двумерного быстрого преобразования Фурье.

22. Оптическая система для удаления оптических аберраций, при этом оптическая система имеет оптический профиль, причем оптическая система содержит:

- линзу, позволяющую получить изображение и имеющую оптические аберрации,

- массив фоточувствительных элементов, расположенных в оптической системе,

- элемент преобразования, который преобразует снятое изображение в цифровое изображение, и

- вычислительный элемент для формирования исправленного изображения путем удаления оптических аберраций из цифрового изображения через коррекции благодаря данным оптического профиля, при этом оптические аберрации включают в себя продольные аберрации,

при этом оптический профиль сформирован с помощью данных об оптической системе, извлечения функции рассеивания точек, разделения функции рассеивания точек на части, причем части являются по меньшей мере частями ближнего поля и дальнего поля, создания коррекции дальнего поля, обучения нейронной сети, извлечения весовых коэффициентов нейронной сети и создания профиля оптической системы, причем коррекция осуществляется за счет создания цифрового изображения, применения коррекции дальнего поля, вычисления выходного значения нейронной сети и формирования скорректированного изображения.

23. Головная гарнитура, имеющая дисплей, причем головная гарнитура содержит:

- оптическую систему, имеющую оптический профиль, при этом изображение, созданное оптической системой, имеет оптические аберрации, и

- вычислительный элемент, выполненный с возможностью формирования исправленного изображения путем удаления оптических аберраций через коррекции на основе оптического профиля, причем оптические аберрации включают в себя продольные аберрации, а скорректированное изображение отображают на дисплее,

при этом оптический профиль сформирован с помощью данных об оптической системе, извлечения функции рассеивания точек, разделения функции рассеивания точек на части, причем части являются по меньшей мере частями ближнего поля и дальнего поля, создания коррекции дальнего поля, обучения нейронной сети, извлечения весовых коэффициентов нейронной сети и создания профиля оптической системы, причем коррекция осуществляется за счет создания цифрового изображения, применения коррекции дальнего поля, вычисления выходного значения нейронной сети и формирования скорректированного изображения.

Images