RU212327U1

RU212327U1 - Устройство для создания изображения с высоким динамическим диапазоном

Info

Publication number: RU212327U1
Application number: RU2021133653U
Authority: RU
Inventors: Валерий Сергеевич Шильниковский; Сергей Михайлович Храмов; Денис Юрьевич Пузиков; Иван Сергеевич Пастухов
Filing date: 2021-11-18
Publication date: 2022-07-15

Abstract

Настоящая полезная модель относится к устройству для создания изображений с высоким динамическим диапазоном. Технический результат от использования полезной модели заключается в повышении точности решения задачи вычисления вектора направления на визируемые объекты сцены, например вычисление вектора направления на Луну относительно звезд за счет того, что обеспечивается получение изображений с единым временем экспонирования всех объектов сцены. Устройство, содержащее объектив для экспонирования светочувствительной матрицы, средство памяти для сохранения данных изображения и процессор, способный обрабатывать данные изображения, согласно полезной модели светочувствительная матрица выполнена с возможностью обеспечивать получение одновременно двух изображений с одинаковым временем экспонирования, из которых одно изображение оптимизировано для визирования ярких объектов сцены с низким коэффициентом усиления, и из которых второе изображение оптимизировано для визирования тусклых объектов сцены с высоким коэффициентом усиления. Процессор устройства обеспечивает выполнение алгоритма обработки массива интенсивностей пикселей первого изображения, полученного с низким коэффициентом усиления Y_Н, и массива интенсивностей пикселей второго изображения, полученного с высоким коэффициентом усиления Y_В, и вычисляет интенсивности пикселей окончательного изображения с высоким динамическим диапазоном Y_ШДД. Наиболее эффективно устройство может быть использовано для создания высокоточных, малогабаритных, низкопотребляющих приборов для систем ориентации и навигации малых и микрокосмических аппаратов с использованием астронавигационных алгоритмов. 2 ил.

Description

Область техники

Настоящая полезная модель относится к устройству для создания изображений с высоким динамическим диапазоном, которое может быть использовано в системах технического зрения для решения задач выделения объектов с сильно различающейся яркостью и выдачи вектора направления на эти объекты с высокой точностью.

Наиболее эффективно устройство может быть использовано в системах технического зрения, в частности, в системах управления и навигации космических аппаратов при решении задач автоматического орбитального обслуживания.

Предшествующий уровень техники

Известно, что в состав различных средств ориентации и навигации космических аппаратов входят приборы звездной ориентации. Обычно приборы звездной ориентации содержат корпус; оптическую схему, состоящую из объектива и матричного фотоприемника; электронного блока, состоящего из вычислителя, электронной памяти, содержащий звездный каталог. Приборы звездной ориентации определяют параметры ориентации путем сравнения изображения участка звездного неба со звездным каталогом, (см. Дятлов С.А. Обзор датчиков ориентации космических аппаратов Дятлов С.А и др. // Всероссийская научно-техническая конференция «Современные проблемы ориентации и навигации космических аппаратов». - М. - ИКИ РАН. - 2008 г., - с. 11-32). По сути, прибор звездной ориентации представляет собой видеокамеру, предназначенную для получения изображений информативных участков небесной сферы. Дальнейшая обработка полученных изображений средствами электронного блока и реализация специальных алгоритмов позволяют обеспечить выполнение требований назначения. Успешное решение поставленных задач во многом зависит от качества получаемых изображений.

При решении задач ориентации и навигации космических аппаратов часто возникает необходимость получения изображений астрономических объектов, например Луны, на фоне звезд. Сложность получения качественных изображений заключается в том, что звезды и Луна имеют сильно различающийся уровень яркости: яркость Луны составляет минус 12,8 звездных величин в то время, как яркость одной из самых ярких звезд - Сириуса, равна минус 1,47 звездных величин. При этом для решения задачи ориентации должно быть получено изображение не менее 10 звезд с яркостью до +6 звездной величины. По формуле Нормана Погсона можно вычислить, что яркость Луны может превышает яркость самого тусклого объекта визируемой сцены в 15000000 раз.

Получение изображения сцены, содержащей объекты с таким разбросом яркости в одном кадре с применением обычных фотокамер, приводит к тому, что динамического диапазона светочувствительной матрицы недостаточно для получения качественного изображения. В случае установки времени экспонирования для получения четкого изображения яркого объекта, тусклые объекты оказываются недодержанными и могут полностью отсутствовать на изображении. В случае же установки длительного времени экспонирования, достаточного для фиксации тусклых объектов, яркие объекты будут перлиты, не будут иметь четких границ и будут не предназначены для решения задачи вычисления вектора направления на эти объекты. Фиксация изображении таких объектов с качеством, достаточным для их распознавания, выделения и вычисления вектора направления относительно оптической системы координат, возможно с помощью устройства с высоким динамическим диапазоном, соответствующим диапазону яркости объектов визируемой сцены.

Для получения качественных изображений с высоким динамическим диапазоном известно устройство, в котором в качестве светочувствительной матрицы используется многослойный модуль, состоящий из нескольких приборов с зарядовой связью (ПЗС) (патент RU 2012156 С1, опубликован 20.04.1994). Также в известном устройстве реализованы светозащищенные секции хранения накопленных зарядов. Во время накопления зарядов средствами светочувствительной поверхности ПЗС матриц эти заряды многократно переносится в светзащищенные секции и суммируется в них. Высокий динамический диапазон достигается тем, что глубина потенциальной ямы светозащищенных секций больше, чем у ПЗС матриц, тем самым появляется возможность накопления заряда с большей интенсивностью.

Также известны устройства, в которых высокий динамический диапазон обеспечивается тем, что результирующее изображение составляется из нескольких изображений, полученных с разной экспозицией. Подобный подход реализуется в звездном датчике «Астрол-17» разработки АО «НПО «Лептон». Основным назначением прибора является определение астроориентации связанной системы координат относительно инерциальной системы координат по звездам. Также в этом устройстве реализуется функция выдачи целеуказания (вектора направления) на объект, находящийся в поле зрения прибора, не являющегося звездой. Для получения изображений объектов с яркостью, превышающей яркость визируемых звезд применяется принцип мультиэкспозиции. Одна сцена экспонируется не менее трех раз с разной экспозицией.

В качестве прототипа для заявляемой полезной модели рассматривается устройство для создания изображений с высоким динамическим диапазоном из множественных экспозиций (патент RU 2397542 С2, опубликован 31.01.2006). В прототипе реализуется следующий принцип работы. Свет получают путем осуществления ряда первых экспозиций совместно с одной второй экспозицией в быстрой последовательности. Первые экспозиции объединяются для обеспечения достаточной яркости и резкости. Вторая экспозиция предназначена для сбора информации цвета. Первые экспозиции объединяются со второй экспозицией для обеспечения улучшенного изображения.

Недостатком прототипа, является то, что конечное изображения получают путем экспонирования нескольких кадров, которые получены в разные моменты времени. Вследствие сдвига времени экспонирования позиции объектов на разных кадрах также будут иметь смещение относительно оптической системы координат прибора, что неизбежно внесет погрешность в решения конечной задачи в случае использования прототипа в системах технического зрения, предназначенных для вычисления относительного положения визируемых объектов.

Раскрытие полезной модели

Технический результат от использования полезной модели заключается в повышении точности решения задачи вычисления вектора направления на визируемые объекты сцены, например вычисление вектора направления на Луну относительно звезд, за счет того, что обеспечивается получение изображений с единым временем экспонирования всех объектов сцены.

Указанный технический результат достигается тем, что устройство для создания изображения с высоким динамическим диапазоном, содержащее объектив для экспонирования светочувствительной матрицы, средство памяти для сохранения данных изображения, и процессор, способный обрабатывать данные изображения, согласно полезной модели светочувствительная матрица выполнена с возможностью обеспечивать получение одновременно двух изображений с одинаковым временем экспонирования из которых одно изображение оптимизировано для визирования ярких объектов сцены, с низким коэффициентом усиления, и из которых второе изображение оптимизировано для визирования тусклых объектов сцены с высоким коэффициентом усиления, и тем, что процессор устройства обеспечивает выполнение алгоритма обработки массива интенсивностей пикселей первого изображения, полученного с низким коэффициентом усиления Y_Н и массива интенсивностей пикселей второго изображения, полученного с высоким коэффициентом усиления Y_B в процессоре вычислительного устройства и вычисления интенсивности пикселей окончательного изображения с высоким динамическим диапазоном Y_ШДД в зависимости от Y_В и Y_Н, при этом интенсивности пикселей изображения, полученные с низким коэффициентом усиления Y_Н, пересчитываются с учетом масштабного коэффициента и коэффициента компенсации интенсивности.

Существенным для достижения технического результата является то, что в полезной модели, применяется светочувствительная матрица, которая имеет два информационных выхода: выход 1 и выход 2. При визировании сцены обеспечивается получение изображения с каждого из выходов одновременно, с одним временем экспонирования, но различным аналоговым усилением, где изображение с низким коэффициентом усиления оптимизировано для ярких объектов сцены, а изображение с высоким коэффициентом усиления оптимизировано для низкого уровня чувствительности и визирования тусклых объектов сцены. Пользователь может комбинировать изображения с высоким и низким коэффициентом усиления для создания одного конечного изображения с высоким динамическим диапазоном с использованием внешнего алгоритма, который заложен в памяти вычислительного блока.

Создана новая совокупность существенных признаков, которая обеспечивает получение технического результата.

Краткое описание чертежей

На фиг. 1 представлена структурная схема полезной модели. Основными элементами являются: объектив 1, предназначенный для экспонирования светочувствительной матрицы 2, вычислительный блок 3 в состав которого входит процессор 4, предназначенный для реализации алгоритмов работы и память 5, предназначенная для хранения данных изображения и алгоритмов.

На фиг. 2 представлена блок-схема алгоритма формирования конечного изображения с высоким динамическим диапазоном, который реализуется в предлагаемой полезной модели.

Осуществление полезной модели

Полезная модель относится к устройству, которое предназначено для решения задачи выделения объектов с сильно различающейся яркостью и выдачи вектора направления на них с высокой точностью относительно оптической системы координат устройства.

Устройство для создания изображения с высоким динамическим диапазоном фиг. 1, содержащее объектив 1 для экспонирования светочувствительной матрицы 2, вычислительный блок 3 в состав которого входит процессор 4, предназначенный для реализации алгоритмов работы и память 5, предназначенная для хранения данных изображения и алгоритмов. Процессор обрабатывает данные изображения в соответствии с алгоритмом на фиг. 2 и формирует окончательное изображение содержащее изображение звезд и Луны с единым временем экспонирования и пригодным для вычисления вектора направления на Луну относительно звезд с высокой точностью.

В соответствии с алгоритмом на фиг. 2 обеспечивается обработка массива интенсивностей пикселей первого изображения, полученного с низким коэффициентом усиления Y_Н и массива интенсивностей пикселей второго изображения, полученного с высоким коэффициентом усиления Y_В в процессоре вычислительного устройства и вычисления интенсивности пикселей окончательного изображения с высоким динамическим диапазоном Y_ШДД в зависимости от Y_В и Y_Н, при этом интенсивности пикселей изображения, полученные с низким коэффициентом усиления Y_H, пересчитываются с учетом масштабного коэффициента и коэффициента компенсации интенсивности.

Реализация полезной модели осуществляется на базе программно-аппаратных средств звездного датчика «Астрол-17». Характеристики объектива, процессора и памяти этого звездного датчика пригодны для реализации предлагаемой полезной модели. Эти компоненты не будут описываться в данной заявке. Для реализации полезной модели, вместо светочувствительной матрицы Kodak KAI 2020 необходимо применить светочувствительную матрицу, которая обеспечивает получение двух изображений, экспонированных в одно и тоже время, но с разными коэффициентами усиления: с низким коэффициентом усиления - K_Н, который оптимизирован для визирования ярких объектов сцены, и с высоким коэффициентом усиления - K_В, который оптимизирован для визирования тусклых объектов сцены. В настоящее время такие светочувствительные матрицы представлены на рынке, например линейка матриц GSENSE фирмы Gpixel. Матрицы выполнены по КМОП (CMOS) технологии и выпускаются с разрешением 2048×2048 пикселей. Энергопотребление матриц не превышает 1,5 Вт. Также прибора этого семейства выпускаются в исполнении с «обратной засветкой», что обеспечивает квантовую эффективность не менее 85%. Рабочий температурный диапазон составляет от минус 55°С до +85°С (см. электронный источник, режим доступа - свободный http://image-sensors-world.blogspot.com/2019/12/gpixel-gsense2020bsi-scmos-spec.html). Обе эти матрицы: Kodak KAI 2020 и матрицы из линейки GSENSE фирмы Gpixel имеют схожий выходной видеоинтерфейс, что позволит провести замену матрицы с незначительными доработками прибора.

Для формирования конечного изображения из двух изображений, полученных с одинаковым временем экспонирования, но с разными коэффициентами усиления K_Н и K_B, которые оптимизированы для получения соответственно самого яркого и самого тусклого объекта на визируемой сцене, в процессоре устройства реализуется алгоритм в соответствии с блок-схемой, представленной на фиг. 2. Изображения с выходов светочувствительной матрицы поступают в вычислительный блок в виде двух массивов интенсивности пикселей Y_{H i,j} и Y_{B i,j}, где i=0…N, j=0…M - количество строк и столбцов светочувствительной матрицы соответственно. Интенсивность пикселей окончательного изображения с высоким динамическим диапазоном (Y_{ВДД i,j}) формируется в соответствии с следующей зависимостью

где T_Н - пороговое значение интенсивности пикселей. Соответствует минимальному значению интенсивности пиксела изображения, полученного с низким коэффициентом усиления;

- масштабный коэффициент;

- коэффициент компенсации интенсивности; L_B - смещение уровня черного относительно изображения, полученного с высоким коэффициентом усиления; L_H - смещение уровня черного относительно изображения, полученного с низким коэффициентом усиления.

Полезная модель позволяет получать четкие изображения объектов с высоким динамическим диапазоном, с качеством, достаточным для распознавания и выделения объектов и выдачи целеуказаний на них относительно оптической системы координат. Высокий динамический диапазон выбирается заранее путем подбора коэффициентов усиления K_Н и K_B в зависимости от решаемых задач и возможного разброса диапазона яркости объектов визируемой сцены. Коэффициенты закладываются в память устройства. Технический результат от использования полезной модели заключается в повышении точности решения задачи вычисления вектора направления на визируемые объекты сцены, например вычисление вектора направления на Луну относительно звезд, за счет того, что обеспечивается получение изображений с единым временем экспонирования всех объектов сцены. Наиболее эффективно устройство может быть использовано для создания высокоточных, малогабаритных, низкопотребляющих приборов для систем ориентации и навигации малых и микрокосмических аппаратов с использованием астронавигационных алгоритмов.

Claims

Устройство для создания изображений с высоким динамическим диапазоном, содержащее объектив для экспонирования светочувствительной матрицы, средство памяти для сохранения данных изображения и процессор, способный обрабатывать данные изображения, отличающееся тем, что светочувствительная матрица выполнена с возможностью обеспечения получения одновременно двух изображений с одинаковым временем экспонирования, из которых одно изображение оптимизировано для визирования ярких объектов сцены с низким коэффициентом усиления, и из которых второе изображение оптимизировано для визирования тусклых объектов сцены с высоким коэффициентом усиления; в процессоре устройства реализуется алгоритм обработки массива интенсивностей пикселей первого изображения, полученного с низким коэффициентом усиления Y_Н, и массива интенсивностей пикселей второго изображения, полученного с высоким коэффициентом усиления Y_В, и вычисления интенсивности пикселей окончательного изображения с высоким динамическим диапазоном Y_ШДД в зависимости от Y_В и Y_Н, при этом интенсивности пикселей изображения, полученные с низким коэффициентом усиления Y_Н, пересчитываются с учетом масштабного коэффициента и коэффициента компенсации интенсивности.