RU2664415C2 - Система обработки изображений и машиночитаемый записывающий носитель - Google Patents

Abstract

Изобретение относится к средствам удаления тумана из изображения. Технический результат заключается в реализации устройства высокоточного процесса удаления дымчатости кадра изображения на основе пикселов высокой насыщенности. Система обработки изображений содержит: устройство вывода оценочного значения освещенности, которое выводит оценочное значение освещенности по крайней мере частичной области изображения; устройство вывода оценочного значения насыщенности, которое выводит оценочное значение насыщенности области; устройство вывода оценочного значения контрастности, которое выводит оценочное значение контрастности области; и устройство оценки глубины дымчатости, которое выводит расчетное значение глубины дымчатости изображения на основе оценочного значения освещенности, оценочного значения насыщенности и оценочного значения контрастности. 4 н. и 8 з.п. ф-лы, 13 ил.

Description

1. ОБЛАСТЬ ТЕХНИКИ

[0001] Настоящее изобретение относится к системе обработки изображений и машиночитаемому записывающему носителю.

2. ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ

[0002] Известен способ удаления тумана в изображении на основе атмосферной модели (см., например, Патентный документ 1).

[Документы предшествующего уровня техники]

[Патентный документ]

[Патентный документ 1] Опубликованная патентная заявка Японии №2012-168936

[0003] Требовался более подходящий способ удаления тумана из изображения.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0004] Согласно первому аспекту настоящего изобретения, предлагается система обработки изображений. Система обработки изображений может содержать устройство вывода оценочного значения освещенности, которое выводит оценочное значение освещенности по крайней мере частичной области изображения. Система обработки изображений может содержать устройство вывода оценочного значения насыщенности, которое выводит оценочное значение насыщенности по крайней мере частичной области изображения. Система обработки изображений может содержать устройство вывода оценочного значения контрастности, которое выводит оценочное значение контрастности по крайней мере частичной области изображения. Система обработки изображений может содержать устройство оценки глубины дымчатости, которое выводит расчетное значение глубины дымчатости изображения на основе оценочного значения освещенности, оценочного значения насыщенности и оценочного значения контрастности.

[0005] Система обработки изображений может содержать первое устройство извлечения пикселей, которое извлекает неплоский пиксель с нечеткими краями из изображения, характеризующееся тем, что устройство расчета глубины дымчатости может выводить расчетное значение глубины дымчатости изображения на основе оценочного значения освещенности, оценочного значения насыщенности и оценочного значения контрастности неплоских пикселей с нечеткими краями, извлеченных первым устройством извлечения пикселей.

[0006] Согласно второму аспекту настоящего изобретения, предлагается система обработки изображений. Система обработки изображений может содержать первое устройство извлечения пикселей, которое извлекает из изображения неплоский пиксель с нечеткими краями. Система обработки изображений может содержать устройство расчета глубины дымчатости, которое выводит расчетное значение глубины дымчатости изображения на основе не менее двух из следующих значений: оценочное значение освещенности, оценочное значение насыщенности и оценочное значение контрастности неплоских пикселей с нечеткими краями, извлеченных первым устройством извлечения пикселей.

[0007] Оценочное значение освещенности может являться средним значением освещенности области. Оценочное значение насыщенности может являться средним значением насыщенности области. Оценочное значение контрастности может являться средним значением контрастности области. Устройство оценки глубины дымчатости может выводить более высокое расчетное значение глубины дымчатости по мере роста среднего значения освещенности. Устройство оценки глубины дымчатости может выводить более высокое расчетное значение глубины дымчатости по мере снижения среднего значения насыщенности. Устройство оценки глубины дымчатости может выводить более высокое расчетное значение глубины дымчатости по мере снижения значения контрастности. Изображение может являться динамическим изображением, включающим в себя множество кадров, и система обработки изображений может содержать: устройство извлечения пикселей высокой насыщенности, которое извлекает в одном кадре среди множества кадров пиксель высокой насыщенности, значение насыщенности которого превышает заранее определенный предел; устройство вывода пикселизации высокой насыщенности, которое выводит пикселизацию высокой насыщенности, указывающую на процент пикселей высокой насыщенности в одном кадре; и устройство оценки изменения сцены, которое оценивает, включено ли изменение сцены в изображение, на основе различных критериев в зависимости от того, превышает ли пикселизация высокой насыщенности заранее определенный предел. Система обработки изображений может содержать устройство вывода надежности, которое выводит надежность расчетного значения глубины дымчатости одного кадра из пикселизации высокой насыщенности в одном кадре и среднего значения освещенности одного кадра. Система обработки изображений может содержать устройство регулировки параметров, которое регулирует параметр, подлежащий использованию в процессе удаления дымчатости на одном кадре на основе надежности расчетного значения глубины дымчатости одного кадра, выведенного устройством вывода надежности, и флажка изменения сцены, указывающего, является ли этот один кадр тем кадром, в котором происходит изменение сцены.

[0008] Система обработки изображений может содержать: устройство вывода коэффициента пропускания, которое выводит коэффициент пропускания, соответствующий глубине дымчатости каждого множества пикселей изображения; и устройство удаления дымчатости, выполняющее процесс удаления дымчатости на изображении на основе расчетного значения глубины дымчатости и коэффициента пропускания. Система обработки изображений может далее содержать второе устройство извлечения пикселей, которое извлекает неплоский пиксель с нечеткими краями из изображения, характеризующееся тем, что устройство удаления дымчатости определяет, выполнять ли процесс удаления дымчатости, на основе процента неплоских пикселей с нечеткими краями в изображении, извлеченных вторым устройством извлечения пикселей.

[0009] Согласно второму аспекту настоящего изобретения, предлагается система обработки изображений. Система обработки изображений может содержать устройство извлечения пикселей высокой насыщенности, которое извлекает в одном кадре среди множества кадров, включенных в динамическое изображение, пиксель высокой насыщенности, значение насыщенности которого превышает заранее определенный предел. Система обработки изображений может содержать устройство вывода пикселизации высокой насыщенности, которое выводит пикселизацию высокой насыщенности, указывающую на процент пикселей высокой насыщенности в одном кадре. Система обработки изображений может содержать устройство оценки изменения сцены, которое оценивает, включено ли изменение сцены в изображение, на основе различных критериев в зависимости от того, превышает ли пикселизация высокой насыщенности в одном кадре заранее определенный предел.

[0010] Устройство оценки изменения сцены может оценивать, включено ли изменение сцены в изображение, на основе тона одного кадра и тона кадра, предшествующего одному кадру, когда пикселизация высокой насыщенности одного кадра превышает предел. Устройство оценки изменения сцены может оценивать, включено ли изменение сцены в изображение, на основе пикселизации высокой насыщенности одного кадра и пикселизации высокой насыщенности кадра, предшествующего одному кадру, когда пикселизация высокой насыщенности одного кадра равна пределу или не достигает его. Система обработки изображений может содержать: устройство получения расчетного значения глубины дымчатости, которое получает расчетное значение глубины дымчатости одного кадра; и устройство вывода надежности, которое выводит надежность расчетного значения глубины дымчатости одного кадра из пикселизации высокой насыщенности в одном кадре и среднего значения освещенности одного кадра. Устройство вывода надежности может выводить более высокую надежность по мере роста среднего значения освещенности и более высокую надежность по мере снижения пикселизации высокой насыщенности, когда расчетное значение превышает заранее определенный предел. Устройство вывода надежности может выводить более высокую надежность по мере снижения среднего значения освещенности и выводит более высокую надежность по мере роста пикселизации высокой насыщенности, когда расчетное значение равно заранее определенному пределу или не достигает его.

[0011] Система обработки изображений может содержать: устройство получения целевого значения, которое получает целевое значение глубины дымчатости; и устройство определения целевого значения, которое определяет, какое из значений - целевое значение глубины дымчатости кадра, предшествующего одному кадру, полученное устройством получения целевого значения, или расчетное значение глубины дымчатости, полученное устройством получения расчетного значения глубины дымчатости, - должно использоваться для регулировки параметра, подлежащего использованию в процессе удаления дымчатости, на основе надежности, выведенной устройством вывода надежности. Система обработки изображений может содержать: устройство вывода значения абсолютной разности, которое выводит значение абсолютной разности между целевым значением глубины дымчатости, получаемым устройством получения целевого значения, и расчетным значением глубины дымчатости, получаемым устройством получения расчетного значения глубины дымчатости, характеризующееся тем, что устройство определения целевого значения может определять, какое из значений - целевое значение глубины дымчатости, полученное устройством получения целевого значения, или расчетное значение глубины дымчатости, полученное устройством получения расчетного значения глубины дымчатости - должно использоваться для корректировки параметра, подлежащего использованию в процессе удаления дымчатости, на основе надежности расчетного значения и значения абсолютной разницы, либо флажка изменения сцены, указывающего, является ли данный один кадр тем кадром, в котором происходит изменение сцены.

[0012] Система обработки изображений может содержать устройство регулировки параметров, которое регулирует параметр, подлежащий использованию в процессе удаления дымчатости одного кадра, таким образом, что он поэтапно становится близок к значению, соответствующему целевому значению глубины дымчатости или расчетному значению глубины дымчатости, определенному устройством определения целевого значения. Устройство регулировки параметров может регулировать параметр, подлежащий использованию в процессе удаления дымчатости, при величине регулировки, соответствующей: значению абсолютной разности между целевым значением глубины дымчатости или расчетным значением глубины дымчатости, определенным устройством определения целевого значения, и параметром, используемым в процессе удаления дымчатости кадра, предшествующего одному кадру; надежности расчетного значения глубины дымчатости; и флажку изменения сцены, указывающему, является ли один кадр тем кадром, в котором происходит изменение сцены, таким образом, что он поэтапно становится близок к значению, соответствующему целевому значению глубины дымчатости или расчетному значению глубины дымчатости, определенному устройством определения целевого значения.

[0013] Согласно третьему аспекту настоящего изобретения, предлагается система обработки изображений. Система обработки изображений может содержать устройство получения глубины дымчатости, которое получает глубину дымчатости изображения. Система обработки изображений может содержать устройство обработки удаления, которое выполняет на основе глубины дымчатости процессы удаления дымчатости при взаимно различных степенях удаления дымчатости на компоненте отражения изображения и компоненте подсветки изображения. Система обработки изображений может содержать устройство синтеза, синтезирующее компонент отражения и компонент подсветки, на которых выполнялись процессы удаления дымчатости. При допущении о приблизительном отсутствии компонентов отражения, включенных в свечение атмосферы, устройство обработки удаления может использовать атмосферную модель дымчатого изображения и теорию Ретинекс для выполнения процессов удаления дымчатости при взаимно различных степенях удаления дымчатости на компоненте отражения изображения и компоненте подсветки изображения. При дополнительном допущении о применимости атмосферной модели дымчатого изображения только к компоненту подсветки устройство обработки удаления может использовать атмосферную модель дымчатого изображения и теорию Ретинекс для выполнения процессов удаления дымчатости при взаимно различных степенях удаления дымчатости на компоненте отражения изображения и компоненте подсветки изображения.

[0014] Согласно четвертому аспекту настоящего изобретения, предлагается машиночитаемый записывающий носитель, на котором записана программа, позволяющая компьютеру функционировать в качестве системы обработки изображений.

[0015] Раздел «Сущность изобретения» не обязательно содержит описания всех необходимых признаков вариантов настоящего изобретения. Настоящее изобретение также может представлять собой суб-комбинацию описанных выше признаков.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0016] Фиг. 1 схематично демонстрирует один пример функциональной конфигурации системы обработки изображений 100.

Фиг. 2 схематично демонстрирует один пример функциональной конфигурации устройства оценки глубины дымчатости 200.

Фиг. 3 объясняет процесс извлечения плоского пикселя с четкими краями.

Фиг. 4а схематично демонстрирует один пример графика взвешивания 240.

Фиг. 4б схематично демонстрирует один пример графика взвешивания 242.

Фиг. 5 объясняет значения гистограммы.

Фиг. 6 схематично демонстрирует один пример функциональной конфигурации устройства управления сценами 300.

Фиг. 7 схематично демонстрирует один пример функциональной конфигурации устройства оценки изменения сцены 310.

Фиг. 8 схематично демонстрирует один пример функциональной конфигурации устройства оценки надежности дымчатости 330.

Фиг. 9 схематично демонстрирует один пример графика взвешивания 352.

Фиг. 10 схематично демонстрирует один пример графика взвешивания 354.

Фиг. 11 схематично демонстрирует один пример функциональной конфигурации устройства регулировки параметров удаления дымчатости 360.

Фиг. 12 схематично демонстрирует один пример функциональной конфигурации устройства удаления дымчатости 400.

ЛУЧШИЙ ВАРИАНТ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

[0017] Здесь и далее будут описаны (некоторые) варианты осуществления настоящего изобретения. Этот вариант (эти варианты) не ограничивает(-ют) изобретение, заявляемое в пунктах формулы изобретения, и все комбинации признаков, описанных в варианте(-ах) не всегда существенны для средств, предусмотренных аспектами изобретения.

[0018] Фиг. 1 схематично демонстрирует один пример функциональной конфигурации системы обработки изображений 100. Система обработки изображений 100, соответствующая настоящему варианту изобретения, может являться дисплеем, который удаляет дымчатость, включенную в исходное изображение, и отображает изображение. К дымчатости в целом относятся атмосферные явления, которые ухудшают поле зрения из-за микрочастиц. Например, к дымчатости относится туман, дымка, дым, пыль, порошкообразная пыль, дождь, снег и т.д. Дисплей может быть жидкокристаллическим, плазменным, на органических светодиодах и т.д.

[0019] Система обработки изображений 100 содержит устройства ввода изображений 110, дисплей 120, устройство оценки глубины дымчатости 200, устройство управления сценами 300 и устройство удаления дымчатости 400. Устройство ввода изображений 110 получает ввод изображения. Изображение может быть динамическим или статическим, а также может быть кадром, включенным в динамическое изображение. Устройство ввода изображений 110 может получать входные данные RGB, YUV или HSV. Система обработки изображений 100 может преобразовывать входные данные YUV в данные RGB.

[0020] Устройство оценки глубины дымчатости 200 выводит расчетное значение глубины дымчатости каждого входного изображения. Глубина дымчатости изображения - это глубина дымчатости, включенной в изображение. Например, если захватываются изображения одного пространства, глубина дымчатости изображения становится больше при большой глубине тумана в пространстве, чем при малой глубине тумана в пространстве.

[0021] Устройство управления сценами 300 оценивает, включено ли изменение сцены во входное динамическое изображение. В зависимости от того, включено ли изменение сцены во входное динамическое изображение, устройство управления сценами 300 может сформировать параметр, подлежащий использованию в процессе удаления дымчатости. Устройство удаления дымчатости 400 удаляет дымчатость из входного изображения. Устройство удаления дымчатости 400 может использовать параметр, сформированный устройством управления сценами 300, для удаления дымчатости из входного изображения. Дисплей 120 отображает изображение, из которого устройство удаления дымчатости 400 удаляет дымчатость.

[0022] Например, устройство управления сценами 300 формирует параметр, подлежащий использованию в процессе удаления дымчатости, чтобы поэтапно изменять силу удаления дымчатости в множестве кадров, когда изменение сцены не обнаруживается в динамическом изображении. Затем устройство удаления дымчатости 400 поэтапно изменяет силу удаления дымчатости в множестве кадров с использованием параметра, сформированного устройством управления сценами 300, когда изменение сцены не обнаруживается в динамическом изображении. Таким образом, можно предотвратить быстрое изменение изображения в связи с удалением дымчатости и подавить возникновение явления так называемого дрожания.

[0023] Кроме того, например, устройство управления сценами 300 формирует параметр, подлежащий использованию в процессе удаления дымчатости, чтобы поэтапно изменять силу удаления дымчатости в меньшем количестве кадров, когда изменение сцены обнаруживается в динамическом изображении, нежели когда изменение сцены не обнаруживается в динамическом изображении. Затем устройство удаления дымчатости 400 поэтапно изменяет силу удаления дымчатости в меньшем количестве кадров с использованием параметра, сформированного устройством управления сценами 300, когда изменение сцены обнаруживается в динамическом изображении, нежели когда изменение сцены не обнаруживается в динамическом изображении.

[0024] Система обработки изображений 100 может не содержать устройство управления сценами 300. В таком случае устройство удаления дымчатости 400 удаляет дымчатость из входного изображения на основе расчетного значения глубины дымчатости изображения, выведенного устройством расчета глубины дымчатости 200. Следовательно, имеется возможность реализовать высокоточный процесс удаления дымчатости на основе глубины дымчатости, оцененной устройством расчета глубины дымчатости 200.

[0025] Фиг. 2 схематично демонстрирует один пример функциональной конфигурации устройства расчета глубины дымчатости 200. Устройство расчета глубины дымчатости 200 содержит устройство извлечения плоских пикселей с четкими краями 202, устройство расчета средней освещенности 204, устройство расчета средней насыщенности 206, устройство расчета контрастности 208, устройство получения максимальной насыщенности 210, устройство получения взвешивания 212, устройство расчета глубины дымчатости 214, устройство оценки экрана инструментов 216 и задатчик 218.

[0026] Устройство извлечения плоских пикселей с четкими краями 202 извлекает неплоский пиксель с нечеткими краями из входного изображения посредством устройства ввода изображений 110. Устройство извлечения плоских пикселей с четкими краями 202, например, извлекает плоский пиксель или пиксель с четкими краями из изображения для исключения извлеченного пикселя из изображения, извлекая таким образом неплоский пиксель с нечеткими краями. Устройство извлечения плоских пикселей с четкими краями 202 может выступать примером первого устройства извлечения пикселей.

[0027] Устройство расчета средней освещенности 204 рассчитывает значение средней освещенности (в некоторых случаях представляемое как AVE_Y) неплоских пикселей с нечеткими краями. Значение средней освещенности может выступать примером оценочного значения освещенности. Устройство расчета средней освещенности 204 может выступать примером устройства вывода оценочного значения освещенности.

[0028] Устройство расчета средней насыщенности 206 рассчитывает значение средней насыщенности (в некоторых случаях представляемое как AVE_S) неплоских пикселей с нечеткими краями. Значение средней насыщенности может выступать примером оценочного значения насыщенности. Устройство расчета средней насыщенности 206 может выступать примером устройства вывода оценочного значения насыщенности.

[0029] Устройство расчета контрастности 208 рассчитывает значение контрастности неплоских пикселей с нечеткими краями. Значение контрастности может выступать примером оценочного значения контрастности. Устройство расчета контрастности 208 может выступать примером устройства вывода оценочного значения контрастности.

[0030] Устройство расчета контрастности 208 может формировать гистограмму неплоских пикселей с нечеткими краями. Устройство расчета контрастности 208 может формировать гистограмму с любым количеством столбиков. Затем устройство расчета контрастности 208 может вычитать минимальное значение сформированной гистограммы из ее максимального значения для расчета ширины гистограммы (в некоторых случаях представляемой как HIST_WIDTH). В этом случае из множества столбиков устройство расчета контрастности 208 может вычитать минимальное значение столбиков, величины которого превышают предел, из их соответствующего максимального значения.

[0031] HIST_WIDTH может выступать примером значения контрастности. Устройство расчета контрастности 208 может выводить количество столбиков гистограммы как максимальную ширину гистограммы (в некоторых случаях представляемую как MAX_WIDTH).

[0032] Устройство получения максимальной насыщенности 210 получает максимальную насыщенность (в некоторых случаях представляемую как MAX_S) в системе обработки изображений 100. Устройство получения взвешивания 212 получает значение веса (в некоторых случаях представляемое как coef), подлежащее использованию в расчете глубины дымчатости изображения. Устройство получения взвешивания 212, например, получает coef, указанный производителем или пользователем системы обработки изображений 100.

[0033] Устройство расчета глубины дымчатости 214 рассчитывает расчетное значение глубины дымчатости изображения (в некоторых случаях представляемое как Сила). Устройство расчета глубины дымчатости 214 может рассчитывать Силу на основе оценочного значения освещенности, оценочного значения насыщенности и оценочного значения контрастности неплоских пикселей с нечеткими краями.

[0034] Устройство расчета глубины дымчатости 214 может рассчитывать Силу на основе: среднего значения освещенности, рассчитанного устройством расчета средней освещенности 204; среднего значения насыщенности, рассчитанного устройством расчета средней насыщенности 206; и значения контрастности, рассчитанного устройством расчета контрастности 208. Устройство расчета глубины дымчатости 214 может рассчитывать Силу путем перемножения среднего значения освещенности, среднего значения насыщенности и значения контрастности. Устройство расчета глубины дымчатости 214 может перемножать среднее значение насыщенности, значение, полученное вычитанием среднего значения насыщенности из максимальной насыщенности, и значение, полученное вычитанием значения контрастности из максимальной ширины гистограммы.

[0035] В данном случае устройство расчета глубины дымчатости 214 может взвешивать среднее значение освещенности. Например, устройство расчета глубины дымчатости 214 может взвешивать среднее значение освещенности таким образом, что его значение далее увеличивается по мере роста величины и далее уменьшается по мере снижения величины. Кроме того, устройство расчета глубины дымчатости 214 может взвешивать среднее значение насыщенности. Например, устройство расчета глубины дымчатости 214 может взвешивать среднее значение насыщенности таким образом, что его значение далее увеличивается по мере роста величины и далее уменьшается по мере снижения величины.

[0036] Устройство расчета глубины дымчатости 214, например, рассчитывает Силу при помощи Уравнения 1.

[0037] [Уравнение 1]

[0038] Следовательно, устройство расчета глубины дымчатости 214 может выводить более высокое расчетное значение глубины дымчатости по мере увеличения среднего значения освещенности, более высокое расчетное значение глубины дымчатости по мере снижения среднего значения насыщенности и более высокое расчетное значение глубины дымчатости по мере снижения значения контрастности. Поскольку можно предположить, что когда глубина дымчатости изображения велика, контрастность изображения мала, средняя освещенность велика и средняя насыщенность мала, устройство расчета глубины дымчатости 214 может рассчитывать более точное расчетное значение глубины дымчатости с отражением характеристик дымчатости.

[0039] Устройство оценки экрана инструментов 216 оценивает, является ли входное изображение экраном инструментов. Экраном инструментов, например, может быть экран настройки параметра отображения дисплея 120, экран настройки параметра отображения изображения или нечто подобное.

[0040] Например, если при отображении дисплеем 120 динамического изображения камеры слежения в динамическом изображении камеры слежения формируется дымчатость, желательно выполнение процесса удаления дымчатости устройством удаления дымчатости 400. С другой стороны, если при отображении дисплеем 120 динамического изображения камеры слежения наблюдающий за динамическим изображением камеры слежения вызывает отображение экрана инструментов на дисплее 120 для изменения настройки параметра дисплея, выполнение процесса удаления дымчатости на экране инструментов в некоторых случаях может приводить к излишнему затемнению экрана или дрожанию экрана.

[0041] Для решения этой проблемы устройство расчета глубины дымчатости 200 в данном варианте изобретения выполняет управление таким образом, что 0 выводится как расчетное значение глубины дымчатости, когда входное изображение оценивается как экран инструментов, а Сила, рассчитанная устройством расчета глубины дымчатости 214, выводится, когда входное изображение не оценивается как экран инструментов.

[0042] В частности, задатчик 218: принимает Силу, рассчитанную устройством расчета глубины дымчатости 214, и результат оценки экрана инструментов, сделанной устройством оценки экрана инструментов 216; когда входным изображением является не экран инструментов, выводит Силу на устройство управления сценами 300 или устройство удаления дымчатости 400; а когда входным изображением является экран инструментов, выводит 0 на устройство управления сценами 300 или устройство удаления дымчатости 400. Следовательно, устройство удаления дымчатости 400 способно распознавать, что входное изображение является экраном инструментов. Когда входное изображение является экраном инструментов, устройство удаления дымчатости 400 может определить невыполнение процесса удаления дымчатости. Устройство расчета глубины дымчатости 200 может выводить малое расчетное значение вместо вывода 0. Например, устройство оценки глубины дымчатости 200 выводит расчетное значение, меньшее, чем минимальное значение Силы, рассчитанное устройством расчета глубины дымчатости 214.

[0043] Устройство оценки экрана инструментов 216 может оценивать, является ли входное изображение экраном инструментов, на основе неплоского пикселя с нечеткими краями, извлеченного устройством извлечения плоских пикселей с четкими краями 202. В данном случае, согласно второму критерию, отличному от первого критерия для извлечения неплоских пикселей с нечеткими краями, выводимых на устройство расчета средней освещенности 204, устройство расчета средней насыщенности 206 и устройство расчета контрастности 208, устройство извлечения плоских пикселей с четкими краями 202 может извлекать неплоский пиксель с нечеткими краями для вывода на устройство оценки экрана инструментов 216. Второй критерий может быть критерием, который осложняет оценку пикселя в качестве неплоского пикселя с нечеткими краями по сравнению с первым критерием. Устройство извлечения плоских пикселей с четкими краями 202 может выступать примером второго устройства извлечения пикселей.

[0044] Устройство оценки экрана инструментов 216 может оценивать входное изображение не как экран инструментов, когда процент неплоских пикселей с нечеткими краями, полученных от устройства извлечения плоских пикселей с четкими краями 202, относительно всех пикселей изображения равен заранее определенному пределу или не достигает его, и может оценивать изображение как экран инструментов, когда процент превышает заранее определенный предел.

[0045] Кроме того, устройство оценки экрана инструментов 216 может оценивать изображение как экран инструментов, когда процент плоских пикселей или пикселей с четкими краями, извлеченных согласно второму критерию, относительно плоских пикселей или пикселей с четкими краями, извлеченных согласно первому критерию, равен заранее определенному пределу или не достигает его, и может оценивать изображение не как экран инструментов, когда процент превышает заранее определенный предел.

[0046] Устройство оценки экрана инструментов 216 позволяет проводить оценку не только на экране инструментов, но и на экране иного типа до тех пор, пока такой экран имеет малый процент неплоских пикселей с четкими краями во входном изображении. Например, устройство оценки экрана инструментов 216 позволяет проводить оценку того, является ли входное изображение изображением, имеющим высокий процент областей помимо областей отображения изображения, относительно всей области отображения дисплея 120. Устройство оценки экрана инструментов 216 может выступать примером устройства оценки цели процесса удаления дымчатости, которое оценивает, является ли входное изображение целью, на которой должен выполняться процесс удаления дымчатости.

[0047] Хотя выше объясняется пример, в котором устройство расчета средней освещенности 204, устройство расчета средней насыщенности 206 и устройство расчета контрастности 208 рассчитывают среднее значение освещенности, среднее значение насыщенности и значение контрастности неплоских пикселей с нечеткими краями, это не единственный пример. Устройство расчета средней освещенности 204, устройство расчета средней насыщенности 206 и устройство расчета контрастности 208 могут рассчитывать среднее значение освещенности, среднее значение насыщенности и значение контрастности всего входного изображения. Кроме того, устройство расчета средней освещенности 204, устройство расчета средней насыщенности 206 и устройство расчета контрастности 208 могут рассчитывать среднее значение освещенности, среднее значение насыщенности и значение контрастности части входного изображения.

[0048] Фиг. 3 объясняет пример процесса извлечения плоского пикселя с четкими краями. При оценке того, является ли нужный пиксель 230 плоским или имеет ли он острые края, устройство извлечения плоских пикселей с четкими краями 202 сначала получает: максимальное значение и минимальное значение пиксельных величин семи пикселей, включая нужный пиксель 230 и шесть других пикселей, которые расположены вертикально и заключают нужный пиксель 230 по центру; а также максимальное значение и минимальное значение семи пикселей, включая нужный пиксель 230 и шесть других пикселей, которые расположены горизонтально и заключают нужный пиксель 230 по центру.

[0049] Далее устройство извлечения плоских пикселей с четкими краями 202 рассчитывает значение, получаемое вычитанием минимального значения из максимального значения для каждого набора из семи пикселей, расположенных в вертикальном направлении, и семи пикселей, расположенных в горизонтальном направлении. Затем, по меньшей мере в одном из направлений - вертикальном или горизонтальном - когда значение, полученное вычитанием минимального значения из максимального значения, равно первому пределу или не достигает его, и когда значение равно второму пределу, превышающему первый предел, или превышает его, устройство извлечения плоских пикселей и пикселей с четкими краями 202 оценивает нужный пиксель 230 как плоский пиксель или пиксель с четкими краями.

[0050] Количество пикселей в вертикальном направлении и количество пикселей в горизонтальном направлении может быть количеством, отличным от семи пикселей. Кроме того, когда плоский пиксель или пиксель с четкими краями извлекается согласно первому критерию, устройство извлечения плоских пикселей с четкими краями 202 может использовать первый предел и второй предел, а когда плоский пиксель или пиксель с четкими краями извлекается согласно второму критерию, устройство извлечения плоских пикселей с четкими краями 202 может использовать третий предел, превышающий первый и не достигающий второго, и четвертый предел, превышающий третий и не достигающий второго.

[0051] Фиг. 4а схематично демонстрирует один пример графика взвешивания 240. Кроме того, фиг.4б схематично демонстрирует один пример графика взвешивания 242. График взвешивания 240 демонстрирует один пример значений взвешивания, подлежащих использованию устройством расчета глубины дымчатости 214 во взвешивании среднего значения освещенности. Фиг. 4а и фиг. 4б иллюстрируют примеры, в которых входной сигнал составляет 10 бит. Взвешиванием среднего значения освещенности согласно графику взвешивания 240 устройство расчета глубины дымчатости 214 может выполнять взвешивание таким образом, что среднее значение освещенности далее увеличивается по мере роста величины и далее уменьшается по мере снижения величины.

[0052] Устройство расчета глубины дымчатости 214 может также использовать график взвешивания 240 при взвешивании среднего значения насыщенности. Устройство расчета глубины дымчатости 214 может использовать график взвешивания 240 с теми же значениями или график взвешивания 240 с другими значениями при взвешивании среднего значения освещенности и взвешивании среднего значения насыщенности. Например, если при взвешивании среднее значение освещенности превышает среднее значение насыщенности, устройство расчета глубины дымчатости 214 может использовать график взвешивания 242, указывающий на дополнительное взвешивание, как показано на графике взвешивания 242, для взвешивания среднего значения освещенности.

[0053] Фиг. 5 объясняет значения гистограммы. Фиг. 5 иллюстрирует случай, при котором количество столбиков в гистограмме равно 16. Как показано на фиг.5, из множества столбиков устройство расчета контрастности 208 может рассчитывать HIST_WIDTH вычитанием минимального значения столбиков, величины которого превышают предел, из их соответствующего максимального значения.

[0054] Фиг. 6 схематично демонстрирует один пример функциональной конфигурации устройства управления сценами 300. Устройство управления сценами 300 содержит устройство оценки изменения сцены 310, устройство оценки надежности дымчатости 330 и устройство регулировки параметров удаления дымчатости 360.

[0055] Устройство оценки изменения сцены 310 оценивает, включено ли изменение сцены в динамическое изображение, введенное через устройство ввода изображений 110. Устройство оценки изменения сцены 310 может ассоциировать с каждым кадром среди множества кадров, включенных в динамическое изображение, флажок изменения сцены, указывающий, происходит ли в нем изменение сцены.

[0056] Устройство оценки надежности дымчатости 330 оценивает надежность Силы, выведенной из устройства оценки глубины дымчатости 200 для кадра, включенного в динамическое изображение, введенное через устройство ввода изображений 110.

[0057] На основе надежности, оцененной устройством оценки надежности дымчатости 330, и флажка изменения сцены, сформированного устройством оценки изменения сцены 310, устройство регулировки параметров удаления дымчатости 360 регулирует параметр, подлежащий использованию в процессе удаления дымчатости в множестве кадров, включенных в динамическое изображение, для вывода параметра на устройство удаления дымчатости 400.

[0058] Фиг. 7 схематично демонстрирует один пример функциональной конфигурации устройства оценки изменения сцены 310. Устройство оценки изменения сцены 310 содержит устройство извлечения пикселей высокой насыщенности 312, устройство формирования гистограммы тонов 314, устройство измерения пикселизации высокой насыщенности 316, устройство извлечения плоских пикселей и пикселей с четкими краями 318, устройство расчета средней освещенности 320, устройство расчета средней насыщенности 322 и устройство обработки оценки 324.

[0059] Устройство извлечения пикселей высокой насыщенности 312 извлекает пиксель высокой насыщенности из одного кадра среди множества кадров, включенных в динамическое изображение, введенное через устройство ввода изображений 110. Пиксель высокой насыщенности может быть пикселем, имеющим насыщенность, которая превышает заранее определенный предел. Получив данные RGB, устройство извлечения пикселей высокой насыщенности 312 может извлекать из соответствующих пикселей, содержащихся в кадре, пиксель, в котором разность между максимальным значением и минимальным значением компонента R, компонента G и компонента В равна заранее определенному пределу или превышает его, как пиксель высокой насыщенности. Кроме того, получив данные HSV, устройство извлечения пикселей высокой насыщенности 312 может извлекать из соответствующих пикселей, содержащихся в кадре, пиксель, имеющий компонент S, который равен заранее определенному пределу или превышает его, как пиксель высокой насыщенности.

[0060] Устройство формирования гистограммы тонов 314 формирует гистограмму тонов (в некоторых случаях представляемую как HueHIST) для пикселей высокой насыщенности, извлеченных устройством извлечения пикселей высокой насыщенности 312. Хотя выше объяснен пример, в котором устройство формирования гистограммы тонов 314 формирует HueHIST для пикселей высокой насыщенности, извлеченных устройством извлечения пикселей высокой насыщенности 312, это не единственный пример. Устройство формирования гистограммы тонов 314 может формировать HueHIST для кадра, включенного в динамическое изображение, введенное через устройство ввода изображений 110.

[0061] Устройство измерения пикселизации высокой насыщенности 316 измеряет пикселизацию высокой насыщенности (в некоторых случаях представляемую как HighSatRate), указывающую на процент пикселей высокой насыщенности в одном кадре. Устройство измерения пикселизации высокой насыщенности 316 может воспринимать как HighSatRate процент пикселей высокой насыщенности относительно всех пикселей одного кадра. Устройство измерения пикселизации высокой насыщенности 316 может выступать примером устройства вывода пикселизации высокой насыщенности, которое выводит пикселизацию высокой насыщенности в одном кадре.

[0062] Устройство извлечения плоских пикселей с четкими краями 318 извлекает неплоский пиксель с нечеткими краями из одного кадра среди множества кадров, включенных в динамическое изображение, введенное через устройство ввода изображений 110. Устройство извлечения плоских пикселей с четкими краями 318 может извлекать неплоский пиксель с нечеткими краями подобно тому, как это делает устройство извлечения плоских пикселей с четкими краями 202. В этом случае устройство извлечения плоских пикселей с четкими краями 318 может извлекать неплоский пиксель с нечеткими краями согласно первому критерию, может извлекать неплоский пиксель с нечеткими краями согласно второму критерию, либо может извлекать неплоский пиксель с нечеткими краями согласно другому критерию.

[0063] Устройство расчета средней освещенности 320 рассчитывает AVE_Y неплоских пикселей с нечеткими краями, извлеченных устройством извлечения плоских пикселей с четкими краями 318. Хотя выше объяснен пример, в котором устройство расчета средней освещенности 320 рассчитывает AVE_Y неплоских пикселей с нечеткими краями, извлеченных устройством извлечения плоских пикселей с четкими краями 318, это не единственный пример. Устройство расчета средней освещенности 320 может рассчитывать AVE_Y для кадра, включенного в динамическое изображение, введенное через устройство ввода изображений 110.

[0064] Устройство расчета средней насыщенности 322 рассчитывает AVE_S неплоских пикселей с нечеткими краями, извлеченных устройством извлечения плоских пикселей с четкими краями 318. Хотя выше объяснен пример, в котором устройство расчета средней насыщенности 322 рассчитывает AVE_S неплоских пикселей с нечеткими краями, извлеченных устройством извлечения плоских пикселей с четкими краями 318, это не единственный пример. Устройство расчета средней насыщенности 322 может рассчитывать AVE_S для кадра, включенного в динамическое изображение, введенное через устройство ввода изображений 110.

[0065] Устройство обработки оценки 324 выполняет процесс оценки того, включено ли изменение сцены в динамическое изображение, введенное через устройство ввода изображений 110. Устройство обработки оценки 324 формирует флажок изменения сцены, указывающий, является ли кадр тем кадром, в котором происходит изменение сцены, для вывода флажка изменения сцены на устройство регулировки параметров удаления дымчатости 360.

[0066] Устройство обработки оценки 324 может оценивать, включено ли изменение сцены в динамическое изображение, на основе различных критериев в зависимости оттого, превышает ли пикселизация высокой насыщенности, измеренная устройством измерения пикселизации высокой насыщенности 316, заранее определенный предел.

[0067] Устройство обработки оценки 324 может оценивать, включено ли изменение сцены в динамическое изображение, на основе тона одного кадра и тона кадра, предшествующего одному кадру, когда пикселизация высокой насыщенности одного кадра, измеренная устройством измерения пикселизации высокой насыщенности 316, превышает заранее определенный предел. Кадром, предшествующим одному кадру, может являться, например, кадр, находящийся перед этим одним кадром.

[0068] В частности, устройство обработки оценки 324 может оценивать, включено ли изменение сцены в динамическое изображение, на основе суммы SAD (суммы абсолютных разностей) (в некоторых случаях представляемой как HueHISTSAD) HueHIST одного кадра, сформированной устройством формирования гистограммы тонов 314, и гистограммы тонов кадра, предшествующего одному кадру (в некоторых случаях представляемой как

).

[0069] Например, устройство обработки оценок 324 оценивает, что один кадр не является тем кадром, в котором происходит изменение сцены, когда: HueHISTSAD ниже пятого предела; значение абсолютной разницы между AVE_Y одного кадра и средним значением освещенности, предшествующего одному кадру (в некоторых случаях представляемом как

) ниже шестого предела; и значение абсолютной разницы между AVE_S одного кадра и средним значением насыщенности кадра, предшествующего одному кадру (в некоторых случаях представляемом как

) ниже седьмого предела. В других случаях устройство обработки оценки 324 оценивает, что один кадр является тем кадром, в котором происходит изменение сцены. Оценив, что один кадр не является тем кадром, в котором происходит изменение сцены, устройство обработки оценки 324 может выставить флажок изменения сцены одного кадра на False («ложный»). Оценив, что один кадр является тем кадром, в котором происходит изменение сцены, устройство обработки оценок 324 может выставить флажок изменения сцены одного кадра на True («истинный»).

[0070] Устройство обработки оценки 324 может оценивать, включено ли изменение сцены в динамическое изображение, на основе HighSatRate одного кадра и пикселизации высокой насыщенности кадра, предшествующего одному кадру (в некоторых случаях представляемой как

), когда пикселизация высокой насыщенности одного кадра, измеренная устройством измерения пикселизации высокой насыщенности 316, равна заранее определенному пределу или не достигает его.

[0071] Например, устройство обработки оценки 324 оценивает, что один кадр не является тем кадром, в котором происходит изменение сцены, когда: значение абсолютной разницы между HighSatRate и

не достигает восьмого предела; значение абсолютной разницы между AVE_Y и

не достигает шестого предела; и значение абсолютной разницы между AVE_S и

не достигает седьмого предела. В других случаях устройство обработки оценки 324 оценивает, что один кадр является тем кадром, в котором происходит изменение сцены.

[0072] Фиг. 8 схематично демонстрирует один пример функциональной конфигурации устройства оценки надежности дымчатости 330. Устройство оценки надежности дымчатости 330 содержит устройство извлечения плоских пикселей с четкими краями 332, устройство расчета средней освещенности 334, устройство извлечения пикселей высокой насыщенности 336, устройство измерения пикселизации высокой насыщенности 338, устройство получения расчетного значения глубины дымчатости 340 и устройство расчета надежности 342.

[0073] Устройство извлечения плоских пикселей с четкими краями 332 извлекает неплоский пиксель с нечеткими краями из одного кадра среди множества кадров, включенных во динамическое изображение, введенное через устройство ввода изображений 110. Устройство извлечения плоских пикселей с четкими краями 332 может извлекать неплоский пиксель с нечеткими краями подобно тому, как это делает устройство извлечения плоских пикселей с четкими краями 202. В этом случае устройство извлечения плоских пикселей с четкими краями 332 может извлекать неплоский пиксель с нечеткими краями согласно первому критерию, может извлекать неплоский пиксель с нечеткими краями согласно второму критерию, либо может извлекать неплоский пиксель с нечеткими краями согласно другому критерию.

[0074] Устройство расчета средней освещенности 334 рассчитывает AVE_Y неплоских пикселей с нечеткими краями, извлеченных устройством извлечения плоских пикселей с четкими краями 332. Хотя выше объяснен пример, в котором устройство расчета средней освещенности 334 рассчитывает AVE_Y неплоских пикселей с нечеткими краями, извлеченных устройством извлечения плоских пикселей с четкими краями 332, это не единственный пример. Устройство расчета средней освещенности 334 может рассчитывать AVE_Y для кадра, включенного в динамическое изображение, введенное через устройство ввода изображений 110.

[0075] Устройство извлечения пикселей высокой насыщенности 336 извлекает пиксель высокой насыщенности из одного кадра среди множества кадров, включенных в динамическое изображение, введенное через устройство ввода изображений 110. Получив данные RGB, устройство извлечения пикселей высокой насыщенности 336 может извлекать из соответствующих пикселей, содержащихся в кадре, пиксель, в котором разность между максимальным значением и минимальным значением компонента R, компонента G и компонента В равна заранее определенному пределу или превышает его, как пиксель высокой насыщенности.

[0076] Устройство измерения пикселизации высокой насыщенности измеряет HighSatRate в одном кадре. Устройство получения расчетного значения глубины дымчатости 340 получает Силу, выведенную устройством оценки глубины дымчатости 200.

[0077] На основе AVE_Y, рассчитанного устройством расчета средней освещенности 334, и HighSatRate, измеренного устройством измерения пикселизации высокой насыщенности 338, устройство расчета надежности 342 рассчитывает надежность Силы, полученной устройством получения расчетного значения глубины дымчатости 340, для вывода надежности на устройство регулировки параметров удаления дымчатости 360. Устройство расчета надежности 342 может выступать примером устройства вывода надежности, которое выводит надежность Силы на основе AVE_Y и HighSatRate. Устройство расчета надежности 342 может рассчитывать надежность Силы на основе различных критериев, в зависимости от того, превышает ли Сила, полученная устройством получения расчетного значения глубины дымчатости 340, заранее определенный предел.

[0078] Устройство расчета надежности 342 может рассчитывать более высокую надежность по мере роста AVE_Y и более высокую надежность по мере снижения HighSatRate, когда Сила, полученная устройством получения расчетного значения глубины дымчатости 340, превышает заранее определенный предел. Кроме того, устройство расчета надежности 342 может рассчитывать более высокую надежность по мере снижения AVE_Y и более высокую надежность по мере роста HighSatRate, когда Сила, полученная устройством получения расчетного значения глубины дымчатости 340, равна заранее определенному пределу или не достигает его.

[0079] В особом примере процесса расчета надежности, во-первых, устройство расчета надежности 342 взвешивает, соответственно, Силу, полученную устройством получения расчетного значения глубины дымчатости 340, AVE_Y, рассчитанное устройством расчета средней освещенности 334, и HighSatRate, измеренное устройством измерения пикселизации высокой насыщенности 338.

[0080] Устройство расчета надежности 342, например, взвешивает Силу и HighSatRate таким образом, что их значения далее увеличиваются по мере роста величин и далее уменьшаются по мере снижения величин. Кроме того, устройство расчета надежности 342, например, взвешивает AVE_Y таким образом, что его значение далее увеличивается по мере роста величины и далее уменьшается по мере снижения величины. В некоторых случаях взвешенная Сила может представляться как StrengthWeight. В некоторых случаях взвешенное AVE_Y может представляться как AVE_YWeight. В некоторых случаях взвешенное HighSatRate представляется как HighSatRateWeight.

[0081] Далее, устройство расчета надежности 342 воспринимает более высокое из значений AVE_YWeight и HighSatRateWeight как

. Затем, устройство расчета надежности 342 рассчитывает значение абсолютной разности между

и StrengthWeight как надежность расчетного значения глубины дымчатости.

[0082] Фиг. 9 схематично демонстрирует один пример графика взвешивания 352. График взвешивания 352 демонстрирует один пример значений взвешивания, подлежащих использованию устройством расчета надежности 342 во взвешивании Силы. Взвешиванием Силы согласно графику взвешивания 352 устройство расчета надежности 342 может выполнять взвешивание таким образом, что Сила далее увеличивается по мере роста величины и далее уменьшается по мере снижения величины. График взвешивания 352 может использоваться устройством расчета надежности 342 во взвешивании HighSatRate.

[0083] Фиг. 10 схематично демонстрирует один пример графика взвешивания 354. График взвешивания 354 демонстрирует один пример значений взвешивания, подлежащих использованию устройством расчета надежности 342 во взвешивании AVE_Y. Взвешиванием AVE_Y согласно графику взвешивания 354 устройство расчета надежности 342 может выполнять взвешивание таким образом, что AVE_Y далее уменьшается по мере роста величины и далее увеличивается по мере снижения величины.

[0084] Фиг. 11 схематично демонстрирует один пример функциональной конфигурации устройства регулировки параметров удаления дымчатости 360. Устройство регулировки параметров удаления дымчатости 360 содержит устройство расчета целевого значения глубины дымчатости 362 и устройство регулировки параметров 364.

[0085] Устройство расчета целевого значения глубины дымчатости 362 рассчитывает целевое значение глубины дымчатости (в некоторых случаях представляемое как TargetDepth) для одного кадра. TargetDepth указывает на параметр удаления дымчатости, при котором глубина дымчатости должна сходиться, когда содержимое одного кадра и множества кадров, следующих за одним кадром, не меняется.

[0086] Устройство расчета целевого значения глубины дымчатости 362 может определять TargetDepth одного кадра на основе: TargetDepth кадра, предшествующего одному кадру (в некоторых случаях представляемого как

); Силы для одного кадра, полученной от устройства оценки глубины дымчатости 200; надежности Силы, полученной от устройства расчета надежности 342; и флажка изменения сцены для одного кадра, полученного от устройства обработки оценки 324.

[0087] Например, во-первых, устройство расчета целевого значения глубины дымчатости 362 рассчитывает значение абсолютной разности (в некоторых случаях представляемое как DiffDepth) между Силой и

. Затем устройство расчета целевого значения глубины дымчатости 362 использует Силу как TargetDepth, когда DiffDepth превышает девятый предел, надежность Силы превышает десятый предел, а флажок изменения силы Истинный. В других случаях устройство расчета целевого значения глубины дымчатости 362 использует

как TargetDepth.

[0088] Устройство регулировки параметров 364 регулирует параметр, подлежащий использованию в процессе удаления дымчатости одного кадра (в некоторых случаях представляемый как HazeRemovalStrength), таким образом, что он поэтапно становится близок к значению, соответствующему Силе или

, определенному как TargetDepth одного кадра устройством расчета целевого значения глубины дымчатости 362.

[0089] Устройство регулировки параметров 364 может регулировать HazeRemovalStrength при величине регулировки, соответствующей: значению абсолютной разницы (в некоторых случаях представляемому как DiffStrength) между значением TargetDepth, определенным устройством расчета целевого значения глубины дымчатости 362, и параметром, используемым в процессе удаления дымчатости кадра, предшествующего одному кадру (в некоторых случаях представляемым как

); надежности Силы; и флажку изменения сцены, таким образом, что он поэтапно становится близок к значению, соответствующему Силе или

, определенному как TargetDepth одного кадра устройством расчета целевого значения глубины дымчатости 362.

[0090] Например, когда флажок изменения сцены Истинный, устройство регулировки параметров 364 регулирует HazeRemovalStrength на первую величину регулировки, таким образом, что он поэтапно становится близок к значению, соответствующему Силе или

, определенному как TargetDepth одного кадра устройством расчета целевого значения глубины дымчатости 362. Кроме того, когда флажок изменения сцены Ложный, DiffStrength превышает 11-й предел, а надежность Силы превышает 12-й предел, устройство регулировки параметров 364 регулирует HazeRemovalStrength на вторую величину регулировки, таким образом, что он поэтапно становится близок к значению, соответствующему Силе или

, определенному как TargetDepth одного кадра. К тому же, в иных случаях устройство регулировки параметров 364 регулирует HazeRemovalStrength на третью величину регулировки, таким образом, что он поэтапно становится близок к значению, соответствующему Силе или

, определенному как TargetDepth одного кадра. В данном случае, первая величина регулировки превышает вторую величину регулировки и третью величину регулировки, вторая величина регулировки превышает третью величину регулировки.

[0091] Как описано выше, на основе надежности Силы и значения абсолютной разницы между Силой и

, либо флажка изменения сцены устройство расчета целевого значения глубины дымчатости 362 может определять, какое из значений -

или Сила - должно использоваться для регулировки параметра, подлежащего использованию в процессе удаления дымчатости.

[0092] Устройство расчета целевого значения глубины дымчатости 362, которое получает

, может выступать примером устройства получения целевого значения. Кроме того, устройство расчета целевого значения глубины дымчатости 362 может служить примером устройства вывода значения абсолютной разницы, которое рассчитывает значение абсолютной разницы между Силой и

. К тому же, устройство расчета целевого значения глубины дымчатости 362 может служить примером устройства определения целевого значения, которое определяет TargetDepth для одного кадра.

[0093] Фиг. 12 схематично демонстрирует один пример функциональной конфигурации устройства удаления дымчатости 400. Устройство удаления дымчатости 400 содержит устройство отделения подсветки 402, устройство получения параметров 410, устройство обработки удаления 420 и устройство синтеза 426.

[0094] Устройство отделения подсветки 402 отделяет компонент подсветки I_L от изображения I, введенного через устройство ввода изображений 110. Устройство отделения подсветки 402 может выполнять любой процесс до тех пор, пока оно способно отделять компонент подсветки I_L от изображения I.

[0095] Например, устройство отделения подсветки 402 использует фильтр низких частот, защищающий контур, для отделения компонента подсветки I_L от изображения I. Фильтр низких частот, защищающий контур, - это фильтр, выполняющий сглаживание при сохранении контура. Устройство отделения подсветки 402, например, использует двусторонний фильтр в качестве фильтра низких частот, защищающего контур. Устройство отделения подсветки 402 может выводить компонент подсветки I_L и изображение I на устройство получения параметров 410.

[0096] Устройство получения параметров 410 получает параметр, подлежащий использованию при удалении дымчатости. Устройство получения параметров 410 имеет устройство расчета свечения атмосферы 412, устройство расчета коэффициента пропускания 414 и устройство получения расчетных значений глубины дымчатости 416.

[0097] Устройство расчета свечения атмосферы 412 рассчитывает свечение атмосферы А изображения I. Устройство расчета свечения атмосферы 412 может выполнять любой процесс до тех пор, пока оно способно рассчитывать свечение атмосферы А изображения I. Например, устройство расчета свечения атмосферы 412 сначала рассчитывает минимальное значение RGB каждого пикселя изображения I и окружающих его пикселей. Далее, устройство расчета свечения атмосферы 412 извлекает из изображения I пиксели, рассчитанные минимальные значения которых включены в их верхнюю 0,1%. Затем устройство расчета свечения атмосферы 412 воспринимает как свечение атмосферы А значение пикселя, имеющего наибольшую освещенность среди извлеченных пикселей.

[0098] Устройство расчета коэффициента пропускания 414 рассчитывает коэффициент пропускания t, соответствующий глубине дымчатости каждого множества пикселей изображения, введенного через устройство ввода изображений 110. Устройство расчета коэффициента пропускания 414 может выступать примером устройства вывода коэффициента пропускания. Устройство расчета коэффициента пропускания 414 может выполнять любой процесс до тех пор, пока оно способно рассчитывать коэффициент пропускания t. Например, устройство расчета коэффициента пропускания 414 рассчитывает коэффициент пропускания t на основе предварительного темного канала (в некоторых случаях представляемого как DCP), выраженного Уравнением 2.

[0099] [Уравнение 2]

[0100] I^C - цветовой канал I, а Ω(x) - локальный регион с центром в х.

[0101] Устройство расчета коэффициента пропускания 414 может рассчитывать коэффициент пропускания t из значения DCP при допущении, что DCP в Уравнении 2 выражает коэффициент пропускания t. Например, устройство расчета коэффициента пропускания 414 может рассчитывать коэффициент пропускания t с помощью Уравнения 3.

[0102] [Уравнение 3]

[0103] Устройство получения расчетного значения глубины дымчатости 416 получает Силу, выведенную устройством оценки глубины дымчатости 200.

[0104] Устройство получения параметров 410 выводит на устройство обработки удаления изображение I, компонент подсветки I_L, свечение атмосферы А, рассчитанное устройством расчета свечения атмосферы 412, коэффициент пропускания t, рассчитанный устройством расчета коэффициента пропускания 414, и Силу, полученную устройством получения расчетного значения глубины дымчатости 416.

[0105] Устройство обработки удаления 420 выполняет процесс удаления дымчатости на изображении I на основе теории Ретинекс, выраженной Уравнением 4, и атмосферной модели дымчатого изображения, выраженной Уравнением 5.

[0106] [Уравнение 4] Входное изображение I=Подсветка L×Отражение R.

[0107] [Уравнение 5] Входное изображение I(х)=Оригинальное изображение J(x)×Коэффициент пропускания t(x)+Свечение атмосферы А (1 - Коэффициент пропускания t(x)).

[0108] Модификация Уравнения 5 дает Уравнение 6.

[0109] [Уравнение 6]

[0110] Применяя теорию Ретинекс к Уравнению 6 и выражая соответствующие элементы произведениями компонента отражения и компонента подсветки, мы получаем Уравнение (7).

[0111] [Уравнение 7]

[0112] В данном случае, при допущении о приблизительном отсутствии или малом количестве компонентов отражения, включенных в свечение атмосферы, устройство обработки удаления 420 может использовать атмосферную модель дымчатого изображения и теорию Ретинекс для выполнения процесса удаления дымчатости. Например, когда предполагается, что количество компонентов отражения, включенных в свечение атмосферы, очень мало, можно считать, что Уравнение 8 истинно.

[0113] [Уравнение 8]

[0114] Кроме того, при дополнительном допущении о возможности применения атмосферной модели только к соответствующим компонентам подсветки свечения атмосферы, оригинального изображения и входного изображения, устройство обработки удаления 420 может использовать атмосферную модель дымчатого изображения и теорию Ретинекс для выполнения процесса удаления дымчатости. Согласно такому предположению, Уравнение 9 истинно.

[0115] [Уравнение 9]

[0116] Путем применения Уравнения 8 и Уравнения 9 к Уравнению 7 получается Уравнение 10.

[0117] [Уравнение 10]

[0118] Согласно Уравнению 10 можно вывести, что, когда I_R превышает 1, значение J_R становится больше чем I_R, а когда I_R не достигает 1, значение J_R становится меньше чем I_R.

[0119] Используя Уравнение 9 и Уравнение 10, устройство обработки удаления 420 может выполнять процесс удаления дымчатости при взаимно различных степенях удаления дымчатости на компоненте отражения изображения и компоненте подсветки. Например, устройство обработки удаления 420 может обеспечивать разницу степеней удаления дымчатости, делая разными коэффициенты пропускания t в Уравнении 9 и Уравнении 10. Кроме того, устройство обработки удаления 420 может обеспечивать разницу степеней удаления дымчатости, по-разному взвешивая результаты Уравнения 9 и Уравнения 10.

[0120] Устройство обработки удаления 420 имеет устройство обработки компонента подсветки 422 и устройство обработки компонента отражения 424. Устройство обработки компонента подсветки 422 выполняет процесс удаления дымчатости на компоненте подсветки изображения. Устройство обработки компонента отражения 424 выполняет процесс удаления дымчатости на компоненте отражения изображения.

[0121] Устройство обработки компонента подсветки 422 может использовать HazeRemovalStrength, полученное от устройства регулировки параметров 364, для выполнения процесса удаления дымчатости. Например, устройство обработки компонента подсветки 422 может использовать компонент m подсветки I_L, свечение атмосферы А, коэффициент пропускания t, HazeRemovalStrength и Уравнение 9 для расчета компонента подсветки J_L, на котором выполнялся процесс удаления дымчатости. Устройство обработки компонента подсветки 422 может использовать HazeRemovalStrength для регулировки коэффициента пропускания t. Кроме того, устройство обработки компонента подсветки 422 может использовать HazeRemovalStrength вместо коэффициента пропускания t. К тому же, устройство обработки компонента подсветки 422 может использовать значение на основе HazeRemovalStrength вместо коэффициента пропускания t. Когда устройство обработки компонента подсветки 422 использует HazeRemovalStrength, полученное от устройства регулировки параметров 364, для выполнения процесса удаления дымчатости, устройство получения параметров 410 не должно иметь устройство получения расчетного значения глубины дымчатости 416. Кроме того, устройство получения расчетного значения глубины дымчатости 416 может получать HazeRemovalStrength от устройства регулировки параметров 364 и передавать полученное HazeRemovalStrength на устройство обработки удаления 420.

[0122] Когда через устройство ввода изображений 110 вводится статическое изображение, когда система обработки изображений 100 не содержит устройство управления сценами 300, или в иных случаях устройство обработки компонента подсветки 422 может использовать компонент подсветки I_L, свечение атмосферы А, коэффициент пропускания t и Силу, полученные от устройства получения параметров 410, и Уравнение 9 для расчета компонента подсветки J_L, на котором выполнялся процесс удаления дымчатости. Устройство обработки компонента подсветки 422 может применять Силу к коэффициенту пропускания t для расчета компонента подсветки J_L. Например, устройство обработки компонента подсветки 422 умножает коэффициент пропускания t на Силу. Кроме того, например, устройство обработки компонента подсветки 422 может взвешивать коэффициент пропускания t согласно значению Силы. Следовательно, имеется возможность реализовать высокоточный процесс удаления дымчатости с использованием Силы, оцененной устройством оценки глубины дымчатости 200.

[0123] Устройство обработки компонента отражения 424 может рассчитывать компонент отражения I_R из изображения I и компонент подсветки I_L, полученный от устройства получения параметров 410. Устройство обработки компонента отражения 424 может использовать HazeRemovalStrength, полученное от устройства регулировки параметров 364, для выполнения процесса удаления дымчатости. Например, устройство обработки компонента отражения 424 может использовать компонент подсветки I_L, компонент отражения I_R, коэффициент пропускания t, HazeRemovalStrength и Уравнение 10 для расчета компонента отражения J_R, на котором выполнялся процесс удаления дымчатости. Устройство обработки компонента отражения 424 может использовать HazeRemovalStrength для регулировки коэффициента пропускания t. Кроме того, устройство обработки компонента отражения 424 может использовать HazeRemovalStrength вместо коэффициента пропускания t. К тому же, устройство обработки компонента отражения 424 может использовать значение на основе HazeRemovalStrength вместо коэффициента пропускания t. Когда устройство обработки компонента отражения 424 использует HazeRemovalStrength, полученное от устройства регулировки параметров 364, для выполнения процесса удаления дымчатости, устройство получения параметров 410 не должно иметь устройства получения расчетного значения глубины дымчатости 416. Кроме того, устройство получения расчетного значения глубины дымчатости 416 может получать HazeRemovalStrength от устройства регулировки параметров 364 и передавать полученное HazeRemovalStrength на устройство обработки удаления 420.

[0124] Когда через устройство ввода изображений 110 вводится статическое изображение, когда система обработки изображений 100 не содержит устройство управления сценами 300, или в иных случаях, устройство обработки компонента отражения 424 может использовать компонент подсветки I_L, компонент отражения I_R, коэффициент пропускания t, Силу и Уравнение 10 для расчета J_R, на котором выполнялся процесс удаления дымчатости. Устройство обработки компонента отражения 424 может применять Силу к коэффициенту пропускания t для расчета J_R. Например, устройство обработки компонента отражения 424 умножает коэффициент пропускания t на Силу. Кроме того, например, устройство обработки компонента отражения 424 может взвешивать коэффициент пропускания t согласно значению Силы. Следовательно, имеется возможность реализовать высокоточный процесс удаления дымчатости с использованием Силы, оцененной устройством оценки глубины дымчатости 200.

[0125] Устройство синтеза 426 синтезирует компонент подсветки J_L, на котором устройство обработки компонента подсветки 422 выполняло процесс удаления дымчатости, и компонент отражения J_R, на котором процесс удаления дымчатости выполнялся устройством обработки компонента отражения 424. Устройство синтеза 426 формирует выходное изображение J путем синтеза J_L и J_R. Выходное изображение J, сформированное устройством синтеза 426, может отображаться дисплеем 120.

[0126] Хотя в настоящем варианте изобретения объяснен пример, в котором система обработки изображений 100 является дисплеем, содержащим устройство оценки глубины дымчатости 200, устройство управления сценами 300 и устройство удаления дымчатости 400, это не единственный пример. Система обработки изображений 100 может быть дисплеем, содержащим по меньшей мере одно из следующих устройств: устройство оценки глубины дымчатости 200, устройство управления сценами 300, устройство удаления дымчатости 400.

[0127] Кроме того, система обработки изображений 100 может быть дисплеем, содержащим только устройство оценки изменения сцены 310 из набора, включающего устройство оценки изменения сцены 310, устройство оценки надежности дымчатости 330 и устройство регулировки параметров удаления дымчатости 360, который содержится в устройстве управления сценами 300. К тому же, система обработки изображений 100 может быть дисплеем, содержащим только устройство оценки надежности дымчатости 330. В данном случае устройство получения расчетного значения глубины дымчатости 340 может получать не Силу, выведенную устройством оценки глубины дымчатости 200, но расчетное значение глубины дымчатости, оцененное другим аппаратом или подобным устройством.

[0128] Более того, система обработки изображений 100 может быть дисплеем, содержащим только устройство удаления дымчатости 400 из набора, включающего устройство оценки глубины дымчатости 200, устройство управления сценами 300 и устройство удаления дымчатости 400. В данном случае устройство получения расчетного значения глубины дымчатости 416 может получать не Силу, выведенную устройством оценки глубины дымчатости 200, но расчетное значение глубины дымчатости, оцененное другим аппаратом или подобным устройством.

[0129] К тому же, хотя в настоящем варианте изобретения представлен пример, в котором система обработки изображений 100 является дисплеем, это не единственный пример. Это может быть аппарат другого типа, если такой аппарат обрабатывает изображения. Например, система обработки изображений 100 может быть сотовым телефоном, таким как смартфон, планшетом, персональным компьютером, информационным приложением или чем-то подобным. Кроме того, система обработки изображений 100 может быть аппаратом, который не имеет дисплея 120, но предусматривает отображение изображения на внешнем дисплее.

[0130] В вышеуказанном объяснении каждое устройство системы обработки изображений 100 может быть реализовано аппаратным или программным путем. К тому же, возможны комбинации аппаратной и программной реализации. Кроме того, выполнение программы может позволять компьютеру функционировать в качестве системы обработки изображений 100. Программа может устанавливаться с машиночитаемого носителя или запоминающего устройства, подключенного к сети, на компьютере, составляющем по меньшей мере часть системы обработки изображений 100.

[0131] Программы, которые установлены на компьютере и позволяют компьютеру функционировать в качестве системы обработки изображений 100 согласно данному варианту изобретения, могут работать на ЦПУ или подобном устройстве, чтобы, соответственно, позволять компьютеру функционировать в качестве соответствующих устройств системы обработки изображений 100. Обработка информации, описанная в этих программах, считывается компьютером, чтобы функционировать в качестве особых средств, реализованных взаимодействием между программными и аппаратными ресурсами системы обработки изображений 100.

[0132] Хотя описаны варианты осуществления настоящего изобретения, технический объем изобретения не ограничен вышеуказанными вариантами. Для специалистов в данной области очевидно, что к вышеописанным вариантам могут быть добавлены различные изменения и улучшения. Из формулы изобретения также очевидно, что варианты с добавлением таких изменений или улучшений могут быть включены в технический объем изобретения.

[0133] Операции, процедуры, этапы и стадии каждого процесса, выполняемого аппаратом, системой, программой и способом, указанными в пунктах формулы изобретения, описаниях вариантов осуществления изобретения или на схемах, могут выполняться в любом порядке, если порядок не указан выражениями «перед», «до» или другими подобными выражениями, и пока вывод от предыдущего процесса не используется в последующем процессе. Даже если последовательность процессов описывается с использованием таких фраз как «сначала» или «далее» в пунктах формулы изобретения, описаниях вариантов осуществления изобретения или на схемах, это не всегда означает, что процесс должен выполняться в таком порядке.

[Объяснение позиций на чертежах]

[0134] 100: система обработки изображений; 110: устройство ввода изображений; 120: дисплей; 200: устройство оценки глубины дымчатости; 202: устройство извлечения плоских пикселей с четкими краями; 204: устройство расчета средней освещенности; 206: устройство расчета средней насыщенности; 208: устройство расчета контрастности; 210: устройство получения максимальной насыщенности; 212: устройство получения взвешивания; 214: устройство расчета глубины дымчатости; 216: устройство оценки экрана инструментов; 218: задатчик; 230: нужный пиксель; 240: график взвешивания; 242: график взвешивания; 300: устройство управления сценами; 310: устройство оценки изменения сцены; 312: устройство извлечения пикселей высокой насыщенности; 314: устройство формирования гистограммы тонов; 316: устройство измерения пикселизации высокой насыщенности; 318: устройство извлечения плоских пикселей с четкими краями; 320: устройство расчета средней освещенности; 322: устройство расчета средней насыщенности; 324: устройство обработки оценки; 330: устройство оценки надежности дымчатости; 332: устройство извлечения плоских пикселей с четкими краями; 334: устройство расчета средней освещенности; 336: устройство извлечения пикселей высокой насыщенности; 338: устройство измерения пикселизации высокой насыщенности; 340: устройство получения расчетного значения глубины дымчатости; 342: устройство расчета надежности; 352: график взвешивания; 354: график взвешивания; 360: устройство регулировки параметров удаления дымчатости; 362: устройство расчета целевого значения глубины дымчатости; 364: устройство регулировки параметров; 400: устройство удаления дымчатости; 402: устройство отделения подсветки; 410: устройство получения параметров; 412: устройство расчета свечения атмосферы; 414: устройство расчета коэффициента пропускания; 416: устройство получения расчетного значения глубины дымчатости; 420: устройство обработки удаления; 422: устройство обработки компонента подсветки; 424: устройство обработки компонента отражения; 426: устройство синтеза

Claims (34)

1. Система обработки изображений, состоящая из следующих элементов:

устройство вывода оценочного значения освещенности, которое выводит оценочное значение освещенности по крайней мере частичной области изображения;

устройство вывода оценочного значения насыщенности, которое выводит оценочное значение насыщенности области;

устройство вывода оценочного значения контрастности, которое выводит оценочное значение контрастности области; и

устройство оценки глубины дымчатости, которое выводит расчетное значение глубины дымчатости изображения на основе оценочного значения освещенности, оценочного значения насыщенности и оценочного значения контрастности.

2. Система обработки изображений по п. 1, дополнительно состоящая из первого устройства извлечения пикселей, которое извлекает из изображения неплоский пиксель с нечеткими краями, характеризующаяся тем, что

устройство оценки глубины дымчатости выводит расчетное значение глубины дымчатости изображения на основе оценочного значения освещенности и оценочного значения контрастности неплоских пикселей с нечеткими краями, извлеченных первым устройством извлечения пикселей.

3. Система обработки изображений, состоящая из следующих элементов:

первое устройство извлечения пикселей, которое извлекает из изображения неплоский пиксель с нечеткими краями; и

устройство расчета глубины дымчатости, которое выводит расчетное значение глубины дымчатости изображения на основе не менее двух из следующих значений: оценочное значение освещенности, оценочное значение насыщенности, оценочное значение контрастности неплоских пикселей с нечеткими краями, извлеченных первым устройством извлечения пикселей.

4. Система обработки изображений по п. 3, характеризующаяся тем, что

оценочное значение освещенности является средним значением освещенности области,

оценочное значение насыщенности является средним значением насыщенности области,

оценочное значение контрастности является значением контрастности области, и

устройство расчета глубины дымчатости выводит более высокое расчетное значение глубины дымчатости по мере увеличения среднего значения освещенности, более высокое расчетное значение глубины дымчатости по мере снижения среднего значения насыщенности и более высокое расчетное значение глубины дымчатости по мере снижения значения контрастности.

5. Система обработки изображений по п. 3, характеризующаяся тем, что изображение является динамическим и включает в себя множество кадров,

система обработки изображений далее состоит из следующих элементов:

устройство извлечения пикселей высокой насыщенности, которое извлекает в одном кадре среди множества кадров пиксель высокой насыщенности, значение насыщенности которого превышает заранее определенный предел;

устройство получения пикселизации высокой насыщенности, которое получает пикселизацию высокой насыщенности, указывающую на процент пикселей высокой насыщенности в одном кадре; и

устройство оценки изменения сцены, которое оценивает, включено ли изменение сцены в изображение, на основе различных критериев в зависимости от того, превышает ли пикселизация высокой насыщенности заранее определенный предел.

6. Система обработки изображений по п. 5, дополнительно состоящая из устройства вывода надежности, которое выводит надежность расчетного значения глубины дымчатости одного кадра из пикселизации высокой насыщенности в одном кадре и среднего значения освещенности одного кадра.

7. Система обработки изображений по п. 6, дополнительно состоящая из устройства регулировки параметров, которое регулирует параметр, подлежащий использованию в процессе удаления дымчатости на одном кадре на основе надежности расчетного значения глубины дымчатости одного кадра, выведенного устройством вывода надежности, и флажка изменения сцены, указывающего, является ли этот один кадр тем кадром, в котором происходит изменение сцены.

8. Система обработки изображений по п. 3, дополнительно состоящая из следующих элементов:

устройство вывода коэффициента пропускания, которое выводит коэффициент пропускания, соответствующий глубине дымчатости каждого множества пикселей изображения; и

устройство удаления дымчатости, выполняющее процесс удаления дымчатости на изображении на основе расчетного значения глубины дымчатости и коэффициента пропускания.

9. Система обработки изображений по п. 8, дополнительно состоящая из второго устройства извлечения пикселей, которое извлекает из изображения неплоский пиксель с нечеткими краями, характеризующаяся тем, что

устройство удаления дымчатости определяет, выполнять ли процесс удаления дымчатости, на основе процента неплоских пикселей с нечеткими краями в изображении, извлеченных вторым устройством извлечения пикселей.

10. Система обработки изображений, состоящая из следующих элементов:

устройство получения глубины дымчатости, которое получает глубину дымчатости изображения;

устройство обработки удаления, которое выполняет на основе глубины дымчатости процессы удаления дымчатости при взаимно различных степенях удаления дымчатости на компоненте отражения изображения и компоненте подсветки изображения; и

устройство синтеза, синтезирующее компонент отражения и компонент подсветки, на которых выполнялись процессы удаления дымчатости, характеризующееся тем, что

при допущении о приблизительном отсутствии компонентов отражения, включенных в свечение атмосферы, устройство обработки удаления использует атмосферную модель дымчатого изображения и теорию Ретинекс для выполнения процессов удаления дымчатости при взаимно различных степенях удаления дымчатости на компоненте отражения изображения и компоненте подсветки изображения.

11. Система обработки изображений по п. 10, характеризующаяся тем, что при дополнительном допущении о применимости атмосферной модели дымчатого изображения только к компоненту подсветки устройство обработки удаления использует атмосферную модель дымчатого изображения и теорию Ретинекс для выполнения процессов удаления дымчатости при взаимно различных степенях удаления дымчатости на компоненте отражения изображения и компоненте подсветки изображения.

12. Машиночитаемый записывающий носитель, на котором записана программа, позволяющая компьютеру функционировать в качестве системы обработки изображений согласно пп. 1-11.

Images