RU2635883C1 - Image processing method and system for forming superhigh-resolution images - Google Patents
Image processing method and system for forming superhigh-resolution images Download PDFInfo
- Publication number
- RU2635883C1 RU2635883C1 RU2016121716A RU2016121716A RU2635883C1 RU 2635883 C1 RU2635883 C1 RU 2635883C1 RU 2016121716 A RU2016121716 A RU 2016121716A RU 2016121716 A RU2016121716 A RU 2016121716A RU 2635883 C1 RU2635883 C1 RU 2635883C1
- Authority
- RU
- Russia
- Prior art keywords
- image
- components
- frequency
- low
- component
- Prior art date
Links
- 238000003672 processing method Methods 0.000 title claims description 3
- 238000000034 method Methods 0.000 claims abstract description 82
- 239000013598 vector Substances 0.000 claims abstract description 59
- 238000012545 processing Methods 0.000 claims abstract description 26
- 230000011218 segmentation Effects 0.000 claims description 28
- 238000012549 training Methods 0.000 claims description 19
- 238000010606 normalization Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 239000000126 substance Substances 0.000 abstract 1
- 230000008569 process Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000013459 approach Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 5
- 238000002187 spin decoupling employing ultra-broadband-inversion sequences generated via simulated annealing Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- WYTGDNHDOZPMIW-RCBQFDQVSA-N alstonine Natural products C1=CC2=C3C=CC=CC3=NC2=C2N1C[C@H]1[C@H](C)OC=C(C(=O)OC)[C@H]1C2 WYTGDNHDOZPMIW-RCBQFDQVSA-N 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000005429 filling process Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
Description
Область техники, к которой относится изобретениеFIELD OF THE INVENTION
Настоящее изобретение относится к области техники обработки изображений в целом и к способу и системе обработки изображений для формирования изображений сверхвысокого разрешения в частности.The present invention relates to the field of image processing technology in general and to a method and system for image processing for forming ultra-high resolution images in particular.
Уровень техникиState of the art
В настоящее время широкое распространение получили дисплеи, поддерживающие стандарт сверхвысокой четкости (UHD), однако все еще имеется недостаток кадров изображений с достаточным разрешением.Currently, displays that support the Ultra High Definition (UHD) standard are widespread, but there is still a lack of image frames with sufficient resolution.
Наипростейший способ решения этой проблемы, который известен специалистам в данной области техники, показан на Фиг. 1. Этот подход был уже широко применен для преобразования видеосигнала стандартной четкости в HD-сигнал и может быть использован для преобразования HD-видеосигнала в видеосигнал сверхвысокой четкости (UHD). Как показано на Фиг. 1, устройство отображения сверхвысокой четкости может состоять из приемника 101, выполненного с возможностью приема HD-видеосигнала 102, который затем передается в средство 103 масштабирования. Средство 103 масштабирования выполнено с возможностью преобразования HD-видеосигнала 102 в видеосигнал 104 сверхвысокой четкости (UHD), который, в итоге, передается на панель 105 отображения сверхвысокой четкости (UHD). Известные из уровня техники методы масштабирования, применяемые для получения видеосигналов сверхвысокой четкости (UHD), таких как сигнал 104 из средства 103 масштабирования, обычно имеют низкое качество воспроизведения высокочастотных деталей по сравнению с видео сверхвысокой четкости (UHD), снятым видеокамерой сверхвысокой четкости (UHD). Для решения этой проблемы были разработаны некоторые специальные методы увеличения разрешения изображений.The simplest way to solve this problem, which is known to those skilled in the art, is shown in FIG. 1. This approach has already been widely applied to convert standard definition video to HD and can be used to convert HD video to ultra-high definition (UHD) video. As shown in FIG. 1, an ultra-high definition display device may consist of a
В частности, методы обеспечения сверхвысокого разрешения зачастую используются для получения более высокого уровня детализации при просмотре традиционного контента на дисплеях сверхвысокой четкости (UHD). Такие методы могут быть разделены на две основные категории: многокадровые методы и однокадровые методы.In particular, ultra-high resolution methods are often used to obtain a higher level of detail when viewing traditional content on ultra-high definition (UHD) displays. Such methods can be divided into two main categories: multi-frame methods and single-frame methods.
Например, в US 6,434,280 и US 8,306,121 описаны многокадровые методы увеличения разрешения изображений за счет использования информации из множества кадров низкого разрешения для построения кадра высокого разрешения.For example, US 6,434,280 and US 8,306,121 describe multi-frame methods for increasing image resolution by using information from a plurality of low resolution frames to construct a high resolution frame.
US 6,434,280 описывает систему формирования изображения мозаичного вида со сверхвысоким разрешением за счет использования множества кадров изображения, в которой каждый кадр представляет собой часть сцены для выходного изображения. Описанная система состоит из генератора изображения мозаичного вида и генератора изображения сверхвысокого разрешения. Генератор изображения мозаичного вида формирует из кадров изображения данные изображения мозаичного вида, которые характеризуют изображение мозаичного вида. Генератор изображения сверхвысокого разрешения принимает данные изображения мозаичного вида и данные изображения, представленные в кадрах изображения, и выводит изображение мозаичного вида со сверхвысоким разрешением. Во время процесса формирования изображения мозаичного вида со сверхвысоким разрешением изображение мозаичного вида разделяется на множество компонентов изображения (каждый компонент изображения связан с по меньшей мере одним кадром изображения), и процесс выполняется в отношении компонентов изображения для формирования изображения мозаичного вида со сверхвысоким разрешением.US 6,434,280 describes an ultra-high resolution mosaic image forming system by using a plurality of image frames in which each frame is a part of a scene for the output image. The described system consists of a mosaic-type image generator and an ultra-high resolution image generator. The mosaic image generator generates mosaic image data that characterizes the mosaic image from image frames. The ultra-high resolution image generator receives mosaic image data and image data presented in image frames, and outputs an mosaic image with ultra-high resolution. During the ultra-high resolution mosaic image formation process, the mosaic image is divided into a plurality of image components (each image component is associated with at least one image frame), and the process is performed on the image components to form an ultra-high resolution mosaic image.
В US 8,306,121 раскрыт способ формирования изображений сверхвысокого разрешения за счет использования последовательности изображений низкого разрешения. Способ включает в себя этапы, на которых: формируют предположительное изображение высокого разрешения, проводят оценку движения между предположительным изображением высокого разрешения и сравнительными изображениями из последовательности изображений низкого разрешения, осуществляют обратное проецирование с компенсацией движения и осуществляют обратное проецирование без компенсации движения, что позволяет получить в результате изображение сверхвысокого разрешения. US 8,306,121 также раскрывает соответствующую систему формирования изображений сверхвысокого разрешения, которая состоит из модулей, каждый из которых выполняет один из вышеупомянутых этапов способа.US 8,306,121 discloses a method for generating ultra-high resolution images by using a sequence of low resolution images. The method includes the steps of: forming a presumptive high-resolution image, evaluating the motion between the presumptive high-resolution image and comparative images from a sequence of low-resolution images, performing backward projection with motion compensation and performing backward projection without motion compensation, which allows to obtain The result is an ultra-high resolution image. US 8,306,121 also discloses a corresponding ultra-high resolution imaging system, which consists of modules, each of which performs one of the aforementioned process steps.
Известные из уровня техники многокадровые методы имеют следующие недостатки:Known from the prior art multi-frame methods have the following disadvantages:
- требуется очень большое число исходных кадров для получения высоких коэффициентов увеличения;- requires a very large number of source frames to obtain high magnification factors;
- такие методы обладают очень сильной чувствительностью к точности суб-пиксельной оценки движения;- such methods have a very strong sensitivity to the accuracy of the sub-pixel motion estimation;
- такие методы требуют очень сложного аппаратного обеспечения (вследствие необходимости сохранять несколько кадров и выполнять точную оценку движения между этими кадрами);- such methods require very complex hardware (due to the need to save several frames and perform an accurate assessment of the movement between these frames);
- такие методы обладают высокой чувствительностью к модели получения изображений и ухудшения качества изображений (наподобие функции рассеяния точки, параметров размытия из-за движения, уровня шума и т.д.).- such methods are highly sensitive to the image acquisition model and image quality deterioration (like the function of point scattering, blur parameters due to motion, noise level, etc.).
Наконец, также известно, что многокадровым методам свойственны артефакты в виде повторяющихся узоров.Finally, it is also known that multi-frame techniques are characterized by artifacts in the form of repeating patterns.
Однокадровые методы могут быть разделены на методы, основанные на самоподобии, повторном проецировании и обучении.Single-frame methods can be divided into methods based on self-similarity, re-projection, and training.
Пример метода, основанного на повторном проецировании, описан в JP 2008140012, где предложено использовать метод Гаусса-Зейделя для расчета значения обратной связи, добавляемого к изображению низкого разрешения, которое масштабируется с использованием некоего традиционного способа. Описанный метод, основанный на повторном проецировании, предусматривает многократное улучшение изображения сверхвысокого разрешения и вносит слишком много задержек в процесс видеообработки, и не может быть реализован в виде «системы-на-кристалле» по разумной цене.An example of a re-projection-based method is described in JP 2008140012, where it is proposed to use the Gauss-Seidel method to calculate the feedback value added to a low resolution image that is scaled using some traditional method. The described method, based on re-projection, provides for multiple improvements in ultra-high resolution images and introduces too many delays in the video processing process, and cannot be implemented as a “system-on-chip” at a reasonable price.
Методы, основанные на самоподобии, зачастую имеют недопустимую сложность вычислений и не могут быть реализованы в виде «системы-на-кристалле» по разумной цене. US 20130044965 раскрывает один пример способа обеспечения сверхвысокого разрешения с использованием самоподобия, который может быть реализован по разумной цене. Вся информация для масштабирования изображения получается из самого изображения. Сначала изображение масштабируется, затем определяется, имеет ли масштабированное изображение какие-либо сглаженные области. После этого повышается качество границ на масштабированном изображении, и, если была обнаружена сглаженная область, она окаймляется границей. В заключение, формируются текстуры для улучшенного и неулучшенного масштабированных изображений. Текстуры покрывают сглаженные области и создаются с использованием входного изображения, применяемого в качестве примера текстур. Тем не менее, этот способ может обеспечивать только улучшение границ, но не улучшает текстурированные области.Self-similarity methods often have unacceptable computational complexity and cannot be implemented as a “system-on-a-chip” at a reasonable price. US 20130044965 discloses one example of a method for providing ultra-high resolution using self-similarity, which can be implemented at a reasonable price. All information for scaling an image is obtained from the image itself. First, the image is scaled, then it is determined whether the scaled image has any smoothed areas. After that, the quality of the borders in the scaled image is improved, and if a smooth area has been detected, it is bordered by the border. In conclusion, textures are formed for enhanced and unimproved scaled images. Textures cover smooth areas and are created using an input image, used as an example of textures. However, this method can only provide border enhancement, but does not improve textured areas.
Методы, основанные на обучении и обеспечивающие предварительно обучаемую базу данных для хранения модели текстур, могут быть включены в состав процесса видеообработки в дисплее сверхвысокой четкости (UHD), как показано на Фиг. 2. Видеосигнал принимается и декодируется приемником 201 для обеспечения множества компонентов изображения. Каждый компонент изображения масштабируется средством 202 масштабирования и обрабатывается блоком 203 текстурирования. Для каждого масштабированного компонента изображения с низким уровнем детализации блок 203 текстурирования находит наиболее похожую запись в базе 204 данных с низкочастотными компонентами изображения, извлекает соответствующий высокочастотный компонент изображения из базы 205 данных с высокочастотными компонентами изображения, добавляет этот высокочастотный компонент изображения к исходному компоненту изображения с низким уровнем детализации и формирует выходное изображение сверхвысокого разрешения, которое должно быть отображено на дисплее 206 сверхвысокой четкости (UHD). Примеры таких методов, основанных на обучении, описаны в US 20130156345 и US 6,766,067.Training-based methods that provide a pre-trained database for storing a texture model can be included in the video processing process in an ultra-high definition (UHD) display, as shown in FIG. 2. The video signal is received and decoded by the
В US 20130156345 предложено использовать множество кадров, снятых с высокой частотой кадров, для построения кадра высокого разрешения. После объединения этих кадров выполняется улучшение качества изображения с использованием нелинейного фильтра, реализованного в виде предварительно обучаемой нейронной сети. Этот способ, как предполагается, должен использоваться для мобильного приложения в случае съемки увеличенных фрагментов. Нейронная сеть обучается для каждой определенной модели камеры с использованием тестового изображения, включающего в себя радиальные и синусоидальные тестовые диаграммы.In US 20130156345, it is proposed to use a plurality of frames shot at a high frame rate to construct a high resolution frame. After combining these frames, image quality is improved using a non-linear filter implemented as a pre-trained neural network. This method is supposed to be used for a mobile application in the case of shooting enlarged fragments. A neural network is trained for each specific camera model using a test image that includes radial and sinusoidal test charts.
US 6,766,067 раскрывает другой метод, основанный на обучении. Первый этап этого метода состоит в интерполяции исходного изображения. Интерполированное изображение разделяется на перекрывающиеся компоненты изображения. После этого все операции выполняются в отношении каждого отдельного компонента изображения в растровом порядке сканирования: система формирует масштабированный среднеполосный компонент изображения с использованием заданного компонента изображения низкого разрешения, затем она моделирует вектор поиска по пикселям из масштабированного среднеполосного компонента изображения путем перекрытия высокополосных компонентов изображения, которые были сформированы до этого. Система находит в ранее заполненной базе данных ближайший вектор к заданному вектору поиска и соответствующий высокополосный компонент выходного изображения. Последний этап этого алгоритма заключается в интерполировании высокополосного компонента выходного изображения с использованием интерполированного компонента изображения низкого разрешения и объединении всех компонентов изображения в одно изображение сверхвысокого разрешения.US 6,766,067 discloses another teaching-based method. The first step of this method is to interpolate the original image. The interpolated image is divided into overlapping image components. After that, all operations are performed for each individual image component in a raster scan order: the system generates a scaled mid-band image component using the specified low-resolution image component, then it models the pixel search vector from the scaled mid-band image component by overlapping the high-band image components that were formed before that. The system finds in the previously filled database the closest vector to the given search vector and the corresponding highband component of the output image. The final step in this algorithm is to interpolate the high-bandwidth component of the output image using the interpolated component of the low-resolution image and combine all the image components into a single ultra-high resolution image.
Метод, основанный на обучении, который известен из US 6,766,067, обеспечивает в результате высокое качество, но обладает следующими недостатками:The training-based method, which is known from US 6,766,067, results in high quality, but has the following disadvantages:
- одна и та же обработка используется в отношении всех компонентов изображения, что обеспечивает низкое разнообразие текстур;- the same processing is used for all image components, which ensures a low variety of textures;
- используется только одна база данных для всех видов текстур;- only one database is used for all types of textures;
- время поиска соответствующих шаблонов является линейным;- the search time for the corresponding patterns is linear;
- проблема инвариантности относительно сдвига и вращения решается за счет использования избыточной базы данных, описывающей все возможные сдвиги и повороты компонентов изображения.- the problem of invariance with respect to shift and rotation is solved by using an excess database that describes all the possible shifts and rotations of image components.
Раскрытие изобретенияDisclosure of invention
Идея настоящего изобретения пришла в головы авторов в силу вышеупомянутых недостатков решений, известных из уровня техники, и настоящее изобретение в целом опирается на метод, основанный на обучении, который используется для формирования выходного изображения с более высоким разрешением и/или уровнем детализации по сравнению с входным изображением.The idea of the present invention came to the authors ’mind due to the aforementioned drawbacks of prior art solutions, and the present invention generally relies on a learning-based method that is used to produce an output image with a higher resolution and / or level of detail than the input image.
Технический результат, достигаемый при использовании настоящего изобретения, заключается в увеличении разрешения и уровня детализации входного изображения, что обеспечивает улучшение качества изображения по сравнению с решениями, известными из уровня техники.The technical result achieved by using the present invention is to increase the resolution and level of detail of the input image, which provides improved image quality compared with solutions known from the prior art.
Согласно первому аспекту, предложен способ обработки изображений. Способ содержит этапы, на которых:According to a first aspect, an image processing method is provided. The method comprises the steps of:
обеспечивают по меньшей мере одно входное изображение;provide at least one input image;
масштабируют входное изображение для формирования масштабированного изображения, имеющего целевое низкое разрешение;scaling the input image to form a scaled image having a target low resolution;
сегментируют масштабированное изображение на неперекрывающиеся сегменты изображения, причем каждый сегмент изображения состоит из множества компонентов изображения;segmenting the scaled image into non-overlapping image segments, wherein each image segment consists of a plurality of image components;
выполняют обработку в отношении каждого из сегментов изображения, причем упомянутая обработки содержит:processing is performed on each of the image segments, said processing comprising:
- вычисление вектора признаков, характеризующего признаки текстуры и цвета в сегменте изображения;- calculation of the feature vector characterizing the texture and color features in the image segment;
- осуществление доступа к базе данных, состоящей из поля векторов признаков, включающего в себя множество разных векторов признаков, поля низкочастотных компонентов изображения, включающего в себя множество разных подбаз данных с низкочастотными компонентами изображения, и поля высокочастотных компонентов изображения, включающего в себя множество разных подбаз данных с высокочастотными компонентами изображения, причем каждый вектор признаков из множества разных векторов признаков связан с одной подбазой данных с низкочастотными компонентами изображения из множества разных подбаз данных с низкочастотными компонентами изображения, которая, в свою очередь, связана с соответствующей одной подбазой данных с высокочастотными компонентами изображения из множества разных подбаз данных с высокочастотными компонентами изображения;- access to a database consisting of a field of feature vectors, which includes many different feature vectors, a field of low-frequency image components, which includes many different data subbases with low-frequency image components, and a field of high-frequency image components, which includes many different sub-bases data with high-frequency image components, and each feature vector from a variety of different feature vectors is associated with a single data base with low-frequency components nents of the plurality of different image data subbases with low frequency image components, which in turn is associated with a respective sub-base audio data with high-frequency components of the plurality of image data with different subbases high-frequency components of the image;
- определение вектора признаков в поле векторов признаков в базе данных, который наиболее похож на вычисленный вектор признаков сегмента изображения;- determination of the feature vector in the feature vector field in the database, which is most similar to the calculated feature vector of the image segment;
- выбор подбазы данных с низкочастотными компонентами изображения и подбазы данных с высокочастотными компонентами изображения, которые обе соответствуют определенному вектору признаков;- selection of a data base with low-frequency image components and a data base with high-frequency image components, which both correspond to a specific feature vector;
- выполнение подобработки в отношении каждого компонента изображения, принадлежащего сегменту изображения, причем упомянутая подобработки содержит:- performing sub-processing with respect to each image component belonging to the image segment, said sub-processing comprising:
-- определение в выбранной подбазе данных с низкочастотными компонентами изображения низкочастотного компонента изображения, наиболее похожего на компонент изображения сегмента изображения;- determination in the selected subbase of data with low-frequency image components of the low-frequency image component that is most similar to the image component of the image segment;
-- извлечение из выбранной подбазы данных с высокочастотными компонентами изображения высокочастотного компонента изображения, соответствующего определенному низкочастотному компоненту изображения;- extracting from the selected sub-base of data with high-frequency image components a high-frequency image component corresponding to a certain low-frequency image component;
-- добавление извлеченного высокочастотного компонента изображения к компоненту изображения внутри сегмента изображения для формирования компонента изображения сверхвысокого разрешения; и- adding the extracted high-frequency image component to the image component within the image segment to form an ultra-high resolution image component; and
-- объединение всех компонентов изображения сверхвысокого разрешения для формирования сегмента изображения сверхвысокого разрешения; и- combining all the components of the ultra-high resolution image to form an ultra-high resolution image segment; and
- объединение всех сегментов изображения сверхвысокого разрешения для формирования выходного изображения, имеющего более высокое разрешение, чем входное изображение; и- combining all segments of the ultra-high resolution image to form an output image having a higher resolution than the input image; and
отображают выходное изображение.display the output image.
В некоторых вариантах осуществления признаки текстуры и цвета в векторе признаков каждого сегмента изображения содержат по меньшей мере одно из следующего: средние значения красного, зеленого и синего цвета, средние значения оттенка и насыщенности, модифицированные признаки Харалика для зернистости и контрастности, модифицированные признаки Тамура для зернистости, контрастности, направленности и нечеткости, модифицированные признаки Канни для зернистости, модифицированные признаки Амадасуна для зернистости и контрастности и признаки Ву для зернистости, контрастности, периодичности и нечеткости.In some embodiments, the texture and color features in the feature vector of each image segment contain at least one of the following: average values of red, green and blue, average values of hue and saturation, modified Haralik features for grain and contrast, modified Tamur features for grain , contrast, directivity and fuzziness, modified Canny signs for graininess, modified Amadasun signs for graininess and contrast and recognition Ki Woo for grain, contrast, frequency and ambiguities.
В одном варианте осуществления этап масштабирования выполняют с использованием операции интерполирования. Операция интерполирования может быть операцией билинейного интерполирования.In one embodiment, the scaling step is performed using an interpolation operation. The interpolation operation may be a bilinear interpolation operation.
В одном варианте осуществления база данных организована в виде дерева.In one embodiment, the database is organized in a tree.
В одном варианте осуществления этап извлечения высокочастотного компонента изображения содержит этапы, на которых: выбирают угол ориентации для каждого низкочастотного компонента изображения; осуществляют поворот каждого низкочастотного компонента изображения на угол ориентации; осуществляют нормировку каждого низкочастотного компонента изображения с использованием коэффициента нормировки; выбирают высокочастотный компонент изображения для каждого низкочастотного компонента изображения; осуществляют поворот каждого высокочастотного компонента изображения на величину, обратную углу ориентации; и умножают каждый высокочастотный компонент изображения на коэффициент нормировки. Коэффициент нормировки может быть выбран на основании конкретного типа параметров каждого низкочастотного компонента изображения. В качестве примера, эти параметры могут содержать одно из следующего: стандартное отклонение каждого низкочастотного компонента изображения и разность минимального и максимального значений каждого низкочастотного компонента изображения, и, в таком случае, коэффициент нормировки пропорционален стандартному отклонению низкочастотного компонента изображения или пропорционален разности минимального и максимального значений соответствующего низкочастотного компонента изображения. Кроме того, база данных может дополнительно содержать поле метаданных, содержащее одно или более значений коэффициента нормировки. В некоторых вариантах осуществления угол ориентации для каждого низкочастотного компонента изображения обеспечивает максимальную симметрию относительно заданной оси.In one embodiment, the step of extracting the high-frequency image component comprises the steps of: selecting an orientation angle for each low-frequency image component; rotate each low-frequency image component by an orientation angle; normalizing each low-frequency image component using a normalization coefficient; selecting a high-frequency image component for each low-frequency image component; rotate each high-frequency component of the image by an amount opposite to the orientation angle; and multiply each high-frequency image component by a normalization factor. The normalization factor can be selected based on the specific type of parameters of each low-frequency image component. As an example, these parameters may contain one of the following: the standard deviation of each low-frequency image component and the difference between the minimum and maximum values of each low-frequency image component, and, in this case, the normalization coefficient is proportional to the standard deviation of the low-frequency image component or proportional to the difference of the minimum and maximum values the corresponding low-frequency component of the image. In addition, the database may further comprise a metadata field containing one or more normalization coefficient values. In some embodiments, the implementation of the orientation angle for each low-frequency image component provides maximum symmetry about a given axis.
В одном варианте осуществления этап сегментирования содержит этапы, на которых: выполняют первоначальное грубое сегментирование; и улучшают первоначальное грубое сегментирование. Первоначальное грубое сегментирование улучшается за счет получения набора граничных элементов для каждого сегмента изображения, выбора оптимальных граничных элементов из набора граничных элементов и получения непрерывной границы для каждого сегмента на основании выбранных оптимальных граничных элементов. Первоначальное грубое сегментирование может выполняться посредством одной из следующих операций: кластеризация пикселей на основании яркости, цвета, текстуры и других атрибутов; сегментирование на основании гистограмм; сегментирование на основании расщепления и объединения; сегментирование с выращиванием областей. В некоторых вариантах осуществления упомянутое по меньшей мере одно входное изображение представляет собой последовательность видеоизображений, и в таком случае первоначальное грубое сегментирование выполняется на основании оценки движения и/или оценки глубины для последовательности видеоизображений. Первоначальное грубое сегментирование может также выполняться посредством выбора пользователем вручную набора граничных элементов для каждого сегмента изображения. Оптимальные граничные элементы выбираются посредством динамического программирования, а непрерывная граница получается за счет использования модели активного контура.In one embodiment, the segmentation step comprises the steps of: performing initial coarse segmentation; and improve initial rough segmentation. The initial coarse segmentation is improved by obtaining a set of boundary elements for each image segment, selecting the optimal boundary elements from the set of boundary elements, and obtaining a continuous border for each segment based on the selected optimal boundary elements. Initial coarse segmentation can be performed through one of the following operations: clustering pixels based on brightness, color, texture and other attributes; histogram segmentation; segmentation based on splitting and combining; segmentation with growing areas. In some embodiments, the at least one input image is a sequence of video images, in which case initial rough segmentation is performed based on a motion estimate and / or depth estimate for the sequence of video images. Initial coarse segmentation can also be performed by manually selecting a set of boundary elements for each image segment by the user. The optimal boundary elements are selected through dynamic programming, and a continuous boundary is obtained by using the active contour model.
В одном варианте осуществления база данных составлена из и заполнена разными низкочастотными компонентами изображения и высокочастотными компонентами изображения с использованием алгоритма обучения. Алгоритм обучения содержит этапы, на которых: преобразуют обучающее изображение из первого цветового пространства во второе цветовое пространство для обеспечения двух раздельных каналов данных о яркости и цветности; осуществляют понижающее масштабирование канала данных о яркости; осуществляют повышающее масштабирование подвергнутого понижающему масштабированию канала данных о яркости для получения низкочастотного изображения, состоящего из низкочастотных компонентов изображения; вычитают низкочастотное изображение из исходного канала данных о яркости для получения высокочастотного изображения, состоящего из высокочастотных компонентов изображения; группируют низкочастотные компоненты изображения в виде подбазы данных с низкочастотными компонентами изображения; и группируют высокочастотные компоненты изображения в виде подбазы данных с высокочастотными компонентами изображения. В некоторых вариантах осуществления первое цветовое пространство представляет собой цветовое пространство RGB, а второе цветовое пространство представляет собой одно из цветовых пространств YCbCr, YUV, HSV, LaB.In one embodiment, the database is composed of and populated with various low-frequency image components and high-frequency image components using a learning algorithm. The learning algorithm contains steps in which: transform the training image from the first color space to the second color space to provide two separate channels of data about the brightness and color; downscaling the luminance data channel; up-scaling the down-scaled channel of brightness data to provide a low-frequency image consisting of low-frequency image components; subtracting the low-frequency image from the original luminance data channel to obtain a high-frequency image consisting of high-frequency image components; grouping low-frequency image components in the form of a data base with low-frequency image components; and group the high-frequency image components in the form of a data base with high-frequency image components. In some embodiments, the first color space is an RGB color space, and the second color space is one of the YCbCr, YUV, HSV, LaB color spaces.
В одном варианте осуществления упомянутое объединение всех компонентов изображения сверхвысокого разрешения и упомянутое объединение всех сегментов изображения сверхвысокого разрешения выполняются непосредственно за счет соединения вплотную друг к другу компонентов изображения сверхвысокого разрешения и соединения вплотную друг к другу сегментов изображения сверхвысокого разрешения. В одном другом варианте осуществления упомянутое объединение всех компонентов изображения сверхвысокого разрешения и упомянутое объединение всех сегментов изображения сверхвысокого разрешения выполняются за счет использования перекрытия и взвешивания компонентов изображения сверхвысокого разрешения и сегментов изображения сверхвысокого разрешения. В еще одном другом варианте осуществления упомянутое объединение всех компонентов изображения сверхвысокого разрешения и упомянутое объединение всех сегментов изображения сверхвысокого разрешения выполняются с использованием способов разреза графов, чтобы получить максимально гладкую границу между разными компонентами изображения сверхвысокого разрешения и разными сегментами изображения сверхвысокого разрешения.In one embodiment, the aforementioned combination of all components of the ultra-high resolution image and the aforementioned combination of all segments of the ultra-high resolution image are performed directly by connecting the components of the super resolution image closely to each other and connecting the segments of the super resolution image closely to each other. In one other embodiment, said combining of all ultra-high resolution image components and said combining of all ultra-high resolution image segments are accomplished by using overlapping and weighting super-resolution image components and super-resolution image segments. In yet another embodiment, the aforementioned combination of all components of an ultra-high resolution image and the aforementioned combination of all segments of an ultra-high resolution image are performed using graph cut methods to obtain the smoothest border between different components of an ultra-high resolution image and different segments of an ultra-high resolution image.
Согласно второму аспекту, предложена система обработки изображений. Система содержит приемник, средство масштабирования, блок сегментирования, блок извлечения признаков, блок хранения, блок сопоставления признаков, блок текстурирования и блок отображения. Приемник выполнен с возможностью приема и декодирования по меньшей мере одного входного изображения. Средство масштабирования выполнено с возможностью масштабирования входного изображения для формирования масштабированного изображения. Блок сегментирования выполнен с возможностью сегментирования масштабированного изображения на неперекрывающиеся сегменты изображения. Каждый сегмент изображения состоит из множества компонентов изображения. Блок извлечения признаков выполнен с возможностью вычисления для каждого сегмента изображения вектора признаков, содержащего признаки текстуры и цвета. Блок хранения выполнен с возможностью хранения базы данных, состоящей из поля векторов признаков, включающего в себя множество разных векторов признаков, поля низкочастотных компонентов изображения, включающего в себя множество разных подбаз данных с низкочастотными компонентами изображения, и поля высокочастотных компонентов изображения, включающего в себя множество разных подбаз данных с высокочастотными компонентами изображения. Каждый вектор признаков из множества разных векторов признаков связан с одной подбазой данных с низкочастотными компонентами изображения из множества разных подбаз данных с низкочастотными компонентами изображения, которая, в свою очередь, связана с соответствующей одной подбазой данных с высокочастотными компонентами изображения из множества разных подбаз данных с высокочастотными компонентами изображения. Блок сопоставления признаков выполнен с возможностью осуществления доступа к базе данных и определения вектора признаков в поле векторов признаков в базе данных, который наиболее похож на вычисленный вектор признаков сегмента изображения, и затем выбора подбазы данных с низкочастотными компонентами изображения и подбазы данных с высокочастотными компонентами изображения, которые обе соответствуют определенному вектору признаков. Блок текстурирования выполнен с возможностью, для каждого компонента изображения, принадлежащего сегменту изображения: определения в выбранной подбазе данных с низкочастотными компонентами изображения низкочастотного компонента изображения, наиболее похожего на компонент изображения сегмента изображения; извлечения из выбранной подбазы данных с высокочастотными компонентами изображения высокочастотного компонента изображения, соответствующего определенному низкочастотному компоненту изображения; добавления извлеченного высокочастотного компонента изображения к компоненту изображения внутри сегмента изображения для формирования компонента изображения сверхвысокого разрешения; объединения всех компонентов изображения сверхвысокого разрешения для формирования сегмента изображения сверхвысокого разрешения; и объединения всех сегментов изображения сверхвысокого разрешения для формирования выходного изображения, имеющего более высокое разрешение, чем входное изображение. Блок отображения выполнен с возможностью отображения выходного изображения.According to a second aspect, an image processing system is provided. The system comprises a receiver, a scaler, a segmentation unit, a feature extraction unit, a storage unit, a feature matching unit, a texturing unit, and a display unit. The receiver is configured to receive and decode at least one input image. The scaling tool is configured to scale the input image to form a scaled image. The segmentation unit is configured to segment the scaled image into non-overlapping image segments. Each image segment consists of many image components. The feature extraction unit is configured to calculate, for each image segment, a feature vector containing features of texture and color. The storage unit is configured to store a database consisting of a field of feature vectors, including many different feature vectors, a field of low-frequency image components, including many different data bases with low-frequency image components, and a field of high-frequency image components, including many different data bases with high-frequency image components. Each feature vector from a plurality of different feature vectors is associated with one data subbase with low-frequency image components from a plurality of different data subbases with low-frequency image components, which, in turn, is associated with a corresponding single data subbase with high-frequency image components from a plurality of different data subbases image components. The feature matching unit is configured to access the database and determine the feature vector in the feature vector field in the database, which is most similar to the calculated feature vector of the image segment, and then select a data sub-base with low-frequency image components and a data sub-base with high-frequency image components, which both correspond to a specific feature vector. The texturing unit is configured to, for each image component belonging to the image segment: determine, in the selected data base, the low-frequency image components of the low-frequency image component most similar to the image component of the image segment; extracting from the selected data base with high-frequency image components a high-frequency image component corresponding to a specific low-frequency image component; adding the extracted high-frequency image component to the image component within the image segment to form an ultra-high resolution image component; combining all the components of an ultra-high resolution image to form an ultra-high resolution image segment; and combining all segments of the ultra-high resolution image to form an output image having a higher resolution than the input image. The display unit is configured to display the output image.
Система может быть установлена в телевизорах, DVD/BD-плеерах, телевизионных приставках или других бытовых электронных устройствах, выполняющих повышающее масштабирование изображений.The system can be installed in televisions, DVD / BD players, set-top boxes, or other consumer electronic devices that upscale images.
Другие признаки и преимущества настоящего изобретения будут очевидны после прочтения нижеследующего подробного описания и просмотра сопроводительных чертежей.Other features and advantages of the present invention will become apparent after reading the following detailed description and viewing the accompanying drawings.
Краткое описание чертежейBrief Description of the Drawings
Сущность настоящего изобретения поясняется ниже со ссылкой на сопроводительные чертежи, на которых:The essence of the present invention is explained below with reference to the accompanying drawings, in which:
Фиг. 1 показывает процесс обработки в устройстве отображения сверхвысокой четкости (UHD) согласно уровню техники;FIG. 1 shows a processing process in an ultra high definition display (UHD) device according to the prior art;
Фиг. 2 показывает метод обеспечения сверхвысокого разрешения на основе обучения в процессе видеообработки в устройстве отображения сверхвысокой четкости (UHD) согласно уровню техники;FIG. 2 shows a method for providing ultra-high resolution based on training during video processing in an ultra-high definition display (UHD) device according to the prior art;
Фиг. 3 показывает общую схему системы формирования изображений сверхвысокого разрешения согласно примерному варианту осуществления настоящего изобретения;FIG. 3 shows a general diagram of an ultra-high resolution imaging system according to an exemplary embodiment of the present invention;
Фиг. 4 показывает схему процесса заполнения;FIG. 4 shows a diagram of a filling process;
Фиг. 5 показывает другую схему преобразования заполнения;FIG. 5 shows another padding conversion scheme;
Фиг. 6А-6В показывают сегментирование изображения: Фиг. 6А иллюстрирует исходное изображение, а Фиг. 6В иллюстрирует карту сегментации;FIG. 6A-6B show image segmentation: FIG. 6A illustrates the original image, and FIG. 6B illustrates a segmentation map;
Фиг. 7 показывает структуру обучаемой базы данных;FIG. 7 shows the structure of the learning database;
Фиг. 8 показывает этап обучения из процесса обучения на Фиг. 4;FIG. 8 shows a learning step from the learning process of FIG. four;
Фиг. 9 показывает подэтапы составления базы данных с компонентами;FIG. 9 shows the sub-steps of compiling a database with components;
Фиг. 10А-10F показывают компоненты, извлеченные из изображения (Фиг. 10А, 10С, 10Е) и повернутые копии компонентов, обеспечивающие максимальную симметрию (Фиг. 10В, 10D, 10F);FIG. 10A-10F show components extracted from the image (FIG. 10A, 10C, 10E) and rotated copies of the components providing maximum symmetry (FIG. 10B, 10D, 10F);
Фиг. 11А-11C показывают разные метрики симметрии для конкретного направления;FIG. 11A-11C show different symmetry metrics for a particular direction;
Фиг. 12 показывает иерархическое дерево для хранения базы данных с текстурами;FIG. 12 shows a hierarchical tree for storing a texture database;
Фиг. 13 показывает алгоритм построения иерархического дерева;FIG. 13 shows an algorithm for constructing a hierarchical tree;
Фиг. 14 показывает зависимость числа компонентов от числа выполняемых операций поиска;FIG. 14 shows the dependence of the number of components on the number of search operations performed;
Фиг. 15 показывает алгоритм обеспечения сверхвысокого разрешения, реализуемый системой с Фиг. 3;FIG. 15 shows an ultra-high resolution algorithm implemented by the system of FIG. 3;
Фиг. 16 поясняет этап формирования текстур в алгоритме обеспечения сверхвысокого разрешения с Фиг. 15;FIG. 16 illustrates the step of texture generation in the ultra-high resolution algorithm of FIG. fifteen;
Фиг. 17 поясняет этап определения местоположений центров компонентов;FIG. 17 illustrates the step of locating component centers;
Фиг. 18 поясняет этап выбора соответствующих высокочастотных компонентов из базы данных;FIG. 18 illustrates the step of selecting the appropriate high frequency components from the database;
Фиг. 19 показывает блок-схему процесса сегментирования изображения;FIG. 19 shows a flowchart of an image segmentation process;
Фиг. 20 показывает пример грубого сегментирования;FIG. 20 shows an example of coarse segmentation;
Фиг. 21А-21В показывают схему моделирования граничных элементов;FIG. 21A-21B show a boundary element modeling circuit;
Фиг. 22 показывает алгоритм динамического программирования;FIG. 22 shows a dynamic programming algorithm;
Фиг. 23 показывает размещение узлов в шахматной сетке;FIG. 23 shows the placement of nodes in a checkerboard pattern;
Фиг. 24 показывает карту интереса, оцененную с использованием дескриптора SUSAN;FIG. 24 shows a map of interest estimated using a SUSAN descriptor;
Фиг. 25 показывает модифицированную шахматную сетку; иFIG. 25 shows a modified checkerboard; and
Фиг. 26 показывает исходные и смещенные узлы сетки.FIG. 26 shows the source and offset grid nodes.
Осуществление изобретенияThe implementation of the invention
Различные варианты осуществления настоящего изобретения описаны далее подробнее со ссылкой на сопроводительные чертежи. Однако настоящее изобретение может быть реализовано во многих других формах и не должно пониматься как ограниченное какой-либо конкретной структурой или функцией, представленной в нижеследующем описании. В отличие от этого, эти варианты осуществления предоставлены для того, чтобы сделать описание настоящего изобретения подробным и полным. Исходя из настоящего описания, специалистам в данной области техники будет очевидно, что объем настоящего изобретения охватывает любой вариант осуществления настоящего изобретения, который раскрыт в данном документе, вне зависимости от того, реализован ли этот вариант осуществления независимо или совместно с любым другим вариантом осуществления настоящего изобретения. Например, способ и система, раскрытые в данном документе, могут быть реализованы на практике посредством использования любого числа вариантов осуществления, обеспеченных в данном документе. Кроме того, должно быть понятно, что любой вариант осуществления настоящего изобретения может быть реализован с использованием одного или более элементов, представленных в приложенной формуле изобретения.Various embodiments of the present invention are described in more detail below with reference to the accompanying drawings. However, the present invention can be implemented in many other forms and should not be construed as being limited by any particular structure or function as described in the following description. In contrast, these embodiments are provided in order to make the description of the present invention detailed and complete. Based on the present description, it will be apparent to those skilled in the art that the scope of the present invention encompasses any embodiment of the present invention that is disclosed herein, regardless of whether this embodiment is implemented independently or in conjunction with any other embodiment of the present invention. . For example, the method and system disclosed herein may be practiced by using any number of embodiments provided herein. In addition, it should be understood that any embodiment of the present invention can be implemented using one or more of the elements presented in the attached claims.
Слово «примерный» используется в данном документе в значении «используемый в качестве примера или иллюстрации». Любой вариант осуществления, описанный здесь как «примерный», необязательно должен восприниматься как предпочтительный или имеющий преимущество над другими вариантами осуществления.The word “exemplary” is used herein to mean “used as an example or illustration”. Any embodiment described herein as “exemplary” need not be construed as preferred or having an advantage over other embodiments.
Изображение сверхвысокого разрешения представляет собой изображение, которое имеет более высокое разрешение (больше пикселей) и/или деталей изображения, чем изображение низкого разрешения, используемое для построения изображения сверхвысокого разрешения. Настоящее изобретение использует вышеупомянутый метод, основанный на обучении, чтобы формировать дополнительные текстуры для подвергнутых повышающему масштабированию изображений.An ultra-high resolution image is an image that has a higher resolution (more pixels) and / or image details than the low resolution image used to construct the ultra-high resolution image. The present invention uses the aforementioned training-based method to form additional textures for upscaled images.
Фиг. 3 показывает систему обработки изображений, которая обеспечивает возможность формирования изображений сверхвысокого разрешения согласно одному примерному варианту осуществления настоящего изобретения. Конструктивные элементы системы и их функционирование поясняются подробнее ниже.FIG. 3 shows an image processing system that enables ultra-high resolution imaging according to one exemplary embodiment of the present invention. The structural elements of the system and their functioning are explained in more detail below.
Приемник 3101 принимает и декодирует видеосигнал, представляющий собой одно или более входных изображений или кадров изображения. Для простоты предполагается, что видеосигнал состоит из одного изображения. Принятое изображение затем поступает в средство 3102 масштабирования. Средство 3102 масштабирования преобразовывает принятое изображение в масштабированное изображение, которое далее сегментируется в блоке 3103 сегментирования на неперекрывающиеся сегменты изображения. Для каждого сегмента изображения в блоке 3104 извлечения признаков вычисляется вектор признаков, содержащий признаки текстуры и цвета. Блок 3104 извлечения признаков соединен с блоком 3105 сопоставления признаков, выполненным с возможностью определения вектора признаков, наиболее похожего на вычисленный вектор признаков в базе 3106 данных. База 3106 данных может храниться в любом подходящем энергозависимом или энергонезависимом запоминающем устройстве (не показано), как должно быть очевидно специалистам в данной области техники. База 3106 данных состоит из следующих трех основных полей, но не ограничена ими: поля векторов признаков, поля низкочастотных компонентов изображения и поля высокочастотных компонентов изображения. Поле векторов признаков включает в себя множество разных векторов признаков. Поле низкочастотных компонентов изображения включает в себя множество разных подбаз данных с низкочастотными компонентами изображения. Поле высокочастотных компонентов изображения включает в себя множество разных подбаз данных с высокочастотными компонентами изображения. Каждый вектор признаков из множества разных векторов признаков связан с одной подбазой данных с низкочастотными компонентами изображения из множества разных подбаз данных с низкочастотными компонентами изображения, которая, в свою очередь, связана с соответствующей подбазой данных с высокочастотными компонентами изображения из множества разных подбаз данных с высокочастотными компонентами изображения. Таким образом, блок 3105 сопоставления признаков выполнен с возможностью определения наиболее похожего вектора признаков в поле векторов признаков в базе 3106 данных, а затем выбора подбазы данных с низкочастотными компонентами изображения и подбазы данных с высокочастотными компонентами изображения, которые обе соответствуют определенному вектору признаков. Как показано на Фиг. 3, вектор признаков, подбаза данных с низкочастотными компонентами изображения и подбаза данных с высокочастотными компонентами изображения, которые могут быть подходящими для заданного сегмента изображения, выделены с использованием двух прямоугольников 3107 и 3108, но блок 3105 сопоставления признаков должен выбрать только один из них для дальнейшей обработки. После этого блок 3109 текстурирования определяет для каждого компонента изображения, принадлежащего сегменту изображения, в выбранной подбазе данных с низкочастотными компонентами изображения низкочастотный компонент изображения, наиболее похожий на компонент изображения в сегменте изображения. Затем блок 3109 текстурирования извлекает из выбранной подбазы данных с высокочастотными компонентами изображения высокочастотный компонент изображения, соответствующий определенному низкочастотному компоненту изображения, и добавляет извлеченный высокочастотный компонент изображения к компоненту изображения внутри сегмента изображения для формирования компонента изображения сверхвысокого разрешения. Далее блок 3109 текстурирования объединяет все компоненты изображения сверхвысокого разрешения для формирования сегмента изображения сверхвысокого разрешения, а потом объединяет все сегменты изображения сверхвысокого разрешения для формирования выходного изображения, имеющего более высокое разрешение, чем входное изображение. Блок 3110 отображения используется для отображения выходного изображения. Блок 3110 отображения может быть любым устройством отображения, поддерживающим стандарт сверхвысокой четкости (UHD).A
В некоторых вариантах осуществления упомянутое объединение компонентов изображения сверхвысокого разрешения и/или сегментов изображения сверхвысокого разрешения может выполняться непосредственно за счет соединения вплотную друг к другу компонентов изображения сверхвысокого разрешения и соединения вплотную друг к другу сегментов изображения сверхвысокого разрешения. В некоторых других вариантах осуществления можно объединять компоненты изображения сверхвысокого разрешения и/или сегменты изображения сверхвысокого разрешения за счет использования перекрытия и взвешивания компонентов изображения сверхвысокого разрешения и сегментов изображения сверхвысокого разрешения или за счет использования способов разреза графов, чтобы получить максимально гладкую границу между разными компонентами изображения сверхвысокого разрешения и разными сегментами изображения сверхвысокого разрешения.In some embodiments, the aforementioned combination of super-high resolution image components and / or super-high resolution image segments can be accomplished directly by connecting the super-high resolution image components together and connecting the super-high-resolution image segments adjacent to each other. In some other embodiments, it is possible to combine ultra-high resolution image components and / or ultra-high resolution image segments by using overlapping and weighting ultra-high resolution image components and ultra-high resolution image segments, or by using graph cut methods to obtain the smoothest border between different image components ultra-high resolution and different segments of the ultra-high resolution image.
Следует отметить, что все вышеупомянутые конструктивные элементы системы, за исключением приемника, блока хранения и блока отображения, могут быть реализованы в виде одного или более процессоров, таких как процессоры общего назначения и/или процессоры специального назначения, или в виде одной или более программируемых вентильных матриц, прикладных интегральных схем, или в виде любой комбинации вышеозвученного. Упомянутые процессоры, программируемые вентильные матрицы и/или прикладные интегральные схемы могут быть объединены внутри одной электронно-вычислительной машины или распределены среди множества электронно-вычислительных машин, соединенных между собой с помощью проводной или беспроводной сети.It should be noted that all the above-mentioned structural elements of the system, with the exception of the receiver, the storage unit and the display unit, can be implemented as one or more processors, such as general-purpose processors and / or special-purpose processors, or in the form of one or more programmable gate matrices, applied integrated circuits, or in the form of any combination of the above. Mentioned processors, programmable gate arrays and / or application integrated circuits can be combined inside one electronic computer or distributed among many electronic computers interconnected via a wired or wireless network.
Для реализации системы с Фиг. 3 необходимо задать алгоритм заполнения базы 3106 данных (т.е. обучаемой базы данных), который проиллюстрирован на Фиг. 4. Алгоритм состоит из следующих этапов: преобразование S401 обучающего изображения из RGB (аббревиатура для «Red, Green, Blue») в YCbCr (аббревиатура для «Luminance (Y), Chroma: Blue (Cb), Chroma: Red (Cr)») или другое цветовое пространство, наподобие YUV (аббревиатура для «Luminance (Y) -Bandwidth (U) -Chrominance (V)»), HSV (аббревиатура для «Hue, Saturation, Value»), Lab (также известное как CIELab, где «L» представляет собой яркость, «а» - ось красно-зеленого цвета, и «b» - ось сине-желтого цвета) и т.д., которое позволяет предоставлять S402 данные о яркости и цветности в двух раздельных каналах; понижающее масштабирование S403 канала яркости K раз; повышающее масштабирование S404 подвергнутого понижающему масштабированию канала К раз и получение S406 низкочастотного изображения; вычитание S405 низкочастотного изображения из исходного канала яркости; получение S407 высокочастотного изображения; обучение S409; и получение S410 обучаемой базы данных с текстурами. Обучающее изображение также подлежит сегментированию S408, после которого каждый сегмент изображения для обучающего изображения используется для упомянутого обучения S409. Результат упомянутого обучения каждого сегмента изображения сохраняется S410 в базе данных.To implement the system of FIG. 3, it is necessary to define an algorithm for populating the database 3106 (i.e., the learning database), which is illustrated in FIG. 4. The algorithm consists of the following steps: converting the S401 training image from RGB (abbreviation for "Red, Green, Blue") to YCbCr (abbreviation for "Luminance (Y), Chroma: Blue (Cb), Chroma: Red (Cr)" ) or other color space like YUV (abbreviation for “Luminance (Y) -Bandwidth (U) -Chrominance (V)”), HSV (abbreviation for “Hue, Saturation, Value”), Lab (also known as CIELab, where “L” represents luminance, “a” is the red-green axis, and “b” is the blue-yellow axis), etc., which allows the S402 to provide luminance and color data in two separate channels; downscaling S403 of the luminance channel K times; upscaling S404 of the downscaled channel K times and obtaining a low-frequency image S406; subtracting S405 of the low-frequency image from the original luminance channel; obtaining S407 high-frequency image; Training S409; and getting the S410 textured learning database. The training image is also subject to segmentation S408, after which each image segment for the training image is used for said training S409. The result of the said training for each image segment is stored by S410 in a database.
Фиг. 5 подробно поясняет алгоритм создания изображения сверхвысокого разрешения, выполняемый системой с Фиг. 3, в котором высокочастотный компонент изображения добавляется только к каналу яркости. Он состоит из следующих этапов: обеспечение S501 входного изображения; повышающее масштабирование S502 входного изображения К раз; сегментирование S503 подвергнутого повышающему масштабированию изображения на сегменты изображения; преобразование S504 каждого сегмента изображения из подвергнутого повышающему масштабированию изображения из RGB в YCbCr или другое цветовое пространство, наподобие YUV, HSV, LaB и т.д., которое позволяет предоставлять данные о яркости и цветности в двух раздельных каналах, из которых первый канал Y яркости используется для формирования S506 и добавления S507 текстур (предоставляемых S505 из базы данных с текстурами) к каждому сегменту изображения из подвергнутого повышающему масштабированию изображения, в то время как второй канал цветности, состоящий из двух подканалов Cb, Cr, «минует» упомянутые этапы S506 и S507; преобразование S508 каждого сегмента изображения с использованием модифицированного канала яркости и немодифицированного канала цветности в цветовое пространство RGB; и получение S509 выходного изображения.FIG. 5 illustrates in detail the ultra-high resolution imaging algorithm performed by the system of FIG. 3, in which the high-frequency component of the image is added only to the brightness channel. It consists of the following steps: providing S501 input image; upscaling S502 of the input image K times; segmenting the S503 upscaled image into image segments; converting S504 of each image segment from an upscaled image from RGB to YCbCr or another color space, such as YUV, HSV, LaB, etc., which allows you to provide brightness and color data in two separate channels, of which the first channel is Y brightness used to form S506 and add S507 textures (provided by S505 from the texture database) to each image segment from upscaled image, while the second color channel, consisting of two subchannels Cb, Cr, «pass» mentioned steps S506 and S507; converting S508 of each image segment using a modified luminance channel and an unmodified color channel to the RGB color space; and obtaining S509 output image.
В качестве примера Фиг. 6А иллюстрирует исходное изображение, а Фиг. 6В иллюстрирует карту сегментирования, полученную после упомянутого этапа S408 или упомянутого этапа S503. Следует отметить, что разумно использовать один и тот же алгоритм сегментирования на обоих этапах S408 и S503.As an example, FIG. 6A illustrates the original image, and FIG. 6B illustrates a segmentation map obtained after said step S408 or said step S503. It should be noted that it is reasonable to use the same segmentation algorithm in both steps S408 and S503.
Таким образом, обучаемая база данных создается с учетом низкочастотного изображения, высокочастотного изображения и карты сегментирования (Фиг. 7). Обучаемая база данных состоит из следующих полей: поле идентификаторов ID, поле векторов признаков, поле баз данных с текстурами и поле метаданных. Вектор признаков может содержать признаки текстуры и цвета для заданного сегмента изображения. База данных с текстурами представляет собой структуру данных, содержащую пары низкочастотных и соответствующих высокочастотных компонентов изображения. В некоторых вариантах осуществления база данных с текстурами может состоять из двух подбаз данных, т.е. подбазы данных с низкочастотными компонентами изображения и подбазы данных с высокочастотными компонентами изображения. Метаданные могут содержать любые дополнительные данные, например предпочтительный коэффициент усиления, предпочтительные параметры интерполирования или подробные алгоритмы улучшения, или контекстную информацию. Метаданные могут быть сформированы автоматически или могут быть введены вручную системным разработчиком.Thus, the training database is created taking into account the low-frequency image, the high-frequency image and the segmentation map (Fig. 7). The training database consists of the following fields: ID field, feature vector field, database field with textures, and metadata field. A feature vector may contain texture features and colors for a given image segment. A texture database is a data structure containing pairs of low-frequency and corresponding high-frequency image components. In some embodiments, a texture database may consist of two sub-databases, i.e. data bases with low-frequency image components; and data bases with high-frequency image components. The metadata may contain any additional data, for example, a preferred gain, preferred interpolation parameters or detailed improvement algorithms, or contextual information. Metadata can be generated automatically or can be entered manually by a system developer.
Упомянутый этап S409 (т.е. упомянутый этап обучения из процесса обучения на Фиг. 4) содержит этапы, показанные на блок-схеме на Фиг. 8. В частности, он состоит из следующих этапов: для заданного исходного изображения, низкочастотного компонента, высокочастотного компонента и карты сегментирования выбор S801 N сегментов, подходящих для обучения текстур, и установка счетчика сегмента I=1; проверка S802, выполняется ли I>N: если да, то окончание процесса обучения, в противном случае - продолжение процесса обучения; вычисление S803 признаков сегмента для I-го сегмента; сбор S804 базы данных с компонентами для I-го сегмента; сбор S805 метаданных для I-го сегмента (это необязательный этап); добавление S806 компонента в обучаемую базу данных для I-го сегмента; выполнение приращения S807 счетчика сегмента I. Результат этапа обучения представляет собой обучаемую базу данных (S808).Said step S409 (i.e., said learning step from the learning process in FIG. 4) comprises the steps shown in the flowchart of FIG. 8. In particular, it consists of the following steps: for a given source image, a low-frequency component, a high-frequency component, and a segmentation map, select S801 N segments suitable for texture training and set the segment counter I = 1; check S802, whether I> N: if yes, then the end of the learning process, otherwise - the continuation of the learning process; calculating S803 segment attributes for the 1st segment; collecting S804 databases with components for the I-th segment; collecting S805 metadata for segment I (this is an optional step); adding S806 component to the training database for the I-th segment; performing increment S807 of the counter of segment I. The result of the learning step is a learning database (S808).
Блок-схема упомянутого этапа S804 для заданного сегмента показана на Фиг. 9. Она состоит из следующих подэтапов: выбор S901 пар компонентов из низкочастотных и высокочастотных компонентов внутри I-го сегмента; выбор S902 угла ϑ ориентации для каждой пары и ее преобразование; нормировка S903 пар; вычисление S904 обучаемой базы данных из набора пар. Основная цель упомянутого этапа S804 заключается в обеспечении инвариантности относительно вращения, и упомянутый подэтап S903 допускает поворот на некоторый «лучший» угол, который описывается как угол, обеспечивающий максимальную симметрию объекта изображения относительно вертикальной оси, проходящей через центр компонента изображения. Фиг. 10А-F показывают компоненты изображения, извлеченные из изображения (Фиг. 10А, 10С, 10Е), и повернутые копии компонентов изображений, обеспечивающие максимальную симметрию (Фиг. 10В, 10D, 10F). Метрика симметрии для конкретного направления определяется как сумма абсолютных разностей пикселей, лежащих по другую сторону от заданной оси (Фиг. 11А-11С). Упомянутое вычисление обучаемой базы данных из набора пар (подэтап S904) означает обеспечение структуры данных, позволяющей выполнять быстрый и эффективный поиск в базе данных. Это достигается через построение иерархического дерева (Фиг. 12).A block diagram of said step S804 for a given segment is shown in FIG. 9. It consists of the following sub-steps: selection of S901 pairs of components from low-frequency and high-frequency components within the I-th segment; selection S902 of the angle ϑ orientation for each pair and its transformation; normalization S903 pairs; calculating the S904 learning database from a set of pairs. The main purpose of the aforementioned step S804 is to ensure invariance with respect to rotation, and the aforementioned sub-step S903 allows rotation by some “best” angle, which is described as an angle that provides maximum symmetry of the image object relative to the vertical axis passing through the center of the image component. FIG. 10A-F show image components extracted from an image (FIG. 10A, 10C, 10E) and rotated copies of image components providing maximum symmetry (FIG. 10B, 10D, 10F). The symmetry metric for a particular direction is defined as the sum of the absolute differences of the pixels lying on the other side of the given axis (Fig. 11A-11C). Mentioned calculation of a learning database from a set of pairs (sub-step S904) means providing a data structure that allows quick and efficient database searches. This is achieved through the construction of a hierarchical tree (Fig. 12).
Алгоритм построения иерархического дерева поясняется на Фиг. 13. Он состоит из следующих этапов: нормировка S1301 низкочастотных компонентов; установка S1302 текущего уровня дерева L=1; применение S1303 алгоритма обучения методом k-средних к низкочастотным компонентам изображения для определенных k центральных компонентов изображения; отнесение S1304 каждой пары низкочастотных и высокочастотных компонентов изображения к одному из k классов; увеличение S1305 текущего уровня дерева L; если текущий уровень дерева превышает S1306 максимально допустимый уровень дерева, завершение процесса построения, в противном случае - продолжение процесса построения; для каждого из k классов построение S1307 поддерева. Результат этих этапов представляет собой базу данных (S1308) в виде иерархически разветвленного уровня. Нормировка низкочастотных компонентов изображения (S1301) состоит из вычитания среднего значения и стандартного отклонения. Число компонентов k может быть выбрано с помощью Фиг. 14, которая показывает зависимость логарифма размера базы данных (т.е. числа компонентов) от числа выполняемых операций поиска для числа компонентов=2 (линия 1401), 3 (линия 1402) и 5 (линия 1403).The hierarchical tree construction algorithm is illustrated in FIG. 13. It consists of the following steps: normalization of S1301 low-frequency components; setting S1302 of the current tree level L = 1; applying S1303 a k-means learning algorithm to low-frequency image components for specific k central image components; assigning S1304 of each pair of low-frequency and high-frequency image components to one of k classes; an increase in S1305 of the current level of the tree L; if the current tree level exceeds S1306 the maximum allowable tree level, completion of the construction process, otherwise - the continuation of the construction process; for each of k classes the construction of S1307 subtree. The result of these steps is a database (S1308) in the form of a hierarchically branched level. The normalization of the low-frequency image components (S1301) consists of subtracting the average value and standard deviation. The number of components k can be selected using FIG. 14, which shows the logarithm of the database size (i.e., the number of components) versus the number of search operations performed for the number of components = 2 (line 1401), 3 (line 1402), and 5 (line 1403).
Фиг. 15 показывает блок-схему алгоритма обеспечения сверхвысокого разрешения, реализуемого системой с Фиг. 3. Он состоит из следующих этапов: установка счетчика сегментов I=0 для заданного низкочастотного компонента, карты сегментирования и базы данных с текстурами; проверка S1502, является ли I больше, чем число определенных сегментов N; если да, то применение S1508 коэффициента глобального усиления и завершение процесса, в противном случае - продолжение процесса и вычисление S1503 признаков для сегмента I; нахождение S1504 в базе данных с текстурами компонента изображения с признаками, наиболее похожими на признаки, извлеченные для сегмента I, и вычисление расстояния D между признаками сегмента I и наиболее похожим компонентом изображения в базе данных; выполнение приращения S1505 счетчика сегмента I; проверка S1506, меньше ли расстояние D, чем заранее заданное пороговое значение; если да, то продолжение процесса и формирование S1507 текстур для сегмента I-1, и если нет, то возврат к S1502; и обеспечение S1509 высокочастотного компонента.FIG. 15 shows a block diagram of an ultra-high resolution algorithm implemented by the system of FIG. 3. It consists of the following steps: setting the segment counter I = 0 for a given low-frequency component, a segmentation map, and a database with textures; checking S1502 whether I is greater than the number of determined segments N; if so, then applying S1508 of the global gain and terminating the process, otherwise, continuing the process and calculating S1503 features for segment I; finding S1504 in the database with the textures of the image component with features that are most similar to the features extracted for segment I, and calculating the distance D between the features of segment I and the most similar image component in the database; performing an increment S1505 of the counter of segment I; checking S1506 whether the distance D is less than a predetermined threshold value; if yes, then continue the process and create S1507 textures for segment I-1, and if not, then return to S1502; and providing the S1509 high frequency component.
Блок-схема упомянутого этапа S1507 (т.е. упомянутого формирования текстур в алгоритме обеспечения сверхвысокого разрешения) для заданного сегмента показана на Фиг. 16. Она состоит из следующих этапов: определение S1601 местоположений центров компонентов внутри I-го сегмента; выбор S1602 соответствующих компонентов для дальнейшей обработки; выбор S1603 соответствующих высокочастотных компонентов из базы данных; определение S1604 коэффициента усиления для каждого компонента; и формирование S1605 уровня текстур.A block diagram of said step S1507 (i.e., said texture generation in an ultra-high resolution algorithm) for a given segment is shown in FIG. 16. It consists of the following steps: S1601 determining the location of the centers of the components inside the I-th segment; selection of S1602 appropriate components for further processing; selecting S1603 corresponding high-frequency components from the database; determining S1604 gain for each component; and the formation of S1605 texture level.
Блок-схема упомянутого этапа S1601 (т.е. упомянутого определения местоположений центров компонентов) описана на Фиг. 17. Она состоит из следующих подэтапов: вычисление S1701 карты интереса; размещение S1702 центров компонентов в узлах однородной прямоугольной или шахматной сетки; перемещение S1703 каждого центра компонента в направлении ближайшего локального экстремума на карте интереса. Результатом упомянутого этапа S1601 является модифицированная сетка из центров блоков.A block diagram of said step S1601 (i.e., said component center location determination) is described in FIG. 17. It consists of the following sub-steps: calculating an interest map S1701; placement of component centers S1702 in nodes of a homogeneous rectangular or checkerboard grid; moving S1703 of each component center in the direction of the nearest local extremum on the map of interest. The result of the aforementioned step S1601 is a modified grid of block centers.
Упомянутый этап S1602 (т.е. упомянутый выбор соответствующих компонентов (изображения) для дальнейшей обработки) может состоять из следующих подэтапов: выбор только компонентов, в которых все пиксели принадлежат одному и тому же сегменту изображения; выбор только компонентов, в которых стандартное отклонение внутри компонента изображения является достаточно большим; выбор только компонентов изображения, которые не содержат четких границ; или другие процедуры для устранения артефактов.Said step S1602 (i.e., the said selection of appropriate components (images) for further processing) may consist of the following sub-steps: selecting only components in which all pixels belong to the same image segment; selection of only components in which the standard deviation inside the image component is large enough; selection of only image components that do not contain clear boundaries; or other procedures to eliminate artifacts.
Блок-схема упомянутого этапа S1603 (т.е. упомянутого выбора соответствующих высокочастотных компонентов из базы данных) описана подробно на Фиг. 18. Она состоит из следующих подэтапов: выбор S1801 компонентов из входного изображения, которое подлежит обработке; выбор S1802 угла ϑ ориентации для каждого компонента и его преобразование; вычисление S1803 коэффициента нормировки K для каждого низкочастотного компонента и нормировка компонента; выбор S1804 высокочастотного компонента из базы данных для каждого низкочастотного компонента; поворот S1805 каждого высокочастотного компонента на угол -ϑ; усиление S1806 каждого высокочастотного компонента на коэффициент нормировки К. Результатом упомянутого этапа S1603 является набор высокочастотных компонентов (или блоков изображения), как показано на S1807. Упомянутый выбор угла ϑ ориентации на S1802 выполняется таким же образом, как на этапе обучения (т.е. этапе S409), т.е. ϑ представляет собой угол, обеспечивающий максимальную симметрию компонента изображения относительно вертикальной оси, проходящей через центр компонента изображения (см. Фиг. 10A-10F, 11A-11C). Коэффициент нормировки К может быть взят равным стандартному отклонению низкочастотного компонента.The block diagram of said step S1603 (i.e., said selection of respective high frequency components from the database) is described in detail in FIG. 18. It consists of the following sub-steps: selection of S1801 components from the input image to be processed; selection of the angle угла orientation S1802 for each component and its transformation; calculating S1803 normalization coefficient K for each low-frequency component and normalizing the component; selecting S1804 a high-frequency component from the database for each low-frequency component; rotation S1805 of each high-frequency component by an angle -ϑ; amplification S1806 of each high-frequency component by a normalization factor K. The result of the aforementioned step S1603 is a set of high-frequency components (or image blocks), as shown in S1807. The mentioned selection of the orientation angle ϑ in S1802 is performed in the same manner as in the training step (i.e., step S409), i.e. ϑ is the angle that provides the maximum symmetry of the image component relative to the vertical axis passing through the center of the image component (see Fig. 10A-10F, 11A-11C). The normalization coefficient K can be taken equal to the standard deviation of the low-frequency component.
Упомянутое определение S1604 коэффициента усиления для каждого компонента может состоять из следующих подэтапов: выполнение усиления высокочастотного компонента пропорционально стандартному отклонению соответствующего низкочастотного компонента, пропорционально разности минимального и максимального значений соответствующего низкочастотного компонента или с использованием некоторой другой зависимости параметров соответствующего низкочастотного компонента. Тип зависимости может быть индивидуальным для сегментов и описываться метаданными о соответствующем компоненте из базы данных.The aforementioned determination of the gain S1604 for each component may consist of the following sub-steps: the amplification of the high-frequency component is proportional to the standard deviation of the corresponding low-frequency component, proportional to the difference between the minimum and maximum values of the corresponding low-frequency component, or using some other dependence of the parameters of the corresponding low-frequency component. The type of dependency can be individual for segments and described by metadata about the corresponding component from the database.
Упомянутое формирование S1605 уровня текстур может состоять из следующих подэтапов: перезапись перекрывающихся пар высокочастотных компонентов, выбор пикселей из высокочастотных компонентов с большими приоритетами, смешение пикселей из соседних перекрывающихся высокочастотных компонентов, или выполняться с использованием некоторых других средств, например сшивка на основании динамического программирования или разрезов графа.Said texture level formation S1605 may consist of the following sub-steps: rewriting overlapping pairs of high-frequency components, selecting pixels from high-frequency components with high priorities, mixing pixels from neighboring overlapping high-frequency components, or performed using some other means, for example, stitching based on dynamic programming or sections Count.
Подалгоритм упомянутого сегментирования изображения (S408 или S503) проиллюстрирован на Фиг. 19. Входными данными подалгоритма является изображение 1901 с грубой исходной маской 1902 объекта. Подалгоритм имеет три основных этапа 1-3, позволяющих получать граничные элементы, наилучший контур граничных элементов и замкнутый контур вокруг объекта. Сначала с использованием карты 1903 границ в окрестности исходной границы 1904 объекта получается семейство граничных элементов 1905. Затем используется алгоритм динамического программирования (DPA) для вычисления оптимального пути 1906 через семейство граничных элементов. Замкнутый контур 1907 вокруг объекта получается с помощью метода активного «змеевидного» контура.The subalgorithm of said image segmentation (S408 or S503) is illustrated in FIG. 19. The input data of the subalgorithm is an
Изображение с грубой начальной сегментацией представлено на Фиг. 20.A rough initial segmentation image is shown in FIG. twenty.
Далее описываются подробнее вышеупомянутые этапы. Первый этап (этап 1) состоит из построения граничных элементов следующим образом.The following describes the above steps in more detail. The first stage (stage 1) consists of constructing the boundary elements as follows.
Пусть r представляет собой контур предварительной маски 
Граничные элементы представляют собой набор компонентов 
Каждая линия 
Второй этап (этап 2) состоит из нахождения оптимального пути, соединяющего граничные элементы. Вычисляется матрица подобия 
Далее определим весовую функцию в виде суммы трех компонентов: общее кардинальное число (число пикселей каждого граничного элемента), регулярность пути (близость соседних граничных элементов на пути) и число граничных элементов на пути:Next, we define the weight function in the form of the sum of three components: the total cardinal number (the number of pixels of each boundary element), the regularity of the path (the proximity of neighboring boundary elements on the path), and the number of boundary elements on the path:
Оптимальный путь 
Выбираются S2201 первый 
Сначала сфера 
На i-ом этапе алгоритма динамического программирования выбирается большая сфера 
Алгоритм динамического программирования останавливается, когда найден наилучший путь 
Третий этап (этап 3) состоит из получения границ сегментов. Его цель заключается в создании замкнутого контура из граничных элементов, выбранных из элементов оптимального пути 
Наилучший вариант осуществленияBest option exercise
В наилучшем варианте осуществления угол ϑ ориентации квантуется на 8 или 16 направлений. Поворот компонентов изображения выполняется с использованием билинейного интерполирования.In the best embodiment, the orientation angle ϑ is quantized into 8 or 16 directions. Image components are rotated using bilinear interpolation.
Исходные центры компонентов изображения размещаются в шахматной сетке (Фиг. 23). Для оценки карты интереса был применен дескриптор SUSAN (Фиг. 24) (который раскрыт, например, в документах: S.M. Smith and J.M. Brady (May 1997). "SUSAN - a new approach to low level image processing". International Journal of Computer Vision 23 (1): 45-78. doi:10.1023/A:1007963824710, и S.M. Smith and J.M. Brady (January 1997), "Method for digitally processing images to determine the position of edges and/or corners therein for guidance of unmanned vehicle", патенте UK 2272285 (патентообладатель: Министерство обороны Великобритании)). Модифицированная шахматная сетка, полученная с использованием величины обратной дескриптору SUSAN, показана на Фиг. 25-26.The source centers of the image components are placed in a checkerboard pattern (Fig. 23). To evaluate the map of interest, the SUSAN descriptor was used (Fig. 24) (which is disclosed, for example, in the documents: SM Smith and JM Brady (May 1997). "SUSAN - a new approach to low level image processing". International Journal of Computer Vision 23 (1): 45-78. Doi: 10.1023 / A: 1007963824710, and SM Smith and JM Brady (January 1997), "Method for digitally processing images to determine the position of edges and / or corners therein for guidance of unmanned vehicle ", patent UK 2272285 (patent holder: Department of Defense of Great Britain)). A modified checkerboard obtained using the inverse of the SUSAN descriptor is shown in FIG. 25-26.
Следует отметить, что точки, показанные на Фиг. 23, представляют собой узлы регулярной шахматной сетки, в то время как точки, показанные на Фиг. 25, представляют собой узлы модифицированной шахматной сетки (которая больше не является регулярной). В то же время узлы сетки, показанной на Фиг. 25, смещены относительно исходных узлов на Фиг. 23, чтобы приблизиться к ближайшему соседнему локальному максимуму дескриптора SUSAN, при условии, что максимум существует в ближайшей окрестности. Что касается Фиг. 26, стрелки указывают смещения между узлами регулярной сетки (показанной в виде светлых кружков) и узлами модифицированной сетки (показанной в виде темных кружков).It should be noted that the points shown in FIG. 23 are nodes of a regular checkerboard pattern, while the dots shown in FIG. 25 are nodes of a modified checkerboard (which is no longer regular). At the same time, the nodes of the grid shown in FIG. 25 are offset relative to the source nodes in FIG. 23 to approach the nearest neighboring local maximum of the SUSAN descriptor, provided that the maximum exists in the immediate vicinity. With reference to FIG. 26, arrows indicate offsets between the nodes of the regular grid (shown as light circles) and the nodes of the modified grid (shown as dark circles).
Для сохранения баз данных с текстурами были использованы деревья с 4-7 уровнями и компонентами k=3 на каждом уровне.To save the databases with textures, trees with 4-7 levels and components k = 3 at each level were used.
В случае, когда оставшиеся узлы содержат несколько соответствующих компонентов изображения, используется разложение на основные компоненты для формирования одного окончательного высокочастотного компонента изображения.In the case where the remaining nodes contain several corresponding image components, decomposition into main components is used to form one final high-frequency image component.
Для областей, не охваченных сегментами, присутствующими в базе данных с текстурами, предлагается использовать традиционные методы повышения резкости и усиления контуров.For areas not covered by segments present in the texture database, it is proposed to use traditional methods for sharpening and enhancing edges.
Признаки сегментов были следующими: средние значения каналов красного, зеленого и синего цвета, средние значения каналов оттенка и насыщенности; модифицированные признаки Харалика для зернистости и контрастности (см. документ Haralick R.M., ʺStatistical and structural approaches to textureʺ, Proc IEEE, 1979, 67(5):786-804), модифицированные признаки Тамура для зернистости, контрастности, направленности и нечеткости (см. документ Tamura H, Mori S, Yamawaki T., ʺTextural features corresponding to visual perceptionʺ, IEEE Trans Syst Man Cybernet. 1978, 8:460-473), модифицированные признаки Канни для зернистости (см. документ J. Canny, ʺA computational approach to edge detectionʺ, IEEE Transactions on Pattern Analysis and Machine Intelligence, 1986, vol. 8, no. 6, pp. 679-698), модифицированные признаки Амадасуна для зернистости и контрастности (см. документ Amadasun M., King R., ʺTextural features corresponding to textural propertiesʺ, IEEE Trans Syst Man Cybernet. 1989, 19(5):1264-1274) и признаки Ву для зернистости, контрастности, периодичности и нечеткости (см. документ Chung-Ming Wu,Yung-Chang Chen, ʺStatistical Feature Matrix for Texture Analysis. Graphical models and image processingʺ, 1992, Vol. 54, No. 5, September, pp. 407-419). Модификации были выполнены с тем, чтобы обеспечить вычисление этих признаков текстур только внутри заданного сегмента изображения. Расстояние между вектором признаков рассматриваемого сегмента изображения и наиболее похожего вектора признаков из базы данных было вычислено с использованием заранее заданных весов.The signs of the segments were as follows: average values of red, green, and blue channels, average values of hue and saturation channels; modified Haralik traits for graininess and contrast (see Haralick RM, ʺStatistical and structural approaches to textureʺ, Proc IEEE, 1979, 67 (5): 786-804), modified Tamur traits for graininess, contrast, directivity, and fuzziness (see Tamura H, Mori S, Yamawaki T., “Textural features corresponding to visual perception”, IEEE Trans Syst Man Cybernet. 1978, 8: 460-473), modified Canny traits for graininess (see J. Canny, ʺA computational approach to edge detectionʺ, IEEE Transactions on Pattern Analysis and Machine Intelligence, 1986, vol. 8, no. 6, pp. 679-698), modified Amadasun attributes for graininess and contrast (see Amadasun M., King R., ext Textural features corresponding to textural properties I, IEEE Trans Syst Man Cybernet. 1989, 19 (5): 1264-1274) and Wu signs for graininess, contrast, periodicity and fuzziness (see Chung- Ming Wu, Yung-Chang Chen, ʺStatistical Feature Matrix for Texture Analysis. Graphical models and image processingʺ, 1992, Vol. 54, No. 5, September, pp. 407-419). Modifications were made in order to ensure the calculation of these texture attributes only within a given image segment. The distance between the feature vector of the image segment in question and the most similar feature vector from the database was calculated using predetermined weights.
Оценка движения была использована для распространения текстур из предыдущего кадра в случае видеообработки.Motion estimation was used to propagate the textures from the previous frame in the case of video processing.
Промышленная применимостьIndustrial applicability
Предложенный способ применим к бытовым электронным устройствам, выполняющим повышающее масштабирование изображения, таким как телевизоры, DVD/BD-плееры и телевизионные приставки и т.д.The proposed method is applicable to household electronic devices that perform upscaling, such as televisions, DVD / BD players and set-top boxes, etc.
Хотя в данном документе были раскрыты примерные варианты осуществления настоящего изобретения, следует отметить, что в этих вариантах осуществления настоящего изобретения могут быть выполнены любые различные изменения и модификации без отступления от объема правовой охраны, который определяется приложенной формулой изобретения. В приложенной формуле изобретения упоминание элементов в единственном числе не исключает наличия множества таких элементов, если в явном виде не указано иное.Although exemplary embodiments of the present invention have been disclosed herein, it should be noted that in these embodiments of the present invention, any various changes and modifications may be made without departing from the scope of legal protection that is determined by the appended claims. In the appended claims, reference to the singular does not exclude the presence of a plurality of such elements unless explicitly stated otherwise.
Claims (79)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2016121716A RU2635883C1 (en) | 2016-06-02 | 2016-06-02 | Image processing method and system for forming superhigh-resolution images |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2016121716A RU2635883C1 (en) | 2016-06-02 | 2016-06-02 | Image processing method and system for forming superhigh-resolution images |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2635883C1 true RU2635883C1 (en) | 2017-11-16 |
Family
ID=60328696
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2016121716A RU2635883C1 (en) | 2016-06-02 | 2016-06-02 | Image processing method and system for forming superhigh-resolution images |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2635883C1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2762144C1 (en) * | 2018-09-30 | 2021-12-16 | Боэ Текнолоджи Груп Ко., Лтд. | Apparatus and method for image processing and system for training a neural network |
| CN118096750A (en) * | 2024-04-25 | 2024-05-28 | 武汉大学 | High-low frequency characteristic enhanced super-resolution image quality evaluation method and system |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6434280B1 (en) * | 1997-11-10 | 2002-08-13 | Gentech Corporation | System and method for generating super-resolution-enhanced mosaic images |
| US20020172434A1 (en) * | 2001-04-20 | 2002-11-21 | Mitsubishi Electric Research Laboratories, Inc. | One-pass super-resolution images |
| US20090232213A1 (en) * | 2008-03-17 | 2009-09-17 | Ati Technologies, Ulc. | Method and apparatus for super-resolution of images |
| RU2431889C1 (en) * | 2010-08-06 | 2011-10-20 | Дмитрий Валерьевич Шмунк | Image super-resolution method and nonlinear digital filter for realising said method |
| US20130044965A1 (en) * | 2011-08-16 | 2013-02-21 | Himax Technologies Limited | Super resolution system and method with database-free texture synthesis |
-
2016
- 2016-06-02 RU RU2016121716A patent/RU2635883C1/en active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6434280B1 (en) * | 1997-11-10 | 2002-08-13 | Gentech Corporation | System and method for generating super-resolution-enhanced mosaic images |
| US20020172434A1 (en) * | 2001-04-20 | 2002-11-21 | Mitsubishi Electric Research Laboratories, Inc. | One-pass super-resolution images |
| US20090232213A1 (en) * | 2008-03-17 | 2009-09-17 | Ati Technologies, Ulc. | Method and apparatus for super-resolution of images |
| RU2431889C1 (en) * | 2010-08-06 | 2011-10-20 | Дмитрий Валерьевич Шмунк | Image super-resolution method and nonlinear digital filter for realising said method |
| US20130156345A1 (en) * | 2010-08-06 | 2013-06-20 | Dmitry Valerievich Shmunk | Method for producing super-resolution images and nonlinear digital filter for implementing same |
| US20130044965A1 (en) * | 2011-08-16 | 2013-02-21 | Himax Technologies Limited | Super resolution system and method with database-free texture synthesis |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2762144C1 (en) * | 2018-09-30 | 2021-12-16 | Боэ Текнолоджи Груп Ко., Лтд. | Apparatus and method for image processing and system for training a neural network |
| US11348005B2 (en) | 2018-09-30 | 2022-05-31 | Boe Technology Group Co., Ltd. | Apparatus, method, and computer-readable medium for image processing, and system for training a neural network |
| US11361222B2 (en) | 2018-09-30 | 2022-06-14 | Boe Technology Group Co., Ltd. | System, method, and computer-readable medium for image classification |
| US11449751B2 (en) | 2018-09-30 | 2022-09-20 | Boe Technology Group Co., Ltd. | Training method for generative adversarial network, image processing method, device and storage medium |
| US11615505B2 (en) | 2018-09-30 | 2023-03-28 | Boe Technology Group Co., Ltd. | Apparatus and method for image processing, and system for training neural network |
| CN118096750A (en) * | 2024-04-25 | 2024-05-28 | 武汉大学 | High-low frequency characteristic enhanced super-resolution image quality evaluation method and system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111047516B (en) | Image processing method, image processing device, computer equipment and storage medium | |
| Zhao et al. | Pixelated semantic colorization | |
| Song et al. | Color to gray: Visual cue preservation | |
| Bugeau et al. | Variational exemplar-based image colorization | |
| US11967051B2 (en) | Image fusion method and portable terminal | |
| JPH06245113A (en) | Equipment for improving picture still more by removing noise and other artifact | |
| CN110738609A (en) | method and device for removing image moire | |
| Cui et al. | Blind light field image quality assessment by analyzing angular-spatial characteristics | |
| Liu et al. | Image contrast enhancement based on intensity expansion-compression | |
| Mouzon et al. | Joint CNN and variational model for fully-automatic image colorization | |
| Keren et al. | Restoring subsampled color images | |
| Huang et al. | Hybrid image enhancement with progressive laplacian enhancing unit | |
| US20160241884A1 (en) | Selective perceptual masking via scale separation in the spatial and temporal domains for use in data compression with motion compensation | |
| RU2635883C1 (en) | Image processing method and system for forming superhigh-resolution images | |
| Chen et al. | Saliency-directed color image interpolation using artificial neural network and particle swarm optimization | |
| Grogan et al. | Robust registration of gaussian mixtures for colour transfer | |
| Avi-Aharon et al. | Differentiable histogram loss functions for intensity-based image-to-image translation | |
| Lagodzinski et al. | Application of the extended distance transformation in digital image colorization | |
| Tsai et al. | Adaptive fuzzy color interpolation | |
| EP2966613A1 (en) | Method and apparatus for generating a super-resolved image from an input image | |
| Isogawa et al. | Image and video completion via feature reduction and compensation | |
| Cai et al. | Hole-filling approach based on convolutional neural network for depth image-based rendering view synthesis | |
| Jagdale et al. | A novel algorithm for video super-resolution | |
| Aberkane et al. | Edge detection from Bayer color filter array image | |
| Pouli et al. | VR Color Grading using Key Views |