RU2506713C2 - Устройство и способ обработки изображения - Google Patents

Устройство и способ обработки изображения Download PDF

Info

Publication number
RU2506713C2
RU2506713C2 RU2011141290/08A RU2011141290A RU2506713C2 RU 2506713 C2 RU2506713 C2 RU 2506713C2 RU 2011141290/08 A RU2011141290/08 A RU 2011141290/08A RU 2011141290 A RU2011141290 A RU 2011141290A RU 2506713 C2 RU2506713 C2 RU 2506713C2
Authority
RU
Russia
Prior art keywords
image
video data
frame
motion
resolution
Prior art date
Application number
RU2011141290/08A
Other languages
English (en)
Other versions
RU2011141290A (ru
Inventor
Одзи НАКАГАМИ
Дзунити ТАНАКА
Ёити ЯГАСАКИ
Original Assignee
Сони Корпорейшн
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Сони Корпорейшн filed Critical Сони Корпорейшн
Publication of RU2011141290A publication Critical patent/RU2011141290A/ru
Application granted granted Critical
Publication of RU2506713C2 publication Critical patent/RU2506713C2/ru

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21—Intermediate information storage
    • H04N1/2166—Intermediate information storage for mass storage, e.g. in document filing systems
    • H04N1/217—Interfaces allowing access to a single user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3247—Data linking a set of images to one another, e.g. sequence, burst or continuous capture mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3261—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal
    • H04N2201/3267—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal of motion picture signals, e.g. video clip

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)
  • Television Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Picture Signal Circuits (AREA)

Abstract

Изобретение относится к вычислительной технике. Технический результат заключается в обеспечении компенсации движения с высокой точностью. Устройство обработки изображения, содержащее модуль формирования изображения, предназначенный для формирования изображения и генерирования сигнала изображения; модуль обработки, предназначенный для формирования на основе сигнала изображения первых видеоданных, содержащих множество кадров, и вторых видеоданных, имеющих более высокое разрешение, чем у кадров, содержащихся в первых видеоданных; блок кодирования, предназначенный для сжатия первых и вторых видеоданных, подаваемых из модуля обработки, и записи их в модуле сохранения; модуль генерирования изображения, предназначенный для детектирования вектора движения между кадрами, содержащимися в первых видеоданных, полученных из модуля сохранения, при этом кадр первых видеоданных увеличивают до такого же разрешения, как и кадр вторых видеоданных, и для выполнения компенсации движения по кадру, расположенному между заданным кадром, содержащимся в первых видеоданных, и кадром, содержащимся во вторых видеоданных, и последовательного генерирования данных изображения со скомпенсированным движением на основе кадра со скомпенсированным движением и детектированного вектора движения. 2 н. и 6 з.п. ф-лы, 7 ил.

Description

Область техники, к которой относится изобретение
Настоящее изобретение относится к устройству обработки изображения, способу обработки изображения и программе.
Уровень техники
В последние годы произошел существенный прогресс технологии, относящейся к распределению цифровых видеоданных (ниже называются видеоданными). В частности, разработки в этой технологии, относящиеся к распределению и записи видеоданных с изображением высокого качества, достигли значительного успеха. Среди них внимание уделялось технологии, относящейся к кодированию и декодированию видеоданных. Видеоданные, имеющие высокое пространственное разрешение и временное разрешение, имеют очень большой размер данных и, таким образом, такие видеоданные желательно распределять или записывать, используя эффективное сжатие после кодирования. Таким образом, требуется разработать технологию кодирования, обеспечивающую сжатие видеоданных с высоким качеством изображения с более высокой степенью сжатия, и технологию декодирования, обеспечивающую возможность воспроизведения видеоданных с высоким пространственным разрешением.
Например, в патентных документах 1 и 2 раскрыта основная технология генерирования видеоданных, имеющих высокое пространственное разрешение и временное разрешение путем комбинирования первых видеоданных (например, данных движущегося изображения и т.д.), которые имеют низкое пространственное разрешение, но высокое временное разрешение, и вторых видеоданных (например, последовательности данных неподвижных изображений и т.д.), которые имеют высокое пространственное разрешение, но низкое временное разрешение. В такой технологии вектор движения между кадрами прогнозируют из первых видеоданных, и высокочастотный компонент первых видеоданных компенсируют, используя вектор движения и вторые видеоданные. В такой технологии генерирует кадр в произвольной временной точке, которая не содержится во вторых видеоданных, используя вектор движения, детектируемый из первых видеоданных, и кадр вторых видеоданных в точке времени, близкой к такой произвольной точке времени. Выложенные заявки на японский патент №2004-312276 и №2004-312277 включают в себя описание, относящееся к устройствам записи и воспроизведения данных изображения, предназначенным для генерирования видеоданных, имеющих высокое пространственное разрешение и временное разрешение, используя описанную выше технологию.
[Патентный документ 1] выложенная заявка на японский патент №2004-312276
[Патентный документ 2] выложенная заявка на японский патент №2004-312277
Сущность изобретения
Однако если временной интервал, в течение которого записано каждое множество данных неподвижного изображения, велик, вектор движения будет трудно точно прогнозировать, и, таким образом, будет трудно генерировать видеоданные с высоким качеством изображения. Другими словами, поскольку величина изменения движущегося объекта в данных изображения становится тем большей, чем в большей степени время записи видеоданных, которые требуется сгенерировать, отличается от времени записи записанных данных неподвижного изображения, компенсацию движения, с использованием компонента с высоким разрешением, содержащегося в записанном неподвижном изображении с высоким разрешением, становится трудно выполнить. Например, если разность h по времени с записанным временем данных неподвижного изображения и записанным временем требуемого формируемого изображения становится больше чем 0,1 секунды, компенсацию высокочастотного компонента, используя компенсацию движения, становится трудно выполнить. Если количество записей данных неподвижного изображения с высокой четкостью увеличивается, количество данных, которые требуется сохранять, очевидно, становится чрезмерно большим.
Учитывая описанное выше, желательно обеспечить новое и улучшенное устройство обработки изображения и способ обработки изображения, позволяющие реализовать компенсацию движения с высокой точностью при выполнении прогнозирования движения, используя последовательность данных изображения с низким разрешением и выполняя компенсацию движения, используя данные изображения с высоким разрешением для генерирования данных изображения с высоким разрешением, даже если время данных изображения, которые требуется генерировать, и время данных изображения с высоким разрешением значительно различаются.
Для решения описанной выше задачи, в соответствии с другим вариантом выполнения настоящего изобретения, предложено устройство обработки изображения, включающее в себя: модуль формирования изображения, предназначенный для формирования изображения и генерирования сигнала изображения, модуль обработки, предназначенный для формирования на основе сигнала изображения первых видеоданных, содержащих множество кадров, и вторых видеоданных, имеющих более высокое разрешение, чем у кадров, содержащихся в первых видеоданных, блок кодирования, предназначенный для сжатия первых и вторых видеоданных, подаваемых из модуля обработки, и записи их в модуле сохранения, модуль генерирования изображения, предназначенный для детектирования вектора движения между кадрами, содержащимися в первых видеоданных, полученных из модуля сохранения, при этом кадр первых видеоданных увеличивают до такого же разрешения, как и кадр вторых видеоданных, и предназначенный для, на основе вторых видеоданных, полученных из модуля сохранения, и детектированного вектора движения, выполнения компенсации движения по кадру, расположенному между заданным кадром, содержащимся в первых видеоданных, принятых модулем приема, и кадром, содержащимся во вторых видеоданных, и последовательного генерирования данных изображения со скомпенсированным движением, соответствующих заданному кадру, на основе кадра со скомпенсированным движением, и детектированного вектора движения, в котором модуль генерирования изображения выполняет компенсацию движения в порядке от кадра, соответствующего времени, близкому ко вторым видеоданным.
Первая последовательность данных изображения, имеющих низкое пространственное разрешение и высокое временное разрешение, может быть записана в модуле сохранения как данные движущегося изображения, и вторая последовательность данных изображения, имеющих более высокое пространственное разрешение и более низкое временное разрешение, чем у первой последовательности данных изображения, может быть записана в модуле сохранения так, чтобы она соответствовала кадру, содержащемуся в первой последовательности данных изображения, как одни или множество данных изображения.
Модуль генерирования движущегося изображения может быть выполнен с возможностью генерирования с кадром, содержащимся в первой последовательности данных изображения и не содержащимся во второй последовательности данных изображения, в качестве заданного кадра, данных изображения, соответствующих заданному кадру, и улучшения временного разрешения второй последовательности данных изображения.
Последовательность данных изображения, полученная путем понижения частоты выборки сигнала снятого изображения, может быть записана в модуле сохранения, как данные движущегося изображения.
Модуль генерирования изображения может быть выполнен с возможностью изменения соотношения комбинирования заданного кадра, который представляет собой опорный источник вектора движения, и данных изображения, которые представляют собой опорное назначение вектора движения, в соответствии с величиной различия при компенсации движения, если величина различия больше, чем заданное значение.
Если величина различия между кадром, соответствующим данным изображения, и заданным кадром меньше, чем заданное значение, модуль генерирования изображения может быть выполнен с возможностью вывода данных изображения как данных изображения, соответствующих заданному кадру, без выполнения компенсации движения.
Для решения описанной выше задачи, в соответствии с другим вариантом выполнения настоящего изобретения, предложен способ обработки изображения, включающий в себя следующие этапы: формируют изображение и генерируют сигнал изображения, формируют на основе сигнала изображения первые видеоданные, содержащие множество кадров, и вторые видеоданные, имеющие более высокое разрешение, чем у кадров, содержащихся в первых видеоданных, кодируют видеоданные путем сжатия первых и вторых видеоданных и записывают их в модуле сохранения, детектируют вектор движения между кадрами, содержащимися в первых видеоданных, полученных из модуля сохранения, и выполняют на основе вторых видеоданных, полученных из модуля сохранения, и вектора движения, детектированного на этапе прогнозирования движения, компенсацию движения для кадра, расположенного между заданным кадром, содержащимся в первых видеоданных, полученных из модуля сохранения, и кадром, содержащимся во вторых видеоданных, и последовательно генерируют данные изображения со скомпенсированным движением, соответствующие заданному кадру, на основе кадра со скомпенсированным движением и вектора движения, детектированного на этапе прогнозирования движения, в котором компенсацию движения выполняют в порядке от кадра, соответствующего времени, близкому ко вторым видеоданным.
Для решения приведенной выше задачи, в соответствии с другим вариантом выполнения настоящего изобретения, предложена программа, которая обеспечивает реализацию компьютером функций устройства обработки изображения. Также может быть предусмотрен носитель записи, на котором записана такая программа.
Устройство обработки изображения генерирует изображение с высоким разрешением из времени, близкого к записанному времени уже записанных данных неподвижного изображения, сохраняет изображение с высоким разрешением, сгенерированное в прошлом, в запоминающем устройстве кадра, и генерирует новое изображение с высоким разрешением, снова со ссылкой на сохраненное изображение. Используя такую последовательно выполняемую обработку, можно генерировать неподвижное изображение с высокой четкостью, даже в момент времени, отдаленный от времени записи.
В соответствии с вариантами выполнения настоящего изобретения, описанными выше, при выполнении прогнозирования движения, используя последовательность данных изображения с низким разрешением и выполняя компенсацию движения, используя данные изображения высоким разрешением для генерирования данных изображения с высоким разрешением, компенсация движения может быть выполнена с высокой точностью, даже если время генерируемых данных изображения и время данных изображения с высоким разрешением отличаются друг от друга.
Краткое описание чертежей
На фиг.1 показан пояснительный вид, описывающий способ генерирования формируемого изображения с высоким разрешением;
на фиг.2 показан пояснительный вид, представляющий конфигурацию устройства для устройства обработки изображения, в соответствии с одним вариантом выполнения настоящего варианта выполнения;
на фиг.3 показан пояснительный вид, описывающий операцию схемы генерирования изображения, в соответствии с настоящим вариантом выполнения;
на фиг.4 показан пояснительный вид, описывающий операцию схемы генерирования изображения, в соответствии с настоящим вариантом выполнения;
на фиг.5 показан пояснительный вид, описывающий операцию схемы генерирования, в соответствии с настоящим вариантом выполнения;
на фиг.6 показан пояснительный вид, представляющий способ генерирования изображения с высоким разрешением, в соответствии с настоящим вариантом выполнения; и
на фиг.7 показан пояснительный вид, представляющий пример конфигурации аппаратных средств устройства обработки информации, позволяющего реализовать функции устройства обработки изображения, в соответствии с настоящим вариантом выполнения.
Описание номеров ссылочных позиций
100 устройство обработки изображения
102 объектив формирования изображения
104 элемент формирования изображения
106 контроллер синхронизации генерирования изображения
108 схема дисплея
110 блок обработки сигналов камеры
112 A/D (А/Ц, аналогово-цифровой) преобразователь
114 схема обработки цифрового сигнала
120 блок записи и воспроизведения движущегося изображения
122,132 модули сохранения
124 схема сжатия/разуплотнения движущегося изображения
126 схема преобразования плотности изображения
130 блок записи и воспроизведения неподвижного изображения
134 схема сжатия/разуплотнения неподвижного изображения
202 схема генерирования изображения
204 запоминающее устройство кадра
212 модуль прогнозирования движения
214 модуль компенсации движения
HRP (ИВР) Изображение с высоким разрешением
LRP (ИНР) Изображение с низким разрешением
МР (УИ) увеличенное изображение
СР, СР' (СИ) сформированное изображение
Подробное описание изобретения
Ниже будут подробно описаны предпочтительные варианты воплощения настоящего изобретения со ссылкой на приложенные чертежи. Следует отметить, что, в данном описании и на приложенных чертежах конструктивные элементы, которые имеют, по существу, одинаковые функции и структуру, обозначены одинаковыми номерами ссылочных позиций, и повторное пояснение этих конструктивных элементов здесь не приведено.
(Способ генерирования изображения с высоким разрешением)
Вначале, перед описанием устройства обработки изображения и способа обработки изображения в соответствии с вариантом выполнения настоящего изобретения, идея использования последовательности данных изображения (ниже называются данными движущегося изображения), в соответствии с которой последовательно записывают изображение с низким пространственным разрешением и отдельно записывают данные изображения с высоким пространственным разрешением (ниже называются данными неподвижного изображения или ИВР (Изображение с высоким разрешением)) в соответствии с соответствующим кадром (ниже называется ИНР (Изображение с низким разрешением)), содержащимся в данных движущегося изображения, для генерирования данных изображения с высоким пространственным разрешением (ниже называется СИ (сформированным изображением) или сформированным изображением с высоким разрешением), которые соответствуют произвольному кадру, содержащемуся в данных движущегося изображения, будет кратко описана со ссылкой на фиг.1. На фиг.1 показан пояснительный вид, представляющий один пример способа генерирования изображения с высоким разрешением.
На фиг.1 представлены изображения ИВР (t) с высоким разрешением изображения ИНР (t), ИНР (t+h) с низким разрешением, увеличенные изображения УИ (t), УИ (t+h) и сформированные изображения СИ (t+h). Буквы в круглых скобках представляют время съемки. Например, сформированные изображения СИ (t+h) представляют сформированное изображение, соответствующее изображению ИНР (t+h) с низким разрешением, снятому в момент времени t+h.
Сформированные изображения СИ представляют собой данные изображения, сформированные путем выполнения компенсации движения, используя вектор движения, детектированный с использованием изображения ИНР с низким разрешением и изображение ИВР с высоким разрешением. Как показано на фиг.1, вектор (MV, ВД) движения между временем t и временем t+h детектируют, используя увеличенное изображение УИ (t), сформированное путем увеличения изображения ИНР (t) с низким разрешением и увеличенное изображение УИ (t+h), сформированное путем увеличения изображения ИНР (t+h) с низким разрешением (S1). Затем опорный блок из изображения ИВР (t) с высоким разрешением, соответствующий опорному блоку (BLK, БЛК) изображения ИНР (t) с низким разрешением, выделяют на основе вектора ВД движения. Пиксели опорного блока и пиксели увеличенного изображения УИ (t+h) затем комбинируют с заданным соотношением для формирования сформированного изображения (СИ (t+h)) (S2).
В описанном выше примере прогнозирование движения и компенсацию движения выполняют, используя, по существу, разные изображения. В увеличенном изображении УИ, сформированном путем увеличения изображения ИНР с низким разрешением, увеличено пространственное разрешение до того же уровня, что и у изображения ИВР с высоким разрешением, но в нем отсутствует высокочастотный компонент по сравнению с изображением ИВР с высоким разрешением. Таким образом, могут возникнуть отклонения вектора движения, детектированного с использованием увеличенного изображения УИ и вектором движения, который, по существу, должно иметь изображение ИВР с высоким разрешением. В частности, если точность прогнозирования движения низкая, положение опорного блока в изображении ИВР с высоким разрешением сдвигается, и, таким образом, заметные шумы добавляются к высокочастотному компоненту сформированного изображения СИ, которое формируют, используя компенсацию движения.
Таким образом, требуется найти решение задачи подавления шумов, добавляемых в результате компенсации движения, при выполнении компенсации движения на основе множества данных изображения, имеющих отличающиеся друг от друга пространственные разрешения. Ошибка вектора движения становится большой, когда время t, при котором было снято изображение ИВР (t) с высоким разрешением, и время t+h, при котором требуется сформировать сформированное изображение СИ (t+h), далеки друг от друга. Таким образом, требуется обеспечить получение сформированного изображения СИ (t+h) с высокой четкостью, когда интервал времени h велик.
Как описано ниже, устройство обработки изображения в соответствии с одним вариантом выполнения настоящего изобретения вначале выполняет прогнозирование движения и компенсацию движения для изображения ИНР (t+h”) с низким разрешением, снятого в момент времени, близкий к времени t, когда было снято изображение ИВР (1) с высоким разрешением, для генерирования предварительно сформированного изображения СИ'(t+h”), и дополнительно выполняет прогнозирование движения и компенсацию движения на основе такого предварительно сформированного изображения СИ'(t+h). Сформированное изображение СИ(t+h) в требуемое время t+h может быть сгенерировано с высокой точностью путем последовательного повторения такого процесса. Это связано с тем, что интервал времени между кадрами, которые используются как опорные при выполнении одного прогнозирования движения, короткий, и точность прогнозирования движения улучшается. Конкретная конфигурация функций устройства обработки изображения будет описана ниже.
<Варианты выполнения>
Устройство 100 обработки изображения в соответствии с одним вариантом выполнения настоящего изобретения будет подробно описано ниже.
[Конфигурация устройства 100 обработки изображения]
Вначале, со ссылкой на фиг.2, будет описана конфигурация устройства для устройства 100 обработки изображения в соответствии с настоящим вариантом выполнения. На фиг.2 показан пояснительный вид, представляющий один пример конфигурации устройства для устройства 100 обработки изображения в соответствии с настоящим вариантом выполнения.
Как показано на фиг.2, устройство 100 обработки изображения, в основном, включает в себя объектив 102 формирования изображения, элемент 104 формирования изображения, блок 110 обработки сигналов камеры, блок 120 записи и воспроизведения движущегося изображения, блок 130 записи и воспроизведения неподвижного изображения, схему 202 генерирования изображения, запоминающее устройство 204 кадра, контроллер 106 синхронизации генерирования изображения и схему 108 дисплея.
Объектив 102 формирования изображения представляет собой оптический объектив, предназначенный для формирования изображения (ниже называется снятым изображением) субъекта, путем сбора света. Элемент 104 формирования изображения представляет собой фотоэлемент, предназначенный для преобразования света, собранного объективом 102 формирования изображения, в электрический сигнал. В качестве элемента 104 формирования изображения используют полупроводниковый элемент, такой как датчик изображения CCD (датчик изображения на основе прибора с зарядовой связью, ПЗС) и датчик изображения CMOS (датчик изображения на основе комплементарного металло-окисидного полупроводника, КМОП).
Элемент 104 формирования изображения имеет большее количество пикселей, чем количество эффективных пикселей пространственного разрешения данных движущегося изображения. Схема 108 дисплея обеспечивает отображения устройством дисплея (не показано) данных изображения при записи или воспроизведении данных изображения или во время проверки данных изображения. Контроллер 106 синхронизации генерирования изображения представляет собой устройство для оператора, который вводит инструкцию - получить данные неподвижного изображения при воспроизведении данных движущегося изображения.
(Блок 110 обработки сигналов камеры)
Как показано на фиг.2, блок 110 обработки сигналов камеры включает в себя А/Ц преобразователь 112 и схему 114 обработки цифрового сигнала.
А/Ц преобразователь 112 представляет собой аналогово-цифровой преобразователь, предназначенный для преобразования входного аналогового сигнала в цифровой сигнал, и вывода его. А/Ц преобразователь 112 преобразует аналоговый сигнал снятого изображения, подаваемого из элемента 104 формирования изображения, в цифровой сигнал, и выводит его в схему 114 обработки цифрового сигнала. Схема 114 обработки цифрового сигнала выполняет такую обработку, как регулирование баланса белого и гамма-коррекцию цифрового сигнала (ниже называется данными изображения) для снятого изображения, подаваемого из А/Ц преобразователя 112.
(Блок 120 записи и воспроизведения движущегося изображения)
Как показано на фиг.2, блок 120 записи и воспроизведения движущегося изображения включает в себя схему 126 преобразования плотности изображения, схему 124 сжатия/разуплотнения движущегося изображения, и модуль 122 сохранения.
Схема 126 преобразования плотности изображения выполняет обработку децимации (например, дифференциального кодирования между кадрами и т.д.) для последовательности данных изображения (данных движущегося изображения), подаваемых из схемы 114 обработки цифрового сигнала, путем записи данных движущегося изображения. Схема 126 преобразования плотности изображения выводит данные движущегося изображения после обработки децимации в схему 124 сжатия/разуплотнения движущегося изображения. Схема 124 сжатия/разуплотнения движущегося изображения выполняет обработку сжатия данных движущегося изображения после децимации, подаваемых из схемы 126 преобразования плотности изображения, и записывает сжатые данные движущегося изображения в модуль 122 сохранения.
При воспроизведении данных движущегося изображения схема 124 сжатия/разуплотнения движущегося изображения считывает данные движущегося изображения, записанные в модуле 122 записи, и выполняет для них обработку разуплотнения. Схема 124 сжатия/разуплотнения движущегося изображения выводит разуплотненные данные движущегося изображения в схему 126 преобразования плотности изображения. Схема 126 преобразования плотности изображения выполняет обработку интерполяции (например, восстановление дифференцированных данных) для данных движущегося изображения, выводимых из схемы 124 сжатия/разуплотнения движущегося изображения.
(Блок 130 записи и воспроизведения неподвижного изображения)
Как показано на фиг.2, блок 13.0 записи неподвижного и воспроизведения изображения включает в себя схему 134 сжатия/разуплотнения неподвижного изображения и модуль 132 сохранения. Модуль 132 сохранения может реализовать эту функцию, используя устройство сохранения, которое является общим с модулем 122 сохранения.
Во время записи данных неподвижного изображения схема 134 сжатия/разуплотнения неподвижного изображения выполняет обработку сжатия данных изображения, подаваемых из схемы 114 обработки цифрового сигнала, и записывает их в модуле 132 сохранения. При воспроизведении данных неподвижного изображения схема 134 сжатия/разуплотнения неподвижного изображения считывает данные изображения, записанные в модуле 122 сохранения, и выполняет для них обработку разуплотнения.
(Схема 202 генерирования изображения)
Хотя это не показано ясно на чертеже, схема 202 генерирования изображения включает в себя модуль 212 прогнозирования движения и модуль 214 компенсации движения. Модуль 214 компенсации движения обслуживает модуль генерирования изображения.
Модуль 212 прогнозирования движения детектирует вектор движения, выполняя прогнозирование движения между кадрами для данных движущегося изображения, передаваемых из блока 120 записи и воспроизведения движущегося изображения. Например, модуль 212 прогнозирования движения выбирает данные неподвижного изображения, записанные в ближайшее время к кадру, записанному в заданное время. Модуль 212 прогнозирования движения детектирует вектор движения между кадрами, выполняя прогнозирование движения между кадром, соответствующим данным неподвижного изображения, и кадром, записанным в заданный момент времени. В данном случае модуль 212 прогнозирования движения увеличивает каждый кадр (ИНР), для использования его в качестве опорного, для преобразования в увеличенное изображение (УИ) и детектирует вектор движения между соответствующими увеличенными изображениями.
В качестве другого примера, модуль 212 прогнозирования движения может выделять множество данных неподвижного изображения, записанных в момент времени, близкий к кадру, записанному в заданный момент времени, и затем выбирать кадр, соответствующий данным неподвижного изображения, расположенный ближе всего к кадру, записанному в заданный момент времени. Модуль 212 прогнозирования движения может детектировать вектор движения между кадрами, выполняя прогнозирование движения между кадром, соответствующим выбранным данным неподвижного изображения, и кадром, записанным в заданное время. Модуль 212 прогнозирования движения может детектировать вектор движения между кадрами, без увеличения каждого кадра (ИНР), и увеличивать вектор движения так, чтобы адаптировать его к пространственному разрешению сформированного изображения (СИ).
Модуль 214 компенсации движения выполняет компенсацию движения на основе информации вектора движения, вводимого из модуля 212 прогнозирования движения, и данных неподвижного изображения, вводимых из блока 130 записи и воспроизведения неподвижного изображения. Например, модуль 214 компенсации движения определяет опорный блок данных неподвижного изображения, соответствующий опорному блоку кадра, записанному в заданное время, на основе вектора движения. Модуль 214 компенсации движения генерирует данные изображения (сформированное изображение СИ') путем комбинирования указанного опорного блока данных неподвижного изображения и опорного блока кадра, записанного в заданное время с заданной частотой.
При генерировании сформированного изображения СИ (t+h), схема 202 генерирования изображения разрабатывает сформированное изображение СИ' (t+h”)(t<h”<h), сгенерированное в прошлом, в запоминающем устройстве 204 кадра. Таким образом, как показано на фиг.3, схема 202 генерировании изображения однажды генерирует промежуточное сформированное изображение СИ'(t+h"), используя увеличенное изображение УИ (t+h”), которое близко по времени к изображению ИВР (1) с высоким разрешением, вместо генерирования сформированного изображения СИ (t+h), непосредственно используя изображение HBP (t) с высоким разрешением, и сохраняет такое сформированное изображение СИ'(t+h”) в запоминающем устройстве 204 кадра для использования. Схема 202 генерирования изображения выполняет прогнозирование движения между увеличенными изображениями УИ (t+h) и УИ (t+h”) и генерирует требуемое сформированное изображение СИ (t+h) на основе детектированного вектора движения и промежуточного сформированного изображения СИ' (t+h”). Сформированное изображение СИ (t+h) затем выводят в схему 108 дисплея.
При сохранении сформированного изображения СИ' (t+h”) в запоминающем устройстве кадра схема 202 генерирования изображения может изменять способ сохранения в соответствии с модулем обработки для использования. Например, может быть сохранено все изображение или может быть сохранена только область пикселей с движением для экономного использования объема памяти.
Кроме того, при генерировании сформированного изображения СИ' или СИ схема 202 генерирования изображения может отслеживать величину различия увеличенного изображения УИ, соответствующего сформированному изображению СИ' или СИ, и изображения, предназначенного для использования в качестве опорного. Если величина различия изображения ИВР с высоким разрешением и увеличенного изображения УИ будет мала, схема 202 генерирования изображения выводит изображение ИВР с высоким разрешением в том виде, как оно есть, как сформированное изображение СИ' или СИ. Аналогично, если величина различия сформированного изображения СИ' и увеличенного изображения УИ мала, схема 202 генерирования изображения может выводить сформированное изображение СИ' в том виде, как оно есть, как сформированное изображение СИ. Такие случаи представляют собой ситуации, которые возникают, когда снимают полностью неподвижный субъект.
В случае, когда расстояние между временем записи сформированного изображения СИ и изображения ИВР с высоким разрешением велико, схема 202 генерирования изображения в соответствии с настоящим вариантом выполнения последовательно генерирует промежуточное сформированное изображение СИ' из увеличенного изображения УИ, соответствующего времени, которое близко к времени записи изображения ИВР с высоким разрешением. Кроме того, схема 202 генерирования изображения выполняет компенсацию движения, используя промежуточное сформированное изображение СИ', и последовательно генерирует промежуточное сформированное изображение СИ' для получения, в конечном итоге, сформированного изображения СИ с высокой четкостью.
[Операция записи данных изображения]
Операция записи данных изображения устройством 100 обработки изображения в соответствии с настоящим вариантом выполнения будет кратко описана ниже.
Вначале оператор передает инструкцию - начать операцию записи в устройство 100 обработки изображения (810). В ответ на такую инструкцию устройство 100 обработки изображения начинает последовательную запись кадров, составляющих данные движущегося изображения (S12). Устройство 100 обработки изображения получает снятое изображение через объектив 102 формирования изображения (S14). Устройство 100 обработки изображения выполняет фотоэлектрическое преобразование снятого изображения с помощью элемента 104 формирования изображения для генерирования аналогового сигнала (S16). Устройство 100 обработки изображения передает аналоговый сигнал в А/Ц преобразователь 112 для преобразования в цифровой сигнал (S18). Устройство 100 обработки изображения затем вводит цифровой сигнал в схему 114 обработки цифрового сигнала и выполняет такую обработку, как регулировка баланса белого и гамма-коррекция для данных изображения, соответствующих такому цифровому сигналу (S20). В соответствии с такими процессами устройство 100 обработки изображения может накапливать данные изображения и формировать данные движущегося изображения.
Устройство 100 обработки изображения выполняет обработку децимации для данных движущегося изображения с помощью схемы 126 преобразования плотности изображения (S22). При выполнении этапа S22 получают количество эффективных пикселей в формате каждого видеосигнала, который соответствует способу NTSC (Национальный комитет по телевизионным стандартам), способу PAL (Построчное изменение фазы) или способу ISDB (Комплексная служба цифрового вещания). Устройство 100 обработки изображения затем обрабатывает со сжатием данные движущегося изображения после их обработки децимации с помощью схемы 124 сжатия/разуплотнения движущегося изображения (S24) и записывает в модуль сохранения 122 (S25). Устройство 100 обработки изображения также получает данные изображения (данные неподвижного изображения) поочередно, через заданный интервал времени и выполняет обработку сжатия с помощью схемы 134 сжатия/разуплотнения неподвижного изображения (S32), и записывает в модуле 132 сохранения (S34).
[Операция воспроизведения данных изображения]
Операция воспроизведения данных изображения с помощью устройства 100 обработки изображения в соответствии с настоящим вариантом выполнения будет кратко описана ниже.
Оператор передает инструкцию на начало операции воспроизведения в устройство 100 обработки изображения, используя контроллер 106 синхронизации генерирования изображения (S50). В ответ на такую инструкцию устройство 100 обработки изображения начинает генерировать данные изображения с высоким качеством изображения, имеющие более высокое пространственное разрешение, чем у данных движущегося изображения, и в момент времени записи, в который не были записаны данные неподвижного изображения (S52). Устройство 100 обработки изображения считывает данные движущегося изображения, полученные после обработки сжатия, записанные в модуле 122 сохранения (S54), и выполняет обработку разуплотнения с помощью схемы 124 сжатия/разуплотнения движущегося изображения (S56). Устройство 100 обработки изображения затем выполняет обработку интерполяции данных движущегося изображения, подвергнутых обработке разуплотнения с помощью схемы 126 преобразования плотности изображения (S58). В соответствии с этапом S58 каждый кадр данных движущегося изображения преобразуют в данные изображения, имеющие такое же количество пикселей, что и у данных неподвижного изображения. Данные движущегося изображения затем передают в блок 140 генерирования изображения (S60).
Устройство 100 обработки изображения затем считывает и разворачивает данные неподвижного изображения, записанные в модуле 132 сохранения, с помощью схемы 134 сжатия/разуплотнения неподвижного изображения (S72) и передает их в блок 140 генерирования изображения (S74).
(Операция обработки схемы 202 генерирования изображения)
Операция обработки схемы 202 генерирования изображения будет описана ниже со ссылкой на фиг.3. На фиг.3 показан пояснительный вид, описывающий операцию обработки схемы 202 генерирования изображения.
На фиг.3 показано изображение с ИВР (t) с высоким разрешением, множество изображений ИНР (t) ИНР (t+h”), ИНР (t+h) с низким разрешением, промежуточное сформированное изображение СИ' (t+h”) и требуемое сформированное изображение СИ (t+h), в соответствии со временем съемки. На фиг.3, в частности, последовательно описана операция обработки генерирования сформированного изображения СИ (t+h), соответствующего изображению ИНР (t+h) с низким разрешением для времени t+h.
Предполагается, что изображение ИВР с высоким разрешением имеет количество N горизонтальных пикселей, количество М вертикальных пикселей и частоту кадров 1/∆Т [кадров в секунду]. Изображение ИНР с низким разрешением, как предполагается, имеет количество n горизонтальных пикселей, количество m вертикальных пикселей и частоту кадров I/∆t [кадров в секунду]. Предполагается, что каждая переменная удовлетворяет условию N≥n, М≥m, ∆Т≥t. Кроме того, предполагается, что переменная h удовлетворяет взаимозависимости 0≤h≤∆Т.
Способ генерирования сформированного изображения СИ (t+h) для времени t+h будет описан ниже со ссылкой на пример по фиг.3. Способ обработки устройства 100 обработки изображения в соответствии с настоящим вариантом выполнения не ограничивается этим. Сформированное изображение СИ (t+h) может быть сгенерировано также на основе изображения ИВР (t+АТ) с высоким разрешением в другое время t+∆T (не показано). В этом случае устройство 100 обработки изображения может выполнять обработку выбора изображения ИВР с высоким разрешением, которое будет использоваться как опорное, в соответствии с магнитудой, скоростью и т.п. движения субъекта.
(S1)
Вначале устройство 100 обработки изображения выполняет прогнозирование движения, используя изображения ИНР (t) и ИНР (t+h”) с низким разрешением, с помощью модуля 212 прогнозирования движения. В этом случае модуль 212 прогнозирования движения увеличивает изображения ИНР (t) и ИНР (t+h”) с низким разрешением для генерирования увеличенных изображений УИ (t) и УИ (t+h”). Модуль 212 прогнозирования движения затем сравнивает увеличенные изображения УИ(1) и УИ(1+Ь") для детектирования вектора ВД движения между УИ (t) и УИ (t+h”). Способ прогнозирования движения включает в себя способ согласования блоков, способ корреляции фазы, способ оптического потока или тому подобное.
(S2)
Устройство 100 обработки изображения затем выполняет компенсацию движения, используя вектор ВД движения, и изображение ИВР (t) с высоким разрешением, с помощью модуля 214 компенсации движения. Модуль 214 компенсации движения использует вектор ВД движения для определения опорного блока из изображения ИВР (t) с высоким разрешением, которое соответствует опорному блоку увеличенного изображения УИ (t+h”). Модуль 214 компенсации движения комбинирует такой опорный блок и опорный блок из увеличенного изображения УИ (t+h”) с заданным соотношением и генерирует промежуточное сформированное изображение СИ' (t+h”).
(S3)
Устройство 100 обработки изображения затем выполняет прогнозирование движения, используя изображения HHP(t+h) и HHP(t+h") с низким разрешением, с использованием модуля 212 прогнозирования движения. В этом случае модуль 212 прогнозирования движения увеличивает изображения ИНР (t+h) с низким разрешением для генерирования увеличенных изображений УИ (t+h). Модуль 212 прогнозирования движения затем сравнивает увеличенные изображения УИ (t+h”) и УИ (t+h) для детектирования вектора ВД движения между УИ (t+h”) и УИ (t+h).
(S4)
Устройство 100 обработки изображения затем выполняет компенсацию движения, используя вектор ВД движения и промежуточное сформированное изображение СИ' (t+h”), с помощью модуля 214 компенсации движения. Модуль 214 компенсации движения использует вектор ВД движения для определения опорного блока сформированного изображения СИ' (t+h”), соответствующего опорному блоку увеличенного изображения УИ (t+h). Модуль 214 компенсации движения комбинирует такой опорный блок и опорный блок увеличенного изображения УИ (t+h) в заданном соотношении и генерирует окончательное сформированное изображение СИ (t+h).
Если временной интервал h между сформированным изображением СИ (t+h) и изображением ИВР (t) с высоким разрешением очень короткий, шумы в малой степени генерируются в сформированном изображении СИ (t+h), благодаря точности прогнозирования движения, даже если компенсацию движения выполняют, используя такое изображение ИВР (t) с высоким разрешением. Однако если временной интервал h будет длительным, возможность генерирования шумов в информации высокочастотного компонента, содержащегося в изображения ИВР с высоким разрешением, высока. Таким образом, существует вероятность того, что корреляция между опорным блоком изображения ИВР с высоким разрешением, используемым при компенсации движения, и опорным блоком увеличенного изображения УИ, соответствующим ему, может уменьшиться, в зависимости от точности прогнозирования движения.
Обычно процесс прогнозирования движения происходит таким образом, что прогнозирование движения может быть выполнено тем более точно, чем меньше движение субъекта, то есть, чем меньше временное расстояние от источника прогнозирования до назначения прогнозирования. Поэтому точность прогнозирования, очевидно, получается более удовлетворительной при выполнении прогнозирования движения от увеличенного изображения УИ (t+h”) до увеличенного изображения УИ (t), чем при прогнозировании движения, выполняемого от увеличенного изображения УИ (t+h) до увеличенного изображения УИ (t). Качество сформированного изображения СИ' (t+h”), генерируемого с использованием прогнозирования движения, полученного от увеличенного изображения УИ (t+h”) до увеличенного изображения УИ (t), таким образом, будет выше, чем у сформированного изображения, сгенерированного с использованием результата прогнозирования движения от увеличенного изображения УИ (t+h) до увеличенного изображения УИ (t).
Кроме того, как представлено в примере, показанном на фиг.4, схема 202 генерирования изображения также может обращаться к другому изображению, кроме изображения, расположенного на задней стороне по временной оси, при генерировании сформированного изображения СИ' или СИ. Выше был описан пример выполнения прогнозирования движения и компенсации движения со ссылкой на изображение, расположенное на задней стороне по временной оси, но можно использовать изображение, расположенное с передней стороны, в качестве опорного изображения. Можно использовать в качестве опорного изображения, как изображение, расположенное с передней стороны, так и с задней стороны. Схема 202 генерирования изображения также может генерировать сформированные изображения СИ' или СИ используя в качестве опорных изображений множество изображений, расположенных с передней стороны по временной оси или с задней стороны. Схема 202 генерирования изображения также может выполнять обработку последовательного генерирования промежуточного сформированного изображения СИ' с очень малым временным интервалом для получения окончательно сформированного изображения СИ.
Различные модификации могут быть выполнены в схеме 202 генерирования изображения в соответствии с настоящим вариантом выполнения. Например, если изображение ИВР (1+∆Т) с высоким разрешением существует в момент времени t+∆T (h<∆Т), схема 202 генерирования изображения выполняет сравнение сформированного изображения СИ с компенсированным движением с передней стороны на основе изображения ИВР (t+∆T) с высоким разрешением и сформированного изображения СИ, путем последовательной компенсации движения с задней стороны, используя описанный выше способ, выбирая, таким образом, изображение с более высоким качеством изображения. Учитывая применение выбора и т.п., схема 202 генерирования изображения может сравнивать увеличенные изображения УИ (t), УИ (t+h”), УИ (t+∆Т) и т.п. в заданные моменты времени t, t+h”, t+∆Т и отслеживать величину их различия.
При прогнозировании движения схема 202 генерирования изображения может комбинировать двунаправленный процесс прогнозирования. Таким образом, схема 202 генерирования изображения выполняет компенсацию движения на основе вектора движения по множеству источников прогнозирования и взвешивает, и усредняет значения пикселя компенсации движения. В качестве простого примера пиксель С после прогнозирования получают в соответствии с уравнением (1) относительно пикселя А источника прогнозирования и пикселя В источника прогнозирования.
С=(А+В)/2(1)
Этот способ представляет собой получение среднего значения, в котором пропорция веса одинакова. Обычно дифференциальная энергия может быть уменьшена при двунаправленном прогнозировании по сравнению с однонаправленным прогнозированием. Это хорошо известно в ассоциации с технологией сжатия изображения, такой как MPEG (Группа экспертов движущегося изображения). В настоящем варианте выполнения также учитывается улучшение качества сформированного изображения СИ путем комбинирования и использования двунаправленного прогнозирования. Направление прогнозирования двух векторов может быть установлено в том же направлении по временной оси (вперед или назад), что и в технологии двунаправленного прогнозирования, известной как Н.264 и т.п.
При генерировании сформированного изображения СИ учитывают способ получения среднего двух изображений HBP(t) и ИВР (t+∆Т) с высоким разрешением и используют сгенерированное изображение для сформированного изображения СИ (t+h) как способ относительно простого двунаправленного прогнозирования. Этот способ является эффективным для видеоизображений, где субъект является неподвижным и содержится затухание.
Если субъект включает в себя движущийся объект, схема 202 генерирования изображения может выполнять двунаправленное прогнозирование по увеличенным изображениям УИ (t+h), УИ (t+h”), УИ (t) и выполнять компенсацию движения на основе изображений ИВР (t) с высоким разрешением и ИВР (t+∆Т). Схема 202 генерирования изображения может улучшить качество изображения для сформированного изображения СИ (t+h), используя информацию движения субъекта между увеличенными изображениями УИ (t+h) и УИ (t), информацию движения субъекта между УИ (t+h) и УИ (t+∆Т) или высокочастотный компонент множества промежуточных сгенерированных сформированных СИ' изображений.
Кроме того, как показано на фиг.5, при генерировании сформированного изображения СИ схема 202 генерировании изображения может определять точность прогнозирования движения по значению разности движения изображения, компенсированного на основе промежуточного сгенерированного сформированного изображения СИ' и увеличенного изображения УИ, соответствующего сформированному изображению СИ, и выводить увеличенное изображение Р в том виде, как оно есть, как сформированное изображения СИ, когда точность прогнозирования движения низкая.
(Способ обработки изображения)
Способ обработки изображения в соответствии с настоящим вариантом выполнения будет описан ниже со ссылкой на фиг.6. На фиг.6 показан пояснительный вид, описывающий поток обработки генерирования изображения в соответствии с настоящим вариантом выполнения.
Вначале модуль 212 прогнозирования движения увеличивает изображение LLRP с низким разрешением для генерирования увеличенного изображения УИ, имеющего такое же пространственное разрешение, как и изображение ИВР с высоким разрешением (S202). Затем инициализируют параметр b, обозначающий положение опорного блока, (S204). Затем определяют, превышает ли параметр В или нет максимальное значение b_max параметра b, (S206). Здесь b_max представляет собой количество блоков, содержавшихся в кадре.
Если b>b_max, схема 202 генерирования изображения прекращает процесс генерирования изображения. Если в <b_max, модуль 212 прогнозирования движения выполняет прогнозирование движения от текущего кадра(УИ (t+h”)) до ключевого кадра (УИ (t)) или от текущего кадра(УИ (t+h)) до кадра, из которого уже было сгенерировано изображение(УИ (t+h”)) с высоким разрешением (S208). Опорный кадр прогнозирования движения зависит от положения опорного кадра источника при последовательно выполняемом прогнозировании движения. Схема 202 генерирования изображения затем определяет, возможно или нет выполнение компенсации движения на основе магнитуды остаточного сигнала прогнозирования (S210).
Если определяют, что выполнение компенсации движения невозможно на этапе S210, модуль 214 компенсации движения выводит увеличенное изображение УИ (t+h) с этапа S202 как сформированное изображение СИ (t+h) (S216). Если определяют, что выполнение компенсации движения возможно, на этапе S210, модуль 214 компенсации движения выполняет определение дифференциального изображения (определение "D>Th" или "D≤Th": см. на фиг.5), используя изображение ИВР(1) с высоким разрешением, соответствующее ключевому кадру, и увеличенное изображение УИ (t+h), и определяет, возможно, или нет выполнение компенсации движения (S212).
Если определяют, что выполнение компенсации движения возможно на этапе S212, модуль 214 компенсации движения выполняет компенсацию движения, используя изображение ИВР (t) с высоким разрешением или сформированное изображение CH'(t+h”) (S214). В этом случае модуль 214 компенсации движения использует вектор движения от текущего кадра до ключевого кадра, полученного на этапе S208, размер блока модуля, информацию опорного кадра или тому подобное. Если определяют, что выполнение компенсации движения невозможно, на этапе S212, модуль 214 компенсации движения выводит увеличенное изображение УИ (t+h) как сформированное изображение СИ (t+h) (S216).
Схема 202 генерирования изображения затем выполняет последовательное увеличение параметра b (S218), и снова выполняет обработку, начиная с этапа S206. Схема 202 генерирования изображения последовательно выполняет компенсацию движения, но определяет, возможно, или нет выполнение компенсации движения, при выполнении определения дифференциального изображения во время компенсации движения. Схема 202 генерирования изображения, таким образом, может подавлять генерирование шумов в сформированном изображении СИ (t+h) из-за компенсации движения.
Функция, реализуемая каждым конфигурирующим элементом устройства 100 обработки изображения, может быть реализована заданной программой, используя устройство обработки информации, описанное ниже.
[Конфигурация аппаратных средств]
Функции устройства 100 обработки изображения могут быть реализованы с помощью устройства обработки информации, имеющего конфигурацию аппаратных средств, показанную на фиг.7. На фиг.7 показан пояснительный вид, представляющий пример аппаратной конфигурации устройства обработки информации, позволяющей реализовать функцию каждого из конфигурирующих элементов устройства 100 обработки изображения.
Как показано на фиг.6, устройство обработки информации, в основном, сконфигурировано на основе CPU (ЦПУ, центральное процессорное устройство) 902, ROM (ПЗУ, постоянное запоминающее устройство) 904, RAM (ОЗУ, оперативное запоминающее устройство) 906, главной шины 908, моста 910, внешней шины 912, интерфейса 914, входного модуля 916, выходного модуля 918, модуля 920 сохранения, привода 922, порта 924 соединения и модуля 926 передачи данных.
ЦПУ 902 выполняет функцию устройства обработки расчета или устройства управления и управляет всеми или частью операций каждого компонента на основе различных типов программ, записанных в ПЗУ 904, ОЗУ 906, модуль 920 сохранения или съемный носитель 928 записи. В ПЗУ 904 содержатся программы, считываемые ЦПУ 902, данные, используемые при расчетах, и т.п. В ОЗУ 906 временно или постоянно сохранены программы, считываемые ЦПУ 902, различные параметры, которые соответствующим образом изменяются при выполнении программы и т.п. Такие компоненты взаимно соединены с помощью главной шины 908, обеспечивающей высокоскоростную передачу данных. Главная шина 908 соединена с внешней шиной 912, скорость передачи данных которой относительно низка, через мост 910.
Входной модуль 916 представляет собой средство выполнения операций, таких как мышь, клавиатура, сенсорная панель, кнопка, переключатель, рычаг и т.п.. Входной модуль 916 может представлять собой средство пульта дистанционного управления, позволяющее передавать сигналы управления, используя инфракрасное излучение или другое электромагнитное излучение. Входной модуль 916 выполнен на основе схемы управления входом и т.п., для передачи информации, вводимой с использованием средства операций ЦПУ 902, как входной сигнал.
Модуль 918 выхода представляет собой устройство, позволяющее визуально или на уровне восприятий уведомлять пользователя о полученной информации, такое как устройство дисплея, включающее в себя CRT (ЭЛТ, электронно-лучевую трубку), LCD (ЖКД, жидкокристаллический дисплей), PDP (ППД, плазменную панель дисплея), или ELD (ЭЛД, электролюминесцентный дисплей), устройство вывода звука, включающее в себя громкоговоритель или головной телефон, принтер, портативный телефон, факсимильный аппарат или тому подобное.
Модуль 920 сохранения представляет собой устройство, предназначенное для сохранения различных типов данных и выполнен на основе магнитного устройства сохранения, такого как привод жесткого магнитного диска (HDD, ПЖД), полупроводниковое устройство сохранения, оптическое устройство сохранения, магнитооптическое устройство сохранения и т.п.
Привод 922 представляет собой устройство, предназначенное для считывания информации, записанной на съемном носителе 928 записи, таком как магнитный диск, оптический диск, магнитооптический диск или полупроводниковое запоминающее устройство, или записи информации на съемный носитель 928 записи. Съемный носитель 928 записи может представлять собой носитель типа DVD (УЦД, универсальный цифровой диск), носитель типа Blu-ray, носитель типа HD-DVD (DVD высокой плотности), носитель Compact Flash (зарегистрированный товарный знак), карта памяти типа memory stick, карта памяти SD (надежная цифровая карта памяти), или тому подобное. Съемный носитель 928 записи также может представлять собой IC-карту (карта с интегральной микросхемой), электронное устройство или тому подобное, установленное в интегральной микросхеме бесконтактного типа.
Порт 924 соединения представляет собой порт USB (УГОЛ, универсальная последовательная шина), порт IEEE 13 94, порт SCSI (интерфейс малой компьютерной системы), порт RS-232C или порт, предназначенный для подключения внешнего подключенного устройства 930, такого как оптический аудиотерминал. Внешнее подключенное устройство 930 может представлять собой принтер, портативный музыкальный проигрыватель, цифровую камеру, цифровую видеокамеру, устройство записи с интегральной микросхемой или тому подобное.
Модуль 926 передачи данных представляет собой устройство передачи данных, предназначенное для подключения к сети 932, и может представлять собой проводную или беспроводную LAN (ЛВС, локальная вычислительная сеть), Bluetooth (зарегистрированный товарный знак) или WUSB (беспроводный USB, БУПШ), карту передачи данных, оптический маршрутизатор передачи данных, маршрутизатор ADSL (АЛЦА, асимметричная линия цифрового абонента), или различные типы модема передачи данных. Сеть 932, подключенная к модулю 926 передачи данных, выполнена на основе проводной или беспроводной подключенной сети, и включает в себя Интернет, домашнюю ЛВС, инфракрасную передачу данных, широковещательную передачу данных, спутниковую передачу данных или тому подобное.
Для специалиста в данной области техники будет понятно, что различные модификации, комбинации, подкомбинации и изменения могут быть выполнены в зависимости от конструктивных требований и других факторов, если только они находятся в пределах объема приложенной формулы изобретения или ее эквивалентов.
Например, в описании описанного выше варианта выполнения, в основном, был описан, способ прогнозирования движения и компенсации движения относительно заднего кадра, но технический объем изобретения не ограничивается этим, и прогнозирование движения и компенсация движения могут быть выполнены на основе переднего кадра или переднего и заднего кадров.

Claims (8)

1. Устройство обработки изображения, содержащее:
модуль формирования изображения, предназначенный для формирования изображения и генерирования сигнала изображения,
модуль обработки, предназначенный для формирования на основе сигнала изображения первых видеоданных, содержащих множество кадров, и вторых видеоданных, имеющих более высокое разрешение, чем у кадров, содержащихся в первых видеоданных,
блок кодирования, предназначенный для сжатия первых и вторых видеоданных, подаваемых из модуля обработки, и записи их в модуле сохранения,
модуль генерирования изображения, предназначенный для детектирования вектора движения между кадрами, содержащимися в первых видеоданных, полученных из модуля сохранения, при этом кадр первых видеоданных увеличивают до такого же разрешения, как и кадр вторых видеоданных, и
для, на основе вторых видеоданных, полученных из модуля сохранения, и детектированного вектора движения, выполнения компенсации движения по кадру, расположенному между заданным кадром, содержащимся в первых видеоданных, принятых модулем приема, и кадром, содержащимся во вторых видеоданных, и последовательного генерирования данных изображения со скомпенсированным движением, соответствующих заданному кадру, на основе кадра со скомпенсированным движением и детектированного вектора движения, в котором модуль генерирования изображения выполняет компенсацию движения в порядке от кадра, соответствующего времени, близкому ко вторым видеоданным.
2. Устройство обработки изображения по п.1, в котором
первые видеоданные имеют более низкое пространственное разрешение, чем вторые видеоданные, и
вторые видеоданные имеют более высокое пространственное разрешение, чем первые видеоданные.
3. Устройство обработки изображения по п.1, в котором модуль сохранения сохраняет данные изображения, полученные путем уменьшения частоты выборки сигнала снятого изображения, как первые видеоданные.
4. Устройство обработки изображения по п.1, в котором, если величина различия между заданным кадром, содержащимся в первых видеоданных, и кадром, содержащимся во вторых видеоданных, меньше, чем заданное значение, модуль генерирования изображения выводит данные изображения, соответствующие заданному кадру, без выполнения компенсации движения по вторым видеоданным.
5. Устройство обработки изображения по п.1, в котором
первые видеоданные имеют более высокое временное разрешение, чем у вторых видеоданных, и
вторые видеоданные имеют более низкое временное разрешение, чем у первых видеоданных.
6. Устройство обработки изображения по п.1, в котором модуль сохранения включает в себя
первый модуль сохранения, предназначенный для сохранения первых видеоданных, и второй модуль сохранения, предназначенный для сохранения вторых видеоданных.
7. Устройство обработки изображения по п.1, дополнительно содержащее модуль записи, предназначенный для записи первых видеоданных и вторых данных в модуле сохранения.
8. Способ обработки изображения, содержащий следующие этапы:
формируют изображение и генерируют сигнал изображения,
формируют на основе сигнала изображения первые видеоданные, содержащие множество кадров, и вторые видеоданные, имеющие более высокое разрешение, чем у кадров, содержащихся в первых видеоданных,
кодируют видеоданные путем сжатия первых и вторых видеоданных, и записывают их в модуле сохранения,
детектируют вектор движения между кадрами, содержащимися в первых видеоданных, полученных из модуля сохранения, и
выполняют, на основе вторых видеоданных, полученных из модуля сохранения, и вектора движения, детектированного на этапе прогнозирования движения, компенсацию движения для кадра, расположенного между заданным кадром, содержащимся в первых видеоданных, полученных из модуля сохранения, и кадром, содержащимся во вторых видеоданных, и последовательно генерируют данные изображения со скомпенсированным движением, соответствующие заданному кадру, на основе кадра со скомпенсированным движением и вектора движения, детектированного на этапе прогнозирования движения, в котором компенсацию движения выполняют в порядке от кадра, соответствующего времени, близкому ко вторым видеоданным.
RU2011141290/08A 2007-06-18 2008-05-21 Устройство и способ обработки изображения RU2506713C2 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007-160590 2007-06-18
JP2007160590A JP4877090B2 (ja) 2007-06-18 2007-06-18 画像処理装置、画像処理方法、及びプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
RU2009147046/07A Division RU2446616C2 (ru) 2007-06-18 2008-05-21 Устройство обработки изображения, способ обработки изображения

Publications (2)

Publication Number Publication Date
RU2011141290A RU2011141290A (ru) 2013-04-20
RU2506713C2 true RU2506713C2 (ru) 2014-02-10

Family

ID=40156131

Family Applications (2)

Application Number Title Priority Date Filing Date
RU2009147046/07A RU2446616C2 (ru) 2007-06-18 2008-05-21 Устройство обработки изображения, способ обработки изображения
RU2011141290/08A RU2506713C2 (ru) 2007-06-18 2008-05-21 Устройство и способ обработки изображения

Family Applications Before (1)

Application Number Title Priority Date Filing Date
RU2009147046/07A RU2446616C2 (ru) 2007-06-18 2008-05-21 Устройство обработки изображения, способ обработки изображения

Country Status (8)

Country Link
US (1) US8804832B2 (ru)
EP (1) EP2161928B1 (ru)
JP (1) JP4877090B2 (ru)
KR (1) KR20100021574A (ru)
CN (2) CN102833457B (ru)
BR (1) BRPI0813400A2 (ru)
RU (2) RU2446616C2 (ru)
WO (1) WO2008155972A1 (ru)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2699258C2 (ru) * 2015-07-03 2019-09-04 Хуавей Текнолоджиз Ко., Лтд. Способ прогнозирования изображения и устройство прогнозирования изображения

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2153649A2 (en) * 2007-04-25 2010-02-17 David Chaum Video copy prevention systems with interaction and compression
WO2010010942A1 (ja) * 2008-07-25 2010-01-28 ソニー株式会社 画像処理装置および方法
US8483495B2 (en) * 2008-07-25 2013-07-09 Sony Corporation Image processing device and method
US20110158322A1 (en) * 2008-09-26 2011-06-30 Kazunori Ozawa SERVER APPARATUS, COMMUNICATION SYSTEM, AND COMMUNICATION METHOD, AND pROGRAM
JP5146335B2 (ja) * 2009-01-22 2013-02-20 ソニー株式会社 画像処理装置および方法、並びにプログラム
TWI440363B (zh) 2009-02-19 2014-06-01 Sony Corp Image processing apparatus and method
TWI463878B (zh) 2009-02-19 2014-12-01 Sony Corp Image processing apparatus and method
TWI468020B (zh) 2009-02-19 2015-01-01 Sony Corp Image processing apparatus and method
KR20110042980A (ko) * 2009-10-20 2011-04-27 삼성전자주식회사 반복 처리를 통해 화질을 개선하는 디스플레이 장치 및 이에 적용되는 영상 처리 방법
JP5625342B2 (ja) * 2009-12-10 2014-11-19 ソニー株式会社 画像処理方法、画像処理装置、プログラム
JP5428886B2 (ja) * 2010-01-19 2014-02-26 ソニー株式会社 情報処理装置、情報処理方法、及びそのプログラム
US20110243442A1 (en) * 2010-03-31 2011-10-06 Agrawal Amit K Video Camera for Acquiring Images with Varying Spatio-Temporal Resolutions
JP5703781B2 (ja) 2010-09-03 2015-04-22 ソニー株式会社 画像処理装置および方法
CN103262545B (zh) * 2010-12-17 2015-10-14 富士通株式会社 立体动态图像生成装置、立体动态图像生成方法
CN102821241B (zh) * 2011-06-10 2015-06-03 华晶科技股份有限公司 利用对象移动趋势驱动快门的装置及方法
KR101921935B1 (ko) * 2012-02-16 2018-11-27 삼성전자 주식회사 카메라의 동영상 촬영장치 및 방법.
GB2509704B (en) * 2013-01-04 2016-06-01 Canon Kk Method and device for processing prediction information for encoding or decoding at least part of an image
RU2677003C2 (ru) * 2013-03-15 2019-01-14 Конинклейке Филипс Н.В. Устройство и способ определения сигнала объема дыхания по данным изображения
CN104869381B (zh) * 2014-02-25 2017-07-25 炬芯（珠海）科技有限公司 一种图像处理***、方法及装置
US20150262380A1 (en) * 2014-03-17 2015-09-17 Qualcomm Incorporated Adaptive resolution in optical flow computations for an image processing system
CN105704403B (zh) * 2016-01-18 2019-04-23 深圳市金立通信设备有限公司 一种图像处理的方法及终端
JP2019134202A (ja) * 2018-01-29 2019-08-08 ソニーセミコンダクタソリューションズ株式会社 撮像装置および撮像素子の制御方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6249547B1 (en) * 1994-10-11 2001-06-19 Hitachi America, Ltd. Methods and apparatus for decoding high definition and standard definition digital video images using a single decoder apparatus
RU2201654C2 (ru) * 1997-12-23 2003-03-27 Томсон Лайсенсинг С.А. Способ низкошумового кодирования и декодирования
US20040264568A1 (en) * 2003-06-25 2004-12-30 Microsoft Corporation Hierarchical data compression system and method for coding video data
US20050219642A1 (en) * 2004-03-30 2005-10-06 Masahiko Yachida Imaging system, image data stream creation apparatus, image generation apparatus, image data stream generation apparatus, and image data stream generation system
WO2006137253A1 (ja) * 2005-06-22 2006-12-28 Matsushita Electric Industrial Co., Ltd. 画像生成装置および画像生成方法
RU2294058C2 (ru) * 1999-11-23 2007-02-20 Конинклейке Филипс Электроникс Н.В. Гибридное мелкозернистое масштабируемое видеокодирование с зависящим от времени отношением сигнал/шум

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH066760A (ja) * 1992-06-22 1994-01-14 Canon Inc 画像情報再生装置
KR100215586B1 (ko) 1992-11-09 1999-08-16 모리시타 요이찌 다이제스트 화상 자동생성 장치 및 다이제스트 화상 자동생성 방법
JP3404803B2 (ja) 1993-06-18 2003-05-12 松下電器産業株式会社 動画像記録媒体、静止画像抽出装置、動画像記録装置および静止画像自動抽出方法
JP3240339B2 (ja) * 1993-11-16 2001-12-17 コニカ株式会社 画像撮影装置及び画像処理装置
US5821986A (en) * 1994-11-03 1998-10-13 Picturetel Corporation Method and apparatus for visual communications in a scalable network environment
JP3631804B2 (ja) 1995-04-26 2005-03-23 富士写真フイルム株式会社 画像データ記録装置および方法
JP4244394B2 (ja) * 1998-02-17 2009-03-25 富士ゼロックス株式会社 多地点会議システム
US6285804B1 (en) * 1998-12-21 2001-09-04 Sharp Laboratories Of America, Inc. Resolution improvement from multiple images of a scene containing motion at fractional pixel values
JP4697500B2 (ja) * 1999-08-09 2011-06-08 ソニー株式会社 送信装置および送信方法、受信装置および受信方法、並びに記録媒体
EP1300023A2 (en) * 2000-06-30 2003-04-09 Koninklijke Philips Electronics N.V. Encoding method for the compression of a video sequence
US6621865B1 (en) * 2000-09-18 2003-09-16 Powerlayer Microsystems, Inc. Method and system for encoding and decoding moving and still pictures
KR100783396B1 (ko) 2001-04-19 2007-12-10 엘지전자 주식회사 부호기의 서브밴드 분할을 이용한 시공간 스케일러빌러티방법
US7949047B2 (en) * 2003-03-17 2011-05-24 Qualcomm Incorporated System and method for partial intraframe encoding for wireless multimedia transmission
JP4193552B2 (ja) * 2003-04-04 2008-12-10 ソニー株式会社 画像データ記録再生装置及び方法
JP4288992B2 (ja) 2003-04-04 2009-07-01 ソニー株式会社 撮像装置及び方法
US7627040B2 (en) * 2003-06-10 2009-12-01 Rensselaer Polytechnic Institute (Rpi) Method for processing I-blocks used with motion compensated temporal filtering
TWI255146B (en) 2003-12-04 2006-05-11 Nec Corp Moving picture encoding method and device, and moving picture decoding method and device, and storage medium
US7660487B2 (en) * 2003-12-10 2010-02-09 Sony Corporation Image processing method and apparatus with image resolution conversion related to relative movement detection
JP4453976B2 (ja) 2004-03-30 2010-04-21 正彦 谷内田 画像生成装置、画像データ列生成システム、及び画像伝送システム
JP2006115475A (ja) * 2004-09-15 2006-04-27 Seiko Epson Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2006174415A (ja) * 2004-11-19 2006-06-29 Ntt Docomo Inc 画像復号装置、画像復号プログラム、画像復号方法、画像符号化装置、画像符号化プログラム及び画像符号化方法
JP2007096412A (ja) * 2005-09-27 2007-04-12 Victor Co Of Japan Ltd 動画撮影装置及び動画送受信システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6249547B1 (en) * 1994-10-11 2001-06-19 Hitachi America, Ltd. Methods and apparatus for decoding high definition and standard definition digital video images using a single decoder apparatus
RU2201654C2 (ru) * 1997-12-23 2003-03-27 Томсон Лайсенсинг С.А. Способ низкошумового кодирования и декодирования
RU2294058C2 (ru) * 1999-11-23 2007-02-20 Конинклейке Филипс Электроникс Н.В. Гибридное мелкозернистое масштабируемое видеокодирование с зависящим от времени отношением сигнал/шум
US20040264568A1 (en) * 2003-06-25 2004-12-30 Microsoft Corporation Hierarchical data compression system and method for coding video data
US20050219642A1 (en) * 2004-03-30 2005-10-06 Masahiko Yachida Imaging system, image data stream creation apparatus, image generation apparatus, image data stream generation apparatus, and image data stream generation system
WO2006137253A1 (ja) * 2005-06-22 2006-12-28 Matsushita Electric Industrial Co., Ltd. 画像生成装置および画像生成方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2699258C2 (ru) * 2015-07-03 2019-09-04 Хуавей Текнолоджиз Ко., Лтд. Способ прогнозирования изображения и устройство прогнозирования изображения
US10560714B2 (en) 2015-07-03 2020-02-11 Huawei Technologies Co., Ltd. Picture prediction method and picture prediction apparatus
US10771809B2 (en) 2015-07-03 2020-09-08 Huawei Technologies Co., Ltd. Picture prediction method and picture prediction apparatus
US11240529B2 (en) 2015-07-03 2022-02-01 Huawei Technologies Co., Ltd. Picture prediction method and picture prediction apparatus
US11831902B2 (en) 2015-07-03 2023-11-28 Huawei Technologies Co., Ltd. Picture prediction method and picture prediction apparatus

Also Published As

Publication number Publication date
RU2011141290A (ru) 2013-04-20
KR20100021574A (ko) 2010-02-25
RU2446616C2 (ru) 2012-03-27
US8804832B2 (en) 2014-08-12
CN101690189A (zh) 2010-03-31
EP2161928A1 (en) 2010-03-10
EP2161928B1 (en) 2013-12-04
CN102833457B (zh) 2016-05-04
RU2009147046A (ru) 2011-07-10
EP2161928A4 (en) 2011-01-26
JP2008312162A (ja) 2008-12-25
BRPI0813400A2 (pt) 2014-12-30
US20100118963A1 (en) 2010-05-13
CN102833457A (zh) 2012-12-19
WO2008155972A1 (ja) 2008-12-24
CN101690189B (zh) 2012-10-10
JP4877090B2 (ja) 2012-02-15

Similar Documents

Publication Publication Date Title
RU2506713C2 (ru) Устройство и способ обработки изображения
US8233746B2 (en) Image processing device, image processing method and program
RU2446617C2 (ru) Устройство обработки изображения, способ обработки изображения
KR20070050822A (ko) 촬상 장치, 화상 처리 방법, 및 프로그램
JP4780222B2 (ja) 撮像装置、撮像方法、プログラム、及び記録媒体
US8189102B2 (en) Image processing apparatus using interpolation direction
JP5113479B2 (ja) 画像信号処理装置及び画像信号処理方法
JP5170296B2 (ja) 撮像装置、撮像方法、プログラム、及び記録媒体
JP5327296B2 (ja) 画像処理装置、画像処理方法、プログラム、及び記録媒体
JP5327297B2 (ja) 撮像装置、撮像方法、プログラム、及び記録媒体
JP2010288006A (ja) 動画像データ処理装置、撮像装置および動画像再生装置
JP2006186441A (ja) 画像処理装置