JP2014014084A - Image processing apparatus, image processing method, and program - Google Patents
Image processing apparatus, image processing method, and program Download PDFInfo
- Publication number
- JP2014014084A JP2014014084A JP2013154340A JP2013154340A JP2014014084A JP 2014014084 A JP2014014084 A JP 2014014084A JP 2013154340 A JP2013154340 A JP 2013154340A JP 2013154340 A JP2013154340 A JP 2013154340A JP 2014014084 A JP2014014084 A JP 2014014084A
- Authority
- JP
- Japan
- Prior art keywords
- image
- signal
- eye
- input
- luminance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
本発明は、画像処理装置、および画像処理方法、並びにプログラムに関し、特に２次元画像に対する画像変換を実行してステレオ視（立体視）に対応した両眼視差画像を生成する画像処理装置、および画像処理方法、並びにプログラムに関する。 The present invention relates to an image processing device, an image processing method, and a program, and in particular, an image processing device that performs image conversion on a two-dimensional image to generate a binocular parallax image corresponding to stereo vision (stereoscopic vision), and an image The present invention relates to a processing method and a program.
２次元画像をステレオ視（立体視）に対応した両眼視差画像に変換する装置および方法について従来から様々な提案がなされている。２次元画像に基づいて生成された両眼視差画像は、左眼で観察する左眼用画像と右眼で観察する右眼用画像のペアによって構成される。これらの左眼用画像と右眼用画像のペアによって構成される両眼視差画像を、左眼用画像と右眼用画像をそれぞれ分離して観察者の左眼と右眼に提示することを可能とした表示装置に表示することで、観察者は画像を立体画像として知覚することができる。 Conventionally, various proposals have been made on an apparatus and a method for converting a two-dimensional image into a binocular parallax image corresponding to stereo vision (stereoscopic vision). The binocular parallax image generated based on the two-dimensional image is composed of a pair of a left-eye image observed with the left eye and a right-eye image observed with the right eye. A binocular parallax image composed of a pair of these left-eye image and right-eye image is presented to the left and right eyes of the observer by separating the left-eye image and the right-eye image, respectively. By displaying on the enabled display device, the observer can perceive the image as a stereoscopic image.
このような画像の生成や表示処理に関して開示した従来技術には以下のようなものがある。
例えば、特許文献１は水平方向に動きがある動画像に対する画像処理構成を開示している。具体的には左眼用画像または右眼用画像の一方に原画像を出力し、他方にはフィールド単位で遅延させた画像を出力する構成である。このような画像出力制御により、水平に移動する物体を背景よりも手前に知覚させるものである。
Conventional techniques disclosed with respect to such image generation and display processing include the following.
For example, Patent Document 1 discloses an image processing configuration for a moving image that moves in the horizontal direction. Specifically, the original image is output to one of the left-eye image and the right-eye image, and the image delayed by the field unit is output to the other. By such image output control, a horizontally moving object is perceived in front of the background.
また、特許文献２は、静止画像や動きの少ない画像に対して、左眼用画像と右眼用画像を所定量だけ水平方向にずらすことにより、画像が浮き上がったように知覚させる装置を提案している。
また、特許文献３は、画像を複数の視差算出領域に分割し、各領域において画像の特徴量から擬似的な奥行きを算出し、奥行きに基づいて左眼用画像と右眼用画像を反対方向に水平シフトする方法を提案している。
Further, Patent Document 2 proposes an apparatus that perceives an image as if it floated by shifting a left-eye image and a right-eye image in a horizontal direction by a predetermined amount with respect to a still image or an image with little motion. ing.
Further, Patent Document 3 divides an image into a plurality of parallax calculation regions, calculates a pseudo depth from the feature amount of the image in each region, and sets the left eye image and the right eye image in opposite directions based on the depth. A method of horizontal shifting is proposed.
また、特許文献４には、特許文献３と同様にして、画像の特徴量から算出される遅延量に基づいて、左眼用画像と右眼用画像の水平遅延量を変化させながら、水平遅延量に制限を与えることにより必要以上に網膜像差が生じないようにすることで眼の疲労度を防ぐ提案がなされている。
さらに、特許文献５には、画像の上部と下部の特徴量を算出し、予め用意した奥行き情報を表す複数のシーン構造の合成比率を調整することより、画像を単純な構造の組み合わせで表現する方法が提案されている。
ところで、上記の従来技術には以下に示すような問題がある。
Further, in Patent Document 4, as in Patent Document 3, the horizontal delay is performed while changing the horizontal delay amount of the left-eye image and the right-eye image based on the delay amount calculated from the image feature amount. Proposals have been made to prevent eye fatigue by limiting the amount so as not to cause retinal image differences more than necessary.
Further, Patent Document 5 expresses an image with a combination of simple structures by calculating feature amounts of the upper and lower parts of the image and adjusting a composition ratio of a plurality of scene structures representing depth information prepared in advance. A method has been proposed.
By the way, the above-described prior art has the following problems.
特許文献１に記載の画像変換装置では、水平方向に一定の速度で動く物体に対してのみ良好な立体視が可能である。複数の動被写体が写っているような画像や、複雑な動きが含まれる画像においては両眼視差が正しく設定されず、不自然な位置に物体が配置されたり、網膜像差が大きくなりすぎるために立体視が成立しなくなることが考えられる。
また、特許文献２に記載の画像変換装置では、静止画や動きの少ない画像に対しては、画面全体をずらすのみであり、画像中の物体の前後関係を表現することは出来ない。
In the image conversion apparatus described in Patent Document 1, good stereoscopic vision is possible only for an object moving at a constant speed in the horizontal direction. Binocular parallax is not set correctly in images that include multiple moving subjects or images that include complex movements, and objects are placed in unnatural positions or the retinal image difference becomes too large. It is conceivable that stereoscopic vision is not established.
In addition, the image conversion apparatus described in Patent Document 2 only shifts the entire screen for a still image or an image with little motion, and cannot express the front-rear relationship of objects in the image.
特許文献３、および特許文献４に記載の画像変換装置では、画像の特徴量から擬似的な奥行きを推定するが、推定は画面前方にある物体の先鋭度が高い、輝度が高い、彩度が高いなどの仮定に基づいており、必ずしも正しい推定が行われるとは限らない。このため、奥行き推定を誤った物体に対しては誤った網膜像差が与えられるため、誤った位置に配置されてしまう。 In the image conversion apparatuses described in Patent Document 3 and Patent Document 4, the pseudo depth is estimated from the feature amount of the image. The estimation is performed with high sharpness, high brightness, and saturation of the object in front of the screen. Based on assumptions such as high, correct estimation is not always performed. For this reason, since an incorrect retinal image difference is given to an object whose depth estimation is incorrect, the object is placed at an incorrect position.
特許文献５に記載の画像変換装置は、画像の構造を比較的単純な有限の構造に当てはめる構成であり、不自然な奥行きが発生することは抑制される。しかしながら、上記の全ての従来手法に共通する問題であるが、生成された両眼視差画像には、比較的大きな網膜像差が発生する。この両眼視差画像は、立体表示装置を利用して立体表示されるが、一般的には偏光フィルタや、色フィルタにより左右の眼各々によって観察する画像を分離するパッシブ眼鏡方式、または液晶シャッタにより時間的に左右分離するアクティブ眼鏡方式など、立体視用の特殊な眼鏡を装着して画像を観察する立体表示装置が利用される。 The image conversion apparatus described in Patent Document 5 has a configuration in which the structure of an image is applied to a relatively simple finite structure, and generation of an unnatural depth is suppressed. However, although it is a problem common to all the above conventional methods, a relatively large retinal image difference occurs in the generated binocular parallax image. This binocular parallax image is stereoscopically displayed using a stereoscopic display device. Generally, the binocular parallax image is displayed by a polarizing filter, a passive spectacle system that separates images observed by the left and right eyes using a color filter, or a liquid crystal shutter. A stereoscopic display device that uses special glasses for stereoscopic viewing and observes an image, such as an active glasses method that temporally separates left and right, is used.
大きな網膜像差を与えられた両眼視差画像を見る場合、このような立体視用の眼鏡をかけた状態では網膜像差に従った立体感を知覚することが出来る。しかし、眼鏡をはずした状態で、画面をみると左右の画像が大きく重なった２重の画像が見えてしまい、通常の２次元画像として観察することはできない。つまり、これら従来の画像変換装置により変換された画像は、眼鏡をかけた状態でしか鑑賞することができなかった。 When viewing a binocular parallax image given a large retinal image difference, it is possible to perceive a stereoscopic effect according to the retinal image difference in such a state of wearing stereoscopic glasses. However, when the screen is viewed with the glasses removed, a double image in which the left and right images are greatly overlapped is visible, and cannot be observed as a normal two-dimensional image. In other words, the images converted by these conventional image conversion devices can only be viewed while wearing glasses.
また、大きな網膜像差は、観察者の疲れにも影響すると考えられる。例えば特許文献６には、左眼と右眼の画像が大きくずれている場合には、現実世界での見え方に対して、輻輳角の制御と水晶体の調整に矛盾が生じ、この矛盾が両眼視差を用いた立体視における疲労に繋がっているとの記述がある。 A large retinal image difference is considered to affect the fatigue of the observer. For example, in Patent Document 6, when the images of the left eye and the right eye are greatly deviated, there is a contradiction in the control of the convergence angle and the adjustment of the crystalline lens with respect to the appearance in the real world. There is a description that it leads to fatigue in stereoscopic vision using eye parallax.
また、特許文献３、特許文献４、および特許文献５に記載の画像変換装置では、画像から擬似的な奥行きを推定しているが、１枚の画像から詳細な奥行きを検出することは難しく、たとえば、樹木の枝や電線、髪の毛のような微細な構造に対する奥行きの推定を行うことは容易ではない。従って、これらの微細な被写体に立体感を持たせることはできなかった。 Further, in the image conversion devices described in Patent Document 3, Patent Document 4, and Patent Document 5, the pseudo depth is estimated from the image, but it is difficult to detect the detailed depth from one image. For example, it is not easy to estimate the depth for fine structures such as tree branches, electric wires, and hair. Accordingly, it has been impossible to give these fine subjects a stereoscopic effect.
本発明は、例えば上記の問題を解決し、奥行き推定の誤りにより誤った立体感の発生を抑制し、左右の画像が合成された場合に原画像、または原画像に近い画像を復元可能とする。すなわち、立体視対応の眼鏡をはずした状態では通常の２次元画像として鑑賞することが可能であり、かつ観察者の疲労の少ない両眼視差画像の生成、提示を実現する画像処理装置、および画像処理方法、並びにプログラムを提供することにある。 The present invention solves, for example, the above-described problem, suppresses the occurrence of an erroneous stereoscopic effect due to an error in depth estimation, and allows the original image or an image close to the original image to be restored when the left and right images are combined. . That is, an image processing apparatus that can generate and present a binocular parallax image that can be viewed as an ordinary two-dimensional image with less stereoscopic fatigue when the stereoscopic glasses are removed, and an image It is to provide a processing method and a program.
本開示の第１の側面は、
画像信号の微分信号を前記画像信号に加算した信号と前記画像信号の微分信号を前記画像信号から減算した信号との組を、左眼用画像と右眼用画像との組として生成する画像変換部、
を備える画像処理装置にある。
The first aspect of the present disclosure is:
Image conversion for generating a set of a signal obtained by adding a differential signal of an image signal to the image signal and a signal obtained by subtracting a differential signal of the image signal from the image signal as a set of a left-eye image and a right-eye image Part,
In an image processing apparatus.
さらに、本開示の画像処理装置の一実施態様において、前記画像変換部は、画像信号の輝度微分信号を前記画像信号の輝度信号に加算した信号と前記画像信号の輝度微分信号を前記画像信号の輝度信号から減算した信号との組を、左眼用画像の輝度信号と右眼用画像の輝度信号との組として生成する。 Furthermore, in an embodiment of the image processing device of the present disclosure, the image conversion unit includes a signal obtained by adding the luminance differential signal of the image signal to the luminance signal of the image signal and the luminance differential signal of the image signal of the image signal. A set of the signal subtracted from the luminance signal is generated as a set of the luminance signal of the left-eye image and the luminance signal of the right-eye image.
さらに、本開示の画像処理装置の一実施態様において、前記輝度微分信号に非線形変換処理をおこなう非線形変換部を更に備え、前記画像変換部は、前記非線形変換部より非線形変換された輝度微分信号を前記画像信号の輝度信号に加算した信号と前記非線形変換部より非線形変換された輝度微分信号を前記画像信号の輝度信号から減算した信号との組を、前記左眼用画像と前記右眼用画像との組として生成する。 Furthermore, in an embodiment of the image processing device of the present disclosure, the image processing apparatus further includes a nonlinear conversion unit that performs a nonlinear conversion process on the luminance differential signal, and the image conversion unit receives the luminance differential signal nonlinearly converted by the nonlinear conversion unit. A set of a signal added to the luminance signal of the image signal and a signal obtained by subtracting the luminance differential signal nonlinearly converted by the nonlinear conversion unit from the luminance signal of the image signal is the left-eye image and the right-eye image. And as a pair.
さらに、本開示の画像処理装置の一実施態様において、前記画像変換部は、前記画像信号の色差微分信号を前記画像信号の色差信号に加算した信号と前記画像信号の色差微分信号を前記画像信号の色差信号から減算した信号との組を、左眼用画像の色差信号と右眼用画像の色差信号との組として生成する。 Furthermore, in an embodiment of the image processing apparatus according to the present disclosure, the image conversion unit includes a signal obtained by adding a color difference differential signal of the image signal to a color difference signal of the image signal and a color difference differential signal of the image signal as the image signal. A pair of signals subtracted from the color difference signal is generated as a pair of a color difference signal for the left-eye image and a color difference signal for the right-eye image.
さらに、本開示の画像処理装置の一実施態様において、前記画像変換部は、前記画像信号の輝度微分信号が非線形変換処理された信号と前記輝度微分信号との比に対する前記色差微分信号の乗算値を前記画像信号の色差信号に加算した信号と、前記画像信号の輝度微分信号が非線形変換処理された信号と前記輝度微分信号との比に対する前記色差微分信号の乗算値を前記画像信号の色差信号から減算した信号との組を、左眼用画像の色差信号と右眼用画像の色差信号との組として生成する。 Furthermore, in an embodiment of the image processing device according to the present disclosure, the image conversion unit is a multiplication value of the color difference differential signal with respect to a ratio between the luminance differential signal of the image signal and the luminance differential signal. Is added to the color difference signal of the image signal, and the product of the luminance differential signal of the image signal and the luminance differential signal multiplied by the ratio of the luminance differential signal to the ratio of the luminance differential signal and the color difference signal of the image signal. A pair of signals subtracted from the color difference signal of the image for the left eye and a color difference signal of the image for the right eye are generated.
さらに、本開示の第２の側面は、
画像処理装置において実行する画像処理方法であり、
画像変換部が、画像信号の微分信号を前記画像信号に加算した信号と前記画像信号の微分信号を前記画像信号から減算した信号との組を、左眼用画像と右眼用画像との組として生成する画像処理方法にある。
Furthermore, the second aspect of the present disclosure is:
An image processing method executed in an image processing apparatus,
A set of a signal obtained by adding an image signal differential signal to the image signal and a signal obtained by subtracting the image signal differential signal from the image signal is a set of a left-eye image and a right-eye image. As an image processing method.
さらに、本開示の第３の側面は、
画像処理装置に画像処理を実行させるプログラムであり、
画像変換部に、画像信号の微分信号を前記画像信号に加算した信号と前記画像信号の微分信号を前記画像信号から減算した信号との組を、左眼用画像と右眼用画像との組として生成させるプログラムにある。
Furthermore, the third aspect of the present disclosure is:
A program for causing an image processing apparatus to execute image processing,
In the image conversion unit, a set of a signal obtained by adding a differential signal of an image signal to the image signal and a signal obtained by subtracting a differential signal of the image signal from the image signal is a set of a left-eye image and a right-eye image. In the program to be generated.
さらに、本開示の第４の側面は、
画像処理装置に画像処理を実行させるプログラムを記録した記録媒体であり、
画像変換部に、画像信号の微分信号を前記画像信号に加算した信号と前記画像信号の微分信号を前記画像信号から減算した信号との組を、左眼用画像と右眼用画像との組として生成させるプログラムを記録した記録媒体にある。
Furthermore, the fourth aspect of the present disclosure is:
A recording medium recording a program for causing an image processing apparatus to perform image processing;
In the image conversion unit, a set of a signal obtained by adding a differential signal of an image signal to the image signal and a signal obtained by subtracting a differential signal of the image signal from the image signal is a set of a left-eye image and a right-eye image. As a recording medium on which a program to be generated is recorded.
なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。 The program of the present invention is, for example, a program that can be provided by a storage medium or a communication medium provided in a computer-readable format to a general-purpose system capable of executing various program codes. By providing such a program in a computer-readable format, processing corresponding to the program is realized on the computer system.
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。 Other objects, features, and advantages of the present invention will become apparent from a more detailed description based on embodiments of the present invention described later and the accompanying drawings. In this specification, the system is a logical set configuration of a plurality of devices, and is not limited to one in which the devices of each configuration are in the same casing.
本発明の一実施例構成によれば、２次元画像信号を入力して、両眼立体視を実現するための左眼用画像と右眼用画像を生成する構成において、画像変換部が入力画像信号の空間的な特徴量を抽出し、入力画像信号に対して特徴量を適用した異なる強調処理を施すことで左眼用画像と右眼用画像を生成する。具体的には、入力画像信号の輝度微分信号、あるいは輝度微分信号を非線形変換して生成した信号を特徴量とする。入力画像信号に対してこの特徴量を加算した信号と減算した信号を生成し、これらの２つの信号の組を左眼用画像と右眼用画像の組として生成する。本構成により、簡易な信号処理で、立体視の可能な画像の生成が可能となる。また、左眼用画像と右眼用画像の加算信号は、入力信号に等しくなるので、立体視用のメガネを用いないで画像を観察した場合には通常の２次元画像として観察することが可能となる。 According to the configuration of one embodiment of the present invention, in the configuration in which a two-dimensional image signal is input and a left-eye image and a right-eye image for realizing binocular stereoscopic vision are generated, the image conversion unit inputs the input image. A spatial feature amount of the signal is extracted, and different enhancement processes using the feature amount are performed on the input image signal to generate a left eye image and a right eye image. Specifically, the luminance differential signal of the input image signal or a signal generated by nonlinear transformation of the luminance differential signal is used as the feature amount. A signal obtained by adding and subtracting the feature amount to the input image signal is generated, and a set of these two signals is generated as a set of a left-eye image and a right-eye image. With this configuration, it is possible to generate a stereoscopically viewable image with simple signal processing. In addition, since the addition signal of the left eye image and the right eye image is equal to the input signal, it can be viewed as a normal two-dimensional image when the image is observed without using stereoscopic glasses. It becomes.
以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。説明は以下の項目に従って行う。
１．本発明の画像処理装置の第１実施例
１−１．本発明の画像処理装置の構成と処理の概要
１−２．本発明の画像処理装置の生成する左右眼用画像の構成と出力例
１−３．本発明の画像処理装置の生成する左右眼用画像の網膜像差について
１−４．本発明の画像処理装置の画像変換部の処理シーケンスについて
２．特定画像領域の検出と制御処理を含む本発明の画像処理装置の第２実施例
３．色差信号に対応する左右眼用画像信号を生成する本発明の画像処理装置の第３実施例
４．画像表示部を持つ画像処理装置の構成例
The details of the image processing apparatus, image processing method, and program of the present invention will be described below with reference to the drawings. The explanation will be made according to the following items.
1. 1. First embodiment of image processing apparatus of the present invention 1-1. Outline of configuration and processing of image processing apparatus of present invention 1-2. Configuration and output example of left and right eye image generated by image processing apparatus of present invention 1-3. Retinal image difference between left and right eye images generated by the image processing apparatus of the present invention 1-4. 1. Processing sequence of image conversion unit of image processing apparatus of the present invention 2. Second embodiment of image processing apparatus of the present invention including detection and control processing of specific image area 3. Third embodiment of image processing apparatus of the present invention for generating left and right eye image signals corresponding to color difference signals Configuration example of an image processing apparatus having an image display unit
［１．本発明の画像処理装置の第１実施例］
まず、図１以下を参照して本発明の画像処理装置の第１実施例について説明する。
[1. First Embodiment of Image Processing Apparatus of the Present Invention]
First, a first embodiment of the image processing apparatus of the present invention will be described with reference to FIG.
（１−１．本発明の画像処理装置の構成と処理の概要）
図１は、本発明の画像処理装置の一実施例を示す図である。画像処理装置１００は、画像入力部１１０において、デジタルスチルカメラなどから出力される静止画像ファイルや、カムコーダなどから出力される動画像データを受け取り、内部データ形式に変換する。ここで、内部データ形式は、ベースバンドの動画像データであり、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の三原色のビデオデータ、または、輝度（Ｙ）、色差（Ｃｂ，Ｃｒ）のビデオデータである。内部データ形式は、色空間の識別信号が重畳されており、後段の色空間変換部２が対応していればどのような色空間でも構わない。
(1-1. Outline of Configuration and Processing of Image Processing Apparatus of Present Invention)
FIG. 1 is a diagram showing an embodiment of an image processing apparatus according to the present invention. In the image processing apparatus 100, the image input unit 110 receives still image files output from a digital still camera or moving image data output from a camcorder or the like, and converts them into an internal data format. Here, the internal data format is baseband moving image data, video data of three primary colors of red (R), green (G), and blue (B), or luminance (Y), color difference (Cb, Cr). Video data. The internal data format may be any color space as long as the color space identification signal is superimposed and the subsequent color space conversion unit 2 is compatible.
画像入力部１１０から出力されたビデオデータは、色空間変換部１２０に入力され、輝度信号と色差信号に変換される。このとき、入力ビデオデータが画像変換部１３０の処理データに適合している場合、例えば、Ｙ，Ｃｂ，Ｃｒ色空間に従う場合には、色空間変換部１２０は、色空間の変換を行わずに出力する。入力ビデオデータがＲ，Ｇ，Ｂ色空間、または他の色空間に従う場合には、色空間変換部１２０は、輝度（Ｙ）、色差（Ｃｂ，Ｃｒ）信号への変換を行い出力する。 Video data output from the image input unit 110 is input to the color space conversion unit 120 and converted into a luminance signal and a color difference signal. At this time, when the input video data conforms to the processing data of the image conversion unit 130, for example, when following the Y, Cb, Cr color space, the color space conversion unit 120 does not perform color space conversion. Output. When the input video data conforms to the R, G, B color space, or another color space, the color space conversion unit 120 converts the input video data into luminance (Y) and color difference (Cb, Cr) signals and outputs them.
なお、色空間変換部１２０から出力するビデオデータの色空間は、Ｙ，Ｃｂ，Ｃｒ空間に限るものではなく、画像変換部１３０の処理データに適合し、輝度成分と色成分が分離された色空間であれば、どのような空間でも構わない。例えば輝度信号（Ｙ）と色差信号（Ｕ，Ｖ）を用いてもよい。 Note that the color space of the video data output from the color space conversion unit 120 is not limited to the Y, Cb, and Cr spaces, and is a color that is suitable for the processing data of the image conversion unit 130 and that has the luminance component and color component separated. Any space can be used as long as it is a space. For example, a luminance signal (Y) and a color difference signal (U, V) may be used.
色空間変換部１２０から出力されたビデオデータは、画像変換部１３０に入力される。画像変換部１３０は、後述する処理によって左眼用と右眼用の両眼視差画像を生成し、立体表示装置の形式に従ってこれらの画像を合成して出力する。すなわち画像変換部１３０は、入力画像信号の空間的な特徴量を抽出し、抽出した特徴量を適用した異なる強調処理を施すことで左眼用画像と右眼用画像を生成する処理を行う。 The video data output from the color space conversion unit 120 is input to the image conversion unit 130. The image conversion unit 130 generates left-eye and right-eye binocular parallax images by processing to be described later, and synthesizes and outputs these images according to the format of the stereoscopic display device. That is, the image conversion unit 130 performs processing for generating a left-eye image and a right-eye image by extracting a spatial feature amount of the input image signal and applying different enhancement processes to which the extracted feature amount is applied.
画像変換部１３０から出力されたビデオデータは、色空間逆変換部１４０に入力され、Ｙ，Ｃｂ，Ｃｒ色空間から出力画像フォーマットに従った色空間へ変換される。このとき、出力画像フォーマットがＹ，Ｃｂ，Ｃｒ色空間に従う場合には、色空間逆変換部１４０は、色空間の変換を行わずに出力する。このように図１には、色空間変換部１２０、色空間逆変換部１４０を有する構成を示しているが、これらの構成は、必須構成ではなく、省略した構成も可能である。 The video data output from the image conversion unit 130 is input to the color space inverse conversion unit 140 and converted from the Y, Cb, Cr color space to the color space according to the output image format. At this time, if the output image format conforms to the Y, Cb, or Cr color space, the color space inverse conversion unit 140 outputs the image without performing color space conversion. As described above, FIG. 1 illustrates a configuration including the color space conversion unit 120 and the color space inverse conversion unit 140. However, these configurations are not essential and may be omitted.
色空間逆変換部１４０から出力されたビデオデータは、画像出力部１５０に入力される。画像出力部１５０は、画像変換部１３０で変換された両眼視差画像を表示して立体視を実現することが可能な外部接続した立体表示装置において受信可能なビデオデータに変換して出力する。 The video data output from the color space inverse conversion unit 140 is input to the image output unit 150. The image output unit 150 converts the binocular parallax image converted by the image conversion unit 130 into video data that can be received by an externally connected stereoscopic display device that can realize stereoscopic viewing and outputs the video data.
なお、本実施例においては、静止画像を入力した場合、画像入力部１１０においてビデオデータに変換する方法を記載しているが、この方法に限らず、１枚の静止画像から２枚の左眼用画像と右眼用画像に変換し、２枚の静止画像として例えばメモリカードなどにファイル出力する構成にしても構わない。 In the present embodiment, a method of converting video data in the image input unit 110 when a still image is input is described. However, the present invention is not limited to this method, and two left eyes are converted from one still image. For example, the image may be converted into an image for the right eye and an image for the right eye, and output as a file to a memory card or the like as two still images.
図２は、画像入力部１１０の一実施例の構成を示すブロック図である。画像入力部１１０は、静止画像ファイルなどを入力するためのメモリカードインタフェース１１１、映像機器を直接接続するためのＵＳＢインタフェース１１２、ビデオ信号を入力するためのビデオインタフェース１１３、フレームメモリ１１４、デコーダ１１５、ビデオ出力部１１６で構成されている。 FIG. 2 is a block diagram illustrating a configuration of an example of the image input unit 110. The image input unit 110 includes a memory card interface 111 for inputting still image files, a USB interface 112 for directly connecting video equipment, a video interface 113 for inputting video signals, a frame memory 114, a decoder 115, The video output unit 116 is configured.
画像入力部１１０における処理の一例として、静止画像を入力する場合の処理シーケンスに関して図３に示すフローチャートを参照して説明する。 As an example of processing in the image input unit 110, a processing sequence when a still image is input will be described with reference to a flowchart shown in FIG.
ステップＳ１０１において、画像入力部１１０は、静止画像の入力を開始する。
ステップＳ１０２において、画像入力部１１０は、メモリカードインタフェース１１１にメモリカードが挿入されているかどうかを確認し、メモリカードから画像データを入力するかどうかを判断する。メモリカードが挿入されている場合にはステップＳ１０４に進み、メモリカードが挿入されていない場合にはステップ１０３に進む。
In step S101, the image input unit 110 starts inputting a still image.
In step S102, the image input unit 110 checks whether a memory card is inserted into the memory card interface 111, and determines whether to input image data from the memory card. If a memory card is inserted, the process proceeds to step S104. If a memory card is not inserted, the process proceeds to step 103.
ステップＳ１０３では、画像入力部１１０は、ＵＳＢインタフェース１１２に静止画像入力が可能な外部機器が接続されているかどうかを確認し、ＵＳＢインタフェース１１２から画像データを入力するかどうかを判断する。ＵＳＢ機器が接続されている場合にはステップＳ１０５に進み、ＵＳＢ機器が接続されていない場合には、画像入力処理を終了する。 In step S <b> 103, the image input unit 110 confirms whether an external device capable of inputting a still image is connected to the USB interface 112, and determines whether to input image data from the USB interface 112. If the USB device is connected, the process proceeds to step S105. If the USB device is not connected, the image input process is terminated.
ここで、どの媒体から動画像データを入力するかの判断には、図示しない操作部を利用して、入力装置を指示する方法でも構わない。 Here, for determining which medium the moving image data is input from, a method of instructing the input device using an operation unit (not shown) may be used.
ステップＳ１０４において、画像入力部１１０は、メモリカードに記録されている静止画像ファイルから画像データを読み込む。この際、メモリカード内の静止画像ファイルの選択は、図示しない操作部を用いて行っても良いし、何らかの基準で決められた順番に従って自動的に静止画像ファイルを選択しても良い。 In step S104, the image input unit 110 reads image data from a still image file recorded on the memory card. At this time, the selection of the still image file in the memory card may be performed using an operation unit (not shown), or the still image file may be automatically selected according to an order determined by some standard.
ステップＳ１０５では、画像入力部１１０は、ＵＳＢインタフェースに接続された外部機器から静止画像データを読み込む。このとき、外部機器内の静止画像ファイルの選択は、図示しない操作部を用いて行っても良いし、何らかの基準で決められた順番に従って自動的に静止画像ファイルを選択しても良い。 In step S105, the image input unit 110 reads still image data from an external device connected to the USB interface. At this time, the selection of the still image file in the external device may be performed using an operation unit (not shown), or the still image file may be automatically selected according to an order determined by some standard.
ステップＳ１０６では、画像入力部１１０は、ステップＳ１０４、またはステップＳ１０５において読み込まれた静止画像データをフレームメモリ１１４に記憶する。 In step S106, the image input unit 110 stores the still image data read in step S104 or step S105 in the frame memory 114.
ステップＳ１０７において、画像入力部１１０は、図示しない制御部によりフレームメモリ１１４から静止画像データを読み出す。このとき、読み出しアドレスはステップＳ１０６において記憶された画像データの先頭を示す。 In step S107, the image input unit 110 reads still image data from the frame memory 114 by a control unit (not shown). At this time, the read address indicates the head of the image data stored in step S106.
ステップＳ１０８において、画像入力部１１０は、静止画像のデコード処理を行う。静止画像データは、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などで規定されたフォーマットに従って画像圧縮されていることが一般的であるため、デコーダ１１５は、画像フォーマットに従った画像伸張処理を実施し、ベースバンドの画像データを復元する。 In step S108, the image input unit 110 performs still image decoding processing. Since still image data is generally compressed according to a format defined by JPEG (Joint Photographic Experts Group) or the like, the decoder 115 performs image expansion processing according to the image format, and performs baseband processing. Restore the image data.
ステップＳ１０９では、画像入力部１１０は、デコードされた静止画像データをビデオデータの１フレームとして出力する。ここで、ビデオデータのフォーマットは、画像出力部１５０で出力されるフォーマットに従う。つまり、画像出力部１５０においてＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）解像度、６０フレーム毎秒のビデオデータとして出力される場合には、図示しない制御部においてＨＤ解像度、６０フレーム毎秒のビデオ同期信号を生成し、この信号の有効領域内に静止画像を貼り付けて出力する。 In step S109, the image input unit 110 outputs the decoded still image data as one frame of video data. Here, the format of the video data follows the format output by the image output unit 150. That is, in the case where the image output unit 150 outputs video data with HD (High Definition) resolution and 60 frames per second, a control unit (not shown) generates a video synchronization signal with HD resolution and 60 frames per second. A still image is pasted into the effective area and output.
ステップＳ１１０では、画像出力部１５０における画像出力処理が終了しているかどうかを判断する。画像出力処理が終了している場合、画像入力処理を終了する。画像出力処理が終了していない場合には、ステップＳ１１１に進む。 In step S110, it is determined whether the image output process in the image output unit 150 is finished. If the image output process has ended, the image input process ends. If the image output process has not ended, the process proceeds to step S111.
ステップＳ１１１において、画像入力部１１０は、フレームメモリ１１４の読み出しアドレスを初期化し、ステップＳ１０６で記憶した静止画像データの先頭を示すようにする。ステップＳ１１１のアドレス初期化が終了すると、ステップＳ１０７に進み、以降、ステップＳ１０７〜ステップＳ１１１の処理を繰り返す。 In step S111, the image input unit 110 initializes the read address of the frame memory 114 so as to indicate the head of the still image data stored in step S106. When the address initialization in step S111 is completed, the process proceeds to step S107, and thereafter, the processes in steps S107 to S111 are repeated.
このようにして、画像入力部１１０は、静止画像が入力された場合には、同じ画像が連続したビデオデータへの変換を行う。 In this way, when a still image is input, the image input unit 110 performs conversion into video data in which the same image is continuous.
次に、画像入力部１１０における処理の一例として、動画像を入力する場合の処理シーケンスに関して図４に示すフローチャートを参照して説明する。 Next, as an example of processing in the image input unit 110, a processing sequence when a moving image is input will be described with reference to the flowchart shown in FIG.
ステップＳ２０１において、画像入力部１１０は、動画像の入力を開始する。
ステップＳ２０２において、画像入力部１１０は、ビデオインタフェース１１３にビデオ信号が入力されているかを確認し、ビデオインタフェースから動画像データを入力するかどうかを判断する。ビデオ信号が入力されている場合にはステップＳ２０５に進み、ビデオ信号が入力されていない場合にはステップＳ２０３に進む。
In step S201, the image input unit 110 starts inputting a moving image.
In step S202, the image input unit 110 confirms whether a video signal is input to the video interface 113, and determines whether moving image data is input from the video interface. If a video signal is input, the process proceeds to step S205. If a video signal is not input, the process proceeds to step S203.
ステップＳ２０３では、画像入力部は、ＵＳＢインタフェース１１２に動画像入力が可能な外部機器が接続されているかどうかを確認し、ＵＳＢインタフェース１１２から動画像データを入力するかどうかを判断する。ＵＳＢ機器が接続されている場合にはステップＳ２０６に進み、ＵＳＢ機器が接続されていない場合にはステップＳ２０４に進む。 In step S <b> 203, the image input unit checks whether an external device capable of moving image input is connected to the USB interface 112, and determines whether to input moving image data from the USB interface 112. If the USB device is connected, the process proceeds to step S206. If the USB device is not connected, the process proceeds to step S204.
ステップＳ２０４では、画像入力部１１０は、メモリカードインタフェース１１１にメモリカードが挿入されているかどうかを確認し、メモリカードから動画像データを入力するかどうかを判断する。メモリカードが挿入されている場合にはステップＳ２０７に進み、メモリカードが挿入されていない場合には、画像入力処理を終了する。 In step S204, the image input unit 110 confirms whether or not a memory card is inserted in the memory card interface 111, and determines whether or not moving image data is input from the memory card. If the memory card is inserted, the process proceeds to step S207. If the memory card is not inserted, the image input process is terminated.
ここで、どの媒体から動画像データを入力するかの判断には、図示しない操作部を利用して、入力装置を指示する方法でも構わない。 Here, for determining which medium the moving image data is input from, a method of instructing the input device using an operation unit (not shown) may be used.
ステップＳ２０５において、画像入力部１１０は、ビデオインタフェース１１３からビデオデータを読み込む。ビデオインタフェース１１３は、ＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｉｎｔｅｒｆａｃｅ）、ＨＤＭＩ(登録商標)（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、ＨＤＳＤＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）などのデジタルビデオ伝送方式で伝送されるビデオ信号や、ＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｔａｎｄａｒｄｓ Ｃｏｍｍｉｔｔｅｅ）方式、コンポーネント方式などのアナログビデオ伝送方式で伝送されるビデオ信号が入力される。ビデオインタフェース１１３は、アナログビデオ信号が入力された場合には、復調処理によりベースバンド信号に変換した後、図示しないＡ／Ｄ変換器によりデジタル信号に変換する。一方、デジタルビデオ信号が入力された場合には、復調処理によりベースバンド信号に変換する。 In step S <b> 205, the image input unit 110 reads video data from the video interface 113. The video interface 113 is a digital video transmission such as DVI (Digital Video Interface), HDMI (registered trademark) (High-Definition Multimedia Interface), or HDSDI (High-Definition Serial Digital Interface) NT video signal transmission (NT). A video signal transmitted by an analog video transmission scheme such as a National Television Standards Committee) scheme or a component scheme is input. When an analog video signal is input, the video interface 113 converts it to a baseband signal by demodulation processing, and then converts it to a digital signal by an A / D converter (not shown). On the other hand, when a digital video signal is input, it is converted into a baseband signal by demodulation processing.
ステップＳ２０６において、画像入力部１１０は、ＵＳＢインタフェース１１２に接続された外部機器から動画像データを読み込む。このとき、外部機器内の動画像ファイルの選択は、図示しない操作部を用いて行っても良いし、何らかの基準で決められた順番に従って自動的に動画像ファイルを選択しても良い。 In step S <b> 206, the image input unit 110 reads moving image data from an external device connected to the USB interface 112. At this time, the selection of the moving image file in the external device may be performed using an operation unit (not shown), or the moving image file may be automatically selected according to an order determined by some standard.
ステップＳ２０７では、画像入力部１は、メモリカードに記録されている動画像ファイルから画像データを読み込む。この際、メモリカード内の動画像ファイルの選択は、図示しない操作部を用いて行っても良いし、何らかの基準で決められた順番に従って自動的に動画像ファイルを選択しても良い。 In step S207, the image input unit 1 reads image data from a moving image file recorded on the memory card. At this time, the selection of the moving image file in the memory card may be performed using an operation unit (not shown), or the moving image file may be automatically selected according to an order determined by some standard.
ここで、ＵＳＢインタフェース１１２を介して入力される動画像データや、メモリカードに記録されている動画像データは、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などで規定された動画像圧縮方式により圧縮されたストリームデータである。このような圧縮方式は、フレームメモリを用いたデコード処理を要するため、ステップＳ２０８では、これらのストリームデータをフレームメモリ１１４に記憶する。 Here, moving image data input via the USB interface 112 and moving image data recorded on a memory card are streams compressed by a moving image compression method defined by MPEG (Moving Picture Experts Group) or the like. It is data. Since such a compression method requires a decoding process using a frame memory, these stream data are stored in the frame memory 114 in step S208.
ステップＳ２０９において、画像入力部１は、図示しない制御部によりフレームメモリ１１４から動画像データを読み出す。 In step S209, the image input unit 1 reads moving image data from the frame memory 114 by a control unit (not shown).
ステップＳ２１０において、画像入力部１１０は、動画像のデコード処理を行う。前述の通り、フレームメモリ１１４に記憶されている動画像データは、ＭＰＥＧなどで圧縮されたストリームデータであるので、デコーダ１１５は、画像フォーマットに従った画像伸張処理を実施し、ベースバンドのビデオデータを復元する。 In step S210, the image input unit 110 performs a moving image decoding process. As described above, since the moving image data stored in the frame memory 114 is stream data compressed by MPEG or the like, the decoder 115 performs image expansion processing according to the image format, and performs baseband video data. To restore.
ステップＳ２１１では、ビデオ出力部１１６は、ビデオインタフェース１１３から出力されるビデオデータ、または、デコーダ１１５から出力されるビデオデータのいずれかを内部データ形式によりビデオ出力する。 In step S211, the video output unit 116 outputs video data output from the video interface 113 or video data output from the decoder 115 in the internal data format.
図５は、画像変換部１３０の一実施例の構成を示すブロック図である。画像変換部１３０は、入力画像信号の空間的な特徴量を抽出し、抽出した特徴量を適用した異なる強調処理を施すことで左眼用画像と右眼用画像を生成する処理を行う。画像変換部１３０は、微分器１３１、非線形変換部１３２、および画像合成部１３３から構成される。 FIG. 5 is a block diagram illustrating a configuration of an example of the image conversion unit 130. The image conversion unit 130 performs processing for generating a left eye image and a right eye image by extracting a spatial feature amount of the input image signal and applying different enhancement processes to which the extracted feature amount is applied. The image conversion unit 130 includes a differentiator 131, a non-linear conversion unit 132, and an image composition unit 133.
微分器１３１は、画像変換部１３０に入力されたビデオデータから輝度信号を取り出し、輝度信号に対する微分信号を生成する。具体的には、例えば画像の輝度信号を水平方向に入力して、入力輝度信号を一次微分した信号を生成する。一次微分処理は、例えば、水平方向３タップの線形１次微分フィルタなどを用いる。 The differentiator 131 extracts a luminance signal from the video data input to the image conversion unit 130, and generates a differential signal for the luminance signal. Specifically, for example, a luminance signal of an image is input in the horizontal direction, and a signal obtained by first-order differentiation of the input luminance signal is generated. For example, a linear primary differential filter with 3 taps in the horizontal direction is used for the primary differential processing.
非線形変換部１３２は、微分器１３１から出力される微分信号を非線形的に変換し、視差強調信号［ｅｎｈ］を生成して出力する。 The nonlinear conversion unit 132 nonlinearly converts the differential signal output from the differentiator 131 to generate and output a parallax enhancement signal [enh].
図６は、非線形変換部１３２において実行する非線形変換処理の一例を示している。横軸が、微分器１３１からの入力信号であり輝度微分信号である。縦軸が、非線形変換部１３２における非線形変換処理後の出力を示している。非線形変換部１３２は、入力された微分信号（Ｉｎ）を、予め規定した関数ｆ（ｘ）により変換して、視差強調信号［ｅｎｈ］（Ｏｕｔ）を出力する。すなわちＯｕｔ＝ｆ（Ｉｎ）とする。このとき、関数ｆ（ｘ）は、様々な設定が利用可能である。関数ｆ（ｘ）の一例としては、例えば、
ｆ（ｘ）＝ｘβ
上記式に示されるような指数関数を用いる。βは予め設定した係数であり、様々な値に設定可能である。
また、非線形変換部１３２における変換関数は、指数関数に限定するものではなく、また線形的な変換を施しても構わない。
FIG. 6 shows an example of nonlinear conversion processing executed in the nonlinear converter 132. The horizontal axis is an input signal from the differentiator 131 and a luminance differential signal. The vertical axis represents the output after the non-linear conversion process in the non-linear conversion unit 132. The non-linear conversion unit 132 converts the input differential signal (In) with a function f (x) defined in advance, and outputs a parallax enhancement signal [enh] (Out). That is, Out = f (In). At this time, various settings can be used for the function f (x). As an example of the function f (x), for example,
f (x) = x β
An exponential function as shown in the above equation is used. β is a preset coefficient and can be set to various values.
Further, the conversion function in the nonlinear conversion unit 132 is not limited to an exponential function, and linear conversion may be performed.
画像合成部１３３は、非線形変換部１３２から出力される視差強調信号［ｅｎｈ］と、画像変換部１３０に入力されたビデオデータを受け取り、ビデオデータを構成する各フレーム画像と視差強調信号を合成して、左眼用画像と、右眼用画像を生成する処理を行う。 The image synthesis unit 133 receives the parallax enhancement signal [enh] output from the non-linear conversion unit 132 and the video data input to the image conversion unit 130, and synthesizes each frame image and the parallax enhancement signal constituting the video data. Thus, a process for generating a left-eye image and a right-eye image is performed.
なお、図５に点線で示すように、非線形変換部１３２の変換処理を省略し、微分器１３１の生成した微分信号を画像合成部１３３に直接入力して、画像合成部１３３が、微分信号を適用して左眼用画像と、右眼用画像を生成する処理を行う構成としてもよい。 As shown by a dotted line in FIG. 5, the conversion process of the nonlinear conversion unit 132 is omitted, the differential signal generated by the differentiator 131 is directly input to the image synthesis unit 133, and the image synthesis unit 133 converts the differential signal into the differential signal. It is good also as a structure which applies and performs the process which produces | generates the image for left eyes, and the image for right eyes.
画像合成部１３３は、ビデオデータを構成する各フレーム画像と、このフレーム画像から生成した空間的な特徴量、すなわち、輝度信号の微分信号、または、この微分信号を非線形変換して生成した視差強調信号［ｅｎｈ］を適用して左眼用画像と、右眼用画像を生成する処理を行う。 The image composition unit 133 includes each frame image constituting the video data, and a spatial feature amount generated from the frame image, that is, a differential signal of the luminance signal, or parallax enhancement generated by nonlinear conversion of the differential signal. Processing for generating a left-eye image and a right-eye image by applying the signal [enh] is performed.
図７は、画像合成部１３３において実行する画像合成処理の概念を示している。図７には、上から順に、
（ａ）入力信号
（ｂ）微分信号
（ｃ）右眼用画像信号
（ｄ）左眼用画像信号
これらの各信号を示している。
FIG. 7 shows the concept of image composition processing executed by the image composition unit 133. In FIG. 7, from top to bottom,
(A) Input signal (b) Differential signal (c) Right eye image signal (d) Left eye image signal These signals are shown.
（ａ）入力信号は、ビデオデータの任意のフレームの任意の水平１ラインの輝度変化を示している。中央部に輝度の高い高輝度領域が存在する１つのラインを例示している。ライン位置（ｘ１）からライン位置（ｘ２）までの領域Ａにおいて、輝度が次第に高くなる変化を示し、ライン位置（ｘ２）〜（ｘ３）において高レベル輝度を維持した高輝度部分が存在し、その後、ライン位置（ｘ３）からライン位置（ｘ４）までの領域Ｂにおいて、輝度が次第に低くなる変化を示している。 (A) The input signal indicates a luminance change of an arbitrary horizontal line of an arbitrary frame of video data. One line in which a high luminance region with high luminance exists in the center is illustrated. In the region A from the line position (x1) to the line position (x2), there is a change in which the luminance gradually increases, and there is a high luminance part in which high level luminance is maintained at the line positions (x2) to (x3), and thereafter In the region B from the line position (x3) to the line position (x4), the luminance gradually decreases.
（ｂ）微分信号は、（ａ）入力信号の微分結果である。この微分信号は、図５に示す画像変換部１３０の微分器１３１において生成される信号である。
微分器１３１の生成する微分信号は、図に示すとおり、（ａ）入力信号の輝度変化が正になる領域Ａにおいて正の値をとり、（ａ）入力信号の輝度変化が負になる領域Ｂにおいて負の値をとる。
(B) The differential signal is (a) the differential result of the input signal. This differential signal is a signal generated in the differentiator 131 of the image conversion unit 130 shown in FIG.
As shown in the figure, the differential signal generated by the differentiator 131 takes a positive value in the area A where the luminance change of the input signal is positive, and (a) the area B where the luminance change of the input signal is negative. Takes a negative value at.
（ｃ）右眼用画像信号、（ｄ）左眼用画像信号は、図５に示す画像変換部１３０の画像合成部１３３において生成する信号である。画像合成部１３３は、（ａ）入力信号と、（ｂ）微分信号を非線形変換部１３２において非線形変換した結果（非線形変換部１３２の出力）である視差強調信号［ｅｎｈ］とを合成して（ｃ）右眼用画像信号と、（ｄ）左眼用画像信号を生成する。 (C) The right-eye image signal and (d) the left-eye image signal are signals generated by the image composition unit 133 of the image conversion unit 130 illustrated in FIG. The image synthesizing unit 133 synthesizes (a) the input signal and (b) the parallax enhancement signal [enh] that is a result of nonlinear transformation of the differential signal in the nonlinear transformation unit 132 (output of the nonlinear transformation unit 132) ( c) A right-eye image signal and (d) a left-eye image signal are generated.
図７（ａ）入力信号に相当するビデオデータの輝度レベルを（Ｓ）とし、
図７（ｂ）に示す微分信号を非線形変換した視差強調信号［ｅｎｈ］の信号レベルを（Ｅ）とする。
画像合成部１３３は、（ａ）入力信号に相当するビデオデータ（Ｓ）と、（ｂ）微分信号を非線形変換した視差強調信号［ｅｎｈ（Ｅ）］を受け取り、例えば以下の（式１）により右眼用画像信号（Ｒｉｇｈｔ）と、左眼用画像信号（Ｌｅｆｔ）を生成する。
Ｒｉｇｈｔ＝Ｓ−Ｅ
Ｌｅｆｔ＝Ｓ＋Ｅ
・・・・・（式１）
ここで、画像合成部１３３は、（式１）のように左眼用画像信号（Ｌｅｆｔ）と右眼用画像信号（Ｒｉｇｈｔ）の両方を変換せずに、いずれか一方の信号に対してのみ変換をかけるようにしても構わない。
FIG. 7A shows the luminance level of the video data corresponding to the input signal as (S),
The signal level of the parallax enhancement signal [enh] obtained by nonlinearly converting the differential signal shown in FIG.
The image synthesis unit 133 receives (a) video data (S) corresponding to the input signal and (b) a parallax enhancement signal [enh (E)] obtained by nonlinearly transforming the differential signal. An image signal for the right eye (Right) and an image signal for the left eye (Left) are generated.
Right = SE
Left = S + E
... (Formula 1)
Here, the image composition unit 133 does not convert both the left-eye image signal (Left) and the right-eye image signal (Right) as in (Equation 1), but only one of the signals. Conversion may be applied.
すなわち、
Ｒｉｇｈｔ＝Ｓ−Ｅ
Ｌｅｆｔ＝Ｓ
このような信号の組み合わせとしてもよい。
あるいは、
Ｒｉｇｈｔ＝Ｓ
Ｌｅｆｔ＝Ｓ＋Ｅ
このような信号の組み合わせとしてもよい。
このような処理によって、右眼用画像信号（Ｒｉｇｈｔ）と、左眼用画像信号（Ｌｅｆｔ）には、網膜像差が発生し奥行きを知覚させる画像を得ることができる。なお、網膜像差と奥行き知覚との関係については、図１２以下を参照して後段で説明する。
That is,
Right = SE
Left = S
A combination of such signals may be used.
Or
Right = S
Left = S + E
A combination of such signals may be used.
By such processing, a retinal image difference is generated between the right-eye image signal (Right) and the left-eye image signal (Left), and an image that perceives depth can be obtained. The relationship between the retinal image difference and the depth perception will be described later with reference to FIG.
なお、前述したように、非線形変換部１３２の変換処理を省略し、微分器１３１の生成した微分信号を画像合成部１３３に直接入力（図５の点線）して、画像合成１３３が、微分信号を適用して左眼用画像と、右眼用画像を生成する処理を行う構成としてもよい。この場合は、上記の視差強調信号［ｅｎｈ（Ｅ）］は微分信号に置き換えられる。 As described above, the conversion processing of the nonlinear conversion unit 132 is omitted, the differential signal generated by the differentiator 131 is directly input to the image synthesis unit 133 (dotted line in FIG. 5), and the image synthesis 133 May be applied to perform processing for generating an image for the left eye and an image for the right eye. In this case, the parallax enhancement signal [enh (E)] is replaced with a differential signal.
このように、画像合成部１３３は、入力画像信号の空間的な特徴量を抽出して入力画像信号に対して前記特徴量を適用した異なる強調処理を施すことで左眼用画像と右眼用画像を生成する処理を行う。特徴量は、入力画像信号の輝度微分信号、あるいはその非線形変換処理によって生成する視差強調信号である。 As described above, the image composition unit 133 extracts the spatial feature amount of the input image signal and applies different enhancement processing to the input image signal to which the feature amount is applied, thereby performing the left-eye image and the right-eye image. Performs processing to generate an image. The feature amount is a luminance differential signal of the input image signal or a parallax enhancement signal generated by the nonlinear conversion process.
図７（ｃ）右眼用画像信号（Ｒｉｇｈｔ）は、（ａ）入力信号から、（ｂ）微分信号を非線形変換した視差強調信号［ｅｎｈ（Ｅ）］を減算して生成した信号である。
（ｃ）右眼用画像信号（Ｒｉｇｈｔ）は、図７（ｃ）右眼用画像信号に示すように以下のような信号特性（ｃ１）〜（ｃ３）を持つ信号として生成される。
（信号特性）
（ｃ１）（ａ）入力信号の輝度変化が正、（ｂ）微分信号が正の値をとる領域Ａの少なくとも一部領域において、（ａ）入力信号より輝度が低下した信号領域が発生する。
（ｃ２）（ａ）入力信号の輝度変化が負、（ｂ）微分信号が負の値をとる領域Ｂの少なくとも一部領域において、（ａ）入力信号より輝度が上昇した信号領域が発生する。
（ｃ３）（ｂ）微分信号が０の値をとる領域では、（ａ）入力信号に対する輝度変化は発生しない。
The image signal for right eye (Right) in FIG. 7C is a signal generated by subtracting the parallax enhancement signal [enh (E)] obtained by nonlinearly transforming the differential signal (b) from the (a) input signal.
(C) The right eye image signal (Right) is generated as a signal having the following signal characteristics (c1) to (c3) as shown in FIG. 7 (c) right eye image signal.
(Signal characteristics)
(C1) (a) In at least a part of the region A in which the luminance change of the input signal is positive and (b) the differential signal has a positive value, (a) a signal region in which the luminance is lower than that of the input signal is generated.
(C2) (a) In at least a part of the region B in which the luminance change of the input signal is negative and (b) the differential signal has a negative value, (a) a signal region whose luminance is higher than that of the input signal is generated.
(C3) (b) In the region where the differential signal takes a value of 0, (a) no luminance change occurs with respect to the input signal.
また、図７（ｄ）左眼用画像信号（Ｌｅｆｔ）は、（ａ）入力信号に、（ｂ）微分信号を非線形変換した視差強調信号［ｅｎｈ（Ｅ）］を加算して生成した信号である。
（ｄ）左眼用画像信号（Ｌｅｆｔ）は、図７（ｄ）左眼用画像信号に示すように以下のような信号特性（ｄ１）〜（ｄ３）を持つ信号として生成される。
（信号特性）
（ｄ１）（ａ）入力信号の輝度変化が正、（ｂ）微分信号が正の値をとる領域Ａの少なくとも一部領域において、（ａ）入力信号より輝度が上昇した信号領域が発生する。
（ｄ２）（ａ）入力信号の輝度変化が負、（ｂ）微分信号が負の値をとる領域Ｂの少なくとも一部領域において、（ａ）入力信号より輝度が低下した信号領域が発生する。
（ｄ３）（ｂ）微分信号が０の値をとる領域では、（ａ）入力信号に対する輝度変化は発生しない。
7D is a signal generated by adding a parallax enhancement signal [enh (E)] obtained by nonlinearly transforming the differential signal (b) to the input signal (a). is there.
(D) The left eye image signal (Left) is generated as a signal having the following signal characteristics (d1) to (d3) as shown in FIG. 7 (d) left eye image signal.
(Signal characteristics)
(D1) (a) In at least a part of the region A where the luminance change of the input signal is positive and (b) the differential signal has a positive value, (a) a signal region whose luminance is higher than that of the input signal is generated.
(D2) (a) In at least a partial region of region B where the luminance change of the input signal is negative and (b) the differential signal has a negative value, a signal region in which the luminance is lower than that of the input signal is generated.
(D3) (b) In a region where the differential signal takes a value of 0, (a) no luminance change occurs with respect to the input signal.
画像合成部１３３は、上述したように、（ａ）入力信号と、（ｂ）微分信号を非線形変換部１３２において非線形変換した結果（非線形変換部１３２の出力）である視差強調信号［ｅｎｈ］とを合成して（ｃ）右眼用画像信号と、（ｄ）左眼用画像信号を生成する。 As described above, the image synthesizing unit 133 includes (a) the input signal and (b) the parallax enhancement signal [enh] that is a result of nonlinear transformation of the differential signal in the nonlinear transformation unit 132 (output of the nonlinear transformation unit 132). Are combined to generate (c) a right-eye image signal and (d) a left-eye image signal.
なお、画像合成部１３３は、例えば、変換対象となる入力信号が静止画であれば、静止画を構成する１フレーム画像について、上記の式１に従った信号合成処理によって、（ｃ）右眼用画像信号と、（ｄ）左眼用画像信号を生成する。 Note that, for example, if the input signal to be converted is a still image, the image composition unit 133 performs (c) right eye on one frame image constituting the still image by the signal composition processing according to the above Equation 1. And (d) an image signal for the left eye are generated.
また、変換対象となる入力信号が動画であれば、動画を構成する各フレーム画像について、上記の式１に従った信号合成処理によって、（ｃ）右眼用画像信号と、（ｄ）左眼用画像信号を生成する。ただし、動画像の場合は、最終的に画像表示を実行する画像出力部１５０（図１参照）や表示装置の制御方式に従って、右眼用画像信号と左眼用画像信号の生成態様を変更する設定としてもよい。以下、図８以下を参照して変換対象となる入力信号が動画像（ビデオデータ）である場合の画像合成部１３３の実行する複数の処理例について説明する。 Further, if the input signal to be converted is a moving image, (c) the right eye image signal and (d) the left eye are obtained for each frame image constituting the moving image by the signal synthesis process according to the above Equation 1. An image signal is generated. However, in the case of a moving image, the generation mode of the image signal for the right eye and the image signal for the left eye is changed according to the control method of the image output unit 150 (see FIG. 1) that finally displays the image or the display device. It is good also as a setting. Hereinafter, a plurality of processing examples executed by the image composition unit 133 when the input signal to be converted is a moving image (video data) will be described with reference to FIG.
まず、変換対象となる入力信号が動画像（ビデオデータ）の場合の画像合成部１３３の実行する基本的な処理例について図８を参照して説明する。図８に示す処理例は、画像合成部１３３が、入力ビデオデータの各フレーム（フレームｎ，ｎ＋１，ｎ＋２，ｎ＋３・・・）のすべてについて、左眼用画像（Ｌｅｆｔ）と右眼用画像（Ｒｉｇｈｔ）の両画像を生成して出力する処理例である。 First, a basic processing example executed by the image composition unit 133 when the input signal to be converted is a moving image (video data) will be described with reference to FIG. In the processing example illustrated in FIG. 8, the image composition unit 133 performs the left-eye image (Left) and the right-eye image (for each frame (frames n, n + 1, n + 2, n + 3...)) Of the input video data. This is an example of processing for generating and outputting both (Right) images.
画像合成部１３３は、図８に示す（ａ）入力画像フレームのすべてのフレームについて、（ａ）入力画像フレームの輝度信号と、（ｂ）微分画像信号の非線形変換結果である視差強調信号とを合成して、図８に示す（ｃ）右眼用画像信号と、（ｄ）左眼用画像信号を生成して出力する。この場合、画像合成部１３３は、２系統のビデオ信号を出力する。 The image synthesizer 133 performs (a) the luminance signal of the input image frame and (b) the parallax enhancement signal that is the result of nonlinear conversion of the differential image signal for all the frames of the input image frame shown in FIG. 8C, a right eye image signal and a (d) left eye image signal shown in FIG. 8 are generated and output. In this case, the image composition unit 133 outputs two systems of video signals.
合成処理は、例えば先に説明した式（式１）に従って行われる。すなわち、図７（ａ）入力信号に相当するビデオデータの輝度レベルを（Ｓ）とし、図７（ｂ）に示す微分信号を非線形変換した視差強調信号［ｅｎｈ］の信号レベルを（Ｅ）としたとき、以下の式により右眼用画像信号（Ｒｉｇｈｔ）と、左眼用画像信号（Ｌｅｆｔ）を生成する。
右眼用画像信号：Ｒｉｇｈｔ＝Ｓ−Ｅ
左眼用画像信号：Ｌｅｆｔ＝Ｓ＋Ｅ
The synthesizing process is performed, for example, according to the formula (Formula 1) described above. That is, the luminance level of the video data corresponding to the input signal in FIG. 7A is (S), and the signal level of the parallax enhancement signal [enh] obtained by nonlinear conversion of the differential signal shown in FIG. 7B is (E). Then, the right eye image signal (Right) and the left eye image signal (Left) are generated by the following equations.
Right eye image signal: Right = SE
Left eye image signal: Left = S + E
図８に示す基本処理例では、画像合成部１３３は、全てのフレームに対応する右眼用画像と、左眼用画像の２系統のビデオ信号を出力する。これらの２系統の信号を受領した画像出力部１５０（図１参照）は、立体視を実現する表示装置にこれらのデータを出力する。表示装置は、立体視を実現する各種の表示方式に従って出力制御を行う。表示装置の表示方式とは、例えば、偏光フィルタや、色フィルタにより左右の眼各々によって観察する画像を分離するパッシブ眼鏡方式に対応する画像出力方式、あるいは、液晶シャッタを左右交互に開閉して観察する画像を左右の眼交互に時間的に分離するアクティブ眼鏡方式に対応する画像出力方式などである。表示装置は、画像合成部１３３の生成した２系統のビデオ信号を利用して上記いずれかの表示方式に従った画像を表示する。 In the basic processing example illustrated in FIG. 8, the image composition unit 133 outputs two types of video signals, a right eye image and a left eye image, corresponding to all frames. The image output unit 150 (see FIG. 1) that has received these two signals outputs these data to a display device that realizes stereoscopic viewing. The display device performs output control according to various display methods that realize stereoscopic viewing. The display method of the display device is, for example, an image output method corresponding to a passive spectacle method in which an image to be observed by the left and right eyes is separated by a polarizing filter or a color filter, or observation by alternately opening and closing a liquid crystal shutter. For example, an image output method corresponding to an active spectacle method that temporally separates an image to be performed alternately between left and right eyes. The display device displays an image in accordance with any one of the display methods using the two video signals generated by the image composition unit 133.
（１−２．本発明の画像処理装置の生成する左右眼用画像の構成と出力例）
画像表示方式が予め決定されている場合は、画像合成部１３３が、各画像出力方式に応じた出力画像信号を生成して出力する設定とすることができる。以下、図９〜図１１を参照して、３つの異なる表示方式に応じた画像合成部１３３の処理例について説明する。
(1-2. Configuration and Output Example of Left / Right Eye Image Generated by Image Processing Device of Present Invention)
When the image display method is determined in advance, the image composition unit 133 can be set to generate and output an output image signal corresponding to each image output method. Hereinafter, processing examples of the image composition unit 133 according to three different display methods will be described with reference to FIGS.
最終的に画像表示を実行する表示装置の表示方式は以下の３種類である。
（１）左眼用画像と右眼用画像を時間分割で交互に出力する方式（図９）
これは、例えば液晶シャッタを左右交互に開閉して観察する画像を左右の眼交互に時間的に分離するアクティブ眼鏡方式に対応する画像出力方式である。
（２）左眼用画像と右眼用画像を時間分割で交互に出力する方式において出力フレームレートを高速とした方式（図１０）
これは、図９と同様の時間分割方式であるが、出力フレームレートを高速化した方式である。
（３）左眼用画像と右眼用画像を空間的に分離して同時出力する方式（図１１）
これは、例えば偏光フィルタや、色フィルタにより左右の眼各々によって観察する画像を分離するパッシブ眼鏡方式に対応する画像出力方式である。例えば、この空間分割方式の立体表示装置においては、表示前面に水平ラインごとに偏光方向が異なるように設定した偏光フィルタを貼り合わせ、ユーザが装着する偏光フィルタ方式によるメガネで見た場合に、左眼と右眼に水平ラインごとに映像が分離されて観察される。
There are the following three display methods of the display device that finally executes image display.
(1) A method of alternately outputting a left-eye image and a right-eye image by time division (FIG. 9)
This is an image output method corresponding to, for example, an active eyeglass method in which an image to be observed by alternately opening and closing a liquid crystal shutter is temporally separated into left and right eyes.
(2) A method in which the output frame rate is increased in the method of alternately outputting the left-eye image and the right-eye image by time division (FIG. 10).
This is a time division method similar to that shown in FIG. 9, but with a higher output frame rate.
(3) A method of spatially separating a left-eye image and a right-eye image and outputting them simultaneously (FIG. 11)
This is an image output method corresponding to, for example, a passive spectacle method in which an image observed by each of the left and right eyes is separated by a polarizing filter or a color filter. For example, in this spatial division type stereoscopic display device, when a polarizing filter set so that the polarization direction is different for each horizontal line is pasted on the front surface of the display, and when viewed with the polarizing filter type glasses worn by the user, Images are observed separately for each horizontal line in the eyes and right eye.
まず、図９を参照して、最終的に画像表示を実行する表示装置の表示方式が、左眼用画像と右眼用画像を時間分割に交互出力する方式である場合の画像合成部１３３の処理例について説明する。 First, referring to FIG. 9, the image synthesizing unit 133 in the case where the display method of the display device that finally performs image display is a method of alternately outputting the left-eye image and the right-eye image in time division. A processing example will be described.
この画像表示方式の場合、画像合成部１３３は、入力ビデオデータの各フレーム（フレームｎ，ｎ＋１，ｎ＋２，ｎ＋３・・・）について、左眼用画像（Ｌｅｆｔ）と右眼用画像（Ｒｉｇｈｔ）を各フレーム毎に切り替えて生成して出力する。 In the case of this image display method, the image composition unit 133 displays a left-eye image (Left) and a right-eye image (Right) for each frame (frames n, n + 1, n + 2, n + 3...) Of input video data. Generate and output by switching every frame.
入力するビデオデータの奇数フレームと偶数フレームをそれぞれ左眼用画像および右眼用画像（または、右眼用画像および左眼用画像）として設定して出力する。出力された画像は、画像出力部１５０を介して画像表示装置において左眼用画像と右眼用画像が時間分割に交互出力される。各画像の出力タイミングは、画像を観察するユーザの装着する例えば液晶シャッタ方式によるメガネのシャッタ開閉と同期するように制御される。すなわち、左眼には左眼用画像、右眼には右眼用画像が時間的に交互に観察されるように制御される。 The odd frame and the even frame of the input video data are set and output as a left eye image and a right eye image (or a right eye image and a left eye image), respectively. As for the output image, the image for the left eye and the image for the right eye are alternately output in a time division manner in the image display device via the image output unit 150. The output timing of each image is controlled so as to be synchronized with the shutter opening / closing of glasses, for example, by a liquid crystal shutter system worn by a user who observes the image. That is, control is performed so that the left eye image is observed in the left eye and the right eye image is alternately observed in the right eye.
画像合成部１３３は、このような時間分割方式の立体表示装置に出力するため、入力ビデオデータの各フレーム（フレームｎ，ｎ＋１，ｎ＋２，ｎ＋３・・・）に対する画像合成処理をフレーム単位で左眼用画像と右眼用画像を切り替えて実行する。すなわち、図９（ｃ），（ｄ）に示すように、左眼用画像（Ｌｅｆｔ）の合成と、右眼用画像（Ｒｉｇｈｔ）の合成をフレーム単位で交互に実施して出力する。 Since the image composition unit 133 outputs to such a time-division type stereoscopic display device, the image synthesis processing for each frame (frames n, n + 1, n + 2, n + 3. The image for right and the image for right eye are switched and executed. That is, as shown in FIGS. 9C and 9D, the synthesis of the left-eye image (Left) and the synthesis of the right-eye image (Right) are alternately performed in units of frames and output.
図９に示す例では、フレームｎでは、右眼用画像を先に説明した式（式１）に従って生成する。すなわち、図９（ａ）入力信号のフレームｎのビデオデータの輝度レベルを（Ｓ）とし、図９（ｂ）に示すフレームｎの微分信号を非線形変換した視差強調信号［ｅｎｈ］の信号レベルを（Ｅ）としたとき、以下の式により右眼用画像信号（Ｒｉｇｈｔ）を生成する。
右眼用画像信号：Ｒｉｇｈｔ＝Ｓ−Ｅ
In the example shown in FIG. 9, in the frame n, the image for the right eye is generated according to the equation (Equation 1) described above. That is, the luminance level of the video data of frame n of the input signal in FIG. 9A is (S), and the signal level of the parallax enhancement signal [enh] obtained by nonlinearly converting the differential signal of frame n shown in FIG. When (E) is set, a right-eye image signal (Right) is generated by the following equation.
Right eye image signal: Right = SE
次のフレームｎ＋１では、左眼用画像を先に説明した式（式１）に従って生成する。すなわち、図９（ａ）入力信号のフレームｎ＋１のビデオデータの輝度レベルを（Ｓ）とし、図９（ｂ）に示すフレームｎ＋１の微分信号を非線形変換した視差強調信号［ｅｎｈ］の信号レベルを（Ｅ）としたとき、以下の式により左眼用画像信号（Ｌｅｆｔ）を生成する。
左眼用画像信号：Ｌｅｆｔ＝Ｓ＋Ｅ
In the next frame n + 1, the image for the left eye is generated according to the equation (Equation 1) described above. That is, the luminance level of the video data of frame n + 1 of the input signal in FIG. 9A is (S), and the signal level of the parallax enhancement signal [enh] obtained by nonlinearly transforming the differential signal of frame n + 1 shown in FIG. When (E) is set, a left-eye image signal (Left) is generated by the following equation.
Left eye image signal: Left = S + E
以降、フレームｎ＋２では右眼用画像、フレームｎ＋３では左眼用画像、以下、交互に各フレーム毎に右眼用画像と左眼用画像を、前述の式１に従った画像合成処理によって生成して出力する。この方式では、画像合成部１３３は、各フレームに対応して右眼用画像または左眼用画像の１画像を生成して出力することになる。すなわち１系統のビデオデータを出力する。 Thereafter, a right-eye image is generated in frame n + 2, a left-eye image is generated in frame n + 3, and a right-eye image and a left-eye image are alternately generated for each frame by image synthesis processing according to the above-described equation 1. Output. In this method, the image composition unit 133 generates and outputs one image of the right eye image or the left eye image corresponding to each frame. That is, one system of video data is output.
出力された画像は、画像出力部１５０を介して画像表示装置において左眼用画像と右眼用画像が時間分割に交互出力される。各画像の出力タイミングは、画像を観察するユーザの装着する例えば液晶シャッタ方式によるメガネのシャッタ開閉と同期するように制御される。すなわち、左眼には左眼用画像、右眼には右眼用画像が時間的に交互に観察されるように制御される。 As for the output image, the image for the left eye and the image for the right eye are alternately output in a time division manner in the image display device via the image output unit 150. The output timing of each image is controlled so as to be synchronized with the shutter opening / closing of glasses, for example, by a liquid crystal shutter system worn by a user who observes the image. That is, control is performed so that the left eye image is observed in the left eye and the right eye image is alternately observed in the right eye.
図１０は、図９と同様、最終的に画像表示を実行する表示装置の表示方式が、左眼用画像と右眼用画像を時間分割に交互出力する方式である場合の画像合成部１３３の処理例である。ただし、この処理例は、図９に示す処理と異なり、入力ビデオデータの各フレームに対して、左眼用画像（Ｌｅｆｔ）と右眼用画像（Ｒｉｇｈｔ）の両画像を前述の式１に従った合成処理により合成して出力する。 FIG. 10 is similar to FIG. 9, in the case where the display method of the display device that finally performs image display is a method of alternately outputting the left-eye image and the right-eye image in a time division manner. It is a processing example. However, this processing example differs from the processing shown in FIG. 9 in that both the left-eye image (Left) and the right-eye image (Right) are applied to each frame of the input video data according to Equation 1 described above. Synthesized by the synthesis process and output.
画像出力を行う表示装置においては、入力ビデオデータの２倍のフレームレートで、左眼用画像と右眼用画像を時間分割に交互出力する。 In a display device that performs image output, a left-eye image and a right-eye image are alternately output in a time division manner at a frame rate twice that of input video data.
この処理では、画像合成部１３３は、図１０に示すように、１つのフレーム、例えば、（ａ）入力画像のフレームｎとその（ｂ）微分画像から生成した視差強調信号から、前述の式１を適用して、（ｃ）右眼用画像と、（ｄ）左眼用画像を生成する。さらに、次のフレーム、すなわち、（ａ）入力画像のフレームｎ＋１とその（ｂ）微分画像から生成した視差強調信号から、前述の式１を適用して、（ｃ）右眼用画像と、（ｄ）左眼用画像を生成する。 In this process, as shown in FIG. 10, the image composition unit 133 uses the above equation 1 from one frame, for example, (a) the parallax enhancement signal generated from the frame n of the input image and (b) the differential image. Are applied to generate (c) a right-eye image and (d) a left-eye image. Further, from the next frame, that is, (a) the parallax enhancement signal generated from the frame n + 1 of the input image and (b) the differential image, the above-described Expression 1 is applied, and (c) the right-eye image and ( d) A left-eye image is generated.
このようにして１つのフレームから左眼用画像と右眼用画像を生成する。１フレームから生成した２枚の画像、すなわち、右眼用画像と左眼用画像は、画像出力部１５０を介して画像表示装置において左眼用画像と右眼用画像が時間分割に交互出力される。 In this way, a left-eye image and a right-eye image are generated from one frame. Two images generated from one frame, that is, an image for the right eye and an image for the left eye, are alternately output in a time-division manner in the image display device via the image output unit 150 in the time division manner. The
画像出力部１５０は、表示装置において、図１０（ａ）に示す入力画像のフレームレートの２倍のフレームレートで表示されるように出力する。なお、この表示タイミングに併せて画像を観察するユーザの装着する例えば液晶シャッタ方式によるメガネのシャッタ開閉も同期して制御する。すなわち、左眼には左眼用画像、右眼には右眼用画像が時間的に交互に観察されるようにする。この方式では、画像合成部１３３は、１系統の入力ビデオデータの２倍のフレームレートのビデオデータを出力する。 The image output unit 150 outputs the image so that the image is displayed at a frame rate twice the frame rate of the input image shown in FIG. In addition, the shutter opening / closing of glasses, for example, by a liquid crystal shutter system worn by a user who observes an image is also controlled in synchronization with the display timing. That is, the left eye image is observed in the left eye and the right eye image is alternately observed in the right eye. In this method, the image composition unit 133 outputs video data having a frame rate twice that of one system of input video data.
図１１は、空間分割方式の立体表示装置に対して出力する場合の画像合成部１３３の処理例を示している。空間分割方式の立体表示装置においては、表示前面に水平ラインごとに偏光方向が異なるように設定した偏光フィルタを貼り合わせ、ユーザが装着する偏光フィルタ方式によるメガネで見た場合に、左眼と右眼に水平ラインごとに映像が分離されて提示される方式である。すなわち、メガネの左右の偏光フィルタも偏光方向が異なるように設定したフィルタであり、右眼には、図１１（ｃ）に示す右眼用画像のみが観察され、左眼には図１１（ｄ）に示す左眼用画像のみが観察される。 FIG. 11 shows a processing example of the image composition unit 133 when outputting to a space division type stereoscopic display device. In a spatially-divided stereoscopic display device, a polarizing filter set so that the polarization direction differs for each horizontal line is attached to the front of the display, and the left eye and right eye when viewed with the polarizing filter type glasses worn by the user This is a method in which images are presented to the eye separately for each horizontal line. That is, the left and right polarizing filters of the glasses are filters set to have different polarization directions, and only the right eye image shown in FIG. 11C is observed with the right eye, and the left eye has FIG. Only the left-eye image shown in FIG.
この処理では、画像合成部１３３は、図１１に示すように、１つのフレーム、例えば、（ａ）入力画像のフレームｎとその（ｂ）微分画像から生成した視差強調信号から、前述の式１を適用して、（ｃ）右眼用画像と、（ｄ）左眼用画像を生成する。 In this process, as shown in FIG. 11, the image composition unit 133 uses the above equation 1 from one frame, for example, (a) the parallax enhancement signal generated from the frame n of the input image and (b) the differential image. Are applied to generate (c) a right-eye image and (d) a left-eye image.
さらに、画像合成部１３３は、図１１に示す（ｅ）両眼視差画像を（ｃ）右眼用画像と（ｄ）左眼用画像から生成する。すなわち、（ｃ）右眼用画像と（ｄ）左眼用画像の各画像をそれぞれ位相を１ラインずらして垂直方向に１／２に縮小処理する。画像合成部１３３は、このようにして得られた左眼用画像と右眼用画像を水平ライン単位で交互に合成して１枚の（ｄ）両眼視差画像を生成して出力する。 Further, the image composition unit 133 generates (e) a binocular parallax image shown in FIG. 11 from (c) a right eye image and (d) a left eye image. That is, each of the (c) right-eye image and (d) left-eye image is reduced in half in the vertical direction by shifting the phase by one line. The image synthesizing unit 133 alternately synthesizes the left-eye image and the right-eye image obtained in this way in units of horizontal lines, and generates and outputs one (d) binocular parallax image.
図１１に示す（ｄ）両眼視差画像は、（ｃ）右眼用画像と（ｄ）左眼用画像の有効領域（黒ライン以外の画像表示部）を連結して生成した画像である。すなわち、（ｄ）両眼視差画像は、（ｃ）右眼用画像と（ｄ）左眼用画像の各ラインデータを交互に含む画像である。画像合成部１３３は、このようにして（ｄ）両眼視差画像を生成して出力する。この方式では、画像合成部１３３は、入力画像と同一フレームレートの１系統のビデオデータを出力する。 The (d) binocular parallax image shown in FIG. 11 is an image generated by connecting (c) the right eye image and (d) the left eye image effective area (image display unit other than the black line). That is, (d) a binocular parallax image is an image that includes each line data of (c) a right eye image and (d) a left eye image alternately. In this way, the image composition unit 133 generates and outputs (d) a binocular parallax image. In this method, the image composition unit 133 outputs one system of video data having the same frame rate as the input image.
画像出力部１５０は、空間分割方式の立体表示装置に対して、図１１に示す（ｄ）両眼視差画像を出力表示する。空間分割方式の立体表示装置は前述したように、表示前面に水平ラインごとに偏光方向が異なるように設定した偏光フィルタが設定されている。ユーザは偏光フィルタ方式によるメガネで観察する。メガネの左右の偏光フィルタも偏光方向が異なるように設定したフィルタであり、右眼には、図１１（ｃ）に示す右眼用画像のみが観察され、左眼には図１１（ｄ）に示す左眼用画像のみが観察される。 The image output unit 150 outputs and displays the (d) binocular parallax image shown in FIG. 11 on a spatial division type stereoscopic display device. As described above, the spatial division type stereoscopic display device has a polarizing filter set so that the polarization direction is different for each horizontal line on the front surface of the display. The user observes with glasses using a polarization filter system. The left and right polarizing filters of the glasses are also set so that the polarization directions are different, and only the right eye image shown in FIG. 11C is observed with the right eye, and the left eye with FIG. 11D. Only the left-eye image shown is observed.
図８〜図１１を参照して説明した右眼用画像信号（Ｒｉｇｈｔ）と、左眼用画像信号（Ｌｅｆｔ）は、先に説明した式（式１）に従って生成される画像である。すなわち、下式に従って、右眼用画像信号（Ｒｉｇｈｔ）と、左眼用画像信号（Ｌｅｆｔ）が生成される。
Ｒｉｇｈｔ＝Ｓ−Ｅ
Ｌｅｆｔ＝Ｓ＋Ｅ
ただし、Ｓは入力信号、Ｅは、入力信号Ｓの微分信号Ｄを非線形変換した視差強調信号である。なお、先に説明したように、視差強調信号Ｅは、入力信号Ｓの微分信号Ｄの非線形変換のみならず、線形変換信号を施して得られる信号でもよい。
The right-eye image signal (Right) and the left-eye image signal (Left) described with reference to FIGS. 8 to 11 are images generated according to the equation (Equation 1) described above. That is, according to the following expression, a right eye image signal (Right) and a left eye image signal (Left) are generated.
Right = SE
Left = S + E
Here, S is an input signal, and E is a parallax enhancement signal obtained by nonlinearly converting a differential signal D of the input signal S. Note that, as described above, the parallax enhancement signal E may be a signal obtained by performing a linear conversion signal as well as a non-linear conversion of the differential signal D of the input signal S.
（１−３．本発明の画像処理装置の生成する左右眼用画像の網膜像差について）
このような右眼用画像信号（Ｒｉｇｈｔ）と、左眼用画像信号（Ｌｅｆｔ）を生成して、これらの画像を観察者の右眼と左眼で観察することにより奥行きを感じることができる。これは、右眼用画像と左眼用画像の網膜像差に基づく現象である。本発明の画像処理装置１００において生成する右眼用画像と左眼用画像の網膜像差について、以下、図１２〜図１５を参照して説明する。なお、以下において、図１２〜図１４では、微分信号Ｄに対する非線形変換処理を省略し、右眼用画像信号（Ｒｉｇｈｔ）と、左眼用画像信号（Ｌｅｆｔ）を入力信号Ｓと、入力信号Ｓの微分信号Ｄを適用して以下の式に従って生成したと仮定して説明する。
Ｒｉｇｈｔ＝Ｓ−Ｄ
Ｌｅｆｔ＝Ｓ＋Ｄ
(1-3. Retinal image difference between left and right eye images generated by the image processing apparatus of the present invention)
Such a right-eye image signal (Right) and a left-eye image signal (Left) are generated, and the depth can be felt by observing these images with the right and left eyes of the observer. This is a phenomenon based on the retinal image difference between the right-eye image and the left-eye image. Hereinafter, the retinal image difference between the right-eye image and the left-eye image generated by the image processing apparatus 100 according to the present invention will be described with reference to FIGS. In the following, in FIG. 12 to FIG. 14, the nonlinear conversion processing for the differential signal D is omitted, and the right-eye image signal (Right) and the left-eye image signal (Left) are input to the input signal S and the input signal S. It is assumed that the differential signal D is generated according to the following equation.
Right = SD
Left = S + D
図１２は、微分信号の加減算により発生する網膜像差を説明する図である。ここでは、説明を簡単にするために、入力信号として、１次元の正弦波信号が入力された場合に、左眼用の信号と右眼用の信号がどのように生成されるかを示した。図の水平軸は、画像の水平方向の画素位置を表しており、垂直軸は、画素の輝度レベルを表している。 FIG. 12 is a diagram for explaining a retinal image difference generated by addition / subtraction of a differential signal. Here, for simplicity of explanation, it is shown how a signal for the left eye and a signal for the right eye are generated when a one-dimensional sine wave signal is input as an input signal. . The horizontal axis in the figure represents the pixel position in the horizontal direction of the image, and the vertical axis represents the luminance level of the pixel.
入力信号Ｓを以下の式（式２）で表す。
Ｓ＝ｓｉｎωｘ・・・（式２）
このとき、微分信号Ｄは、以下の式（式３）で表される。
Ｄ＝ｃｏｓωｘ・・・（式３）
The input signal S is expressed by the following formula (Formula 2).
S = sin ωx (Expression 2)
At this time, the differential signal D is expressed by the following equation (Equation 3).
D = cos ωx (Expression 3)
このとき、左眼信号Ｌと右眼信号Ｒは、以下のように式（式４）、（式５）で表される。
これらの式、（式４）、（式５）から、左眼信号Ｌは、入力信号Ｓに対してπ／４だけ位相が進み、右眼信号Ｒは、入力信号Ｓに対してπ／４だけ位相が遅れている。つまり、左眼信号Ｌは、入力信号よりも振幅が√２倍で、角周波数ωで決まる周期の１／８だけ水平左方向にずれた信号であり、右眼信号Ｒは、同様に、振幅が√２倍で、周期の１／８だけ水平右方向にずれた信号となっている。このように、左眼信号Ｌと右眼信号Ｒの間ではπ／２だけの位相差が発生し、この位相差が網膜像差として知覚され、奥行きを感じることが出来る。 From these equations (Equation 4) and (Equation 5), the phase of the left eye signal L is advanced by π / 4 with respect to the input signal S, and the right eye signal R is π / 4 with respect to the input signal S. Only the phase is delayed. That is, the left eye signal L is a signal having an amplitude √2 times that of the input signal and shifted in the horizontal left direction by 1/8 of the period determined by the angular frequency ω, and the right eye signal R similarly has the amplitude. Is √2 times, and the signal is shifted to the right in the horizontal direction by 1/8 of the period. In this way, a phase difference of π / 2 occurs between the left eye signal L and the right eye signal R, and this phase difference is perceived as a retinal image difference, and the depth can be felt.
上述の通り、網膜像差は、角周波数ωに依存して変化する。図１３は、図１２と比較して、入力信号の角周波数が１／２になった場合の波形を示している。図からわかる通り、網膜像差は図１２の場合の２倍になっており、両眼立体視した場合には、図１２の入力信号に比較して奥に知覚される。 As described above, the retinal image difference changes depending on the angular frequency ω. FIG. 13 shows a waveform when the angular frequency of the input signal is halved compared to FIG. As can be seen from FIG. 12, the retinal image difference is twice that in FIG. 12, and is perceived in the back as compared with the input signal in FIG.
また、図１４は、図１２と比較して、入力信号の角周波数が２倍になった場合の波形を示している。図からわかる通り、網膜像差は図１２の場合の１／２になっており、両眼立体視した場合には、図１２の入力信号に比較して手前に知覚される。 FIG. 14 shows a waveform when the angular frequency of the input signal is doubled compared to FIG. As can be seen from the figure, the retinal image difference is ½ of that in FIG. 12, and is perceived in front of the input signal in FIG.
さらに、微分信号Ｄの振幅を制御した場合の波形を図１５に示す。図１５は、微分信号Ｄに２倍の増幅を施した場合を示しているが、より一般化するため、制御した微分信号Ｆを式（式６）で示す。
Ｆ＝ｋｃｏｓωｘ・・・（式６）
ここで、ｋは正の実数である。
なお、上記のＦは、微分信号Ｄに対する変換処理によって生成した前述の視差強調信号Ｅに相当する。
Further, FIG. 15 shows a waveform when the amplitude of the differential signal D is controlled. FIG. 15 shows a case where the differential signal D is amplified twice, but the controlled differential signal F is expressed by an expression (Expression 6) for generalization.
F = k cos ωx (Expression 6)
Here, k is a positive real number.
Note that F corresponds to the above-described parallax enhancement signal E generated by the conversion process on the differential signal D.
このとき、左眼信号Ｌと右眼信号Ｒは、以下のように式（式７）、式（式８）で表される。
ここで、αは０〜π／２の範囲にあり、以下の式（式９）で表される。
上記式（式９）において、微分信号の増幅値ｋを大きくするとαは大きくなるため、入力信号Ｓと左眼信号Ｌ、および右眼信号Ｒとの位相差は大きくなる。従って、左眼信号Ｌと右眼信号Ｒの位相差も大きくなり、網膜像差が大きく知覚される。この結果、両眼立体視した場合にはより奥にあるように知覚されるようになる。 In the above equation (Equation 9), when the amplification value k of the differential signal is increased, α increases, so that the phase difference between the input signal S, the left eye signal L, and the right eye signal R increases. Therefore, the phase difference between the left eye signal L and the right eye signal R also increases, and the retinal image difference is perceived to be large. As a result, in the case of binocular stereoscopic vision, it is perceived as being deeper.
このように、本発明の画像処理装置１００の生成する右眼用画像と左眼用画像は、画像の空間周波数に応じて網膜像差が変化し、空間周波数の高い領域ほど網膜像差が小さくなり、空間周波数の低い領域ほど網膜像差が大きくなるような画像である。このような画像が人間の右眼、および左眼に分離して提示された場合、人間は、網膜像差の小さい領域を手前に、網膜像差の大きい領域を奥に知覚する。 As described above, the right-eye image and the left-eye image generated by the image processing apparatus 100 according to the present invention change the retinal image difference according to the spatial frequency of the image, and the region having a higher spatial frequency has a smaller retinal image difference. Thus, the image is such that the retinal image difference increases as the spatial frequency is lower. When such an image is presented separately to the human right eye and left eye, the human perceives a region with a small retinal image difference in front and a region with a large retinal image difference in the back.
しかしながら、本発明の画像処理装置１００は、上述の通り、単に局所的な空間周波数に応じた処理を行っており、画像中の個々の被写体に対してもエッジ部とテクスチャ部では異なる網膜像差が与えられている。従って、観察者は網膜像差からのみでは正確な奥行きを知覚出来ないため、画像の絵画的な特徴（構図、物体の前後関係、空間周波数）や、運動視差などを手掛かりとして、画像の大局的な奥行きは人間がこれらの画像情報から類推して知覚することが出来ると考えられる。 However, as described above, the image processing apparatus 100 of the present invention simply performs processing according to the local spatial frequency, and the retinal image difference that differs between the edge portion and the texture portion even for each subject in the image. Is given. Therefore, since the observer cannot perceive the correct depth only from the retinal image difference, the overall image can be obtained based on the pictorial features of the image (composition, object context, spatial frequency) and motion parallax. It is thought that human beings can perceive by analogy from these image information.
また、上述のとおり、主に画像のエッジ部に対して網膜像差を発生させるようにしているため、樹木の枝や電線、髪の毛といった微細な構造にも網膜像差を与えることができるため、微細な被写体の立体感を表現することも可能である。 In addition, as described above, since the retinal image difference is mainly generated with respect to the edge portion of the image, the retinal image difference can be given to a minute structure such as a tree branch, an electric wire, or hair, It is also possible to express a three-dimensional effect of a minute subject.
本発明の画像処理装置は、このような特性を利用して、画像の局所的な変調処理を施すだけで、自然な立体視を実現できる両眼視差画像の生成構成を実現している。 The image processing apparatus of the present invention realizes a binocular parallax image generation configuration capable of realizing natural stereoscopic vision only by performing local modulation processing of an image using such characteristics.
さらに、本発明の画像処理装置は、右眼用画像（Ｒｉｇｈｔ）と左眼用画像（Ｌｅｆｔ）を先に説明した式（式１）に従って生成している。すなわち、入力信号に相当するビデオデータの輝度レベルを（Ｓ）とし、図７（ｂ）に示す微分信号を非線形変換した視差強調信号［ｅｎｈ］の信号レベルを（Ｅ）としたとき、以下の式により右眼用画像信号（Ｒｉｇｈｔ）と、左眼用画像信号（Ｌｅｆｔ）を生成している。
右眼用画像信号：Ｒｉｇｈｔ＝Ｓ−Ｅ
左眼用画像信号：Ｌｅｆｔ＝Ｓ＋Ｅ
Furthermore, the image processing apparatus of the present invention generates the right-eye image (Right) and the left-eye image (Left) according to the equation (Equation 1) described above. That is, when the luminance level of the video data corresponding to the input signal is (S) and the signal level of the parallax enhancement signal [enh] obtained by nonlinear transformation of the differential signal shown in FIG. The right-eye image signal (Right) and the left-eye image signal (Left) are generated by the equations.
Right eye image signal: Right = SE
Left eye image signal: Left = S + E
この式から理解されるように、右眼用画像信号と左眼用画像信号を加算して生成される加算信号は、以下のようになる。
加算信号＝（Ｓ＋Ｅ）＋（Ｓ−Ｅ）＝Ｓ
結果として加算信号は、入力画像と等価になる。
As can be understood from this equation, the addition signal generated by adding the right-eye image signal and the left-eye image signal is as follows.
Addition signal = (S + E) + (SE) = S
As a result, the added signal is equivalent to the input image.
従って、例えば、図９、または図１０を参照して説明したように時間分割方式の立体表示装置で表示する場合において、観察者であるユーザが液晶シャッタ方式のメガネを外して画像を観察すると、人間の視覚系における時間的な積分機能により左眼用画像（Ｌｅｆｔ）と右眼用画像（Ｒｉｇｈｔ）が積分された画像を知覚する。この画像は、上記の加算信号、すなわち、
加算信号＝（Ｓ＋Ｅ）＋（Ｓ−Ｅ）＝Ｓ
上記信号［Ｓ］となる。すなわち、入力の２次元画像をそのまま知覚することが出来る。すなわち不自然な二重の画像に見えてしまうというようなことがなく、何ら処理を施していない画像として観察することが可能となる。
Therefore, for example, when displaying on a time-division stereoscopic display device as described with reference to FIG. 9 or FIG. 10, when the user who is an observer removes the liquid crystal shutter glasses and observes an image, An image obtained by integrating the left-eye image (Left) and the right-eye image (Right) is perceived by a temporal integration function in the human visual system. This image is the above summation signal, i.e.
Addition signal = (S + E) + (SE) = S
The signal [S] is obtained. That is, the input two-dimensional image can be perceived as it is. That is, it does not appear as an unnatural double image, and it can be observed as an image that has not been processed at all.
また、図１１に示したように空間分割方式の立体表示装置で表示する場合には、偏光メガネを外した場合には、垂直方向の１画素を知覚できなくなる程度の距離から観察する場合には垂直方向の２画素が加算された画像を知覚する。この画像は、上記の加算信号、すなわち、
加算信号＝（Ｓ＋Ｅ）＋（Ｓ−Ｅ）＝Ｓ
上記信号［Ｓ］となる。一方、人間の網膜像差に対する視力は、通常視力の１０倍ほど高いため、このような距離から観察しても左眼用画像と右眼用画像の間の網膜像差は十分認識することが可能である。従って、偏光メガネを外した場合には、不自然な二重の画像に見えてしまうというようなことがなく、何ら処理を施していない画像として観察することが可能であり、偏光メガネを装着すれば、立体知覚が可能となる。
Also, in the case of displaying on a spatially divided stereoscopic display device as shown in FIG. 11, when viewing from a distance that makes it impossible to perceive one pixel in the vertical direction when the polarized glasses are removed. An image in which two pixels in the vertical direction are added is perceived. This image is the above summation signal, i.e.
Addition signal = (S + E) + (SE) = S
The signal [S] is obtained. On the other hand, since the visual acuity for human retinal image difference is about 10 times higher than normal visual acuity, even when observed from such a distance, the retinal image difference between the left-eye image and the right-eye image can be sufficiently recognized. Is possible. Therefore, when the polarized glasses are removed, it does not look like an unnatural double image and can be observed as an image that has not been processed at all. 3D perception becomes possible.
このように、本発明の画像処理装置によって生成される画像は、立体表示装置を用いて表示を行うことにより、立体視用のメガネを装着した場合には立体知覚が可能であり、立体視用のメガネを非装着の場合には、変換を施していない元の２次元画像として知覚することが可能となる。 As described above, the image generated by the image processing apparatus of the present invention is displayed using a stereoscopic display device, so that stereoscopic viewing is possible when wearing stereoscopic glasses, and stereoscopic viewing is possible. When the glasses are not worn, it can be perceived as an original two-dimensional image that has not been converted.
（１−４．本発明の画像処理装置の画像変換部の処理シーケンスについて）
次に、図１６に示すフローチャートを参照して、本発明の一実施例に係る画像処理装置１００の画像変換部１３０の実行する処理のシーケンスについて説明する。なお、図１６に示すフローチャートは入力画像が動画像（ビデオデータ）である場合の処理である。
(1-4. Processing Sequence of Image Conversion Unit of Image Processing Apparatus of Present Invention)
Next, a processing sequence executed by the image conversion unit 130 of the image processing apparatus 100 according to an embodiment of the present invention will be described with reference to a flowchart shown in FIG. Note that the flowchart shown in FIG. 16 is processing when the input image is a moving image (video data).
ステップＳ４０１において、微分器１３１（図５参照）は、画像変換部１３０に入力されるビデオデータのうち輝度信号に対して微分処理を行う。すなわち、図７（ａ）入力信号の微分処理により図７（ｂ）微分信号を生成する。 In step S <b> 401, the differentiator 131 (see FIG. 5) performs a differentiation process on the luminance signal in the video data input to the image conversion unit 130. That is, the differential signal of FIG. 7B is generated by the differential processing of the input signal of FIG.
ステップＳ４０２では、非線形変換部１３２（図５参照）が、微分器１３１から出力される微分信号に対して非線形変換処理を行う。この非線形変換処理は、例えば図６に示すようなグラフに対応した非線形変換処理である。 In step S <b> 402, the nonlinear conversion unit 132 (see FIG. 5) performs nonlinear conversion processing on the differential signal output from the differentiator 131. This non-linear conversion process is a non-linear conversion process corresponding to a graph as shown in FIG. 6, for example.
ステップＳ４０３以下の処理は画像合成部１３３の処理である。画像合成部１３３内の制御部は、ステップＳ４０３において、現在の入力フレームに対する左眼用画像の合成を行うかどうかを判断する。この判断処理は、画像処理装置１００の出力する画像表示装置の表示方式と、画像合成部１３３内に設けられたフレームカウンタの値に従って判断する。フレームカウンタは、入力画像フレームのフレーム番号に対応する値を保持するカウンタである。 The processing after step S403 is the processing of the image composition unit 133. In step S403, the control unit in the image composition unit 133 determines whether to composite the left-eye image with the current input frame. This determination processing is performed according to the display method of the image display apparatus output from the image processing apparatus 100 and the value of the frame counter provided in the image composition unit 133. The frame counter is a counter that holds a value corresponding to the frame number of the input image frame.
画像表示装置の出力方式が図９に示す時間分割出力方式の場合には、画像合成部１３３はフレームカウンタの値に従って左眼用画像を出力するかどうかを判断する。すなわち図９に示す時間分割出力方式の場合には、偶数フレームまたは奇数フレームのいずれかのみにおいて左眼用画像を出力するように制御を行う。フレームカウンタの値に従って左眼用画像を出力すると判断した場合は、ステップＳ４０４に進む。一方、フレームカウンタの値により右眼用画像出力のフレームであると判断した場合にはステップＳ４０５に進む。 When the output method of the image display apparatus is the time division output method shown in FIG. 9, the image composition unit 133 determines whether to output the image for the left eye according to the value of the frame counter. That is, in the case of the time division output method shown in FIG. 9, control is performed so that the left-eye image is output only in either the even frame or the odd frame. If it is determined that the image for the left eye is output according to the value of the frame counter, the process proceeds to step S404. On the other hand, if it is determined that the frame is a right-eye image output frame based on the value of the frame counter, the process proceeds to step S405.
また、図９に示す時間分割出力方式以外の場合、すなわち、図１０に示す２倍のフレームレートによる時間分割出力方式、または、図１１に示す空間分割出力方式、あるいは、画像表示装置側で、図８に示す左眼用画像、右眼用画像を入力して表示制御を行う場合は、画像合成部１３３は、全ての入力フレームに対して左眼用画像を合成すると判断してステップＳ４０４に進む。 In the case other than the time division output method shown in FIG. 9, that is, the time division output method with the double frame rate shown in FIG. 10, the space division output method shown in FIG. When the display control is performed by inputting the image for the left eye and the image for the right eye shown in FIG. move on.
ステップＳ４０４では、画像合成部１３３は、先に説明した式（式１）に従って左眼用画像（Ｌｅｆｔ）を生成する。すなわち、図７に示すように、図７（ａ）入力信号に相当するビデオデータの輝度レベルを（Ｓ）とし、図７（ｂ）に示す微分信号を非線形変換した視差強調信号［ｅｎｈ］の信号レベルを（Ｅ）としたとき、以下の式により左眼用画像信号（Ｌｅｆｔ）を生成する。
左眼用画像信号：Ｌｅｆｔ＝Ｓ＋Ｅ
In step S404, the image composition unit 133 generates a left-eye image (Left) according to the equation (Equation 1) described above. That is, as shown in FIG. 7, the luminance level of the video data corresponding to the input signal in FIG. 7 (a) is (S), and the differential signal shown in FIG. When the signal level is (E), a left-eye image signal (Left) is generated by the following equation.
Left eye image signal: Left = S + E
一方、ステップＳ４０３において、現在の入力フレームに対する左眼用画像の合成を行わないと判定した場合は、ステップＳ４０５に進み、現在の入力フレームに対する右眼用画像を生成する。すなわち、図７に示すように、図７（ａ）入力信号に相当するビデオデータの輝度レベルを（Ｓ）とし、図７（ｂ）に示す微分信号を非線形変換した視差強調信号［ｅｎｈ］の信号レベルを（Ｅ）としたとき、以下の式により右眼用画像信号（Ｒｉｇｈｔ）を生成する。
右眼用画像信号：Ｒｉｇｈｔ＝Ｓ−Ｅ
の合成を行う。
On the other hand, if it is determined in step S403 that the left-eye image is not to be combined with the current input frame, the process proceeds to step S405 to generate a right-eye image for the current input frame. That is, as shown in FIG. 7, the luminance level of the video data corresponding to the input signal in FIG. 7 (a) is (S), and the differential signal shown in FIG. When the signal level is (E), the right eye image signal (Right) is generated by the following equation.
Right eye image signal: Right = SE
Is synthesized.
ステップＳ４０４において左眼用画像の生成を終了すると、ステップＳ４０６において、左眼用画像の生成フレームと同一フレームに対して右眼用画像も生成するか否かを判定する。画像処理装置の出力方式が図９に示す時間分割出力方式の場合には、各フレームにおいては左眼、右眼のいずれかの画像のみを合成するため、右眼用画像の生成は行わないと判断してステップＳ４０７に進む。 When the generation of the left-eye image is completed in step S404, it is determined in step S406 whether or not a right-eye image is also generated for the same frame as the left-eye image generation frame. When the output method of the image processing apparatus is the time-division output method shown in FIG. 9, only the image of the left eye or the right eye is synthesized in each frame, so that the right eye image is not generated. Determination is made and the process proceeds to step S407.
また、図９に示す時間分割出力方式以外の場合、すなわち、図１０に示す２倍のフレームレートによる時間分割出力方式、または、図１１に示す空間分割出力方式、あるいは、画像表示装置側で、図８に示す左眼用画像、右眼用画像を入力して表示制御を行う場合は、画像合成部１３３は、全ての入力フレームに対して右眼用画像を合成すると判断してステップＳ４０５に進む。ステップＳ４０５の処理はすでに説明した通り、前述した式（式１）に従った右眼用画像の生成処理である。 In the case other than the time division output method shown in FIG. 9, that is, the time division output method with the double frame rate shown in FIG. 10, the space division output method shown in FIG. 11, or the image display device side, When the left eye image and the right eye image shown in FIG. 8 are input and display control is performed, the image composition unit 133 determines to synthesize the right eye image for all input frames, and the process proceeds to step S405. move on. The process in step S405 is a right-eye image generation process according to the above-described expression (Expression 1) as described above.
ステップＳ４０７では、画像合成部１３３の制御部は、画像の縮小処理を行うかどうかを判断する。画像処理装置の出力形式が図１１に示す空間分割出力方式の場合、画像縮小処理を行うと判断し、ステップＳ４０８に進む。画像処理装置の出力形式が図１１に示す空間分割出力方式以外の場合、すなわち、図８に示す左眼用画像、右眼用画像の同時出力方式、図９に示す時間分割出力方式、または、図１０に示す２倍のフレームレートによる時間分割出力方式のいずれかである場合には、画像縮小処理は不要であるため、ステップＳ４１０に進む。 In step S407, the control unit of the image composition unit 133 determines whether to perform image reduction processing. If the output format of the image processing apparatus is the space division output method shown in FIG. 11, it is determined that image reduction processing is to be performed, and the process proceeds to step S408. When the output format of the image processing apparatus is other than the space division output method shown in FIG. 11, that is, the left eye image and right eye image simultaneous output method shown in FIG. 8, the time division output method shown in FIG. In the case of any one of the time-division output methods with the double frame rate shown in FIG. 10, the image reduction process is unnecessary, and the process proceeds to step S410.
ステップＳ４０８〜Ｓ４０９において、画像合成部１３３は、先に図１１を参照して説明したように図１１に示す（ｅ）両眼視差画像を（ｃ）右眼用画像と（ｄ）左眼用画像から生成する。すなわち、（ｃ）右眼用画像と（ｄ）左眼用画像の各画像をそれぞれ位相を１ラインずらして垂直方向に１／２に縮小処理する（Ｓ４０８）。さらに、画像合成部１３３は、このようにして得られた左眼用画像と右眼用画像を水平ライン単位で交互に合成して１枚の（ｄ）両眼視差画像を生成する（Ｓ４０９）。 In steps S408 to S409, the image compositing unit 133 converts (b) the binocular parallax image shown in FIG. 11 into (c) the right-eye image and (d) the left-eye image as described above with reference to FIG. Generate from image. That is, (c) the right-eye image and (d) the left-eye image are respectively reduced in phase in the vertical direction by ½ by shifting the phase by one line (S408). Further, the image composition unit 133 alternately synthesizes the left-eye image and the right-eye image obtained in this way in units of horizontal lines to generate one (d) binocular parallax image (S409). .
ステップＳ４１０では、画像出力部１５０における画像出力処理が終了しているかどうかを判断する。画像出力処理が終了している場合、画像変換処理を終了する。画像出力処理が終了していない場合には、ステップＳ４１１に進む。 In step S410, it is determined whether the image output process in the image output unit 150 is finished. If the image output process has ended, the image conversion process ends. If the image output process has not ended, the process proceeds to step S411.
ステップＳ４１１では、フレームカウントをインクリメントし、ステップＳ４０１に進み、以降、ステップＳ４０１〜ステップＳ４１０の処理を繰り返す。 In step S411, the frame count is incremented, and the process proceeds to step S401. Thereafter, the processes in steps S401 to S410 are repeated.
以上、説明の通り、本発明の一実施例の画像処理装置によれば、２次元画像データを入力とし、画像の特徴量、すなわち輝度変化部分であるエッジ部を抽出して、エッジ部の画像態様を変更すことで擬似的な右眼用画像と左眼用画像を生成する構成である。この構成より、立体表示装置において好適な両眼視差画像を生成することが可能となる。 As described above, according to the image processing apparatus of one embodiment of the present invention, two-dimensional image data is input, an image feature amount, that is, an edge portion that is a luminance change portion is extracted, and an image of the edge portion is extracted. In this configuration, pseudo right-eye images and left-eye images are generated by changing the aspect. With this configuration, it is possible to generate a suitable binocular parallax image in the stereoscopic display device.
さらに、本発明による画像処理装置では、図７に示すように、図７（ａ）入力信号に相当するビデオデータの輝度レベルを（Ｓ）とし、図７（ｂ）に示す微分信号を非線形変換した視差強調信号［ｅｎｈ］の信号レベルを（Ｅ）としたとき、以下の式により右眼用画像信号と左眼用画像信号を生成する。
右眼用画像信号：Ｒｉｇｈｔ＝Ｓ−Ｅ
左眼用画像信号：Ｌｅｆｔ＝Ｓ＋Ｅ
この式から理解されるように、右眼用画像信号と左眼用画像信号を加算して生成される加算信号は、以下のようになる。
加算信号＝（Ｓ＋Ｅ）＋（Ｓ−Ｅ）＝Ｓ
結果として加算信号は、入力画像と等価になる。
Further, in the image processing apparatus according to the present invention, as shown in FIG. 7, the luminance level of the video data corresponding to the input signal in FIG. 7A is set to (S), and the differential signal shown in FIG. When the signal level of the parallax enhancement signal [enh] is (E), a right eye image signal and a left eye image signal are generated by the following equations.
Right eye image signal: Right = SE
Left eye image signal: Left = S + E
As can be understood from this equation, the addition signal generated by adding the right-eye image signal and the left-eye image signal is as follows.
Addition signal = (S + E) + (SE) = S
As a result, the added signal is equivalent to the input image.
このように、加算信号は、入力信号に等しくなる、またはほぼ等しくなる設定である。従って、立体表示装置に表示した画像をユーザが見る場合に、立体視用のメガネを装着した場合には立体表現を知覚することが可能であり、立体視用のメガネを装着しない場合には通常の２次元画像として知覚することが可能となる。すなわち、メガネの装着の有無によらず画像を鑑賞することが可能となる。また、本発明による画像変換装置によれば、左眼用画像と右眼用画像の視差は非常に小さく、立体視用メガネを装着した場合の疲労度を低減することが可能である。 As described above, the addition signal is set to be equal to or substantially equal to the input signal. Accordingly, when the user views the image displayed on the stereoscopic display device, the stereoscopic expression can be perceived when wearing the glasses for stereoscopic viewing, and is usually performed when the glasses for stereoscopic viewing are not worn. Can be perceived as a two-dimensional image. That is, an image can be viewed regardless of whether or not glasses are worn. Further, according to the image conversion apparatus of the present invention, the parallax between the left-eye image and the right-eye image is very small, and it is possible to reduce the degree of fatigue when wearing stereoscopic glasses.
［２．特定画像領域の検出と制御処理を含む本発明の画像処理装置の第２実施例］
次に、本発明の画像処理装置の第２実施例として、特定画像領域の検出を行い、検出情報に基づいて画像領域の特徴に応じた強調処理制御を行う画像処理装置の例について説明する。上述した第１実施例の画像処理装置１００は、図５に示す画像変換部１３０において、輝度信号の微分信号を生成して、入力信号に対して、微分信号を加算、または減算することで、右眼用画像と左眼用画像を生成していた。
[2. Second Embodiment of Image Processing Apparatus of the Present Invention Including Specific Image Area Detection and Control Processing]
Next, as a second embodiment of the image processing apparatus of the present invention, an example of an image processing apparatus that detects a specific image area and performs enhancement processing control according to the characteristics of the image area based on detection information will be described. In the image processing apparatus 100 of the first embodiment described above, the image conversion unit 130 shown in FIG. 5 generates a differential signal of the luminance signal and adds or subtracts the differential signal from the input signal. A right-eye image and a left-eye image were generated.
この処理によって生成した右眼用画像と左眼用画像は、図７に示すように信号のエッジ周辺において原信号の振幅を超えるオーバーシュートやアンダーシュートが発生する傾向がある。このオーバーシュートやアンダーシュートは、観察画像の不自然さを発生させる要因となる。 As shown in FIG. 7, the right-eye image and the left-eye image generated by this processing tend to cause overshoot or undershoot exceeding the amplitude of the original signal around the signal edge. This overshoot and undershoot cause unnaturalness of the observed image.
また、人間は肌色の階調に敏感であるとされており、例えば業務用ビデオカメラなどでは、肌色領域の輪郭強調処理を弱めるスキントーンディテールと呼ばれる機能が搭載されている場合がある。図５に示した画像変換部では、原信号の高域強調を伴うため、立体視した場合に肌色領域のしわやあれなどが強調されてしまう問題がある。 Further, humans are said to be sensitive to skin tone, and for example, a professional video camera may be equipped with a function called skin tone detail that weakens the contour enhancement processing of the skin color region. Since the image conversion unit shown in FIG. 5 is accompanied by high-frequency emphasis of the original signal, there is a problem that wrinkles and roughness of the skin color region are emphasized when viewed stereoscopically.
以下に説明する第２実施例は、これらの問題を解決するため、処理対象となる入力画像からエッジ領域や肌色領域を検出し、エッジ周辺や肌色領域では視差強調信号の寄与を小さくする処理を行う。この処理によって、エッジ領域におけるオーバーシュートやアンダーシュートの発生を低減し、また肌をなめらかに表現することが可能となる。 In a second embodiment described below, in order to solve these problems, processing for detecting an edge region or a skin color region from an input image to be processed and reducing the contribution of the parallax enhancement signal in the periphery of the edge or the skin color region is performed. Do. By this processing, it is possible to reduce the occurrence of overshoot and undershoot in the edge region and to express the skin smoothly.
本実施例に係る画像処理装置の全体構成は、図１に示す画像処理装置１００と同様の構成である。すなわち画像処理装置１００は、画像入力部１１０において、デジタルスチルカメラなどから出力される静止画像ファイルや、カムコーダなどから出力される動画像データを受け取り、色空間変換部１２０に入力する。 The overall configuration of the image processing apparatus according to the present embodiment is the same as that of the image processing apparatus 100 shown in FIG. That is, the image processing apparatus 100 receives still image files output from a digital still camera or moving image data output from a camcorder or the like in the image input unit 110 and inputs them to the color space conversion unit 120.
色空間変換部１２０は、入力信号から輝度信号と色差信号を生成し、画像変換部１３０に出力する。画像変換部１３０は、輝度信号と色差信号を用いて左右眼用画像を生成する。画像変換部１３０が生成した左右眼用画像は、色空間逆変換部１４０に入力され、出力信号に応じた信号に変換され、画像出力部１５０を介して表示部に出力される。 The color space conversion unit 120 generates a luminance signal and a color difference signal from the input signal and outputs them to the image conversion unit 130. The image conversion unit 130 generates an image for the left and right eyes using the luminance signal and the color difference signal. The left and right eye images generated by the image conversion unit 130 are input to the color space inverse conversion unit 140, converted into a signal corresponding to the output signal, and output to the display unit via the image output unit 150.
本実施例２では、画像変換部１３０の構成が、先の実施例１において説明した図５の構成とは異なる構成を持つ。実施例２における画像変換部１３０の構成について、図１７を参照して説明する。画像変換部１３０は、入力画像信号の空間的な特徴量を抽出し、抽出した特徴量を適用した異なる強調処理を施すことで左眼用画像と右眼用画像を生成する処理を行う。 In the second embodiment, the configuration of the image conversion unit 130 is different from the configuration of FIG. 5 described in the first embodiment. The configuration of the image conversion unit 130 in the second embodiment will be described with reference to FIG. The image conversion unit 130 performs processing for generating a left eye image and a right eye image by extracting a spatial feature amount of the input image signal and applying different enhancement processes to which the extracted feature amount is applied.
図１７に示すように、本実施例の画像変換部１３０は、微分器１３１、非線形変換部１３２、画像合成部１３３、エッジ領域検出部１３４、肌色領域検出部１３５、およびエンハンス制御部１３６を有する。 As illustrated in FIG. 17, the image conversion unit 130 according to the present exemplary embodiment includes a differentiator 131, a nonlinear conversion unit 132, an image synthesis unit 133, an edge region detection unit 134, a skin color region detection unit 135, and an enhancement control unit 136. .
微分器１３１は、先の実施例１において図５を参照して説明した微分器１３１と同様、画像変換部１３０に入力される画像信号、例えばビデオデータから輝度信号を取り出し、輝度信号に対する微分信号を生成する。具体的には、例えば画像の輝度信号を水平方向に入力して、入力輝度信号を一次微分した信号を生成する。一次微分処理は、例えば、水平方向３タップの線形１次微分フィルタなどを用いる。 Similar to the differentiator 131 described with reference to FIG. 5 in the first embodiment, the differentiator 131 extracts a luminance signal from an image signal input to the image conversion unit 130, for example, video data, and differentiates the luminance signal. Is generated. Specifically, for example, a luminance signal of an image is input in the horizontal direction, and a signal obtained by first-order differentiation of the input luminance signal is generated. For example, a linear primary differential filter with 3 taps in the horizontal direction is used for the primary differential processing.
非線形変換部１３２も、先の実施例１において図５を参照して説明した非線形変換部１３２と同様、微分器１３１から出力される微分信号を非線形的に変換し、視差強調信号として出力する。 Similarly to the nonlinear conversion unit 132 described with reference to FIG. 5 in the first embodiment, the nonlinear conversion unit 132 also nonlinearly converts the differential signal output from the differentiator 131 and outputs it as a parallax enhancement signal.
画像合成部１３３も、先の実施例１において図５を参照して説明した画像合成部１３３と同様、非線形変換部１３２から出力される視差強調信号と、画像変換部１３０に入力されたビデオデータを受け取り、ビデオデータを構成する各フレーム画像と視差強調信号を合成して、左眼用画像と、右眼用画像を生成する処理を行う。 Similarly to the image composition unit 133 described with reference to FIG. 5 in the first embodiment, the image composition unit 133 also includes the parallax enhancement signal output from the nonlinear conversion unit 132 and the video data input to the image conversion unit 130. And the frame image constituting the video data and the parallax enhancement signal are combined to generate a left-eye image and a right-eye image.
エッジ領域検出部１３４は、画像変換部１３０に入力されたビデオデータからエッジ領域と平坦領域を識別するエッジ領域識別信号を生成して出力する。具体的には、例えば入力ビデオ信号から各画素の輝度信号を取り出し、輝度信号の周囲領域における平坦度合を得るため周辺領域における分散値を算出して、算出した分散値を画素対応のエッジ領域識別信号として出力する。分散値の値に応じてエッジ領域であるか平坦領域であるかを判別することができる。なお、エッジ領域検出部１３４が算出して出力する信号は、分散値に限らず、エッジ領域と平坦領域を判別することが可能な信号であればよい。 The edge region detection unit 134 generates and outputs an edge region identification signal that identifies an edge region and a flat region from the video data input to the image conversion unit 130. Specifically, for example, the luminance signal of each pixel is extracted from the input video signal, the dispersion value in the peripheral region is calculated to obtain the flatness in the peripheral region of the luminance signal, and the calculated dispersion value is identified as the edge region corresponding to the pixel. Output as a signal. Whether the region is an edge region or a flat region can be determined according to the value of the dispersion value. The signal calculated and output by the edge region detection unit 134 is not limited to the variance value, and may be any signal that can discriminate between the edge region and the flat region.
肌色領域検出部１３５は、画像変換部１３０に入力されたビデオデータから肌色領域を識別する肌色領域識別信号を生成して出力する。具体的には、例えば入力ビデオ信号から色差信号を取り出し、色差信号と予め設定した閾値との比較に基づいて人物の肌色の領域を検出し、肌色として認識された画素を［１］、非肌色の画素を［０］とする設定とした画素対応の肌色領域識別信号を出力する。 The skin color area detection unit 135 generates and outputs a skin color area identification signal for identifying the skin color area from the video data input to the image conversion unit 130. Specifically, for example, a color difference signal is extracted from an input video signal, a human skin color region is detected based on a comparison between the color difference signal and a preset threshold value, and a pixel recognized as a skin color is set to [1]. A skin color region identification signal corresponding to the pixel set to [0] is output.
肌色領域検出部１３５の入力する色差信号は、（Ｃｂ，Ｃｒ）、または（Ｕ，Ｖ）などの色差信号であり、肌色領域検出部１３５は入力する色差信号に対応する肌色判別用の閾値データを保持し、閾値データと入力色差信号との比較を画素単位で実行して、各画素が肌色であるか否かを判定する。 The color difference signal input by the skin color area detection unit 135 is a color difference signal such as (Cb, Cr) or (U, V), and the skin color area detection unit 135 has threshold data for skin color discrimination corresponding to the input color difference signal. And the comparison between the threshold data and the input color difference signal is executed on a pixel basis to determine whether each pixel is a skin color.
なお、肌色領域検出部１３５における肌色の検出は、上述のような単純な色差信号と閾値との比較処理で実現可能であるが、この方法に限定するものではなく、顔検出や人体検出技術を用いて、より正確に肌色領域を検出する方法を用いても良い。 Note that the skin color detection in the skin color region detection unit 135 can be realized by the simple comparison process between the color difference signal and the threshold as described above. However, the present invention is not limited to this method, and face detection or human body detection technology is used. It is also possible to use a method for detecting the skin color region more accurately.
エンハンス制御部１３６は、非線形変換部１３２から出力される視差強調信号［ｅｎｈ（Ｅ）］、エッジ領域検出部１３４から出力されるエッジ領域識別信号（例えば分散値）、および肌色領域検出部１３５から出力される肌色領域識別信号（例えば［０］，［１］の識別信号）を受け取り、エッジ領域識別信号と肌色領域識別信号に応じて視差強調信号［ｅｎｈ（Ｅ）］に対してゲイン制御処理を行う。 The enhancement control unit 136 includes a parallax enhancement signal [enh (E)] output from the nonlinear conversion unit 132, an edge region identification signal (for example, a variance value) output from the edge region detection unit 134, and a skin color region detection unit 135. Gain control processing is performed on the parallax enhancement signal [enh (E)] according to the edge region identification signal and the skin color region identification signal, upon receiving the output skin color region identification signal (for example, [0], [1] identification signal) I do.
エッジ領域検出部１３４から出力されるエッジ領域識別信号である分散値は、エッジなどの輝度変化の大きい領域では大きく、平坦な領域では小さくなる信号である。 The variance value, which is an edge region identification signal output from the edge region detection unit 134, is a signal that is large in a region where the luminance change is large, such as an edge, and is small in a flat region.
先に説明したように、第１実施例の図５に示す構成を持つ画像変換部１３０は、図７に示した通り、信号のエッジ周辺において原信号の振幅を超えるオーバーシュートやアンダーシュートが発生する傾向にある。この問題を解決するため、本実施例においては、画素値の変化が少ない平坦な領域では視差強調信号の寄与を大きくし、画素値の変化が大きいエッジ周辺では視差強調信号の寄与を小さくすることにより、オーバーシュート、アンダーシュートの発生を低減する。従って、エンハンス制御部１３６は、以下のような反比例式（式１０）により与えられるエッジ対応ゲイン量［ｇａｉｎｆｌａｔ］を計算し、視差強調信号に乗ずることで視差強調信号の寄与を制御する。 As described above, the image conversion unit 130 having the configuration shown in FIG. 5 of the first embodiment generates overshoot and undershoot exceeding the amplitude of the original signal around the edge of the signal as shown in FIG. Tend to. In order to solve this problem, in this embodiment, the contribution of the parallax enhancement signal is increased in a flat region where the change in the pixel value is small, and the contribution of the parallax enhancement signal is reduced in the vicinity of the edge where the change in the pixel value is large. This reduces the occurrence of overshoot and undershoot. Accordingly, the enhancement control unit 136 controls the contribution of the parallax enhancement signal by calculating the edge-corresponding gain amount [gain flat ] given by the following inverse proportional expression (Equation 10) and multiplying the parallax enhancement signal.
上記式（式１０）において、
ｖａｒは１で正規化した分散値であり、
ａは比例定数である。
ｖａｒが０でない場合には、エッジ対応ゲイン量［ｇａｉｎｆｌａｔ］は、最大値［１］でクリッピングされる。ｖａｒが０の場合には、エッジ対応ゲイン量［ｇａｉｎｆｌａｔ］は［１］になる。エッジ対応ゲイン量［ｇａｉｎｆｌａｔ］は、上記式による変換に限定するものではなく、平坦な領域では大きくなり、エッジ周辺で小さくなるような特性を持つ変換を実現するものであれば上記式と異なる変換式を適用してもよい。
In the above formula (Formula 10),
var is a variance value normalized by 1,
a is a proportionality constant.
When var is not 0, the edge corresponding gain amount [gain flat ] is clipped with the maximum value [1]. When var is 0, the edge-corresponding gain amount [gain flat ] is [1]. The edge-corresponding gain amount [gain flat ] is not limited to the conversion according to the above formula, but is different from the above formula as long as it realizes a conversion having a characteristic that increases in a flat region and decreases around the edge. A conversion formula may be applied.
肌色領域検出部１３５から出力される肌色領域識別信号は、肌色の領域のみで［１］となる信号である。人間は肌色の階調に敏感であるとされており、業務用ビデオカメラなどでは、肌色領域の輪郭強調処理を弱めるスキントーンディテールと呼ばれる機能が搭載されている場合がある。先に説明したように、第１実施例の図５に示す構成を持つ画像変換部１３０は、原信号の高域強調を伴うため、立体視した場合に肌色領域のしわやあれなどが強調されてしまう問題がある。この問題を解決するため、本実施例においては、肌色領域では視差強調信号の寄与を小さくすることにより、肌の肌理がなめらかに表現されるようにする。従って、エンハンス制御部１３６は、以下のような反比例式（式１１）により与えられる肌色対応ゲイン量［ｇａｉｎｓｋｉｎ］を計算し、視差強調信号に乗ずることで視差強調信号の寄与を制御する。 The skin color area identification signal output from the skin color area detection unit 135 is a signal that is [1] only in the skin color area. Humans are said to be sensitive to skin tone, and professional video cameras and the like may have a function called skin tone detail that weakens the contour emphasis processing of the skin tone area. As described above, the image conversion unit 130 having the configuration shown in FIG. 5 of the first embodiment is accompanied by high-frequency emphasis of the original signal, so that wrinkles and wrinkles in the skin color region are emphasized when viewed stereoscopically. There is a problem. In order to solve this problem, in this embodiment, the skin texture is smoothly expressed by reducing the contribution of the parallax enhancement signal in the skin color region. Accordingly, the enhancement control unit 136 controls the contribution of the parallax enhancement signal by calculating the skin color corresponding gain amount [gain skin ] given by the following inverse proportional expression (Equation 11) and multiplying the parallax enhancement signal.
上記式（式１１）において、
ｓｋｉｎｉは、画素位置ｉにおける肌色識別信号であり、
ｂは比例定数である。
このように、肌色対応ゲイン量［ｇａｉｎｓｋｉｎ］は、周囲ｎ画素の肌色識別信号の平均値に反比例し、最大値１でクリッピングされる。ここで、肌色対応ゲイン量［ｇａｉｎｓｋｉｎ］は、上記式による変換に限定するものではなく、肌色領域で小さくなるような変換を実現するものであれば上記式と異なる変換式を適用してもよい。
In the above formula (Formula 11),
skin i is a skin color identification signal at pixel position i,
b is a proportionality constant.
As described above, the skin color corresponding gain amount [gain skin ] is inversely proportional to the average value of the skin color identification signals of the surrounding n pixels, and is clipped at the maximum value of 1. Here, the skin color corresponding gain amount [gain skin ] is not limited to the conversion according to the above formula, and a conversion formula different from the above formula may be applied as long as the conversion can be reduced in the skin color region. Good.
エンハンス制御部１３６は、下記の式（式１２）に示すとおり、上記の式（式１０）により与えられるエッジ対応ゲイン量［ｇａｉｎｆｌａｔ］と、上記の式（式１１）により与えられる肌色対応ゲイン量［ｇａｉｎｓｋｉｎ］を、非線形変換部１３２から入力する視差強調信号［ｅｎｈ］に乗算することによりゲイン制御された修正視差強調信号［ｅｎｈ'］を出力する。 As shown in the following equation (Equation 12), the enhancement control unit 136 performs the edge corresponding gain amount [gain flat ] given by the above equation (Equation 10) and the flesh color corresponding gain given by the above equation (Equation 11). The parallax enhancement signal [enh] input from the nonlinear conversion unit 132 is multiplied by the quantity [gain skin ] to output the corrected parallax enhancement signal [enh ′] whose gain is controlled.
上記の修正視差強調信号［ｅｎｈ'］の算出は、各画素単位で実行され、各画素対応のエッジ対応ゲイン量［ｇａｉｎｆｌａｔ］と、肌色対応ゲイン量［ｇａｉｎｓｋｉｎ］に基づいて各画素単位で修正視差強調信号［ｅｎｈ'］を算出する。 The above-described calculation of the corrected parallax enhancement signal [enh ′] is executed for each pixel unit, and for each pixel unit based on the edge corresponding gain amount [gain flat ] corresponding to each pixel and the skin color corresponding gain amount [gain skin ]. A corrected parallax enhancement signal [enh ′] is calculated.
このように、図１７に示す画像変換部１３０のエンハンス制御部１３６は、修正視差強調信号［ｅｎｈ'］を算出し、修正視差強調信号［ｅｎｈ'］を画像合成部１３３に出力する。 As described above, the enhancement control unit 136 of the image conversion unit 130 illustrated in FIG. 17 calculates the corrected parallax enhancement signal [enh ′] and outputs the corrected parallax enhancement signal [enh ′] to the image synthesis unit 133.
画像合成部１３３の処理は、先に説明した実施例１の画像合成部１３３の処理と同様の処理である。画像合成部１３３は、エンハンス制御部１３６から出力される修正視差強調信号［ｅｎｈ'］と、画像変換部１３０に入力されたビデオデータを受け取り、ビデオデータを構成する各フレーム画像と視差強調信号を合成して、左眼用画像と、右眼用画像を生成する処理を行う。 The process of the image composition unit 133 is the same as the process of the image composition unit 133 of the first embodiment described above. The image composition unit 133 receives the modified parallax enhancement signal [enh ′] output from the enhancement control unit 136 and the video data input to the image conversion unit 130, and receives each frame image and the parallax enhancement signal that constitute the video data. A process of generating an image for the left eye and an image for the right eye is performed by combining them.
画像合成部１３３は、（ａ）入力信号に相当するビデオデータ（Ｓ）と、（ｂ）微分信号を非線形変換した視差強調信号［ｅｎｈ（Ｅ）］に対して画像領域単位で修正（エンハンス制御）した修正視差強調信号［ｅｎｈ'（Ｅ'）］を受け取り、以下の式により右眼用画像信号（Ｒｉｇｈｔ）と、左眼用画像信号（Ｌｅｆｔ）を生成する。
Ｒｉｇｈｔ＝Ｓ−Ｅ'
Ｌｅｆｔ＝Ｓ＋Ｅ'
The image synthesizing unit 133 corrects (enhanced control) video data (S) corresponding to the input signal and (b) parallax enhancement signal [enh (E)] obtained by nonlinear transformation of the differential signal for each image area. ) Modified parallax enhancement signal [enh ′ (E ′)] is received, and a right eye image signal (Right) and a left eye image signal (Left) are generated by the following equations.
Right = SE '
Left = S + E ′
ここで、画像合成部１３３は、左眼用画像信号（Ｌｅｆｔ）と右眼用画像信号（Ｒｉｇｈｔ）の両方を変換せずに、いずれか一方の信号に対してのみ変換をかけるようにしても構わない。すなわち、
Ｒｉｇｈｔ＝Ｓ−Ｅ'
Ｌｅｆｔ＝Ｓ
このような信号の組み合わせとしてもよい。
あるいは、
Ｒｉｇｈｔ＝Ｓ
Ｌｅｆｔ＝Ｓ＋Ｅ'
このような信号の組み合わせとしてもよい。
このような処理によって、右眼用画像信号（Ｒｉｇｈｔ）と、左眼用画像信号（Ｌｅｆｔ）には、網膜像差が発生し奥行きを知覚させる画像を得ることができる。
Here, the image composition unit 133 may convert only one of the signals without converting both the left-eye image signal (Left) and the right-eye image signal (Right). I do not care. That is,
Right = SE '
Left = S
A combination of such signals may be used.
Or
Right = S
Left = S + E ′
A combination of such signals may be used.
By such processing, a retinal image difference is generated between the right-eye image signal (Right) and the left-eye image signal (Left), and an image that perceives depth can be obtained.
本実施例では、図１７を参照して説明したように、画像変換部１３０に、エッジ領域検出部１３４、肌色領域検出部１３５、エンハンス制御部１３６を設定し、入力画像の画像特徴に応じて修正視差強調信号［ｅｎｈ'］を算出する構成としている。 In the present embodiment, as described with reference to FIG. 17, an edge region detection unit 134, a skin color region detection unit 135, and an enhancement control unit 136 are set in the image conversion unit 130, and according to the image characteristics of the input image. The corrected parallax enhancement signal [enh ′] is calculated.
エンハンス制御部１３６は、例えばエッジ領域では、非線形変換部１３２から入力する視差強調信号［ｅｎｈ（Ｅ）］に小さなエッジ対応ゲイン量［ｇａｉｎｆｌａｔ］を乗算する。 For example, in the edge region, the enhancement control unit 136 multiplies the parallax enhancement signal [enh (E)] input from the nonlinear conversion unit 132 by a small edge-corresponding gain amount [gain flat ].
エンハンス制御部１３６は、この処理により、エッジ領域では平面領域に比較して小さな値となる修正視差強調信号［ｅｎｈ'（Ｅ'）］を生成する。この処理によって、画像合成部１３３で出力される左眼用画像と右眼用画像において、エッジ周辺に発生するオーバーシュート、およびアンダーシュートを抑制し、立体視において良好な画質を得ることが可能となる。さらに、エッジ周辺のみにおいて視差強調信号［ｅｎｈ（Ｅ）］の寄与を下げることにより、画像全体の視差量を維持することができるため、全体の奥行き感には大きな影響はない。 With this process, the enhancement control unit 136 generates a corrected parallax enhancement signal [enh ′ (E ′)] that has a smaller value in the edge region than in the planar region. By this processing, it is possible to suppress overshoot and undershoot that occur around the edges in the image for the left eye and the image for the right eye that are output from the image composition unit 133, and obtain a good image quality in stereoscopic viewing. Become. Furthermore, since the parallax amount of the entire image can be maintained by reducing the contribution of the parallax enhancement signal [enh (E)] only in the periphery of the edge, the overall depth feeling is not significantly affected.
また、図１７に示す画像変換部１３０は、上述の通り、肌色領域検出部１３５で検出された肌色領域に対して非線形変換部１３２から入力する視差強調信号［ｅｎｈ（Ｅ）］に小さな肌色対応ゲイン量［ｇａｉｎｓｋｉｎ］を乗算する。 In addition, as described above, the image conversion unit 130 illustrated in FIG. 17 supports a small skin color in the parallax enhancement signal [enh (E)] input from the nonlinear conversion unit 132 with respect to the skin color region detected by the skin color region detection unit 135. Multiply the gain amount [gain skin ].
エンハンス制御部１３６は、肌色領域では、その他の領域に比較して小さな値となる修正視差強調信号［ｅｎｈ'（Ｅ'）］を生成する。この処理により、画像合成部１３３で出力される左眼用画像と右眼用画像において、人物の顔などの肌色領域でのしわやあれなどの強調を抑えることができ、立体視において良好な画質を得ることが可能となる。 The enhancement control unit 136 generates a corrected parallax enhancement signal [enh ′ (E ′)] that has a smaller value in the skin color region than in other regions. By this processing, it is possible to suppress wrinkles and wrinkles in a skin color region such as a human face in the left-eye image and right-eye image output from the image composition unit 133, and to achieve good image quality in stereoscopic viewing. Can be obtained.
［３．色差信号に対応する左右眼用画像信号を生成する本発明の画像処理装置の第３実施例］
次に、本発明の画像処理装置の第３実施例として、色差信号に対応する左右眼用画像信号を生成する画像処理装置の構成について説明する。
[3. Third Embodiment of Image Processing Device of the Present Invention for Generating Left and Right Eye Image Signals Corresponding to Color Difference Signals]
Next, as a third embodiment of the image processing apparatus of the present invention, the configuration of an image processing apparatus that generates left and right eye image signals corresponding to color difference signals will be described.
本実施例に係る画像処理装置の全体構成は、図１に示す画像処理装置１００と同様の構成である。すなわち画像処理装置１００は、画像入力部１１０において、デジタルスチルカメラなどから出力される静止画像ファイルや、カムコーダなどから出力される動画像データを受け取り、色空間変換部１２０に入力する。 The overall configuration of the image processing apparatus according to the present embodiment is the same as that of the image processing apparatus 100 shown in FIG. That is, the image processing apparatus 100 receives still image files output from a digital still camera or moving image data output from a camcorder or the like in the image input unit 110 and inputs them to the color space conversion unit 120.
色空間変換部１２０は、入力信号から輝度信号と色差信号を生成し、画像変換部１３０に出力する。画像変換部１３０は、輝度信号と色差信号を用いて左右眼用画像を生成する。画像変換部１３０が生成した左右眼用画像は、色空間逆変換部１４０に入力され、出力信号に応じた信号に変換され、画像出力部１５０を介して表示部に出力される。 The color space conversion unit 120 generates a luminance signal and a color difference signal from the input signal and outputs them to the image conversion unit 130. The image conversion unit 130 generates an image for the left and right eyes using the luminance signal and the color difference signal. The left and right eye images generated by the image conversion unit 130 are input to the color space inverse conversion unit 140, converted into a signal corresponding to the output signal, and output to the display unit via the image output unit 150.
本実施例３では、画像変換部１３０の構成が、先の実施例１において説明した図５の構成とは異なる構成を持つ。実施例２における画像変換部１３０の構成について、図１８を参照して説明する。画像変換部１３０は、入力画像信号の空間的な特徴量を抽出し、抽出した特徴量を適用した異なる強調処理を施すことで左眼用画像と右眼用画像を生成する処理を行う。 In the third embodiment, the configuration of the image conversion unit 130 is different from the configuration of FIG. 5 described in the first embodiment. The configuration of the image conversion unit 130 in the second embodiment will be described with reference to FIG. The image conversion unit 130 performs processing for generating a left eye image and a right eye image by extracting a spatial feature amount of the input image signal and applying different enhancement processes to which the extracted feature amount is applied.
図１８に示すように、本実施例の画像変換部１３０は、微分器１３１、非線形変換部１３２、画像合成部１３３、色差信号微分器１３７、および第２画像合成部１３８を有する。微分器１３１、非線形変換部１３２、画像合成部１３３は、図５を参照して説明したと同様の処理を行う。これらの処理についての説明は省略する。 As illustrated in FIG. 18, the image conversion unit 130 of this embodiment includes a differentiator 131, a nonlinear conversion unit 132, an image synthesis unit 133, a color difference signal differentiator 137, and a second image synthesis unit 138. The differentiator 131, the non-linear converter 132, and the image synthesizer 133 perform the same processing as described with reference to FIG. A description of these processes is omitted.
色差信号微分器１３７は、画像変換部１３０に入力されたビデオデータから色差信号（Ｃｂ，Ｃｒ）または（Ｕ，Ｖ）を取り出し、色差信号各々に対する微分信号を生成する。微分信号の生成は、微分器１３１による輝度信号に対する微分信号の生成と同様であり、例えば、水平方向３タップの線形１次微分フィルタなどを用いる。 The color difference signal differentiator 137 extracts the color difference signal (Cb, Cr) or (U, V) from the video data input to the image conversion unit 130, and generates a differential signal for each color difference signal. The generation of the differential signal is the same as the generation of the differential signal with respect to the luminance signal by the differentiator 131. For example, a linear primary differential filter with 3 taps in the horizontal direction is used.
第２画像合成部１３８は、
（ａ）色差信号微分器１３７から出力される色差信号の微分信号［Ｄｃ］、
（ｂ）画像変換部１３０に入力されたビデオデータの色差信号［Ｃ］、
（ｃ）微分器１３１から出力される輝度信号の微分信号、
（ｄ）非線形変換部１３２から出力される視差強調信号［ｅｎｈ（Ｅ）］、
これらの各信号を入力する。
第２画像合成部１３８は、これらの信号を受け取り、ビデオデータを構成する各フレーム画像の色差信号と、色差信号の微分信号を合成し、左眼用画像と右眼用画像の色差信号を生成する処理を行う。具体的には、第２画像合成部１３８は、色差信号の微分信号［Ｄｃ］と、ビデオデータの色差信号［Ｃ］を以下の式（式１３）により合成し、左眼用画像の色差信号［Ｌｅｆｔｃ］と右眼用画像の色差信号［Ｒｉｇｈｔｃ］を生成する。
The second image composition unit 138
(A) a color difference signal differential signal [Dc] output from the color difference signal differentiator 137;
(B) The color difference signal [C] of the video data input to the image conversion unit 130,
(C) a differential signal of the luminance signal output from the differentiator 131,
(D) a parallax enhancement signal [enh (E)] output from the nonlinear converter 132,
Each of these signals is input.
The second image synthesizing unit 138 receives these signals, synthesizes the color difference signals of the frame images constituting the video data and the differential signal of the color difference signals, and generates the color difference signals of the left eye image and the right eye image. Perform the process. Specifically, the second image synthesis unit 138 synthesizes the differential signal [Dc] of the color difference signal and the color difference signal [C] of the video data by the following equation (Equation 13), and the color difference signal of the left-eye image. [Left c ] and the color difference signal [Right c ] of the right-eye image are generated.
上記式（式１３）において、
色差信号Ｃは、色差信号のいずれかのチャンネル（ＣｂまたはＣｒ）、あるいは（ＵまたはＶ）を表している。
微分信号Ｄｃは、色差信号Ｃを微分したものである。
また、Ｄｙは輝度信号の微分信号、
ｅｎｈは視差強調信号を表している。
In the above formula (Formula 13),
The color difference signal C represents any channel (Cb or Cr) or (U or V) of the color difference signal.
The differential signal Dc is obtained by differentiating the color difference signal C.
Dy is a differential signal of the luminance signal,
enh represents a parallax enhancement signal.
なお、画像変換部１３０に入力される色差信号が（Ｃｂ，Ｃｒ）であれば、第２画像合成部１３８は、色差信号Ｃｂに対応する左眼用画像の色差信号［Ｌｅｆｔｃ］と右眼用画像の色差信号［Ｒｉｇｈｔｃ］と、色差信号Ｃｒに対応する左眼用画像の色差信号［Ｌｅｆｔｃ］と右眼用画像の色差信号［Ｒｉｇｈｔｃ］とを生成する。
また、画像変換部１３０に入力される色差信号が（Ｕ，Ｖ）であれば、第２画像合成部１３８は、色差信号Ｕに対応する左眼用画像の色差信号［Ｌｅｆｔｃ］と右眼用画像の色差信号［Ｒｉｇｈｔｃ］と、色差信号Ｖに対応する左眼用画像の色差信号［Ｌｅｆｔｃ］と右眼用画像の色差信号［Ｒｉｇｈｔｃ］とを生成する。
If the color difference signal input to the image conversion unit 130 is (Cb, Cr), the second image synthesis unit 138 uses the color difference signal [Left c ] of the left-eye image corresponding to the color difference signal Cb and the right eye. A color difference signal [Right c ] for the image for the image, a color difference signal [Left c ] for the image for the left eye corresponding to the color difference signal Cr, and a color difference signal [Right c ] for the image for the right eye are generated.
If the color difference signal input to the image conversion unit 130 is (U, V), the second image synthesis unit 138 uses the color difference signal [Left c ] of the left-eye image corresponding to the color difference signal U and the right eye. The image color difference signal [Right c ], the left eye image color difference signal [Left c ] and the right eye image color difference signal [Right c ] corresponding to the color difference signal V are generated.
上記式（式１３）の合成式は、輝度信号の視差強調信号［ｅｎｈ］と微分信号［Ｄｙ］の比［ｅｎｈ／Ｄｙ］によって強調量を決める設定である。すなわち、
左眼用画像の色差信号［Ｌｅｆｔｃ］は、視差強調信号［ｅｎｈ］と微分信号［Ｄｙ］の比［ｅｎｈ／Ｄｙ］に対する色差信号の微分信号Ｄｃの乗算値［Ｄｃ×（ｅｎｈ／Ｄｙ）］を元の色差信号Ｃに加算して生成する。
右眼用画像の色差信号［Ｒｉｇｈｔｃ］は、視差強調信号［ｅｎｈ］と微分信号［Ｄｙ］の比［ｅｎｈ／Ｄｙ］に対する色差信号の微分信号Ｄｃの乗算値［Ｄｃ×（ｅｎｈ／Ｄｙ）］を元の色差信号Ｃから減算して生成する。
The synthesis formula of the above formula (formula 13) is a setting for determining the enhancement amount by the ratio [enh / Dy] of the parallax enhancement signal [enh] of the luminance signal and the differential signal [Dy]. That is,
The color difference signal [Left c ] of the image for the left eye is a multiplication value [Dc × (enh / Dy) of the differential signal Dc of the color difference signal with respect to the ratio [enh / Dy] of the parallax enhancement signal [enh] and the differential signal [Dy]. ] Is added to the original color difference signal C to generate.
The color difference signal [Right c ] of the right-eye image is obtained by multiplying the differential signal Dc of the color difference signal by the ratio [enh / Dy] of the parallax enhancement signal [enh] and the differential signal [Dy] [Dc × (enh / Dy). ] Is subtracted from the original color difference signal C.
なお、上記式（式１３）の合成式は、本実施例における第２画像合成部１３８の実行する合成処理の一例に過ぎず、第２画像合成部１３８は、左眼用画像の色差信号［Ｌｅｆｔｃ］と右眼用画像の色差信号［Ｒｉｇｈｔｃ］の各々を、色差信号とその微分信号の加算処理と減算処理によって生成すれば、上記式以外の合成処理を実行してもよい。 Note that the synthesis formula of the above formula (Formula 13) is merely an example of a synthesis process executed by the second image synthesis unit 138 in the present embodiment, and the second image synthesis unit 138 uses the color difference signal [ If each of Left c ] and the color difference signal [Right c ] of the right-eye image is generated by adding and subtracting the color difference signal and its differential signal, a synthesis process other than the above expression may be executed.
このように、本実施例の画像処理装置では、図１８に示す画像変換部１３０によって、色差信号の微分信号を生成して、元の色差信号と合成する処理を行って、左眼用画像の色差信号［Ｌｅｆｔｃ］と右眼用画像の色差信号［Ｒｉｇｈｔｃ］の各々を生成する。この構成により、彩度の高い被写体の境界付近で発生する疑色や色にじみを抑制することが可能となる。さらに、輝度信号の視差強調信号と微分信号の比によって強調量を決めることにより、輝度信号と同程度のエンハンスを実現することが可能となる。 As described above, in the image processing apparatus according to the present embodiment, the image conversion unit 130 illustrated in FIG. 18 generates a differential signal of the color difference signal and performs a process of synthesizing it with the original color difference signal. Each of the color difference signal [Left c ] and the right eye image color difference signal [Right c ] is generated. With this configuration, it is possible to suppress suspicious colors and color blurs that occur near the boundaries of highly saturated subjects. Furthermore, by determining the enhancement amount based on the ratio between the parallax enhancement signal and the differential signal of the luminance signal, enhancement similar to that of the luminance signal can be realized.
図１８に示す画像変換部１３０の処理についてまとめて説明する。
図１８に示す画像変換部１３０の微分器１３１、非線形変換部１３２、画像合成部１３３の処理は、前述の実施例１と同様の処理である。すなわち、微分器１３１が入力画像信号の輝度微分信号を抽出し、非線形変換部１３２において微分信号の非線形変換を実行し、この結果を第１の特徴量として設定する。画像合成部１３３は、入力画像信号の輝度信号に対してこの第１の特徴量を加算した変換信号、または減算した変換信号のいずれかの変換信号を左眼用画像または右眼用画像の輝度信号として生成する。
The processing of the image conversion unit 130 shown in FIG. 18 will be described together.
The processes of the differentiator 131, the non-linear converter 132, and the image synthesizer 133 of the image converter 130 shown in FIG. 18 are the same as those in the first embodiment. That is, the differentiator 131 extracts the luminance differential signal of the input image signal, performs nonlinear transformation of the differential signal in the nonlinear transformation unit 132, and sets the result as the first feature amount. The image synthesis unit 133 converts the luminance signal of the left-eye image or the right-eye image into one of the converted signal obtained by adding the first feature amount to the luminance signal of the input image signal, or the subtracted converted signal. Generate as a signal.
図１８に示す画像変換部１３０の色差信号微分器１３７と第２画像合成部１３８の処理は以下の処理となる。色差信号微分器１３７は、入力画像信号の色差微分信号を抽出し、この色差微分信号を第２の特徴量として設定する。第２画像合成部１３８は、入力画像信号の色差信号に対して第２の特徴量を加算した変換信号、または減算した変換信号のいずれかの変換信号を左眼用画像または右眼用画像の色差信号として生成する。 The processing of the color difference signal differentiator 137 and the second image composition unit 138 of the image conversion unit 130 shown in FIG. 18 is as follows. The color difference signal differentiator 137 extracts the color difference differential signal of the input image signal, and sets this color difference differential signal as the second feature amount. The second image synthesis unit 138 converts either the converted signal obtained by adding the second feature amount to the color difference signal of the input image signal or the converted signal obtained by subtracting the converted signal of the left-eye image or the right-eye image. Generated as a color difference signal.
このような処理によって、左眼用画像と右眼用画像の輝度信号と色差信号が得られる。なお、上述の処理によって、左眼用画像と右眼用画像の輝度信号と色差信号を生成して出力する構成としてもよいが、上述の特徴量を用いた加算または減算処理によって左眼用画像、または右眼用画像の一方の眼用画像の輝度信号と色差信号のみを生成して、入力画像信号に処理を加えない非変換信号を変換信号と異なる眼用の画像として設定して出力する構成としてもよい。 Through such processing, the luminance signal and the color difference signal of the image for the left eye and the image for the right eye are obtained. Note that the left eye image and right eye image luminance signal and color difference signal may be generated and output by the above processing, but the left eye image may be added or subtracted using the above feature amount. Alternatively, only the luminance signal and the color difference signal of one eye image of the right eye image are generated, and the non-converted signal that does not process the input image signal is set and output as an eye image different from the converted signal. It is good also as a structure.
［４．画像表示部を持つ画像処理装置の構成例］
図１に示す画像処理装置は、画像表示部を持たない画像処理装置として説明した。しかし、画像表示部を持つ画像処理装置として構成してもよい。図１９は、画像表示部を持つ画像処理装置の一実施例を示す図である。
[4. Configuration example of image processing apparatus having image display unit]
The image processing apparatus illustrated in FIG. 1 has been described as an image processing apparatus having no image display unit. However, you may comprise as an image processing apparatus with an image display part. FIG. 19 is a diagram illustrating an embodiment of an image processing apparatus having an image display unit.
画像表示装置３００は、画像入力部３１０において、デジタルスチルカメラなどから出力される静止画像ファイルや、カムコーダなどから出力される動画像データを受け取り、内部データ形式に変換する。ここで、内部データ形式は、ベースバンドの動画像データであり、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の三原色のビデオデータや、輝度（Ｙ）、色差（Ｃｂ，Ｃｒ）、あるいは（Ｙ，Ｕ，Ｖ）などの信号からなるビデオデータである。内部データ形式は、色空間の識別信号が重畳されており、後段の色空間変換部３２が対応していればどのような色空間でも構わない。 In the image display unit 300, the image input unit 310 receives a still image file output from a digital still camera or moving image data output from a camcorder or the like, and converts it into an internal data format. Here, the internal data format is baseband moving image data, video data of three primary colors of red (R), green (G), and blue (B), luminance (Y), color difference (Cb, Cr), Alternatively, it is video data composed of signals such as (Y, U, V). The internal data format may be any color space as long as the color space identification signal is superimposed and the subsequent color space conversion unit 32 is compatible.
画像入力部３１０から出力されたビデオデータは、色空間変換部３２０に入力され、輝度信号と色差信号に変換される。このとき、入力ビデオデータが画像変換部の処理対象とするデータ、例えばＹ，Ｃｂ，Ｃｒ色空間に従う場合には、色空間変換部３２０、色空間の変換を行わずに出力する。入力ビデオデータがＲ，Ｇ，Ｂ色空間、または他の色空間に従う場合には、色空間変換部２は、輝度（Ｙ）、色差（Ｃｂ，Ｃｒ）信号への変換を行い出力する。 The video data output from the image input unit 310 is input to the color space conversion unit 320 and converted into a luminance signal and a color difference signal. At this time, when the input video data conforms to data to be processed by the image conversion unit, for example, the Y, Cb, Cr color space, the color space conversion unit 320 outputs the data without performing color space conversion. When the input video data conforms to the R, G, B color space, or another color space, the color space conversion unit 2 converts into luminance (Y) and color difference (Cb, Cr) signals and outputs them.
ここで、色空間変換部３２０から出力するビデオデータの色空間は、Ｙ，Ｃｂ，Ｃｒ空間に限るものではなく、輝度成分と色成分が分離された色空間であれば、どのような空間でも構わない。 Here, the color space of the video data output from the color space conversion unit 320 is not limited to the Y, Cb, Cr space, and any space can be used as long as the luminance component and the color component are separated. I do not care.
色空間変換部３２０から出力されたビデオデータは、画像変換部３３０に入力される。画像変換部３３０は、先に説明した処理によって左眼用と右眼用の両眼視差画像を生成し、画像表示部３５０の形式に従ってこれらの画像を合成して出力する。 The video data output from the color space conversion unit 320 is input to the image conversion unit 330. The image conversion unit 330 generates left-eye and right-eye binocular parallax images by the processing described above, and synthesizes and outputs these images according to the format of the image display unit 350.
画像変換部３３０から出力されたビデオデータは、色空間逆変換部３４０に入力され、Ｙ，Ｃｂ，Ｃｒ色空間からＲ，Ｇ，Ｂ色空間へ変換される。 The video data output from the image conversion unit 330 is input to the color space inverse conversion unit 340 and converted from the Y, Cb, Cr color space to the R, G, B color space.
色空間逆変換部３４０から出力されたビデオデータは、画像表示部３５０に入力される。画像表示部３５０は、画像出力部と表示部とを兼ね備えた構成であり、以下に示す立体表示方式（時間分割方式または空間分割方式）のいずれかの方式よって画像表示を行う。 The video data output from the color space inverse transform unit 340 is input to the image display unit 350. The image display unit 350 has both an image output unit and a display unit, and performs image display by any one of the following three-dimensional display methods (time division method or space division method).
（時間分割方式）
時間分割方式の立体表示方法においては、入力されるビデオデータの奇数フレームと偶数フレームをそれぞれ左眼用画像、および右眼用画像（または、右眼用画像、および左眼用画像）と認識し、ユーザが装着する液晶シャッタ方式によるメガネを制御して、左眼と右眼に映像が時間的に交互に提示されるようにする。この表示方式では、画像表示部３５０は、左眼用画像、および右眼用画像の出力切り替えタイミングを、鑑賞者の装着したメガネの左右眼鏡部のシャッタ切り替えに同期させる設定として制御する。
(Time division method)
In the time-division stereoscopic display method, odd and even frames of input video data are recognized as a left-eye image and a right-eye image (or a right-eye image and a left-eye image), respectively. The liquid crystal shutter-type glasses worn by the user are controlled so that images are alternately presented to the left and right eyes in terms of time. In this display method, the image display unit 350 controls the output switching timing of the left-eye image and the right-eye image as a setting to synchronize with the shutter switching of the left and right glasses of the glasses worn by the viewer.
（空間分割方式）
空間分割方式の立体表示方法においては、表示部前面に水平ラインごとに偏光方向が異なるように設定した偏光フィルタを貼り合わせ、ユーザが装着する偏光フィルタ方式によるメガネで見た場合に、左眼と右眼に水平ラインごとに映像が分離されて提示されるようにする。
(Space division method)
In the spatial display method of stereoscopic display, a polarizing filter set so that the polarization direction is different for each horizontal line is pasted on the front surface of the display unit, and when viewed with the polarizing filter method glasses worn by the user, The video is separated and presented for each horizontal line to the right eye.
以上、説明の通り、本発明による画像処理装置によれば、２次元画像データを入力とし、画像の特徴量から擬似的に右眼用画像と左眼用画像を生成することにより、両眼視差を利用した立体表示を行うことが可能である。さらに、本発明による画像処理装置によれば、左眼用画像と右眼用画像を加算したときに入力画像と等価となるように画像変換を行うことにより、立体視用のメガネを装着した場合には立体表現を知覚することが可能であり、立体視用のメガネを装着しない場合には通常の２次元画像として知覚することが可能となり、メガネの装着の有無によらず画像を鑑賞することが可能となる。また、本発明による画像表示装置によれば、左眼用画像と右眼用画像の視差は非常に小さく、立体視用メガネを装着した場合の疲労度を低減することが可能である。 As described above, according to the image processing apparatus of the present invention, binocular parallax is obtained by generating two-dimensional image data as input and generating pseudo right-eye images and left-eye images from image feature amounts. 3D display using Furthermore, according to the image processing device of the present invention, when the left eye image and the right eye image are added, the image conversion is performed so as to be equivalent to the input image, thereby wearing stereoscopic glasses. It is possible to perceive stereoscopic expression, and if you do not wear stereoscopic glasses, you can perceive as a normal two-dimensional image, and you can view the image regardless of whether or not you wear glasses Is possible. Further, according to the image display device of the present invention, the parallax between the left-eye image and the right-eye image is very small, and it is possible to reduce the degree of fatigue when wearing stereoscopic glasses.
なお、これまで複数の実施例について説明してきたが、各実施例を組み合わせた構成としてもよい。すなわち上述の実施例１〜３や画像表示部を有する画像処理装置の各々についての任意の組み合わせ、例えば実施例２と実施例３を組み合わせた機能を持つ画像処理装置など、各実施例の有する機能を併せ持つ画像処理装置を構成することが可能である。 In addition, although several Example was demonstrated so far, it is good also as a structure which combined each Example. That is, the functions of each embodiment such as the above-described first to third embodiments and any combination of the image processing apparatuses having the image display unit, for example, the image processing apparatus having the function of combining the second and third embodiments. Can be configured.
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。 The present invention has been described in detail above with reference to specific embodiments. However, it is obvious that those skilled in the art can make modifications and substitutions of the embodiments without departing from the gist of the present invention. In other words, the present invention has been disclosed in the form of exemplification, and should not be interpreted in a limited manner. In order to determine the gist of the present invention, the claims should be taken into consideration.
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。 The series of processing described in the specification can be executed by hardware, software, or a combined configuration of both. When executing processing by software, the program recording the processing sequence is installed in a memory in a computer incorporated in dedicated hardware and executed, or the program is executed on a general-purpose computer capable of executing various processing. It can be installed and run. For example, the program can be recorded in advance on a recording medium. In addition to being installed on a computer from a recording medium, the program can be received via a network such as a LAN (Local Area Network) or the Internet and can be installed on a recording medium such as a built-in hard disk.
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。 Note that the various processes described in the specification are not only executed in time series according to the description, but may be executed in parallel or individually according to the processing capability of the apparatus that executes the processes or as necessary. Further, in this specification, the system is a logical set configuration of a plurality of devices, and the devices of each configuration are not limited to being in the same casing.
以上、説明したように、本発明の一実施例構成によれば、２次元画像信号を入力して、両眼立体視を実現するための左眼用画像と右眼用画像を生成する構成において、画像変換部が入力画像信号の空間的な特徴量を抽出し、入力画像信号に対して特徴量を適用した異なる強調処理を施すことで左眼用画像と右眼用画像を生成する。具体的には、入力画像信号の輝度微分信号、あるいは輝度微分信号を非線形変換して生成した信号を特徴量とする。入力画像信号に対してこの特徴量を加算した信号と減算した信号を生成し、これらの２つの信号の組を左眼用画像と右眼用画像の組として生成する。本構成により、簡易な信号処理で、立体視の可能な画像の生成が可能となる。また、左眼用画像と右眼用画像の加算信号は、入力信号に等しくなるので、立体視用のメガネを用いないで画像を観察した場合には通常の２次元画像として観察することが可能となる。 As described above, according to the configuration of one embodiment of the present invention, in a configuration in which a two-dimensional image signal is input and a left-eye image and a right-eye image for realizing binocular stereoscopic vision are generated. The image conversion unit extracts a spatial feature amount of the input image signal, and performs different enhancement processing using the feature amount applied to the input image signal, thereby generating a left-eye image and a right-eye image. Specifically, the luminance differential signal of the input image signal or a signal generated by nonlinear transformation of the luminance differential signal is used as the feature amount. A signal obtained by adding and subtracting the feature amount to the input image signal is generated, and a set of these two signals is generated as a set of a left-eye image and a right-eye image. With this configuration, it is possible to generate a stereoscopically viewable image with simple signal processing. In addition, since the addition signal of the left eye image and the right eye image is equal to the input signal, it can be viewed as a normal two-dimensional image when the image is observed without using stereoscopic glasses. It becomes.
１００ 画像処理装置
１１０ 画像入力部
１１１ メモリカードインタフェース
１１２ ＵＳＢインタフェース
１１３ ビデオインタフェース
１１４ フレームメモリ
１１５ デコーダ
１１６ ビデオ出力部
１２０ フレームメモリ
１３０ 画像変換部
１３１ 微分器
１３２ 非線形変換部
１３３ 画像合成部
１３４ エッジ領域検出部
１３５ 肌色領域検出部
１３６ エンハンス制御部
１３７ 色差信号微分器
１３８ 第２画像合成部
１４０ 色空間逆変換部
１５０ 画像出力部
３００ 画像処理装置
３１０ 画像入力部
３２０ フレームメモリ
３３０ 画像変換部
３４０ 色空間逆変換部
３５０ 画像表示部
DESCRIPTION OF SYMBOLS 100 Image processing apparatus 110 Image input part 111 Memory card interface 112 USB interface 113 Video interface 114 Frame memory 115 Decoder 116 Video output part 120 Frame memory 130 Image conversion part 131 Differentiator 132 Nonlinear conversion part 133 Image composition part 134 Edge area detection part 135 skin color region detection unit 136 enhancement control unit 137 color difference signal differentiator 138 second image synthesis unit 140 color space inverse conversion unit 150 image output unit 300 image processing device 310 image input unit 320 frame memory 330 image conversion unit 340 color space reverse conversion Part 350 Image display part
Claims (8)
を備える画像処理装置。 Image conversion for generating a set of a signal obtained by adding a differential signal of an image signal to the image signal and a signal obtained by subtracting a differential signal of the image signal from the image signal as a set of a left-eye image and a right-eye image Part,
An image processing apparatus comprising:
前記画像変換部は、前記非線形変換部より非線形変換された輝度微分信号を前記画像信号の輝度信号に加算した信号と前記非線形変換部より非線形変換された輝度微分信号を前記画像信号の輝度信号から減算した信号との組を、前記左眼用画像と前記右眼用画像との組として生成する請求項２に記載の画像処理装置。 A non-linear conversion unit that performs non-linear conversion processing on the luminance differential signal;
The image conversion unit includes a signal obtained by adding the luminance differential signal nonlinearly converted by the nonlinear conversion unit to the luminance signal of the image signal and a luminance differential signal nonlinearly converted by the nonlinear conversion unit from the luminance signal of the image signal. The image processing apparatus according to claim 2, wherein a set of subtracted signals is generated as a set of the left-eye image and the right-eye image.
画像変換部が、画像信号の微分信号を前記画像信号に加算した信号と前記画像信号の微分信号を前記画像信号から減算した信号との組を、左眼用画像と右眼用画像との組として生成する画像処理方法。 An image processing method executed in an image processing apparatus,
A set of a signal obtained by adding an image signal differential signal to the image signal and a signal obtained by subtracting the image signal differential signal from the image signal is a set of a left-eye image and a right-eye image. Image processing method to generate as
画像変換部に、画像信号の微分信号を前記画像信号に加算した信号と前記画像信号の微分信号を前記画像信号から減算した信号との組を、左眼用画像と右眼用画像との組として生成させるプログラム。 A program for causing an image processing apparatus to execute image processing,
In the image conversion unit, a set of a signal obtained by adding a differential signal of an image signal to the image signal and a signal obtained by subtracting a differential signal of the image signal from the image signal is a set of a left-eye image and a right-eye image. Program to be generated as
画像変換部に、画像信号の微分信号を前記画像信号に加算した信号と前記画像信号の微分信号を前記画像信号から減算した信号との組を、左眼用画像と右眼用画像との組として生成させるプログラムを記録した記録媒体。 A recording medium recording a program for causing an image processing apparatus to perform image processing;
In the image conversion unit, a set of a signal obtained by adding a differential signal of an image signal to the image signal and a signal obtained by subtracting a differential signal of the image signal from the image signal is a set of a left-eye image and a right-eye image. A recording medium on which a program to be generated is recorded.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013154340A JP5569635B2 (en) | 2008-08-06 | 2013-07-25 | Image processing apparatus, image processing method, and program |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008203614 | 2008-08-06 | ||
| JP2008203614 | 2008-08-06 | ||
| JP2013154340A JP5569635B2 (en) | 2008-08-06 | 2013-07-25 | Image processing apparatus, image processing method, and program |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009128578A Division JP5347717B2 (en) | 2008-08-06 | 2009-05-28 | Image processing apparatus, image processing method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014014084A true JP2014014084A (en) | 2014-01-23 |
| JP5569635B2 JP5569635B2 (en) | 2014-08-13 |
Family
ID=50109497
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013154340A Expired - Fee Related JP5569635B2 (en) | 2008-08-06 | 2013-07-25 | Image processing apparatus, image processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5569635B2 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1198527A (en) * | 1997-09-18 | 1999-04-09 | Sanyo Electric Co Ltd | Device for converting two-dimensional picture into three-dimensional picture and its method |
| JP2000092516A (en) * | 1998-09-17 | 2000-03-31 | Sanyo Electric Co Ltd | Device and method for converting two-dimensional video image to three-dimensional video image |
| JP2000209614A (en) * | 1999-01-14 | 2000-07-28 | Sony Corp | Stereoscopic video system |
| JP2000224441A (en) * | 1999-01-28 | 2000-08-11 | Sony Corp | Contour emphasis circuit |
| US20070024614A1 (en) * | 2005-07-26 | 2007-02-01 | Tam Wa J | Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging |
-
2013
- 2013-07-25 JP JP2013154340A patent/JP5569635B2/en not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1198527A (en) * | 1997-09-18 | 1999-04-09 | Sanyo Electric Co Ltd | Device for converting two-dimensional picture into three-dimensional picture and its method |
| JP2000092516A (en) * | 1998-09-17 | 2000-03-31 | Sanyo Electric Co Ltd | Device and method for converting two-dimensional video image to three-dimensional video image |
| JP2000209614A (en) * | 1999-01-14 | 2000-07-28 | Sony Corp | Stereoscopic video system |
| JP2000224441A (en) * | 1999-01-28 | 2000-08-11 | Sony Corp | Contour emphasis circuit |
| US20070024614A1 (en) * | 2005-07-26 | 2007-02-01 | Tam Wa J | Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5569635B2 (en) | 2014-08-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5347717B2 (en) | Image processing apparatus, image processing method, and program | |
| JP5521913B2 (en) | Image processing apparatus, image processing method, and program | |
| JP5387377B2 (en) | Image processing apparatus, image processing method, and program | |
| EP2259601B1 (en) | Image processing method, image processing device, and recording medium | |
| JP4098235B2 (en) | Stereoscopic image processing apparatus and method | |
| US9380284B2 (en) | Image processing method, image processing device and recording medium | |
| JP2012120057A (en) | Image processing device, image processing method, and program | |
| TWI428007B (en) | Apparatus and method for video processing | |
| JP2012138787A (en) | Image processor, image processing method, and program | |
| JP2000209614A (en) | Stereoscopic video system | |
| KR20130137000A (en) | Image processing device, image processing method, and program | |
| JP2011176800A (en) | Image processing apparatus, 3d display apparatus, and image processing method | |
| US9088774B2 (en) | Image processing apparatus, image processing method and program | |
| JP5569635B2 (en) | Image processing apparatus, image processing method, and program | |
| JP5794335B2 (en) | Image processing apparatus, image processing method, and program | |
| JPH0863615A (en) | Method for converting two-dimensional image into three-dimensional image | |
| JP5254297B2 (en) | Image processing device | |
| Lee et al. | View extrapolation method using depth map for 3D video systems | |
| US9185381B2 (en) | Backward-compatible stereo image processing system and method of generating a backward-compatible stereo image | |
| JP2014011492A (en) | Image processing apparatus and image processing method | |
| JP2012213116A (en) | Image processor, image processing method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140523 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140527 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140609 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5569635 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |