JP2013247522A - Image processing apparatus and method - Google Patents
Image processing apparatus and method Download PDFInfo
- Publication number
- JP2013247522A JP2013247522A JP2012120120A JP2012120120A JP2013247522A JP 2013247522 A JP2013247522 A JP 2013247522A JP 2012120120 A JP2012120120 A JP 2012120120A JP 2012120120 A JP2012120120 A JP 2012120120A JP 2013247522 A JP2013247522 A JP 2013247522A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- corresponding point
- information
- image
- parallax
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Television Systems (AREA)
Abstract
Description
本発明の実施形態は、画像処理装置及び画像処理方法に関する。 Embodiments described herein relate generally to an image processing apparatus and an image processing method.
通常、複数フレーム情報を用いた動画像の高解像度化処理は、複数の隣接フレームを用いてブロックマッチング手法などにより対応点を算出し、その対応点情報から補間画素を生成して高解像度化処理を行う。 Normally, the resolution enhancement processing of moving images using multiple frame information is performed by calculating corresponding points using a block matching method using multiple adjacent frames and generating interpolation pixels from the corresponding point information to increase the resolution processing. I do.
また、３Ｄ用の左目用と右目用の視差フレーム間で高解像度化処理を行うことも同様な方法で試みられている。即ち、視差のある静止画には左目用と右目用の視差フレーム間を用いた高解像度化処理の効果がある。 In addition, a similar method has been attempted to perform resolution enhancement processing between 3D left-eye and right-eye parallax frames. That is, a still image with parallax has an effect of high resolution processing using a parallax frame for left eye and right eye.
例えば特許文献１は、複数台のカメラを用いて共通視野内の画像を各カメラのフレーム間で位置合わせ処理や再構成処理により高解像度化処理を行うというものである。つまり、同じカメラで撮像された時間方向に関する対象物の移動方向と移動距離を参照せずに高解像化処理を行う方法である。これは、視差フレーム間の高解像度化処理の例である。
For example,
しかしながら、視差フレーム間で対応点を算出しようとする場合、立体の表示方法によっては、対応する画素がブロックマッチング手法などの探索範囲を大きく超えてしまい、対応する画素を算出できないという問題があった。 However, when trying to calculate corresponding points between parallax frames, depending on the stereoscopic display method, there is a problem that the corresponding pixels greatly exceed the search range such as the block matching method and the corresponding pixels cannot be calculated. .
そこで、視差フレーム間で対応点をより適正に探索できる技術への要望がある。 Therefore, there is a demand for a technique that can more appropriately search for corresponding points between parallax frames.
本発明の実施の形態は、視差フレーム間で対応点をより適正に探索できる技術を提供することを目的とする。 An object of the embodiment of the present invention is to provide a technique capable of more appropriately searching for corresponding points between parallax frames.
上記課題を解決するために、実施形態によれば画像処理装置は、時間軸上の隣接フレームと立体視用の視差フレームとの情報を含む複数フレーム情報を用いた動画像の高解像度化処理を行う画像処理装置であって、複数のフレームを保管する複数のフレームメモリと、前記複数フレーム情報のうち時間軸上の隣接フレームを用い、この隣接フレームから対応点を探索する第１の対応点探索部と、前記複数フレーム情報のうち立体視用の視差フレームである左目用と右目用のフレームを用い、この立体視用のフレームから対応点を探索する第２の対応点探索部と、前記２つの対応点探索部から対応点情報を取得して、補間画素を生成する補間画像生成部とから構成されている。 In order to solve the above-described problem, according to the embodiment, an image processing apparatus performs a resolution enhancement process of a moving image using multiple frame information including information on adjacent frames on a time axis and stereoscopic parallax frames. A first corresponding point search that uses a plurality of frame memories that store a plurality of frames and an adjacent frame on the time axis among the plurality of frame information, and searches for corresponding points from the adjacent frames. A second corresponding point search unit that uses the left-eye and right-eye frames, which are stereoscopic parallax frames among the plurality of pieces of frame information, to search corresponding points from the stereoscopic frames, and 2 It is composed of an interpolation image generation unit that acquires corresponding point information from two corresponding point search units and generates an interpolation pixel.
以下、実施形態を図１乃至図１２を参照して説明する。 Hereinafter, embodiments will be described with reference to FIGS.
まず以下では、基本となる高解像度化処理の手法について簡単に説明する。図１は、一実施形態に関わる動画像のフレームを説明するために示す図である。また図２は、実施形態の複数のフレーム情報を用いた高解像度化処理を示す図である。また図３は、実施形態の画像補間生成を説明するために示す図である。 First, in the following, a basic high resolution processing method will be briefly described. FIG. 1 is a diagram for explaining a frame of a moving image according to an embodiment. FIG. 2 is a diagram illustrating a resolution enhancement process using a plurality of pieces of frame information according to the embodiment. FIG. 3 is a diagram for explaining image interpolation generation according to the embodiment.
まず図１に、移動する物体が時間順に連続するＮ−１番目、Ｎ番目、Ｎ＋１番目といったフレームで表現される様子を示す。このように連続するフレームで表現される動画像において、複数のフレーム情報を用いて入力画像よりも高解像度な画像を生成する仕組みを図２に示す。いま、Ｎ−１番目、Ｎ番目、Ｎ＋１番目の各フレーム内に、実線で示す交点に画素が並んでいるとすると、Ｎ番目フレームの点線で示す交点に補間画素を生成し、縦横それぞれ２倍の画素数を持つ画像に変換する場合を述べる。補間画素を推測する際に、Ｎ番目フレーム中の画素(●で示す)のみを使用したのでは情報が不足しているため高解像度化することはできない。そこで、図３に示すように、Ｎ番目フレームの前後フレームから対応する画素情報として、Ｎ−１番目から▲で示す画素情報、Ｎ＋１番目からは◆で示す画素情報を持ってくることで、より正確に補間画素(○で示す)を推測することができるため高解像度化が可能となる。なお、□で表した点については後述する。 First, FIG. 1 shows how a moving object is represented by frames such as N−1th, Nth, and N + 1th consecutively in time order. FIG. 2 shows a mechanism for generating an image having a higher resolution than an input image using a plurality of pieces of frame information in a moving image expressed by continuous frames. Now, assuming that pixels are arranged at intersections indicated by solid lines in the (N−1) th, Nth, and N + 1th frames, interpolation pixels are generated at the intersections indicated by dotted lines in the Nth frame, and doubled vertically and horizontally, respectively. A case of converting to an image having the number of pixels will be described. When estimating the interpolation pixel, if only the pixel (indicated by ●) in the Nth frame is used, the information cannot be obtained and the resolution cannot be increased. Therefore, as shown in FIG. 3, pixel information indicated by ▲ from the (N−1) th to the pixel information indicated by ▲ and pixel information indicated by ♦ from the (N + 1) th as the corresponding pixel information from the frame before and after the Nth frame. Since the interpolation pixel (indicated by ◯) can be accurately estimated, the resolution can be increased. The points indicated by □ will be described later.
次に、図４に高解像度化処理装置の基本例となる構成図を示す。液晶表示などのパネル４５を出力機器とし、従来からの２D画像を扱うのには充分な構成である。
Next, FIG. 4 shows a configuration diagram as a basic example of the high resolution processing apparatus. A
入力信号はフレームメモリ１０１と、対応点探索部１０３に入力される。フレームメモリ１０１から出力された１フレーム遅延信号は、別のフレームメモリ１０２と、対応点探索部１０３に入力される。このとき、補間画像を生成する対象となる前記Ｎ番目フレームとして前記１フレーム遅延信号が、補間画像生成部１０４に入力される。フレームメモリ１０２から出力された２フレーム遅延信号は、対応点探索部１０３に入力される。対応点探索部１０３に入力された、前記入力信号と、１フレーム遅延信号と、２フレーム遅延信号から、対応点探索部１０３は対応点情報を算出してこの対応点情報が補間画像生成部１０４に入力され、例えば、加重平均法などを用いて補間画像生成部１０４は補間画素を生成し画像を出力する。ここで、図２に示したように、Ｎ−１番目フレームの情報をＮ番目フレームに持ってくるには、Ｎ−１番目フレーム内の各画素がＮ番目フレームのどこの座標に対応するかを算出する必要がある。
The input signal is input to the
そこで、算出方法として、ブロックマッチング手法を用いた対応点探索部１０３の構成図を図５に示す。対応点探索部１０３には、対象信号(Ｎ番目)として１フレーム遅延信号が、参照信号(Ｎ＋１番目、Ｎ−１番目)として入力信号、及び２フレーム遅延信号が入力される。入力された対象信号と参照信号は、ブロックマッチング部１０５ａ、１０５ｂに入力され、整数精度の対応点を算出した後、小数精度位置合わせ部１０６ａ、１０６ｂに入力され、Ｎ番目とＮ−１番目から求めた対応点情報及び、Ｎ番目とＮ＋１番目から求めた対応点情報が出力される。
Therefore, FIG. 5 shows a configuration diagram of the corresponding
ここで、ブロックマッチング手法による対応点探索の様子を図６に示す。いま、Ｎ番目フレーム内のある画素(注目画素)がＮ＋１番目フレームのどの座標に位置するかを調べるとする。注目画素を中心とする画素ブロック(ここでは、５×５画素を例とする)と相関の高い画素ブロックを、Ｎ＋１番目フレーム内から探し出すという処理を行う。 Here, the state of the corresponding point search by the block matching method is shown in FIG. Now, it is assumed that a certain pixel (target pixel) in the Nth frame is located at which coordinate of the (N + 1) th frame. A process of searching for a pixel block having a high correlation with a pixel block centering on the target pixel (here, 5 × 5 pixels as an example) from the N + 1th frame is performed.
画素ブロックの相関を評価する関数には、差分の絶対値の総和(ＳＡＤ)や、差分の二乗の総和(ＳＳＤ)がよく使用される。図７のようにＮ番目フレーム内の画素ブロックとＮ＋１番目フレーム内の画素ブロックがあるとすると、ＳＡＤとＳＳＤはそれぞれ以下の式（１）と（２）で表される。ただし、ＡijとＢijはそれぞれ輝度値を示す。 As a function for evaluating the correlation between pixel blocks, the sum of absolute values of differences (SAD) and the sum of squares of differences (SSD) are often used. If there are a pixel block in the Nth frame and a pixel block in the N + 1th frame as shown in FIG. 7, SAD and SSD are expressed by the following equations (1) and (2), respectively. However, Aij and Bij each indicate a luminance value.
以上のような処理が、基本となる複数フレーム情報を用いた動画像の高解像度化処理であるが、上述したように、時間軸方向の隣接フレーム間を使用する場合、静止画では高解像度化できないことから、シャッタ式、裸眼式などで表示される視差画像で３Ｄ表示する静止画ついても高解像度化することは出来ない。 The above processing is the processing for increasing the resolution of a moving image using basic multi-frame information. However, as described above, when using a frame between adjacent frames in the time axis direction, the resolution is increased for a still image. For this reason, it is impossible to increase the resolution of a still image that is displayed in 3D with a parallax image displayed by a shutter type, a naked eye type, or the like.
一方で、３Ｄ表示する視差画像に特化した高解像度化処理は既知であるが、視差画像を用いる場合は、視差フレーム間で対応点を算出しようとする場合、立体の表示方法によっては、対応する画素がブロックマッチング手法などの探索範囲を大きく超えてしまい、対応する画素を算出できない。さらには、視差のない画像や、時間軸方向で変化する動画も高解像度化できない。 On the other hand, high resolution processing specialized for parallax images to be displayed in 3D is already known. However, when using parallax images, it may be necessary to calculate corresponding points between parallax frames. The pixel to be greatly exceeds the search range such as the block matching method, and the corresponding pixel cannot be calculated. Furthermore, it is not possible to increase the resolution of images without parallax or moving images that change in the time axis direction.
つまり、隣接フレーム間を用いる場合、視差画像を含むような静止画には高解像度化処理の効果はなく、一方、視差フレーム間を用いる場合、最適な対応点探索が出来ない、時間軸方向で変化する動画には効果が無いという問題があった。 In other words, when using between adjacent frames, there is no effect of high resolution processing on a still image including a parallax image. On the other hand, when using between parallax frames, an optimal corresponding point search cannot be performed in the time axis direction. There was a problem that the moving video had no effect.
そこで、隣接フレーム間から算出される対応点情報と、視差フレーム間と、左目用と右目用の対象となる画素毎の距離(視差情報)から探索の開始位置を求め、ブロックマッチング手法などにより算出される対応点情報を用いる事で、より精度の高い高解像度化処理を行う方法を説明する。 Therefore, the search start position is obtained from the corresponding point information calculated between adjacent frames, the distance between the parallax frames, and the distance (parallax information) for each pixel that is the target for the left eye and the right eye, and is calculated by a block matching method or the like. A method for performing higher resolution processing with higher accuracy by using the corresponding point information will be described.
以下では、本実施形態の画像処理装置の構成図と実施例について説明する。図８に移動する物体が連続する視差画像を含むフレームで表現される様子を、図９に本提案の第一の実施例の構成図を示す。 Hereinafter, a configuration diagram and an example of the image processing apparatus according to the present embodiment will be described. FIG. 9 is a configuration diagram of the first embodiment of the present proposal, and FIG. 9 shows how a moving object is represented by a frame including continuous parallax images.
図９に示すように、左目用（Ｌ画像）と右目用（Ｒ画像）で別々に画像処理装置１００の構成を配置しているが、Ｌ画像、Ｒ画像共に、動作などは同一である。また、図示したように、画像処理装置を別々に配置せず、入力されるＬ画像とＲ画像を時分割に切り替えながら一つの画像処理装置の構成を配置して使用することも可能である。
As shown in FIG. 9, the configuration of the
以下では、Ｌ画像側を例に挙げて説明する（R画像側も同様である）。入力信号(Ｌ)はフレームメモリ１０１と、対応点探索部１０３に入力される。フレームメモリ１０１から出力された１フレーム遅延信号(Ｌ)は、別のフレームメモリ１０２と、対応点探索部１０３に入力される。このとき、補間画素を生成する対象となるＮ番目フレームとして１フレーム遅延信号(Ｌ)が、補間画素生成部１０４に入力される。フレームメモリ１０２から出力された２フレーム遅延信号(Ｌ)は、対応点探索部１０３に入力される。対応点探索部１０３に入力された、前記入力信号(Ｌ)と、１フレーム遅延信号(Ｌ)と、２フレーム遅延信号(Ｌ)から、対応点情報を算出して補間画像生成部１０４に入力され、例えば、加重平均法などを用いて補間画素を生成し画像を出力する。ここまでの対応点探索部１０３、及び補間画素生成部１０４の処理方法などは、先に説明したものと同様であるので省略する。
Hereinafter, the L image side will be described as an example (the same applies to the R image side). The input signal (L) is input to the
また、１フレーム遅延信号(Ｌ)と、Ｒ側の１フレーム遅延信号(Ｒ)と、ＬとＲ画像データから得られる視差情報が、視差画像対応点探索部１０５に入力される。入力された視差情報から、視差画像対応点探索部１０５は探索の開始位置を求め、ブロックマッチング手法などにより算出した対応点情報（図３のF相当）を補間画素生成部１０４に出力する。補間画素生成部１０４では、隣接フレーム間から得られた対応点情報と、視差フレーム間から得られた対応点情報が入力され、それぞれの対応点情報を考慮して、例えば、対応点位置及び輝度などの対応点情報から加重平均法などを用いて補間画素を生成し画像を出力する。
Also, the 1-frame delay signal (L), the R-side 1-frame delay signal (R), and the parallax information obtained from the L and R image data are input to the parallax image corresponding
次に、視差画像対応点探索部１０５の実施例を図１０に示す。Ｌ画像(対象フレーム)とＲ画像(参照フレーム)の１フレーム遅延信号と視差情報が、ブロックマッチング１０６に入力された後、小数精度の位置合わせ部１０７に入力される。ここで、入力される視差情報は、Ｌ画像とＲ画像の対応する画素の視差量(画素距離)である。
Next, an example of the parallax image corresponding
ここで、図１２で視差量Ｓを立体画像の静止画を用いて説明する。図１２(ａ)は、四角い箱２０２が表示パネル上に存在する、つまり２Ｄ表示状態の時を示している。Ｌ画像フレーム２０３とＲ画像フレーム２０４を重ねて表示したものが２０５であるが、図示しているようにＬ画像とＲ画像が重なっている。一方、図１２(ｂ)は、四角い箱２０２が表示パネルとユーザの間に存在する、つまり、３Ｄ表示状態の時を示している。Ｌ画像フレーム２０６とＲ画像フレーム２０７を重ねて表示したものが２０８であるが、図示しているようにＬ画像とＲ画像がある距離Ｓの間隔でずれている。
Here, the parallax amount S will be described with reference to a still image of a stereoscopic image in FIG. FIG. 12A shows a case where the
このズレ量が視差量Ｓである。この視差量Ｓの間隔によりどの位置で物体が見えるかが決まる。また、視差量Ｓは、入力された視差画像から算出する場合もあれば、既に情報として入力される場合も考えられる。さらには、２Ｄ画像から３Ｄ画像を生成するシステムを有しているような映像表示装置では、自ら視差量Ｓを生成する場合もある。したがって、ここでは、視差情報である視差量Ｓについては、特に生成方法などを特定しない。 This shift amount is the parallax amount S. The position where the object can be seen is determined by the interval of the parallax amount S. Further, the parallax amount S may be calculated from the input parallax image, or may be already input as information. Furthermore, in a video display device having a system that generates a 3D image from a 2D image, the amount of parallax S may be generated by itself. Therefore, here, a generation method or the like is not specified for the parallax amount S that is parallax information.
通常、視差フレーム間で探索を行うと、前述したように対応する点が、視差量だけ離れるため、例えば、５×５サイズの範囲で検索すると、立体表示の程度によっては、探索範囲外となり、対応点がないと判断してしまい、高解像度化処理を行う事が出来なかった。そこで、視差情報である視差量Ｓを用いることで、高解像度化処理を行うことを可能とする。但し、視差量Ｓは、画素毎に正確な値である場合もあれば、大まかな値である場合も考えられる。 Normally, when searching between parallax frames, the corresponding points are separated by the amount of parallax as described above.For example, when searching in a 5 × 5 size range, depending on the degree of stereoscopic display, it is outside the search range, It was judged that there was no corresponding point, and it was not possible to perform high resolution processing. Thus, by using the parallax amount S that is parallax information, it is possible to perform a resolution enhancement process. However, the parallax amount S may be an accurate value for each pixel, or may be a rough value.
そこで、Ｌ画像を対象フレーム、Ｒ画像を参照フレームとして図１２を参照して説明する。Ｌ画像フレームとＲ画像フレームの視差情報から、視差画像対応点探索部１０５は対応点の近傍を推測できる。つまり、入力された視差情報の値からブロックマッチング部１０６で探索開始位置を決定する。この探索開始位置からブロックマッチング手法によってブロックマッチング部１０６は整数精度で対応点を算出し（ステップＳ１２１）、ＳＡＤの値からフィッティング関数を使用して小数精度位置合わせ部１０７は小数精度の位置合わせを行い（ステップＳ１２２）、視差画像対応点探索部１０５は対応点情報として出力する（ステップＳ１２３）。これにより、通常、ブロックマッチング手法では探索範囲を大きく逸脱して算出できない場合でも、視差情報から対応点近傍を推測できるため、ブロックマッチングでも的確に探索できる。
Therefore, description will be made with reference to FIG. 12 using the L image as a target frame and the R image as a reference frame. From the parallax information of the L image frame and the R image frame, the parallax image corresponding
通常、複数フレーム情報を用いた動画像の高解像度化処理は、複数の隣接フレームを用いてブロックマッチング手法などにより対応点を算出し、その対応点情報から補間画素を生成して高解像度化処理を行う。また、３Ｄ用の左目用と右目用の視差フレーム間で高解像度化処理を行うことも同様な方法で試みられている。
Normally, the resolution enhancement processing of moving images using multiple frame information is performed by calculating corresponding points using a block matching method using multiple adjacent frames and generating interpolation pixels from the corresponding point information to increase the resolution processing. I do. In addition, a similar method has been attempted to perform resolution enhancement processing between 3D left-eye and right-eye parallax frames.
時間軸方向の隣接フレームを使用する場合は、静止画などで高解像度化できないことから、シャッタ式、裸眼式などで表示されるような視差画像で３Ｄ表示する静止画についても高解像度化することが出来なかった。また、３Ｄ表示する視差フレームを使用する場合は、視差フレーム間で対応点を算出しようとする場合、立体の表示方法によっては、対応する画素がブロックマッチング手法などの探索範囲を大きく超えてしまい、対応する画素を算出できない。さらには、時間軸方向に変化する動画でも高解像度化できなかった。 When using adjacent frames in the time axis direction, it is not possible to increase the resolution of still images or the like. Therefore, it is also necessary to increase the resolution of still images that are displayed in 3D with a parallax image that is displayed using a shutter type or a naked eye type. I couldn't. Also, when using parallax frames for 3D display, when trying to calculate corresponding points between parallax frames, depending on the stereoscopic display method, the corresponding pixels greatly exceed the search range such as the block matching method, The corresponding pixel cannot be calculated. Furthermore, even a moving image that changes in the time axis direction could not be improved in resolution.
つまり、動画では隣接フレーム間を用いた高解像化処理の効果はあるが、静止画では効果は無い。一方、視差のある静止画には左目用と右目用の視差フレーム間を用いた高解像化処理の効果はあるが、視差のない画像や、時間軸方向で変化する動画には効果が無いという問題があった。 In other words, a moving image has an effect of high resolution processing using adjacent frames, but a still image has no effect. On the other hand, a still image with parallax has an effect of high resolution processing using a parallax frame for left eye and right eye, but has no effect on an image without parallax or a moving image changing in the time axis direction. There was a problem.
そこで、隣接フレーム間から算出される対応点情報と、左目用と右目用の対象となる視差フレーム間の対象となる画素毎の距離(視差情報)から探索の開始位置を求め、ブロックマッチング手法などにより算出される対応点情報を用いる事で、より精度の高い高解像度化処理を行う方法を可能にした。つまり、隣接フレーム間の対応点情報と、視差フレーム間の対応点情報を基に高解像度化処理を行うため、従来より精度の高い処理が出来る。 Therefore, the search start position is obtained from the corresponding point information calculated between adjacent frames and the distance (disparity information) for each target pixel between the left-eye and right-eye target parallax frames. By using the corresponding point information calculated by the above, it is possible to perform a high-resolution processing with higher accuracy. That is, since the resolution enhancement processing is performed based on the corresponding point information between adjacent frames and the corresponding point information between parallax frames, processing with higher accuracy than before can be performed.
＜実施形態のポイントの補足＞
以上説明した実施例によれば次のような特徴を有することができる。
<Supplementary point of embodiment>
The embodiment described above can have the following characteristics.
（１）複数フレーム情報を用いた動画像の高解像度化処理において、前記複数フレーム情報には、時間軸上の隣接フレーム、及び、立体視用の左目用と右目用のフレームを用い、複数のフレームデータを保管する複数のフレームメモリと、前記隣接フレームから対応点を探索する対応点探索部と、前記立体視用のフレームから対応点を探索する視差画像対応点探索部と、前記２つの対応点探索部から対応点情報を取得して、補間画素を生成する補間画像生成部から構成されていることを特徴とする画像処理装置。 (1) In the resolution enhancement processing of a moving image using a plurality of frame information, the plurality of frame information includes an adjacent frame on the time axis and a stereoscopic left-eye frame and a right-eye frame. A plurality of frame memories for storing frame data; a corresponding point search unit for searching for a corresponding point from the adjacent frame; a parallax image corresponding point searching unit for searching for a corresponding point from the stereoscopic frame; and the two correspondences An image processing apparatus comprising: an interpolation image generation unit that acquires corresponding point information from a point search unit and generates an interpolation pixel.
（２）前記隣接フレームから対応点を探索する対応点探索部と、前記立体視用フレームから対応点を探索する視差画像対応点探索部は、それぞれ、ブロックマッチング部と、少数精度位置合わせ部を有し、前記視差画像対応点探索部には、視差フレーム間の視差情報を用いる事を特徴とする（１）記載の画像処理装置。 (2) A corresponding point search unit that searches for a corresponding point from the adjacent frame and a parallax image corresponding point search unit that searches for a corresponding point from the stereoscopic frame include a block matching unit and a minority precision alignment unit, respectively. And the parallax image corresponding point searching unit uses parallax information between parallax frames.
（３）前記視差画像対応点探索部において、参照となるフレームの対応点を視差フレーム間の視差情報から探索開始位置を決定し、前期開始位置から対象となるフレームと前記参照となるフレームを用いて対応点情報を算出することを特徴とする（１）、（２）記載の画像処理装置。 (3) In the parallax image corresponding point search unit, the search start position of the corresponding point of the reference frame is determined from the parallax information between the parallax frames, and the target frame and the reference frame are used from the previous period start position. And corresponding point information is calculated. (1) The image processing apparatus according to (2).
なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。 In addition, this invention is not limited to the said embodiment, In the range which does not deviate from the summary, it can implement in various modifications.
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる構成要素を適宜組み合わせても良いものである。 Various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above-described embodiments. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements according to different embodiments may be appropriately combined.
４５…パネル、１０１…フレームメモリ、１０２…フレームメモリ、１０３…対応点探索部、１０４…補間画像生成部、１０５…ブロックマッチング部、１０６…小数精度位置合わせ部。
45...
Claims (5)
複数のフレームを保管する複数のフレームメモリと、
前記複数フレーム情報のうち時間軸上の隣接フレームを用い、この隣接フレームから対応点を探索する第１の対応点探索部と、
前記複数フレーム情報のうち立体視用の視差フレームである左目用と右目用のフレームを用い、この立体視用のフレームから対応点を探索する第２の対応点探索部と、
前記２つの対応点探索部から対応点情報を取得して、補間画素を生成する補間画像生成部とから
構成されている画像処理装置。 In an image processing apparatus that performs resolution enhancement processing of a moving image using multiple frame information including information on adjacent frames on a time axis and a parallax frame for stereoscopic viewing,
A plurality of frame memories for storing a plurality of frames;
A first corresponding point search unit for searching for a corresponding point from the adjacent frame using an adjacent frame on the time axis among the plurality of frame information;
A second corresponding point search unit that searches for a corresponding point from the stereoscopic vision frame using a left-eye frame and a right-eye frame that are parallax frames for stereoscopic vision among the plurality of pieces of frame information;
An image processing apparatus including an interpolation image generation unit that acquires corresponding point information from the two corresponding point search units and generates an interpolation pixel.
前記複数フレーム情報のうち時間軸上の隣接フレームを用い、この隣接フレームから対応点を探索する第１の対応点探索工程と、
前記複数フレーム情報のうち立体視用の視差フレームである左目用と右目用のフレームを用い、この立体視用のフレームから対応点を探索する第２の対応点探索工程と、
前記２つの対応点探索工程から対応点情報を取得して、補間画素を生成する補間画像生成工程とを含む画像処理方法。 An image in an image processing apparatus having a plurality of frame memories for storing a plurality of frames and performing high resolution processing of a moving image using a plurality of pieces of frame information including information of adjacent frames on a time axis and stereoscopic parallax frames A processing method,
A first corresponding point search step of searching for a corresponding point from the adjacent frame using an adjacent frame on the time axis among the plurality of frame information;
A second corresponding point search step of searching for a corresponding point from the stereoscopic frame using a left-eye frame and a right-eye frame that are stereoscopic parallax frames among the plurality of frame information;
An image processing method including an interpolation image generation step of acquiring corresponding point information from the two corresponding point search steps and generating an interpolation pixel.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012120120A JP2013247522A (en) | 2012-05-25 | 2012-05-25 | Image processing apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012120120A JP2013247522A (en) | 2012-05-25 | 2012-05-25 | Image processing apparatus and method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2013247522A true JP2013247522A (en) | 2013-12-09 |
Family
ID=49846986
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012120120A Pending JP2013247522A (en) | 2012-05-25 | 2012-05-25 | Image processing apparatus and method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2013247522A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113347421A (en) * | 2021-06-02 | 2021-09-03 | 黑芝麻智能科技(上海)有限公司 | Video encoding and decoding method, device and computer equipment |
-
2012
- 2012-05-25 JP JP2012120120A patent/JP2013247522A/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113347421A (en) * | 2021-06-02 | 2021-09-03 | 黑芝麻智能科技(上海)有限公司 | Video encoding and decoding method, device and computer equipment |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6016061B2 (en) | Image generation apparatus, image display apparatus, image generation method, and image generation program | |
| TWI488470B (en) | Dimensional image processing device and stereo image processing method | |
| US20110298898A1 (en) | Three dimensional image generating system and method accomodating multi-view imaging | |
| US9154765B2 (en) | Image processing device and method, and stereoscopic image display device | |
| JP2006332985A (en) | Stereoscopic image format decision device | |
| US9154762B2 (en) | Stereoscopic image system utilizing pixel shifting and interpolation | |
| JP4748251B2 (en) | Video conversion method and video conversion apparatus | |
| JP5852093B2 (en) | Video processing apparatus, video processing method, and program | |
| US8718331B2 (en) | Image detecting apparatus and method thereof | |
| US20140347350A1 (en) | Image Processing Method and Image Processing System for Generating 3D Images | |
| TWI491244B (en) | Method and apparatus for adjusting 3d depth of an object, and method and apparatus for detecting 3d depth of an object | |
| JP2011155431A (en) | Frame rate conversion device, and video display device | |
| JPWO2014147957A1 (en) | Image processing method and image processing apparatus | |
| JP2013247522A (en) | Image processing apparatus and method | |
| KR20110025083A (en) | Apparatus and method for displaying 3d image in 3d image system | |
| JP4892105B1 (en) | Video processing device, video processing method, and video display device | |
| CN105491277B (en) | Image processing method and electronic equipment | |
| JPH07296195A (en) | Device and method for image processing | |
| JP5871113B2 (en) | Stereo image generation apparatus, stereo image generation method, and stereo image generation program | |
| JP2012150614A (en) | Free viewpoint image generation device | |
| JP5343159B1 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP5323222B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP5689693B2 (en) | Drawing processor | |
| Liu et al. | Deinterlacing of depth-image-based three-dimensional video for a depth-image-based rendering system | |
| WO2013159568A1 (en) | Method and device for generating stereoscopic video pair |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20140614 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20150216 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20150218 |