JP4792250B2 - Moving image processing apparatus and moving image processing method - Google Patents
Moving image processing apparatus and moving image processing method Download PDFInfo
- Publication number
- JP4792250B2 JP4792250B2 JP2005202358A JP2005202358A JP4792250B2 JP 4792250 B2 JP4792250 B2 JP 4792250B2 JP 2005202358 A JP2005202358 A JP 2005202358A JP 2005202358 A JP2005202358 A JP 2005202358A JP 4792250 B2 JP4792250 B2 JP 4792250B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- depth
- data
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、三次元動画像表示用データの奥行き度合いを推定、或いは調整する動画像処理装置に関わり、特に、三次元動画像表示における視覚的疲労に起因する奥行き方向の動きを推定する技術に関するものである。 The present invention relates to a moving image processing apparatus that estimates or adjusts the degree of depth of three-dimensional moving image display data, and more particularly to a technique for estimating movement in the depth direction due to visual fatigue in three-dimensional moving image display. Is.
近年、奥行きを有する三次元動画像の再生を行う動画像処理装置の開発が行われている。
例えば、特許文献1には右眼用と左眼用の立体動画像を、合成器を用いて1水平走査線毎に合成してフレーム画像を形成し、その合成したフレーム画像をMPEG(Moving Picture Image Coding Experts Group)方式のエンコーダを用いて符号化する技術が開示されている。また特許文献2には、異なる点から被写体を見た場合に得られる視差量を光学的に高精度に検出し、被写体の正確な奥行き情報を得ることのできる視差画像撮像装置が開示されている。
For example, in
しかしながら、上記したような三次元動画像を再生する場合、特に、奥行き方向の動きを伴う場合には視覚的に大きな目の疲労を伴うという問題点があった。
そこで、本発明は上記したような問題点を鑑みてなされたものであり、三次元動画像を再現する場合に視覚的な眼の疲労を防止できる動画像処理装置とその方法を提供することを目的とする。
However, when a three-dimensional moving image as described above is reproduced, there is a problem that visual eye fatigue is accompanied particularly when a motion in the depth direction is involved.
Accordingly, the present invention has been made in view of the above-described problems, and provides a moving image processing apparatus and method that can prevent visual eye fatigue when reproducing a three-dimensional moving image. Objective.
上記目的を達成するため、請求項1に記載の発明は、三次元動画像を再生するための動画像処理装置であって、右眼用と左眼用の画像データを入力する画像データ入力手段と、入力された二つの画像データの領域毎の画像データ間の相関を算出する画像領域毎の相関算出手段と、算出された相関の値により三次元画像の画像領域毎の奥行き度合いを推定する奥行き推定手段と、画像データの属性毎の領域を識別して抽出する属性領域抽出手段と、前記属性領域は、前記相関算出手段及び前記奥行き推定手段における画像領域であり、前記相関値が変わるように、画像データの一部を変更することで前記属性領域としての文字属性の奥行きが少なくなるように調整をする調整手段と、を備える動画像処理装置を特徴とする。
請求項2の発明は、請求項1において、前記属性は、文字である動画像処理装置を特徴とする。
請求項3に記載の発明は、請求項1又は2に記載の動画像処理装置において、領域別に右眼用の画像データと左眼用の画像データが同じになるように修正をする修正手段を備える動画像処理装置を特徴とする。
請求項4に記載の発明は、請求項1乃至3の何れか一項に記載の動画像処理装置において、前記相関算出手段における相関は、画像データの水平方向のライン毎に算出されることを特徴とする。
請求項5に記載の発明は、請求項1乃至3の何れか一項に記載の動画像処理装置において、前記相関算出手段における相関は、画像データの垂直方向のライン毎に算出されることを特徴とする。
請求項6に記載の発明は、請求項1乃至5の何れか一項記載の動画像処理装置において、右眼用と左眼用の両方の画像データをライン単位で交互に重ねあわせて合成する画像データ合成手段と、前記画像データを符号化する符号化手段と、を備えることを特徴とする。
請求項7に記載の発明は、請求項1乃至6の何れか一項に記載の動画像処理装置において、前記画像データが連続画像のデータであることを特徴とする。
請求項8に記載の発明は、請求項7に記載の動画像処理装置において、前記画像データがフィールド単位の連続画像のデータであることを特徴とする。
請求項9に記載の発明は、請求項1乃至8の何れか一項に記載の動画像処理装置において、前記相関の算出により再現画像の奥行き動き量の分布を算出する算出手段を備えることを特徴とする。
請求項10に記載の発明は、請求項1乃至9の何れか一項に記載の動画像処理装置において、前記属性領域の識別を符号化された画像データについて行うことを特徴とする。
In order to achieve the above object, the invention described in
According to a second aspect of the present invention, in the first aspect, the attribute is a moving image processing apparatus in which the attribute is a character.
According to a third aspect of the present invention, in the moving image processing apparatus according to the first or second aspect, correction means for correcting the right eye image data and the left eye image data to be the same for each region. A moving image processing apparatus is provided .
According to a fourth aspect of the present invention, in the moving image processing apparatus according to any one of the first to third aspects, the correlation in the correlation calculating unit is calculated for each horizontal line of the image data. Features.
According to a fifth aspect of the present invention, in the moving image processing apparatus according to any one of the first to third aspects, the correlation in the correlation calculating unit is calculated for each line in the vertical direction of the image data. Features.
According to a sixth aspect of the present invention, in the moving image processing device according to any one of the first to fifth aspects, the image data for both the right eye and the left eye are alternately overlapped and synthesized in line units. Image data synthesizing means and encoding means for encoding the image data are provided .
A seventh aspect of the present invention is the moving image processing apparatus according to any one of the first to sixth aspects, wherein the image data is continuous image data .
According to an eighth aspect of the present invention, in the moving image processing apparatus according to the seventh aspect, the image data is continuous image data in field units .
According to a ninth aspect of the present invention, the moving image processing apparatus according to any one of the first to eighth aspects further comprises a calculation unit that calculates a distribution of the depth motion amount of the reproduced image by calculating the correlation. Features.
According to a tenth aspect of the present invention, in the moving image processing apparatus according to any one of the first to ninth aspects, the attribute region is identified for encoded image data .
請求項11に記載の発明は、請求項10に記載の動画像処理装置において、前記符号化された画像データは、JPEG2000規格に基づき符号化されたデータであることを特徴とする。
請求項12に記載の発明は、三次元動画像を再生するための動画像処理装置であって、右眼用と左眼用のフレーム画像データを連続的に入力するフレーム画像データ入力手段と、入力された二つのフレーム画像データ間の相関を算出する相関算出手段と、該相関算出手段により算出されたフレーム間における相関値の変化により三次元画像の奥行き方向の動き量として推定する動き量推定手段と、フレーム毎の三次元動画像の奥行き方向の動き量の変化によって、フレームレートを遅くする遅延手段と、を備えることを特徴とする。
請求項13に記載の発明は、請求項12に記載の動画像処理装置において、前記遅延手段は、前記フレームレートを遅くする処理を符号化されたフレーム画像データについて行うことを特徴とする。
請求項14に記載の発明は、請求項13に記載の動画像処理装置において、前記フレーム画像データはmotion−JPEG2000規格に基づいて符号化されることを特徴とする。
請求項15に記載の発明は、請求項12乃至14の何れか一項に記載の動画像処理装置において、フレーム画像データを符号化したフレーム符号データを保存するデータ保存手段と、フレーム画像データの符号化後に符号化された符号データに対してフレーム符号データを再構成する再構成手段と、を備えることを特徴とする。
請求項16に記載の発明は、三次元動画像再現のための右眼用と左眼用のフレーム画像データを連続的に入力するフレーム画像データ入力ステップと、入力された二つのフレーム画像データ間の相関を算出する相関算出ステップと、算出された相関の値のフレーム間における値の変化により三次元画像の奥行き方向の動き量として推定する動き量推定ステップと、
フレーム毎の三次元動画像の奥行き方向の動き量の変化によって、フレームレートを遅くする遅延ステップと、を有することを特徴とする。
請求項17に記載の発明は、三次元動画像再現のための右眼用と左眼用の画像データを入力する画像データ入力ステップと、入力された二つの画像データの領域毎の画像データ間の相関を算出する画像領域毎の相関算出ステップと、算出された相関の値により三次元画像の画像領域毎の奥行き度合いを推定する奥行き推定ステップと、前記相関算出手段及び前記奥行き推定手段における画像領域である画像データの属性毎の領域を識別して抽出する属性領域抽出ステップと、前記相関値が変わるように、画像データの一部を変更することで前記属性領域としての文字属性の奥行きが少なくなるように調整をする調整手段ステップと、を有することを特徴とする。
According to an eleventh aspect of the present invention, in the moving image processing apparatus according to the tenth aspect, the encoded image data is data encoded based on the JPEG2000 standard .
The invention according to
In a thirteenth aspect of the present invention, in the moving image processing apparatus according to the twelfth aspect of the invention , the delay unit performs the process of reducing the frame rate on the encoded frame image data .
The invention described in
According to a fifteenth aspect of the present invention, in the moving image processing apparatus according to any one of the twelfth to fourteenth aspects, a data storage unit that stores frame code data obtained by encoding frame image data; Reconstructing means for reconstructing frame code data from code data encoded after encoding .
According to the sixteenth aspect of the present invention, there is provided a frame image data input step for continuously inputting right-eye and left-eye frame image data for reproducing a three-dimensional moving image, and between the two input frame image data. A correlation calculating step for calculating the correlation of the three-dimensional image, and a motion amount estimating step for estimating a motion amount in the depth direction of the three-dimensional image by a change in the value of the calculated correlation value between frames;
A delay step of slowing down the frame rate by changing the amount of motion in the depth direction of the three-dimensional moving image for each frame .
According to the seventeenth aspect of the present invention, there is provided an image data input step for inputting right-eye and left-eye image data for reproducing a three-dimensional moving image, and image data for each region of the two input image data. A correlation calculation step for each image region for calculating the correlation, a depth estimation step for estimating a depth degree for each image region of the three-dimensional image based on the calculated correlation value, and an image in the correlation calculation unit and the depth estimation unit An attribute region extraction step for identifying and extracting a region for each attribute of image data, which is a region, and a depth of the character attribute as the attribute region by changing a part of the image data so that the correlation value is changed And an adjusting means step for adjusting so as to decrease .
本発明によれば、入力された二つの画像データの領域毎の画像データ間の相関を算出する画像領域毎の相関を相関算出手段により算出し、算出した相関の値により三次元画像の画像領域毎の奥行き度合いを推定することで、三次元立体動画像表示における視覚的疲労に大きく起因する奥行き方向の動きを簡易に推定することができ、三次元立体画像を再現する場合に視覚的な眼の疲労を防止することができる。また、簡易に三次元画像の画像属性領域毎の奥行き度合いを算出することができる。また、簡易に三次元表示画像の奥行きを自動的に調整する手段を提供することができる。
また、文字再現の奥行きを調整する手段を提供することができる。また眼の疲労に基づいた処理を行うことができる。
また、本発明によれば、簡易に三次元表示画像の奥行きをなくす調整をする手段を提供することができる。また三次元動画像表示を二次元画像表示に簡易に変換する手段を提供することができる。
また、本発明によれば、通常水平ライン毎に撮影またはスキャンされた画像データが生成されるため、水平ライン毎に相関を算出することで効率的に計算することが可能になる。
また、本発明によれば、垂直方向で垂直ライン毎に撮影またはスキャンされた画像データに対して効率的に垂直ライン毎の相関を算出することで効率的に計算することが可能になる。
According to the present invention, the correlation for each image area for calculating the correlation between the image data for each of the two input image data areas is calculated by the correlation calculating means, and the image area of the three-dimensional image is calculated based on the calculated correlation value. By estimating the degree of depth for each, it is possible to easily estimate the movement in the depth direction caused largely by visual fatigue in the display of 3D stereoscopic video images. Can prevent fatigue. Further, it is possible to easily calculate the depth degree for each image attribute area of the three-dimensional image. In addition, a means for automatically adjusting the depth of the three-dimensional display image can be provided.
In addition, a means for adjusting the depth of character reproduction can be provided. Further, processing based on eye fatigue can be performed.
In addition, according to the present invention, it is possible to provide means for easily adjusting the depth of the three-dimensional display image. Further, it is possible to provide means for easily converting a three-dimensional moving image display into a two-dimensional image display.
In addition, according to the present invention, image data that is usually captured or scanned for each horizontal line is generated, so that it is possible to efficiently calculate by calculating the correlation for each horizontal line.
In addition, according to the present invention, it is possible to efficiently calculate by calculating the correlation for each vertical line with respect to the image data captured or scanned for each vertical line in the vertical direction.
また、本発明によれば、視差を有する右眼用と左眼用の画像データの三次元再生時における奥行き情報を抽出する過程で画像データを合成することができるので、効率的に処理ができると共に、画像データをまとめて符号化することで符号化効率を高めることができる。
また、本発明によれば、連続画像データを対象とすることができる。簡易に奥行きを算出できるので連続三次元動画像の効率的な再現ができる。
また、本発明によれば、インターレースタイプの連続画像データを対象とすることができる。ライン毎に制御することが容易であるため効率的に奥行き情報を抽出することができる。
また、本発明によれば、簡易に画像全体の奥行き動き量を算出する手段を提供することができる。
In addition, according to the present invention , image data can be synthesized in the process of extracting depth information during three-dimensional reproduction of right-eye and left-eye image data having parallax, so that processing can be performed efficiently. At the same time, encoding efficiency can be improved by collectively encoding image data.
Further, according to the present invention, continuous image data can be targeted. Depth can be easily calculated, enabling efficient reproduction of continuous 3D moving images.
Further, according to the present invention, it is possible to target interlace type continuous image data. Since it is easy to control line by line, depth information can be extracted efficiently.
Further, according to the present invention, it is possible to provide means for easily calculating the depth motion amount of the entire image.
また、本発明によれば、画像の領域識別を符号レベルで行うことで、例えば、符号化の過程で生成される周波数データを使用して効率的に領域毎の属性を推定することができるようになる。
また、本発明によれば、符号データを汎用的に用いられているJPEG2000規格に基づいたデータとすることで汎用性を高めることができる。
また、本発明によれば、入力された二つのフレーム画像データ間の相関を相関算出手段により算出し、算出したフレーム間における相関値の変化により三次元画像の奥行き方向の動き量を推定するようにしたことで、三次元立体動画像表示における視覚的疲労に大きく起因する奥行き方向の動きを簡易に推定することができ、三次元立体画像を再現する場合に視覚的な眼の疲労を防止することができる。また、特に眼の疲労が大きい三次元表示の動き量が大きいところの動きを緩やかにすることで眼の疲労を大幅に低減することができる。
また、本発明によれば、ISOの国際標準であるため汎用的な符号化データとすることで汎用性を高めることができる。
また、本発明によれば、符号列レベルの編集を容易に実施することができるようになる。また符号レベルと対応画像空間上での領域対応がなされているため、符号レベルの領域処理も容易に行うことが可能になる。符号データの編集によりフレーム再生を制御することができるようになる。
In addition, according to the present invention, by performing region identification of an image at a code level, for example, it is possible to efficiently estimate an attribute for each region using frequency data generated in the process of encoding. become.
Further, according to the present invention , the versatility can be enhanced by making the code data based on the JPEG2000 standard that is used for general purposes.
Further, according to the present invention, the correlation between the two input frame image data is calculated by the correlation calculating means, and the motion amount in the depth direction of the three-dimensional image is estimated from the change in the correlation value between the calculated frames. By doing so, it is possible to easily estimate the movement in the depth direction that is largely caused by visual fatigue in 3D stereoscopic image display, and prevent visual eye fatigue when reproducing 3D stereoscopic images be able to. In addition, it is possible to significantly reduce eye fatigue by slowing the movement of the three-dimensional display where the eye fatigue is particularly large.
Also, according to the present invention, since it is an ISO international standard, versatility can be enhanced by using general-purpose encoded data.
Further, according to the present invention, editing at the code string level can be easily performed. In addition, since the code level corresponds to the area in the corresponding image space, the code level area processing can be easily performed. Frame reproduction can be controlled by editing the code data.
以下、図面を参照しながら本発明の実施形態を詳細に説明する。
先ず、三次元(3D)画像の再生時に問題となる動きを伴う立体画像を観察する場合に特に激しいと言われている視覚的疲労を回避する方法について説明する。
図1は、本発明の第1の実施形態に係る動画像処理装置の動画再生時に奥行き調整を行うシステムの構成を示したブロック図である。
この図1に示す動画像処理装置1は、画像データ入力部2、画像データ保存部3、画像データ編集部4、符号化処理部5、符号列編集部6、データ転送部7、復号化処理部8、出力処理部9、奥行き調整指示部10、画像データ保存部11、符号データ保存部12、符号データ保存部13、奥行き度合い算出部14、奥行きデータ保存部15より構成される。
三次元画像データである右眼用と左眼用の動画像データは、フレーム単位で画像データ入力部2により入力され、画像データ保存部3で一旦保持された後、符号化処理部5により符号化されて符号データ保存部12に保持される。符号データ保存部12に保持された符号データはデータ転送部7により符号データ保存部13に転送され、符号データ保存部13を介して復号化処理部8で復号される。この復号データは画像データ保存部11に一時的に保存された後、或いは直接、出力処理部9に出力され、出力処理部9において立体画像を出力(表示)するようにしている。さらに奥行き調整指示部10により奥行きの度合いの指示を行い、この指示に従って、必要であれば、奥行き度合い算出部14において入力された画像データの奥行き度合いを算出し、画像データ編集部4において入力された画像データを編集してから符号化処理部5で符号化するようにしている。
このように構成される第1の実施形態の動画像処理装置1においては、画像データ編集部4において画像データを編集し、奥行き調整を行うようにした点に特徴がある。なお、フレーム単位で右眼用と左眼用の画像データを互いに重ね合わせて(マージして)、画像データを作成してもよい。その場合は復号化処理部8で復号後にマージされた画像データを分離して、元の右眼用と左眼用の動画像データに分離すれば良い。
また、第1の実施形態の動画像処理装置1においては、奥行き調整指示部10の指示に従って画像データを編集するのではなく、符号列編集部6で符号化されたデータを編集して奥行き調整を行う機能も備えている。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
First, a description will be given of a method for avoiding visual fatigue, which is said to be particularly severe when observing a stereoscopic image with a movement that causes a problem when reproducing a three-dimensional (3D) image.
FIG. 1 is a block diagram showing a configuration of a system that performs depth adjustment during moving image reproduction of the moving image processing apparatus according to the first embodiment of the present invention.
A moving
The moving image data for the right eye and the left eye, which are three-dimensional image data, are input by the image
The moving
In the moving
図2は、第1の実施形態の動画像処理装置において動画再生時の奥行き調整に係る概念説明図である。
第1の実施形態の動画像処理装置1は、上記したように右眼用画像データと左眼用画像データの再生時に奥行きを調整する機能を有している点に特徴があり、疲労の度合いに応じ奥行き度合いを指示するようにしている。奥行き調整方法は、画像データ編集部4に備えられている画像データ修正部4aとデータ合成部4b、及び奥行き度合い算出部14に設けられている後述する相関算出部53を用いて画像データを調整する場合と、符号列編集部6の符合データを調整する場合とがある。
この図2に示す例では、動画像データがフレーム単位で順次入力される場合には相関算出部14aで相関を算出して両者をマージ(合成)して符号化している。勿論、符号データは別々に独立に符号化するのであっても構わない。奥行き度合いを推定する相関の算出は、いつも施す必要はなく、例えば奥行き調整をする場合に相関を算出し奥行き度合いがある一定水準になるように画像データを編集すれば良い。
なお、三次元画像データである右眼用と左眼用の画像データの編集によって再生時の奥行き度合いを調整する方法は、後述する再生時に一部領域の奥行きがなくなる(二次元表示になる)ように補正する方法がある。また符号データの編集方法は、後述する符号化後の符号データに対して編集を施し画像データの編集と同じく奥行きを調整する方法がある。
FIG. 2 is a conceptual explanatory diagram relating to depth adjustment during moving image reproduction in the moving image processing apparatus according to the first embodiment.
The moving
In the example shown in FIG. 2, when moving image data is sequentially input in units of frames, the correlation is calculated by the correlation calculation unit 14a, and the two are merged (synthesized) and encoded. Of course, the code data may be separately encoded independently. It is not always necessary to calculate the correlation for estimating the depth degree. For example, when adjusting the depth, the correlation may be calculated and the image data may be edited so that the depth degree becomes a certain level.
Note that the method of adjusting the depth level during playback by editing the right-eye and left-eye image data, which is three-dimensional image data, eliminates the depth of a partial region during playback (to be described later). There is a method of correcting as follows. Further, as a method for editing code data, there is a method of editing the code data after encoding, which will be described later, and adjusting the depth in the same way as editing of image data.
以下、動画再生時に画像データの奥行き度合いの調整方法について説明する。
先ず、画像データの編集により奥行き度合いを調整する場合について説明する。
図3は画像データの編集による奥行き調整処理を示したフローチャートである。
この場合、先ず、ステップS1において三次元画像データである右眼用と左眼用夫々の画像データの入力が有ったどうかの判断を行い、三次元画像データの入力が有れば(S1でY)、夫々の三次元画像データの符号化と復号化の処理を行い(S2、S3)、右眼用と左眼用夫々の画像データの再生を行う(S4)。なお、ステップS1において、三次元画像データの入力が無いと判断した場合(S1でN)、処理を終了する。
次に、ステップS5において、奥行き調整指示部10からの奥行き調整指示の有無を判断し、指示があれば(S5でY)、ステップS6に進む。なお、奥行き調整指示部10から指示が無ければ(S5でN)、ステップS2に戻って、ステップS2からの処理を繰り返し実行する。
ステップS6において、奥行き調整指示部10からの奥行き調整指示が奥行き度合いを減らす指示であると判断した場合(S6でY)、右眼用と左眼用夫々の画像データを入力し(S7)、奥行き度合いの指示に応じて画像データの修正を行い(S8)、三次元画像データである右眼用と左眼用の画像データをマージする(S9)。そして、マージされた画像データの符号化、復号化を行った後(S10、S11)、マージされた画像データを分解して元の右眼用と左眼用の画像データに戻して(S12)、ステップS7に戻るようにする。なお、ステップS7において右眼用と左眼用の画像データの入力が無くなったときはそのまま処理を終了する。
Hereinafter, a method for adjusting the depth degree of image data during moving image reproduction will be described.
First, a case where the depth degree is adjusted by editing image data will be described.
FIG. 3 is a flowchart showing depth adjustment processing by editing image data.
In this case, first, in step S1, it is determined whether or not the right-eye image data and the left-eye image data, which are three-dimensional image data, are input. If there is input of the three-dimensional image data (in S1). Y) The respective 3D image data are encoded and decoded (S2, S3), and the right eye image data and the left eye image data are reproduced (S4). If it is determined in step S1 that there is no input of 3D image data (N in S1), the process is terminated.
Next, in step S5, it is determined whether or not there is a depth adjustment instruction from the depth
If it is determined in step S6 that the depth adjustment instruction from the depth
次に、動画再生時に符号データの編集により奥行き度合いを調整する場合を説明する。
図4は符号データの編集による奥行き度合いの調整処理を示したフローチャートである。
この場合は、右眼用と左眼用夫々の画像データを入力し(S21)、符号化と復号化の処理を行い(S22、S23)、右眼用と左眼用夫々の画像データの再生を行う(S24)。
次に、ステップS25において、奥行き調整指示部10からの奥行き調整指示の有無を判断し、指示があれば(S25でY)、ステップS26に進み、指示が無ければステップS21へ戻ってステップS21から処理を行う。
ステップS26において、奥行き調整指示部10からの指示が奥行き度合いを減らす指示である場合は、右眼用と左眼用夫々の画像データを入力し(S27)、画像データが有れば(S28でN)、符号化した後(S29)、奥行き度合いの指示に応じて符号化した符号データの修正を行って(S30)、ステップS27へ戻るようにする。なお、ステップS28において三次元画像データがなくなったと判断した場合(S28でY)、処理を終了する。
このようにすれば、立体動画像を再生しているときに疲労に応じて奥行き度合いを調整して、例えば、奥行きを全くなくし立体表示をやめる調整を行うことが可能になる。また、画像サーバ側へ指示することで転送符号量を減らすことができる。
次に、本発明の第2の実施形態として相関の変化に基づいて三次元画像の奥行き方向の動きを推定する推定方法について説明する。
一般に右眼用と左眼用の画像データの奥行き度合いは、二つの画像データ間の相関値の逆数と比例関係にある。
そこで、第2の実施形態の動画像処理装置ではこのような関係を踏まえてフレーム単位で連続している動画像を再現する際に各フレーム画像の相関値の変化に基づいて奥行き方向の動きを推定するところに特徴がある。
図5は、右眼用と左眼用の画像データの奥行きを算出する算出方法の概念を説明する図である。
図5に示すように、三次元画像データである右眼用と左眼用の画像データにおいて領域毎の奥行き度合いを算出する場合は、奥行き度合い算出部に設けられている相関算出部により算出した相関値に基づいて奥行き度合い算出部において画像領域毎の奥行き度合いを算出し、フレーム単位奥行き度合い算出部においてフレーム単位の奥行き量、即ち画像全体の奥行き度合いを推定するようにする。ここで、画像データの奥行き度合いは、相関値の逆数と比例関係があることに基づいて推定するようにしている。
Next, the case where the depth degree is adjusted by editing the code data during moving image reproduction will be described.
FIG. 4 is a flowchart showing a depth degree adjustment process by editing code data.
In this case, the image data for the right eye and the image for the left eye are input (S21), the encoding and decoding processes are performed (S22, S23), and the image data for the right eye and the left eye are reproduced. (S24).
Next, in step S25, it is determined whether or not there is a depth adjustment instruction from the depth
In step S26, when the instruction from the depth
In this way, it is possible to adjust the depth degree according to fatigue when reproducing a 3D moving image, for example, to make an adjustment to eliminate the 3D display by eliminating the depth at all. In addition, the transfer code amount can be reduced by instructing the image server.
Next, an estimation method for estimating a motion in the depth direction of a three-dimensional image based on a change in correlation will be described as a second embodiment of the present invention.
In general, the depth degree of right-eye and left-eye image data is proportional to the inverse of the correlation value between the two image data.
Therefore, in the moving image processing apparatus according to the second embodiment, when reproducing a moving image continuous in units of frames based on such a relationship, the movement in the depth direction is performed based on the change in the correlation value of each frame image. There are features in the estimation.
FIG. 5 is a diagram illustrating the concept of a calculation method for calculating the depth of image data for the right eye and the left eye.
As shown in FIG. 5, when calculating the depth degree for each region in the right-eye image data and the left-eye image data that are three-dimensional image data, the calculation is performed by a correlation calculation unit provided in the depth degree calculation unit. Based on the correlation value, the depth degree calculation unit calculates the depth degree for each image region, and the frame unit depth degree calculation unit estimates the depth amount of each frame, that is, the depth degree of the entire image. Here, the depth degree of the image data is estimated based on the fact that there is a proportional relationship with the reciprocal of the correlation value.
図6は、第2の実施形態の動画像処理装置においてライン毎に奥行き度合いを算出する算出処理を示したフローチャートである。
この場合、三次元画像データである右眼用と左眼用の画像データをライン毎に入力し(S31)、夫々の画像データのライン毎の相関値を算出する(S32)。このような算出処理は、ステップS33において全ての三次元画像データに行われたと判断されるまで繰り返し行う。そして、前記相関値の逆数を画像のライン毎の奥行き度合いとして(S34)、相関値の逆数を画像のライン毎に集計し、ライン毎の平均値を算出して画像全体の奥行き度合いとする(S35)。
図7は、第2の実施形態の動画像処理装置において画像属性毎に奥行き度合いを算出する算出処理を示したフローチャートである。
この場合は、三次元画像データである右眼用と左眼用の画像データを入力し(S41)、右眼用と左眼用どちらかの画像データを分析し属性毎の領域を算出する(S42)。
次に、右眼用と左眼用の画像データのライン毎に入力し(S43)、夫々の画像データをライン毎に相関値を算出する(S44)。そして、相関値の逆数を画像のライン毎の奥行き度合いとし(S45)、相関値の逆数を画像のライン毎に集計しライン毎の平均値を算出して該領域の奥行き度合いとする(S46)。そして続くステップS47において、領域内の全ての画像を行ったかどうかの判断を行い、領域内の全ての画像に対して行っていなければ(S47でN)、ステップS43に戻って処理を行う。
一方、ステップS47において領域内の全ての画像に行ったと判断した場合は(S47でY)、続くステップS48において全領域に対して行った否かの判断を行い、全領域に対して領域毎に行っていなければ(S48でN)、領域を変更した後(S49)、ステップS43に戻って再度処理を行う。一方、全領域に対して領域毎に行っていれば(S48でY)、処理を終了する。
FIG. 6 is a flowchart illustrating calculation processing for calculating the depth degree for each line in the moving image processing apparatus according to the second embodiment.
In this case, right-eye and left-eye image data, which is three-dimensional image data, is input for each line (S31), and a correlation value for each line of each image data is calculated (S32). Such a calculation process is repeated until it is determined in step S33 that all three-dimensional image data have been processed. Then, the reciprocal of the correlation value is set as the depth degree for each line of the image (S34), the reciprocal of the correlation value is totaled for each line of the image, and the average value for each line is calculated to obtain the depth degree of the entire image ( S35).
FIG. 7 is a flowchart illustrating calculation processing for calculating the depth degree for each image attribute in the moving image processing apparatus according to the second embodiment.
In this case, right-eye and left-eye image data, which is three-dimensional image data, is input (S41), and either right-eye or left-eye image data is analyzed to calculate a region for each attribute ( S42).
Next, input is performed for each line of image data for the right eye and for the left eye (S43), and a correlation value is calculated for each line of image data (S44). Then, the reciprocal of the correlation value is set as the depth degree for each line of the image (S45), the reciprocal of the correlation value is totaled for each line of the image, and the average value for each line is calculated to obtain the depth degree of the area (S46). . In subsequent step S47, it is determined whether or not all the images in the region have been performed. If not performed for all the images in the region (N in S47), the process returns to step S43 for processing.
On the other hand, if it is determined in step S47 that the image has been applied to all the images in the region (Y in S47), it is determined in step S48 whether or not the operation has been performed on all regions, and the entire region is determined for each region. If not (N in S48), after changing the area (S49), the process returns to step S43 to perform the process again. On the other hand, if the process is performed for each region with respect to all regions (Y in S48), the process is terminated.
上記した右眼用と左眼用の画像データの相関値の計算は、以下の式に従って算出する。
S(y)は、ある画像y番目のライン(yは0〜ly-1の範囲内の数値とする)の相関値である。
ここで、画素の(x,y)は座標値であり、I(x,y)は画像Iの座標(x,y)の値であり、J(x,y)は画像Jの座標(x,y)の値である。画像は、xの最大値がlx-1、yの最大値がly-1よりなる。
なお、相関値は必ずしも上記に示すような算出式(式1)により求めなくてもよく、画像データ間のデータ値の近さが算出できればよく、例えば、あるy番目のラインの相関S(y)は、以下の式2により求めてよい。その場合はより簡潔になる。
相関値S(y)は、
The calculation of the correlation value between the image data for the right eye and the left eye described above is calculated according to the following equation.
S (y) is a correlation value of a y-th line of an image (y is a numerical value in the range of 0 to ly-1).
Here, (x, y) of the pixel is a coordinate value, I (x, y) is a value of the coordinate (x, y) of the image I, and J (x, y) is a coordinate of the image J (x , Y). In the image, the maximum value of x is 1x-1, and the maximum value of y is ly-1.
Note that the correlation value does not necessarily have to be obtained by the calculation formula (formula 1) as described above, and it is only necessary to calculate the proximity of the data values between the image data. For example, the correlation S (y of a certain y-th line) ) May be obtained by the
The correlation value S (y) is
また、奥行き度合いの算出は次のような関係式により推定する。
奥行き度合いの算出式は、
相関値<S→奥行き度合い=大
相関値>S→奥行き度合い=小 ・・・(式3)
上記図5に示した例では、画像領域毎の奥行きを算出し、その平均値を画像全体の奥行きとして推定した。また相関値は予め与えられた値Sと比較して小さかった場合に奥行き度合いが大きいと推定し、相関値が予め与えられた値Sより大きかった場合に奥行き度合いが小さいと推定した。またフレーム画像データのフレーム単位奥行き量は、以下のような(式4)により算出するようにした。
フレーム単位奥行き量=奥行き度合いの平均値・・・(式4)
図8は、上記した奥行き方向の動き量を推定する推定方法の概念説明図である。
この図に示す奥行き方向の動き量は、奥行き度合いの時間変化、即ちフレーム単位の奥行き度合いの変化によって推定して奥行き動き量の変化(分布)を算出している。
Further, the depth degree is estimated by the following relational expression.
The formula for calculating the depth is
Correlation value <S → depth degree = large Correlation value> S → depth degree = small (Equation 3)
In the example shown in FIG. 5, the depth for each image region is calculated, and the average value is estimated as the depth of the entire image. Further, when the correlation value is smaller than the predetermined value S, the depth degree is estimated to be large, and when the correlation value is larger than the predetermined value S, the depth degree is estimated to be small. Also, the frame unit depth amount of the frame image data is calculated by the following (formula 4).
Depth amount per frame = average value of depth degree (Equation 4)
FIG. 8 is a conceptual explanatory diagram of an estimation method for estimating the amount of motion in the depth direction.
The amount of motion in the depth direction shown in this figure is estimated by a change in the depth degree over time, that is, a change in the depth degree in units of frames, and the change (distribution) in the depth motion amount is calculated.
図9は第2の実施形態に係る動画像処理装置の奥行き方向の動き量を推定する奥行き度合い算出部の構成を示した図である。なお、第2の実施形態に係る動画像処理装置の他の構成は、図1と同一とされるので、ここでは奥行き度合い算出部を中心に構成を説明する。
この図9において、33はフレーム毎の画像奥行き方向の動きを算出する画像奥行き方向動き算出部、34はフレーム奥行き保存部、35は奥行き方向動き保存部により構成されている。
奥行き度合い算出部14は、画像データ入力部32より入力された動画像データを分析してフレーム毎に画像再生時の奥行きを算出し、フレーム単位の奥行きデータを使用して、画像奥行き方向動き算出部33にて奥行き方向の動き量を推定する。
奥行き度合い算出部14は、領域毎に画像を抽出する領域毎画像抽出部41、画像領域毎に奥行きを算出する画像領域毎奥行き算出部42、フレーム奥行き算出部43、画像データ保存部44、画像領域データ保存部45、領域毎奥行き保存部46により構成される。
また画像領域毎奥行き算出部42は、領域毎画像抽出部51、ライン毎画像データ抽出部52、相関算出部53、奥行き算出部54、ライン毎画像データ保存部55、相関データ保存部56により構成されている。
画像奥行き算出部14は、画像データ入力部2で三次元画像データを読み込み、領域毎画像抽出部41で画像領域の画像データを算出する。
画像領域毎奥行き算出部42では、画像領域毎に画像データ入力部2にて画像領域毎に画像データを読み込み、ライン毎画像データ抽出部52でライン毎に画像データをライン単位で読み込み、相関算出部53においてライン単位で相関値を算出する。そして、奥行き算出部54で領域毎の奥行きデータを算出する。なお、典型的には奥行きデータは相関値の逆数に比例する。
フレーム奥行き算出部43は、領域毎奥行き保存部46に保存されたライン単位の相関値を使用して、相関値の逆数を画像のライン毎に集計し、ライン毎の平均値を算出して画像全体の奥行き度合いを算出する。フレーム奥行き保存部34には該フレームの画像データを再生した場合の奥行き情報が保存される。なお、第2の実施形態では画像属性毎に奥行き情報を算出するものとしているが画像領域毎に奥行き情報を算出することも勿論可能であり、その場合は画像領域を予めブロック毎に区分してブロック単位で奥行き情報を算出すればよい。
FIG. 9 is a diagram illustrating a configuration of a depth degree calculation unit that estimates the amount of motion in the depth direction of the moving image processing apparatus according to the second embodiment. In addition, since the other structure of the moving image processing apparatus which concerns on 2nd Embodiment is the same as FIG. 1, here, a structure is demonstrated centering on a depth degree calculation part.
In FIG. 9, 33 is an image depth direction motion calculation unit that calculates motion in the image depth direction for each frame, 34 is a frame depth storage unit, and 35 is a depth direction motion storage unit.
The depth
The depth
The image area
The image
The
The frame
図10は奥行き方向の動き量推定処理を示したフローチャートである。
この場合は、先ず、三次元画像データである右眼用と左眼用の画像データをライン毎に入力し(S51)、夫々の画像データのライン毎の相関値を算出する(S52)。次に、前記相関値の逆数を画像のライン毎の奥行き度合いとし(S53)、前記相関値の逆数を画像のライン毎に集計してライン毎の平均値を算出して領域の奥行き度合いとする(S54)。
ここで、領域内の全ての画像に対して上記ステップS51〜S54の処理を行った否か判断し、領域内の全ての画像に対して行っていなければ(S55でN)、ステップS51に戻って処理を繰り返し行う。
一方、ステップS55において領域内の全ての画像に対して上記ステップS51〜S54の処理が行われたと判断した場合は(S55でY)、続くステップS56において全領域に対して行ったか否かの判断を行い、全領域に対して領域毎に行っていなければ(S56でN)、領域を変更した後(S57)、ステップS51に戻って再度処理を行う。
そして、全領域に対して領域毎に行ったと判断した場合(S56でY)、ステップS58に進み、必要であればフレーム画像の奥行き度合いの平均値と予め定めた閾値とを比較して、そのフレーム画像の奥行き(度合い)評価値を決定する(S58)。例えば、ある第1閾値より小さければ→奥行き評価値=小と判定し、ある第1閾値より大きければ→奥行き評価値=大と判定し、それ以外であれば→奥行き評価値=中と判定する。
次に、フレーム画像データの奥行き評価値を保存し(S59)、フレーム画像データの奥行き評価値と比較して奥行き変化の大小/奥行き方向の増加減少を識別する(S60)。
例えば、N=|該画像フレームの奥行き値評価値−前画像フレームの奥行き評価値|であり、Nがある第1閾値より小さければ→奥行き変化=小と判定、Nがある第2閾値より大きければ→奥行き変化=大と判定、それ以外であれば→奥行き変化=中と判定する。
この後、全てのフレームの処理が終わったか否かの判断を行い(S61)、全てのフレームの処理が終わっていなければステップS51に戻る。一方、全てのフレーム処理が終わっていれば(S61でY)処理を終了する。
なお、この図10に示した処理では、ステップS60において、奥行きの大小判定しか行っていないが、奥行きの増減の判定を行うこともできる。その場合はステップS60において、フレーム画像データの奥行き評価値と比較して、奥行き変化の大小/奥行き方向の増加減少を識別する。例えば、S=該画像フレームの奥行き値評価値−前画像フレームの奥行き評価値の正負とし、N=|該画像フレームの奥行き値評価値−前画像フレームの奥行き評価値|とすると、Nがある第1閾値より小さければ→奥行き変化=小と判定し、Nがある第2閾値より大きければ→奥行き変化=大と判定し、それ以外であれば→奥行き変化=中と判定する。そして、S=正→奥行き=増加と判定し、S=負→奥行き=減少と判定し、S=0→奥行き=変化なしと判定すればよい。
FIG. 10 is a flowchart showing the motion estimation process in the depth direction.
In this case, first, the right-eye and left-eye image data, which is three-dimensional image data, is input for each line (S51), and the correlation value for each line of the respective image data is calculated (S52). Next, the reciprocal of the correlation value is set as the depth degree for each line of the image (S53), and the reciprocal of the correlation value is totaled for each line of the image to calculate the average value for each line to obtain the depth degree of the region. (S54).
Here, it is determined whether or not the processing in steps S51 to S54 has been performed on all the images in the region. If not performed on all the images in the region (N in S55), the process returns to step S51. Repeat the process.
On the other hand, if it is determined in step S55 that the processes in steps S51 to S54 have been performed on all the images in the area (Y in S55), it is determined whether or not the process has been performed on all areas in the subsequent step S56. If the process is not performed for every area (N in S56), the area is changed (S57), and the process returns to step S51 to perform the process again.
If it is determined that the process has been performed for each region (Y in S56), the process proceeds to step S58, and if necessary, the average value of the depth degree of the frame image is compared with a predetermined threshold value. A depth (degree) evaluation value of the frame image is determined (S58). For example, if it is smaller than a certain first threshold, it is determined that the depth evaluation value is small, if it is larger than a certain first threshold, it is determined that the depth evaluation value is large, and otherwise, it is determined that the depth evaluation value is medium. .
Next, the depth evaluation value of the frame image data is stored (S59), and the magnitude of the depth change / increase / decrease in the depth direction is identified as compared with the depth evaluation value of the frame image data (S60).
For example, if N = | depth value evaluation value of the image frame−depth evaluation value of the previous image frame |, and N is smaller than a certain first threshold, it is determined that the depth change = small, and N is larger than a certain second threshold. → Depth change = large, otherwise it is determined → Depth change = medium.
Thereafter, it is determined whether or not all the frames have been processed (S61). If all the frames have not been processed, the process returns to step S51. On the other hand, if all the frame processes have been completed (Y in S61), the process ends.
In the process shown in FIG. 10, only the depth determination is performed in step S60, but the depth increase / decrease can also be determined. In this case, in step S60, the magnitude of the depth change / increase / decrease in the depth direction is identified as compared with the depth evaluation value of the frame image data. For example, if S = depth value evaluation value of the image frame−positive / negative of the depth evaluation value of the previous image frame and N = | depth value evaluation value of the image frame−depth evaluation value of the previous image frame | If it is smaller than the first threshold, it is determined that the change in depth = small, and if N is greater than a certain second threshold, it is determined that the change in depth = large, and otherwise, it is determined that the change in depth = medium. Then, S = positive → depth = increase, S = negative → depth = decrease, and S = 0 → depth = no change.
次に、三次元画像の奥行き度合いを調整する方式について説明する。
第2の実施形態の動画像処理装置では、画像データを編集することにより奥行きを調整することができる。三次元再生画像の奥行きは、一般には左眼用画像データの描画内容の位置を対応する右眼用画像データの描画内容に対して、描画位置を調整することで奥行きを調整することができる。典型的には、描画対象の描画位置を同じにする(同一の描画内容にする)ことで奥行きをなくすことができる。
次に、第2の実施形態に係る動画像処理装置の変形例として画像属性毎に奥行き調整を行う場合について説明する。
図11は画像属性毎に奥行き調整する処理を示したフローチャートである。
この場合、画像属性毎に画像データの奥行き度合いを算出する算出処理(図7参照)を行った後(S71)、画像属性が文字である画像領域に対して奥行き度合いを算出する(S72)。そして、前記奥行き度合いが「0」でない場合、右眼用と左眼用の画像データを同じにして(S73)、処理を終えるようにする。
なお、この図11に示す処理フローにおいては、文字画像領域の奥行きをなくす処理について記述しているが、画像属性領域の画像データに対する編集としては、文字属性領域の編集に限定されるものでない。またこの処理フローでは画像属性領域としているが画像領域でも構わない。注目領域などのある特定の画像領域の画像データの奥行き度合いは残し、残りの領域は奥行きをなくす画像データの調整をするのでも構わない。
Next, a method for adjusting the depth degree of the three-dimensional image will be described.
In the moving image processing apparatus of the second embodiment, the depth can be adjusted by editing the image data. In general, the depth of the three-dimensional reproduction image can be adjusted by adjusting the drawing position with respect to the drawing content of the right-eye image data corresponding to the position of the drawing content of the left-eye image data. Typically, the depth can be eliminated by making the drawing positions to be drawn the same (the same drawing content).
Next, a case where depth adjustment is performed for each image attribute will be described as a modification of the moving image processing apparatus according to the second embodiment.
FIG. 11 is a flowchart showing processing for adjusting the depth for each image attribute.
In this case, after performing a calculation process (see FIG. 7) for calculating the depth degree of the image data for each image attribute (S71), the depth degree is calculated for the image area whose image attribute is a character (S72). If the depth degree is not “0”, the right eye image data and the left eye image data are made the same (S73), and the process is terminated.
In the processing flow shown in FIG. 11, processing for eliminating the depth of the character image area is described. However, editing of image data in the image attribute area is not limited to editing of the character attribute area. In this processing flow, the image attribute area is used, but an image area may be used. The degree of depth of the image data of a specific image area such as the attention area may be left, and the image data may be adjusted to eliminate the depth of the remaining area.
図12は画像領域毎の奥行き調整の原理図である。
右眼用と左眼用の画像データの画像属性の特定領域の三次元画像データを抽出し、相関算出部で該部分領域の画像データ間の相関を計算する。画像データ編集部において相関算出部で求めた相関値を使用して画像データを編集する。
画像データの編集は一方の画像データの画像属性領域に対する編集を施すようにする。簡易に三次元表示画像の奥行きを自動的に調整する手段を提供する。
例えば、領域別に右眼用画像データと左眼用画像データを同じにする修正し、簡易に三次元表示画像の奥行きをなくす調整をしたり、三次元画像表示を二次元画像表示に簡易に変換する手段を設けるようにしたりする。文字を認識するのに奥行きがある場合には、視差量が大きいため目の疲労が生じる。例えば、文字画像領域の奥行きをなくし二次元で表示する調整は簡易に視差量をなくすことができ有効である。
FIG. 12 is a principle diagram of depth adjustment for each image area.
The three-dimensional image data of the specific region of the image attribute of the image data for the right eye and the left eye is extracted, and the correlation between the image data of the partial regions is calculated by the correlation calculation unit. The image data editing unit edits the image data using the correlation value obtained by the correlation calculation unit.
The image data is edited with respect to the image attribute area of one of the image data. Means for automatically adjusting the depth of a three-dimensional display image is provided.
For example, the right-eye image data and the left-eye image data are corrected to be the same for each region, and the adjustment to easily eliminate the depth of the three-dimensional display image, or the conversion from the three-dimensional image display to the two-dimensional image display is simple. Or a means to do so. When there is a depth in recognizing characters, eye fatigue occurs due to the large amount of parallax. For example, adjustment for eliminating the depth of a character image area and displaying it in two dimensions is effective because it can easily eliminate the amount of parallax.
図13は第2の実施形態に係る動画像処理装置における奥行き度合い算出部の他の構成を示した図である。なお、他の構成は図1と同一とされるので、ここでは奥行き度合い算出部を中心に構成を説明する。
この図13(a)に示す奥行き度合い算出部14は、属性毎領域抽出部62、画像属性領域データ保存部63、画像属性毎奥行き算出部64、画像属性毎奥行きデータ保存部65、画像属性毎奥行き評価部66、画像属性毎画像データ編集部67、画像データ保存部68により構成されている。
画像データ入力部2から三次元画像データを入力し、画像データ保存部68に画像データを保存し、属性毎領域抽出部62にて画像属性領域情報を抽出する。画像属性毎奥行き算出部64は、図13(b)に示すように画像属性毎画像抽出部71、ライン毎画像データ抽出部72、相関算出部73、奥行き算出部74、ライン毎画像データ保存部75、相関データ保存部76により構成される。
このように構成される画像属性毎奥行き算出部64において算出した画像属性毎の奥行きデータは、画像属性毎奥行きデータ保存部65に保存され、画像属性毎奥行き評価部66において画像属性の奥行きの有無、或いは奥行きレベルを、基準値を使用して評価する。例えば、奥行きレベルとして、大/中/小の判定を行うようにする。
なお、これまで説明した相関値の算出処理においては、全てのラインについて相関値を算出するとしているが、必ずしも全てのラインについて実施する必要はなく、画像データの一部のラインであっても構わない。例えば、先頭ラインからいくつかのライン(yn)までのラインについて
を算出して、画像全体の相関値として推定してもよい。このようにすると一部の画像領域を調べて判定するので、処理効率を高めることができる。ここで、一部の画像領域は、推定精度が重要とあるような関心領域であったり、或いは処理効率を優先し先に読み込んだ画像領域の画像データの相関を計算したりするのであっても構わない。全ての画像データを分析しないで済ますことは、処理効率を向上させるという大きな効果がある。
FIG. 13 is a diagram illustrating another configuration of the depth degree calculation unit in the moving image processing apparatus according to the second embodiment. Since other configurations are the same as those in FIG. 1, the configuration will be described here centering on the depth degree calculation unit.
The depth
Three-dimensional image data is input from the image
The depth data for each image attribute calculated by the image attribute
In the correlation value calculation processing described so far, correlation values are calculated for all lines. However, it is not always necessary to perform the calculation for all lines, and some lines of image data may be used. Absent. For example, for lines from the first line to several lines (yn)
May be calculated and estimated as the correlation value of the entire image. In this way, since part of the image area is examined and determined, the processing efficiency can be improved. Here, some of the image regions may be regions of interest where the estimation accuracy is important, or the correlation between the image data of the previously read image regions may be calculated giving priority to the processing efficiency. I do not care. Not having to analyze all the image data has a great effect of improving the processing efficiency.
図14は符号レベルでの画像属性領域を識別して画像属性領域に対する奥行き情報を調整することを説明する図である。
この例では、後述するJPEG2000規格に基づく符号化している。マージされた画像データに対して符号化処理部のウェーブレット変換処理部においてウェーブレット変換を施して符号化処理を行うようにしている。この場合、ウェーブレット変換によって画像データのエッジ領域が識別できるので、それらを使用して、例えば画像属性領域、例えば文字領域を識別する。
これまで説明した本実施形態においては、奥行き方向だけの動き量の推定について言及したが、現実には二次元平面上の動きもある。
立体表示された場合に、奥行き方向だけでなく二次元平面方向の動きが同時に伴うと、さらに疲労は大きいものとなる。
そこで、次に奥行き方向だけでなく二次元平面方向の動きを含めて動き量を推定することで、三次元方向の動き量の推定精度を向上させるようにした第3の実施形態に係る動画像処理装置の構成について説明する。
FIG. 14 is a diagram for explaining the adjustment of depth information for an image attribute area by identifying the image attribute area at the code level.
In this example, encoding is performed based on the JPEG2000 standard described later. The wavelet transform processing unit of the encoding processing unit performs wavelet transform on the merged image data to perform the encoding process. In this case, since the edge region of the image data can be identified by wavelet transformation, they are used to identify, for example, an image attribute region, for example, a character region.
In the present embodiment described so far, the estimation of the motion amount only in the depth direction is mentioned, but in reality there is also a motion on a two-dimensional plane.
In the case of a three-dimensional display, if not only the depth direction but also the movement in the two-dimensional plane direction is accompanied at the same time, the fatigue is further increased.
Therefore, the moving image according to the third embodiment is configured to improve the estimation accuracy of the motion amount in the three-dimensional direction by estimating the motion amount including the motion in the two-dimensional plane direction as well as the depth direction. The configuration of the processing apparatus will be described.
図15は第3の実施形態に係る動画像処理装置の奥行き度合い算出部14と、周辺部の構成を示した図である。なお、図9と同一部位には同一番号を付して説明は省略する。
この場合は、画面内動き量算出部81は、三次元動画像データを分析して二次元平面方向の動きを推定する。例えば、三次元動画像データを符号化処理部5のウェーブレット変換処理部5aでウェーブレット変換し、1LHサブ・バンド成分の符号量と、1HLサブ・バンド成分の符号量とで二次元平面方向の動き量を推定する。
図16は、相関の分布変化によって動きの激しさを推定する処理の概念説明図である。
先の実施形態で説明したように奥行き方向の動き量を推定するのと同時に三次元動画像データを符号化する過程で二次元平面方向の動き量を推定している。
予め画像データをブロック(タイル)単位に区切って符号化することで、ブロック毎の1LHサブ・バンド成分の符号量と、1HLサブ・バンド成分の符号量の算出ができ、平面方向の動きを推定することができる。そこで、該画像領域の奥行き方向の動きを推定する場合の領域の区切りとブロック領域を同じにすることで、画像領域ブロック毎に、簡易に、奥行き方向と二次元方向の動きとを合わせて推定することできる。動き量の大きさは、動き量の基準を設けて該基準値と比較することで行うことができるが、その場合に、奥行き方向の動きを優先的に高く評価しても構わない。
本発明では二次元平面方向の動き量を効率的に判定する複数個の手段を提供する。二次元平面方向の動きが普通以上にあるかないかの判定をする最低限の機能を提供する。
二次元平面方向の動き量の判定とは、画像の物体の移動速度が高速であるか低速であるかを判定するものである。
典型的な二次元平面方向の動き量の推定方式は、フレーム間差分による動き量判定である。二次元平面方向の動き量を判定する手段としては、フレーム間の画像データの差分を用いる。典型的には、前後のフレームの画像データを画素単位で順次比較していってもよい。あるいは、後述するインターレース動画像の再生においては、フレームをフィールドに分解し、フィールド単位で比較してもよい。インターレース画像信号が分解して生成された前後のフィールド間の動き量に基づいて動き量を判定してもよい。フレーム全体のデータよりも少ない量のデータを比較することにより、より効率的である。また、一つおきのデータ間の比較であることから精度も十分にある。
フレーム内の周波数領域のデータ量を比較することにより簡易に二次元平面方向の動き量を推定してもよい。
一般の撮影では殆どの被写体は横方向に移動するという経験則に従い、フレーム内での被写体の横方向の移動速度(高速/低速)を検出し動き量を判定することができる。前者のフレーム間の画像データの差分を用いて判定するよりも、より少ない量のデータを用いて、簡単な演算処理により、上記物体の移動速度(高速/低速)を検出することができる。
FIG. 15 is a diagram illustrating the configuration of the depth
In this case, the in-screen motion
FIG. 16 is a conceptual explanatory diagram of processing for estimating the intensity of motion based on a change in correlation distribution.
As described in the previous embodiment, the motion amount in the two-dimensional plane direction is estimated in the process of encoding the three-dimensional moving image data at the same time as estimating the motion amount in the depth direction.
By coding the image data in advance divided into blocks (tiles), the code amount of 1LH sub-band component and the code amount of 1HL sub-band component for each block can be calculated, and the motion in the plane direction can be estimated. can do. Therefore, by estimating the movement of the image area in the depth direction by using the same area delimiter and block area, the movement in the depth direction and the two-dimensional direction can be estimated easily for each image area block. Can do. The magnitude of the amount of movement can be determined by providing a reference for the amount of movement and comparing it with the reference value. In this case, the movement in the depth direction may be preferentially evaluated as being high.
The present invention provides a plurality of means for efficiently determining the amount of motion in the two-dimensional plane direction. Provides a minimum function to determine whether or not there is more than normal movement in the two-dimensional plane direction.
The determination of the amount of motion in the two-dimensional plane direction is to determine whether the moving speed of the object in the image is high or low.
A typical method for estimating the amount of motion in the two-dimensional plane direction is motion amount determination based on inter-frame differences. As a means for determining the amount of motion in the two-dimensional plane direction, a difference in image data between frames is used. Typically, the image data of the previous and subsequent frames may be sequentially compared in units of pixels. Alternatively, in the reproduction of an interlaced moving image to be described later, a frame may be decomposed into fields and compared in units of fields. The amount of motion may be determined based on the amount of motion between fields before and after the interlaced image signal is generated by decomposing. It is more efficient by comparing a smaller amount of data than the entire frame data. Moreover, since it is a comparison between every other data, there is sufficient accuracy.
The amount of motion in the two-dimensional plane direction may be easily estimated by comparing the amount of data in the frequency domain within the frame.
According to an empirical rule that most subjects move in the horizontal direction in general shooting, the amount of movement can be determined by detecting the horizontal movement speed (high speed / low speed) of the subject in the frame. The moving speed (high speed / low speed) of the object can be detected by a simple calculation process using a smaller amount of data than the determination using the difference in image data between the former frames.
図17はビデオカメラ等により撮影されるインターレース画像データで構成されるフレームデータについて説明するための図である。なお夫々の画像データは右眼用と左眼用の画像データである。
このように撮影の開始時間T0と共に、フレーム0の画像のインターレース形式によるスキャンを行いフレーム画像が形成され、さらに一定時間経過後、例えば1/60秒後にフレーム1の画像のインターレース形式によるスキャンを行いフレーム画像が形成される。インターレース形式のスキャンは後述するように走査ラインを複数回にわけて行う。そして終了時間tnまでの間に一定時間単位、例えば1/60秒単位で合計n枚のフレームの画像をインターレース形式で形成する。一般に、フレームデータにおいては、奇数フィールドと偶数フィールドの撮影時間の差がある。
FIG. 17 is a diagram for explaining frame data composed of interlaced image data shot by a video camera or the like. Each image data is image data for the right eye and for the left eye.
In this way, the
図18は、インターレース形式のフレームデータのフィールドデータについて説明するための図である。図18に示すようにインターレース形式の画像は、1画素のライン(実線で示す走査ラインン)をスキャンした後、直ぐ下の画素のライン(点線で示す走査ライン)を飛ばして2画素下のライン(実線で示す走査ライン)をスキャンする。次に、前回スキャンしなかった画素ライン(点線で示す走査ライン)のスキャンを上から行う。このように、あるラインをスキャンしてから直ぐ下の画素のラインをスキャンするのに一定時間、例えば、1/120秒経過している。そのため後述するように、スキャンして読み込まれたインターレース形式のある一つのフレームデータにはスキャン時間の異なる画像が形成されるのである。
図18に示すようにインターレース形式のフレームデータはスキャン時間の異なるフィールドデータに分解することができる。奇数フィールドデータが、奇数走査ラインでスキャンされたデータ(実線で示す走査ライン)であり、偶数フィールドデータが、偶数走査ラインでスキャンされたデータ(点線で示す走査ライン)である。
逆に、奇数フィールドデータ、偶数フィールドデータを合成すれば、一つのフレームデータが生成されることは言うまでもない。すなわち、奇数フィールドデータ及び偶数フィールドデータの画像データをスキャンしたライン毎(上記の例では1画素単位の走査ライン毎)に、交互に並べる(スキャンしていないラインのデータを補充する)ことでフレームデータを形成することができる。この時、前述したように、フレームデータにおいては、奇数フィールドと偶数フィールドのスキャン時間に差があるため、被写体に動きがある場合は、完全に連続的なデータが形成されない。
このようにフレーム画像データがインターレース画像であっても、ライン単位では、右眼用左眼用の三次元動画像データは互いに同じ時刻で同じところを見たときのデータであるので、フィールド分割されたフィールドデータであっても、合成されたフレームデータであっても、右眼用左眼用の三次元動画像データ間での相関を使用して奥行き方向の動き量を推定することも可能である。
三次元表示における奥行き方向の動きは、特に視覚的な疲労が大きいことから疲労の緩和が重要である。
三次元の動画像データの再現における疲労を緩和する場合の一例を説明する。この場合は動き量を推定する際に奥行き方向の動き量を推定しているところに特徴がある。
本実施形態では、三次元表示における奥行き方向の動きが大きいときにフレームレートを下げることで動きに起因する疲労を緩和している。
図19は動画再生のフレームレートの調整に係る説明図である。
動き量が大きいと評価される区間では再生時のフレームレートを下げて、動きに起因する疲労を緩和することを目的としている。この例では、動き量の推定が奥行き方向の動きを推定しているところに特徴がある。
FIG. 18 is a diagram for explaining field data of interlaced frame data. As shown in FIG. 18, an interlaced image scans a line of one pixel (a scanning line indicated by a solid line), and then skips a line of a pixel immediately below (a scanning line indicated by a dotted line) to a line that is two pixels below ( A scanning line indicated by a solid line) is scanned. Next, scanning of pixel lines (scan lines indicated by dotted lines) that were not scanned last time is performed from above. As described above, a certain time, for example, 1/120 second has elapsed since the line of the pixel immediately below after scanning a certain line. Therefore, as will be described later, images having different scan times are formed in one frame data of an interlace format scanned and read.
As shown in FIG. 18, interlaced frame data can be decomposed into field data having different scan times. The odd field data is data scanned by odd scan lines (scan lines indicated by solid lines), and the even field data is data scanned by even scan lines (scan lines indicated by dotted lines).
Conversely, it goes without saying that one frame data is generated by combining odd field data and even field data. In other words, the image data of the odd field data and the even field data is alternately arranged (supplemented with the data of the unscanned line) for each scanned line (in the above example, for each scanning line of one pixel unit). Data can be formed. At this time, as described above, in the frame data, there is a difference in the scan time between the odd field and the even field, so that when the subject is moving, completely continuous data is not formed.
As described above, even if the frame image data is an interlaced image, the three-dimensional moving image data for the right eye and the left eye is data obtained by viewing the same place at the same time in line units. It is possible to estimate the amount of motion in the depth direction using correlation between 3D moving image data for the right eye and left eye, whether it is field data or synthesized frame data. is there.
In the movement in the depth direction in the three-dimensional display, since visual fatigue is particularly large, it is important to reduce fatigue.
An example of mitigating fatigue in the reproduction of three-dimensional moving image data will be described. This case is characterized in that the amount of motion in the depth direction is estimated when the amount of motion is estimated.
In the present embodiment, when the movement in the depth direction in the three-dimensional display is large, the fatigue caused by the movement is reduced by reducing the frame rate.
FIG. 19 is an explanatory diagram relating to adjustment of the frame rate of moving image reproduction.
The purpose is to alleviate fatigue caused by motion by lowering the frame rate during playback in a section where the amount of motion is evaluated to be large. This example is characterized in that the motion amount estimation estimates the motion in the depth direction.
図20は本発明の第4の実施形態に係る動画像処理装置における動画再生のフレームレートを調整する場合の構成を示したブロック図である。
本実施形態の動画像処理装置は、フレーム毎の右眼用と左眼用の画像データが入力される三次元画像入力部101、画像奥行き算出部102、動き量評価部103、フレーム(符号データ)編集部104、画像データ保存部105、評価基準動き量保存部106、フレーム毎奥行き保存部107、フレーム動き量評価結果保存部108、フレーム動き量変化評価結果保存部109により構成されている。
このような動画像処理装置においては、三次元画像入力部101にて、三次元画像データである右眼用と左眼用の画像データを入力し、続いて画像奥行き算出部102にてフレーム毎に画像データの奥行き量を推定する。続いて動き量評価部103において評価基準動き量保存部106に保存された基準動き量と該フレームの奥行き動き量とを比較し、フレーム動き量評価結果をフレーム動き量評価結果保存部108に保存する。直前に保存されたフレームの動き量評価結果と該フレームの動き量の評価結果を比較し、フレーム動き量変化評価結果を、フレーム動き量変化評価結果保存部109に保存する。フレーム符号データ編集部104においては、フレーム動き量変化評価結果を用いてフレーム符号データをフレーム単位で編集する。尚、ここでフレーム毎の画像奥行き算出部102では、先に説明した図9の処理ブロックで実現する。
図21は、動画像の疲労度によるフレームレートの調整処理を示したフローチャートである。
この場合、先ず、フレーム再生時のフレームレートをデフォルト値に設定する(S81)。次に、図10に示した処理により奥行き変化を推定し(S82)、該画像フレームの奥行き変化が大の場合にフレームレートを低くする。即ち、時間当たりの処理画像フレーム数を少なくする(S83)。そして、このフレームレートで再生する(S84)。この後、全てのフレームの処理が終わったら(S85でY)処理を終了する。
FIG. 20 is a block diagram showing a configuration in the case of adjusting the frame rate of moving image playback in the moving image processing apparatus according to the fourth embodiment of the present invention.
The moving image processing apparatus according to the present embodiment includes a 3D image input unit 101, an image
In such a moving image processing apparatus, the three-dimensional image input unit 101 inputs right-eye and left-eye image data, which is three-dimensional image data, and then the image
FIG. 21 is a flowchart showing a frame rate adjustment process based on the fatigue level of a moving image.
In this case, first, the frame rate at the time of frame reproduction is set to a default value (S81). Next, the depth change is estimated by the processing shown in FIG. 10 (S82), and the frame rate is lowered when the depth change of the image frame is large. That is, the number of processed image frames per time is reduced (S83). Then, playback is performed at this frame rate (S84). Thereafter, when all the frames have been processed (Y in S85), the processing ends.
次に、符号レベルでの奥行きの編集としてJPEG2000における符号レベルでの奥行きの編集について説明する。
図22は本発明における符号列編集による奥行き度合い調整の原理図である。
二つの画像データを合成(マージ)する場合に、マージする画像データが互いに分離されているように画像データがブロック(タイル)分割されていて、夫々のブロック(タイル)毎に独立に符号化され、独立したブロック毎に独立した符号データが生成され、符号データレベルで編集する。
係る符号化は後述するJPEG2000で符号化されている場合には、符号レベルでの編集を容易に進めることができる。JPEG2000(ISO/IEC 15444−1)規格の符号化によれば、符号レベルと対応画像空間上での領域対応がなされているため、符号レベルの領域処理も容易に実施できるのである。
また、motion−JPEG2000符号化方式で符号化されているとフレーム毎に独立した符号化ができ、先に述べたようなフレームレート補正などフレーム単位で独立した符号データの符号データレベルでの編集を容易に実現できる。MotionJPEG2000という規格は、上記JPEG2000形式で符号化された静止画像を連続して再生するものである。
JPEG2000(ISO/IEC 15444−1)規格に基づき符号化について以下に説明する。
JPEG2000規格の符号化は、おおよそ以下の手順でなされる。
先ず、インターレース画像のフレームデータを、Y,Cr,Cbの色成分毎のデータに変換する。次に各色成分の色データに対して、次元離散ウェーブレット変換を施す。これにより、得られるウェーブレット係数にJPEG2000に規定のスカラ量子化処理を施す。次に、スカラ量子化されたデータに対しJPEG2000に規定のエントロピー符号化処理(いわゆる係数モデリングによる算術符号化処理)を施す。そして全ての色データに対して上記のような処理を施した後、JPEG2000で規定する符号列を生成するようにしている。
また、復号化処理はこの逆の手順である。
勿論、これらの処理は、ハードウェア回路により実現しても良い。処理の高速化が図られる。なお、JPEG2000に準拠する符号化処理を全てハードウェア回路で実現する動画像処理装置は既に存在する。
Next, depth editing at the code level in JPEG 2000 will be described as depth editing at the code level.
FIG. 22 is a principle diagram of depth degree adjustment by code string editing in the present invention.
When combining (merging) two image data, the image data is divided into blocks (tiles) so that the image data to be merged is separated from each other, and each block (tile) is encoded independently. Independent code data is generated for each independent block and edited at the code data level.
When such encoding is encoded by JPEG2000 described later, editing at the code level can be easily advanced. According to the encoding of the JPEG2000 (ISO / IEC 15444-1) standard, the code level and the area in the corresponding image space are associated, so that the code level area processing can be easily performed.
In addition, when encoded with the motion-JPEG2000 encoding method, independent encoding can be performed for each frame, and editing at the code data level of independent code data such as frame rate correction as described above can be performed. It can be easily realized. The standard called Motion JPEG 2000 is for continuously reproducing still images encoded in the JPEG 2000 format.
The encoding will be described below based on the JPEG2000 (ISO / IEC 15444-1) standard.
The encoding of the JPEG2000 standard is performed in the following procedure.
First, frame data of an interlaced image is converted into data for each color component of Y, Cr, and Cb. Next, dimensional discrete wavelet transform is performed on the color data of each color component. As a result, the obtained wavelet coefficients are subjected to scalar quantization processing prescribed in JPEG2000. Next, the entropy encoding process (arithmetic encoding process by so-called coefficient modeling) prescribed in JPEG2000 is performed on the scalar quantized data. After all the color data is processed as described above, a code string defined by JPEG2000 is generated.
The decoding process is the reverse procedure.
Of course, these processes may be realized by a hardware circuit. The processing speed can be increased. Note that there already exists a moving image processing apparatus that implements all the encoding processing compliant with JPEG2000 with a hardware circuit.
図23はJPEG2000の基本となる階層符号化アルゴリズムを説明するための図であり、色空間変換・逆変換部110、2次元ウェーブレット変換・逆変換部111、量子化・逆量子化部112、エントロピー符号化・復号化部113、タグ処理部114により構成されている。JPEGアルゴリズムと比較して、最も大きく異なる点の一つは変換方法である。JPEGでは離散コサイン変換(DCT:Discrete Cosine Transform)を、階層符号化圧縮伸長アルゴリズムでは離散ウェーブレット変換(DWT:Discrete Wavelet Transform)を各々用いている。
DWTはDCTに比べて、高圧縮領域における画質が良いという長所が、JPEGの後継アルゴリズムであるJPEG2000で採用された大きな理由の一つとなっている。
また他の大きな相違点は、後者では、最終段に符号形成をおこなうために、タグ処理部と呼ばれる機能ブロックが追加されていることである。この部分で、圧縮動作時には圧縮データがコード・ストリームとして生成され、伸長動作時には伸長に必要なコード・ストリームの解釈が行われる。そして、コード・ストリームによって、JPEG2000は様々な便利な機能を実現できるようになった。例えば、後述する図25に示したようにブロック・ベースでのDWTにおけるオクターブ分割に対応した任意の階層(デコンポジション・レベル)で、静止画像の圧縮伸長動作を自由に停止させることができるようになる。
なお、原画像の入出力部分には、色空間変換部が接続されることが多い。例えば、原色系のR(赤)/G(緑)/B(青)の各コンポーネントからなるRGB表色系や、補色系のY(黄)/M(マゼンタ)/C(シアン)の各コンポーネントからなるYMC表色系から、YUVあるいはYCbCr表色系への変換又は逆の変換を行う部分がこれに相当する。
以下、JPEG2000アルゴリズムについて、少し詳しく説明する。
カラー画像は、一般に、図24に示すように、原画像の各コンポーネント(ここではRGB原色系)が、矩形をした領域(タイル)120によって分割される。そして、個々のタイル、例えば、R00,R01,…,R15/G00,G01,…,G15/B00,B01,…,B15が、圧縮伸長プロセスを実行する際の基本単位となる。従って、圧縮伸長動作は、コンポーネント毎、そしてタイル120毎に独立に行なわれる。
符号化時には、各コンポーネントの各タイルのデータが、図27の色空間変換部に入力され、色空間変換を施されたのち、2次元ウェーブレット変換部で2次元ウェーブレット変換(順変換)が適用されて周波数帯に空間分割される。
FIG. 23 is a diagram for explaining a hierarchical encoding algorithm that is the basis of JPEG 2000. The color space transform /
The advantage that DWT has better image quality in the high compression region than DCT is one of the major reasons adopted in JPEG2000, which is the successor algorithm of JPEG.
Another major difference is that, in the latter case, a function block called a tag processing unit is added in order to perform code formation at the final stage. In this part, compressed data is generated as a code stream during the compression operation, and a code stream necessary for decompression is interpreted during the decompression operation. And with the code stream, JPEG2000 can realize various convenient functions. For example, as shown in FIG. 25 to be described later, the compression / decompression operation of a still image can be freely stopped at an arbitrary hierarchy (decomposition level) corresponding to octave division in block-based DWT. Become.
A color space conversion unit is often connected to the input / output portion of the original image. For example, the RGB color system composed of R (red) / G (green) / B (blue) components of the primary color system and the Y (yellow) / M (magenta) / C (cyan) components of the complementary color system This corresponds to the part that performs conversion from the YMC color system consisting of the above to the YUV or YCbCr color system or the reverse conversion.
Hereinafter, the JPEG2000 algorithm will be described in detail.
In general, as shown in FIG. 24, each color image component (here, RGB primary color system) is divided by a rectangular area (tile) 120 in the color image. Each tile, for example, R00, R01, ..., R15 / G00, G01, ..., G15 / B00, B01, ..., B15, is a basic unit for executing the compression / decompression process. Therefore, the compression / decompression operation is performed independently for each component and for each tile 120.
At the time of encoding, the data of each tile of each component is input to the color space conversion unit in FIG. 27 and subjected to color space conversion, and then two-dimensional wavelet conversion (forward conversion) is applied by the two-dimensional wavelet conversion unit. Space is divided into frequency bands.
図25にはデコンポジション・レベル数が3の場合の、各デコンポジション・レベルにおけるサブ・バンドを示している。即ち、原画像のタイル分割によって得られたタイル原画像(0LL)、(デコンポジション・レベル0)に対して、2次元ウェーブレット変換を施し、デコンポジション・レベル1に示すサブ・バンド(1LL,1HL,1LH,1HH)を分離する。そして引き続き、この階層における低周波成分1LLに対して、2次元ウェーブレット変換を施し、デコンポジション・レベル2に示すサブ・バンド(2LL,2HL,2LH,2HH)を分離する。順次同様に、低周波成分2LLに対しても、2次元ウェーブレット変換を施し、デコンポジション・レベル3に示すサブ・バンド(3LL,3HL,3LH,3HH)を分離する。更に図25では、各デコンポジション・レベルにおいて符号化の対象となるサブ・バンドを、グレーで表してある。例えば、デコンポジション・レベル数を3とした時、グレーで示したサブ・バンド(3HL,3LH,3HH,2HL,2LH,2HH,1HL,1LH,1HH)が符号化対象となり、3LLサブ・バンドは符号化されない。
次いで、指定した符号化の順番で符号化の対象となるビットが定められ、図23の量子化部112で対象ビット周辺のビットからコンテキストが生成される。
量子化の処理が終わったウェーブレット係数は、個々のサブ・バンド毎に、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。図27に示したように、一つのプレシンクトは、空間的に一致した3つの矩形領域からなっている。更に、個々のプレシンクトは、重複しない矩形の「コード・ブロック」に分けられる。これは、エントロピー・コーディングを行う際の基本単位となる。
FIG. 25 shows sub-bands at each decomposition level when the number of decomposition levels is three. That is, two-dimensional wavelet transform is applied to the tile original image (0LL) and (decomposition level 0) obtained by the tile division of the original image, and the sub-bands (1LL, 1HL shown in the decomposition level 1) , 1LH, 1HH). Subsequently, the low-frequency component 1LL in this hierarchy is subjected to two-dimensional wavelet transform to separate sub-bands (2LL, 2HL, 2LH, 2HH) shown in the
Next, the bits to be encoded are determined in the designated encoding order, and the context is generated from the bits around the target bits in the
The wavelet coefficients that have undergone the quantization process are divided into non-overlapping rectangles called “precincts” for each sub-band. This was introduced to use memory efficiently in implementation. As shown in FIG. 27, one precinct is composed of three rectangular regions that are spatially coincident. Further, each precinct is divided into non-overlapping rectangular “code blocks”. This is the basic unit for entropy coding.
エントロピー符号化部113(図23参照)では、コンテキストと対象ビットから確率推定によって、各コンポーネントのタイルに対する符号化を行う。こうして、原画像の全てのコンポーネントについて、タイル単位で符号化処理が行われる。
エントロピー符号化部113で形成される符号データの最小単位は、パケットと呼ばれる。パケットは、プログレッシブ順にシーケンス化され、これが画像ヘッダセグメントのなかの1つで示される。パケットはあるプログレッシブ順データ、例えば、それぞれ領域、解像度、レイヤ、および色成分によって配列される。即ち、JPEG2000規格では、画質(レイヤ(L))、解像度(R)、コンポーネント(C)、位置(プレシンクト(P))という4つの画像の要素の優先順位を変更することによって、以下に示す5通りのプログレッションが定義されている。
(1)LRCP プログレッション:プレシンクト、コンポーネント、解像度レベル、レイヤの順序に復号されるため、レイヤのインデックスが進む毎に画像全面の画質が改善されることになり、画質のプログレッションが実現出来る。レイヤプログレッションとも呼ばれる。
(2)RLCP プログレッション:プレシンクト、コンポーネント、レイヤ、解像度レベルの順序に復号されるため、解像度のプログレッションが実現出来る。
(3)RPCL プログレッション:レイヤ、コンポーネント、プレシンクト、解像度レベルの順序に復号されるため、RLCP同様、解像度のプログレッションであるが、特定位置の優先度を高くすることが出来る。
(4)PCRL プログレッション:レイヤ、解像度レベル、コンポーネント、プレシンクトの順序に復号されるため、特定部分の復号が優先されるようになり空間位置のプログレッションが実現出来る。
(5)CPRL プログレッション:レイヤ、解像度レベル、プレシンクト、コンポーネントの順序に復号されるため、例えばカラー画像のプログレッシブ復号の際に最初にグレーの画像を再現するようなコンポーネントのプログレッションが実現出来る。
このようにJPEG2000規格では、画像は領域(タイルまたはプレシンクトといった画像構成要素)、解像度、階層(レイヤ)、色成分に分割され、夫々が独立してパケットとして符号化される。これらのパケットはデコードすることなしに、コード・ストリームから識別され抽出され得るところに特徴がある。
最後にタグ処理部(符号列形成部)114は、エントロピコーダ部からの全符号化データを1本のコード・ストリームに結合するとともに、それにタグを付加する処理を行う。
The entropy encoding unit 113 (see FIG. 23) encodes the tile of each component by probability estimation from the context and the target bit. In this way, encoding processing is performed in tile units for all components of the original image.
The minimum unit of code data formed by the
(1) LRCP progression: Since decoding is performed in the order of precinct, component, resolution level, and layer, the image quality of the entire image is improved each time the layer index is advanced, and the progression of image quality can be realized. Also called layer progression.
(2) RLCP progression: Since the decoding is performed in the order of precinct, component, layer, and resolution level, the progression of resolution can be realized.
(3) RPCL progression: Since decoding is performed in the order of layer, component, precinct, and resolution level, it is a progression of resolution as in RLCP, but the priority of a specific position can be increased.
(4) PCRL progression: Since decoding is performed in the order of layer, resolution level, component, and precinct, decoding of a specific part is prioritized, and progression of spatial position can be realized.
(5) CPRL Progression: Since decoding is performed in the order of layer, resolution level, precinct, and component, for example, when a color image is progressively decoded, a component progression that first reproduces a gray image can be realized.
As described above, in the JPEG2000 standard, an image is divided into regions (image constituent elements such as tiles or precincts), resolutions, hierarchies (layers), and color components, and each is independently encoded as a packet. These packets are characterized in that they can be identified and extracted from the code stream without decoding.
Finally, the tag processing unit (code string forming unit) 114 performs a process of combining all the encoded data from the entropy coder unit into one code stream and adding a tag thereto.
図26には、コード・ストリームの構造を簡単に示した。
コード・ストリームの先頭と各タイルを構成する部分タイルの先頭にはヘッダと呼ばれるタグ情報が付加され、その後に、各タイルの符号化データが続く。そして、コード・ストリームの終端には、再びタグが置かれる。
一方、復号化時には、符号化時とは逆に、各コンポーネントの各タイルのコード・ストリームから画像データを生成する。
図23を用いて簡単に説明する。この場合、タグ処理部114は、外部より入力したコード・ストリームに付加されたタグ情報を解釈し、コード・ストリームを各コンポーネントの各タイルのコード・ストリームに分解し、その各コンポーネントの各タイルのコード・ストリーム毎に復号化処理が行われる。コード・ストリーム内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、逆量子化部112で、その対象ビット位置の周辺ビット(既に復号化を終えている)の並びからコンテキストが生成される。エントロピー復号化部113で、このコンテキストとコード・ストリームから確率推定によって復号化を行い、対象ビットを生成し、それを対象ビットの位置に書き込む。このようにして復号化されたデータは周波数帯域毎に空間分割されているため、これを2次元ウェーブレット逆変換部で2次元ウェーブレット逆変換を行うことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間逆変換部によって元の表色系のデータに変換される。
このように、JPEG2000の符号データは、5通りのプログレッションをもつパケット単位で階層構成をもつため、階層単位で該階層を構成するパケットを削除するなどの符号データの編集処理を容易に実施することができるのである。
MotionJPEG2000という規格は、上記JPEG2000形式で符号化された静止画像を連続して再生するものである。motion−JPEG2000のようにフレーム間独立に符号化されているので、独立したフレーム画像を編集することを簡単に実現することができるのである。
motion−JPEG2000の符号化による符号データ形成後に、フレームレートを変更するなど、符号データを簡単に編集することができる。
FIG. 26 simply shows the structure of the code stream.
Tag information called a header is added to the head of the code stream and the head of the partial tiles constituting each tile, followed by the encoded data of each tile. A tag is again placed at the end of the code stream.
On the other hand, at the time of decoding, contrary to the time of encoding, image data is generated from the code stream of each tile of each component.
This will be briefly described with reference to FIG. In this case, the
As described above, since JPEG2000 code data has a hierarchical structure in units of packets having five types of progression, code data editing processing such as deletion of packets constituting the hierarchy in units of layers can be easily performed. Can do it.
The standard called Motion JPEG 2000 is for continuously reproducing still images encoded in the JPEG 2000 format. Since it is encoded independently between frames as in motion-JPEG2000, editing of independent frame images can be easily realized.
After the code data is formed by encoding motion-JPEG2000, the code data can be easily edited, for example, by changing the frame rate.
次に、インターレース画像を対象とした奥行き調整について説明する。
三次元連続画像データの符号化すると共に、動画像に関しても、フレーム画像単位で奥行き情報を算出する。
また、motion−JPEG2000符号化方式で符号化されているとフレーム毎に独立した符号化ができ、先に述べたようにフレーム単位で独立した符号データの符号データレベルでの編集を容易に実現できる。
motion−JPEG2000(ISO/IEC 15444−1)規格に基づき符号化については、下に簡潔に説明している。
左眼用右眼用画像データはインターレース画像であっても前述と同様に奥行きを算出することができる。フレームレートを調整することもできる。
典型的な左眼の画像データと右眼の画像データから構成される立体動画像データの符号化においては、夫々の画像データは複数のフレーム(ピクチャ)で構成されている。
左眼の画像データと右眼の画像データは、図28で示すように夫々の画像データはライン毎に左眼画像データと右眼画像データとを交互にマージする。このとき、動画像データは、インターレース走査方式得られた画像であっても、ノンインタレース走査方式で得られた画像であっても構わない。フレーム画像データがインターレース画像であっても、ライン単位では、右眼用左眼用の三次元画像データは互いに同じ時刻で同じところを見たときのデータであるので、フィールド分割されたフィールドデータであっても、合成されたフレームデータであっても、右眼用左眼用の三次元画像データ間での相関を使用して奥行き方向の動き量を推定することも可能なのである。
図29は入力3D画像データがインターレース信号である場合の奥行き度合い算出の原理図である。フィールド単位で相関を算出することで容易に奥行きを算出できる。
Next, depth adjustment for interlaced images will be described.
In addition to encoding three-dimensional continuous image data, depth information is also calculated for each frame image for a moving image.
In addition, when encoded with the motion-JPEG2000 encoding method, independent encoding can be performed for each frame, and as described above, editing at the code data level of independent code data can be easily realized. .
The encoding based on the motion-JPEG2000 (ISO / IEC 15444-1) standard is briefly described below.
Even if the left-eye image data for the right eye is an interlaced image, the depth can be calculated in the same manner as described above. You can also adjust the frame rate.
In encoding of stereoscopic moving image data composed of typical left-eye image data and right-eye image data, each image data is composed of a plurality of frames (pictures).
As shown in FIG. 28, the left-eye image data and the right-eye image data are obtained by alternately merging the left-eye image data and the right-eye image data for each line. At this time, the moving image data may be an image obtained by an interlace scanning method or an image obtained by a non-interlace scanning method. Even if the frame image data is an interlaced image, the 3D image data for the right eye and the left eye is data when the same place is viewed at the same time in line units. Even if it is synthesized frame data, it is possible to estimate the amount of motion in the depth direction using the correlation between the three-dimensional image data for the left eye for the right eye.
FIG. 29 is a principle diagram of depth degree calculation when the input 3D image data is an interlace signal. Depth can be easily calculated by calculating correlation in field units.
上記図17、18では、画像データがインターレース信号について簡潔に説明している。
図17は、ビデオカメラ等により撮影されるインターレース画像データで構成されるフレームデータについて説明するための図である。夫々の画像データは右眼用左眼用の三次元画像データである。
このように、撮影の開始時間T0と共にフレーム0の画像のインターレース形式によるスキャンを行いフレーム画像が形成され、さらに、一定時間経過後、例えば、1/60秒後にフレーム1の画像のインターレース形式によるスキャンを行いフレーム画像が形成される。インターレース形式のスキャンは後述するように走査ラインを複数回にわけて行う。そして終了時間tnまでの間に一定時間単位、例えば1/60秒単位で合計n枚のフレームの画像をインターレース形式で形成する。一般に、フレームデータにおいては、奇数フィールドと偶数フィールドの撮影時間の差がある。
In FIGS. 17 and 18, the image data briefly describes the interlace signal.
FIG. 17 is a diagram for explaining frame data composed of interlaced image data shot by a video camera or the like. Each image data is three-dimensional image data for the left eye for the right eye.
As described above, the
図18は、インターレース形式のフレームデータのフィールドデータについて説明するための図である。図18に示すように、インターレース形式の画像は、1画素のライン(実線で示す走査ラインン)をスキャンした後、直ぐ下の画素のライン(点線で示す走査ライン)を飛ばして2画素下のライン(実線で示す走査ライン)をスキャンする。次に、前回スキャンしなかった画素ライン(点線で示す走査ライン)のスキャンを上から行う。このように、あるラインをスキャンしてから直ぐ下の画素のラインをスキャンするのに一定時間、例えば、1/120秒経過している。そのため後述するように、スキャンして読み込まれたインターレース形式のある一つのフレームデータにはスキャン時間の異なる画像が形成されるのである。
図18に示すように、インターレース形式のフレームデータはスキャン時間の異なるフィールドデータに分解することができる。奇数フィールドデータが、奇数走査ラインでスキャンされたデータ(実線で示す走査ライン)であり、偶数フィールドデータが、偶数走査ラインでスキャンされたデータ(点線で示す走査ライン)である。
なお、最後に本願発明と各特許文献を比較すると、特許文献1はライン毎に合成して符号化するところは本発明と同じである。本発明では、併合する画像が互いに少し異なる(殊に右眼用及び左眼用の立体画像のデータでは視差のために互いに少し異なる)ので、その差を補正して併合する機能を備えることで、複数の画像間を合成した時の合成画像の圧縮率を上げている。また特許文献1では符号化方式としてMPEG(Moving Picture Image Coding Experts Group)方式に限定している。
また特許文献2は画像データの撮像時に光学的に奥行きを算出することに係る発明であり、本発明にあるような撮像された画像データを分析して奥行き情報を算出するというものではない。
JPEG2000符号化に関しては、Motion−JPEG2000(J2K:ISO/IEC 15444−1)規格の符号化では、フレーム単位の符号化がなされる。フレーム単位に独立した処理が可能である。また、JPEG2000では生成した符号データ空間上での領域が、画像空間上での領域と対応が取られているので、符号レベルでの領域毎の処理を効率的にすることができる。
FIG. 18 is a diagram for explaining field data of interlaced frame data. As shown in FIG. 18, an interlaced image is obtained by scanning a line of one pixel (scanning line indicated by a solid line) and then skipping a line of pixels immediately below (scanning line indicated by a dotted line) by two pixels below. (Scanning line indicated by a solid line) is scanned. Next, scanning of pixel lines (scan lines indicated by dotted lines) that were not scanned last time is performed from above. As described above, a certain time, for example, 1/120 second has elapsed since the line of the pixel immediately below after scanning a certain line. Therefore, as will be described later, images having different scan times are formed in one frame data of an interlace format scanned and read.
As shown in FIG. 18, interlaced frame data can be decomposed into field data having different scan times. The odd field data is data scanned by odd scan lines (scan lines indicated by solid lines), and the even field data is data scanned by even scan lines (scan lines indicated by dotted lines).
Finally, comparing the present invention with each patent document,
Further,
With regard to JPEG2000 encoding, in the encoding of the Motion-JPEG2000 (J2K: ISO / IEC 15444-1) standard, encoding is performed in units of frames. Independent processing is possible for each frame. Further, in JPEG2000, the generated region in the code data space corresponds to the region in the image space, so that processing for each region at the code level can be made efficient.
1…動画像処理装置、10…奥行き調整指示部、101…三次元画像入力部、102…画像奥行き算出部、103…動き量評価部、104…フレーム符号データ編集部、105…画像データ保存部、106…評価基準動き量保存部、107…フレーム毎奥行き保存部、108…フレーム動き量評価結果保存部、109…フレーム動き量変化評価結果保存部、11…画像データ保存部、110…色空間変換・逆変換部、111…次元ウェーブレット変換・逆変換部、112…量子化・逆量子化部、113…エントロピー符号化・復号化部、114…タグ処理部、12…符号データ保存部、120…タイル、13…符号データ保存部、14…奥行き度合い算出部、15…データ保存部、2…画像データ入力部、3…画像データ保存部、33…画像奥行き方向動き算出部、34…フレーム奥行き保存部、4…画像データ編集部、41…領域毎画像抽出部、42…画像領域毎奥行き算出部、43…フレーム奥行き算出部、44…画像データ保存部、45…画像領域データ保存部、46…領域毎奥行き保存部、5…符号化処理部、51…領域毎画像抽出部、52…ライン毎画像データ抽出部、53…相関算出部、54…奥行き算出部、55…ライン毎画像データ保存部、56…相関データ保存部、6…符号列編集部、62…属性毎領域抽出部、63…画像属性領域データ保存部、64…画像属性毎奥行き算出部、65…データ保存部、66…画像属性毎奥行き評価部、67…画像属性毎画像データ編集部、68…画像データ保存部、7…データ転送部、71…画像属性毎画像抽出部、72…ライン毎画像データ抽出部、73…相関算出部、74…奥行き算出部、75…ライン毎画像データ保存部、76…相関データ保存部、8…復号化処理部、81…画面内動き量算出部、9…出力処理部
DESCRIPTION OF
Claims (17)
前記相関算出手段及び前記奥行き推定手段における画像領域として、画像データの属性毎の領域を識別して抽出する属性領域抽出手段と、 An attribute region extracting unit that identifies and extracts a region for each attribute of image data as an image region in the correlation calculating unit and the depth estimating unit;
前記相関値が変わるように、画像データの一部を変更することで前記属性に係る領域の奥行きが少なくなるように調整をする調整手段と、を備えることを特徴とする動画像処理装置。A moving image processing apparatus comprising: adjusting means for adjusting a part of the image data so as to reduce a depth of the region related to the attribute so that the correlation value changes.
フレーム毎の三次元動画像の奥行き方向の動き量の変化によって、フレームレートを遅くする遅延手段と、を備えることを特徴とする動画像処理装置。 A moving image processing apparatus comprising: delay means for delaying a frame rate by changing a motion amount in a depth direction of a three-dimensional moving image for each frame.
フレーム毎の三次元動画像の奥行き方向の動き量の変化によって、フレームレートを遅くする遅延ステップと、 A delay step that slows down the frame rate by changing the amount of motion in the depth direction of the 3D moving image for each frame;
を有することを特徴とする動画像処理方法。A moving image processing method comprising:
前記相関算出手段及び前記奥行き推定手段における画像領域である画像データの属性毎の領域を識別して抽出する属性領域抽出ステップと、 An attribute region extracting step of identifying and extracting a region for each attribute of image data that is an image region in the correlation calculating unit and the depth estimating unit;
前記相関値が変わるように、画像データの一部を変更することで前記属性領域としての文字属性の奥行きが少なくなるように調整をする調整手段ステップと、を有することを特徴とする動画像処理方法。A moving image processing comprising: adjusting means for adjusting the depth of the character attribute as the attribute region by changing a part of the image data so that the correlation value changes. Method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005202358A JP4792250B2 (en) | 2005-07-11 | 2005-07-11 | Moving image processing apparatus and moving image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005202358A JP4792250B2 (en) | 2005-07-11 | 2005-07-11 | Moving image processing apparatus and moving image processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007020130A JP2007020130A (en) | 2007-01-25 |
JP4792250B2 true JP4792250B2 (en) | 2011-10-12 |
Family
ID=37756839
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005202358A Expired - Fee Related JP4792250B2 (en) | 2005-07-11 | 2005-07-11 | Moving image processing apparatus and moving image processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4792250B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101682208B1 (en) | 2010-10-22 | 2016-12-02 | 삼성전자주식회사 | Display apparatus and method |
JP2012169730A (en) * | 2011-02-10 | 2012-09-06 | Nec Personal Computers Ltd | Image processing method and image processing device |
KR102143472B1 (en) * | 2013-07-26 | 2020-08-12 | 삼성전자주식회사 | Multi view image processing apparatus and image processing method thereof |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2769387B2 (en) * | 1990-11-29 | 1998-06-25 | 松下電器産業株式会社 | Three-dimensional data acquisition method and three-dimensional data acquisition device |
JP3465988B2 (en) * | 1994-04-27 | 2003-11-10 | 松下電器産業株式会社 | Method and apparatus for estimating movement and depth |
JP3637226B2 (en) * | 1999-02-01 | 2005-04-13 | 株式会社東芝 | Motion detection method, motion detection device, and recording medium |
JP4251952B2 (en) * | 2003-10-01 | 2009-04-08 | シャープ株式会社 | Stereoscopic image display apparatus and stereoscopic image display method |
-
2005
- 2005-07-11 JP JP2005202358A patent/JP4792250B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2007020130A (en) | 2007-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4751116B2 (en) | Image processing apparatus and image processing method | |
US8953898B2 (en) | Image processing apparatus and method | |
TWI436286B (en) | Method and apparatus for decoding image | |
JP5660361B2 (en) | Image processing apparatus and method, and program | |
JP5437807B2 (en) | Moving picture encoding apparatus and moving picture decoding apparatus | |
JP2014502480A (en) | Method, computer program and system for tone mapping a high dynamic range (HDR) video data stream | |
JP4898513B2 (en) | Client / server system | |
JP2007142614A (en) | Image processing apparatus and method, program, and information recording medium | |
JP4637672B2 (en) | Encoding processing apparatus and method | |
KR20000059799A (en) | Device and method for motion compensation coding using wavelet coding | |
JP2003018602A (en) | Method and device for encoding and decoding image data | |
JP4792250B2 (en) | Moving image processing apparatus and moving image processing method | |
WO2006046550A1 (en) | Image encoding method and device, image decoding method, and device | |
US20070269120A1 (en) | Video image compression using model plus difference image | |
JP2007074042A (en) | Moving picture processing apparatus and method | |
JP4165752B2 (en) | Secret data insertion method and secret data detection method for image data | |
JP3942088B2 (en) | Image processing apparatus and image processing method | |
JP4489474B2 (en) | Image processing apparatus, program, and recording medium | |
JP4522951B2 (en) | Moving picture encoding method and apparatus, decoding method and apparatus, moving picture processing program, and computer-readable recording medium | |
JP2003032639A (en) | Image processing method and equipment, and contents recording method capable of being used for the method and the equipment | |
JP4247089B2 (en) | Non-interlaced image processing apparatus and processing method | |
JP2005136596A (en) | System and method for processing motion picture, program and information recording medium | |
JP4667423B2 (en) | Image decoding device | |
JP4667424B2 (en) | Image decoding device | |
JP2003032687A (en) | Method and system for image processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080617 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100714 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100831 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101028 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110719 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110725 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140729 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |