JP4792250B2 - Moving image processing apparatus and moving image processing method - Google Patents
Moving image processing apparatus and moving image processing method Download PDFInfo
- Publication number
- JP4792250B2 JP4792250B2 JP2005202358A JP2005202358A JP4792250B2 JP 4792250 B2 JP4792250 B2 JP 4792250B2 JP 2005202358 A JP2005202358 A JP 2005202358A JP 2005202358 A JP2005202358 A JP 2005202358A JP 4792250 B2 JP4792250 B2 JP 4792250B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- depth
- data
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、三次元動画像表示用データの奥行き度合いを推定、或いは調整する動画像処理装置に関わり、特に、三次元動画像表示における視覚的疲労に起因する奥行き方向の動きを推定する技術に関するものである。 The present invention relates to a moving image processing apparatus that estimates or adjusts the degree of depth of three-dimensional moving image display data, and more particularly to a technique for estimating movement in the depth direction due to visual fatigue in three-dimensional moving image display. Is.
近年、奥行きを有する三次元動画像の再生を行う動画像処理装置の開発が行われている。
例えば、特許文献１には右眼用と左眼用の立体動画像を、合成器を用いて１水平走査線毎に合成してフレーム画像を形成し、その合成したフレーム画像をＭＰＥＧ（Moving Picture Image Coding Experts Group）方式のエンコーダを用いて符号化する技術が開示されている。また特許文献２には、異なる点から被写体を見た場合に得られる視差量を光学的に高精度に検出し、被写体の正確な奥行き情報を得ることのできる視差画像撮像装置が開示されている。
For example, in
しかしながら、上記したような三次元動画像を再生する場合、特に、奥行き方向の動きを伴う場合には視覚的に大きな目の疲労を伴うという問題点があった。
そこで、本発明は上記したような問題点を鑑みてなされたものであり、三次元動画像を再現する場合に視覚的な眼の疲労を防止できる動画像処理装置とその方法を提供することを目的とする。
However, when a three-dimensional moving image as described above is reproduced, there is a problem that visual eye fatigue is accompanied particularly when a motion in the depth direction is involved.
Accordingly, the present invention has been made in view of the above-described problems, and provides a moving image processing apparatus and method that can prevent visual eye fatigue when reproducing a three-dimensional moving image. Objective.
上記目的を達成するため、請求項１に記載の発明は、三次元動画像を再生するための動画像処理装置であって、右眼用と左眼用の画像データを入力する画像データ入力手段と、入力された二つの画像データの領域毎の画像データ間の相関を算出する画像領域毎の相関算出手段と、算出された相関の値により三次元画像の画像領域毎の奥行き度合いを推定する奥行き推定手段と、画像データの属性毎の領域を識別して抽出する属性領域抽出手段と、前記属性領域は、前記相関算出手段及び前記奥行き推定手段における画像領域であり、前記相関値が変わるように、画像データの一部を変更することで前記属性領域としての文字属性の奥行きが少なくなるように調整をする調整手段と、を備える動画像処理装置を特徴とする。
請求項２の発明は、請求項１において、前記属性は、文字である動画像処理装置を特徴とする。
請求項３に記載の発明は、請求項１又は２に記載の動画像処理装置において、領域別に右眼用の画像データと左眼用の画像データが同じになるように修正をする修正手段を備える動画像処理装置を特徴とする。
請求項４に記載の発明は、請求項１乃至３の何れか一項に記載の動画像処理装置において、前記相関算出手段における相関は、画像データの水平方向のライン毎に算出されることを特徴とする。
請求項５に記載の発明は、請求項１乃至３の何れか一項に記載の動画像処理装置において、前記相関算出手段における相関は、画像データの垂直方向のライン毎に算出されることを特徴とする。
請求項６に記載の発明は、請求項１乃至５の何れか一項記載の動画像処理装置において、右眼用と左眼用の両方の画像データをライン単位で交互に重ねあわせて合成する画像データ合成手段と、前記画像データを符号化する符号化手段と、を備えることを特徴とする。
請求項７に記載の発明は、請求項１乃至６の何れか一項に記載の動画像処理装置において、前記画像データが連続画像のデータであることを特徴とする。
請求項８に記載の発明は、請求項７に記載の動画像処理装置において、前記画像データがフィールド単位の連続画像のデータであることを特徴とする。
請求項９に記載の発明は、請求項１乃至８の何れか一項に記載の動画像処理装置において、前記相関の算出により再現画像の奥行き動き量の分布を算出する算出手段を備えることを特徴とする。
請求項１０に記載の発明は、請求項１乃至９の何れか一項に記載の動画像処理装置において、前記属性領域の識別を符号化された画像データについて行うことを特徴とする。
In order to achieve the above object, the invention described in
According to a second aspect of the present invention, in the first aspect, the attribute is a moving image processing apparatus in which the attribute is a character.
According to a third aspect of the present invention, in the moving image processing apparatus according to the first or second aspect, correction means for correcting the right eye image data and the left eye image data to be the same for each region. A moving image processing apparatus is provided .
According to a fourth aspect of the present invention, in the moving image processing apparatus according to any one of the first to third aspects, the correlation in the correlation calculating unit is calculated for each horizontal line of the image data. Features.
According to a fifth aspect of the present invention, in the moving image processing apparatus according to any one of the first to third aspects, the correlation in the correlation calculating unit is calculated for each line in the vertical direction of the image data. Features.
According to a sixth aspect of the present invention, in the moving image processing device according to any one of the first to fifth aspects, the image data for both the right eye and the left eye are alternately overlapped and synthesized in line units. Image data synthesizing means and encoding means for encoding the image data are provided .
A seventh aspect of the present invention is the moving image processing apparatus according to any one of the first to sixth aspects, wherein the image data is continuous image data .
According to an eighth aspect of the present invention, in the moving image processing apparatus according to the seventh aspect, the image data is continuous image data in field units .
According to a ninth aspect of the present invention, the moving image processing apparatus according to any one of the first to eighth aspects further comprises a calculation unit that calculates a distribution of the depth motion amount of the reproduced image by calculating the correlation. Features.
According to a tenth aspect of the present invention, in the moving image processing apparatus according to any one of the first to ninth aspects, the attribute region is identified for encoded image data .
請求項１１に記載の発明は、請求項１０に記載の動画像処理装置において、前記符号化された画像データは、ＪＰＥＧ２０００規格に基づき符号化されたデータであることを特徴とする。
請求項１２に記載の発明は、三次元動画像を再生するための動画像処理装置であって、右眼用と左眼用のフレーム画像データを連続的に入力するフレーム画像データ入力手段と、入力された二つのフレーム画像データ間の相関を算出する相関算出手段と、該相関算出手段により算出されたフレーム間における相関値の変化により三次元画像の奥行き方向の動き量として推定する動き量推定手段と、フレーム毎の三次元動画像の奥行き方向の動き量の変化によって、フレームレートを遅くする遅延手段と、を備えることを特徴とする。
請求項１３に記載の発明は、請求項１２に記載の動画像処理装置において、前記遅延手段は、前記フレームレートを遅くする処理を符号化されたフレーム画像データについて行うことを特徴とする。
請求項１４に記載の発明は、請求項１３に記載の動画像処理装置において、前記フレーム画像データはｍｏｔｉｏｎ−ＪＰＥＧ２０００規格に基づいて符号化されることを特徴とする。
請求項１５に記載の発明は、請求項１２乃至１４の何れか一項に記載の動画像処理装置において、フレーム画像データを符号化したフレーム符号データを保存するデータ保存手段と、フレーム画像データの符号化後に符号化された符号データに対してフレーム符号データを再構成する再構成手段と、を備えることを特徴とする。
請求項１６に記載の発明は、三次元動画像再現のための右眼用と左眼用のフレーム画像データを連続的に入力するフレーム画像データ入力ステップと、入力された二つのフレーム画像データ間の相関を算出する相関算出ステップと、算出された相関の値のフレーム間における値の変化により三次元画像の奥行き方向の動き量として推定する動き量推定ステップと、
フレーム毎の三次元動画像の奥行き方向の動き量の変化によって、フレームレートを遅くする遅延ステップと、を有することを特徴とする。
請求項１７に記載の発明は、三次元動画像再現のための右眼用と左眼用の画像データを入力する画像データ入力ステップと、入力された二つの画像データの領域毎の画像データ間の相関を算出する画像領域毎の相関算出ステップと、算出された相関の値により三次元画像の画像領域毎の奥行き度合いを推定する奥行き推定ステップと、前記相関算出手段及び前記奥行き推定手段における画像領域である画像データの属性毎の領域を識別して抽出する属性領域抽出ステップと、前記相関値が変わるように、画像データの一部を変更することで前記属性領域としての文字属性の奥行きが少なくなるように調整をする調整手段ステップと、を有することを特徴とする。
According to an eleventh aspect of the present invention, in the moving image processing apparatus according to the tenth aspect, the encoded image data is data encoded based on the JPEG2000 standard .
The invention according to
In a thirteenth aspect of the present invention, in the moving image processing apparatus according to the twelfth aspect of the invention , the delay unit performs the process of reducing the frame rate on the encoded frame image data .
The invention described in
According to a fifteenth aspect of the present invention, in the moving image processing apparatus according to any one of the twelfth to fourteenth aspects, a data storage unit that stores frame code data obtained by encoding frame image data; Reconstructing means for reconstructing frame code data from code data encoded after encoding .
According to the sixteenth aspect of the present invention, there is provided a frame image data input step for continuously inputting right-eye and left-eye frame image data for reproducing a three-dimensional moving image, and between the two input frame image data. A correlation calculating step for calculating the correlation of the three-dimensional image, and a motion amount estimating step for estimating a motion amount in the depth direction of the three-dimensional image by a change in the value of the calculated correlation value between frames;
A delay step of slowing down the frame rate by changing the amount of motion in the depth direction of the three-dimensional moving image for each frame .
According to the seventeenth aspect of the present invention, there is provided an image data input step for inputting right-eye and left-eye image data for reproducing a three-dimensional moving image, and image data for each region of the two input image data. A correlation calculation step for each image region for calculating the correlation, a depth estimation step for estimating a depth degree for each image region of the three-dimensional image based on the calculated correlation value, and an image in the correlation calculation unit and the depth estimation unit An attribute region extraction step for identifying and extracting a region for each attribute of image data, which is a region, and a depth of the character attribute as the attribute region by changing a part of the image data so that the correlation value is changed And an adjusting means step for adjusting so as to decrease .
本発明によれば、入力された二つの画像データの領域毎の画像データ間の相関を算出する画像領域毎の相関を相関算出手段により算出し、算出した相関の値により三次元画像の画像領域毎の奥行き度合いを推定することで、三次元立体動画像表示における視覚的疲労に大きく起因する奥行き方向の動きを簡易に推定することができ、三次元立体画像を再現する場合に視覚的な眼の疲労を防止することができる。また、簡易に三次元画像の画像属性領域毎の奥行き度合いを算出することができる。また、簡易に三次元表示画像の奥行きを自動的に調整する手段を提供することができる。
また、文字再現の奥行きを調整する手段を提供することができる。また眼の疲労に基づいた処理を行うことができる。
また、本発明によれば、簡易に三次元表示画像の奥行きをなくす調整をする手段を提供することができる。また三次元動画像表示を二次元画像表示に簡易に変換する手段を提供することができる。
また、本発明によれば、通常水平ライン毎に撮影またはスキャンされた画像データが生成されるため、水平ライン毎に相関を算出することで効率的に計算することが可能になる。
また、本発明によれば、垂直方向で垂直ライン毎に撮影またはスキャンされた画像データに対して効率的に垂直ライン毎の相関を算出することで効率的に計算することが可能になる。
According to the present invention, the correlation for each image area for calculating the correlation between the image data for each of the two input image data areas is calculated by the correlation calculating means, and the image area of the three-dimensional image is calculated based on the calculated correlation value. By estimating the degree of depth for each, it is possible to easily estimate the movement in the depth direction caused largely by visual fatigue in the display of 3D stereoscopic video images. Can prevent fatigue. Further, it is possible to easily calculate the depth degree for each image attribute area of the three-dimensional image. In addition, a means for automatically adjusting the depth of the three-dimensional display image can be provided.
In addition, a means for adjusting the depth of character reproduction can be provided. Further, processing based on eye fatigue can be performed.
In addition, according to the present invention, it is possible to provide means for easily adjusting the depth of the three-dimensional display image. Further, it is possible to provide means for easily converting a three-dimensional moving image display into a two-dimensional image display.
In addition, according to the present invention, image data that is usually captured or scanned for each horizontal line is generated, so that it is possible to efficiently calculate by calculating the correlation for each horizontal line.
In addition, according to the present invention, it is possible to efficiently calculate by calculating the correlation for each vertical line with respect to the image data captured or scanned for each vertical line in the vertical direction.
また、本発明によれば、視差を有する右眼用と左眼用の画像データの三次元再生時における奥行き情報を抽出する過程で画像データを合成することができるので、効率的に処理ができると共に、画像データをまとめて符号化することで符号化効率を高めることができる。
また、本発明によれば、連続画像データを対象とすることができる。簡易に奥行きを算出できるので連続三次元動画像の効率的な再現ができる。
また、本発明によれば、インターレースタイプの連続画像データを対象とすることができる。ライン毎に制御することが容易であるため効率的に奥行き情報を抽出することができる。
また、本発明によれば、簡易に画像全体の奥行き動き量を算出する手段を提供することができる。
In addition, according to the present invention , image data can be synthesized in the process of extracting depth information during three-dimensional reproduction of right-eye and left-eye image data having parallax, so that processing can be performed efficiently. At the same time, encoding efficiency can be improved by collectively encoding image data.
Further, according to the present invention, continuous image data can be targeted. Depth can be easily calculated, enabling efficient reproduction of continuous 3D moving images.
Further, according to the present invention, it is possible to target interlace type continuous image data. Since it is easy to control line by line, depth information can be extracted efficiently.
Further, according to the present invention, it is possible to provide means for easily calculating the depth motion amount of the entire image.
また、本発明によれば、画像の領域識別を符号レベルで行うことで、例えば、符号化の過程で生成される周波数データを使用して効率的に領域毎の属性を推定することができるようになる。
また、本発明によれば、符号データを汎用的に用いられているＪＰＥＧ２０００規格に基づいたデータとすることで汎用性を高めることができる。
また、本発明によれば、入力された二つのフレーム画像データ間の相関を相関算出手段により算出し、算出したフレーム間における相関値の変化により三次元画像の奥行き方向の動き量を推定するようにしたことで、三次元立体動画像表示における視覚的疲労に大きく起因する奥行き方向の動きを簡易に推定することができ、三次元立体画像を再現する場合に視覚的な眼の疲労を防止することができる。また、特に眼の疲労が大きい三次元表示の動き量が大きいところの動きを緩やかにすることで眼の疲労を大幅に低減することができる。
また、本発明によれば、ＩＳＯの国際標準であるため汎用的な符号化データとすることで汎用性を高めることができる。
また、本発明によれば、符号列レベルの編集を容易に実施することができるようになる。また符号レベルと対応画像空間上での領域対応がなされているため、符号レベルの領域処理も容易に行うことが可能になる。符号データの編集によりフレーム再生を制御することができるようになる。
In addition, according to the present invention, by performing region identification of an image at a code level, for example, it is possible to efficiently estimate an attribute for each region using frequency data generated in the process of encoding. become.
Further, according to the present invention , the versatility can be enhanced by making the code data based on the JPEG2000 standard that is used for general purposes.
Further, according to the present invention, the correlation between the two input frame image data is calculated by the correlation calculating means, and the motion amount in the depth direction of the three-dimensional image is estimated from the change in the correlation value between the calculated frames. By doing so, it is possible to easily estimate the movement in the depth direction that is largely caused by visual fatigue in 3D stereoscopic image display, and prevent visual eye fatigue when reproducing 3D stereoscopic images be able to. In addition, it is possible to significantly reduce eye fatigue by slowing the movement of the three-dimensional display where the eye fatigue is particularly large.
Also, according to the present invention, since it is an ISO international standard, versatility can be enhanced by using general-purpose encoded data.
Further, according to the present invention, editing at the code string level can be easily performed. In addition, since the code level corresponds to the area in the corresponding image space, the code level area processing can be easily performed. Frame reproduction can be controlled by editing the code data.
以下、図面を参照しながら本発明の実施形態を詳細に説明する。
先ず、三次元（３Ｄ）画像の再生時に問題となる動きを伴う立体画像を観察する場合に特に激しいと言われている視覚的疲労を回避する方法について説明する。
図１は、本発明の第１の実施形態に係る動画像処理装置の動画再生時に奥行き調整を行うシステムの構成を示したブロック図である。
この図１に示す動画像処理装置１は、画像データ入力部２、画像データ保存部３、画像データ編集部４、符号化処理部５、符号列編集部６、データ転送部７、復号化処理部８、出力処理部９、奥行き調整指示部１０、画像データ保存部１１、符号データ保存部１２、符号データ保存部１３、奥行き度合い算出部１４、奥行きデータ保存部１５より構成される。
三次元画像データである右眼用と左眼用の動画像データは、フレーム単位で画像データ入力部２により入力され、画像データ保存部３で一旦保持された後、符号化処理部５により符号化されて符号データ保存部１２に保持される。符号データ保存部１２に保持された符号データはデータ転送部７により符号データ保存部１３に転送され、符号データ保存部１３を介して復号化処理部８で復号される。この復号データは画像データ保存部１１に一時的に保存された後、或いは直接、出力処理部９に出力され、出力処理部９において立体画像を出力（表示）するようにしている。さらに奥行き調整指示部１０により奥行きの度合いの指示を行い、この指示に従って、必要であれば、奥行き度合い算出部１４において入力された画像データの奥行き度合いを算出し、画像データ編集部４において入力された画像データを編集してから符号化処理部５で符号化するようにしている。
このように構成される第１の実施形態の動画像処理装置１においては、画像データ編集部４において画像データを編集し、奥行き調整を行うようにした点に特徴がある。なお、フレーム単位で右眼用と左眼用の画像データを互いに重ね合わせて（マージして）、画像データを作成してもよい。その場合は復号化処理部８で復号後にマージされた画像データを分離して、元の右眼用と左眼用の動画像データに分離すれば良い。
また、第１の実施形態の動画像処理装置１においては、奥行き調整指示部１０の指示に従って画像データを編集するのではなく、符号列編集部６で符号化されたデータを編集して奥行き調整を行う機能も備えている。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
First, a description will be given of a method for avoiding visual fatigue, which is said to be particularly severe when observing a stereoscopic image with a movement that causes a problem when reproducing a three-dimensional (3D) image.
FIG. 1 is a block diagram showing a configuration of a system that performs depth adjustment during moving image reproduction of the moving image processing apparatus according to the first embodiment of the present invention.
A moving
The moving image data for the right eye and the left eye, which are three-dimensional image data, are input by the image
The moving
In the moving
図２は、第１の実施形態の動画像処理装置において動画再生時の奥行き調整に係る概念説明図である。
第１の実施形態の動画像処理装置１は、上記したように右眼用画像データと左眼用画像データの再生時に奥行きを調整する機能を有している点に特徴があり、疲労の度合いに応じ奥行き度合いを指示するようにしている。奥行き調整方法は、画像データ編集部４に備えられている画像データ修正部４ａとデータ合成部４ｂ、及び奥行き度合い算出部１４に設けられている後述する相関算出部５３を用いて画像データを調整する場合と、符号列編集部６の符合データを調整する場合とがある。
この図２に示す例では、動画像データがフレーム単位で順次入力される場合には相関算出部１４ａで相関を算出して両者をマージ（合成）して符号化している。勿論、符号データは別々に独立に符号化するのであっても構わない。奥行き度合いを推定する相関の算出は、いつも施す必要はなく、例えば奥行き調整をする場合に相関を算出し奥行き度合いがある一定水準になるように画像データを編集すれば良い。
なお、三次元画像データである右眼用と左眼用の画像データの編集によって再生時の奥行き度合いを調整する方法は、後述する再生時に一部領域の奥行きがなくなる（二次元表示になる）ように補正する方法がある。また符号データの編集方法は、後述する符号化後の符号データに対して編集を施し画像データの編集と同じく奥行きを調整する方法がある。
FIG. 2 is a conceptual explanatory diagram relating to depth adjustment during moving image reproduction in the moving image processing apparatus according to the first embodiment.
The moving
In the example shown in FIG. 2, when moving image data is sequentially input in units of frames, the correlation is calculated by the correlation calculation unit 14a, and the two are merged (synthesized) and encoded. Of course, the code data may be separately encoded independently. It is not always necessary to calculate the correlation for estimating the depth degree. For example, when adjusting the depth, the correlation may be calculated and the image data may be edited so that the depth degree becomes a certain level.
Note that the method of adjusting the depth level during playback by editing the right-eye and left-eye image data, which is three-dimensional image data, eliminates the depth of a partial region during playback (to be described later). There is a method of correcting as follows. Further, as a method for editing code data, there is a method of editing the code data after encoding, which will be described later, and adjusting the depth in the same way as editing of image data.
以下、動画再生時に画像データの奥行き度合いの調整方法について説明する。
先ず、画像データの編集により奥行き度合いを調整する場合について説明する。
図３は画像データの編集による奥行き調整処理を示したフローチャートである。
この場合、先ず、ステップＳ１において三次元画像データである右眼用と左眼用夫々の画像データの入力が有ったどうかの判断を行い、三次元画像データの入力が有れば（Ｓ１でＹ）、夫々の三次元画像データの符号化と復号化の処理を行い（Ｓ２、Ｓ３）、右眼用と左眼用夫々の画像データの再生を行う（Ｓ４）。なお、ステップＳ１において、三次元画像データの入力が無いと判断した場合（Ｓ１でＮ）、処理を終了する。
次に、ステップＳ５において、奥行き調整指示部１０からの奥行き調整指示の有無を判断し、指示があれば（Ｓ５でＹ）、ステップＳ６に進む。なお、奥行き調整指示部１０から指示が無ければ（Ｓ５でＮ）、ステップＳ２に戻って、ステップＳ２からの処理を繰り返し実行する。
ステップＳ６において、奥行き調整指示部１０からの奥行き調整指示が奥行き度合いを減らす指示であると判断した場合（Ｓ６でＹ）、右眼用と左眼用夫々の画像データを入力し（Ｓ７）、奥行き度合いの指示に応じて画像データの修正を行い（Ｓ８）、三次元画像データである右眼用と左眼用の画像データをマージする（Ｓ９）。そして、マージされた画像データの符号化、復号化を行った後（Ｓ１０、Ｓ１１）、マージされた画像データを分解して元の右眼用と左眼用の画像データに戻して（Ｓ１２）、ステップＳ７に戻るようにする。なお、ステップＳ７において右眼用と左眼用の画像データの入力が無くなったときはそのまま処理を終了する。
Hereinafter, a method for adjusting the depth degree of image data during moving image reproduction will be described.
First, a case where the depth degree is adjusted by editing image data will be described.
FIG. 3 is a flowchart showing depth adjustment processing by editing image data.
In this case, first, in step S1, it is determined whether or not the right-eye image data and the left-eye image data, which are three-dimensional image data, are input. If there is input of the three-dimensional image data (in S1). Y) The respective 3D image data are encoded and decoded (S2, S3), and the right eye image data and the left eye image data are reproduced (S4). If it is determined in step S1 that there is no input of 3D image data (N in S1), the process is terminated.
Next, in step S5, it is determined whether or not there is a depth adjustment instruction from the depth
If it is determined in step S6 that the depth adjustment instruction from the depth
次に、動画再生時に符号データの編集により奥行き度合いを調整する場合を説明する。
図４は符号データの編集による奥行き度合いの調整処理を示したフローチャートである。
この場合は、右眼用と左眼用夫々の画像データを入力し（Ｓ２１）、符号化と復号化の処理を行い（Ｓ２２、Ｓ２３）、右眼用と左眼用夫々の画像データの再生を行う（Ｓ２４）。
次に、ステップＳ２５において、奥行き調整指示部１０からの奥行き調整指示の有無を判断し、指示があれば（Ｓ２５でＹ）、ステップＳ２６に進み、指示が無ければステップＳ２１へ戻ってステップＳ２１から処理を行う。
ステップＳ２６において、奥行き調整指示部１０からの指示が奥行き度合いを減らす指示である場合は、右眼用と左眼用夫々の画像データを入力し（Ｓ２７）、画像データが有れば（Ｓ２８でＮ）、符号化した後（Ｓ２９）、奥行き度合いの指示に応じて符号化した符号データの修正を行って（Ｓ３０）、ステップＳ２７へ戻るようにする。なお、ステップＳ２８において三次元画像データがなくなったと判断した場合（Ｓ２８でＹ）、処理を終了する。
このようにすれば、立体動画像を再生しているときに疲労に応じて奥行き度合いを調整して、例えば、奥行きを全くなくし立体表示をやめる調整を行うことが可能になる。また、画像サーバ側へ指示することで転送符号量を減らすことができる。
次に、本発明の第２の実施形態として相関の変化に基づいて三次元画像の奥行き方向の動きを推定する推定方法について説明する。
一般に右眼用と左眼用の画像データの奥行き度合いは、二つの画像データ間の相関値の逆数と比例関係にある。
そこで、第２の実施形態の動画像処理装置ではこのような関係を踏まえてフレーム単位で連続している動画像を再現する際に各フレーム画像の相関値の変化に基づいて奥行き方向の動きを推定するところに特徴がある。
図５は、右眼用と左眼用の画像データの奥行きを算出する算出方法の概念を説明する図である。
図５に示すように、三次元画像データである右眼用と左眼用の画像データにおいて領域毎の奥行き度合いを算出する場合は、奥行き度合い算出部に設けられている相関算出部により算出した相関値に基づいて奥行き度合い算出部において画像領域毎の奥行き度合いを算出し、フレーム単位奥行き度合い算出部においてフレーム単位の奥行き量、即ち画像全体の奥行き度合いを推定するようにする。ここで、画像データの奥行き度合いは、相関値の逆数と比例関係があることに基づいて推定するようにしている。
Next, the case where the depth degree is adjusted by editing the code data during moving image reproduction will be described.
FIG. 4 is a flowchart showing a depth degree adjustment process by editing code data.
In this case, the image data for the right eye and the image for the left eye are input (S21), the encoding and decoding processes are performed (S22, S23), and the image data for the right eye and the left eye are reproduced. (S24).
Next, in step S25, it is determined whether or not there is a depth adjustment instruction from the depth
In step S26, when the instruction from the depth
In this way, it is possible to adjust the depth degree according to fatigue when reproducing a 3D moving image, for example, to make an adjustment to eliminate the 3D display by eliminating the depth at all. In addition, the transfer code amount can be reduced by instructing the image server.
Next, an estimation method for estimating a motion in the depth direction of a three-dimensional image based on a change in correlation will be described as a second embodiment of the present invention.
In general, the depth degree of right-eye and left-eye image data is proportional to the inverse of the correlation value between the two image data.
Therefore, in the moving image processing apparatus according to the second embodiment, when reproducing a moving image continuous in units of frames based on such a relationship, the movement in the depth direction is performed based on the change in the correlation value of each frame image. There are features in the estimation.
FIG. 5 is a diagram illustrating the concept of a calculation method for calculating the depth of image data for the right eye and the left eye.
As shown in FIG. 5, when calculating the depth degree for each region in the right-eye image data and the left-eye image data that are three-dimensional image data, the calculation is performed by a correlation calculation unit provided in the depth degree calculation unit. Based on the correlation value, the depth degree calculation unit calculates the depth degree for each image region, and the frame unit depth degree calculation unit estimates the depth amount of each frame, that is, the depth degree of the entire image. Here, the depth degree of the image data is estimated based on the fact that there is a proportional relationship with the reciprocal of the correlation value.
図６は、第２の実施形態の動画像処理装置においてライン毎に奥行き度合いを算出する算出処理を示したフローチャートである。
この場合、三次元画像データである右眼用と左眼用の画像データをライン毎に入力し（Ｓ３１）、夫々の画像データのライン毎の相関値を算出する（Ｓ３２）。このような算出処理は、ステップＳ３３において全ての三次元画像データに行われたと判断されるまで繰り返し行う。そして、前記相関値の逆数を画像のライン毎の奥行き度合いとして（Ｓ３４）、相関値の逆数を画像のライン毎に集計し、ライン毎の平均値を算出して画像全体の奥行き度合いとする（Ｓ３５）。
図７は、第２の実施形態の動画像処理装置において画像属性毎に奥行き度合いを算出する算出処理を示したフローチャートである。
この場合は、三次元画像データである右眼用と左眼用の画像データを入力し（Ｓ４１）、右眼用と左眼用どちらかの画像データを分析し属性毎の領域を算出する（Ｓ４２）。
次に、右眼用と左眼用の画像データのライン毎に入力し（Ｓ４３）、夫々の画像データをライン毎に相関値を算出する（Ｓ４４）。そして、相関値の逆数を画像のライン毎の奥行き度合いとし（Ｓ４５）、相関値の逆数を画像のライン毎に集計しライン毎の平均値を算出して該領域の奥行き度合いとする（Ｓ４６）。そして続くステップＳ４７において、領域内の全ての画像を行ったかどうかの判断を行い、領域内の全ての画像に対して行っていなければ（Ｓ４７でＮ）、ステップＳ４３に戻って処理を行う。
一方、ステップＳ４７において領域内の全ての画像に行ったと判断した場合は（Ｓ４７でＹ）、続くステップＳ４８において全領域に対して行った否かの判断を行い、全領域に対して領域毎に行っていなければ（Ｓ４８でＮ）、領域を変更した後（Ｓ４９）、ステップＳ４３に戻って再度処理を行う。一方、全領域に対して領域毎に行っていれば（Ｓ４８でＹ）、処理を終了する。
FIG. 6 is a flowchart illustrating calculation processing for calculating the depth degree for each line in the moving image processing apparatus according to the second embodiment.
In this case, right-eye and left-eye image data, which is three-dimensional image data, is input for each line (S31), and a correlation value for each line of each image data is calculated (S32). Such a calculation process is repeated until it is determined in step S33 that all three-dimensional image data have been processed. Then, the reciprocal of the correlation value is set as the depth degree for each line of the image (S34), the reciprocal of the correlation value is totaled for each line of the image, and the average value for each line is calculated to obtain the depth degree of the entire image ( S35).
FIG. 7 is a flowchart illustrating calculation processing for calculating the depth degree for each image attribute in the moving image processing apparatus according to the second embodiment.
In this case, right-eye and left-eye image data, which is three-dimensional image data, is input (S41), and either right-eye or left-eye image data is analyzed to calculate a region for each attribute ( S42).
Next, input is performed for each line of image data for the right eye and for the left eye (S43), and a correlation value is calculated for each line of image data (S44). Then, the reciprocal of the correlation value is set as the depth degree for each line of the image (S45), the reciprocal of the correlation value is totaled for each line of the image, and the average value for each line is calculated to obtain the depth degree of the area (S46). . In subsequent step S47, it is determined whether or not all the images in the region have been performed. If not performed for all the images in the region (N in S47), the process returns to step S43 for processing.
On the other hand, if it is determined in step S47 that the image has been applied to all the images in the region (Y in S47), it is determined in step S48 whether or not the operation has been performed on all regions, and the entire region is determined for each region. If not (N in S48), after changing the area (S49), the process returns to step S43 to perform the process again. On the other hand, if the process is performed for each region with respect to all regions (Y in S48), the process is terminated.
上記した右眼用と左眼用の画像データの相関値の計算は、以下の式に従って算出する。
Ｓ（ｙ）は、ある画像ｙ番目のライン（ｙは０〜ｌy-1の範囲内の数値とする）の相関値である。
なお、相関値は必ずしも上記に示すような算出式（式１）により求めなくてもよく、画像データ間のデータ値の近さが算出できればよく、例えば、あるｙ番目のラインの相関Ｓ（ｙ）は、以下の式２により求めてよい。その場合はより簡潔になる。
相関値Ｓ（ｙ）は、
S (y) is a correlation value of a y-th line of an image (y is a numerical value in the range of 0 to ly-1).
Note that the correlation value does not necessarily have to be obtained by the calculation formula (formula 1) as described above, and it is only necessary to calculate the proximity of the data values between the image data. For example, the correlation S (y of a certain y-th line) ) May be obtained by the
The correlation value S (y) is
また、奥行き度合いの算出は次のような関係式により推定する。
奥行き度合いの算出式は、
相関値＜Ｓ→奥行き度合い＝大
相関値＞Ｓ→奥行き度合い＝小 ・・・（式３）
上記図５に示した例では、画像領域毎の奥行きを算出し、その平均値を画像全体の奥行きとして推定した。また相関値は予め与えられた値Ｓと比較して小さかった場合に奥行き度合いが大きいと推定し、相関値が予め与えられた値Ｓより大きかった場合に奥行き度合いが小さいと推定した。またフレーム画像データのフレーム単位奥行き量は、以下のような（式４）により算出するようにした。
フレーム単位奥行き量＝奥行き度合いの平均値・・・（式４）
図８は、上記した奥行き方向の動き量を推定する推定方法の概念説明図である。
この図に示す奥行き方向の動き量は、奥行き度合いの時間変化、即ちフレーム単位の奥行き度合いの変化によって推定して奥行き動き量の変化（分布）を算出している。
Further, the depth degree is estimated by the following relational expression.
The formula for calculating the depth is
Correlation value <S → depth degree = large Correlation value> S → depth degree = small (Equation 3)
In the example shown in FIG. 5, the depth for each image region is calculated, and the average value is estimated as the depth of the entire image. Further, when the correlation value is smaller than the predetermined value S, the depth degree is estimated to be large, and when the correlation value is larger than the predetermined value S, the depth degree is estimated to be small. Also, the frame unit depth amount of the frame image data is calculated by the following (formula 4).
Depth amount per frame = average value of depth degree (Equation 4)
FIG. 8 is a conceptual explanatory diagram of an estimation method for estimating the amount of motion in the depth direction.
The amount of motion in the depth direction shown in this figure is estimated by a change in the depth degree over time, that is, a change in the depth degree in units of frames, and the change (distribution) in the depth motion amount is calculated.
図９は第２の実施形態に係る動画像処理装置の奥行き方向の動き量を推定する奥行き度合い算出部の構成を示した図である。なお、第２の実施形態に係る動画像処理装置の他の構成は、図１と同一とされるので、ここでは奥行き度合い算出部を中心に構成を説明する。
この図９において、３３はフレーム毎の画像奥行き方向の動きを算出する画像奥行き方向動き算出部、３４はフレーム奥行き保存部、３５は奥行き方向動き保存部により構成されている。
奥行き度合い算出部１４は、画像データ入力部３２より入力された動画像データを分析してフレーム毎に画像再生時の奥行きを算出し、フレーム単位の奥行きデータを使用して、画像奥行き方向動き算出部３３にて奥行き方向の動き量を推定する。
奥行き度合い算出部１４は、領域毎に画像を抽出する領域毎画像抽出部４１、画像領域毎に奥行きを算出する画像領域毎奥行き算出部４２、フレーム奥行き算出部４３、画像データ保存部４４、画像領域データ保存部４５、領域毎奥行き保存部４６により構成される。
また画像領域毎奥行き算出部４２は、領域毎画像抽出部５１、ライン毎画像データ抽出部５２、相関算出部５３、奥行き算出部５４、ライン毎画像データ保存部５５、相関データ保存部５６により構成されている。
画像奥行き算出部１４は、画像データ入力部２で三次元画像データを読み込み、領域毎画像抽出部４１で画像領域の画像データを算出する。
画像領域毎奥行き算出部４２では、画像領域毎に画像データ入力部２にて画像領域毎に画像データを読み込み、ライン毎画像データ抽出部５２でライン毎に画像データをライン単位で読み込み、相関算出部５３においてライン単位で相関値を算出する。そして、奥行き算出部５４で領域毎の奥行きデータを算出する。なお、典型的には奥行きデータは相関値の逆数に比例する。
フレーム奥行き算出部４３は、領域毎奥行き保存部４６に保存されたライン単位の相関値を使用して、相関値の逆数を画像のライン毎に集計し、ライン毎の平均値を算出して画像全体の奥行き度合いを算出する。フレーム奥行き保存部３４には該フレームの画像データを再生した場合の奥行き情報が保存される。なお、第２の実施形態では画像属性毎に奥行き情報を算出するものとしているが画像領域毎に奥行き情報を算出することも勿論可能であり、その場合は画像領域を予めブロック毎に区分してブロック単位で奥行き情報を算出すればよい。
FIG. 9 is a diagram illustrating a configuration of a depth degree calculation unit that estimates the amount of motion in the depth direction of the moving image processing apparatus according to the second embodiment. In addition, since the other structure of the moving image processing apparatus which concerns on 2nd Embodiment is the same as FIG. 1, here, a structure is demonstrated centering on a depth degree calculation part.
In FIG. 9, 33 is an image depth direction motion calculation unit that calculates motion in the image depth direction for each frame, 34 is a frame depth storage unit, and 35 is a depth direction motion storage unit.
The depth
The depth
The image area
The image
The
The frame
図１０は奥行き方向の動き量推定処理を示したフローチャートである。
この場合は、先ず、三次元画像データである右眼用と左眼用の画像データをライン毎に入力し（Ｓ５１）、夫々の画像データのライン毎の相関値を算出する（Ｓ５２）。次に、前記相関値の逆数を画像のライン毎の奥行き度合いとし（Ｓ５３）、前記相関値の逆数を画像のライン毎に集計してライン毎の平均値を算出して領域の奥行き度合いとする（Ｓ５４）。
ここで、領域内の全ての画像に対して上記ステップＳ５１〜Ｓ５４の処理を行った否か判断し、領域内の全ての画像に対して行っていなければ（Ｓ５５でＮ）、ステップＳ５１に戻って処理を繰り返し行う。
一方、ステップＳ５５において領域内の全ての画像に対して上記ステップＳ５１〜Ｓ５４の処理が行われたと判断した場合は（Ｓ５５でＹ）、続くステップＳ５６において全領域に対して行ったか否かの判断を行い、全領域に対して領域毎に行っていなければ（Ｓ５６でＮ）、領域を変更した後（Ｓ５７）、ステップＳ５１に戻って再度処理を行う。
そして、全領域に対して領域毎に行ったと判断した場合（Ｓ５６でＹ）、ステップＳ５８に進み、必要であればフレーム画像の奥行き度合いの平均値と予め定めた閾値とを比較して、そのフレーム画像の奥行き（度合い）評価値を決定する（Ｓ５８）。例えば、ある第１閾値より小さければ→奥行き評価値＝小と判定し、ある第１閾値より大きければ→奥行き評価値＝大と判定し、それ以外であれば→奥行き評価値＝中と判定する。
次に、フレーム画像データの奥行き評価値を保存し（Ｓ５９）、フレーム画像データの奥行き評価値と比較して奥行き変化の大小／奥行き方向の増加減少を識別する（Ｓ６０）。
例えば、Ｎ＝｜該画像フレームの奥行き値評価値−前画像フレームの奥行き評価値｜であり、Ｎがある第１閾値より小さければ→奥行き変化＝小と判定、Ｎがある第２閾値より大きければ→奥行き変化＝大と判定、それ以外であれば→奥行き変化＝中と判定する。
この後、全てのフレームの処理が終わったか否かの判断を行い（Ｓ６１）、全てのフレームの処理が終わっていなければステップＳ５１に戻る。一方、全てのフレーム処理が終わっていれば（Ｓ６１でＹ）処理を終了する。
なお、この図１０に示した処理では、ステップＳ６０において、奥行きの大小判定しか行っていないが、奥行きの増減の判定を行うこともできる。その場合はステップＳ６０において、フレーム画像データの奥行き評価値と比較して、奥行き変化の大小／奥行き方向の増加減少を識別する。例えば、Ｓ＝該画像フレームの奥行き値評価値−前画像フレームの奥行き評価値の正負とし、Ｎ＝｜該画像フレームの奥行き値評価値−前画像フレームの奥行き評価値｜とすると、Ｎがある第１閾値より小さければ→奥行き変化＝小と判定し、Ｎがある第２閾値より大きければ→奥行き変化＝大と判定し、それ以外であれば→奥行き変化＝中と判定する。そして、Ｓ＝正→奥行き＝増加と判定し、Ｓ＝負→奥行き＝減少と判定し、Ｓ＝０→奥行き＝変化なしと判定すればよい。
FIG. 10 is a flowchart showing the motion estimation process in the depth direction.
In this case, first, the right-eye and left-eye image data, which is three-dimensional image data, is input for each line (S51), and the correlation value for each line of the respective image data is calculated (S52). Next, the reciprocal of the correlation value is set as the depth degree for each line of the image (S53), and the reciprocal of the correlation value is totaled for each line of the image to calculate the average value for each line to obtain the depth degree of the region. (S54).
Here, it is determined whether or not the processing in steps S51 to S54 has been performed on all the images in the region. If not performed on all the images in the region (N in S55), the process returns to step S51. Repeat the process.
On the other hand, if it is determined in step S55 that the processes in steps S51 to S54 have been performed on all the images in the area (Y in S55), it is determined whether or not the process has been performed on all areas in the subsequent step S56. If the process is not performed for every area (N in S56), the area is changed (S57), and the process returns to step S51 to perform the process again.
If it is determined that the process has been performed for each region (Y in S56), the process proceeds to step S58, and if necessary, the average value of the depth degree of the frame image is compared with a predetermined threshold value. A depth (degree) evaluation value of the frame image is determined (S58). For example, if it is smaller than a certain first threshold, it is determined that the depth evaluation value is small, if it is larger than a certain first threshold, it is determined that the depth evaluation value is large, and otherwise, it is determined that the depth evaluation value is medium. .
Next, the depth evaluation value of the frame image data is stored (S59), and the magnitude of the depth change / increase / decrease in the depth direction is identified as compared with the depth evaluation value of the frame image data (S60).
For example, if N = | depth value evaluation value of the image frame−depth evaluation value of the previous image frame |, and N is smaller than a certain first threshold, it is determined that the depth change = small, and N is larger than a certain second threshold. → Depth change = large, otherwise it is determined → Depth change = medium.
Thereafter, it is determined whether or not all the frames have been processed (S61). If all the frames have not been processed, the process returns to step S51. On the other hand, if all the frame processes have been completed (Y in S61), the process ends.
In the process shown in FIG. 10, only the depth determination is performed in step S60, but the depth increase / decrease can also be determined. In this case, in step S60, the magnitude of the depth change / increase / decrease in the depth direction is identified as compared with the depth evaluation value of the frame image data. For example, if S = depth value evaluation value of the image frame−positive / negative of the depth evaluation value of the previous image frame and N = | depth value evaluation value of the image frame−depth evaluation value of the previous image frame | If it is smaller than the first threshold, it is determined that the change in depth = small, and if N is greater than a certain second threshold, it is determined that the change in depth = large, and otherwise, it is determined that the change in depth = medium. Then, S = positive → depth = increase, S = negative → depth = decrease, and S = 0 → depth = no change.
次に、三次元画像の奥行き度合いを調整する方式について説明する。
第２の実施形態の動画像処理装置では、画像データを編集することにより奥行きを調整することができる。三次元再生画像の奥行きは、一般には左眼用画像データの描画内容の位置を対応する右眼用画像データの描画内容に対して、描画位置を調整することで奥行きを調整することができる。典型的には、描画対象の描画位置を同じにする（同一の描画内容にする）ことで奥行きをなくすことができる。
次に、第２の実施形態に係る動画像処理装置の変形例として画像属性毎に奥行き調整を行う場合について説明する。
図１１は画像属性毎に奥行き調整する処理を示したフローチャートである。
この場合、画像属性毎に画像データの奥行き度合いを算出する算出処理（図７参照）を行った後（Ｓ７１）、画像属性が文字である画像領域に対して奥行き度合いを算出する（Ｓ７２）。そして、前記奥行き度合いが「０」でない場合、右眼用と左眼用の画像データを同じにして（Ｓ７３）、処理を終えるようにする。
なお、この図１１に示す処理フローにおいては、文字画像領域の奥行きをなくす処理について記述しているが、画像属性領域の画像データに対する編集としては、文字属性領域の編集に限定されるものでない。またこの処理フローでは画像属性領域としているが画像領域でも構わない。注目領域などのある特定の画像領域の画像データの奥行き度合いは残し、残りの領域は奥行きをなくす画像データの調整をするのでも構わない。
Next, a method for adjusting the depth degree of the three-dimensional image will be described.
In the moving image processing apparatus of the second embodiment, the depth can be adjusted by editing the image data. In general, the depth of the three-dimensional reproduction image can be adjusted by adjusting the drawing position with respect to the drawing content of the right-eye image data corresponding to the position of the drawing content of the left-eye image data. Typically, the depth can be eliminated by making the drawing positions to be drawn the same (the same drawing content).
Next, a case where depth adjustment is performed for each image attribute will be described as a modification of the moving image processing apparatus according to the second embodiment.
FIG. 11 is a flowchart showing processing for adjusting the depth for each image attribute.
In this case, after performing a calculation process (see FIG. 7) for calculating the depth degree of the image data for each image attribute (S71), the depth degree is calculated for the image area whose image attribute is a character (S72). If the depth degree is not “0”, the right eye image data and the left eye image data are made the same (S73), and the process is terminated.
In the processing flow shown in FIG. 11, processing for eliminating the depth of the character image area is described. However, editing of image data in the image attribute area is not limited to editing of the character attribute area. In this processing flow, the image attribute area is used, but an image area may be used. The degree of depth of the image data of a specific image area such as the attention area may be left, and the image data may be adjusted to eliminate the depth of the remaining area.
図１２は画像領域毎の奥行き調整の原理図である。
右眼用と左眼用の画像データの画像属性の特定領域の三次元画像データを抽出し、相関算出部で該部分領域の画像データ間の相関を計算する。画像データ編集部において相関算出部で求めた相関値を使用して画像データを編集する。
画像データの編集は一方の画像データの画像属性領域に対する編集を施すようにする。簡易に三次元表示画像の奥行きを自動的に調整する手段を提供する。
例えば、領域別に右眼用画像データと左眼用画像データを同じにする修正し、簡易に三次元表示画像の奥行きをなくす調整をしたり、三次元画像表示を二次元画像表示に簡易に変換する手段を設けるようにしたりする。文字を認識するのに奥行きがある場合には、視差量が大きいため目の疲労が生じる。例えば、文字画像領域の奥行きをなくし二次元で表示する調整は簡易に視差量をなくすことができ有効である。
FIG. 12 is a principle diagram of depth adjustment for each image area.
The three-dimensional image data of the specific region of the image attribute of the image data for the right eye and the left eye is extracted, and the correlation between the image data of the partial regions is calculated by the correlation calculation unit. The image data editing unit edits the image data using the correlation value obtained by the correlation calculation unit.
The image data is edited with respect to the image attribute area of one of the image data. Means for automatically adjusting the depth of a three-dimensional display image is provided.
For example, the right-eye image data and the left-eye image data are corrected to be the same for each region, and the adjustment to easily eliminate the depth of the three-dimensional display image, or the conversion from the three-dimensional image display to the two-dimensional image display is simple. Or a means to do so. When there is a depth in recognizing characters, eye fatigue occurs due to the large amount of parallax. For example, adjustment for eliminating the depth of a character image area and displaying it in two dimensions is effective because it can easily eliminate the amount of parallax.
図１３は第２の実施形態に係る動画像処理装置における奥行き度合い算出部の他の構成を示した図である。なお、他の構成は図１と同一とされるので、ここでは奥行き度合い算出部を中心に構成を説明する。
この図１３（ａ）に示す奥行き度合い算出部１４は、属性毎領域抽出部６２、画像属性領域データ保存部６３、画像属性毎奥行き算出部６４、画像属性毎奥行きデータ保存部６５、画像属性毎奥行き評価部６６、画像属性毎画像データ編集部６７、画像データ保存部６８により構成されている。
画像データ入力部２から三次元画像データを入力し、画像データ保存部６８に画像データを保存し、属性毎領域抽出部６２にて画像属性領域情報を抽出する。画像属性毎奥行き算出部６４は、図１３（ｂ）に示すように画像属性毎画像抽出部７１、ライン毎画像データ抽出部７２、相関算出部７３、奥行き算出部７４、ライン毎画像データ保存部７５、相関データ保存部７６により構成される。
このように構成される画像属性毎奥行き算出部６４において算出した画像属性毎の奥行きデータは、画像属性毎奥行きデータ保存部６５に保存され、画像属性毎奥行き評価部６６において画像属性の奥行きの有無、或いは奥行きレベルを、基準値を使用して評価する。例えば、奥行きレベルとして、大／中／小の判定を行うようにする。
なお、これまで説明した相関値の算出処理においては、全てのラインについて相関値を算出するとしているが、必ずしも全てのラインについて実施する必要はなく、画像データの一部のラインであっても構わない。例えば、先頭ラインからいくつかのライン（ｙｎ）までのラインについて
The depth
Three-dimensional image data is input from the image
The depth data for each image attribute calculated by the image attribute
In the correlation value calculation processing described so far, correlation values are calculated for all lines. However, it is not always necessary to perform the calculation for all lines, and some lines of image data may be used. Absent. For example, for lines from the first line to several lines (yn)
図１４は符号レベルでの画像属性領域を識別して画像属性領域に対する奥行き情報を調整することを説明する図である。
この例では、後述するＪＰＥＧ２０００規格に基づく符号化している。マージされた画像データに対して符号化処理部のウェーブレット変換処理部においてウェーブレット変換を施して符号化処理を行うようにしている。この場合、ウェーブレット変換によって画像データのエッジ領域が識別できるので、それらを使用して、例えば画像属性領域、例えば文字領域を識別する。
これまで説明した本実施形態においては、奥行き方向だけの動き量の推定について言及したが、現実には二次元平面上の動きもある。
立体表示された場合に、奥行き方向だけでなく二次元平面方向の動きが同時に伴うと、さらに疲労は大きいものとなる。
そこで、次に奥行き方向だけでなく二次元平面方向の動きを含めて動き量を推定することで、三次元方向の動き量の推定精度を向上させるようにした第３の実施形態に係る動画像処理装置の構成について説明する。
FIG. 14 is a diagram for explaining the adjustment of depth information for an image attribute area by identifying the image attribute area at the code level.
In this example, encoding is performed based on the JPEG2000 standard described later. The wavelet transform processing unit of the encoding processing unit performs wavelet transform on the merged image data to perform the encoding process. In this case, since the edge region of the image data can be identified by wavelet transformation, they are used to identify, for example, an image attribute region, for example, a character region.
In the present embodiment described so far, the estimation of the motion amount only in the depth direction is mentioned, but in reality there is also a motion on a two-dimensional plane.
In the case of a three-dimensional display, if not only the depth direction but also the movement in the two-dimensional plane direction is accompanied at the same time, the fatigue is further increased.
Therefore, the moving image according to the third embodiment is configured to improve the estimation accuracy of the motion amount in the three-dimensional direction by estimating the motion amount including the motion in the two-dimensional plane direction as well as the depth direction. The configuration of the processing apparatus will be described.
図１５は第３の実施形態に係る動画像処理装置の奥行き度合い算出部１４と、周辺部の構成を示した図である。なお、図９と同一部位には同一番号を付して説明は省略する。
この場合は、画面内動き量算出部８１は、三次元動画像データを分析して二次元平面方向の動きを推定する。例えば、三次元動画像データを符号化処理部５のウェーブレット変換処理部５ａでウェーブレット変換し、１ＬＨサブ・バンド成分の符号量と、１ＨＬサブ・バンド成分の符号量とで二次元平面方向の動き量を推定する。
図１６は、相関の分布変化によって動きの激しさを推定する処理の概念説明図である。
先の実施形態で説明したように奥行き方向の動き量を推定するのと同時に三次元動画像データを符号化する過程で二次元平面方向の動き量を推定している。
予め画像データをブロック（タイル）単位に区切って符号化することで、ブロック毎の１ＬＨサブ・バンド成分の符号量と、１ＨＬサブ・バンド成分の符号量の算出ができ、平面方向の動きを推定することができる。そこで、該画像領域の奥行き方向の動きを推定する場合の領域の区切りとブロック領域を同じにすることで、画像領域ブロック毎に、簡易に、奥行き方向と二次元方向の動きとを合わせて推定することできる。動き量の大きさは、動き量の基準を設けて該基準値と比較することで行うことができるが、その場合に、奥行き方向の動きを優先的に高く評価しても構わない。
本発明では二次元平面方向の動き量を効率的に判定する複数個の手段を提供する。二次元平面方向の動きが普通以上にあるかないかの判定をする最低限の機能を提供する。
二次元平面方向の動き量の判定とは、画像の物体の移動速度が高速であるか低速であるかを判定するものである。
典型的な二次元平面方向の動き量の推定方式は、フレーム間差分による動き量判定である。二次元平面方向の動き量を判定する手段としては、フレーム間の画像データの差分を用いる。典型的には、前後のフレームの画像データを画素単位で順次比較していってもよい。あるいは、後述するインターレース動画像の再生においては、フレームをフィールドに分解し、フィールド単位で比較してもよい。インターレース画像信号が分解して生成された前後のフィールド間の動き量に基づいて動き量を判定してもよい。フレーム全体のデータよりも少ない量のデータを比較することにより、より効率的である。また、一つおきのデータ間の比較であることから精度も十分にある。
フレーム内の周波数領域のデータ量を比較することにより簡易に二次元平面方向の動き量を推定してもよい。
一般の撮影では殆どの被写体は横方向に移動するという経験則に従い、フレーム内での被写体の横方向の移動速度（高速／低速）を検出し動き量を判定することができる。前者のフレーム間の画像データの差分を用いて判定するよりも、より少ない量のデータを用いて、簡単な演算処理により、上記物体の移動速度（高速／低速）を検出することができる。
FIG. 15 is a diagram illustrating the configuration of the depth
In this case, the in-screen motion
FIG. 16 is a conceptual explanatory diagram of processing for estimating the intensity of motion based on a change in correlation distribution.
As described in the previous embodiment, the motion amount in the two-dimensional plane direction is estimated in the process of encoding the three-dimensional moving image data at the same time as estimating the motion amount in the depth direction.
By coding the image data in advance divided into blocks (tiles), the code amount of 1LH sub-band component and the code amount of 1HL sub-band component for each block can be calculated, and the motion in the plane direction can be estimated. can do. Therefore, by estimating the movement of the image area in the depth direction by using the same area delimiter and block area, the movement in the depth direction and the two-dimensional direction can be estimated easily for each image area block. Can do. The magnitude of the amount of movement can be determined by providing a reference for the amount of movement and comparing it with the reference value. In this case, the movement in the depth direction may be preferentially evaluated as being high.
The present invention provides a plurality of means for efficiently determining the amount of motion in the two-dimensional plane direction. Provides a minimum function to determine whether or not there is more than normal movement in the two-dimensional plane direction.
The determination of the amount of motion in the two-dimensional plane direction is to determine whether the moving speed of the object in the image is high or low.
A typical method for estimating the amount of motion in the two-dimensional plane direction is motion amount determination based on inter-frame differences. As a means for determining the amount of motion in the two-dimensional plane direction, a difference in image data between frames is used. Typically, the image data of the previous and subsequent frames may be sequentially compared in units of pixels. Alternatively, in the reproduction of an interlaced moving image to be described later, a frame may be decomposed into fields and compared in units of fields. The amount of motion may be determined based on the amount of motion between fields before and after the interlaced image signal is generated by decomposing. It is more efficient by comparing a smaller amount of data than the entire frame data. Moreover, since it is a comparison between every other data, there is sufficient accuracy.
The amount of motion in the two-dimensional plane direction may be easily estimated by comparing the amount of data in the frequency domain within the frame.
According to an empirical rule that most subjects move in the horizontal direction in general shooting, the amount of movement can be determined by detecting the horizontal movement speed (high speed / low speed) of the subject in the frame. The moving speed (high speed / low speed) of the object can be detected by a simple calculation process using a smaller amount of data than the determination using the difference in image data between the former frames.
図１７はビデオカメラ等により撮影されるインターレース画像データで構成されるフレームデータについて説明するための図である。なお夫々の画像データは右眼用と左眼用の画像データである。
このように撮影の開始時間Ｔ０と共に、フレーム０の画像のインターレース形式によるスキャンを行いフレーム画像が形成され、さらに一定時間経過後、例えば１／６０秒後にフレーム１の画像のインターレース形式によるスキャンを行いフレーム画像が形成される。インターレース形式のスキャンは後述するように走査ラインを複数回にわけて行う。そして終了時間ｔｎまでの間に一定時間単位、例えば１／６０秒単位で合計ｎ枚のフレームの画像をインターレース形式で形成する。一般に、フレームデータにおいては、奇数フィールドと偶数フィールドの撮影時間の差がある。
FIG. 17 is a diagram for explaining frame data composed of interlaced image data shot by a video camera or the like. Each image data is image data for the right eye and for the left eye.
In this way, the
図１８は、インターレース形式のフレームデータのフィールドデータについて説明するための図である。図１８に示すようにインターレース形式の画像は、１画素のライン（実線で示す走査ラインン）をスキャンした後、直ぐ下の画素のライン（点線で示す走査ライン）を飛ばして２画素下のライン（実線で示す走査ライン）をスキャンする。次に、前回スキャンしなかった画素ライン（点線で示す走査ライン）のスキャンを上から行う。このように、あるラインをスキャンしてから直ぐ下の画素のラインをスキャンするのに一定時間、例えば、１／１２０秒経過している。そのため後述するように、スキャンして読み込まれたインターレース形式のある一つのフレームデータにはスキャン時間の異なる画像が形成されるのである。
図１８に示すようにインターレース形式のフレームデータはスキャン時間の異なるフィールドデータに分解することができる。奇数フィールドデータが、奇数走査ラインでスキャンされたデータ（実線で示す走査ライン）であり、偶数フィールドデータが、偶数走査ラインでスキャンされたデータ（点線で示す走査ライン）である。
逆に、奇数フィールドデータ、偶数フィールドデータを合成すれば、一つのフレームデータが生成されることは言うまでもない。すなわち、奇数フィールドデータ及び偶数フィールドデータの画像データをスキャンしたライン毎（上記の例では１画素単位の走査ライン毎）に、交互に並べる（スキャンしていないラインのデータを補充する）ことでフレームデータを形成することができる。この時、前述したように、フレームデータにおいては、奇数フィールドと偶数フィールドのスキャン時間に差があるため、被写体に動きがある場合は、完全に連続的なデータが形成されない。
このようにフレーム画像データがインターレース画像であっても、ライン単位では、右眼用左眼用の三次元動画像データは互いに同じ時刻で同じところを見たときのデータであるので、フィールド分割されたフィールドデータであっても、合成されたフレームデータであっても、右眼用左眼用の三次元動画像データ間での相関を使用して奥行き方向の動き量を推定することも可能である。
三次元表示における奥行き方向の動きは、特に視覚的な疲労が大きいことから疲労の緩和が重要である。
三次元の動画像データの再現における疲労を緩和する場合の一例を説明する。この場合は動き量を推定する際に奥行き方向の動き量を推定しているところに特徴がある。
本実施形態では、三次元表示における奥行き方向の動きが大きいときにフレームレートを下げることで動きに起因する疲労を緩和している。
図１９は動画再生のフレームレートの調整に係る説明図である。
動き量が大きいと評価される区間では再生時のフレームレートを下げて、動きに起因する疲労を緩和することを目的としている。この例では、動き量の推定が奥行き方向の動きを推定しているところに特徴がある。
FIG. 18 is a diagram for explaining field data of interlaced frame data. As shown in FIG. 18, an interlaced image scans a line of one pixel (a scanning line indicated by a solid line), and then skips a line of a pixel immediately below (a scanning line indicated by a dotted line) to a line that is two pixels below ( A scanning line indicated by a solid line) is scanned. Next, scanning of pixel lines (scan lines indicated by dotted lines) that were not scanned last time is performed from above. As described above, a certain time, for example, 1/120 second has elapsed since the line of the pixel immediately below after scanning a certain line. Therefore, as will be described later, images having different scan times are formed in one frame data of an interlace format scanned and read.
As shown in FIG. 18, interlaced frame data can be decomposed into field data having different scan times. The odd field data is data scanned by odd scan lines (scan lines indicated by solid lines), and the even field data is data scanned by even scan lines (scan lines indicated by dotted lines).
Conversely, it goes without saying that one frame data is generated by combining odd field data and even field data. In other words, the image data of the odd field data and the even field data is alternately arranged (supplemented with the data of the unscanned line) for each scanned line (in the above example, for each scanning line of one pixel unit). Data can be formed. At this time, as described above, in the frame data, there is a difference in the scan time between the odd field and the even field, so that when the subject is moving, completely continuous data is not formed.
As described above, even if the frame image data is an interlaced image, the three-dimensional moving image data for the right eye and the left eye is data obtained by viewing the same place at the same time in line units. It is possible to estimate the amount of motion in the depth direction using correlation between 3D moving image data for the right eye and left eye, whether it is field data or synthesized frame data. is there.
In the movement in the depth direction in the three-dimensional display, since visual fatigue is particularly large, it is important to reduce fatigue.
An example of mitigating fatigue in the reproduction of three-dimensional moving image data will be described. This case is characterized in that the amount of motion in the depth direction is estimated when the amount of motion is estimated.
In the present embodiment, when the movement in the depth direction in the three-dimensional display is large, the fatigue caused by the movement is reduced by reducing the frame rate.
FIG. 19 is an explanatory diagram relating to adjustment of the frame rate of moving image reproduction.
The purpose is to alleviate fatigue caused by motion by lowering the frame rate during playback in a section where the amount of motion is evaluated to be large. This example is characterized in that the motion amount estimation estimates the motion in the depth direction.
図２０は本発明の第４の実施形態に係る動画像処理装置における動画再生のフレームレートを調整する場合の構成を示したブロック図である。
本実施形態の動画像処理装置は、フレーム毎の右眼用と左眼用の画像データが入力される三次元画像入力部１０１、画像奥行き算出部１０２、動き量評価部１０３、フレーム（符号データ）編集部１０４、画像データ保存部１０５、評価基準動き量保存部１０６、フレーム毎奥行き保存部１０７、フレーム動き量評価結果保存部１０８、フレーム動き量変化評価結果保存部１０９により構成されている。
このような動画像処理装置においては、三次元画像入力部１０１にて、三次元画像データである右眼用と左眼用の画像データを入力し、続いて画像奥行き算出部１０２にてフレーム毎に画像データの奥行き量を推定する。続いて動き量評価部１０３において評価基準動き量保存部１０６に保存された基準動き量と該フレームの奥行き動き量とを比較し、フレーム動き量評価結果をフレーム動き量評価結果保存部１０８に保存する。直前に保存されたフレームの動き量評価結果と該フレームの動き量の評価結果を比較し、フレーム動き量変化評価結果を、フレーム動き量変化評価結果保存部１０９に保存する。フレーム符号データ編集部１０４においては、フレーム動き量変化評価結果を用いてフレーム符号データをフレーム単位で編集する。尚、ここでフレーム毎の画像奥行き算出部１０２では、先に説明した図９の処理ブロックで実現する。
図２１は、動画像の疲労度によるフレームレートの調整処理を示したフローチャートである。
この場合、先ず、フレーム再生時のフレームレートをデフォルト値に設定する（Ｓ８１）。次に、図１０に示した処理により奥行き変化を推定し（Ｓ８２）、該画像フレームの奥行き変化が大の場合にフレームレートを低くする。即ち、時間当たりの処理画像フレーム数を少なくする（Ｓ８３）。そして、このフレームレートで再生する（Ｓ８４）。この後、全てのフレームの処理が終わったら（Ｓ８５でＹ）処理を終了する。
FIG. 20 is a block diagram showing a configuration in the case of adjusting the frame rate of moving image playback in the moving image processing apparatus according to the fourth embodiment of the present invention.
The moving image processing apparatus according to the present embodiment includes a 3D image input unit 101, an image
In such a moving image processing apparatus, the three-dimensional image input unit 101 inputs right-eye and left-eye image data, which is three-dimensional image data, and then the image
FIG. 21 is a flowchart showing a frame rate adjustment process based on the fatigue level of a moving image.
In this case, first, the frame rate at the time of frame reproduction is set to a default value (S81). Next, the depth change is estimated by the processing shown in FIG. 10 (S82), and the frame rate is lowered when the depth change of the image frame is large. That is, the number of processed image frames per time is reduced (S83). Then, playback is performed at this frame rate (S84). Thereafter, when all the frames have been processed (Y in S85), the processing ends.
次に、符号レベルでの奥行きの編集としてＪＰＥＧ２０００における符号レベルでの奥行きの編集について説明する。
図２２は本発明における符号列編集による奥行き度合い調整の原理図である。
二つの画像データを合成（マージ）する場合に、マージする画像データが互いに分離されているように画像データがブロック（タイル）分割されていて、夫々のブロック（タイル）毎に独立に符号化され、独立したブロック毎に独立した符号データが生成され、符号データレベルで編集する。
係る符号化は後述するＪＰＥＧ２０００で符号化されている場合には、符号レベルでの編集を容易に進めることができる。ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ １５４４４−１）規格の符号化によれば、符号レベルと対応画像空間上での領域対応がなされているため、符号レベルの領域処理も容易に実施できるのである。
また、ｍｏｔｉｏｎ−ＪＰＥＧ２０００符号化方式で符号化されているとフレーム毎に独立した符号化ができ、先に述べたようなフレームレート補正などフレーム単位で独立した符号データの符号データレベルでの編集を容易に実現できる。ＭｏｔｉｏｎＪＰＥＧ２０００という規格は、上記ＪＰＥＧ２０００形式で符号化された静止画像を連続して再生するものである。
ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ １５４４４−１）規格に基づき符号化について以下に説明する。
ＪＰＥＧ２０００規格の符号化は、おおよそ以下の手順でなされる。
先ず、インターレース画像のフレームデータを、Ｙ，Ｃｒ，Ｃｂの色成分毎のデータに変換する。次に各色成分の色データに対して、次元離散ウェーブレット変換を施す。これにより、得られるウェーブレット係数にＪＰＥＧ２０００に規定のスカラ量子化処理を施す。次に、スカラ量子化されたデータに対しＪＰＥＧ２０００に規定のエントロピー符号化処理（いわゆる係数モデリングによる算術符号化処理）を施す。そして全ての色データに対して上記のような処理を施した後、ＪＰＥＧ２０００で規定する符号列を生成するようにしている。
また、復号化処理はこの逆の手順である。
勿論、これらの処理は、ハードウェア回路により実現しても良い。処理の高速化が図られる。なお、ＪＰＥＧ２０００に準拠する符号化処理を全てハードウェア回路で実現する動画像処理装置は既に存在する。
Next, depth editing at the code level in JPEG 2000 will be described as depth editing at the code level.
FIG. 22 is a principle diagram of depth degree adjustment by code string editing in the present invention.
When combining (merging) two image data, the image data is divided into blocks (tiles) so that the image data to be merged is separated from each other, and each block (tile) is encoded independently. Independent code data is generated for each independent block and edited at the code data level.
When such encoding is encoded by JPEG2000 described later, editing at the code level can be easily advanced. According to the encoding of the JPEG2000 (ISO / IEC 15444-1) standard, the code level and the area in the corresponding image space are associated, so that the code level area processing can be easily performed.
In addition, when encoded with the motion-JPEG2000 encoding method, independent encoding can be performed for each frame, and editing at the code data level of independent code data such as frame rate correction as described above can be performed. It can be easily realized. The standard called Motion JPEG 2000 is for continuously reproducing still images encoded in the JPEG 2000 format.
The encoding will be described below based on the JPEG2000 (ISO / IEC 15444-1) standard.
The encoding of the JPEG2000 standard is performed in the following procedure.
First, frame data of an interlaced image is converted into data for each color component of Y, Cr, and Cb. Next, dimensional discrete wavelet transform is performed on the color data of each color component. As a result, the obtained wavelet coefficients are subjected to scalar quantization processing prescribed in JPEG2000. Next, the entropy encoding process (arithmetic encoding process by so-called coefficient modeling) prescribed in JPEG2000 is performed on the scalar quantized data. After all the color data is processed as described above, a code string defined by JPEG2000 is generated.
The decoding process is the reverse procedure.
Of course, these processes may be realized by a hardware circuit. The processing speed can be increased. Note that there already exists a moving image processing apparatus that implements all the encoding processing compliant with JPEG2000 with a hardware circuit.
図２３はＪＰＥＧ２０００の基本となる階層符号化アルゴリズムを説明するための図であり、色空間変換・逆変換部１１０、２次元ウェーブレット変換・逆変換部１１１、量子化・逆量子化部１１２、エントロピー符号化・復号化部１１３、タグ処理部１１４により構成されている。ＪＰＥＧアルゴリズムと比較して、最も大きく異なる点の一つは変換方法である。ＪＰＥＧでは離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）を、階層符号化圧縮伸長アルゴリズムでは離散ウェーブレット変換（ＤＷＴ：Discrete Wavelet Transform）を各々用いている。
ＤＷＴはＤＣＴに比べて、高圧縮領域における画質が良いという長所が、ＪＰＥＧの後継アルゴリズムであるＪＰＥＧ２０００で採用された大きな理由の一つとなっている。
また他の大きな相違点は、後者では、最終段に符号形成をおこなうために、タグ処理部と呼ばれる機能ブロックが追加されていることである。この部分で、圧縮動作時には圧縮データがコード・ストリームとして生成され、伸長動作時には伸長に必要なコード・ストリームの解釈が行われる。そして、コード・ストリームによって、ＪＰＥＧ２０００は様々な便利な機能を実現できるようになった。例えば、後述する図２５に示したようにブロック・ベースでのＤＷＴにおけるオクターブ分割に対応した任意の階層（デコンポジション・レベル）で、静止画像の圧縮伸長動作を自由に停止させることができるようになる。
なお、原画像の入出力部分には、色空間変換部が接続されることが多い。例えば、原色系のＲ（赤）／Ｇ（緑）／Ｂ（青）の各コンポーネントからなるＲＧＢ表色系や、補色系のＹ（黄）／Ｍ（マゼンタ）／Ｃ（シアン）の各コンポーネントからなるＹＭＣ表色系から、ＹＵＶあるいはＹＣｂＣｒ表色系への変換又は逆の変換を行う部分がこれに相当する。
以下、ＪＰＥＧ２０００アルゴリズムについて、少し詳しく説明する。
カラー画像は、一般に、図２４に示すように、原画像の各コンポーネント（ここではＲＧＢ原色系）が、矩形をした領域（タイル）１２０によって分割される。そして、個々のタイル、例えば、Ｒ００，Ｒ０１，…，Ｒ１５／Ｇ００，Ｇ０１，…，Ｇ１５／Ｂ００，Ｂ０１，…，Ｂ１５が、圧縮伸長プロセスを実行する際の基本単位となる。従って、圧縮伸長動作は、コンポーネント毎、そしてタイル１２０毎に独立に行なわれる。
符号化時には、各コンポーネントの各タイルのデータが、図２７の色空間変換部に入力され、色空間変換を施されたのち、２次元ウェーブレット変換部で２次元ウェーブレット変換（順変換）が適用されて周波数帯に空間分割される。
FIG. 23 is a diagram for explaining a hierarchical encoding algorithm that is the basis of JPEG 2000. The color space transform /
The advantage that DWT has better image quality in the high compression region than DCT is one of the major reasons adopted in JPEG2000, which is the successor algorithm of JPEG.
Another major difference is that, in the latter case, a function block called a tag processing unit is added in order to perform code formation at the final stage. In this part, compressed data is generated as a code stream during the compression operation, and a code stream necessary for decompression is interpreted during the decompression operation. And with the code stream, JPEG2000 can realize various convenient functions. For example, as shown in FIG. 25 to be described later, the compression / decompression operation of a still image can be freely stopped at an arbitrary hierarchy (decomposition level) corresponding to octave division in block-based DWT. Become.
A color space conversion unit is often connected to the input / output portion of the original image. For example, the RGB color system composed of R (red) / G (green) / B (blue) components of the primary color system and the Y (yellow) / M (magenta) / C (cyan) components of the complementary color system This corresponds to the part that performs conversion from the YMC color system consisting of the above to the YUV or YCbCr color system or the reverse conversion.
Hereinafter, the JPEG2000 algorithm will be described in detail.
In general, as shown in FIG. 24, each color image component (here, RGB primary color system) is divided by a rectangular area (tile) 120 in the color image. Each tile, for example, R00, R01, ..., R15 / G00, G01, ..., G15 / B00, B01, ..., B15, is a basic unit for executing the compression / decompression process. Therefore, the compression / decompression operation is performed independently for each component and for each tile 120.
At the time of encoding, the data of each tile of each component is input to the color space conversion unit in FIG. 27 and subjected to color space conversion, and then two-dimensional wavelet conversion (forward conversion) is applied by the two-dimensional wavelet conversion unit. Space is divided into frequency bands.
図２５にはデコンポジション・レベル数が３の場合の、各デコンポジション・レベルにおけるサブ・バンドを示している。即ち、原画像のタイル分割によって得られたタイル原画像（０ＬＬ）、（デコンポジション・レベル０）に対して、２次元ウェーブレット変換を施し、デコンポジション・レベル１に示すサブ・バンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）を分離する。そして引き続き、この階層における低周波成分１ＬＬに対して、２次元ウェーブレット変換を施し、デコンポジション・レベル２に示すサブ・バンド（２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨ）を分離する。順次同様に、低周波成分２ＬＬに対しても、２次元ウェーブレット変換を施し、デコンポジション・レベル３に示すサブ・バンド（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ）を分離する。更に図２５では、各デコンポジション・レベルにおいて符号化の対象となるサブ・バンドを、グレーで表してある。例えば、デコンポジション・レベル数を３とした時、グレーで示したサブ・バンド（３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨ）が符号化対象となり、３ＬＬサブ・バンドは符号化されない。
次いで、指定した符号化の順番で符号化の対象となるビットが定められ、図２３の量子化部１１２で対象ビット周辺のビットからコンテキストが生成される。
量子化の処理が終わったウェーブレット係数は、個々のサブ・バンド毎に、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。図２７に示したように、一つのプレシンクトは、空間的に一致した３つの矩形領域からなっている。更に、個々のプレシンクトは、重複しない矩形の「コード・ブロック」に分けられる。これは、エントロピー・コーディングを行う際の基本単位となる。
FIG. 25 shows sub-bands at each decomposition level when the number of decomposition levels is three. That is, two-dimensional wavelet transform is applied to the tile original image (0LL) and (decomposition level 0) obtained by the tile division of the original image, and the sub-bands (1LL, 1HL shown in the decomposition level 1) , 1LH, 1HH). Subsequently, the low-frequency component 1LL in this hierarchy is subjected to two-dimensional wavelet transform to separate sub-bands (2LL, 2HL, 2LH, 2HH) shown in the
Next, the bits to be encoded are determined in the designated encoding order, and the context is generated from the bits around the target bits in the
The wavelet coefficients that have undergone the quantization process are divided into non-overlapping rectangles called “precincts” for each sub-band. This was introduced to use memory efficiently in implementation. As shown in FIG. 27, one precinct is composed of three rectangular regions that are spatially coincident. Further, each precinct is divided into non-overlapping rectangular “code blocks”. This is the basic unit for entropy coding.
エントロピー符号化部１１３（図２３参照）では、コンテキストと対象ビットから確率推定によって、各コンポーネントのタイルに対する符号化を行う。こうして、原画像の全てのコンポーネントについて、タイル単位で符号化処理が行われる。
エントロピー符号化部１１３で形成される符号データの最小単位は、パケットと呼ばれる。パケットは、プログレッシブ順にシーケンス化され、これが画像ヘッダセグメントのなかの１つで示される。パケットはあるプログレッシブ順データ、例えば、それぞれ領域、解像度、レイヤ、および色成分によって配列される。即ち、ＪＰＥＧ２０００規格では、画質（レイヤ（Ｌ））、解像度（Ｒ）、コンポーネント（Ｃ）、位置（プレシンクト（Ｐ））という４つの画像の要素の優先順位を変更することによって、以下に示す５通りのプログレッションが定義されている。
（１）ＬＲＣＰ プログレッション：プレシンクト、コンポーネント、解像度レベル、レイヤの順序に復号されるため、レイヤのインデックスが進む毎に画像全面の画質が改善されることになり、画質のプログレッションが実現出来る。レイヤプログレッションとも呼ばれる。
（２）ＲＬＣＰ プログレッション：プレシンクト、コンポーネント、レイヤ、解像度レベルの順序に復号されるため、解像度のプログレッションが実現出来る。
（３）ＲＰＣＬ プログレッション：レイヤ、コンポーネント、プレシンクト、解像度レベルの順序に復号されるため、ＲＬＣＰ同様、解像度のプログレッションであるが、特定位置の優先度を高くすることが出来る。
（４）ＰＣＲＬ プログレッション：レイヤ、解像度レベル、コンポーネント、プレシンクトの順序に復号されるため、特定部分の復号が優先されるようになり空間位置のプログレッションが実現出来る。
（５）ＣＰＲＬ プログレッション：レイヤ、解像度レベル、プレシンクト、コンポーネントの順序に復号されるため、例えばカラー画像のプログレッシブ復号の際に最初にグレーの画像を再現するようなコンポーネントのプログレッションが実現出来る。
このようにＪＰＥＧ２０００規格では、画像は領域（タイルまたはプレシンクトといった画像構成要素）、解像度、階層（レイヤ）、色成分に分割され、夫々が独立してパケットとして符号化される。これらのパケットはデコードすることなしに、コード・ストリームから識別され抽出され得るところに特徴がある。
最後にタグ処理部（符号列形成部）１１４は、エントロピコーダ部からの全符号化データを１本のコード・ストリームに結合するとともに、それにタグを付加する処理を行う。
The entropy encoding unit 113 (see FIG. 23) encodes the tile of each component by probability estimation from the context and the target bit. In this way, encoding processing is performed in tile units for all components of the original image.
The minimum unit of code data formed by the
(1) LRCP progression: Since decoding is performed in the order of precinct, component, resolution level, and layer, the image quality of the entire image is improved each time the layer index is advanced, and the progression of image quality can be realized. Also called layer progression.
(2) RLCP progression: Since the decoding is performed in the order of precinct, component, layer, and resolution level, the progression of resolution can be realized.
(3) RPCL progression: Since decoding is performed in the order of layer, component, precinct, and resolution level, it is a progression of resolution as in RLCP, but the priority of a specific position can be increased.
(4) PCRL progression: Since decoding is performed in the order of layer, resolution level, component, and precinct, decoding of a specific part is prioritized, and progression of spatial position can be realized.
(5) CPRL Progression: Since decoding is performed in the order of layer, resolution level, precinct, and component, for example, when a color image is progressively decoded, a component progression that first reproduces a gray image can be realized.
As described above, in the JPEG2000 standard, an image is divided into regions (image constituent elements such as tiles or precincts), resolutions, hierarchies (layers), and color components, and each is independently encoded as a packet. These packets are characterized in that they can be identified and extracted from the code stream without decoding.
Finally, the tag processing unit (code string forming unit) 114 performs a process of combining all the encoded data from the entropy coder unit into one code stream and adding a tag thereto.
図２６には、コード・ストリームの構造を簡単に示した。
コード・ストリームの先頭と各タイルを構成する部分タイルの先頭にはヘッダと呼ばれるタグ情報が付加され、その後に、各タイルの符号化データが続く。そして、コード・ストリームの終端には、再びタグが置かれる。
一方、復号化時には、符号化時とは逆に、各コンポーネントの各タイルのコード・ストリームから画像データを生成する。
図２３を用いて簡単に説明する。この場合、タグ処理部１１４は、外部より入力したコード・ストリームに付加されたタグ情報を解釈し、コード・ストリームを各コンポーネントの各タイルのコード・ストリームに分解し、その各コンポーネントの各タイルのコード・ストリーム毎に復号化処理が行われる。コード・ストリーム内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、逆量子化部１１２で、その対象ビット位置の周辺ビット（既に復号化を終えている）の並びからコンテキストが生成される。エントロピー復号化部１１３で、このコンテキストとコード・ストリームから確率推定によって復号化を行い、対象ビットを生成し、それを対象ビットの位置に書き込む。このようにして復号化されたデータは周波数帯域毎に空間分割されているため、これを２次元ウェーブレット逆変換部で２次元ウェーブレット逆変換を行うことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間逆変換部によって元の表色系のデータに変換される。
このように、ＪＰＥＧ２０００の符号データは、５通りのプログレッションをもつパケット単位で階層構成をもつため、階層単位で該階層を構成するパケットを削除するなどの符号データの編集処理を容易に実施することができるのである。
ＭｏｔｉｏｎＪＰＥＧ２０００という規格は、上記ＪＰＥＧ２０００形式で符号化された静止画像を連続して再生するものである。ｍｏｔｉｏｎ−ＪＰＥＧ２０００のようにフレーム間独立に符号化されているので、独立したフレーム画像を編集することを簡単に実現することができるのである。
ｍｏｔｉｏｎ−ＪＰＥＧ２０００の符号化による符号データ形成後に、フレームレートを変更するなど、符号データを簡単に編集することができる。
FIG. 26 simply shows the structure of the code stream.
Tag information called a header is added to the head of the code stream and the head of the partial tiles constituting each tile, followed by the encoded data of each tile. A tag is again placed at the end of the code stream.
On the other hand, at the time of decoding, contrary to the time of encoding, image data is generated from the code stream of each tile of each component.
This will be briefly described with reference to FIG. In this case, the
As described above, since JPEG2000 code data has a hierarchical structure in units of packets having five types of progression, code data editing processing such as deletion of packets constituting the hierarchy in units of layers can be easily performed. Can do it.
The standard called Motion JPEG 2000 is for continuously reproducing still images encoded in the JPEG 2000 format. Since it is encoded independently between frames as in motion-JPEG2000, editing of independent frame images can be easily realized.
After the code data is formed by encoding motion-JPEG2000, the code data can be easily edited, for example, by changing the frame rate.
次に、インターレース画像を対象とした奥行き調整について説明する。
三次元連続画像データの符号化すると共に、動画像に関しても、フレーム画像単位で奥行き情報を算出する。
また、ｍｏｔｉｏｎ−ＪＰＥＧ２０００符号化方式で符号化されているとフレーム毎に独立した符号化ができ、先に述べたようにフレーム単位で独立した符号データの符号データレベルでの編集を容易に実現できる。
ｍｏｔｉｏｎ−ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ １５４４４−１）規格に基づき符号化については、下に簡潔に説明している。
左眼用右眼用画像データはインターレース画像であっても前述と同様に奥行きを算出することができる。フレームレートを調整することもできる。
典型的な左眼の画像データと右眼の画像データから構成される立体動画像データの符号化においては、夫々の画像データは複数のフレーム（ピクチャ）で構成されている。
左眼の画像データと右眼の画像データは、図２８で示すように夫々の画像データはライン毎に左眼画像データと右眼画像データとを交互にマージする。このとき、動画像データは、インターレース走査方式得られた画像であっても、ノンインタレース走査方式で得られた画像であっても構わない。フレーム画像データがインターレース画像であっても、ライン単位では、右眼用左眼用の三次元画像データは互いに同じ時刻で同じところを見たときのデータであるので、フィールド分割されたフィールドデータであっても、合成されたフレームデータであっても、右眼用左眼用の三次元画像データ間での相関を使用して奥行き方向の動き量を推定することも可能なのである。
図２９は入力３Ｄ画像データがインターレース信号である場合の奥行き度合い算出の原理図である。フィールド単位で相関を算出することで容易に奥行きを算出できる。
Next, depth adjustment for interlaced images will be described.
In addition to encoding three-dimensional continuous image data, depth information is also calculated for each frame image for a moving image.
In addition, when encoded with the motion-JPEG2000 encoding method, independent encoding can be performed for each frame, and as described above, editing at the code data level of independent code data can be easily realized. .
The encoding based on the motion-JPEG2000 (ISO / IEC 15444-1) standard is briefly described below.
Even if the left-eye image data for the right eye is an interlaced image, the depth can be calculated in the same manner as described above. You can also adjust the frame rate.
In encoding of stereoscopic moving image data composed of typical left-eye image data and right-eye image data, each image data is composed of a plurality of frames (pictures).
As shown in FIG. 28, the left-eye image data and the right-eye image data are obtained by alternately merging the left-eye image data and the right-eye image data for each line. At this time, the moving image data may be an image obtained by an interlace scanning method or an image obtained by a non-interlace scanning method. Even if the frame image data is an interlaced image, the 3D image data for the right eye and the left eye is data when the same place is viewed at the same time in line units. Even if it is synthesized frame data, it is possible to estimate the amount of motion in the depth direction using the correlation between the three-dimensional image data for the left eye for the right eye.
FIG. 29 is a principle diagram of depth degree calculation when the input 3D image data is an interlace signal. Depth can be easily calculated by calculating correlation in field units.
上記図１７、１８では、画像データがインターレース信号について簡潔に説明している。
図１７は、ビデオカメラ等により撮影されるインターレース画像データで構成されるフレームデータについて説明するための図である。夫々の画像データは右眼用左眼用の三次元画像データである。
このように、撮影の開始時間Ｔ０と共にフレーム０の画像のインターレース形式によるスキャンを行いフレーム画像が形成され、さらに、一定時間経過後、例えば、１／６０秒後にフレーム１の画像のインターレース形式によるスキャンを行いフレーム画像が形成される。インターレース形式のスキャンは後述するように走査ラインを複数回にわけて行う。そして終了時間ｔｎまでの間に一定時間単位、例えば１／６０秒単位で合計ｎ枚のフレームの画像をインターレース形式で形成する。一般に、フレームデータにおいては、奇数フィールドと偶数フィールドの撮影時間の差がある。
In FIGS. 17 and 18, the image data briefly describes the interlace signal.
FIG. 17 is a diagram for explaining frame data composed of interlaced image data shot by a video camera or the like. Each image data is three-dimensional image data for the left eye for the right eye.
As described above, the
図１８は、インターレース形式のフレームデータのフィールドデータについて説明するための図である。図１８に示すように、インターレース形式の画像は、１画素のライン（実線で示す走査ラインン）をスキャンした後、直ぐ下の画素のライン（点線で示す走査ライン）を飛ばして２画素下のライン（実線で示す走査ライン）をスキャンする。次に、前回スキャンしなかった画素ライン（点線で示す走査ライン）のスキャンを上から行う。このように、あるラインをスキャンしてから直ぐ下の画素のラインをスキャンするのに一定時間、例えば、１／１２０秒経過している。そのため後述するように、スキャンして読み込まれたインターレース形式のある一つのフレームデータにはスキャン時間の異なる画像が形成されるのである。
図１８に示すように、インターレース形式のフレームデータはスキャン時間の異なるフィールドデータに分解することができる。奇数フィールドデータが、奇数走査ラインでスキャンされたデータ（実線で示す走査ライン）であり、偶数フィールドデータが、偶数走査ラインでスキャンされたデータ（点線で示す走査ライン）である。
なお、最後に本願発明と各特許文献を比較すると、特許文献１はライン毎に合成して符号化するところは本発明と同じである。本発明では、併合する画像が互いに少し異なる（殊に右眼用及び左眼用の立体画像のデータでは視差のために互いに少し異なる）ので、その差を補正して併合する機能を備えることで、複数の画像間を合成した時の合成画像の圧縮率を上げている。また特許文献１では符号化方式としてＭＰＥＧ（Moving Picture Image Coding Experts Group）方式に限定している。
また特許文献２は画像データの撮像時に光学的に奥行きを算出することに係る発明であり、本発明にあるような撮像された画像データを分析して奥行き情報を算出するというものではない。
ＪＰＥＧ２０００符号化に関しては、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００（Ｊ２Ｋ：ＩＳＯ／ＩＥＣ １５４４４−１）規格の符号化では、フレーム単位の符号化がなされる。フレーム単位に独立した処理が可能である。また、ＪＰＥＧ２０００では生成した符号データ空間上での領域が、画像空間上での領域と対応が取られているので、符号レベルでの領域毎の処理を効率的にすることができる。
FIG. 18 is a diagram for explaining field data of interlaced frame data. As shown in FIG. 18, an interlaced image is obtained by scanning a line of one pixel (scanning line indicated by a solid line) and then skipping a line of pixels immediately below (scanning line indicated by a dotted line) by two pixels below. (Scanning line indicated by a solid line) is scanned. Next, scanning of pixel lines (scan lines indicated by dotted lines) that were not scanned last time is performed from above. As described above, a certain time, for example, 1/120 second has elapsed since the line of the pixel immediately below after scanning a certain line. Therefore, as will be described later, images having different scan times are formed in one frame data of an interlace format scanned and read.
As shown in FIG. 18, interlaced frame data can be decomposed into field data having different scan times. The odd field data is data scanned by odd scan lines (scan lines indicated by solid lines), and the even field data is data scanned by even scan lines (scan lines indicated by dotted lines).
Finally, comparing the present invention with each patent document,
Further,
With regard to JPEG2000 encoding, in the encoding of the Motion-JPEG2000 (J2K: ISO / IEC 15444-1) standard, encoding is performed in units of frames. Independent processing is possible for each frame. Further, in JPEG2000, the generated region in the code data space corresponds to the region in the image space, so that processing for each region at the code level can be made efficient.
１…動画像処理装置、１０…奥行き調整指示部、１０１…三次元画像入力部、１０２…画像奥行き算出部、１０３…動き量評価部、１０４…フレーム符号データ編集部、１０５…画像データ保存部、１０６…評価基準動き量保存部、１０７…フレーム毎奥行き保存部、１０８…フレーム動き量評価結果保存部、１０９…フレーム動き量変化評価結果保存部、１１…画像データ保存部、１１０…色空間変換・逆変換部、１１１…次元ウェーブレット変換・逆変換部、１１２…量子化・逆量子化部、１１３…エントロピー符号化・復号化部、１１４…タグ処理部、１２…符号データ保存部、１２０…タイル、１３…符号データ保存部、１４…奥行き度合い算出部、１５…データ保存部、２…画像データ入力部、３…画像データ保存部、３３…画像奥行き方向動き算出部、３４…フレーム奥行き保存部、４…画像データ編集部、４１…領域毎画像抽出部、４２…画像領域毎奥行き算出部、４３…フレーム奥行き算出部、４４…画像データ保存部、４５…画像領域データ保存部、４６…領域毎奥行き保存部、５…符号化処理部、５１…領域毎画像抽出部、５２…ライン毎画像データ抽出部、５３…相関算出部、５４…奥行き算出部、５５…ライン毎画像データ保存部、５６…相関データ保存部、６…符号列編集部、６２…属性毎領域抽出部、６３…画像属性領域データ保存部、６４…画像属性毎奥行き算出部、６５…データ保存部、６６…画像属性毎奥行き評価部、６７…画像属性毎画像データ編集部、６８…画像データ保存部、７…データ転送部、７１…画像属性毎画像抽出部、７２…ライン毎画像データ抽出部、７３…相関算出部、７４…奥行き算出部、７５…ライン毎画像データ保存部、７６…相関データ保存部、８…復号化処理部、８１…画面内動き量算出部、９…出力処理部
DESCRIPTION OF
Claims (17)
前記相関算出手段及び前記奥行き推定手段における画像領域として、画像データの属性毎の領域を識別して抽出する属性領域抽出手段と、 An attribute region extracting unit that identifies and extracts a region for each attribute of image data as an image region in the correlation calculating unit and the depth estimating unit;
前記相関値が変わるように、画像データの一部を変更することで前記属性に係る領域の奥行きが少なくなるように調整をする調整手段と、を備えることを特徴とする動画像処理装置。A moving image processing apparatus comprising: adjusting means for adjusting a part of the image data so as to reduce a depth of the region related to the attribute so that the correlation value changes.
フレーム毎の三次元動画像の奥行き方向の動き量の変化によって、フレームレートを遅くする遅延手段と、を備えることを特徴とする動画像処理装置。 A moving image processing apparatus comprising: delay means for delaying a frame rate by changing a motion amount in a depth direction of a three-dimensional moving image for each frame.
フレーム毎の三次元動画像の奥行き方向の動き量の変化によって、フレームレートを遅くする遅延ステップと、 A delay step that slows down the frame rate by changing the amount of motion in the depth direction of the 3D moving image for each frame;
を有することを特徴とする動画像処理方法。A moving image processing method comprising:
前記相関算出手段及び前記奥行き推定手段における画像領域である画像データの属性毎の領域を識別して抽出する属性領域抽出ステップと、 An attribute region extracting step of identifying and extracting a region for each attribute of image data that is an image region in the correlation calculating unit and the depth estimating unit;
前記相関値が変わるように、画像データの一部を変更することで前記属性領域としての文字属性の奥行きが少なくなるように調整をする調整手段ステップと、を有することを特徴とする動画像処理方法。A moving image processing comprising: adjusting means for adjusting the depth of the character attribute as the attribute region by changing a part of the image data so that the correlation value changes. Method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005202358A JP4792250B2 (en) | 2005-07-11 | 2005-07-11 | Moving image processing apparatus and moving image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005202358A JP4792250B2 (en) | 2005-07-11 | 2005-07-11 | Moving image processing apparatus and moving image processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007020130A JP2007020130A (en) | 2007-01-25 |
| JP4792250B2 true JP4792250B2 (en) | 2011-10-12 |
Family
ID=37756839
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005202358A Expired - Fee Related JP4792250B2 (en) | 2005-07-11 | 2005-07-11 | Moving image processing apparatus and moving image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4792250B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101682208B1 (en) | 2010-10-22 | 2016-12-02 | 삼성전자주식회사 | Display apparatus and method |
| JP2012169730A (en) * | 2011-02-10 | 2012-09-06 | Nec Personal Computers Ltd | Image processing method and image processing device |
| KR102143472B1 (en) * | 2013-07-26 | 2020-08-12 | 삼성전자주식회사 | Multi view image processing apparatus and image processing method thereof |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2769387B2 (en) * | 1990-11-29 | 1998-06-25 | 松下電器産業株式会社 | Three-dimensional data acquisition method and three-dimensional data acquisition device |
| JP3465988B2 (en) * | 1994-04-27 | 2003-11-10 | 松下電器産業株式会社 | Method and apparatus for estimating movement and depth |
| JP3637226B2 (en) * | 1999-02-01 | 2005-04-13 | 株式会社東芝 | Motion detection method, motion detection device, and recording medium |
| JP4251952B2 (en) * | 2003-10-01 | 2009-04-08 | シャープ株式会社 | Stereoscopic image display apparatus and stereoscopic image display method |
-
2005
- 2005-07-11 JP JP2005202358A patent/JP4792250B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2007020130A (en) | 2007-01-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4751116B2 (en) | Image processing apparatus and image processing method | |
| US8953898B2 (en) | Image processing apparatus and method | |
| TWI436286B (en) | Method and apparatus for decoding image | |
| JP5660361B2 (en) | Image processing apparatus and method, and program | |
| JP5437807B2 (en) | Moving picture encoding apparatus and moving picture decoding apparatus | |
| JP2014502480A (en) | Method, computer program and system for tone mapping a high dynamic range (HDR) video data stream | |
| JP4898513B2 (en) | Client / server system | |
| JP2007142614A (en) | Image processing apparatus and method, program, and information recording medium | |
| JP4637672B2 (en) | Encoding processing apparatus and method | |
| KR20000059799A (en) | Device and method for motion compensation coding using wavelet coding | |
| JP2003018602A (en) | Method and device for encoding and decoding image data | |
| JP4792250B2 (en) | Moving image processing apparatus and moving image processing method | |
| WO2006046550A1 (en) | Image encoding method and device, image decoding method, and device | |
| US20070269120A1 (en) | Video image compression using model plus difference image | |
| JP2007074042A (en) | Moving picture processing apparatus and method | |
| JP4165752B2 (en) | Secret data insertion method and secret data detection method for image data | |
| JP3942088B2 (en) | Image processing apparatus and image processing method | |
| JP4489474B2 (en) | Image processing apparatus, program, and recording medium | |
| JP4522951B2 (en) | Moving picture encoding method and apparatus, decoding method and apparatus, moving picture processing program, and computer-readable recording medium | |
| JP2003032639A (en) | Image processing method and equipment, and contents recording method capable of being used for the method and the equipment | |
| JP4247089B2 (en) | Non-interlaced image processing apparatus and processing method | |
| JP2005136596A (en) | System and method for processing motion picture, program and information recording medium | |
| JP4667423B2 (en) | Image decoding device | |
| JP4667424B2 (en) | Image decoding device | |
| JP2003032687A (en) | Method and system for image processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080617 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100714 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100831 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101028 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110719 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110725 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140729 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |