JP5622537B2 - Error concealment device - Google Patents
Error concealment device Download PDFInfo
- Publication number
- JP5622537B2 JP5622537B2 JP2010266493A JP2010266493A JP5622537B2 JP 5622537 B2 JP5622537 B2 JP 5622537B2 JP 2010266493 A JP2010266493 A JP 2010266493A JP 2010266493 A JP2010266493 A JP 2010266493A JP 5622537 B2 JP5622537 B2 JP 5622537B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- video frame
- frame
- additional information
- information data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H04N13/04—
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
この発明は、例えば、三次元映像を含むＲＴＰパケットの伝送中の損失や遅延に伴って、一部の三次元映像が欠損したときに、その欠損箇所を補填することで、三次元映像の画質を高めるエラーコンシールメント装置に関するものである。 For example, when a part of 3D video is lost due to loss or delay during transmission of an RTP packet including 3D video, the present invention compensates for the missing part, thereby improving the image quality of the 3D video. It is related with the error concealment apparatus which raises.
近年、三次元映像を表示することが可能なテレビの普及が進んでいる。
また、ＩＰネットワーク上での映像配信など、リアルタイムに映像通信を行うサービスの普及も進んでいる。
ただし、ＩＰネットワークは、ベストエフォート型のネットワークであり、ネットワークの伝送品質が保証されていないため、パケットの転送遅延や損失が発生することがある。
したがって、三次元映像をＩＰネットワーク上で配信するなどの場合には、三次元映像の一部が欠損して、三次元映像の画質が低下する現象が発生する。このため、三次元映像の画質を高めるには、三次元映像の欠損箇所を補填するエラーコンシールメント技術が必要となる。
In recent years, televisions capable of displaying 3D images have been widely used.
In addition, services that perform real-time video communication, such as video distribution over IP networks, are also spreading.
However, since the IP network is a best-effort network and the transmission quality of the network is not guaranteed, packet transfer delay or loss may occur.
Therefore, when 3D video is distributed over an IP network, a part of the 3D video is lost, and a phenomenon in which the image quality of the 3D video is deteriorated occurs. For this reason, in order to improve the image quality of a 3D image, an error concealment technique that compensates for a missing portion of the 3D image is required.
エラーコンシールメント技術として、エラーの発生箇所に対して、ブロック単位で、他ブロックの映像データや、同じ映像の近傍の画素情報を参照して、疑似データを作成する方法や、エラーが発生しているブロックを特定の色で埋める方法などが挙げられる（例えば、特許文献１を参照）。
しかし、これらのエラーコンシールメント技術は、二次元映像を対象としており、複数の方向から撮影されることで得られる三次元映像の欠損箇所を補填するものとしては十分でない。
As an error concealment technique, the method of creating pseudo data by referring to the video data of other blocks and pixel information in the vicinity of the same video in block units for the location where the error occurred, or if an error occurs For example, a method of filling a certain block with a specific color (see, for example, Patent Document 1).
However, these error concealment techniques are intended for 2D images, and are not sufficient to compensate for missing portions of 3D images obtained by photographing from a plurality of directions.
以下の特許文献２，３には、三次元映像に対してエラーコンシールメントを行うエラーコンシールメント装置が開示されている。
即ち、特許文献２には、映像データの特定領域でエラーが発生している場合、映像領域単位で、エラーが発生している映像データの代わりに、他の方向から撮影された映像データを補填する技術が開示されている。
また、特許文献３には、映像データの特定領域でエラーが発生している場合、配信映像に含まれている視差ベクトルによって視差補償した映像データで、エラーが発生している映像データを修復することで、三次元映像に対してエラーコンシールメントを行う技術が開示されている。
That is, in
Further, in Patent Document 3, when an error has occurred in a specific area of video data, the video data in which the error has occurred is restored with video data that has been subjected to parallax compensation using a parallax vector included in the distribution video. Thus, a technique for performing error concealment on a three-dimensional image is disclosed.
従来のエラーコンシールメント装置は以上のように構成されているので、エラーが発生している映像データの修復等が行われる。しかし、三次元映像に対するエラーコンシールメントの実行タイミングを制御していないため、エラーコンシールメントの実行に伴って、三次元映像に急激な視差変化が発生して、画質が劣化してしまうことがある課題があった。
また、他の方向から撮影された映像データを補填する際、補填に使用することが可能なデータの領域に制限を設けていないため、エラーコンシールメントの実行に伴って、画質が劣化してしまうことがあるという課題があった。
さらに、エラーが発生している映像データの代わりに、他の方向から撮影された映像データを補填する際、水平方向の視差に対するずれを補正していないため、エラーコンシールメントの実行に伴って、画質が劣化してしまうことがあるという課題があった。
Since the conventional error concealment apparatus is configured as described above, restoration of video data in which an error has occurred is performed. However, since the execution timing of error concealment for 3D video is not controlled, a sudden parallax change may occur in 3D video due to execution of error concealment, which may degrade image quality. There was a problem.
In addition, when video data taken from other directions is compensated, there is no restriction on the data area that can be used for compensation, so the image quality deteriorates with the execution of error concealment. There was a problem that there was something.
In addition, when compensating for video data taken from other directions instead of video data in which an error has occurred, the deviation from the horizontal parallax is not corrected, so with the execution of error concealment, There has been a problem that image quality may deteriorate.
この発明は上記のような課題を解決するためになされたもので、欠損が発生している三次元映像の画質を高めることができるエラーコンシールメント装置を得ることを目的とする。 The present invention has been made to solve the above-described problems, and an object thereof is to obtain an error concealment device capable of improving the image quality of a three-dimensional image in which a defect has occurred.
この発明に係るエラーコンシールメント装置は、三次元映像から二次元映像の映像フレームを生成するとともに、その映像フレーム内の欠損箇所を特定する映像フレーム生成手段と、映像フレーム生成手段により生成された映像フレームの中で、シーンチェンジが発生している映像フレームを検出するシーンチェンジ検出手段と、映像フレーム生成手段により欠損箇所が特定された映像フレームが存在する場合、シーンチェンジ検出手段の検出結果を参照して、その映像フレームより時間的に前方及び後方の映像フレームの中で、シーンチェンジが発生している映像フレームを特定し、シーンチェンジが発生している前方の映像フレームからシーンチェンジが発生している後方の映像フレームまでの区間をフレーム複写区間に設定する複写区間設定手段とを設け、フレーム複写手段が、映像フレーム生成手段により生成された映像フレームの中で、複写区間設定手段により設定されたフレーム複写区間内の映像フレームを、上記二次元映像と撮影方向が異なる二次元映像から生成された映像フレームに置き換える複写処理を行うようにしたものである。 An error concealment device according to the present invention generates a video frame of a 2D video from a 3D video and also specifies a video frame generation means for identifying a missing portion in the video frame, and a video generated by the video frame generation means If there are scene change detection means for detecting a video frame in which a scene change has occurred in the frame and a video frame in which a missing portion is specified by the video frame generation means, refer to the detection result of the scene change detection means. Then, the video frame where the scene change has occurred is identified from the video frames ahead and behind that video frame, and the scene change occurs from the front video frame where the scene change has occurred. Copy area that sets the section to the back video frame as the frame copy section Setting means, and the frame copying means determines the video frames in the frame copying section set by the copying section setting means among the video frames generated by the video frame generating means, with the two-dimensional video and the shooting direction. Copy processing is performed to replace a video frame generated from a different two-dimensional video.
この発明によれば、三次元映像から二次元映像の映像フレームを生成するとともに、その映像フレーム内の欠損箇所を特定する映像フレーム生成手段と、映像フレーム生成手段により生成された映像フレームの中で、シーンチェンジが発生している映像フレームを検出するシーンチェンジ検出手段と、映像フレーム生成手段により欠損箇所が特定された映像フレームが存在する場合、シーンチェンジ検出手段の検出結果を参照して、その映像フレームより時間的に前方及び後方の映像フレームの中で、シーンチェンジが発生している映像フレームを特定し、シーンチェンジが発生している前方の映像フレームからシーンチェンジが発生している後方の映像フレームまでの区間をフレーム複写区間に設定する複写区間設定手段とを設け、フレーム複写手段が、映像フレーム生成手段により生成された映像フレームの中で、複写区間設定手段により設定されたフレーム複写区間内の映像フレームを、上記二次元映像と撮影方向が異なる二次元映像から生成された映像フレームに置き換える複写処理を行うように構成したので、欠損が発生している三次元映像の画質を高めることができる効果がある。 According to the present invention, a video frame of a 2D video is generated from a 3D video, and a video frame generating means for specifying a missing portion in the video frame, and the video frame generated by the video frame generating means If there is a scene change detection means for detecting a video frame in which a scene change has occurred and a video frame in which a missing portion is specified by the video frame generation means, refer to the detection result of the scene change detection means, The video frame where the scene change has occurred is identified in the video frames ahead and behind the video frame, and the rear of the scene frame where the scene change has occurred from the front video frame where the scene change has occurred A copy section setting means for setting the section up to the video frame as a frame copy section; The copying means generates a video frame in the frame copying section set by the copying section setting means from the two-dimensional video having a shooting direction different from that of the two-dimensional video among the video frames generated by the video frame generating means. Since the copying process is performed to replace the image frame, the image quality of the 3D image in which the defect has occurred can be improved.
実施の形態１．
図１はこの発明の実施の形態１による三次元映像の配信システムを示す構成図である。
図１において、映像ストレージ１は三次元映像を保管している記憶装置である。
映像配信サーバ２は映像ストレージ１に保管されている三次元映像を取得して、その三次元映像をＲＴＰパケット化し、トランスポートプロトコルとしてＵＤＰを使用することで、その三次元映像を含むＲＴＰパケットを配信する装置である。
三次元映像は、被写体を複数の方向から撮影することで得られている撮影方向毎の映像データが符号化されているものである。
この実施の形態１では、三次元映像の撮影方向が、人間の右目に対応する方向と、左目に対応する方向の二方向であるとして説明する。
人間は、右目映像と左目映像を提示されると、両眼視差によって三次元の知覚の手がかりを得ることが知られている。ただし、撮影方向を二方向に限定するものではなく、多方向の場合であってもよい。
Embodiment 1 FIG.
FIG. 1 is a block diagram showing a 3D video distribution system according to Embodiment 1 of the present invention.
In FIG. 1, a video storage 1 is a storage device that stores 3D video.
The
The 3D video is obtained by encoding video data for each shooting direction obtained by shooting a subject from a plurality of directions.
In the first embodiment, description will be made assuming that the three-dimensional video shooting directions are two directions, that is, a direction corresponding to the human right eye and a direction corresponding to the left eye.
It is known that when a human is presented with a right-eye image and a left-eye image, a three-dimensional perception cue is obtained by binocular parallax. However, the shooting direction is not limited to two directions, and may be multi-directional.
また、この実施の形態１では、映像配信サーバ２が三次元映像を配信する際、その三次元映像を右目映像又は左目映像のいずれか一方の二次元映像に変換するとともに、その三次元映像を付加情報に変換し（右目映像から左目映像（または、左目映像から右目映像）を復元する際に用いる情報であり、例えば、二次元映像に対する奥行き情報や視差ベクトル、または、二次元映像からもう一方の映像に対する差分情報が該当する）、三次元映像として、いずれか一方の二次元映像と付加情報を配信する。
なお、二次元映像は、例えば、ＭＰＥＧ２やＨ．２６４／ＡＶＣなどによって符号化されていてもよい。また、付加情報も、例えば、算術符号化などによって符号化されていてもよい。
Further, in the first embodiment, when the
Note that 2D video is, for example, MPEG2 or H.264. It may be encoded by H.264 / AVC or the like. Further, the additional information may also be encoded by, for example, arithmetic encoding.
外部ネットワーク３は映像配信サーバ２とホームゲートウェイ装置４を接続しているインターネットやＬＡＮなどのネットワークである。
ホームゲートウェイ装置４は宅内に設置されて、光ファイバや電話回線を通じて、外部ネットワーク３と接続されており、映像配信サーバ２から配信された三次元映像を含むＲＴＰパケットを映像受信端末６に転送する装置である。
ホームネットワーク５はホームゲートウェイ装置４と映像受信端末６を接続しているＬＡＮなどの宅内のネットワークである。
The external network 3 is a network such as the Internet or a LAN that connects the
The home gateway device 4 is installed in the home and connected to the external network 3 through an optical fiber or a telephone line, and transfers the RTP packet including the 3D video distributed from the
The
映像受信端末６はホームゲートウェイ装置４により転送された三次元映像を含むＲＴＰパケットを受信し、その三次元映像に欠損箇所があれば、その欠損箇所を補填するエラーコンシールメント処理を実施するエラーコンシールメント装置１１（図２を参照）を実装している。
三次元映像対応テレビ７は映像入出力インタフェース（図示せず）を介して映像受信端末６と接続されており、映像受信端末６から出力された右目映像と左目映像を画面に表示することで、三次元映像を再生するテレビである。
The
The 3D video-
図２はこの発明の実施の形態１によるエラーコンシールメント装置１２を実装している映像受信端末６を示す構成図である。
図２において、ストリーム受信部１１はホームゲートウェイ装置４により転送された三次元映像を含むＲＴＰパケットを受信し、そのＲＴＰパケットに含まれている三次元映像から二次元映像（右目映像の二次元映像、または、左目映像の二次元映像）を分離して、その二次元映像をエラーコンシールメント装置１２の二次元映像デコーダ１３に出力するとともに、その三次元映像から付加情報（例えば、右目映像の二次元映像を分離している場合、左目映像の二次元映像の復元に用いる情報、左目映像の二次元映像を分離している場合、右目映像の二次元映像の復元に用いる情報）を分離して、その付加情報をエラーコンシールメント装置１２の付加情報デコーダ１５に出力する処理を実施する。
FIG. 2 is a block diagram showing the
In FIG. 2, the stream receiving unit 11 receives an RTP packet including a 3D image transferred by the home gateway device 4, and converts a 2D image (a 2D image of a right-eye image) from the 3D image included in the RTP packet. Alternatively, the two-dimensional video of the left-eye video is separated, and the two-dimensional video is output to the two-
エラーコンシールメント装置１２の二次元映像デコーダ１３はストリーム受信部１１から出力された二次元映像をデコードして、その二次元映像の映像フレーム（以下、「二次元映像フレーム」と称する）を生成するとともに、その二次元映像フレーム内の欠損箇所を特定する処理を実施する。
ここで、二次元映像フレーム内の欠損箇所は、二次元映像フレームの中で、どの位置に、どれだけの大きさの欠損があるかを示す情報である。二次元映像が、例えば、ＭＰＥＧ２やＨ．２６４／ＡＶＣなどによって符号化されている場合は、マクロブロックの位置によって欠損箇所を特定してもよい。
なお、二次元映像デコーダ１３は映像フレーム生成手段を構成している。
The
Here, the missing part in the two-dimensional video frame is information indicating how much of the defect is located at which position in the two-dimensional video frame. Two-dimensional video is, for example, MPEG2 or H.264. In the case of encoding by H.264 / AVC or the like, the missing portion may be specified by the position of the macroblock.
The
シーンチェンジ検出部１４は二次元映像デコーダ１３により生成された二次元映像フレームの中で、シーンチェンジが発生している二次元映像フレームを検出する処理を実施する。なお、シーンチェンジ検出部１４はシーンチェンジ検出手段を構成している。
付加情報デコーダ１５はストリーム受信部１１から出力された付加情報をデコードして、１枚の二次元映像フレームに対応する付加情報データを生成するとともに、その付加情報データ内の欠損箇所を特定する処理を実施する。
ここで、付加情報データ内の欠損箇所は、付加情報データの中で、どの位置に、どれだけの大きさの欠損があるかを示す情報である。
なお、付加情報デコーダ１５は付加情報データ生成手段を構成している。
The scene
The
Here, the missing part in the additional information data is information indicating how much of a missing part is located at which position in the additional information data.
The
出力制御部１６は処理を依頼する処理部を判定する処理（振り分け処理）を実施する。
即ち、出力制御部１６は二次元映像デコーダ１３により二次元映像フレーム内の欠損箇所が特定されているが、付加情報デコーダ１５により付加情報データ内の欠損箇所が特定されていない場合、二次元映像フレーム内の欠損箇所の補填処理を二次元映像補正部１８に依頼する。
また、出力制御部１６は二次元映像デコーダ１３により二次元映像フレーム内の欠損箇所が特定されていないが、付加情報デコーダ１５により付加情報データ内の欠損箇所が特定されている場合、付加情報データ内の欠損箇所の補填処理を付加情報補正部１９に依頼する。
The
That is, the
Further, the
また、出力制御部１６は二次元映像デコーダ１３により二次元映像フレーム内の欠損箇所が特定されており、かつ、付加情報デコーダ１５により付加情報データ内の欠損箇所が特定されている場合、二次元映像フレームの複写処理をフレーム複写部１７に依頼する。
出力制御部１６は二次元映像フレームの複写処理をフレーム複写部１７に依頼する際、シーンチェンジ検出部１４の検出結果を参照して、二次元映像デコーダ１３により欠損箇所が特定された二次元映像フレームより時間的に前方及び後方の二次元映像フレームの中で、シーンチェンジが発生している二次元映像フレームを特定し、シーンチェンジが発生している前方の二次元映像フレームからシーンチェンジが発生している後方の二次元映像フレームまでの区間をフレーム複写区間に設定し、そのフレーム複写区間をフレーム複写部１７に通知する。
In addition, when the missing part in the 2D video frame is specified by the
The
さらに、出力制御部１６は二次元映像デコーダ１３及び付加情報デコーダ１５により欠損箇所が特定されない場合、二次元映像デコーダ１３により生成された二次元映像フレーム及び付加情報デコーダ１５により生成された付加情報データを左右映像生成部２０に出力する。
なお、出力制御部１６は複写区間設定手段及び処理依頼手段を構成している。
Further, the
The
フレーム複写部１７は出力制御部１６から複写処理の依頼を受けると、出力制御部１６から出力されたフレーム複写区間内の映像フレームを、当該二次元映像と撮影方向が異なる二次元映像から生成された二次元映像フレームに置き換える複写処理を行う。
即ち、フレーム複写部１７は二次元映像フレームを複写することで、右目映像と左目映像の対を生成し（右目映像と左目映像は同一の映像フレームになる）、その右目映像と左目映像の対を映像出力部２１に出力する。
なお、フレーム複写部１７はフレーム複写手段を構成している。
When the
That is, the
The
二次元映像補正部１８は出力制御部１６から欠損箇所の補填処理の依頼を受けると、付加情報デコーダ１５により生成された付加情報データに応じて、二次元映像デコーダ１３により生成された二次元映像フレーム内の欠損箇所の補填に用いることが可能な二次元映像フレーム内の領域を指定する処理を実施する。
また、二次元映像補正部１８は指定の領域内の画素を用いて、二次元映像フレーム内の欠損箇所を補填する処理を実施する。
なお、二次元映像補正部１８は第１の欠損箇所補填手段を構成している。
When the 2D
In addition, the 2D
Note that the 2D
付加情報補正部１９は出力制御部１６から欠損箇所の補填処理の依頼を受けると、二次元映像デコーダ１３により生成された二次元映像フレームに応じて、付加情報デコーダ１５により生成された付加情報データ内の欠損箇所の補填に用いることが可能な付加情報データ内の領域を指定する処理を実施する。
また、付加情報補正部１９は指定の領域内の付加情報データを用いて、付加情報データ内の欠損箇所を補填する処理を実施する。
なお、付加情報補正部１９は第２の欠損箇所補填手段を構成している。
When the additional
Further, the additional
Note that the additional
左右映像生成部２０は出力制御部１６から出力された二次元映像フレーム及び付加情報データ、二次元映像補正部１８から出力された補正後の二次元映像フレーム及び付加情報データ、あるいは、付加情報補正部１９から出力された二次元映像フレーム及び補正後の付加情報データを用いて、その二次元映像フレームに係る二次元映像と撮影方向が異なる二次元映像の二次元映像フレームを生成し、２つの二次元映像フレームを右目映像と左目映像の対として、映像出力部２１に出力する処理を実施する。
ただし、フレーム複写部１７から右目映像と左目映像の対が出力されている場合には、その右目映像と左目映像の対を映像出力部２１に出力する。
映像出力部２１は映像入出力インタフェース（図示せず）を介して、右目映像と左目映像の対を三次元映像対応テレビ７に出力する処理を実施する。
The left and right
However, when a pair of right-eye video and left-eye video is output from the
The
図２の例では、エラーコンシールメント装置１２の構成要素である二次元映像デコーダ１３、シーンチェンジ検出部１４、付加情報デコーダ１５、出力制御部１６、フレーム複写部１７、二次元映像補正部１８及び付加情報補正部１９のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、エラーコンシールメント装置１２がコンピュータなどで構成される場合、二次元映像デコーダ１３、シーンチェンジ検出部１４、付加情報デコーダ１５、出力制御部１６、フレーム複写部１７、二次元映像補正部１８及び付加情報補正部１９の処理内容の全部又は一部をコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
In the example of FIG. 2, the
図５はこの発明の実施の形態１によるエラーコンシールメント装置１２の出力制御部１６の処理内容を示すフローチャートである。
図７はこの発明の実施の形態１によるエラーコンシールメント装置１２の二次元映像補正部１８の処理内容を示すフローチャートである。
図９はこの発明の実施の形態１によるエラーコンシールメント装置１２の付加情報補正部１９の処理内容を示すフローチャートである。
FIG. 5 is a flowchart showing the processing contents of the
FIG. 7 is a flowchart showing the processing contents of the 2D
FIG. 9 is a flowchart showing the processing contents of the additional
次に動作について説明する。
まず、映像配信サーバ２は、映像ストレージ１に保管されている三次元映像を取得して、その三次元映像をＲＴＰパケット化し、トランスポートプロトコルとしてＵＤＰを使用することで、その三次元映像を含むＲＴＰパケットを外部ネットワーク３経由でホームゲートウェイ装置４に配信する。
この実施の形態１では、説明の便宜上、三次元映像として、右目映像の二次元映像と付加情報（右目映像から左目映像を復元する際に用いる情報）を配信するものとする。
Next, the operation will be described.
First, the
In the first embodiment, for convenience of explanation, it is assumed that two-dimensional video of the right-eye video and additional information (information used when restoring the left-eye video from the right-eye video) are distributed as the three-dimensional video.
ホームゲートウェイ装置４は、映像配信サーバ２から配信された三次元映像を含むＲＴＰパケットを受信すると、そのＲＴＰパケットをホームネットワーク５経由で映像受信端末６に転送する。
映像受信端末６は、ホームゲートウェイ装置４により転送された三次元映像を含むＲＴＰパケットを受信し、その三次元映像から右目映像と左目映像の対を生成し、その右目映像と左目映像の対を三次元映像対応テレビ７に出力する。
ただし、映像受信端末６は、その三次元映像に欠損箇所があれば、その欠損箇所を補填してから右目映像と左目映像の対を生成し、その右目映像と左目映像の対を三次元映像対応テレビ７に出力する。
When the home gateway device 4 receives the RTP packet including the 3D video distributed from the
The
However, if there is a missing part in the 3D video, the
以下、映像受信端末６の処理内容を具体的に説明する。
ストリーム受信部１１は、ホームゲートウェイ装置４により転送された三次元映像を含むＲＴＰパケットを受信し、そのＲＴＰパケットに含まれている三次元映像から右目映像の二次元映像を分離して、その二次元映像をエラーコンシールメント装置１２の二次元映像デコーダ１３に出力する。
また、ストリーム受信部１１は、そのＲＴＰパケットに含まれている三次元映像から付加情報を分離して、その付加情報をエラーコンシールメント装置１２の付加情報デコーダ１５に出力する。
Hereinafter, the processing content of the
The stream receiving unit 11 receives the RTP packet including the 3D video transferred by the home gateway device 4, separates the 2D video of the right-eye video from the 3D video included in the RTP packet, The two-dimensional video is output to the two-
Further, the stream receiving unit 11 separates the additional information from the 3D video included in the RTP packet, and outputs the additional information to the
二次元映像デコーダ１３は、ストリーム受信部１１から右目映像の二次元映像を受けると、その二次元映像をデコードして、その二次元映像の映像フレームである二次元映像フレームを生成し、その二次元映像フレームをシーンチェンジ検出部１４及び出力制御部１６に出力する。
また、二次元映像デコーダ１３は、その二次元映像をデコードする際、その二次元映像フレーム内の欠損箇所を特定する処理を実施する。
二次元映像フレーム内の欠損箇所は、二次元映像フレームの中で、どの位置に、どれだけの大きさの欠損があるかを示す情報である。
When the
In addition, when the
The missing part in the 2D video frame is information indicating how much of the missing part is located at which position in the 2D video frame.
シーンチェンジ検出部１４は、二次元映像デコーダ１３から二次元映像フレームを受けると、例えば、前後の二次元映像フレームを比較することで、二次元映像デコーダ１３により生成された二次元映像フレームの中で、シーンチェンジが発生している二次元映像フレームを検出し、その検出結果を出力制御部１６に通知する。
When the scene
付加情報デコーダ１５は、ストリーム受信部１１から付加情報を受けると、その付加情報をデコードして、１枚の二次元映像フレームに対応する付加情報データを生成し、その付加情報データを出力制御部１６に出力する。
また、付加情報デコーダ１５は、その付加情報をデコードする際、その付加情報データ内の欠損箇所を特定する処理を実施する。
ここで、付加情報データ内の欠損箇所は、付加情報データの中で、どの位置に、どれだけの大きさの欠損があるかを示す情報である。
When the
Further, when the
Here, the missing part in the additional information data is information indicating how much of a missing part is located at which position in the additional information data.
出力制御部１６は、図３に示すような管理テーブルを備えており、各種の情報を管理テーブルに格納して管理している。
即ち、出力制御部１６は、二次元映像デコーダ１３から出力された二次元映像フレームを“二次元映像フレームＢ１”として管理し、二次元映像デコーダ１３から出力された二次元映像フレーム内の欠損箇所を“欠損箇所Ｃ１”として管理する。
また、出力制御部１６は、付加情報デコーダ１５から出力された付加情報データを“付加情報データＤ１”として管理し、付加情報デコーダ１５から出力された付加情報データ内の欠損箇所を“欠損箇所Ｅ１”として管理する。
また、出力制御部１６は、シーンチェンジ検出部１４によりシーンチェンジが検出された二次元映像フレームを示すマーキング情報を“シーンチェンジ種別Ｆ１”として管理する。
さらに、出力制御部１６は、処理を依頼する処理部の判定結果を“振り分け種別Ｇ１”として管理し、二次元映像デコーダ１３から出力される二次元映像フレームの識別情報を“シーケンス番号Ａ１”として管理する。なお、シーケンス番号Ａ１は、二次元映像デコーダ１３からの出力順が先の二次元映像フレームから順番に小さい番号が割り当てられる。
The
That is, the
Further, the
Further, the
Further, the
出力制御部１６は、図３の管理テーブル内に、シーケンス番号Ａ１の二次元映像フレーム内の欠損箇所Ｃ１と、付加情報データ内の欠損箇所Ｅ１の双方が格納されていない場合、三次元映像に欠損が発生することなく正常に受信されており、三次元映像に対するエラーコンシールメントを行う必要がないので、振り分け種別Ｇ１を“左右映像生成”に設定する。
出力制御部１６は、図３の管理テーブル内に、シーケンス番号Ａ１の二次元映像フレーム内の欠損箇所Ｃ１が格納されているが、付加情報データ内の欠損箇所Ｅ１が格納されていない場合、付加情報データには欠損が発生していないが、二次元映像フレームには欠損が発生しており、二次元映像フレームを補正する必要があるので、振り分け種別Ｇ１を“二次元映像補正”に設定する。
The
If the missing part C1 in the 2D video frame with the sequence number A1 is stored in the management table of FIG. 3, but the missing part E1 in the additional information data is not stored in the management table of FIG. There is no defect in the information data, but there is a defect in the 2D video frame, and it is necessary to correct the 2D video frame, so the distribution type G1 is set to “2D video correction”. .
出力制御部１６は、図３の管理テーブル内に、シーケンス番号Ａ１の二次元映像フレーム内の欠損箇所Ｃ１が格納されていないが、付加情報データ内の欠損箇所Ｅ１が格納されている場合、二次元映像フレームには欠損が発生していないが、付加情報データには欠損が発生しており、付加情報データを補正する必要があるので、振り分け種別Ｇ１を“付加情報補正”に設定する（詳細は後述するが、付加情報データの欠損率が大きく、付加情報データを補正することができない場合には、振り分け種別Ｇ１を“フレーム複写”に設定する）。
出力制御部１６は、図３の管理テーブル内に、シーケンス番号Ａ１の二次元映像フレーム内の欠損箇所Ｃ１が格納されており、かつ、付加情報データ内の欠損箇所Ｅ１が格納されている場合、あるいは、二次元映像フレーム内の欠損箇所Ｃ１が格納されていないが、付加情報データの欠損率が大きい場合、振り分け種別Ｇ１を“フレーム複写”に設定する。
The
The
出力制御部１６は、振り分け種別Ｇ１を“フレーム複写”に設定する場合、図４に示すように、シーンチェンジ検出部１４の検出結果を参照して、シーケンス番号Ａ１の二次元映像フレームより時間的に前方及び後方の二次元映像フレームの中で、シーンチェンジが発生している二次元映像フレームを特定する。
出力制御部１６は、シーンチェンジが発生している前方の二次元映像フレームからシーンチェンジが発生している後方の二次元映像フレームまでの区間をフレーム複写区間に設定し、そのフレーム複写区間をフレーム複写部１７に通知する。
When the distribution type G1 is set to “frame copy”, the
The
即ち、出力制御部１６は、振り分け種別Ｇ１を“フレーム複写”に設定する場合、既に、バッファ（図示せず）に格納されている二次元映像フレーム（シーケンス番号Ａ１の二次元映像フレームより時間的に前方の二次元映像フレーム）の中で、格納順が新しい二次元映像フレームから順番に参照して、シーンチェンジ種別Ｆ１がマークされている二次元映像フレームがあるまで、参照している二次元映像フレームの振り分け種別Ｇ１を“フレーム複写”に変更する。仮に、バッファ内にシーンチェンジ種別Ｆ１がマークされている二次元映像フレームが存在しない場合、バッファ内の全ての二次元映像フレームの振り分け種別Ｇ１を“フレーム複写”に変更するようにしてもよいし、バッファ内の全ての二次元映像フレームの振り分け種別Ｇ１を変更しないようにしてもよい。
また、次に処理する二次元映像フレーム（シーケンス番号Ａ１の二次元映像フレームより時間的に後方の二次元映像フレーム）については、シーンチェンジ種別Ｆ１がマークされているものが現れるまで、振り分け種別Ｇ１を“フレーム複写”に設定する。
That is, when the distribution type G1 is set to “frame copy”, the
Further, for the 2D video frame to be processed next (2D video frame temporally behind the 2D video frame of sequence number A1), the distribution type G1 until the scene change type F1 marked appears. Is set to “frame copy”.
このように、出力制御部１６がフレーム複写区間を設定している理由は、二次元映像フレームの複写処理の実施に伴う画質の劣化を抑制するためである。
即ち、後述するフレーム複写部１７が、二次元映像フレームの複写処理を実施することで、右目映像と左目映像の対を生成すると、三次元映像対応テレビ７に表示される映像が二次元映像として人間に知覚される。このため、人間が三次元を知覚している状態から二次元を知覚する状態に変化し（急激に視差変化が発生する）、この視差変化によって人間が感じる画質が劣化する。
二次元映像フレームの複写処理を実施するタイミングをシーンチェンジが発生しているタイミングと合わせれば、同一シーン内での突然の視差変化の発生を防止して、三次元映像の画質を向上することができる。
As described above, the reason why the
That is, when the
By matching the timing of copying 2D video frames with the timing of scene changes, it is possible to improve the quality of 3D video by preventing sudden parallax changes in the same scene. it can.
以下、図５を参照しながら、出力制御部１６の振り分け処理を具体的に説明する。
まず、出力制御部１６は、図３の管理テーブル内にシーンチェンジ種別Ｆ１が格納されているか否かを判定する（ステップＳＴ１）。
即ち、出力制御部１６は、シーケンス番号Ａ１の二次元映像フレームが、シーンチェンジが発生している二次元映像フレームであるか否かを判定する。
出力制御部１６は、図３の管理テーブル内にシーンチェンジ種別Ｆ１が格納されている場合、フレーム複写判定フラグがＯＮであるか否かを判定し（ステップＳＴ２）、フレーム複写判定フラグがＯＮであれば、そのフレーム複写判定フラグをＯＦＦに設定する（ステップＳＴ３）。
ここで、フレーム複写判定フラグは、次に処理する二次元映像フレームの振り分け種別Ｇ１に対して、“フレーム複写”を設定するか否かを判定する際に用いるフラグである。
Hereinafter, the distribution process of the
First, the
That is, the
When the scene change type F1 is stored in the management table of FIG. 3, the
Here, the frame copy determination flag is a flag used when determining whether or not “frame copy” is set for the distribution type G1 of the 2D video frame to be processed next.
出力制御部１６は、図３の管理テーブル内にシーンチェンジ種別Ｆ１が格納されていない場合、フレーム複写判定フラグがＯＮであるか否かを判定し（ステップＳＴ４）、フレーム複写判定フラグがＯＮであれば、振り分け種別Ｇ１を“フレーム複写”に設定する（ステップＳＴ５）。
When the scene change type F1 is not stored in the management table of FIG. 3, the
出力制御部１６は、フレーム複写判定フラグがＯＦＦである場合、図３の管理テーブル内に、二次元映像フレーム内の欠損箇所Ｃ１が格納されているか否かを判定する（ステップＳＴ６）。
即ち、出力制御部１６は、シーケンス番号Ａ１の二次元映像フレーム内に欠損箇所があるか否かを判定する。
出力制御部１６は、シーケンス番号Ａ１の二次元映像フレーム内に欠損箇所がある場合、図３の管理テーブル内に、付加情報データ内の欠損箇所Ｅ１が格納されているか否かを判定する（ステップＳＴ７）。
即ち、出力制御部１６は、シーケンス番号Ａ１の付加情報データ内に欠損箇所があるか否かを判定する。
出力制御部１６は、付加情報データ内に欠損箇所がない場合、二次元映像フレームを補正するために、振り分け種別Ｇ１を“二次元映像補正”に設定する（ステップＳＴ８）。
When the frame copy determination flag is OFF, the
That is, the
When there is a missing part in the 2D video frame of sequence number A1, the
That is, the
If there is no missing portion in the additional information data, the
出力制御部１６は、シーケンス番号Ａ１の二次元映像フレーム内に欠損箇所がない場合、図３の管理テーブル内に、付加情報データ内の欠損箇所Ｅ１が格納されているか否かを判定する（ステップＳＴ９）。
即ち、出力制御部１６は、シーケンス番号Ａ１の付加情報データ内に欠損箇所があるか否かを判定する。
出力制御部１６は、付加情報データ内に欠損箇所がない場合、三次元映像に対するエラーコンシールメントを行う必要がないので、振り分け種別Ｇ１を“左右映像生成”に設定する（ステップＳＴ１０）。
When there is no missing part in the 2D video frame of sequence number A1, the
That is, the
If there is no missing part in the additional information data, the
出力制御部１６は、付加情報データ内に欠損箇所がある場合、付加情報データ内の欠損箇所Ｅ１から付加情報データの欠損率を算出する（ステップＳＴ１１）。ここで、欠損率は、付加情報データの全体に対する欠損箇所の割合である。
出力制御部１６は、付加情報データの欠損率を所定の閾値と比較し（ステップＳＴ１２）、その付加情報データの欠損率が閾値以内であれば、その付加情報データの補正が可能であるため、振り分け種別Ｇ１を“付加情報補正”に設定する（ステップＳＴ１３）。
When there is a missing part in the additional information data, the
The
出力制御部１６は、その付加情報データの欠損率が閾値を超えている場合、あるいは、二次元映像フレームと付加情報データ内の双方に欠損箇所がある場合、フレーム複写判定フラグをＯＮに設定して（ステップＳＴ１４）、振り分け種別Ｇ１を“フレーム複写”に設定する（ステップＳＴ１５）。
出力制御部１６は、シーケンス番号Ａ１の値から１を減じて（ステップＳＴ１６）、時間的に１つ前の二次元映像フレームが、シーンチェンジが発生している二次元映像フレームであるか否かを判定する。あるいは、時間的に１つ前の二次元映像フレームが、バッファ内の最後の二次元映像フレームであるか否かを判定する（ステップＳＴ１７）。
時間的に１つ前の二次元映像フレームが、シーンチェンジが発生している二次元映像フレームでもなく、バッファ内の最後の二次元映像フレームでもない場合、ステップＳＴ１５の処理に戻り、ステップＳＴ１５〜ＳＴ１７の処理が繰り返し実施される。
これにより、フレーム複写区間内の二次元映像フレームの振り分け種別Ｇ１が“フレーム複写”に設定される。
The
The
If the previous two-dimensional video frame is not the two-dimensional video frame in which the scene change has occurred or the last two-dimensional video frame in the buffer, the process returns to step ST15, and steps ST15 to ST15- The process of ST17 is repeatedly performed.
As a result, the distribution type G1 of the 2D video frame in the frame copy section is set to “frame copy”.
図５では、“フレーム複写”の判定を実施した場合、バッファ内にシーンチェンジ種別Ｆ１がマークされている二次元映像フレームがなければ、バッファ内の全ての二次元映像フレームの振り分け種別Ｇ１を“フレーム複写”に変更する例を記載している。 In FIG. 5, when the determination of “frame copy” is performed, if there is no 2D video frame with the scene change type F1 marked in the buffer, the distribution type G1 of all 2D video frames in the buffer is set to “ An example of changing to “frame copy” is described.
フレーム複写部１７は、出力制御部１６の管理テーブルに格納されている振り分け種別Ｇ１が“フレーム複写”であれば、出力制御部１６から複写処理の依頼を受けていると判断し、出力制御部１６の管理テーブルに格納されているシーケンス番号Ａ１の二次元映像フレームＢ１及び付加情報データＤ１を取得する。
フレーム複写部１７は、二次元映像フレームＢ１と付加情報データＤ１を取得すると、その二次元映像フレームＢ１と付加情報データＤ１から、二次元映像フレームＢ１に係る二次元映像（右目映像の二次元映像）と撮影方向が異なる二次元映像（左目映像の二次元映像）の二次元映像フレームを生成し、その二次元映像フレームを二次元映像フレームＢ１に複写する（右目映像を左目映像と同じ映像フレームにする）。
フレーム複写部１７は、二次元映像フレームの複写処理を行うことで、右目映像と左目映像の対を生成すると、その右目映像と左目映像の対を映像出力部２１に出力する。
If the distribution type G1 stored in the management table of the
When the
When the
二次元映像補正部１８は、出力制御部１６の管理テーブルに格納されている振り分け種別Ｇ１が“二次元映像補正”であれば、出力制御部１６から欠損箇所の補填処理の依頼を受けていると判断し、出力制御部１６の管理テーブルに格納されているシーケンス番号Ａ１の二次元映像フレームＢ１、二次元映像フレーム内の欠損箇所Ｃ１及び付加情報データＤ１を取得する。
二次元映像補正部１８は、二次元映像フレームＢ１、二次元映像フレーム内の欠損箇所Ｃ１及び付加情報データＤ１を取得すると、その付加情報データＤ１に応じて、その二次元映像フレーム内の欠損箇所Ｃ１の補填に用いることが可能な二次元映像フレーム内の領域を指定する。
そして、二次元映像補正部１８は、指定の領域内の画素を用いて、二次元映像フレーム内の欠損箇所Ｃ１を補填する。
If the distribution type G1 stored in the management table of the
When the 2D
Then, the 2D
図６は二次元映像補正部１８による二次元映像フレーム内の欠損箇所の補填処理を示す説明図である。
図６において、付加情報データは、パラメータとその位置が二次元配列の数値として表現されているものとする。図６では、説明のためにパラメータの数値の大きさを濃淡で表現している。
以下、図６及び図７を参照しながら、二次元映像補正部１８の補填処理を具体的に説明する。
FIG. 6 is an explanatory diagram showing a filling process of a missing portion in the 2D video frame by the 2D
In FIG. 6, in the additional information data, the parameters and their positions are expressed as numerical values in a two-dimensional array. In FIG. 6, the numerical values of the parameters are expressed by shading for the sake of explanation.
Hereinafter, the compensation process of the 2D
二次元映像補正部１８は、出力制御部１６の管理テーブルに格納されている振り分け種別Ｇ１が“二次元映像補正”であれば、出力制御部１６の管理テーブルに格納されているシーケンス番号Ａ１の二次元映像フレームＢ１、二次元映像フレーム内の欠損箇所Ｃ１及び付加情報データＤ１を取得し、その付加情報データＤ１から輪郭線を抽出する（ステップＳＴ２１）。
例えば、付加情報データが奥行き情報であり、奥行きの大きさと位置が二次元配列の数値で表現されているとすれば、隣接する配列の要素間で、数値の差異が一定以上の大きさである箇所をエッジ点として、これらのエッジ点を結んだものを輪郭線とすることができる。
If the distribution type G1 stored in the management table of the
For example, if the additional information data is depth information, and the depth size and position are expressed by numerical values of a two-dimensional array, the numerical difference between adjacent elements is greater than a certain value. A place can be defined as an edge point, and a line connecting these edge points can be used as an outline.
二次元映像補正部１８は、付加情報データＤ１から輪郭線を抽出すると、その輪郭線を用いて、二次元映像フレームＢ１の領域を分割する（ステップＳＴ２２）。
二次元映像補正部１８は、二次元映像フレームＢ１の領域を分割すると、二次元映像フレーム内に欠損箇所Ｃ１が存在していれば（ステップＳＴ２３）、二次元映像フレームＢ１における複数の分割領域の中で、その欠損箇所Ｃ１が属している分割領域を特定し、当該分割領域を欠損箇所の補填に用いることが可能な領域に指定する（ステップＳＴ２４）。
図６の例では、二次元映像フレーム内の欠損箇所Ｃ１が、輪郭線で囲まれている円の外側と内側に跨っているので、円の外側に存在している欠損箇所Ｃ１の部分は、円の外側の分割領域を欠損箇所の補填に用いることが可能な領域に指定し、円の内側に存在している欠損箇所Ｃ１の部分は、円の内側の分割領域を欠損箇所の補填に用いることが可能な領域に指定する。
When the 2D
When the 2D
In the example of FIG. 6, since the missing portion C1 in the 2D video frame straddles the outside and the inside of the circle surrounded by the outline, the portion of the missing portion C1 existing outside the circle is The divided area outside the circle is designated as an area that can be used for filling the missing part, and the part of the missing part C1 existing inside the circle is used for filling the missing part. Specify the area that can
二次元映像補正部１８は、欠損箇所Ｃ１が属している分割領域を特定すると、その分割領域内の画素の中で、欠損箇所Ｃ１内の画素と最も近い位置に存在している画素を複写対象画素に選択し、その複写対象画素を欠損箇所Ｃ１内の画素に複写する（ステップＳＴ２５）。
図６の例では、欠損箇所Ｃ１内の画素が、輪郭線で囲まれている円の内側の分割領域内の画素のうち、欠損箇所Ｃ１の下側に存在している画素によって複写されている様子を示している。
このように、複写対象画素の選択について、輪郭線によって分割される二次元映像フレーム上の領域に対する制約が設けられ、欠損箇所Ｃ１が存在している分割領域内の画素が複写対象画素に選択される。
これにより、輪郭線を越えている位置の画素が複写されることがなく、欠損箇所に近い画素で復元されるため、三次元映像の画質を高めることができる。
欠損箇所Ｃ１内の全ての画素に対する複写処理が完了すると、二次元映像補正部１８の処理が終了する。
When the two-dimensional
In the example of FIG. 6, the pixel in the missing portion C1 is copied by the pixel existing below the missing portion C1 among the pixels in the divided area inside the circle surrounded by the outline. It shows a state.
As described above, the selection of the pixel to be copied has a restriction on the region on the 2D video frame divided by the outline, and the pixel in the divided region where the missing portion C1 exists is selected as the pixel to be copied. The
As a result, the pixel at the position exceeding the contour line is not copied, and is restored with a pixel close to the missing portion, so that the image quality of the 3D image can be improved.
When the copying process for all the pixels in the missing portion C1 is completed, the process of the 2D
付加情報補正部１９は、出力制御部１６の管理テーブルに格納されている振り分け種別Ｇ１が“付加情報補正”であれば、出力制御部１６から欠損箇所の補填処理の依頼を受けていると判断し、出力制御部１６の管理テーブルに格納されているシーケンス番号Ａ１の二次元映像フレームＢ１、付加情報データＤ１及び付加情報データ内の欠損箇所Ｅ１を取得する。
付加情報補正部１９は、二次元映像フレームＢ１、付加情報データＤ１及び付加情報データ内の欠損箇所Ｅ１を取得すると、その二次元映像フレームＢ１に応じて、その付加情報データ内の欠損箇所Ｅ１の補填に用いることが可能な付加情報データ内の領域を指定する。
そして、付加情報補正部１９は、指定の領域内の付加情報データを用いて、付加情報データ内の欠損箇所Ｅ１を補填する。
If the distribution type G1 stored in the management table of the
When the additional
Then, the additional
図８は付加情報補正部１９による付加情報データ内の欠損箇所の補填処理を示す説明図である。
図８において、付加情報データは、パラメータとその位置が二次元配列の数値として表現されているものとする。図８では、説明のためにパラメータの数値の大きさを濃淡で表現している。
以下、図８及び図９を参照しながら、付加情報補正部１９の補填処理を具体的に説明する。
FIG. 8 is an explanatory diagram showing a filling process of a missing portion in the additional information data by the additional
In FIG. 8, it is assumed that the additional information data represents the parameters and their positions as numerical values in a two-dimensional array. In FIG. 8, the numerical values of the parameters are expressed by shading for the purpose of explanation.
Hereinafter, the supplementing process of the additional
付加情報補正部１９は、出力制御部１６の管理テーブルに格納されている振り分け種別Ｇ１が“付加情報補正”であれば、出力制御部１６の管理テーブルに格納されている出力制御部１６の管理テーブルに格納されているシーケンス番号Ａ１の二次元映像フレームＢ１、付加情報データＤ１及び付加情報データ内の欠損箇所Ｅ１を取得し、その二次元映像フレームＢ１から輪郭線を抽出する（ステップＳＴ３１）。
例えば、「Ｃａｎｎｙ Ｅｄｇｅ Ｄｅｔｅｃｔｏｒ」などのエッジ検出方法を使用することで、輪郭線を抽出することができる。
If the distribution type G1 stored in the management table of the
For example, by using an edge detection method such as “Canny Edge Detector”, a contour line can be extracted.
付加情報補正部１９は、二次元映像フレームＢ１から輪郭線を抽出すると、その輪郭線を用いて、付加情報データＤ１の領域を分割する（ステップＳＴ３２）。
付加情報補正部１９は、付加情報データＤ１の領域を分割すると、付加情報データＤ１内に欠損箇所Ｅ１が存在していれば（ステップＳＴ３３）、付加情報データＤ１における複数の分割領域の中で、その欠損箇所Ｅ１が属している分割領域を特定し、当該分割領域を欠損箇所の補填に用いることが可能な領域に指定する（ステップＳＴ３４）。
図８の例では、付加情報データ内の欠損箇所Ｅ１が、輪郭線で囲まれている円の外側と内側に跨っているので、円の外側に存在している欠損箇所Ｅ１の部分は、円の外側の分割領域を欠損箇所の補填に用いることが可能な領域に指定し、円の内側に存在している欠損箇所Ｅ１の部分は、円の内側の分割領域を欠損箇所の補填に用いることが可能な領域に指定する。
When the additional
When the additional
In the example of FIG. 8, since the missing portion E1 in the additional information data straddles the outside and inside of the circle surrounded by the outline, the portion of the missing portion E1 existing outside the circle is a circle. The divided area outside the circle is designated as an area that can be used for filling the missing portion, and the portion of the missing place E1 existing inside the circle is used for filling the missing portion. Specify the area where can be.
付加情報補正部１９は、欠損箇所Ｅ１が属している分割領域を特定すると、その分割領域内の付加情報データの中で、欠損箇所Ｅ１内の付加情報データと最も近い位置に存在している付加情報データを複写対象付加情報データに選択し、その複写対象付加情報データを欠損箇所Ｅ１内の付加情報データに複写する（ステップＳＴ３５）。
図８では、欠損箇所Ｅ１内の付加情報データが、輪郭線で囲まれている円の内側の分割領域内の付加情報データうち、欠損箇所Ｅ１の下側に存在している付加情報データによって複写されている様子を示している。
このように、複写対象付加情報データの選択について、輪郭線によって分割される付加情報データ上の領域に対する制約が設けられ、欠損箇所Ｅ１が存在している分割領域内の付加情報データが複写対象付加情報データに選択される。
これにより、輪郭線を越えている位置の付加情報データが複写されることがなく、欠損箇所に近い付加情報データで復元されるため、三次元映像の画質を高めることができる。
欠損箇所Ｅ１内の全ての付加情報データに対する複写処理が完了すると、付加情報補正部１９の処理が終了する。
When the additional
In FIG. 8, the additional information data in the missing part E1 is copied by the additional information data existing below the missing part E1 among the additional information data in the divided area inside the circle surrounded by the outline. It shows how it is being done.
As described above, there is a restriction on the area on the additional information data that is divided by the outline for the selection of the additional information data to be copied, and the additional information data in the divided area where the missing portion E1 exists is added to the copy target. Selected for information data.
As a result, the additional information data at a position exceeding the contour line is not copied and is restored with the additional information data close to the missing portion, so that the image quality of the 3D video can be improved.
When the copying process for all the additional information data in the missing portion E1 is completed, the process of the additional
左右映像生成部２０は、出力制御部１６から二次元映像フレーム及び付加情報データ、二次元映像補正部１８から補正後の二次元映像フレーム及び付加情報データ、あるいは、付加情報補正部１９から二次元映像フレーム及び補正後の付加情報データを受けると、二次元映像フレーム及び付加情報データを用いて、二次元映像（右目映像の二次元映像）と撮影方向が異なる二次元映像（左目映像の二次元映像）の二次元映像フレームを生成し、２つの二次元映像フレームを右目映像と左目映像の対として、映像出力部２１に出力する。
ただし、フレーム複写部１７から右目映像と左目映像の対が出力されている場合には、その右目映像と左目映像の対を映像出力部２１に出力する。
映像出力部２１は、映像入出力インタフェース（図示せず）を介して、右目映像と左目映像の対を三次元映像対応テレビ７に出力することで、三次元映像を三次元映像対応テレビ７の画面に表示する。
The left and right
However, when a pair of right-eye video and left-eye video is output from the
The
以上で明らかなように、この実施の形態１によれば、三次元映像から二次元映像の映像フレームを生成するとともに、その映像フレーム内の欠損箇所を特定する二次元映像デコーダ１３と、二次元映像デコーダ１３により生成された映像フレームの中で、シーンチェンジが発生している映像フレームを検出するシーンチェンジ検出部１４と、二次元映像デコーダ１３により欠損箇所が特定された映像フレームが存在する場合、シーンチェンジ検出部１４の検出結果を参照して、その映像フレームより時間的に前方及び後方の映像フレームの中で、シーンチェンジが発生している映像フレームを特定し、シーンチェンジが発生している前方の映像フレームからシーンチェンジが発生している後方の映像フレームまでの区間をフレーム複写区間に設定する出力制御部１６とを設け、フレーム複写部１７が、二次元映像デコーダ１３により生成された映像フレームの中で、出力制御部１６により設定されたフレーム複写区間内の映像フレームを、上記二次元映像と撮影方向が異なる二次元映像から生成された映像フレームに置き換える複写処理を行うように構成したので、エラーコンシールメントの実行に伴う急激な視差変化を抑制することができるようになる。そのため、エラーコンシールメントを実行することで、欠損が発生している三次元映像の画質を高めることができる効果を奏する。
As is apparent from the above, according to the first embodiment, a
また、この実施の形態１によれば、三次元映像から二次元映像の映像フレームを生成するとともに、その映像フレーム内の欠損箇所を特定する二次元映像デコーダ１３と、三次元映像から上記二次元映像と撮影方向が異なる二次元映像の復元に用いる付加情報データを生成する付加情報デコーダ１５と、二次元映像デコーダ１３により欠損箇所が特定された映像フレームが存在する場合、二次元映像補正部１８が、付加情報デコーダ１５により生成された付加情報データに応じて、二次元映像デコーダ１３により特定された映像フレーム内の欠損箇所の補填に用いることが可能な上記映像フレーム内の領域を指定し、その指定の領域内の画素を用いて上記欠損箇所を補填するように構成したので、補填に使用することが可能な領域に制限が設けられた上で、エラーコンシールメントが実行されるようになる。そのため、エラーコンシールメントを実行することで、欠損が発生している三次元映像の画質を高めることができる効果を奏する。
Further, according to the first embodiment, a 2D video frame is generated from a 3D video, and a
また、この実施の形態１によれば、三次元映像から二次元映像の映像フレームを生成する二次元映像デコーダ１３と、三次元映像から上記二次元映像と撮影方向が異なる二次元映像の復元に用いる付加情報データを生成するとともに、その付加情報データ内の欠損箇所を特定する付加情報デコーダ１５と、付加情報デコーダ１５により欠損箇所が特定された付加情報データが存在する場合、付加情報補正部１９が、二次元映像デコーダ１３により生成された映像フレームに応じて、付加情報デコーダ１５により特定された付加情報データ内の欠損箇所の補填に用いることが可能な上記付加情報データ内の領域を指定し、その指定の領域内の付加情報データを用いて上記欠損箇所を補填するように構成したので、補填に使用することが可能な領域に制限が設けられた上で、エラーコンシールメントが実行されるようになる。そのため、エラーコンシールメントを実行することで、欠損が発生している三次元映像の画質を高めることができる効果を奏する。
Further, according to the first embodiment, the
なお、この実施の形態１では、映像配信サーバ２が、三次元映像を含むＲＴＰパケットを配信する際、三次元映像として、右目映像の二次元映像と付加情報（右目映像から左目映像を復元する際に用いる情報）を配信するものを示したが、映像配信サーバ２が、三次元映像として、左目映像の二次元映像と付加情報（左目映像から右目映像を復元する際に用いる情報）を配信して、映像受信端末６が、左目映像の二次元映像と付加情報から右目映像と左目映像の対を生成するようにしてもよく、同様の効果を奏することができる。
In the first embodiment, when the
実施の形態２．
上記実施の形態１では、映像配信サーバ２が、三次元映像を含むＲＴＰパケットを配信する際、三次元映像として、右目映像の二次元映像と付加情報（右目映像から左目映像を復元する際に用いる情報）を配信するものを示したが、この実施の形態２では、映像配信サーバ２が、三次元映像として、右目映像の二次元映像と左目映像の二次元映像を配信する例を説明する。
右目映像と左目映像は、ＭＰＥＧ２やＨ．２６４／ＡＶＣなどによって符号化されていてもよい。
In the first embodiment, when the
Right-eye video and left-eye video are MPEG2 and H.264. It may be encoded by H.264 / AVC or the like.
図１０はこの発明の実施の形態２によるエラーコンシールメント装置１２を実装している映像受信端末６を示す構成図であり、図において、図２と同一符号は同一または相当部分を示すので説明を省略する。
ストリーム受信部３０はホームゲートウェイ装置４により転送された三次元映像を含むＲＴＰパケットを受信し、そのＲＴＰパケットに含まれている三次元映像から右目映像の二次元映像と左目映像の二次元映像を分離して、それらの二次元映像をエラーコンシールメント装置１２の映像デコーダ３１に出力する処理を実施する。
FIG. 10 is a block diagram showing the
The
映像デコーダ３１はストリーム受信部３０から出力された右目映像の二次元映像をデコードして、その二次元映像の映像フレーム（以下、「右目映像フレーム」と称する）を生成するとともに、その右目映像フレーム内の欠損箇所を特定する処理を実施する。
また、映像デコーダ３１はストリーム受信部３０から出力された左目映像の二次元映像をデコードして、その二次元映像の映像フレーム（以下、「左目映像フレーム」と称する）を生成するとともに、その左目映像フレーム内の欠損箇所を特定する処理を実施する。
ここで、映像フレーム内の欠損箇所は、映像フレームの中で、どの位置に、どれだけの大きさの欠損があるかを示す情報である。二次元映像が、例えば、ＭＰＥＧ２やＨ．２６４／ＡＶＣなどによって符号化されている場合は、マクロブロックの位置によって欠損箇所を特定してもよい。
なお、映像デコーダ３１は映像フレーム生成手段を構成している。
The
The
Here, the missing part in the video frame is information indicating how much of the missing part is located at which position in the video frame. Two-dimensional video is, for example, MPEG2 or H.264. In the case of encoding by H.264 / AVC or the like, the missing portion may be specified by the position of the macroblock.
The
出力制御部３２は映像デコーダ３１により特定された映像フレーム内の欠損箇所の目立ち易さの度合を算出し、その目立ち易さの度合が所定の閾値以内であれば、映像補正部３４に対して映像補正処理を依頼し、その目立ち易さの度合が閾値以上であれば、フレーム複写部３３に対して複写処理を依頼する処理を実施する。
また、出力制御部３２は映像フレームの複写処理をフレーム複写部３３に依頼する際、シーンチェンジ検出部１４の検出結果を参照して、当該映像フレームより時間的に前方及び後方の映像フレームの中で、シーンチェンジが発生している映像フレームを特定し、シーンチェンジが発生している前方の映像フレームからシーンチェンジが発生している後方の映像フレームまでの区間をフレーム複写区間に設定し、そのフレーム複写区間をフレーム複写部３３に通知する。
さらに、出力制御部３２は映像デコーダ３１により欠損箇所が特定されない場合、映像デコーダ３１により生成された右目映像フレーム及び左目映像フレームを映像出力部２１に出力する。
なお、出力制御部３２は複写区間設定手段及び処理依頼手段を構成している。
The
In addition, when the
Further, the
The
フレーム複写部３３は出力制御部３２から複写処理の依頼を受けると、出力制御部３２から出力されたフレーム複写区間内の右目映像フレーム（または左目映像フレーム）を、左目映像フレーム（または右目映像フレーム）に置き換える複写処理を行う。
即ち、フレーム複写部３３は一方の映像フレームを破棄して、もう一方の映像フレームを複写することで、右目映像と左目映像の対を生成し（右目映像と左目映像は同一の映像フレームになる）、その右目映像と左目映像の対を映像出力部３３に出力する。
なお、フレーム複写部３３はフレーム複写手段を構成している。
When the
That is, the
The
映像補正部３４は出力制御部３２から補填処理の依頼を受けると、映像デコーダ３１により特定された右目映像フレーム及び左目映像フレーム内の欠損箇所を重ね合わせるとともに、重ね合わせ処理後に欠損箇所が存在している水平ライン上の非欠損箇所を欠損箇所に変更して欠損箇所を追加し、追加処理後の欠損箇所を示す欠損情報を生成する処理を実施する。
また、映像補正部３４は当該欠損情報にしたがって右目映像フレーム及び左目映像フレームを欠損させる映像補正処理を行う。
なお、映像補正部３４は映像補正手段を構成している。
When the
In addition, the
The
図１０の例では、エラーコンシールメント装置１２の構成要素である映像デコーダ３１、シーンチェンジ検出部１４、出力制御部３２、フレーム複写部３３及び映像補正部３４のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、エラーコンシールメント装置１２がコンピュータなどで構成される場合、映像デコーダ３１、シーンチェンジ検出部１４、出力制御部３２、フレーム複写部３３及び映像補正部３４の処理内容の全部又は一部をコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図１２はこの発明の実施の形態２によるエラーコンシールメント装置１２の出力制御部３２の処理内容を示すフローチャートである。
図１４はこの発明の実施の形態２によるエラーコンシールメント装置１２の映像補正部３４の処理内容を示すフローチャートである。
In the example of FIG. 10, each of the
FIG. 12 is a flowchart showing the processing contents of the
FIG. 14 is a flowchart showing the processing contents of the
次に動作について説明する。
まず、映像配信サーバ２は、映像ストレージ１に保管されている三次元映像を取得して、その三次元映像をＲＴＰパケット化し、トランスポートプロトコルとしてＵＤＰを使用することで、その三次元映像を含むＲＴＰパケットを外部ネットワーク３経由でホームゲートウェイ装置４に配信する。
この実施の形態２では、三次元映像として、右目映像の二次元映像と左目映像の二次元映像を配信するものとする。
Next, the operation will be described.
First, the
In the second embodiment, it is assumed that a 2D image of a right eye image and a 2D image of a left eye image are distributed as a 3D image.
ホームゲートウェイ装置４は、映像配信サーバ２から配信された三次元映像を含むＲＴＰパケットを受信すると、そのＲＴＰパケットをホームネットワーク５経由で映像受信端末６に転送する。
映像受信端末６は、ホームゲートウェイ装置４により転送された三次元映像を含むＲＴＰパケットを受信して、右目映像と左目映像の対を三次元映像対応テレビ７に出力する。
ただし、映像受信端末６は、その三次元映像に欠損箇所があれば、その欠損箇所を補填してから右目映像と左目映像の対を三次元映像対応テレビ７に出力する。
When the home gateway device 4 receives the RTP packet including the 3D video distributed from the
The
However, if there is a missing part in the 3D video, the
以下、映像受信端末６の処理内容を具体的に説明する。
ストリーム受信部３０は、ホームゲートウェイ装置４により転送された三次元映像を含むＲＴＰパケットを受信し、そのＲＴＰパケットに含まれている三次元映像から右目映像の二次元映像と左目映像の二次元映像を分離して、それらの二次元映像をエラーコンシールメント装置１２の映像デコーダ３１に出力する。
Hereinafter, the processing content of the
The
映像デコーダ３１は、ストリーム受信部３０から右目映像の二次元映像と左目映像の二次元映像を受けると、右目映像の二次元映像をデコードして、その二次元映像の映像フレームである右目映像フレームを生成するとともに、左目映像の二次元映像をデコードして、その二次元映像の映像フレームである左目映像フレームを生成し、その右目映像フレーム及び左目映像フレームを出力制御部３２に出力する。
また、映像デコーダ３１は、二次元映像をデコードする際、右目映像フレーム及び左目映像フレーム内の欠損箇所を特定する処理を実施し、右目映像フレーム及び左目映像フレーム内の欠損箇所を出力制御部３２に出力する。
映像フレーム内の欠損箇所は、映像フレームの中で、どの位置に、どれだけの大きさの欠損があるかを示す情報である。映像フレームがＭＰＥＧ２やＨ．２６４／ＡＶＣなどによって符号化されている場合には、マクロブロックの位置によって欠損箇所を示してもよい。
なお、映像デコーダ３１は、右目映像フレーム又は左目映像フレームのいずれか一方をシーンチェンジ検出部１４に出力する。
When the
Further, the
The missing part in the video frame is information indicating how much of the missing part is located at which position in the video frame. The video frame is MPEG2 or H.264. In the case of encoding by H.264 / AVC or the like, the missing portion may be indicated by the position of the macroblock.
Note that the
シーンチェンジ検出部１４は、映像デコーダ３１から映像フレーム（右目映像フレーム又は左目映像フレーム）を受けると、例えば、前後の映像フレームを比較することで、映像デコーダ３１により生成された映像フレームの中で、シーンチェンジが発生している映像フレームを検出し、その検出結果を出力制御部３２に通知する。
When the scene
出力制御部３２は、図１１に示すような管理テーブルを備えており、各種の情報を管理テーブルに格納して管理している。
即ち、出力制御部３２は、映像デコーダ３１から出力された右目映像フレームを“右目映像フレームＨ２”として管理し、映像デコーダ３１から出力された右目映像フレーム内の欠損箇所を“欠損箇所Ｉ２”として管理する。
また、出力制御部３２は、映像デコーダ３１から出力された左目映像フレームを“左目映像フレームＪ２”として管理し、映像デコーダ３１から出力された左目映像フレーム内の欠損箇所を“欠損箇所Ｋ２”として管理する。
また、出力制御部３２は、シーンチェンジ検出部１４によりシーンチェンジが検出された映像フレームを示すマーキング情報を“シーンチェンジ種別Ｆ２”として管理する。
さらに、出力制御部３２は、処理を依頼する処理部の判定結果を“振り分け種別Ｇ２”として管理し、右目映像と左目映像の選択情報を“選択情報Ｌ２”として管理し、映像デコーダ３１から出力される映像フレームの識別情報を“シーケンス番号Ａ２”として管理する。なお、シーケンス番号Ａ２は、映像デコーダ３１からの出力順が先の映像フレームから順番に小さい番号が割り当てられる。
The
That is, the
Further, the
Further, the
Further, the
出力制御部３２は、図１１の管理テーブル内に、シーケンス番号Ａ２の映像フレームに係る欠損箇所Ｉ２及び欠損箇所Ｋ２の双方が格納されていない場合、三次元映像に欠損が発生することなく正常に受信されており、三次元映像に対するエラーコンシールメントを行う必要がないので、振り分け種別Ｇ２を“映像出力”に設定する。
出力制御部３２は、図１１の管理テーブル内に、シーケンス番号Ａ２の右目映像フレーム内の欠損箇所Ｉ２、または、左目映像フレーム内の欠損箇所Ｋ２の少なくとも一方が格納されている場合、右目映像又は右目映像を補正する必要があるので、振り分け種別Ｇ２を“映像補正”に設定する。
ただし、詳細は後述するが、右目映像フレーム又は左目映像フレーム内の欠損箇所の目立ち易さを示す度合が所定の閾値を超えており、右目映像又は右目映像を補正することができない場合には、振り分け種別Ｇ２を“フレーム複写”に設定する。
When both the missing part I2 and the missing part K2 related to the video frame with the sequence number A2 are not stored in the management table of FIG. 11, the
If at least one of the missing part I2 in the right-eye video frame with the sequence number A2 or the missing part K2 in the left-eye video frame is stored in the management table in FIG. Since the right-eye image needs to be corrected, the distribution type G2 is set to “image correction”.
However, although details will be described later, when the degree of conspicuousness of the missing portion in the right-eye video frame or the left-eye video frame exceeds a predetermined threshold, and the right-eye video or the right-eye video cannot be corrected, The distribution type G2 is set to “frame copy”.
出力制御部３２は、図１１の管理テーブル内に、シーケンス番号Ａ２の右目映像フレーム内の欠損箇所Ｉ２、または、左目映像フレーム内の欠損箇所Ｋ２の少なくとも一方が格納されており、右目映像フレーム又は左目映像フレーム内の欠損箇所の目立ち易さを示す度合が所定の閾値を超えている場合、振り分け種別Ｇ２を“フレーム複写”に設定する。
また、出力制御部３２は、右目映像を左目映像に複写する場合（例えば、左目映像フレーム内の欠損箇所Ｋ２が、右目映像フレーム内の欠損箇所Ｉ２より大きい場合）、選択情報Ｌ２を“右目映像”に設定し、左目映像を右目映像に複写する場合（例えば、右目映像フレーム内の欠損箇所Ｉ２が、左目映像フレーム内の欠損箇所Ｋ２より大きい場合）、選択情報Ｌ２を“左目映像”に設定する。
The
In addition, when the right control video is copied to the left-eye video (for example, when the missing part K2 in the left-eye video frame is larger than the defective part I2 in the right-eye video frame), the
出力制御部３２は、振り分け種別Ｇ２を“フレーム複写”に設定する場合、図１の出力制御部１６と同様に、シーンチェンジ検出部１４の検出結果を参照して、シーケンス番号Ａ２の二次元映像フレームより時間的に前方及び後方の二次元映像フレームの中で、シーンチェンジが発生している二次元映像フレームを特定する。
出力制御部３２は、図１の出力制御部１６と同様に、シーンチェンジが発生している前方の二次元映像フレームからシーンチェンジが発生している後方の二次元映像フレームまでの区間をフレーム複写区間に設定し、そのフレーム複写区間をフレーム複写部３３に通知する。
When the distribution type G2 is set to “frame copy”, the
As in the case of the
以下、図１２を参照しながら、出力制御部３２の振り分け処理を具体的に説明する。
まず、出力制御部３２は、図１１の管理テーブル内にシーンチェンジ種別Ｆ２が格納されているか否かを判定する（ステップＳＴ４１）。
即ち、出力制御部３２は、シーケンス番号Ａ２の映像フレーム（右目映像フレーム又は左目映像フレーム）が、シーンチェンジが発生している映像フレームであるか否かを判定する。
出力制御部３２は、図１１の管理テーブル内にシーンチェンジ種別Ｆ２が格納されている場合、フレーム複写判定フラグがＯＮであるか否かを判定し（ステップＳＴ４２）、フレーム複写判定フラグがＯＮであれば、そのフレーム複写判定フラグをＯＦＦに設定する（ステップＳＴ４３）。
ここで、フレーム複写判定フラグは、次に処理する映像フレームの振り分け種別Ｇ２に対して、“フレーム複写”を設定するか否かを判定する際に用いるフラグである。
Hereinafter, the distribution process of the
First, the
That is, the
When the scene change type F2 is stored in the management table of FIG. 11, the
Here, the frame copy determination flag is a flag used when determining whether or not “frame copy” is set for the distribution type G2 of the video frame to be processed next.
出力制御部３２は、フレーム複写判定フラグがＯＦＦである場合、映像補正判定フラグがＯＮであるか否かを判定し（ステップＳＴ４４）、映像補正判定フラグがＯＮであれば、その映像補正判定フラグをＯＦＦに設定する（ステップＳＴ４５）。
ここで、映像補正判定フラグは、次に処理する映像フレームの振り分け種別Ｇ２に対して、“映像補正”を設定するか否かを判定する際に用いるフラグである。
When the frame copy determination flag is OFF, the
Here, the video correction determination flag is a flag used to determine whether or not “video correction” is set for the video frame distribution type G2 to be processed next.
出力制御部３２は、図１１の管理テーブル内にシーンチェンジ種別Ｆ２が格納されていない場合、フレーム複写判定フラグがＯＮであるか否かを判定し（ステップＳＴ４６）、フレーム複写判定フラグがＯＮであれば、振り分け種別Ｇ１を“フレーム複写”に設定するとともに、右目映像又は左目映像のいずれかを選択して、右目映像と左目映像の選択情報Ｌ２を設定する（ステップＳＴ４７）。
When the scene change type F2 is not stored in the management table of FIG. 11, the
出力制御部３２は、フレーム複写判定フラグがＯＦＦであれば、映像補正判定フラグがＯＮであるか否かを判定し（ステップＳＴ４８）、映像補正判定フラグがＯＮであれば、映像フレームを補正する必要があるので、振り分け種別Ｇ２を“映像補正”に設定する（ステップＳＴ４９）。
出力制御部３２は、ステップＳＴ４４，ＳＴ４８において、映像補正判定フラグがＯＦＦである場合、あるいは、ステップＳＴ４５で映像補正判定フラグをＯＦＦに設定している場合、右目映像フレーム内に欠損箇所Ｉ２がなく、かつ、左目映像フレーム内に欠損箇所Ｋ２がないかを判定する（ステップＳＴ５０）。
If the frame copy determination flag is OFF, the
When the video correction determination flag is OFF in steps ST44 and ST48, or when the video correction determination flag is set OFF in step ST45, the
出力制御部３２は、右目映像フレーム内に欠損箇所Ｉ２がなく、かつ、左目映像フレーム内に欠損箇所Ｋ２がない場合、三次元映像に対するエラーコンシールメントを行う必要がないので、振り分け種別Ｇ２を“映像出力”に設定する（ステップＳＴ５１）。
出力制御部３２は、右目映像フレーム内の欠損箇所Ｉ２、または、左目映像フレーム内の欠損箇所Ｋ２の少なくとも一方がある場合、右目映像フレーム内の欠損箇所の目立ち易さの度合ＣＲを算出するとともに、左目映像フレーム内の欠損箇所の目立ち易さの度合ＣＬを算出する（ステップＳＴ５２）。
例えば、目立ち易さの度合は、欠損箇所の大きさ及び位置から算出する。あるいは、欠損箇所の周辺の動きベクトルから算出する。
目立ち易さの度合は、欠損箇所が大きいほど、欠損箇所の位置がフレーム中央に近いほど数値が大きくなるものとする。
また、目立ち易さの度合は、欠損箇所の周辺の動きベクトルが大きいほど数値が大きくなるものとする。
If there is no missing part I2 in the right-eye video frame and no missing part K2 in the left-eye video frame, the
The
For example, the degree of conspicuousness is calculated from the size and position of the missing part. Alternatively, it is calculated from the motion vector around the missing part.
It is assumed that the degree of conspicuousness increases as the missing part is larger and the position of the missing part is closer to the center of the frame.
The degree of conspicuousness is assumed to be larger as the motion vector around the missing part is larger.
出力制御部３２は、右目映像フレーム内の欠損箇所の目立ち易さの度合ＣＲと、左目映像フレーム内の欠損箇所の目立ち易さの度合ＣＬを算出すると、その目立ち易さの度合ＣＲと所定の閾値を比較するとともに、その目立ち易さの度合ＣＬと所定の閾値を比較し、目立ち易さの度合ＣＲ又は目立ち易さの度合ＣＬの少なくとも一方が所定の閾値を超えているか否かを判定する（ステップＳＴ５３）。
出力制御部３２は、目立ち易さの度合ＣＲ又は目立ち易さの度合ＣＲの少なくとも一方が所定の閾値を超えている場合、目立ち易さの度合ＣＲが目立ち易さの度合ＣＬより小さければ、選択情報Ｌ２を“右目映像”に設定し、目立ち易さの度合ＣＬが目立ち易さの度合ＣＲより小さければ、選択情報Ｌ２を“左目映像”に設定する（ステップＳＴ５４）。
また、出力制御部３２は、振り分け種別Ｇ２を“フレーム複写”に設定する（ステップＳＴ５５）。
The
Further, the
出力制御部３２は、シーケンス番号Ａ２の値から１を減じて（ステップＳＴ５６）、時間的に１つ前の映像フレームが、シーンチェンジが発生している映像フレームであるか否かを判定する（ステップＳＴ５７）。
時間的に１つ前の映像フレームが、シーンチェンジが発生している映像フレームでない場合、ステップＳＴ５５の処理に戻り、ステップＳＴ５５〜ＳＴ５７の処理が繰り返し実施される。
これにより、フレーム複写区間内の映像フレームの振り分け種別Ｇ２が“フレーム複写”に設定される。
The
If the temporally previous video frame is not a video frame in which a scene change has occurred, the process returns to step ST55, and the processes of steps ST55 to ST57 are repeated.
As a result, the distribution type G2 of the video frames in the frame copy section is set to “frame copy”.
出力制御部３２は、目立ち易さの度合ＣＲ及び目立ち易さの度合ＣＲの双方が所定の閾値以内である場合、映像補正判定フラグをＯＮに設定し（ステップＳＴ５８）、振り分け種別Ｇ２を“映像補正”に設定する（ステップＳＴ５９）。
出力制御部３２は、シーケンス番号Ａ２の値から１を減じて（ステップＳＴ６０）、時間的に１つ前の映像フレームが、シーンチェンジが発生している映像フレームであるか否かを判定する（ステップＳＴ６１）。
時間的に１つ前の映像フレームが、シーンチェンジが発生している映像フレームでない場合、ステップＳＴ５９の処理に戻り、ステップＳＴ５９〜ＳＴ６１の処理が繰り返し実施される。
これにより、フレーム複写区間内の映像フレームの振り分け種別Ｇ２が“映像補正”に設定される。
The
The
If the temporally previous video frame is not a video frame in which a scene change has occurred, the process returns to step ST59, and the processes of steps ST59 to ST61 are repeated.
Thereby, the distribution type G2 of the video frame in the frame copy section is set to “video correction”.
図１２では、“フレーム複写”又は“映像補正”の判定を実施した場合、バッファ内にシーンチェンジ種別Ｆ２がマークされている映像フレームがなければ、バッファ内の全ての映像フレームの振り分け種別Ｇ２を“フレーム複写”又は“映像補正”に変更する例を記載している。
バッファ内にシーンチェンジ種別Ｆ２がマークされた映像フレームが存在しない場合には、バッファ内の映像フレームの振り分け種別Ｇ２を書き換えずに、そのままとしてもよい。
In FIG. 12, when the determination of “frame copy” or “video correction” is performed, if there is no video frame marked with the scene change type F2 in the buffer, the distribution type G2 of all the video frames in the buffer is set. An example of changing to “frame copy” or “image correction” is described.
When there is no video frame marked with the scene change type F2 in the buffer, the video frame distribution type G2 in the buffer may be left as it is without rewriting.
フレーム複写部３３は、出力制御部３２の管理テーブルに格納されている振り分け種別Ｇ２が“フレーム複写”であれば、出力制御部３２から複写処理の依頼を受けていると判断し、出力制御部３２の管理テーブルに格納されているシーケンス番号Ａ２の右目映像フレームＨ２、左目映像フレームＪ２及び選択情報Ｌ２を取得する。
フレーム複写部３３は、選択情報Ｌ２が“右目映像”である場合、右目映像フレームＨ２を左目映像フレームＪ２に複写することで、左目映像を右目映像と同じにして、その右目映像と左目映像の対を映像出力部２１に出力する。
一方、選択情報Ｌ２が“左目映像”である場合、左目映像フレームＪ２を右目映像フレームＨ２に複写することで、右目映像を左目映像と同じにして、その右目映像と左目映像の対を映像出力部２１に出力する。
If the distribution type G2 stored in the management table of the
When the selection information L2 is “right-eye video”, the
On the other hand, when the selection information L2 is “left-eye video”, the left-eye video frame J2 is copied to the right-eye video frame H2, so that the right-eye video is the same as the left-eye video, and the pair of right-eye video and left-eye video is output as video. To the
映像補正部３４は、出力制御部３２の管理テーブルに格納されている振り分け種別Ｇ２が“映像補正”であれば、出力制御部３２から映像補正処理の依頼を受けていると判断し、出力制御部３２の管理テーブルに格納されているシーケンス番号Ａ２の右目映像フレームＨ２及び欠損箇所Ｉ２と、左目映像フレームＪ２及び欠損箇所Ｋ２とを取得する。
そして、映像補正部３４は、右目映像フレーム内の欠損箇所Ｉ２と、左目映像フレーム内の欠損箇所Ｋ２を重ね合わせるとともに、重ね合わせ処理後に欠損箇所が存在している水平ライン上の非欠損箇所を欠損箇所に変更して欠損箇所を追加し、追加処理後の欠損箇所を示す欠損情報を生成する。
そして、映像補正部３４は、当該欠損情報にしたがって右目映像フレーム及び左目映像フレームを欠損させる映像補正処理を行う。
If the distribution type G2 stored in the management table of the
Then, the
Then, the
図１３は映像補正部３４による映像フレーム内の欠損箇所の補填処理を示す説明図である。
以下、図１３及び図１４を参照しながら、映像補正部３４の補填処理を具体的に説明する。
FIG. 13 is an explanatory diagram showing a process for filling a missing portion in a video frame by the
Hereinafter, the compensation process of the
映像補正部３４は、出力制御部３２の管理テーブルに格納されている振り分け種別Ｇ２が“映像補正”であれば、出力制御部３２の管理テーブルに格納されているシーケンス番号Ａ２の右目映像フレームＨ２及び欠損箇所Ｉ２と、左目映像フレームＪ２及び欠損箇所Ｋ２とを取得し、そのシーケンス番号Ａ２の値が前回の処理時に取得しているシーケンス番号Ａ２の値と連続しているか否かを判定し（ステップＳＴ７１）、シーケンス番号Ａ２の値が連続していなければ、保持している欠損情報を破棄する（ステップＳＴ７２）。
If the distribution type G2 stored in the management table of the
次に、映像補正部３４は、図１３に示すように、右目映像フレーム内の欠損箇所Ｉ２と左目映像フレーム内の欠損箇所Ｋ２とを重ね合わせる重ね合わせ処理を実施する（ステップＳＴ７３）。
映像補正部３４は、欠損箇所Ｉ２と欠損箇所Ｋ２の重ね合わせを行うと、図１３に示すように、欠損箇所が存在している水平ライン上の非欠損箇所を欠損箇所に変更して欠損箇所を追加することで、当該水平ライン上の全てを欠損箇所にする。
そして、当該水平ライン上の全ての欠損箇所を示す欠損情報を生成する（ステップＳＴ７５）。
Next, as shown in FIG. 13, the
When the
And the defect | deletion information which shows all the defect | deletion locations on the said horizontal line is produced | generated (step ST75).
映像補正部３４は、欠損情報を生成すると、その欠損情報に欠損箇所があれば（ステップＳＴ７５）、保持している欠損情報と今回生成の欠損情報を重ね合わせて、重ね合わせ後の欠損情報を保持する（ステップＳＴ７６）。
そして、映像補正部３４は、その保持している欠損情報にしたがって右目映像フレーム及び左目映像フレームを欠損させる映像補正処理を行う。
このように、右目映像フレーム及び左目映像フレームの水平方向に欠損箇所を追加することで、人間の水平方向の視差による欠損箇所と非欠損箇所のずれを補正することができる。
これにより、水平方向の視差に対するずれが補正されるため、三次元映像の画質を高めることができる。
When the
Then, the
In this way, by adding a missing portion in the horizontal direction of the right-eye video frame and the left-eye video frame, it is possible to correct a shift between a missing portion and a non-missing portion due to a human parallax in the horizontal direction.
Thereby, since the shift | offset | difference with respect to the parallax of a horizontal direction is correct | amended, the image quality of a three-dimensional image can be improved.
映像出力部２１は、フレーム複写部３３、映像補正部３４又は出力制御部３２から右目映像と左目映像の対を受けると、映像入出力インタフェース（図示せず）を介して、右目映像と左目映像の対を三次元映像対応テレビ７に出力することで、三次元映像を三次元映像対応テレビ７の画面に表示する。
When the
以上で明らかなように、この実施の形態２によれば、三次元映像から右目映像フレーム及び左目映像フレームを生成するとともに、右目映像フレーム及び左目映像フレーム内の欠損箇所を特定する映像デコーダ３１と、映像デコーダ３１により欠損箇所が特定された映像フレームが存在する場合、映像デコーダ３１により特定された右目映像フレーム及び左目映像フレーム内の欠損箇所を重ね合わせるとともに、重ね合わせ処理後に欠損箇所が存在している水平ライン上の非欠損箇所を欠損箇所に変更して欠損箇所を追加し、その映像フレーム内の欠損箇所を示す欠損情報にしたがって右目映像フレーム及び左目映像フレームを欠損させる映像補正処理を行う映像補正部３４とを備えるように構成したので、水平方向の視差に対するずれが補正されるようになり、欠損が発生している三次元映像の画質を高めることができる効果を奏する。
As is apparent from the above, according to the second embodiment, the right-eye video frame and the left-eye video frame are generated from the 3D video, and the
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。 In the present invention, within the scope of the invention, any combination of the embodiments, or any modification of any component in each embodiment, or omission of any component in each embodiment is possible. .
１ 映像ストレージ、２ 映像配信サーバ、３ 外部ネットワーク、４ ホームゲートウェイ装置、５ ホームネットワーク、６ 映像受信端末、７ 三次元映像対応テレビ、１１ ストリーム受信部、１２ エラーコンシールメント装置、１３ 二次元映像デコーダ（映像フレーム生成手段）、１４ シーンチェンジ検出部（シーンチェンジ検出手段）、１５ 付加情報デコーダ（付加情報データ生成手段）、１６ 出力制御部（複写区間設定手段、処理依頼手段）、１７ フレーム複写部（フレーム複写手段）、１８ 二次元映像補正部（第１の欠損箇所補填手段）、１９ 付加情報補正部（第２の欠損箇所補填手段）、２０ 左右映像生成部、２１ 映像出力部、３０ ストリーム受信部、３１ 映像デコーダ（映像フレーム生成手段）、３２ 出力制御部（複写区間設定手段、処理依頼手段）、３３ フレーム複写部（フレーム複写手段）、３４ 映像補正部（映像補正手段）。 1 video storage, 2 video distribution server, 3 external network, 4 home gateway device, 5 home network, 6 video receiving terminal, 7 3D video compatible TV, 11 stream receiving unit, 12 error concealment device, 13 2D video decoder (Video frame generation means), 14 scene change detection section (scene change detection means), 15 additional information decoder (additional information data generation means), 16 output control section (copy section setting means, processing request means), 17 frame copy section (Frame copy means), 18 two-dimensional video correction section (first missing portion compensation means), 19 additional information correction section (second missing portion compensation means), 20 left and right video generation section, 21 video output section, 30 streams Receiver, 31 video decoder (video frame generating means), 32 outputs Control unit (copying section setting unit, the process requesting means), 33 frame duplicator (frame copy means) 34 image correction unit (image correction means).
Claims (10)
上記映像フレーム生成手段により生成された映像フレームの中で、シーンチェンジが発生している映像フレームを検出するシーンチェンジ検出手段と、
上記映像フレーム生成手段により欠損箇所が特定された映像フレームが存在する場合、上記シーンチェンジ検出手段の検出結果を参照して、上記映像フレームより時間的に前方及び後方の映像フレームの中で、シーンチェンジが発生している映像フレームを特定し、シーンチェンジが発生している前方の映像フレームからシーンチェンジが発生している後方の映像フレームまでの区間をフレーム複写区間に設定する複写区間設定手段と、
上記映像フレーム生成手段により生成された映像フレームの中で、上記複写区間設定手段により設定されたフレーム複写区間内の映像フレームを、上記二次元映像と撮影方向が異なる二次元映像から生成された映像フレームに置き換える複写処理を行うフレーム複写手段とを備えたエラーコンシールメント装置。 A video frame generating means for generating a video frame of a 2D video from the 3D video and identifying a missing portion in the video frame;
Scene change detection means for detecting a video frame in which a scene change has occurred among the video frames generated by the video frame generation means;
When there is a video frame in which a missing part is specified by the video frame generation means, a scene in a video frame temporally forward and backward from the video frame is referred to with reference to the detection result of the scene change detection means. Copy section setting means for identifying a video frame in which a change has occurred and setting a section from a front video frame in which a scene change has occurred to a rear video frame in which a scene change has occurred as a frame copy section; ,
Of the video frames generated by the video frame generation means, the video frames in the frame copy section set by the copy section setting means are generated from two-dimensional video having a shooting direction different from the two-dimensional video. An error concealment device comprising a frame copying means for performing a copying process for replacing with a frame.
上記三次元映像から上記二次元映像と撮影方向が異なる二次元映像の復元に用いる付加情報データを生成する付加情報データ生成手段と、
上記映像フレーム生成手段により欠損箇所が特定された映像フレームが存在する場合、上記付加情報データ生成手段により生成された付加情報データから輪郭線を抽出し、上記映像フレーム生成手段により欠損箇所が特定された映像フレームの中で、上記輪郭線で区切られている領域を欠損箇所の補填に用いることが可能な領域に指定し、指定の領域内の画素を用いて上記欠損箇所を補填する欠損箇所補填手段とを備えたエラーコンシールメント装置。 A video frame generating means for generating a video frame of a 2D video from the 3D video and identifying a missing portion in the video frame;
Additional information data generating means for generating additional information data for use in restoring a 2D video having a shooting direction different from that of the 2D video from the 3D video;
When there is a video frame in which the missing part is specified by the video frame generating means, a contour line is extracted from the additional information data generated by the additional information data generating means, and the defective part is specified by the video frame generating means. In the video frame, the area delimited by the outline is designated as an area that can be used to fill in the missing part, and the missing part is compensated by using the pixels in the designated area. And an error concealment device.
上記三次元映像から上記二次元映像と撮影方向が異なる二次元映像の復元に用いる付加情報データを生成するとともに、上記付加情報データ内の欠損箇所を特定する付加情報データ生成手段と、
上記付加情報データ生成手段により欠損箇所が特定された付加情報データが存在する場合、上記映像フレーム生成手段により生成された映像フレームから輪郭線を抽出し、上記付加情報データ生成手段により欠損箇所が特定された付加情報データの中で、上記輪郭線で区切られている領域を欠損箇所の補填に用いることが可能な領域に指定し、指定の領域内の付加情報データを用いて上記欠損箇所を補填する欠損箇所補填手段とを備えたエラーコンシールメント装置。 Video frame generating means for generating a video frame of 2D video from 3D video;
Generating additional information data used to restore a 2D video having a shooting direction different from that of the 2D video from the 3D video, and additional information data generating means for specifying a missing portion in the additional information data;
When there is additional information data for which a missing portion is specified by the additional information data generating means, a contour line is extracted from the video frame generated by the video frame generating means, and the defective portion is specified by the additional information data generating means. In the additional information data, the area delimited by the outline is designated as an area that can be used for filling the missing part, and the missing part is filled using the additional information data in the designated area. An error concealment device provided with a defect location filling means.
上記映像フレーム生成手段により生成された映像フレームの中で、シーンチェンジが発生している映像フレームを検出するシーンチェンジ検出手段と、
上記シーンチェンジ検出手段の検出結果を参照して、上記映像フレーム生成手段により欠損箇所が特定された映像フレームより時間的に前方及び後方の映像フレームの中で、シーンチェンジが発生している映像フレームを特定し、シーンチェンジが発生している前方の映像フレームからシーンチェンジが発生している後方の映像フレームまでの区間をフレーム複写区間に設定する複写区間設定手段と、
上記映像フレーム生成手段により生成された映像フレームの中で、上記複写区間設定手段により設定されたフレーム複写区間内の映像フレームを、上記二次元映像と撮影方向が異なる二次元映像から生成された映像フレームに置き換える複写処理を行うフレーム複写手段と、
上記三次元映像から上記二次元映像と撮影方向が異なる二次元映像の復元に用いる付加情報データを生成するとともに、上記付加情報データ内の欠損箇所を特定する付加情報データ生成手段と、
上記付加情報データ生成手段により生成された付加情報データに応じて、上記映像フレーム生成手段により特定された映像フレーム内の欠損箇所の補填に用いることが可能な上記映像フレーム内の領域を指定し、指定の領域内の画素を用いて上記欠損箇所を補填する第１の欠損箇所補填手段と、
上記映像フレーム生成手段により生成された映像フレームに応じて、上記付加情報データ生成手段により特定された付加情報データ内の欠損箇所の補填に用いることが可能な上記付加情報データ内の領域を指定し、指定の領域内の付加情報データを用いて上記欠損箇所を補填する第２の欠損箇所補填手段と、
上記映像フレーム生成手段により映像フレーム内の欠損箇所が特定されているが、上記付加情報データ生成手段により付加情報データ内の欠損箇所が特定されていない場合、上記第１の欠損箇所補填手段に対して欠損箇所の補填処理を依頼し、上記映像フレーム内の欠損箇所が特定されていないが、上記付加情報データ内の欠損箇所が特定されている場合、上記第２の欠損箇所補填手段に対して欠損箇所の補填処理を依頼し、上記映像フレーム及び上記付加情報データ内の欠損箇所が特定されている場合、上記フレーム複写手段に対して複写処理を依頼する処理依頼手段とを備えたエラーコンシールメント装置。 A video frame generating means for generating a video frame of a 2D video from the 3D video and identifying a missing portion in the video frame;
Scene change detection means for detecting a video frame in which a scene change has occurred among the video frames generated by the video frame generation means;
Referring to the detection result of the scene change detecting means, a video frame in which a scene change has occurred in a temporally forward and rearward video frame from the video frame in which the missing portion is specified by the video frame generating means A copy section setting means for setting a section from a front video frame in which a scene change has occurred to a rear video frame in which a scene change has occurred to a frame copy section;
Of the video frames generated by the video frame generation means, the video frames in the frame copy section set by the copy section setting means are generated from two-dimensional video having a shooting direction different from the two-dimensional video. Frame copy means for performing copy processing to replace with a frame;
Generating additional information data used to restore a 2D video having a shooting direction different from that of the 2D video from the 3D video, and additional information data generating means for specifying a missing portion in the additional information data;
In accordance with the additional information data generated by the additional information data generating means, specify an area in the video frame that can be used to compensate for a missing portion in the video frame specified by the video frame generating means, A first missing portion filling means for filling the missing portion using a pixel in a specified region;
In accordance with the video frame generated by the video frame generation means, specify an area in the additional information data that can be used to compensate for a missing portion in the additional information data specified by the additional information data generation means. A second missing portion filling means for filling the missing portion using the additional information data in the designated area;
If the missing part in the video frame is specified by the video frame generating means, but the missing part in the additional information data is not specified by the additional information data generating means, the first missing part compensating means is If the missing part in the video frame is not specified, but the missing part in the additional information data is specified, the second missing part filling means is requested. An error concealment provided with processing request means for requesting a copy process to the frame copying means when the missing part in the video frame and the additional information data is specified by requesting a filling process for the defective part. apparatus.
上記映像フレーム生成手段により生成された映像フレームの中で、シーンチェンジが発生している映像フレームを検出するシーンチェンジ検出手段と、
上記映像フレーム生成手段により欠損箇所が特定された映像フレームが存在する場合、上記シーンチェンジ検出手段の検出結果を参照して、上記映像フレームより時間的に前方及び後方の映像フレームの中で、シーンチェンジが発生している映像フレームを特定し、シーンチェンジが発生している前方の映像フレームからシーンチェンジが発生している後方の映像フレームまでの区間をフレーム複写区間に設定する複写区間設定手段と、
上記映像フレーム生成手段により生成された映像フレームの中で、上記複写区間設定手段により設定されたフレーム複写区間内の映像フレームを、上記映像フレーム生成手段により撮影方向が異なる二次元映像から生成された映像フレームに置き換える複写処理を行うフレーム複写手段とを備えたエラーコンシールメント装置。 Generating a plurality of 2D video frames having different shooting directions from the 3D video, and a video frame generating means for identifying a missing portion in the plurality of video frames;
Scene change detection means for detecting a video frame in which a scene change has occurred among the video frames generated by the video frame generation means;
When there is a video frame in which a missing part is specified by the video frame generation means, a scene in a video frame temporally forward and backward from the video frame is referred to with reference to the detection result of the scene change detection means. Copy section setting means for identifying a video frame in which a change has occurred and setting a section from a front video frame in which a scene change has occurred to a rear video frame in which a scene change has occurred as a frame copy section; ,
Among the video frames generated by the video frame generation means, the video frames in the frame copy section set by the copy section setting means are generated from two-dimensional videos having different shooting directions by the video frame generation means. An error concealment device comprising a frame copying means for performing a copying process for replacing with a video frame.
上記映像フレーム生成手段により欠損箇所が特定された映像フレームが存在する場合、上記映像フレーム生成手段により特定された複数の映像フレーム内の欠損箇所を重ね合わせるとともに、重ね合わせ処理後に欠損箇所が存在している水平ライン上の非欠損箇所を欠損箇所に変更して欠損箇所を追加し、上記映像フレーム内の欠損箇所を示す欠損情報にしたがって上記映像フレーム生成手段により生成された映像フレームを欠損させる映像補正処理を行う映像補正手段とを備えたエラーコンシールメント装置。 Generating a plurality of 2D video frames having different shooting directions from the 3D video, and a video frame generating means for identifying a missing portion in the plurality of video frames;
When there is a video frame in which the missing part is specified by the video frame generating unit, the missing part in the plurality of video frames specified by the video frame generating unit is overlaid, and the missing part is present after the overlay processing. A video in which the video frame generated by the video frame generation means is lost according to the missing information indicating the missing location in the video frame by changing the non-missing location on the horizontal line to a defective location and adding the missing location. An error concealment device comprising image correction means for performing correction processing.
上記映像フレーム生成手段により生成された映像フレームの中で、シーンチェンジが発生している映像フレームを検出するシーンチェンジ検出手段と、
上記シーンチェンジ検出手段の検出結果を参照して、上記映像フレーム生成手段により欠損箇所が特定された映像フレームより時間的に前方及び後方の映像フレームの中で、シーンチェンジが発生している映像フレームを特定し、シーンチェンジが発生している前方の映像フレームからシーンチェンジが発生している後方の映像フレームまでの区間をフレーム複写区間に設定する複写区間設定手段と、
上記映像フレーム生成手段により生成された映像フレームの中で、上記複写区間設定手段により設定されたフレーム複写区間内の映像フレームを、上記映像フレーム生成手段により撮影方向が異なる二次元映像から生成された映像フレームに置き換える複写処理を行うフレーム複写手段と、
上記映像フレーム生成手段により特定された複数の映像フレーム内の欠損箇所を重ね合わせるとともに、重ね合わせ処理後に欠損箇所が存在している水平ライン上の非欠損箇所を欠損箇所に変更して欠損箇所を追加し、上記映像フレーム内の欠損箇所を示す欠損情報にしたがって上記映像フレーム生成手段により生成された映像フレームを欠損させる映像補正処理を行う映像補正手段と、
上記映像フレーム生成手段により特定された映像フレーム内の欠損箇所の目立ち易さの度合を算出し、その目立ち易さの度合が所定の閾値以内であれば、上記映像補正手段に対して映像補正処理を依頼し、その目立ち易さの度合が上記閾値以上であれば、上記フレーム複写手段に対して複写処理を依頼する処理依頼手段とを備えたエラーコンシールメント装置。 Generating a plurality of 2D video frames having different shooting directions from the 3D video, and a video frame generating means for identifying a missing portion in the plurality of video frames;
Scene change detection means for detecting a video frame in which a scene change has occurred among the video frames generated by the video frame generation means;
Referring to the detection result of the scene change detecting means, a video frame in which a scene change has occurred in a temporally forward and rearward video frame from the video frame in which the missing portion is specified by the video frame generating means A copy section setting means for setting a section from a front video frame in which a scene change has occurred to a rear video frame in which a scene change has occurred to a frame copy section;
Among the video frames generated by the video frame generation means, the video frames in the frame copy section set by the copy section setting means are generated from two-dimensional videos having different shooting directions by the video frame generation means. A frame copying means for performing a copying process to be replaced with a video frame;
Overlapping the missing parts in the plurality of video frames specified by the video frame generating means, and changing the non-missing part on the horizontal line where the missing part exists after the overlay processing to the missing part Video correction means for performing a video correction process to add and to delete the video frame generated by the video frame generation means according to the defect information indicating the missing portion in the video frame;
The degree of conspicuousness of the missing portion in the video frame specified by the video frame generating unit is calculated, and if the degree of conspicuousness is within a predetermined threshold, the video correcting process is performed on the video correcting unit. An error concealment device comprising processing request means for requesting the frame copying means to perform copying processing if the degree of conspicuousness is not less than the threshold value.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010266493A JP5622537B2 (en) | 2010-11-30 | 2010-11-30 | Error concealment device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010266493A JP5622537B2 (en) | 2010-11-30 | 2010-11-30 | Error concealment device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012119844A JP2012119844A (en) | 2012-06-21 |
| JP5622537B2 true JP5622537B2 (en) | 2014-11-12 |
Family
ID=46502224
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010266493A Expired - Fee Related JP5622537B2 (en) | 2010-11-30 | 2010-11-30 | Error concealment device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5622537B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109819230B (en) * | 2019-01-28 | 2020-08-25 | 杭州电子科技大学 | Three-dimensional video error concealment method based on HEVC standard |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3332575B2 (en) * | 1994-05-23 | 2002-10-07 | 三洋電機株式会社 | 3D video playback device |
| JP3992533B2 (en) * | 2002-04-25 | 2007-10-17 | シャープ株式会社 | Data decoding apparatus for stereoscopic moving images enabling stereoscopic viewing |
| JP4912224B2 (en) * | 2007-06-08 | 2012-04-11 | キヤノン株式会社 | Image display system and control method thereof |
| WO2010032334A1 (en) * | 2008-09-22 | 2010-03-25 | 富士通株式会社 | Quality index value calculation method, information processing device, dynamic distribution system, and quality index value calculation program |
| MX2011006360A (en) * | 2008-09-30 | 2011-07-13 | Panasonic Corp | Reproduction device, recording medium, and integrated circuit. |
| JP5531881B2 (en) * | 2010-09-22 | 2014-06-25 | 富士通株式会社 | Moving picture decoding apparatus, moving picture decoding method, and integrated circuit |
-
2010
- 2010-11-30 JP JP2010266493A patent/JP5622537B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012119844A (en) | 2012-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101260613B1 (en) | Image encoding device, image encoding method, program thereof, image decoding device, image decoding method, and program thereof | |
| KR101667723B1 (en) | 3d image signal transmission method, 3d image display apparatus and signal processing method therein | |
| JP5763184B2 (en) | Calculation of parallax for 3D images | |
| US8780173B2 (en) | Method and apparatus for reducing fatigue resulting from viewing three-dimensional image display, and method and apparatus for generating data stream of low visual fatigue three-dimensional image | |
| US8116557B2 (en) | 3D image processing apparatus and method | |
| JP4821846B2 (en) | Image encoding apparatus, image encoding method and program thereof | |
| EP2348733A2 (en) | Virtual view image synthesis method and apparatus | |
| US20140376635A1 (en) | Stereo scopic video coding device, steroscopic video decoding device, stereoscopic video coding method, stereoscopic video decoding method, stereoscopic video coding program, and stereoscopic video decoding program | |
| TWI539790B (en) | Apparatus, method and software product for generating and rebuilding a video stream | |
| KR20100095420A (en) | Method and device for processing a depth-map | |
| KR20110139189A (en) | Method for processing three dimensional (3d) video signal and digital broadcast receiver for performing the processing method | |
| JP2009044722A (en) | Pseudo-3d-image generating device, image-encoding device, image-encoding method, image transmission method, image-decoding device and image image-decoding method | |
| JP2011109671A (en) | Adaptive compression of background image (acbi) based on segmentation of three dimensional objects | |
| Shao et al. | Stereoscopic video coding with asymmetric luminance and chrominance qualities | |
| JP2010157826A (en) | Image decoder, image encoding/decoding method, and program of the same | |
| CA2841192C (en) | Method and apparatus for processing a 3d service | |
| TW200931948A (en) | Generation of a signal | |
| JP2000308089A (en) | Stereoscopic image encoder and decoder | |
| JPH03117093A (en) | Method of processing and transmitting stereoscopic television image signal | |
| JP5622537B2 (en) | Error concealment device | |
| JP2010157821A (en) | Image encoder, image encoding method, and program of the same | |
| KR101349459B1 (en) | Apparatus and method for providing video and reproducting video | |
| JP2010157823A (en) | Image encoder, image encoding method, and program of the same | |
| JP2010157822A (en) | Image decoder, image encoding/decoding method, and program of the same | |
| US20150062298A1 (en) | Image quality increasing apparatus and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130909 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140124 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140128 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140306 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140826 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140922 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5622537 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |