JP2011035858A - Video processing apparatus - Google Patents
Video processing apparatus Download PDFInfo
- Publication number
- JP2011035858A JP2011035858A JP2009183018A JP2009183018A JP2011035858A JP 2011035858 A JP2011035858 A JP 2011035858A JP 2009183018 A JP2009183018 A JP 2009183018A JP 2009183018 A JP2009183018 A JP 2009183018A JP 2011035858 A JP2011035858 A JP 2011035858A
- Authority
- JP
- Japan
- Prior art keywords
- video
- video signal
- eye
- unit
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
本発明は、二眼式の３Ｄ映像処理装置に関する。 The present invention relates to a twin-lens 3D video processing apparatus.
古くから、左右の目に対して視差を持つ映像を提示する事で立体視効果が得られる事が知られている。（以下、二眼式３Ｄ方式と呼ぶ）。二眼式３Ｄ方式の一例として、例えば、特許文献１に記載の技術がある。従来からこの原理を応用した３Ｄ映像再生装置が実用化されており、近年は、通常のビデオ動画素材に加えて、コンピューターグラフィックスによる動画素材やタイトルメニューなどのグラフィックスなど、複数の素材を合成して３Ｄとして表示される事も多い。３Ｄ再生表示装置では、ディスプレイ面に対して映像がどれくらい飛び出すか、あるいは引っ込むか、という立体視の度合いを正しく制御する事が重要であるが、特に複数の素材を合成する場合は、それらの立体視の関係を適切に制御する必要がある。（以下、奥行方向の立体視の度合いを「立体深度」或いは「深度」と呼び、ディスプレイ面から視聴位置に近づく方向を「手前方向」、視聴位置から遠ざかる方向を「奥方向」と呼ぶ） For a long time, it has been known that a stereoscopic effect can be obtained by presenting an image having parallax to the left and right eyes. (Hereinafter referred to as a binocular 3D system). As an example of the twin-lens 3D system, for example, there is a technique described in Patent Document 1. Conventionally, 3D video playback devices that apply this principle have been put into practical use. In recent years, in addition to ordinary video and moving image materials, multiple materials such as moving images using computer graphics and graphics such as title menus have been synthesized. Often displayed as 3D. In a 3D playback display device, it is important to correctly control the degree of stereoscopic vision, such as how much the image pops out or retracts from the display surface. However, especially when a plurality of materials are combined, those three-dimensional images are displayed. It is necessary to appropriately control the visual relationship. (Hereinafter, the degree of stereoscopic vision in the depth direction is called “stereoscopic depth” or “depth”, the direction approaching the viewing position from the display surface is called “front side”, and the direction moving away from the viewing position is called “depth direction”)
二眼式３Ｄの映像再生装置において、複数の映像素材を拡大もしくは縮小した後に合成する場合、拡大もしくは縮小により映像素材の立体深度が変化する。これにより、拡大率もしくは縮小率が異なる映像素材同士を合成した場合には立体深度の関係が変化するため、合成後の３Ｄ映像全体として適切な立体深度が得られないという課題がある。 In a twin-lens 3D video playback device, when a plurality of video materials are enlarged or reduced and then combined, the stereoscopic depth of the video material changes due to the expansion or reduction. As a result, when video materials having different enlargement ratios or reduction ratios are combined, the relationship of the three-dimensional depth changes, so that there is a problem that an appropriate three-dimensional depth cannot be obtained as a whole 3D video after combining.
本発明は、二眼式３Ｄ映像再生装置において、複数の映像素材を拡大もしくは縮小した後に合成して３Ｄ表示する場合に、各映像素材間の立体深度の関係を適切に制御する映像処理装置を提供することである。 The present invention provides a video processing apparatus that appropriately controls the relationship of the three-dimensional depth between video materials when a plurality of video materials are enlarged or reduced and then combined and displayed in 3D in a twin-lens 3D video playback device. Is to provide.
本発明の映像処理装置は、第1の３Ｄ映像信号と第2の３Ｄ映像信号とを合成し、左目用の映像信号と右目用の映像信号とを含む３Ｄ映像信号を生成可能な再生装置１２であって、第1の３Ｄ映像信号が入力され、少なくとも拡大もしくは縮小のいずれかの処理が可能であり、その処理後の第1の３Ｄ映像信号を出力する第１のスケーリング部３０５と、第2の３Ｄ映像信号が入力され、その入力された第2の３Ｄ映像信号の深度を調整して出力するオフセット印加部３０６と、第１のスケーリング部３０５の出力とオフセット印加部３０６との出力とを合成して出力する合成部３０７とを備え、オフセット印加部３０６は、第１のスケーリング部３０５における拡大もしくは縮小の比率に応じて、第2の３Ｄ映像信号の深度を調整する。
The video processing apparatus of the present invention combines a first 3D video signal and a second 3D video signal, and generates a 3D video signal including a left-eye video signal and a right-eye video signal. The
上記手段により、各映像素材を任意に拡大もしくは縮小した場合でも、他の素材との立体深度の関係を常に適切に保った立体映像を得る事ができる。 By the above means, even when each video material is arbitrarily enlarged or reduced, it is possible to obtain a stereoscopic video in which the relationship of the stereoscopic depth with other materials is always properly maintained.
（実施の形態１）
本実施の形態について、図１、２、３、４、５、６、７を用いて説明する。図１は、本実施の形態における３Ｄ再生表示システムの全体構成図である。図１において、表示装置１１は３Ｄ映像を表示するディスプレイなどの表示装置である。再生装置１２は、記憶媒体やネットワ−クなどから映像素材を読み出して３Ｄ映像として再生する再生装置である。立体メガネ１３は、表示装置１１が表示する３Ｄ映像を右目用と左目用に分離する液晶シャッタを備えた偏光メガネである。
(Embodiment 1)
This embodiment will be described with reference to FIGS. 1, 2, 3, 4, 5, 6, and 7. FIG. FIG. 1 is an overall configuration diagram of a 3D playback / display system according to the present embodiment. In FIG. 1, a
図２は、本実施の形態における３Ｄ表示装置の構成図であり、図１の表示装置１１の内部構成を示す。図２において、第１の入出力部１０１は、図１の再生装置１２の出力を受ける第１の入出力部であり、例えば、ＨＤＭＩ信号入力部などである。第１のＡＶ処理部１０２は、第１の入出力部１０１の出力を受けて映像及び音声信号を処理して表示部１０３の駆動信号を生成する第１のＡＶ処理部である。表示部１０３は、第１のＡＶ処理部１０２の出力を受けて３Ｄ映像を表示する表示部である。第１のリモコン信号受信部１０４は、ユーザーが操作するリモコンの信号を受ける第１のリモコン信号受信部である。送信部１０５は、第１のＡＶ処理部１０２の出力に応じて、図１の立体メガネ１３に対して、左目用或いは右目用右のどちらの映像を表示するかを切り替える同期信号送信する送信部である。一般的には、赤外線信号などを使って送信される。
FIG. 2 is a configuration diagram of the 3D display device according to the present embodiment, and shows an internal configuration of the
図３は、本実施の形態における３Ｄ再生装置の構成図であり、図１の再生装置１２の内部構成を示す。図３において、ディスク２００は、３Ｄ映像素材を記録する光ディスクやＨＤＤなどの記録媒体であり、ビデオ映像、グラフィックス映像、字幕映像などの映像データ及び音声データが、圧縮されたストリーム信号として記録されている。ディスクドライブ部２０１は、ディスク２００から記録されたストリーム信号を読み出す。第２のＡＶ処理部２０２は、ディスクドライブ部２０１から得られた複数の映像ストリーム信号（ビデオ、グラフィックス、字幕など）を合成して、左目用及び右目用が多重化された映像信号として出力する。第２の入出力部２０３は、第２のＡＶ処理部２０２から受けた映像信号を図１の表示装置１１に出力する。第２のリモコン信号受信部２０５は、ユーザーが操作するリモコンの信号を受信する。ＣＰＵ２０４は、第２のリモコン信号受信部２０５から受けたユーザー操作指令を受けて、第２のＡＶ処理部２０２を制御する。
FIG. 3 is a configuration diagram of the 3D playback device according to the present embodiment, and shows an internal configuration of the
このように構成された全体システムにおいて、図１の再生装置１２では、ユーザーの操作に応じて、記録媒体やネットワーク等から３Ｄ映像ストリームを読み出して再生し、左目用の映像信号と右目用の映像信号を多重化して表示装置１１に転送する。表示装置１１では、入力した左目用と右目用の映像をディスプレイ上で時分割表示し、この時分割の切替タイミングを、赤外線による同期信号などの手段で立体メガネ１３に伝える。立体メガネ１３は、表示装置１１から受けた同期信号に応じて液晶シャッタの透過率を切替え、左目側或いは右目側の何れかの光を交互に透過させる事により、左目用の映像信号は左目だけに、右目用の映像信号は右目だけに提示する。このようにして３Ｄ立体視を実現するものである。
In the overall system configured as described above, the
図４は、図３の第２のＡＶ処理部２０２の内部構成を示す。図４において、ストリーム制御部３０１は、図３のディスクドライブ部２０１から読み出した記録ストリーム信号から、ビデオ映像ストリーム、グラフィックス映像ストリーム、字幕映像ストリームなどを分離して出力する。ビデオデコーダ３０２は、ストリーム制御部３０１が出力するビデオ映像ストリームをデコードして、左目用のビデオ映像信号（Ｌ）と右目用のビデオ映像信号（Ｒ）を出力する。
FIG. 4 shows an internal configuration of the second
第１のスケーリング部３０５は、ＣＰＵ２０４が出力する制御信号に応じて、ビデオデコーダ３０２が出力する左目用のビデオ映像信号（Ｌ）と右目用のビデオ映像信号（Ｒ）を、各々所定の倍率で拡大もしくは縮小する。グラフィックデコーダ３０３は、ストリーム制御部３０１が出力するグラフィックス映像ストリームをデコードして、左目用のグラフィクス映像信号（Ｌ）と右目用のグラフィックス映像信号（Ｒ）を出力する。この場合のグラフィックス映像とは、例えば、記録されたコンテンツを選択するためのメニュ−画面などである。
The
字幕デコーダ３０４は、ストリーム制御部３０１が出力する字幕映像ストリームをデコードして、２Ｄの基準字幕映像データと、これに３Ｄ方向の深度を与えるオフセットデータを出力する。第２のスケーリング部３１３は、字幕デコーダ３０４が出力する基準字幕映像データを、ＣＰＵ２０４が出力する制御信号に応じて所定の倍率で拡大もしくは縮小する。オフセット印加部３０６は、第２のスケーリング部３１３が出力するスケーリングされた基準字幕映像データと、字幕デコーダ３０４が出力するオフセットデータを受けて、基準字幕映像データから、オフセットデータに応じて画面水平左方向に位置をずらした字幕映像データ（Ｌ’）と、これと対称に右方向に位置をずらした字幕映像デ−タ（Ｒ’）を出力する。二眼式３Ｄ方式では、人間の立体視が、左右の目の水平方向の視差に依ることを利用している。そのため、通常の２Ｄで表現された字幕データであっても、これを画面の水平方向に左右対称にずらせた２つの映像を作り、これを各々左目、右目用の映像とする事で、３Ｄ方向の深度を与える事ができる。これについては後に詳しく説明する。
The
合成部３０７は、第１のスケーリング部３０５、グラフィックデコーダ３０３、オフセット印加部３０６の出力を左目用と右目用に分けて各々合成する合成部である。第１の加算部３０８、第２の加算部３０９、第３の加算部３１０、第４の加算部３１１、多重化部３１２は、各々合成部３０７の構成要素である。第１の加算部３０８は、第１のスケーリング部３０５が出力する左目用ビデオ映像データ（Ｌ）とグラフィックデコーダ３０３が出力する左目用グラフィックス映像データ（Ｌ）を合成する。第２の加算部３０９は、第１のスケーリング部３０５が出力する右目用ビデオ映像データ（Ｒ）とグラフィックデコーダ３０３が出力する右目用グラフィックス映像データ（Ｒ）を合成する。第３の加算部３１０は、第１の加算部３０８が出力する左目用のビデオ映像とグラフィックス映像の合成データと、オフセット印加部３０６が出力する左目用字幕映像データ（Ｌ’）を合成する。第４の加算部３１１は、第２の加算部３０９が出力する右目用のビデオ映像とグラフックス映像の合成データと、オフセット印加部３０６が出力する右目用字幕映像データ（Ｒ’）を合成する。多重化部３１２は、第３の加算部３１０、第４の加算部３１１の出力を受けて、左目用と右目用の信号を多重化して出力する。
The combining unit 307 is a combining unit that combines the outputs of the
ＣＰＵ２０４は、図１の第２のリモコン信号受信部２０５のリモコン受信データに応じて、ストリーム制御部３０１、オフセット印加部３０６の動作を制御するとともに、ストリーム制御部３０１からストリーム中記録された拡大或いは縮小情報を読み出し、これに基づいて第１のスケーリング部３０５及び第２のスケーリング部３１３に拡大縮小率を出力する。
The
以下に、このように構成された第２のＡＶ処理部２０２の動作を説明する。まず、３Ｄビデオ映像を通常動作モードとして字幕付きで再生する場合について説明する。ストリーム制御部３０１は、ディスクに記録された圧縮ストリームから３Ｄビデオ映像ストリームを抽出し、これをビデオデコーダ３０２でデコードし、左目用（Ｌ）、右目用（Ｒ）の映像信号を得る。ここでは、第１のスケーリング部３０５でのスケーリングは行わず（拡大縮小率＝１．０）、またグラフィックス映像データは表示しないものとする。また、ストリーム制御部３０１は、ディスクに記録された圧縮ストリームから字幕映像ストリームを抽出し、これを字幕デコーダ３０４でデコードし、２Ｄの基準字幕映像信号と、これに３Ｄ方向の深度を与えるオフセットデータを出力する。ここでは、第２のスケーリング部３１３でのスケーリングは行わない（拡大縮小率＝１．０）ため、２Ｄの基準字幕映像信号は第２のスケーリング部３１３を経由し、オフセット印加部３０６で３Ｄ方向の深度を与えるオフセットが印加され、左目用の字幕映像データ（Ｌ）と右目用の字幕映像データ（Ｒ）を出力する。
Hereinafter, an operation of the second
ビデオデコーダ３０２が出力する左目用ビデオ映像データ（Ｌ）は、第１のスケーリング部３０５と第１の加算部３０８を経由し、第３の加算部３１０において、オフセット印加部３０６が出力する左目用字幕映像データ（Ｌ’）と合成される。またビデオデコーダ３０２が出力する右目用ビデオ映像データ（Ｒ）は、第１のスケーリング部３０５と第２の加算部３０９を経由し、第４の加算部３１１において、オフセット印加部３０６が出力する右目用の字幕映像データ（Ｒ’）と合成される。これらの右目用と左目用の映像データは、多重化部３１２で多重化されてディスプレイに転送される。
The left-eye video image data (L) output from the
ここで、二眼式３Ｄの立体視の仕組みについて説明する。図５は、立体視の原理を示す模式図である。ディスプレイに正対して視聴する様子を頭の上方向から見た図であり、ディスプレイ面での映像の水平方向位置と、それを見る左右の目の視線（角度）を示している。図５（１）は、ビデオ映像を見たときの様子、図５（２）は、字幕映像を見た時の様子を示す。図５（１）において、まず、左目用のビデオ映像と右目用のビデオ映像をディスプレイ面で水平方向の同じ位置（点Ｏ）に表示した場合、人間はこのビデオ映像が点０の深度（ディスプレイ面）にあると認識する。左目用のビデオ映像を点Ｌｂ、右目用のビデオ映像を点Ｒｂの位置に表示すると、人間はこのビデオ映像が点ｂの深度にある（ディスプレイ面より奥方向に位置する）と認識する。また、左目用のビデオ映像を点Ｌａ、右目用のビデオ映像を点Ｒａに表示すると、人間はこのビデオ映像が点ａの深度にある（ディスプレイ面より手前方向に位置する）と認識する。このように、左右の目が映像を見る視線の角度によって、立体深度が認識される。一般的な３Ｄビデオ映像では、立体深度は映像に応じて常に変化している。ここでは、３Ｄビデオ映像の立体深度を点ｂから点ａの範囲にあるとする。 Here, the mechanism of the binocular 3D stereoscopic vision will be described. FIG. 5 is a schematic diagram showing the principle of stereoscopic vision. It is the figure which looked at a mode that it watches and faces a display from the upper direction of a head, and shows the horizontal direction position of a picture on a display side, and the eyes (angle) of the right and left eyes which see it. FIG. 5 (1) shows a state when a video image is viewed, and FIG. 5 (2) shows a state when a subtitle image is viewed. In FIG. 5A, first, when the left-eye video image and the right-eye video image are displayed at the same position in the horizontal direction (point O) on the display surface, the human being has the depth of 0 (display Recognize that the When the left-eye video image is displayed at the point Lb and the right-eye video image is displayed at the point Rb, the human recognizes that the video image is at the depth of the point b (located in the back direction from the display surface). When the left-eye video image is displayed at the point La and the right-eye video image is displayed at the point Ra, the human recognizes that the video image is at the depth of the point a (positioned in front of the display surface). In this way, the three-dimensional depth is recognized by the angle of the line of sight when the left and right eyes see the video. In a general 3D video image, the stereoscopic depth constantly changes according to the image. Here, it is assumed that the stereoscopic depth of the 3D video image is in the range from point b to point a.
次に、字幕映像について図５（２）で説明する。基本的な立体視の考え方は図５（１）のビデオ映像と同じである。ここでは、字幕映像を基本的に通常の２Ｄ映像としている。つまり、ディスクから読み出したデータに左目用や右目用の区別はなく、そのままではいずれも同じ点（点Ｏ）に表示されるので、字幕映像はディスプレイ面上に位置すると認識される。ここで、図５の（１）のビデオ映像において、立体深度が点Ａから点Ｏの範囲にある場合に、（２）の字幕映像（点Ｏに位置する場合）を合成して一つの３Ｄ映像として見ると、ディスプレイ面より手前方向に飛び出して見えるビデオ映像の一部分に、プレーン上はその上に重なる状態（字幕が重なった部分のビデオ映像は字幕に隠れて見えない）でありながら、立体視としてはそれより奥方向に引っ込んだ字幕が表示される。しかし現実の世界では、このような見え方になる事は基本的にあり得ない。そのためこのような表示では人間の立体視認識がうまく働かず、気分が悪くなるなどのいわゆる３Ｄ酔いと呼ばれる状態になる恐れがある。また逆に、字幕映像をビデオ映像より過度に手前に飛び出した深度に表示すると、やはり人間の立体視の認識能力に負荷がかかり、疲れやすいという問題が発生する。このような問題を避けるため、字幕を表示する深度は、ビデオ映像の深度と大きく乖離しない範囲で、かつビデオ映像より若干手前に表示する事が望ましい。 Next, the caption video will be described with reference to FIG. The basic concept of stereoscopic vision is the same as the video image of FIG. Here, the subtitle video is basically a normal 2D video. That is, there is no distinction between left-eye and right-eye data read from the disc, and both are displayed at the same point (point O) as they are, so that the subtitle video is recognized as being located on the display surface. Here, in the video image of (1) in FIG. 5, when the stereoscopic depth is in the range from the point A to the point O, the subtitle image (when located at the point O) of (2) is synthesized to form one 3D. When viewed as a video, a part of the video image that appears to jump out from the display surface overlaps on the plane (the video image where the subtitles overlap is hidden behind the subtitles and cannot be seen). As a visual indication, the subtitles that are retracted in the depth direction are displayed. However, in the real world, this kind of appearance is basically impossible. Therefore, in such a display, human stereoscopic recognition does not work well, and there is a risk of a so-called 3D sickness state in which the person feels sick. On the other hand, if the subtitle image is displayed at a depth that protrudes too far from the video image, there is still a problem that a human's ability to recognize stereoscopic vision is burdened and easily fatigued. In order to avoid such a problem, it is desirable to display the subtitles in a range that does not greatly deviate from the depth of the video image and slightly before the video image.
このため図５（２）に示すように、ディスプレイ面上の字幕映像を、左目用と右目用の２つに分けて表示する。具体的には、左目の字幕映像デ−タは、点Ｏから所定オフセット量だけ右方向にずらした点Ｌｃに表示し、右目用の字幕映像データは、点Ｏから所定オフセット量だけ左方向にずらした点Ｒｃに表示する。これにより、字幕映像そのものは２Ｄで平板に見えるが、３Ｄ方向の位置としては点ｃの深度にあると認識される。このように、ビデオ映像の最も手前方向の深度（点Ａ）から、ｄだけ手前方向の深度（点Ｃ）に字幕を表示する事により、ビデオ映像と字幕を合成した場合でも自然な３Ｄ立体視を得る事ができる。 Therefore, as shown in FIG. 5 (2), the subtitle video on the display screen is displayed separately for the left eye and the right eye. Specifically, the left-eye caption video data is displayed at a point Lc shifted rightward from the point O by a predetermined offset amount, and the right-eye caption video data is leftward from the point O by a predetermined offset amount. Displayed at the shifted point Rc. As a result, the subtitle video itself appears to be a flat plate in 2D, but the position in the 3D direction is recognized to be at the depth of point c. In this way, by displaying subtitles from the depth closest to the video image (point A) to the depth d closest to the video image (point C), natural 3D stereoscopic viewing is possible even when the video image and the subtitle are synthesized. Can be obtained.
次に、ビデオ映像を縮小するとともに、その縮小するビデオ信号に字幕が重畳される場合について説明する。まず、図３の第２のリモコン信号受信部２０５が、ユーザーのリモコン操作「メニュー表示」の信号を受信したとする。これをＣＰＵ２０４で検出し、図４のストリーム制御部３０１を制御して、記録ストリームデータからグラフィックス映像ストリームを抽出する。このグラフィックス映像ストリームをグラフィックデコーダ３０３がデコードし、メニュー画面を構成するグラフィックス映像データを出力する。ここでは、メニュー画面も３Ｄ映像とし、左目用データ（Ｌ）と右目用データ（Ｒ）が出力される。ここで、メニュー表示時はビデオ映像を縮小してメニュー画面の一部の領域に表示するものとする。
Next, a case where a video image is reduced and captions are superimposed on the reduced video signal will be described. First, it is assumed that the second remote control
このメニュー画面の一部の領域に表示するために、左目用ビデオ映像（Ｌ）と右目用ビデオ映像（Ｒ）とを１／２にスケーリングする場合を例に説明する。ＣＰＵ２０４の制御に応じて、第１のスケーリング部３０５で左目用ビデオ映像（Ｌ）、右目用ビデオ映像（Ｒ）を各々１／２に縮小スケーリングし、これらを、第１の加算部３０８、第２の加算部３０９でグラフィックス映像データと合成する。さらに、ビデオ映像データに付加する字幕の基準映像データも、ＣＰＵ２０４の制御に応じて、第２のスケーリング部３１３で１／２に縮小する。これに、オフセット印加部３０６で水平方向のオフセットを印加し、左目用字幕データ（Ｌ’）、右目用字幕データ（Ｒ’）として出力し、第３の加算部３１０、第４の加算部３１１でビデオ映像及びグラフィックス映像と合成する。これにより、縮小されたビデオ映像と字幕が合成されたメニュー画面が構成される。
An example will be described in which the left-eye video image (L) and the right-eye video image (R) are scaled to ½ in order to display in a partial area of the menu screen. Under the control of the
図6は、１／２にスケーリングしたにも関わらず、オフセット量を調整しなかった場合の例を示す。この時の立体視の様子を図６（１）及び（２）を用いて説明する。図６は、図５と同様に、ディスプレイに正対して視聴する様子を頭の上から見た図であり、ディスプレイ上の水平方向の映像の位置と、それを見る左右の目の視線（角度）を示している。図６（１）は、ビデオ映像を見たときの様子、図６（２）は、字幕映像を見た時の様子を示す。 FIG. 6 shows an example in which the offset amount is not adjusted despite being scaled to ½. The state of stereoscopic vision at this time will be described with reference to FIGS. FIG. 6 is a view of viewing from the top of the head, as viewed in front of the display, as in FIG. 5, and the position of the horizontal image on the display and the line of sight (angle) of the left and right eyes viewing it. ). FIG. 6 (1) shows a state when a video image is viewed, and FIG. 6 (2) shows a state when a subtitle image is viewed.
まずビデオ映像は、図５（１）と比べて１／２に縮小されるので、全ての画素間隔が１／２に縮小される。ゆえに、映像が奥方向の深度にある時は、左目用のビデオ映像は点Ｌｂ’、右目用のビデオ映像は点Ｒｂ’に表示され、ビデオ映像は点ｂ’の深度にあると認識される。また映像が手前方向の深度にある時は、左目用のビデオ映像は点Ｌa’、右目用のビデオ映像は点Ｒa’に表示され、ビデオ映像は点ａ’の深度にあると認識される。このように、二眼式３Ｄ方式の左目用及び右目用の映像を各々２次元空間で水平方向に縮小すると、それに比例して立体深度が小さくなる。反対に、水平方向に拡大するとそれに比例して立体深度が大きくなる。これは二眼式３Ｄ方式が、水平方向の視差によって深度が決まるためであり、原理的な現象である。 First, since the video image is reduced to ½ compared to FIG. 5A, all pixel intervals are reduced to ½. Therefore, when the image is at a depth in the depth direction, the video image for the left eye is displayed at the point Lb ′, the video image for the right eye is displayed at the point Rb ′, and the video image is recognized as being at the depth of the point b ′. . When the image is at the depth in the front direction, the video image for the left eye is displayed at the point La ', the video image for the right eye is displayed at the point Ra', and the video image is recognized as being at the depth of the point a '. In this way, when the left-eye and right-eye images of the binocular 3D system are reduced in the horizontal direction in the two-dimensional space, the stereoscopic depth is reduced in proportion thereto. On the other hand, when the image is expanded in the horizontal direction, the three-dimensional depth increases in proportion thereto. This is because the depth of the binocular 3D system is determined by the parallax in the horizontal direction, which is a fundamental phenomenon.
つぎに字幕映像は、第２のスケーリング部３１３で２Ｄの基準字幕映像信号として縮小され、左右の視差を決めるオフセットは変わらない。ゆえに、左目用字幕映像データは点Ｌｃの位置に、右目用字幕映像データは点Ｒｃの位置に表示され、字幕映像は点ｃの深度にあると認識される。
Next, the subtitle video is reduced as a 2D reference subtitle video signal by the
このように、３Ｄビデオ映像とオフセット付き２Ｄ字幕映像を各々１／２に縮小した場合、ビデオ映像の深度は１／２に低減するのに対し、字幕映像の深度は変わらないため、ビデオ映像と字幕映像の立体深度の差ｄ’が大きくなる。すなわち、字幕映像がビデオ映像より過度に手前に飛び出した深度に表示されるため、人間の立体視の認識能力に負荷がかかり、疲れやすいという問題が生じる。ここでは縮小する例を述べたが、逆に２倍に拡大する場合を考えると、ビデオ映像の映像深度が２倍に拡大され、字幕の深度は変わらないため、ビデオ映像が字幕より手前に表示される状態になる。この場合も、前述したように、人間の立体視認識がうまく働かず、気分が悪くなるなどのいわゆる３Ｄ酔いと呼ばれる状態になる恐れがある。 As described above, when the 3D video image and the offset 2D subtitle image are reduced to ½, the video image depth is reduced to ½, while the subtitle image depth does not change. The difference d ′ in the stereoscopic depth of the caption video increases. That is, since the subtitle image is displayed at a depth that protrudes too far from the video image, there is a problem that a human's ability to recognize stereoscopic vision is burdened and easily fatigued. Here, an example of reduction was described, but conversely, considering the case of enlarging twice, the video depth of the video image is doubled and the subtitle depth does not change, so the video image is displayed in front of the subtitle. It becomes a state to be. Also in this case, as described above, there is a risk that human stereoscopic recognition does not work well and a so-called 3D sickness state such as a feeling of badness may occur.
そこで、本実施の形態では、この問題を解決するために、ビデオ映像を拡大もしくは縮小した場合に、字幕に印加するオフセット量を可変する。以下にその手順と仕組みを説明する。まず、図３の第２のリモコン信号受信部２０５が、ユーザーのリモコン操作「メニュー表示」の信号を受信した場合、これを図４のＣＰＵ２０４で検出する。さらにＣＰＵ２０４は、ストリーム中に記録されたか縮小或いは拡大率をストリーム制御部３０１から読み出し、これに応じて、オフセット印加部３０６で印加するオフセットを制御する。具体的には、例えば拡大率が２倍であれば、印加するオフセット量も２倍、拡大率が１／２であれば印加するオフセット量も１／２にする。
Therefore, in this embodiment, in order to solve this problem, when the video image is enlarged or reduced, the offset amount applied to the subtitle is varied. The procedure and mechanism are described below. First, when the second remote control
図７にこの時の立体視の様子を示す。図７は、図５及び６と同様に、ディスプレイに正対して視聴する様子を頭の上から見た図であり、ディスプレイ上の水平方向の映像の位置と、それを見る左右の目の視線（角度）を示している。図７（１）は、ビデオ映像を見たときの様子、図７（２）は、字幕映像を見た時の様子を示す。 FIG. 7 shows a stereoscopic view at this time. FIG. 7 is a view of viewing from the top of the head, as viewed in FIG. 5 and 6, with the position of the image on the display in the horizontal direction and the eyes of the left and right eyes viewing it. (Angle) is shown. FIG. 7 (1) shows a state when a video image is viewed, and FIG. 7 (2) shows a state when a subtitle image is viewed.
ビデオ映像は１／２に縮小されるため、図６（１）と同様に立体深度も１／２となり、点ａ’から点ｂ’の深度と認識される。字幕映像は、オフセットが１／２に低減されるため、左目用字幕映像データは点Ｌｃ’の位置に、右目用字幕映像データは点Ｒc’の位置に表示され、この字幕映像は点ｃ’の深度にあると認識される。これにより、ビデオ映像と字幕の相対的な深度の関係が保存され、字幕とビデオ映像の深度が大きく乖離せす、かつ字幕がビデオ映像より若干手前に表示する事ができる。 Since the video image is reduced to ½, the stereoscopic depth is also halved similarly to FIG. 6A, and the depth is recognized as the depth from the point a ′ to the point b ′. Since the offset of the subtitle video is reduced to ½, the subtitle video data for the left eye is displayed at the position of the point Lc ′, and the subtitle video data for the right eye is displayed at the position of the point Rc ′. Perceived to be at a depth of. As a result, the relationship between the relative depths of the video image and the subtitle is stored, the depth of the subtitle and the video image greatly deviates, and the subtitle can be displayed slightly before the video image.
ここで、拡大縮小率に応じてオフセットを算出する場合に、デジタル演算の語調によるビット丸めが発生する場合がある。例えば、字幕映像のオフセットが、左目用と右目用で±７画素であった場合、これを１／２に縮小すると、オフセットは±３．５画素になる。一般に、小数点点以下の画素位置に映像の位相を正確に合わせるのは非常に困難である。ゆえに、画素位置を丸める事になるが、その場合、字幕映像データがビデオ映像データより手前方法にずれるように丸める事が有効である。図７（２）の例であれば、左目用字幕映像データ（Ｌc’）は右側寄りに、右目用字幕映像データ（Ｒc’）は左側寄りになるように丸める。（この場合、オフセット値は切り上げ方向になる）。図７（２）は字幕映像の深度がディスプレイより手前方向にある場合であるが、字幕映像の深度がディスプレイより奥方向にある場合も、同様に、左目用字幕映像データは右側寄りに、右目用字幕映像データは左側寄りになるように丸める。但しこの場合は、オフセット値は切り捨て方向になる。つまり、オフセット印加部３０６によるオフセットの縮小比率は、第１のスケーリング部３０５における縮小比率よりも小さい。
Here, when the offset is calculated in accordance with the enlargement / reduction ratio, bit rounding may occur due to a digital tone. For example, if the offset of the caption video is ± 7 pixels for the left eye and for the right eye, if this is reduced to ½, the offset becomes ± 3.5 pixels. In general, it is very difficult to accurately adjust the phase of an image to a pixel position below the decimal point. Therefore, the pixel position is rounded. In this case, it is effective to round the subtitle video data so that the subtitle video data is shifted in the foreground method from the video video data. In the example of FIG. 7B, the left-eye caption video data (Lc ′) is rounded to the right and the right-eye caption video data (Rc ′) is rounded to the left. (In this case, the offset value is in the round-up direction). FIG. 7 (2) shows the case where the depth of the caption video is in the front direction from the display. Similarly, when the depth of the caption video is in the depth direction from the display, the left-eye caption video data is also shifted to the right side, The closed caption video data is rounded to the left. However, in this case, the offset value is cut off. That is, the reduction ratio of the offset by the offset
これらの処理により、映像の拡大縮小に依らず、常に自然でかつ疲れにくい立体映像を得る事ができる。 Through these processes, a 3D image that is always natural and less tiring can be obtained regardless of the enlargement / reduction of the image.
なお、上記においては、ビデオ映像を１／２に縮小する例について説明したが、１．５倍に拡大する場合も同様にオフセット量を調整すれば良い。この場合は、オフセット量を１．５倍にすれば良い。また、例えば、１．５倍に拡大する場合に画素位置を丸めることが必要な場合は、同様に幕映像データがビデオ映像データより手前方法にずれるように丸める事が有効である。つまり、オフセット印加部３０６によるオフセットの拡大比率は、第１のスケーリング部３０５における拡大比率よりも大きい。
In the above description, an example in which the video image is reduced to ½ has been described. However, the offset amount may be adjusted in the same manner even when the video image is enlarged to 1.5 times. In this case, the offset amount may be increased by 1.5 times. Further, for example, when the pixel position needs to be rounded when enlarging to 1.5 times, it is effective to round the curtain video data so that it is shifted in a forward manner from the video video data. That is, the offset enlargement ratio by the offset
つまり、本実施の形態の映像処理装置は、第1の３Ｄ映像信号と第2の３Ｄ映像信号とを合成し、左目用の映像信号と右目用の映像信号とを含む３Ｄ映像信号を生成可能な再生装置１２であって、第1の３Ｄ映像信号が入力され、少なくとも拡大もしくは縮小のいずれかの処理が可能であり、その処理後の第1の３Ｄ映像信号を出力する第１のスケーリング部３０５と、第2の３Ｄ映像信号が入力され、その入力された第2の３Ｄ映像信号の深度を調整して出力するオフセット印加部３０６と、第１のスケーリング部３０５の出力とオフセット印加部３０６との出力とを合成して出力する合成部３０７とを備え、オフセット印加部３０６は、第１のスケーリング部３０５における拡大もしくは縮小の比率に応じて、第2の３Ｄ映像信号の深度を調整する。
That is, the video processing apparatus according to the present embodiment can generate a 3D video signal including the left-eye video signal and the right-eye video signal by combining the first 3D video signal and the second 3D video signal. A
これにより、各映像素材を任意に拡大もしくは縮小した場合でも、他の素材との３Ｄ深度の関係を常に適切に保った３Ｄ映像を得る事ができる。 Thereby, even when each video material is arbitrarily enlarged or reduced, it is possible to obtain a 3D video in which the 3D depth relationship with other materials is always properly maintained.
また、本実施の形態の映像処理装置は、
第2の３Ｄ映像信号は、２Ｄ映像信号と、その２Ｄ映像信号から左目用の映像信号と右目用の映像信号とを生成する場合に用いられる、その左目用の映像信号と右目用の映像信号の画面における位置ズレ量を示すオフセットとを含み、
オフセット印加部３０６は、２Ｄ映像信号とオフセットに基づき左目用の映像信号と右目用の映像信号とを生成する場合において、第１のスケーリング部３０５における拡大もしくは縮小の比率に応じて、オフセットを調整する。
In addition, the video processing apparatus of the present embodiment is
The second 3D video signal is a 2D video signal and the left-eye video signal and the right-eye video signal used when generating the left-eye video signal and the right-eye video signal from the 2D video signal. Including an offset indicating the amount of positional deviation on the screen,
The offset
これにより、字幕情報がオフセット量を持つ２Ｄ映像であった場合も、他の素材との３Ｄ深度の関係を常に適切に保った３Ｄ映像を得る事ができる。 As a result, even when the caption information is a 2D video having an offset amount, it is possible to obtain a 3D video in which the 3D depth relationship with other materials is always properly maintained.
また、本実施の形態の映像処理装置は、オフセット印加部３０６によるオフセットの縮小比率は、第１のスケーリング部３０５における縮小比率よりも小さい。
In the video processing apparatus according to the present embodiment, the offset reduction ratio by the offset
これにより縮小時に丸め誤差が発生する場合であっても、他の素材との３Ｄ深度の関係を常に適切に保った３Ｄ映像を得る事ができる。 As a result, even when a rounding error occurs at the time of reduction, it is possible to obtain a 3D image in which the 3D depth relationship with other materials is always properly maintained.
また、本実施の形態の映像処理装置は、オフセット印加部３０６によるオフセットの拡大比率は、第１のスケーリング部３０５における拡大比率よりも大きい
これにより拡大時に丸め誤差が発生する場合であっても、他の素材との３Ｄ深度の関係を常に適切に保った３Ｄ映像を得る事ができる。
Further, in the video processing apparatus according to the present embodiment, the offset enlargement ratio by the offset
なお、本実施の形態における説明において、図４を用いて、３Ｄビデオ映像とオフセット付きの字幕映像を合成する場合について説明した。通常、字幕はビデオ映像に合わせて拡大や縮小を行うため、図４の第２のスケーリング部３１３に示すスケーリング部を設けたが、この構成を設けない他の実施の形態もあり得る。それは、例えば、３Ｄビデオ映像を、オフセット付きのメニューや、表示画面全体にオフセットが付与されたグラフィックス映像と合成する場合である。この場合、ビデオ映像を拡大や縮小を行っても、メニューやグラフィックスは拡大や縮小は行わない。そのため、オフセット付きのメニューや表示画面全体に付与されたグラフィックスは、拡大や縮小を行う事無く、オフセットのみを適切に補正すればよい。
In the description of the present embodiment, the case of synthesizing a 3D video image and a subtitle image with an offset has been described with reference to FIG. Usually, since the subtitle is enlarged or reduced in accordance with the video image, the scaling unit shown in the
また、本実施の形態における説明において、３Ｄ映像素材は主に光ディスクやＨＤＤなどの記録媒体から読み出すとしたが、半導体メモリ等の記録媒体、ＬＡＮなどのネットワークから読み出してもよい。 In the description of the present embodiment, the 3D video material is mainly read from a recording medium such as an optical disk or an HDD, but may be read from a recording medium such as a semiconductor memory or a network such as a LAN.
また、本実施の形態における説明において、左目用の映像と右目用の映像は、ディスプレイで時分割に表示し、これに同期した液晶シャッタを用いたメガネで視聴するとしたが、このような構成に限定されるものではない。ディスプレイ表面に貼り付けた偏光フィルタなどで空間方向に分割して表示する方法など、多くの方式が提案されており、いわゆる二眼式の３Ｄ再生装置であれば、広く適用が可能である。 In the description of the present embodiment, the left-eye video and the right-eye video are displayed on a display in a time-sharing manner and viewed with glasses using a liquid crystal shutter synchronized with the video. It is not limited. Many methods have been proposed, such as a method of dividing and displaying in the spatial direction with a polarizing filter or the like attached to the surface of the display, and any so-called binocular 3D playback device can be widely applied.
本発明は、ハードディスクレコーダなど、立体映像を再生可能な再生装置などに適用できる。 The present invention can be applied to a playback apparatus capable of playing back stereoscopic video, such as a hard disk recorder.
１１ 表示装置
１２ 再生装置
１３ 立体メガネ
１０１ 第１の入出力部
１０２ 第１のＡＶ処理部
１０３ 表示部
１０４ 第１のリモコン信号受信部
１０５ 送信部
２００ ディスク
２０１ ディスクドライブ部
２０２ 第２のＡＶ処理部
２０３ 第２の入出力部
２０４ ＣＰＵ
２０５ 第２のリモコン信号受信部
３０１ ストリーム制御部
３０２ ビデオデコーダ
３０３ グラフィックデコーダ
３０４ 字幕デコーダ
３０５ 第１のスケーリング部
３０６ オフセット印加部
３０７ 合成部
３０８ 第１の加算部
３０９ 第２の加算部
３１０ 第３の加算部
３１１ 第４の加算部
３１２ 多重化部
３１３ 第２のスケーリング部
DESCRIPTION OF
205 Second remote control
Claims (4)
前記第1の立体映像信号が入力され、少なくとも拡大もしくは縮小のいずれかの処理が可能であり、その処理後の第1の立体映像信号を出力する第１のスケーリング部と、
前記第2の立体映像信号が入力され、その入力された第2の立体映像信号のデプスを調整して出力するデプス調整部と、
前記第１のスケーリング部の出力とデプス調整部との出力とを合成して出力する合成部とを備え、
前記デプス調整部は、前記第１のスケーリング部における拡大もしくは縮小の比率に応じて、前記第2の立体映像信号のデプスを調整する、映像処理装置。 A video processing apparatus capable of generating a stereoscopic video signal including a left-eye video signal and a right-eye video signal by combining a first stereoscopic video signal and a second stereoscopic video signal, wherein the first stereoscopic video signal is generated A first scaling unit which receives a video signal and is capable of at least either enlargement or reduction processing, and outputs a first stereoscopic video signal after the processing;
A depth adjusting unit that receives the second stereoscopic video signal and adjusts and outputs the depth of the input second stereoscopic video signal;
A synthesis unit that synthesizes and outputs the output of the first scaling unit and the output of the depth adjustment unit;
The depth adjustment unit adjusts the depth of the second stereoscopic video signal in accordance with an enlargement or reduction ratio in the first scaling unit.
非立体映像信号と、その非立体映像信号から左目用の映像信号と右目用の映像信号とを生成する場合に用いられる、その左目用の映像信号と右目用の映像信号の画面における位置ズレ量を示すオフセットとを含み、
前記デプス調整部は、前記非立体映像信号と前記オフセットに基づき左目用の映像信号と右目用の映像信号とを生成する場合において、前記第１のスケーリング部における拡大もしくは縮小の比率に応じて、前記オフセットを調整する、請求項１に記載の映像処理装置。 The second stereoscopic video signal is
The amount of misalignment on the screen of the non-stereo video signal and the left-eye video signal and right-eye video signal used to generate the left-eye video signal and the right-eye video signal from the non-stereo video signal. And an offset indicating
In the case where the depth adjustment unit generates a left-eye video signal and a right-eye video signal based on the non-stereoscopic video signal and the offset, according to the enlargement or reduction ratio in the first scaling unit, The video processing apparatus according to claim 1, wherein the offset is adjusted.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009183018A JP2011035858A (en) | 2009-08-06 | 2009-08-06 | Video processing apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009183018A JP2011035858A (en) | 2009-08-06 | 2009-08-06 | Video processing apparatus |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2011035858A true JP2011035858A (en) | 2011-02-17 |
Family
ID=43764431
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009183018A Pending JP2011035858A (en) | 2009-08-06 | 2009-08-06 | Video processing apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2011035858A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012118231A1 (en) * | 2011-03-02 | 2012-09-07 | Sharp Kabushiki Kaisha | Method and device for displaying a pair of stereoscopic images |
| WO2012147354A1 (en) * | 2011-04-28 | 2012-11-01 | パナソニック株式会社 | Video processing device and video processing method |
-
2009
- 2009-08-06 JP JP2009183018A patent/JP2011035858A/en active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012118231A1 (en) * | 2011-03-02 | 2012-09-07 | Sharp Kabushiki Kaisha | Method and device for displaying a pair of stereoscopic images |
| WO2012147354A1 (en) * | 2011-04-28 | 2012-11-01 | パナソニック株式会社 | Video processing device and video processing method |
| US9357200B2 (en) | 2011-04-28 | 2016-05-31 | Panasonic Intelectual Property Management Co., Ltd. | Video processing device and video processing method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5820276B2 (en) | Combining 3D images and graphical data | |
| JP5809064B2 (en) | Transfer of 3D image data | |
| WO2011135857A1 (en) | Image conversion device | |
| WO2010084724A1 (en) | Image processing device, program, image processing method, recording method, and recording medium | |
| JP5573682B2 (en) | 3D image viewing system, display system, optical shutter, and 3D image viewing method | |
| US8994787B2 (en) | Video signal processing device and video signal processing method | |
| WO1998009445A1 (en) | Method for producing a synthesized stereoscopic image | |
| JP2005073013A (en) | Device and method for stereo image display, program for making computer execute the method, and recording medium recording the program | |
| JPWO2011016240A1 (en) | Video playback device | |
| JP2011216937A (en) | Stereoscopic image display device | |
| JP2011172172A (en) | Stereoscopic video processing device and method, and program | |
| JP5396877B2 (en) | Image processing apparatus, program, image processing method, and recording method | |
| JP5505637B2 (en) | Stereoscopic display device and display method of stereoscopic display device | |
| JP4806082B2 (en) | Electronic apparatus and image output method | |
| US20110134226A1 (en) | 3d image display apparatus and method for determining 3d image thereof | |
| US9407901B2 (en) | Method of displaying content list using 3D GUI and 3D display apparatus applied to the same | |
| JP4733764B2 (en) | 3D image processing apparatus and 3D image processing method | |
| JP2011035858A (en) | Video processing apparatus | |
| WO2013027305A1 (en) | Stereoscopic image processing device and stereoscopic image processing method | |
| JP5367031B2 (en) | Information processing method and information processing apparatus | |
| JP2011077984A (en) | Video processing apparatus | |
| JP2006128842A (en) | Stereoscopic video signal generator | |
| JP2011103504A (en) | Stereoscopic display device, stereoscopic display method and stereoscopic display system | |
| JP2013214787A (en) | Video signal processing apparatus and video signal processing method | |
| JP2002341289A (en) | Stereoscopic video observation device |