CN102474663A - 影像再现装置 - Google Patents

影像再现装置 Download PDF

Info

Publication number
CN102474663A
CN102474663A CN2010800339078A CN201080033907A CN102474663A CN 102474663 A CN102474663 A CN 102474663A CN 2010800339078 A CN2010800339078 A CN 2010800339078A CN 201080033907 A CN201080033907 A CN 201080033907A CN 102474663 A CN102474663 A CN 102474663A
Authority
CN
China
Prior art keywords
image
picture
depth
frame
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010800339078A
Other languages
English (en)
Inventor
松原彰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN102474663A publication Critical patent/CN102474663A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/87—Regeneration of colour television signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42646—Internal components of the client ; Characteristics thereof for reading from or writing on a non-volatile solid state storage medium, e.g. DVD, CD-ROM
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

一种对作为立体影像的第1影像和第2影像进行合成并输出的影像再现装置，具备：取得单元，其取得应合成于一个帧的第1影像和第2影像；和合成单元，其通过将取得单元所取得的第1影像和第2影像同步地进行合成来生成合成影像，并输出合成影像，合成单元，在合成影像的生成时，在取得单元没能取得应合成于一个帧的第2影像时，将在与一个帧不同的另一个帧中应与第1影像进行合成的第2影像与应合成于一个帧的第1影像进行合成。

Description

影像再现装置
技术领域
本技术领域涉及影像再现技术，特别涉及输出能够立体观看的影像信号的影像再现装置。
背景技术
近年来，能够显示可立体观看的影像(立体影像)的影像再现装置的技术的开发得到了发展。在显示立体影像时，影像再现装置根据记录在光盘等影像源中的内容数据来生成左眼用的影像以及右眼用的影像，并送出到影像显示装置。影像显示装置交替地呈现左眼用的影像以及右眼用的影像。
在专利文献1中，公开了一种通过将具有视差的右眼影像以及左眼影像呈现给用户从而能够进行立体影像显示的影像再现装置。用户将通过右眼看见的影像(右眼影像)和通过左眼看见的影像(左眼影像)在脑内进行合成，识别为立体影像。
此外，近年来，在保存在BD-ROM(Blu-Ray Disc ROM，蓝光光盘只读存储器)等光盘(影像源)中的内容中，通过将字幕和具有动作的图形合成于正编影像来进行显示，从而实现了多彩的影像表现。特别是，通过图形处理技术的提高，能够使用运用了动画制作法的、接近动态图像的图形。
被合成于正编影像的字幕和图形的影像，基于包含在影像源中的字幕和图形的数据，在影像再现装置内被生成。在此情况下，影像再现装置有效利用存储器和处理器，按照能够赶得上与正编影像之间的合成的定时的方式，根据影像源的数据来生成字幕和图形的影像，并将生成的影像与正编影像的各帧的影像进行合成，由此生成合成影像的影像信号，并在合成影像的再现定时将合成影像信号输出。
由于对影像再现装置的处理器施加预料外的负载，从而该处理器所进行的字幕影像和图形影像的生成赶不上与正编影像之间的合成的定时的情况也有可能发生。若陷入这种情况，则应合成于正编影像的字幕影像和图形影像的右眼影像以及左眼影像的至少任意一方将会暂时缺失。
例如，若右眼用的图形影像(右眼图形影像)暂时从合成影像中缺失，则用户对于图形影像将会只看到左眼用的图形影像，不仅无法将图形影像识别为立体影像，而且图形影像的深度方向(进深方向)上的定位也无法正确地确定，将会被用户识别为异常的(不自然的)影像。
在先技术文献
专利文献
专利文献1：JP特开2006-084964号公报
发明内容
发明要解决的课题
像这样，应合成于正编影像的立体影像的左眼影像以及右眼影像的至少任意一方缺失，即使是暂时性的，也不能说是理想的情况。
本实施方式为了解决上述问题点而作，是一种即使在被合成于第1影像(例如，正编影像)的第2影像(例如，图形和字幕)缺失等而无法使用于合成的情况下，也能够输出使用户不感到不协调的自然的立体影像的影像再现装置。
解决课题的手段
其一个形态为对作为立体影像的第1影像和第2影像进行合成并输出的影像再现装置，该影像再现装置具备：取得单元，其取得应合成于一个帧的第1影像和第2影像；和合成单元，其通过将取得单元所取得的第1影像和第2影像同步地进行合成来生成合成影像，并输出合成影像，合成单元，在合成影像的生成时，在取得单元没能取得应合成于一个帧的第2影像时，将在与一个帧不同的另一个帧中应与第1影像进行合成的第2影像与应合成于一个帧的第1影像进行合成。
其另一个形态为对作为立体影像的第1影像和第2影像进行合成并输出的半导体装置，该半导体装置具备：取得单元，其取得应合成于一个帧的第1影像和第2影像；合成单元，其通过将取得单元所取得的第1影像和第2影像同步地进行合成来生成合成影像；和信号输出单元，其输出合成影像，合成单元，在合成影像的生成时，在取得单元没能取得应合成于一个帧的第2影像时，将在与一个帧不同的另一个帧中应与第1影像进行合成的第2影像与应合成于一个帧的第1影像进行合成。
其又一个形态为在影像再现装置中对作为立体影像的第1影像和第2影像进行合成并输出的影像再现方法，该影像再现方法具备如下步骤：取得单元取得应合成于一个帧的第1影像和第2影像的步骤；和合成单元通过将通过进行取得的步骤而取得的第1影像和第2影像同步地进行合成来生成合成影像，并输出合成影像的步骤，合成单元，在合成影像的生成时，在取得单元没能取得应合成于一个帧的第2影像时，将在与一个帧不同的另一个帧中应与第1影像进行合成的第2影像，与应合成于一个帧的第1影像进行合成。
发明的效果
本实施方式所涉及的影像再现装置，即使在被合成于第1影像(正编影像等)的立体影像的第2影像(字幕影像、图形影像等)由于缺失等而无法利用于合成的情况下，也能够输出使用户不感到不协调感的自然的立体影像。
附图说明
图1是实施方式的具备影像再现装置的3D影像再现显示***的构成图。
图2是3D影像再现显示***的影像显示装置的构成图。
图3是实施方式的影像再现装置的构成图。
图4是实施方式1的影像再现装置的第2AV处理部的详细框图。
图5是对平面合成模型进行说明的图。
图6是实施方式的影像再现装置所送出的立体影像信号的示意图。
图7是对立体影像中的深度(depth)的概念进行说明的图。
图8是对赋予给影像的偏移进行说明的图。
图9是影像再现装置的第2AV处理部的合成部的详细框图。
图10是用于输出图形影像的处理的流程图。
图11A是对图形影像缺失的情况下的代替影像输出进行说明的图。
图11B是对图形影像缺失的情况下的代替影像输出进行说明的图。
图12是沿着时间来说明图形解码器以及同步部所进行的处理的图。
图13是沿着时间来说明图形解码器以及同步部所进行的处理的图。
图14是沿着时间来说明图形解码器以及同步部所进行的处理的图。
图15是实施方式2的影像再现装置的第2AV处理部的详细框图。
图16是实施方式1、2的AV处理部的详细框图。
图17是实施方式3的影像再现装置的第2AV处理部的详细框图。
图18是用于对深度的推定进行说明的图。
图19是实施方式3的AV处理部的详细框图。
具体实施方式
以下，对实施方式进行详细说明。
在实施方式中，“立体影像”(“3D影像”)是指用户(鉴赏者)能够进行立体观看的影像。此外，将包含这种立体影像的影像信号称作立体影像信号。
以下说明的实施方式的影像再现装置是能够输出立体影像信号的影像再现装置。该立体影像信号由影像再现装置基于记录在BD-ROM这种光盘(影像源)中的内容数据(例如，影像流信号)而生成。
此外，本影像再现装置基于从影像源取得的内容数据，生成正编影像(第1影像)以及图形影像或字幕影像(第2影像)的影像，并使第2影像与第1影像同步来对两影像进行合成，由此能够生成合成影像，并将合成影像的影像信号(合成影像信号)作为立体影像信号而输出。
本影像再现装置，当在某合成定时应与第1影像进行合成的第2影像(字幕影像、图形影像等)的生成赶不上该合成的定时的情况下，将在另一合成定时使用于合成的第2影像作为该合成定时的第2影像来输出。这样一来，本影像再现装置防止了合成影像中的第2影像的暂时的缺失。
此时，影像再现装置适当对第2影像的深度(depth)进行调节(深度校正)。这样一来，由于第2影像的暂时缺失而导致的用户对立体影像所感到的不协调感被减轻。
(实施方式1)
1.立体影像再现显示***的构成
对实施方式1的立体影像再现显示***进行说明。图1是实施方式1的具备影像再现装置12的立体影像再现显示***的整体构成图。在图1中，影像显示装置11是显示立体影像的显示器等显示装置。影像再现装置12是从BD-ROM这种光盘等存储介质、因特网等网络、以及广播波等(影像源)接受影像等的数据信号，对立体影像信号进行再现并输出的装置。立体眼镜13是具备适当遮断影像显示装置11所显示的立体影像的液晶开关的偏光眼镜。
参照图2，对影像显示装置11的详细构成进行说明。图2是表示本说明书中记载的各实施方式中的影像显示装置11的详细构成的图。
影像显示装置11由第1输入输出部101、第1AV处理部102、显示部103、第1遥控器信号接收部104、发送部105等构成，通过第1遥控器信号接收部104来接受来自用户的操作从而开始动作。
从影像再现装置12输出的立体影像信号被输入到第1输入输出部101。第1输入输出部101由对应HDMI(High Definition MultimediaInterface，高清晰度多媒体接口)Ver1.4的信号输入部等构成即可。然后，立体影像信号在第1AV处理部102中被进行了影像的分辨率的调整、与声音之间的定时调整之后，被显示于显示部103。
根据显示于显示部103的影像，从发送部105对用户所佩戴的立体眼镜13送出对左右镜片的开关的开闭进行控制的切换信号。
图3是表示本实施方式的影像再现装置12的构成的图。盘驱动部201是能够***BD-ROM等盘200的盘驱动装置，根据来自CPU205的指示，将记录在盘200中的数据输出到第2AV处理部202。第2AV处理部202通过第2遥控器信号接收部204来接受来自用户的再现指示，从盘驱动部201取得记录在盘200中的内容数据，生成立体影像信号，并输出到第2输入输出部203。
CPU205通过第2遥控器信号接收部204来接受用户指示，并基于该指示，来向第2AV处理部202输出指示。此外，CPU205根据需要对第2AV处理部202与闪存206之间、第2AV处理部202与存储器207之间的数据的交换进行控制。第2遥控器信号接收部204接收从遥控器(未图示)输出的用户指示。闪存206保存用于进行CPU205或第2AV处理部202的动作的软件，并且，存储后述的深度信息(depth information)等将图形影像与正编影像进行合成时所需的数据。存储器207是在对内容数据进行解码来生成立体影像信号时暂时存储影像等的数据的存储器。
在盘200中保存有：正编影像(第1影像)的数据(“视频数据”)；重叠(合成)于正编影像(第1影像)的图形影像(第2影像)的数据(“图形数据”)、字幕的数据(“字幕数据”)；在用户进行设备操作时呈现给用户的菜单等的数据。第2AV处理部202对这些数据进行解码从而展开为多个影像(平面：plane)，根据这些影像来生成合成影像，并通过第2输入输出部203将影像信号(“合成影像信号”)输出。
另外，影像再现装置12除了具备盘驱动部201之外，也可以具备硬盘驱动器(HDD)等记录介质。此外，影像再现装置12还可以具备用于接收广播电波的天线、以及将接收到的广播电波变换为数字的流信号(视频、声音、图形、字幕等)的调谐器等。
2.立体影像再现显示***的动作
2.1.整体动作
在像以上那样构成的立体影像再现显示***中，影像再现装置12读出记录在盘200中的内容数据来生成正编影像以及图形影像，并对两影像进行合成来输出表示立体影像的合成影像信号。合成影像信号是包含左眼影像以及右眼影像而成的影像信号。
影像显示装置11在显示器上对输入的合成影像信号中包含的左眼影像和右眼影像进行分时显示，此时，将分时的切换定时以红外线同步信号(切换信号)的形式传递给图1的立体眼镜13。
立体眼镜13根据从影像显示装置11接受的同步信号来切换液晶开关的透过率，并交替地遮断立体眼镜13的左眼侧或右眼侧的任意一个视野，由此将左眼影像仅呈现给左眼，而且将右眼影像仅呈现给右眼。像这样来实现立体影像显示。
2.2.图形影像合成处理
接下来，对第2AV处理部202的详细构成以及第2AV处理部202中的正编影像与图形影像的合成处理进行说明。
图4是表示实施方式1中的第2AV处理部202的详细构成的框图。
第2AV处理部202由流控制部501、深度决定部502、视频解码器503、图形解码器504、合成部505等构成。第2遥控器信号接收部204经由遥控器(未图示)来接受来自用户的指示。CPU205按照该指示来对第2AV处理部202、闪存206、存储器207等进行控制。
流控制部501从盘驱动部201取得收录在盘200中的视频数据(正编影像的数据)、图形数据(图形影像的数据)、深度信息。然后，流控制部501将视频数据输出到视频解码器503，将图形数据输出到图形解码器504，将深度信息输出到深度决定部502。
视频解码器503从流控制部501接受视频数据。该视频数据被压缩，对该压缩后的视频数据进行解压来生成视频影像(仅有正编影像的影像)。图形解码器504从流控制部501接受记录在盘200中的图形数据，对该图形数据进行解压来生成图形影像(仅有图形影像的影像)。图形数据大多由促使用户操作的按钮的图像等几个部件构成。图形解码器504对这些进行解码，并描绘(写入)在存储器207上，由此来生成图形影像。
此外，也存在图形解码器504利用记录在闪存206中的设备特有的图形数据来作成图形影像的情况。
盘200保存视频数据(正编影像的数据)以及图形数据(图形影像的数据)各自的左眼影像以及右眼影像。以下，假设正编影像也为立体影像来进行说明，但正编影像也可以为非立体影像。即使在正编影像为非立体影像的情况下，也能够将合成影像信号构成为立体影像信号。
此外，与视频数据和图形数据相关的深度位置(depth)的信息作为深度信息也被记录在盘200中。该深度位置的信息(深度信息)可以作为视频数据和图形数据的影像中的物体的平均深度的信息而被记录，深度信息与视频数据、图形数据分别地被记录在盘200中。
深度决定部502根据记录在盘200中的深度信息来计算图形数据的深度并作为深度数据而输出到合成部505。在立体影像中，通过将左眼影像以及右眼影像在显示画面上的左右方向上错开(进行偏移调整)，来使影像的进深方向的视觉上的距离看起来比显示位置(显示画的位置)更远，或者看起来比显示位置更近。将表示深度决定部502所决定的该视觉的深度位置(depth)的数据称作深度数据。
合成部505对正编影像、图形影像等多个平面(plane)进行合成，生成合成影像信号。即、合成部505基于从深度决定部502发送来的深度数据对来自视频解码器503的视频影像(正编影像)、和来自图形解码器504的图形影像进行合成。
2.2.1.平面合成模型
参照图5，对将图形影像重叠(合成)于正编影像，从而输出合成影像为止的工序进行说明。图5所示的模型一般被称作平面合成模型。
在视频解码器503中，根据从盘200等中读出的视频数据305S(#1视频流)来生成左眼用视频影像(L视频影像)305L、以及右眼用视频影像(R视频影像)305R(正编影像的左眼影像以及右眼影像)并输出到合成部505。同时，在图形解码器504中，根据从盘200等中读出的图形数据307S(#2视频流)来生成左眼用图形影像(L图形影像)307L、以及右眼用图形影像(R图形影像)307R(图形影像的左眼影像以及右眼影像)并输出到合成部505。合成部505对正编影像305L和R、以及图形影像307L和R进行重叠(合成)，并作为合成影像313而输出。
另外，合成部505也可以在合成影像上进一步重叠菜单图形301或字幕数据303等。
2.2.2.立体影像信号
图6是在影像再现装置12将合成影像313的影像信号(合成影像信号)作为立体影像信号而输出的情况下使用的信号格式的例图。在合成影像信号313SGL中，例如，交替地包含左眼影像的影像信号(L)和右眼影像的影像信号(R)，构成合成影像1帧的影像信号。影像再现装置12在以60帧/秒来输出合成影像的情况下，用1/120秒来传输左眼影像的影像信号(L)，用下一个1/120秒来传输右眼影像的影像信号。
2.2.3.关于深度以及偏移处理
参照图7，对作为立体影像的合成影像313中的深度进行说明。在图7中，用附图左右方向(深度方向)来表现用户鉴赏立体影像时所识别的立体感(进深方向的宽度)。在本图所例示的立体影像(合成影像313)中，作为正编影像305包含背景和站在背景前面(用户侧)的人。在合成影像313中，在正编影像305的前面(用户侧)重叠有图形影像307。在该图中，使用户所感到的图形影像307的进深方向(附图左右方向)视觉上的距离在箭头315的方向上变化，与对图形影像307的深度进行调整相对应。
图8是说明对影像进行的偏移处理的图。通过对影像实施偏移处理，能够对该影像的深度(depth)进行调整。在立体地表现影像的情况下，一般使用具有视差的右眼影像以及左眼影像，并且将两影像在画面左右方向上向相反方向错开规定的距离(进行偏移处理)来表现影像的进深感(进深方向的距离)。第2AV处理部202基于上述的深度数据来变更偏移的程度(错开的距离)，由此来调节影像的深度。
例如，图8(a)是表示偏移的程度(偏移量)为零的情况下的左眼影像401L以及右眼影像401R的图。此时，用户对影像中的物体(例如，公共汽车)所感到的视觉上的距离与影像显示面一致。
图8(b)是表示按照左眼影像以及右眼影像401L以及R向附图的中央方向集中的方式，来对基准帧403(偏移量为零的情况下的影像的位置)赋予了偏移405的情况的图。此时，用户感到影像中的物体的视觉上的距离比影像显示面近。
图8(c)是表示按照左眼影像以及右眼影像401L以及R相互远离的方式，来对基准帧403赋予了偏移407的情况的图。此时，用户感到影像中的物体的视觉上的距离比影像显示面远。
像这样，在立体影像中，通过对左眼影像以及右眼影像提供规定的偏移，能够调节用户对该影像所识别的距离感(进深感)。即、通过对赋予给影像的偏移的大小以及偏移的方向进行调节，能够调节立体影像中的该影像的深度。另外，左眼影像401L和右眼影像401R既可以为考虑了视差的不同的影像，也可以为相同的影像。
2.2.4.合成部中的深度调整处理
下面，对合成部505中的、针对图形影像的深度调整处理进行说明。
图9是表示合成部505的详细构成的框图。合成部505具有：从图形解码器504直接或经由存储器207而间接地取得图形影像的图形影像取得部700；和对正编影像和图形影像进行合成的图形合成部703。图形影像取得部700具备：与正编影像同步地输出图形影像的同步部701；和对图形影像的深度(depth)进行调整的深度赋予部702。同步部701一边取得两影像的同步一边按照赶得上在图形合成部703中进行的合成处理的定时的方式来在规定的输出定时输出图形影像，深度赋予部702针对输入的图形影像，基于上述的深度决定部502所输出的深度数据来适当调整图形影像的深度(depth)，并将深度校正完毕的图形影像输出到图形合成部703。
由图形解码器504进行了解码的图形影像被暂时写入(描绘)到存储器207中，同步部701在确认了图形影像的左眼影像以及右眼影像已被写入到存储器207中之后，按照赶得上合成定时(按照在合成影像从图形合成部703被输出的定时之前来得及生成合成影像方式而设定的进行合成处理的定时)的方式，读出被写入到存储器207中的该图形影像，并将该图形影像输出到深度赋予部702。
2.2.4.1.通常时的图形影像深度调整处理以及输出处理
图形影像取得部700的同步部701按照能够赶得上图形合成部703中的正编影像与图形影像的合成的定时的方式来输出图形影像。例如，通常，在60HzNTSC下，图形影像的左眼影像以及右眼影像每隔1/120秒、即约每隔8mSec，被输出到深度赋予部702。深度赋予部702基于从深度决定部502输出的深度数据，对图形影像进行偏移处理，对图形影像的深度进行调整，并将深度校正完毕的图形影像输出到图形合成部703。图形合成部703对正编影像、和与正编影像同步地经由深度赋予部702而被输入的图形影像进行合成来生成(立体)合成影像，并将(立体)合成影像信号输出到第2输入输出部203。
不过，在图形解码器504所输出的图形影像已经被赋予了偏移的情况下，即、在图形影像基于以2平面方式等被记录在盘200中的图形数据而生成的情况下，通常，深度赋予部702不需要对该图形影像进一步赋予偏移。在没有预先对图形影像赋予偏移的情况下，即、在图形影像基于以2平面加1偏移方式或者1平面加1偏移方式等被记录在盘200中的图形数据，由图形解码器504生成并输出的情况下，深度赋予部702始终基于深度数据来对该图形影像进行偏移处理。
从深度赋予部702按照赶得上图形合成部703中的合成处理的定时(合成定时)的方式而输出的深度校正完毕的图形影像，在图形合成部703中，与正编影像进行合成，在该合成影像的再现定时作为合成影像信号而被输出。
2.2.4.2.图形影像缺失时的图形影像深度调整处理以及输出处理
在将图形影像生成为立体影像的情况下，图形解码器504需要在有限的时间内，对图形数据进行解码来输出左眼用的图形影像，并且对图形数据进行解码来输出右眼用的图形影像。此外，还需要用于对正编影像和图形影像的同步进行确认的时间。因此，起因于图形解码器504的解码性能、描绘性能，有可能发生如下情况：应与正编影像同步地合成的图形影像的左眼影像以及右眼影像，没有在规定的定时(例如，来自同步部701的图形影像输出定时)之前被输入到同步部701或存储器207。此外，还有可能发生如下情况：只有图形影像的左眼影像以及右眼影像的一方，没有在规定的定时之前被输入到同步部701或存储器207。即使在后者的情况下，也无法使用该输入了的单眼的图形影像。原因在于，例如，在以2平面方式被记录在内容内并由图形解码器504生成的图形影像中，使左眼影像和右眼影像具有视差，实现了立体观看。因此，若左眼用的图形影像、和右眼用的图形影像这两者没有齐备，则对于图形影像，视差以外的信息差将被提供给用户，用户不仅无法将图形识别为充分的立体像，而且突然产生深度方向的位置的误识别，识别为异常的影像。若产生了以上这种情况，则同步部701在正编影像的再现定时，无法输出应合成于正编影像的图形影像。
为了解决此问题，本实施方式的影像再现装置12，在图形影像的左眼影像以及右眼影像的至少任意一方在该图形影像应从同步部701被输出的输出定时无法使用的情况下，作为在该输出定时输出的图形影像，输出用于另一个输出定时的图形影像(例如，以前输出过的图形影像)的左眼影像以及右眼影像。这样一来，影像再现装置12即使在原本的图形影像缺失的情况下也能够避免使用户感到不协调感的影像的输出。
2.2.4.2a.针对根据以2平面加1偏移方式被记录的图形数据而生成的图形影像的深度调整处理
以下，对图形数据以2平面加1偏移方式被记录在内容数据内的情况的处理进行说明。
在图形影像的数据以2平面加1偏移方式被记录在影像源中的情况下，图形解码器504所输出的图形影像，是具有视差且不具有偏移的左眼图形影像以及右眼图形影像。因此，即使在通常时(在正常地从图形解码器504发送了图形影像的情况下)，深度赋予部702也基于各帧的图形影像的深度数据，对图形影像进行偏移处理(进行深度校正)，并将深度校正完毕的图形影像输出到图形合成部703。
此外，在非通常时(在某输出定时，原本的图形影像无法使用，而使用另一输出定时的(用于另一帧的)图形影像的情况下)，深度赋予部702按照以下方式，使用在当前的输出定时应被输出的原本的图形影像的深度数据来对该另一输出定时的图形影像(另一帧的图形影像)进行偏移处理(进行深度校正)并输出。
图10是在时间区域t(时间区域分别对应于合成影像信号的1帧。)的输出定时附近，图形影像取得部700所进行的图形影像输出处理的流程图。
同步部701判断在时间区域t的图形影像输出定时应输出的图形影像的左眼影像(Lt)以及右眼影像(Rt)这两个影像是否已经被输入(是否能够使用)(S101)。
在左眼影像Lt以及右眼影像Rt都已被输入的情况下(S101中的“是”)，同步部701在适当的定时将左眼影像Lt以及右眼影像Rt输出到深度赋予部702(S102)。深度赋予部702使用时间区域t的图形影像用的深度数据Dt来对左眼影像Lt以及右眼影像Rt的深度进行校正(进行偏移处理)，并将深度校正完毕的左眼影像Lt’、以及深度校正完毕的右眼影像Rt’输出到图形合成部703(S103)。图形合成部703对图形影像和正编影像进行合成并作为合成影像信号而输出。
与此相对，在左眼影像Lt以及右眼影像Rt的至少任意一方没有被输入到同步部701的情况下(S101中的“否”)，同步部701对是否输入了前一个时间区域t-1的图形影像的左眼影像Lt-1以及右眼影像Rt-1这两个影像(是否能够使用)进行判断(S104)。
在左眼影像Lt-1以及右眼影像Rt-1这两个影像已经被输入到同步部701的情况下(能够使用的情况下)(S104中的“是”)，同步部701在适当的定时将左眼影像Lt-1以及右眼影像Rt-1输出到深度赋予部702(S105)。
深度赋予部702针对输入的左眼影像Lt-1以及右眼影像Rt-1，利用时间区域t上的原本的图形影像的深度数据Dt来对左眼影像Lt-1以及右眼影像Rt-1的深度进行校正(进行偏移处理)，将深度赋予完毕的左眼影像Lt-1”、以及深度赋予完毕的右眼影像Rt-1”输出到图形合成部703(S106)。图形合成部703对图形影像和正编影像进行合成并作为合成影像信号而输出。
在左眼影像Lt-1以及右眼影像Rt-1的至少任意一方没有被输入到同步部701的情况下(无法使用的情况下)(S104中的“否”)，进行错误处理(S107)。另外，作为错误处理，也可以不停止显示，而是再次显示在更前面被显示的图形影像。
像这样，本实施方式的影像再现装置12，在各时间区域中该时间区域的图形影像的左眼影像以及右眼影像的至少任意一方无法使用于与正编影像的合成处理的情况下，对另一时间区域(另一帧)的图形影像，按照赋予原本在该时间区域上应合成于正编影像的图形影像的深度的方式来进行深度校正，从而生成深度校正完毕的图形影像，对该深度校正完毕的图形影像和正编影像进行合成来输出合成影像。这样一来，防止了图形影像的缺失，因而，提供使用户感觉不到不协调感，并且深度流畅地变化的立体影像。
图11A是总结了在影像源(盘200的内容数据)中以2平面加1偏移方式记录了图形数据的情况下的、各时间区域(帧)上的来自图形解码器504、同步部701、深度赋予部702的输出、以及深度数据D(来自深度决定部502的输出)的图。在此，深度数据按照每1帧(1个时间区域)图形影像(或者正编影像)被记录在盘200中。此外，在该图中，作为来自图形解码器的输出，实线矩形所示的图形影像表示在各时间区域上的同步部701的图形影像输出定时，同步部701能够使用的图形影像，虚线矩形所示的图形影像表示在各时间区域上的该输出定时，同步部701不能使用的图形影像。
图形解码器504在各时间区域(TD1～TD5)上按照赶得上同步部701输出图形影像的定时的方式，输出图形影像的左眼影像(L1、L2、...)以及右眼影像(R1、R2、...)。在图11A的例子中，假设图形解码器504对于时间区域TD4无法在规定的定时之前输出图形影像的右眼影像R4(701)。
在此情况下，同步部701判断不存在右眼影像R4(701)的输入，在时间区域TD4中，输出前面的时间区域TD3的(前一个帧的)图形影像的左眼影像L3(703)以及右眼影像R3(705)。
若用D1～D5来表示从深度决定部502输出的各时间区域的图形影像的深度数据，则深度赋予部702在时间区域TD1～TD3中，对各时间区域的图形影像的左眼影像L1～L3以及右眼影像R1～R3，利用相对应的深度数据D1～D3来校正深度(进行偏移处理)，并输出深度赋予完毕的图形影像的左眼以及右眼影像(L1’～L3’以及R1’～R3’)。然后，在时间区域TD4中，对图形影像L3以及R3，利用时间区域TD4的深度数据D4来校正深度(进行偏移处理)，并输出深度赋予后的图形影像的左眼以及右眼影像L3”以及R3”。
如上所述，本实施方式的影像再现装置12，在某时间区域(帧)上图形影像缺失的情况下(无法使用的情况下)，用在当前的时间区域中原本被输出的图形影像的深度数据来对另一时间区域(帧)的图形影像的左眼影像以及右眼影像进行深度校正，并输出深度校正完毕的图形影像，由此来防止在影像显示装置11中显示异常的图形影像。这样一来，在本影像再现装置12中，即使在产生了应与和正编影像进行的合成的定时同步地从同步部701输出的原本的图形影像无法使用的情况时，也能够防止输出使用户感到不协调感的异常的图形影像。并且，由于图形影像的深度随着时间经过而流畅地推移，因此能够输出流畅地变化的立体影像。另外，由于深度数据与图形数据和视频数据不同，不需要解码等，因此在各时间区域的规定的定时，深度数据缺失的可能性非常低。假设在深度数据无法利用的情况下，也可以利用以前的时间区域的图形影像的深度数据来推定当前的时间区域的图形影像的深度数据。
此外，在图形影像的深度信息没有作为每帧(每个时间区域)的数据而被记录在盘200中的情况下，也可以使用其他信息(例如，正编影像的深度数据)。
此外，也可以基于来自用户的输入来决定深度数据。例如，在用户想要对图像影像添加展现出将显示中的影像推向远处从而消失的淡出效果等的情况下，也可以从用户接受该指示，根据记录在闪存206等中的淡出序列来得到深度数据并进行利用。
此外，深度信息也可以不按照每帧(每个时间区域)来记录，而是作为序列来记录。例如，深度信息也可以是每秒远离1米这样的序列信息。即使在这种情况下，由于各时间区域(帧)的图形影像的深度数据能够通过简单的运算来求出，因此只要通过运算来计算出各帧的图形影像的深度数据即可。
另外，在本例中，在某时间区域中检测出了图形影像的缺失的情况下，将前一个时间区域的(前一个帧的)图形影像再次输出，但被再次输出的图形影像也可以不是前一个时间区域的图形影像。也可以将前2个以上的时间区域的图形影像再次输出。此外，若能够利用，则也可以利用后面的时间区域的图形影像。
2.2.4.2b.针对根据以1平面加1偏移方式被记录的图形数据而生成的图形影像的深度调整处理
接下来，对图形数据在内容数据内以1平面加1偏移方式被记录的情况下的处理进行说明。
在图形影像的数据以1平面1偏移方式被记录的情况下，图形解码器504所输出的图形影像是不具有视差且不具有偏移的左眼图形影像以及右眼图形影像(即、是一个图形影像。)。即、在图11A中，相当于Lt＝Rt(t：1～5)的情况。即使在这种情况下，也能够与图形数据以2平面加1偏移方式被记录在影像源中的情况同样地，防止异常的图形影像的输出。
同步部701，在规定的输出定时之前图形影像没有从图形解码器504被输入的情况下(无法使用的情况下)，利用前面的时间区域的图形影像，并对该图形影像利用当前的时间区域的图形影像的深度数据来进行深度校正(进行偏移处理)，输出深度校正后的左眼影像以及右眼影像。这样一来，防止了异常的图形影像的输出，并且，由于图形影像的深度随着时间经过而流畅地推移，因此能够输出流畅地变化的立体影像。
2.2.4.2c.针对根据以2平面方式被记录的图形数据而生成的图形影像的深度调整处理
最后，对图形数据在内容数据内以2平面方式被记录的情况的处理进行说明。
在图形影像的数据以2平面方式被记录的情况下，图形解码器504所输出的图形影像是具有视差且具有偏移的左眼图形影像以及右眼图形影像。因此，在通常时(正常地从图形解码器504发送了图形影像的情况下)，深度赋予部702一般不对图形影像进行偏移处理而将输入的图形影像直接输出。并且，在非通常时(在同步部701的图形影像输出定时，该输出定时的图形影像无法使用，另一时间区域的图形影像从同步部701被输出的情况下)，深度赋予部702按照以下方式，利用在当前的时间区域应被合成于正编影像的原本的图形影像的深度数据以及另一时间区域的图形影像的深度数据来对该另一时间区域的图形影像进行偏移处理(进行深度校正)，并作为深度校正完毕的图形影像而输出。
图11B是总结了图形数据在影像源(盘200的内容的数据)中以2平面方式被记录的情况下的、各时间区域(帧)上的来自图形解码器504、同步部701、深度赋予部702的输出、以及深度数据D(来自深度决定部502的输出)的图。在该图中，作为来自图形解码器的输出，实线矩形所示的图形影像表示在各时间区域中的同步部701的图形影像输出定时，同步部701能够使用的图形影像，虚线矩形所示的图形影像表示在各时间区域中的该输出定时，同步部701不能使用的图形影像。
在此情况下，在从图形解码器504输出的图形影像的左眼影像以及右眼影像中，已经被赋予了偏移。因此，深度赋予部702，只要在各时间区域中从同步部701输入该时间区域的原本的图形影像，则也可以不进行进一步的深度校正。
在图11B的例子中，假设图形解码器504在时间区域TD4中没能在规定的定时之前输出图形影像的右眼影像R4(701)。
在此情况下，同步部701判断不存在右眼影像R4(701)的输入，在时间区域TD4中，在规定的输出定时输出前面的时间区域TD3的图形影像的左眼影像L3(703)以及右眼影像R3(705)。
深度赋予部702，在时间区域TD4中，针对图形影像L3以及R3，利用时间区域TD3的图形影像的深度数据D3以及时间区域TD4的原本的图形影像的深度数据D4来对深度进行(D4-D3)的量的校正(进行偏移处理)，并输出深度赋予后的图形影像的左眼影像L3’以及右眼影像R3’。在此，只进行深度的差(D4-D3)的量的深度校正是由于以下的理由。在时间区域TD3的图形影像L3以及R3中，已经被进行了深度D3的量的深度校正(偏移的赋予)。因此，深度赋予部702为了将图形影像L3以及R3的深度校正为时间区域TD4的原本的图形影像的深度D4，而对图形影像L3以及R3的深度进一步校正深度(D4-D3)的量并输出。
2.2.5a.存储器以及同步部中的处理例1
图12是沿着时间轴来表示存储器207针对图形影像的左眼影像以及右眼影像分别具备3张影像的存储器区域的情况下的图形影像的写入以及读出处理的例子的图。存储器207的图形L存储器(R存储器)的区域1～3(区域4～6)分别是用于暂时存储图形影像的左眼影像(右眼影像)的存储区域。
例如，在时间区域TD1中，在图形区域1和图形区域3中描绘(写入)图形影像的左眼以及右眼影像L2以及R2，在此期间，图形影像L1以及R1从图形区域2和图形区域4中被读出后输入到同步部701，并从同步部701被输出。
在时间区域TD2中，与合成影像的再现定时同步，每当时间区域前进时，通过切换图形区域，来在图形区域2和图形区域4中描绘(写入)图形影像的左眼以及右眼影像L3以及R3，在此期间，图形影像的左眼以及右眼影像L2以及R2从图形区域1和图形区域3中被读出后输入到同步部701，并从同步部701被输出。通过像这样交替地切换描绘(写入)和输出的存储器区域，将不会在描绘中的状态下输出图形影像，能够与正编影像的定时一致地对图形影像进行合成，并输出合成影像。
在此，若关注时间区域TD3上的图形影像向存储器207的写入，则虽然左眼影像L4向存储器207的写入(来自图形解码器504的输入)在时间区域TD3内完成，但右眼影像R4向存储器207的写入在时间区域TD4的开始点没有完成。
在这种情况下，同步部701判断不存在图形影像的左眼以及右眼这两个影像的输入(图10的步骤S101的“否”)，将前面的时间区域TD3的图形影像L3以及R3再次输出(图10的步骤S105)。
然后，在时间区域TD4中，分别对图形区域3以及6，进行时间区域TD5的图形影像的左眼以及右眼影像L5以及R5的写入。
2.2.5b.存储器以及同步部中的处理例2
图13是沿着时间轴来表示存储器207针对图形影像的左眼影像以及右眼影像分别具备2张影像的存储器区域的情况下的图形影像的写入以及读出处理的例子的图。
在此，也与前例同样地，假设时间区域TD3上的图形影像的右眼影像R4向存储器207的写入在时间区域TD4的开始点没有完成。
在这种情况下，与前例同样地，同步部701判断不存在图形影像的左眼以及右眼这两个影像的输入(图10的步骤S101的“否”)，将前面的时间区域TD3的图形影像L3以及R3再次输出(图10的步骤S105)。
然后，在时间区域TD4中，分别对图形区域1以及3，进行时间区域TD5的图形影像的左眼以及右眼影像L5以及R5的写入。
2.2.5c.存储器以及同步部中的处理例3
图14是沿着时间轴来表示存储器207针对图形影像的左眼影像以及右眼影像分别具备2张影像的存储器区域的情况下的图形影像的写入以及读出处理的另一例的图。
在此，也与前例同样地，假设时间区域TD3中的图形影像的右眼影像R4向存储器207的写入在时间区域TD4的开始点没有完成。
在这种情况下，与前例同样地，同步部701判断不存在图形影像的左眼以及右眼这两个影像的输入(图10的步骤S101的“否”)，将前面的时间区域TD3的图形影像L3以及R3再次输出(图10的步骤S105)。
不过，在本例中，在时间区域TD4中，不像前一个例子那样分别对图形区域1以及3进行时间区域TD5的图形影像的左眼以及右眼影像L5以及R5的写入。在时间区域TD4中，只进行时间区域TD3的图形影像的左眼以及右眼影像L3以及R3的再输出。
然后，在时间区域TD5中，输出时间区域TD4的图形影像的左眼以及右眼影像L4以及R4，并且进行用于时间区域TD6的图形影像的左眼以及右眼影像L6以及R6的写入，在时间区域TD6中，进行该影像L6以及R6的输出。
像这样，也可以按照如下方式来构成同步部701：在某时间区域TDx中产生了图形影像的缺失的情况下，在时间区域TDx中，进行前面的时间区域TDx-1的图形影像的再输出，在时间区域TDx+1中，进行TDx的图形影像的输出。显然，在本例这种情况下，深度赋予部702也利用当前的时间区域用的深度数据来进行同步部701所输出的图形影像的深度校正即可。
实施方式1的影像再现装置12，是对作为立体影像的第1影像(正编影像)和第2影像(图形影像)进行合成并输出的影像再现装置，具备：取得应合成于一帧的第1影像(正编影像)和第2影像(图形影像)的视频以及图形解码器503以及504；和通过将视频以及图形解码器503以及504所取得的第1影像和第2影像同步地进行合成来生成合成影像，并输出合成影像的合成部505。合成部505，在合成影像生成时视频以及图形解码器503以及504没能取得应合成于一帧的第2影像时，将在与一帧不同的另一帧中应与第1影像进行合成的第2影像与应合成于一帧的第1影像进行合成。
本实施方式的影像再现装置能够根据收录在BD-ROM等光盘(影像源)中的内容数据，来生成正编影像(第1影像)、和合成于正编影像的图形影像(第2影像(立体影像))，对两影像进行合成，并将合成影像作为立体影像而输出。本影像再现装置，在正编影像和图形影像的合成定时，使用于该合成的图形影像的左眼影像以及右眼影像的至少任意一方无法使用的情况下，将在另一时间区域(另一合成影像帧)中使用于合成的图形影像的左眼影像以及右眼影像使用于合成。在此情况下，影像再现装置按照使图形影像的深度与在该合成中原本应被使用的图形影像的深度一致的方式来对图形影像的深度进行校正后，与正编影像进行合成并输出合成影像。这样一来，本影像再现装置防止了图形影像的缺失，并且使得在图形影像的深度中不产生不自然的变动。像这样，在本实施方式的影像再现装置12中，即使在应同步的正编影像的再现定时没能准备好图形影像的情况下，通过使用以前输出过的图形影像，也能防止异常的图形影像的输出。
此外，在左眼用的图形影像和右眼用的图形影像的任意一方缺失(无法使用)的情况下，在以前的时间区域(合成影像帧)的图形影像中，使用具备左眼用的图形影像和右眼用的图形影像这两者(能够使用)的图形影像。由此，通过在左眼用的图形影像和右眼用的图形影像之间产生视差以及偏移以外的差异，从而防止用户对影像感觉到不协调感。
并且，通过第2AV处理部202，利用基于记录在盘200中的深度信息、或记录在闪存206中的深度信息的深度数据来对图形影像的深度进行适当校正并输出。由此，即使在利用以前的再现定时的左眼用的图形影像和右眼用的图形影像来对缺失的(无法使用的)图形影像进行了插补的情况下，例如，即使在对深度连续地变化的图形影像进行再现的情况下，也能够作为立体影像不显示感到不协调感的影像，来进行深度流畅地变化的立体影像的输出。
(实施方式2)
对影像再现装置的另一实施方式进行说明。在本实施方式中，在字幕数据的解码在与应同步的正编影像进行合成处理的定时之前没有准备好的情况下，进行与实施方式1中的对图形影像的处理同样的处理，将以前显示过的字幕影像再次显示。对字幕影像的深度校正，是按照记录在盘200中的深度信息、或用户所输入的指示来进行的。另外，在实施方式2的说明中，对于与实施方式1同样的构成赋予相同的符号并适当省略说明。
图15是实施方式2的影像再现装置12的第2AV处理部202的框图。在图15中，字幕解码器506是对从盘200输入的字幕数据进行解码，并生成重叠于正编影像(视频影像)的字幕影像的解码器。由字幕解码器506进行解码而得到的字幕影像，通过由CPU205基于接受到的用户操作而向合成部505发送指示，能够切换对正编影像的重叠的开/关。
像这样，在实施方式2的影像再现装置12中，对于字幕，也在作为立体影像的字幕影像的左眼以及右眼影像这两个影像的生成赶不上与正编影像的合成定时时，使用以前输出过的字幕影像。并且，通过第2AV处理部202，利用基于记录在盘200中的深度信息、或记录在闪存206中的深度信息的深度数据来对字幕影像的深度进行适当校正并输出。这样一来，能够使字幕影像的深度随着时间而适当地变化。例如，即使在字幕影像的深度随着时间而变化的情况下，也能够不使用户看到感觉到不协调感的立体影像，来进行流畅的影像再现。此外，例如，即使在字幕展现出一边旋转一边远离的效果的情况下，也能够实现流畅的深度变化。
(关于实施方式1以及2的第2AV处理部)
图16是表示实施方式1以及2的影像再现装置12的第2AV处理部202的详细构成的图。第2AV处理部202，例如，也可以构成为1个或2个以上的半导体装置。第2AV处理部202具备：从盘200等影像源输入包含3D内容的流数据，并将第1影像的影像流输出到第1解码器553，将第2影像的影像流输出到第2解码器554，将流数据所包含的深度信息输出到深度决定部502的流控制部501；基于深度信息来决定3D内容的影像的深度并作为深度数据而输出的深度决定部502；对第1影像的影像流进行解码来输出第1影像(正编影像)的第1解码器553；对第2影像的影像流进行解码来输出第2影像(图形影像或字幕影像)的第2解码器554；使第2影像与第1影像同步地合成并输出合成影像信号的合成部505；和输出合成影像信号的信号输出部555。在此，合成部505具有与实施方式1～3的合成部505同等的功能。另外，信号输出部555也可以为输出端子。
像这样，实施方式1以及2的第2AV处理部202能够构成为半导体装置。
(实施方式3)
对影像再现装置的又一实施方式进行说明。在本实施方式中，对即使在盘200等影像源中，深度信息没有作为与影像不同的数据而被记录，也能够取得图形影像的深度数据的影像再现装置的构成进行说明。另外，在实施方式3的说明中，对于与实施方式1以及2同样的构成赋予相同的符号并适当省略说明。
图17是实施方式3的影像再现装置12的第2AV处理部202的框图。在图17中，深度决定用解码器507是用于决定由图形解码器504进行解码后的影像的深度的解码器。深度决定用解码器507根据从图形解码器504输出的图形影像的内容，来求出其平均深度，并作为深度数据而输出。
在此，图形解码器504所输出的图形影像是立体影像，该立体影像的进深方向的距离(depth)与图形影像的左眼以及右眼影像的左右方向的偏离量(偏移量)成比例。因此，深度决定用解码器507通过对这种图形影像的左眼以及右眼影像进行比较，来检测两影像彼此之间的偏离量，并取得平均偏离量作为深度数据。
此外，深度决定用解码器507也可以对深度数据进行推定(外推)来求出。例如，如图18所示，在对于时间区域TD1～时间区域TD3计算出了深度数据D1～D3的情况下，深度决定用解码器507根据时间区域TD1～时间区域TD3的深度数据D1～d3递归地算出时间区域TD4的深度值，由此能够取得外推深度数据ExD4。
实施方式3的影像再现装置12是对作为立体影像的第1影像(正编影像)和第2影像(图形影像)进行合成并输出的影像再现装置，具备：取得应合成于一帧的第1影像(正编影像)和第2影像(图形影像)的视频以及图形解码器503以及504；和通过将视频以及图形解码器503以及504所取得的第1影像和第2影像同步地进行合成来生成合成影像，并输出合成影像的合成部505。合成部505，在合成影像生成时，在视频以及图形解码器503以及504没能取得应合成于一帧的第2影像时，将在与一帧不同的另一帧中应与第1影像进行合成的第2影像与应合成于一帧的第1影像进行合成。此外，立体影像显示第2影像时的进深由深度信息来决定，合成部505在应合成于一帧的第1影像和第2影像的合成时，在视频以及图形解码器503以及504没能取得应合成于一帧的第2影像时，基于在另一帧应与第1影像进行合成的第2影像的内容来求取针对应合成于一帧的第2影像的深度信息，并利用该求出的深度信息，将在另一帧中应与第1影像进行合成的第2影像与第1影像进行合成。
像这样，在实施方式3的影像再现装置12中，深度决定用解码器507根据图形影像来检测出其深度并作为深度数据而输出。因此，在某时间区域上的来自同步部701的图形影像的输出定时之前，来不及生成图形影像的情况下，利用根据以前的时间区域的图形影像的深度数据进行推定(外推)而取得的深度数据，对另一时间区域(帧)的图形影像的深度进行校正，并作为在该时间区域的合成定时与正编影像进行合成的图形影像。因此，即使在图形影像的生成没有赶上来自同步部701的输出定时的情况下，与原本应从同步部701输出的图形影像类似的图形影像被实施适当的深度校正后被输出，并与正编影像进行合成，作为合成影像信号而被输出到影像显示装置11。因此，用户在显示的影像中感觉不到不协调感。本实施方式的影像再现装置12，即使在盘200等影像源中深度信息没有与影像分别被记录，也能够不输出异常的影像，来实现流畅地随时间变化的立体影像的再现。
图19是表示实施方式3的影像再现装置12的第2AV处理部202的详细构成的图。第2AV处理部202，例如，可以构成为1个或2个以上的半导体装置。第2AV处理部202具备：从盘200等影像源中输入包含3D内容的流数据，并将第1影像的影像流输出到第1解码器553，将第2影像的影像流输出到第2解码器554的流控制部501；对第1影像的影像流进行解码来输出第1影像(正编影像)的第1解码器553；对第2影像的影像流进行解码来输出第2影像(图形影像或字幕影像)的第2解码器554；基于第2解码器554所输出的第2影像的内容来取得该第2影像的深度数据的深度决定用解码器507；将第2影像同步地合成于第1影像并输出合成影像信号的合成部505；和输出合成影像信号的信号输出部555。在此，合成部505具有与实施方式1～3的合成部505同等的功能。另外，信号输出部555可以为输出端子。
像这样，实施方式3的第2AV处理部202也能够构成为半导体装置。
(变形例)
本实施方式1～3的影像再现装置12能够进行各种各样的变形。以下，对影像再现装置12的变形的一例进行说明。
在上述实施方式1～3的影像再现装置12中，示出了将图形影像以及字幕影像合成于视频影像(正编影像)的例子，但被合成的影像不限定于此。也可以采用与视频影像(正编影像)同步地输出另一视频影像(副影像)并对两影像进行合成的构成。即使在这种情况下，若正编影像以及副影像没有分别对应左眼以及右眼影像，则也会被用户识别为异常的影像。根据本实施方式的影像再现装置12，通过一边保持左眼以及右眼影像的对应一边对该影像的深度进行校正并输出，能够实现流畅的立体影像表现。
此外，图形影像(第2影像)也可以是左眼以及右眼影像相同的影像。在此情况下，只要不对深度进行调整则图形影像看起来是平面，但通过对深度进行调整，能够对图形影像赋予深度方向的定位。
此外，作为用户能够指定的深度的例子，示出了记录在闪存206中的序列(sequence)，但只要为存储器即可，不限定于闪存，既可以为存储器卡那样的存储器，也可以为与存储器207相同的存储器。
此外，在图形影像的深度校正中使用的深度数据也可以使用图形影像的深度信息以外的信息，例如正编影像的深度信息。在此情况下，也能够起到同等的效果。
此外，即使在某时间区域中原本被输出的图形影像的左眼以及右眼影像这两者能够使用的情况下，也可以始终进行偏移处理来进行深度校正。
此外，在来不及时准备图形影像时使用的另一时间区域的图形影像，也可以不是前一个时间区域的图形影像。
在上述实施方式中，作为影像源举出了记录在BD-ROM中的内容，但影像源不限定于BD-ROM，包括广播波、其他光盘、硬盘等影像源介质的全部。
在上述实施方式中，正编影像(第1影像)和图形影像或字幕影像(第2影像)是根据包含在同一影像源(内容)中的影像数据而生成的，但第1影像的影像源和第2影像的影像源(内容)也可以相互不同。
在上述实施方式中，第1影像为某内容的正编影像，但第1影像不限定于此，可以是任意的影像。此外，作为立体影像的第2影像也不限定于字幕影像或图形影像，可以是任意的影像。
在上述实施方式中，第1影像既可以为立体影像，也可以为非立体影像。实施方式的影像再现装置能够将作为立体影像的第2影像合成于第1影像，并将合成影像作为立体影像而输出。
作为立体影像的第2影像，在影像源中，可以以2平面方式、2平面加1偏移方式、1平面加1偏移方式等任意的方式被记录。
本实施方式的影像再现装置12不限定于BD-ROM等光盘，可以应用于电视机、游戏机等、重叠影像或图形来显示立体影像的用途下的立体影像再现装置中。
此外，实施方式的影像再现装置，以帧连续方式来送出立体影像信号，但立体影像信号的方式不限定于此，可以是任意的方式。
另外，立体影像信号作为1帧的影像信号也可以是包含左眼影像(左眼用的影像)和右眼影像(右眼用的影像)而成的影像信号。但是，在本实施方式的影像再现装置中，立体影像信号的格式等没有特别限制。
(总结)
以上，各实施方式的影像再现装置12能够将第2影像((立体)图形影像)合成(重叠)于第1影像。在进行该合成时，影像再现装置12取得第1影像和第2影像之间的同步来进行合成。在第2影像((立体)图形影像)存在缺失的情况下，影像再现装置12用当前的时间区域(帧)的第2影像的深度数据对另一时间区域(帧)的第2影像进行深度校正后输出。
另外，实施方式1以及3的图形影像、实施方式2的字幕影像是立体图形影像的一例。
由此，即使在图形影像存在缺失的情况下，也能够将不中断地流畅地变化的图形影像呈现给用户。
此外，影像再现装置12在立体图形影像的左眼图形影像和右眼图形影像的至少任意一方无法使用的情况下，利用其时间区域(帧)的前面的时间区域(帧)的立体图形影像的左眼图形影像以及右眼图形影像来对该缺失期间进行插补并输出。
由此，即使在左眼图形影像和右眼图形影像的任意一方无法使用的情况下，也能防止在左眼图形影像和右眼图形影像产生视差、偏移以外的偏离从而使用户对影像感到不协调感。
工业实用性
本实施方式的影像再现装置作为对合成多个影像而成的立体影像进行再现的影像再现装置很有用。
符号说明
11   影像显示装置
12   影像再现装置
13   立体眼镜
101  第1输入输出部
102  第1AV处理部
103  显示部
104  第1遥控器信号接收部
105  发送部
200  盘
201  盘驱动部
202  第2AV处理部
203  第2输入输出部
204  第2遥控器信号接收部
205  CPU
206  闪存
207  存储器
501  流控制部
502  深度决定部
503  视频解码器
504  图形解码器
505  合成部
506  字幕解码器
507  深度决定用解码器
700  图形信号取得部
701  同步部
702  深度附加部
703  图形合成部

Claims (6)

1.一种影像再现装置，其对作为立体影像的第1影像和第2影像进行合成并输出，
所述影像再现装置具备：
取得单元，其取得应合成于一个帧的第1影像和第2影像；和
合成单元，其通过将所述取得单元所取得的第1影像和第2影像同步地进行合成来生成合成影像，并输出所述合成影像，
所述合成单元，在所述合成影像的生成时，在所述取得单元没能取得应合成于所述一个帧的第2影像时，将在与所述一个帧不同的另一个帧中应与第1影像进行合成的第2影像与应合成于所述一个帧的第1影像进行合成。
2.根据权利要求1所述的影像再现装置，其中，
所述第2影像被进行立体影像显示时的进深由深度信息来决定，
所述合成单元，在应合成于所述一个帧的第1影像和第2影像的合成时，在所述取得单元没能取得应合成于所述一个帧的第2影像时，利用针对应合成于所述一个帧的第2影像的深度信息，将在所述另一个帧中应与第1影像进行合成的第2影像与第1影像进行合成。
3.根据权利要求1所述的影像再现装置，其中，
所述第2影像被进行立体影像显示时的进深由深度信息来决定，
所述合成单元，在应合成于所述一个帧的第1影像和第2影像的合成时，在所述取得单元没能取得应合成于所述一个帧的第2影像时，基于在所述另一个帧中应与第1影像进行合成的第2影像的内容来求出针对应合成于所述一个帧的第2影像的深度信息，并利用该求出的深度信息，将在所述另一个帧中应与第1影像进行合成的第2影像与第1影像进行合成。
4.根据权利要求1所述的影像再现装置，其中，
所述第2影像是图形影像或字幕影像。
5.一种半导体装置，其对作为立体影像的第1影像和第2影像进行合成并输出，
所述半导体装置具备：
取得单元，其取得应合成于一个帧的第1影像和第2影像；
合成单元，其通过将所述取得单元所取得的第1影像和第2影像同步地进行合成来生成合成影像；和
信号输出单元，其输出所述合成影像，
所述合成单元，在所述合成影像的生成时，在所述取得单元没能取得应合成于所述一个帧的第2影像时，将在与所述一个帧不同的另一个帧中应与第1影像进行合成的第2影像与应合成于所述一个帧的第1影像进行合成。
6.一种影像再现方法，是在影像再现装置中对作为立体影像的第1影像和第2影像进行合成并输出的影像再现方法，
所述影像再现方法具备如下步骤：
取得单元取得应合成于一个帧的第1影像和第2影像的步骤；和
合成单元通过将通过所述取得的步骤而取得的第1影像和第2影像同步地进行合成来生成合成影像，并输出所述合成影像的步骤，
所述合成单元，在所述合成影像的生成时，在所述取得单元没能取得应合成于所述一个帧的第2影像时，将在与所述一个帧不同的另一个帧中应与第1影像进行合成的第2影像与应合成于所述一个帧的第1影像进行合成。
CN2010800339078A 2009-08-05 2010-08-05 影像再现装置 Pending CN102474663A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009-182151 2009-08-05
JP2009182151 2009-08-05
PCT/JP2010/004934 WO2011016240A1 (ja) 2009-08-05 2010-08-05 映像再生装置

Publications (1)

Publication Number Publication Date
CN102474663A true CN102474663A (zh) 2012-05-23

Family

ID=43544149

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010800339078A Pending CN102474663A (zh) 2009-08-05 2010-08-05 影像再现装置

Country Status (6)

Country Link
US (1) US20120128327A1 (zh)
EP (1) EP2464129A4 (zh)
JP (1) JPWO2011016240A1 (zh)
CN (1) CN102474663A (zh)
TW (1) TW201123844A (zh)
WO (1) WO2011016240A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103686116A (zh) * 2012-09-04 2014-03-26 晨星软件研发(深圳)有限公司 立体影像输出装置与相关的立体影像输出方法
US10867587B2 (en) 2016-10-25 2020-12-15 Sony Semiconductor Solutions Corporation Display control apparatus, electronic equipment, and control method of display control apparatus

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120224037A1 (en) * 2011-03-02 2012-09-06 Sharp Laboratories Of America, Inc. Reducing viewing discomfort for graphical elements
WO2013066601A1 (en) * 2011-10-17 2013-05-10 Kimmel Zebadiah M Method and apparatus for monitoring individuals while protecting their privacy
WO2013058985A1 (en) 2011-10-17 2013-04-25 Kimmel Zebadiah M Method and apparatus for detecting deterioration of health status
WO2013058978A1 (en) 2011-10-17 2013-04-25 Kimmel Zebadiah M Method and apparatus for sizing and fitting an individual for apparel, accessories, or prosthetics
CN103517062B (zh) * 2012-06-15 2016-05-25 晨星软件研发(深圳)有限公司 影像的同步方法及其装置
TWI520577B (zh) * 2012-08-10 2016-02-01 晨星半導體股份有限公司 立體影像輸出裝置與相關的立體影像輸出方法
US9600993B2 (en) 2014-01-27 2017-03-21 Atlas5D, Inc. Method and system for behavior detection
KR102237479B1 (ko) * 2014-06-03 2021-04-07 (주)아이리스아이디 홍채 인식 단말기 및 방법
US10013756B2 (en) 2015-03-13 2018-07-03 Atlas5D, Inc. Methods and systems for measuring use of an assistive device for ambulation

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1558664A (zh) * 2004-01-17 2004-12-29 上海交通大学 一种高清晰数字电视节目字幕与背景图像的合成方法
CN101060633A (zh) * 2006-04-17 2007-10-24 株式会社日立制作所 图像显示装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3154030B2 (ja) * 1993-08-06 2001-04-09 三菱電機株式会社 字幕信号復調回路
JPH11164329A (ja) * 1997-11-27 1999-06-18 Toshiba Corp 立体映像表示装置
JP3599185B2 (ja) * 2000-05-31 2004-12-08 株式会社ソニー・コンピュータエンタテインメント 画像描画方法、画像描画装置、データ構造、記録媒体及びプログラム
JP3746506B2 (ja) * 2004-03-08 2006-02-15 一成 江良 立体視化パラメータ埋込装置及び立体視画像再生装置
JP3976041B2 (ja) 2004-09-17 2007-09-12 セイコーエプソン株式会社 立体画像表示装置
JP2008016946A (ja) * 2006-07-03 2008-01-24 Matsushita Electric Ind Co Ltd 映像再生装置、映像再生方法および映像再生プログラム
US20080226128A1 (en) * 2007-03-12 2008-09-18 Conversion Works, Inc. System and method for using feature tracking techniques for the generation of masks in the conversion of two-dimensional images to three-dimensional images
JP2009135686A (ja) * 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置
US8471898B2 (en) * 2008-02-05 2013-06-25 Disney Enterprises, Inc. Medial axis decomposition of 2D objects to synthesize binocular depth

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1558664A (zh) * 2004-01-17 2004-12-29 上海交通大学 一种高清晰数字电视节目字幕与背景图像的合成方法
CN101060633A (zh) * 2006-04-17 2007-10-24 株式会社日立制作所 图像显示装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103686116A (zh) * 2012-09-04 2014-03-26 晨星软件研发(深圳)有限公司 立体影像输出装置与相关的立体影像输出方法
US10867587B2 (en) 2016-10-25 2020-12-15 Sony Semiconductor Solutions Corporation Display control apparatus, electronic equipment, and control method of display control apparatus

Also Published As

Publication number Publication date
JPWO2011016240A1 (ja) 2013-01-10
WO2011016240A1 (ja) 2011-02-10
EP2464129A4 (en) 2012-08-01
US20120128327A1 (en) 2012-05-24
EP2464129A1 (en) 2012-06-13
TW201123844A (en) 2011-07-01

Similar Documents

Publication Publication Date Title
CN102474663A (zh) 影像再现装置
CN103024408B (zh) 立体图像转换装置和方法、立体图像输出装置
JP6846130B2 (ja) ３ｄビデオ上に３ｄグラフィックスをオーバレイするための方法及び装置
CN102137270B (zh) 字幕的3d显示处理
WO2011135857A1 (ja) 画像変換装置
MX2012000476A (es) Metodo de procesamiento de señal y aparato para este que utiliza tamaño de pantalla de dispositivo de presentacion.
US8824857B2 (en) Method and apparatus for the varied speed reproduction of video images
TW201123847A (en) Recording medium, playback device, and integrated circuit
CN102223551B (zh) 图像处理设备和图像处理方法
JP5415217B2 (ja) 三次元映像処理装置
JP5066244B2 (ja) 映像再生装置及び映像再生方法
CN102457742A (zh) 信息处理装置、信息处理方法和程序
CN102177725A (zh) 再现设备和再现方法、数据结构、记录介质、记录设备和记录方法，以及程序
WO2011077673A1 (ja) 再生装置
JP4129408B2 (ja) 画像データ生成装置、画像データ再生装置、画像データ生成方法、画像データ再生方法
WO2004030375A1 (ja) 画像データ生成装置、画像データ再生装置、画像データ生成方法、画像データ再生方法、画像データ又は画像処理プログラムを記録した記録媒体および画像データ記録装置
JP6307213B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN102090071A (zh) 数据结构、再现设备、再现方法和程序
JPH07240942A (ja) 立体映像情報の記録方法
JP5641953B2 (ja) 電子機器、映像データの生成方法、およびプログラム
JP5586403B2 (ja) 映像データ送信装置及び映像データ送信方法
JP2014099671A (ja) ３ｄ映像再生装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120523