具体实施方式
(实施方式1)
(概要)
本发明的显示装置将电视影像或视频播放影像等运动图像和文字或插图等静止图像同时显示在同一显示器上,在对所显示的运动图像的显示尺寸进行扩大或缩小时,或者变更运动图像的显示位置时,能够无异常地在显示器上显示运动图像和静止图像。这里所谓的异常是指运动图像和静止图像被错位显示,或者运动图像暂时失真等。
例如,在显示器上产生运动图像和静止图像的错位显示的原因是运动图像的显示区域和静止图像的透明区域不一致,该错位是由于在运动图像的尺寸和位置的变更完成之前变更了静止图像的透明区域而产生的。因此,在本发明中,仅在能够产生该失真的期间中,取代使静止图像局部透明,而将相当于运动图像的仿真图像作为静止图像来进行显示。
在本发明中,通过仿真图像覆盖运动图像,因此具有不显示错位而且也能够消除显示失真等异常的优点。
下面参照图2~图4对本发明的原理进行简单说明。
参照图2对将运动图像和静止图像在显示器上显示的方法进行说明,并参照图3对现有问题进行说明。然后,参照图4简单地对本发明中在显示器上显示运动图像和静止图像的方法进行说明。
图2是表示将运动图像和静止图像显示在同一显示器上的方法的图。
视频帧示出了表示运动图像的帧图像,图形帧示出了表示静止图像的帧图像。下面,也将运动图像称为“视频”的图像,也将静止图像称为“图形”的图像。
另外,合成图像是通过在视频帧上叠加图形帧而合成的图像,也是在显示器上实际显示的图像。另外,这里的视频以30fps(Frame Per Second)来显示。
例如,在显示合成画面2的情况下,在视频帧上规定的位置生成规定尺寸的视频图像300,在图形帧上生成图形图像302,该图形图像302中的与视频图像300相当的部分301是透明的。合成视频帧与图形帧,能从图形图像302的透明部分301看到视频图像300,以此来作为显示图像2。例如显示录像节目一览来作为图形图像,通过在该图像上重叠的小图像来播放录像节目之一的棒球比赛的画面。
在对图形图像进行更新的情况下,将新的图形图像303与视频图像合成,从而显示出显示画面5。
如本图的显示画面2~显示画面6所示,按照帧来更新视频图像,从而作为运动图像而被显示,图形图像作为静止图像而被显示。
接着,图3是表示作为现有问题的在放大视频图像时产生的图像错位的图。
首先,在显示出显示画面1时,用户给出放大视频图像的指示。
在接受放大指示后,在图形帧中将图形图像的透明区域310放大至与被放大的视频图像的区域相同的区域。当显示显示画面3时,透明区域成为被放大的透明区域311。
另一方面,在视频帧中,当显示显示画面5时,显示第一次被放大的视频图像313。在对视频图像进行放大等的情况下,通常使用硬件进行比例缩放或滤波(filtering),因此多发显示延迟的情况,在本例中,视频帧比 图形帧延迟显示了2帧。
因此,如显示画面3和显示画面4所示,能够在图形图像的透明部分中看到视频帧的视频图像以外的部分312,从而产生视频图像与图形图像的错位的显示画面。
图4为表示本发明中的放大视频图像时的图。
在显示画面1中,接受视频图像的放大指示后,在图形帧中,不放大图形图像的透明区域,而是在图形帧中生成代替视频图像的伪视频图像320。该伪视频图像320是尺寸能够覆盖当前视频图像的不透明图像。在本图中,伪视频图像被标记了右斜线。
在显示显示画面3时,在视频帧上叠加图形帧进行合成,但是由于在此时的图形帧中生成了伪视频图像320来代替透明区域,因此显示出图形帧的图像321。
即,如图3的显示画面3所示,能够无错位地显示伪视频图像和图形图像,可以看到视频图像的放大处理已经迅速开始。
然后,在视频帧中显示了放大的视频图像322的阶段,在图形帧中生成具有放大的透明区域323的图形图像。
在显示画面5中,显示的方式是能够从图形图像的透明区域323看到与透明区域323相同尺寸的视频图像322。
这样,在对视频图像的尺寸等进行变更的情况下,在变更反映于视频帧之前,在图形帧中生成并显示伪视频图像,从而能够在显示器上迅速地反映尺寸的变更,并且能够避免在显示器上显示图像的异常(参照图3和图4中的显示画面3和显示画面4)。
下面参照附图对本发明实施方式的显示装置进行说明。并且在本实施方式中,虽然对放大视频图像的情况进行了说明,但是对于在缩小视频图像、变更位置、甚至进一步放大视频图像等时所出现的图像失真等情况,也是同样的。
(结构)
图1是表示显示装置100的结构的功能框图。
显示装置100构成为包括:解码部1100、解码图像存储部1200、缩放部1300、视频帧存储部1400、显示控制部1500、视频显示控制部1600、 伪视频生成部1700、合成部1800、图形数据存储部2000、图形生成部2100、图形帧存储部2200以及应用程序处理部2300。
另外,在显示装置100的外部具有视频数据存储部1000和显示器200,该视频数据存储部1000用于对内容等视频数据进行存储。
解码部1100将视频数据作为流数据从视频数据存储部1000输入,对输入的流数据进行解码,生成解码图像并存储于解码图像存储部1200。
在本实施方式中,视频数据从视频数据存储部1000输入,但是也可以经由网络等来进行输入,另外作为电视信号等来进行接收。并且在本实施方式中,视频数据是基于MPEG(Moving Picture Experts Group)-4标准而生成的数据。
解码图像存储部1200具有存储被解码部1100解码后的数据即解码图像的功能。在本实施方式中,存储的解码图像比显示器上所显示的图像大即分辨率高的图像。另外,也可以比显示图像小,即分辨率低的图像。
并且,该解码图像存储部1200具有根据来自视频显示控制部1600的询问而向视频显示控制部1600通知解码图像的图像尺寸的功能。该解码图像的尺寸在一个视频数据中是相同的。
缩放部1300对解码图像进行缩小至规定尺寸或者变更显示位置等的处理(以下称为“缩放处理”),并具有在视频帧存储部1400中生成缩放处理后的解码图像即视频图像的功能。具体而言,即在视频帧存储部1400中描画通过显示器来显示的视频图像的像素数据。
视频帧存储部1400以帧为单位存储由缩放部1300实施了缩放处理的视频图像,以此作为像素数据的集合。
接着,显示控制部1500具有进行视频图像的尺寸等的变更控制,以及伪视频图像与图形图像的显示控制的功能。具体而言,即在从应用程序处理部2300接收到放大视频图像等的指示后,向视频显示控制部1600委托视频图像的尺寸等的变更,或者对图形帧中的图像的叠加顺序进行管理等。
视频显示控制部1600,具有从显示控制部1500接受指示,对视频图像的缩放处理以及伪视频图像的生成处理进行控制的功能。
具体而言,即视频显示控制部1600,向缩放部1300发出视频图像的尺寸等的变更指示,并从解码图像存储部1200取得解码图像的尺寸,向伪视 频生成部1700委托伪视频图像的生成。另外,从缩放部1300接受视频图像的缩放处理已完成的通知,指示在伪视频生成部1700中生成透明区域。
伪视频生成部1700具有从视频显示控制部1600接受指示,并将伪视频图像生成在图形帧存储部2200中的功能。具体而言,即根据作为生成视频图像的基础的解码图像来生成在显示器上显示的伪视频图像,将其像素数据描画在图形帧存储部2200中。另外,还具有根据来自视频显示控制部1600的指示,以透明色涂满指定区域的功能,即,生成仅由透明色构成的图像的功能。
在本实施方式中,缩放部1300中采用的缩放滤波器是比伪视频生成部1700中采用的缩放滤波器高次的滤波器。即,在缩放部1300中生成的图像的精度比在伪视频生成部1700中生成的图像高。因此,在对相同图像实施缩放处理的情况下,伪视频生成部1700的处理时间短。
图形生成部2100具有从显示控制部1500接受指示,并将图形图像生成在图形帧存储部2200中的功能。具体而言,即将在显示器上显示的图形图像的像素数据描画在图形帧存储部2200中。这里生成的图形图像是由在图形数据存储部2000中存储的数据生成的。
图形数据存储部2000存储有以图形生成部2100所生成的图形图像为基础的数据。在本实施方式中,存储录像节目一览或电视节目一览、字符串等数据。
其次,图形帧存储部2200以帧为单位存储由伪视频生成部1700生成的伪视频图像和由图形生成部2100生成的图形图像,以此作为像素数据的集合。
合成部1800具有对在视频帧存储部1400中存储的图像和在图形帧存储部2200中存储的图像进行合成,并在显示器200上进行显示的功能。合成是通过在视频帧存储部1400中存储的图像上叠加(overlay)在图形帧存储部2200中存储的图像来实现的。
应用程序处理部2300在本实施方式中接受来自用户的指示,进行显示录像节目一览或者播放从节目一览中选择的节目的处理。还具有在从用户接受了对播放中的视频图像的尺寸进行变更等的指示的情况下,将该指示通知给显示控制部1500的功能。
这里,显示控制部1500等各部所进行的各处理的全部或部分是通过CPU(未图示)执行各种程序来实现的。
(数据)
下面参照图5和图6对本显示装置100中所使用的主要数据进行说明。
图5(a)是表示对象信息1510的结构和内容例的图,图5(b)是表示视频图像配置信息1520的结构和内容例的图。这些是显示控制部1500存储在内部存储器中的信息。
而图5(c)是表示变更指示信息2310的结构和内容例的图。该信息是应用程序处理部2300在指示进行视频图像的尺寸等的变更时向显示控制部1500传递的信息。
首先说明图5(a)的对象信息1510。
这里,所需对象是指构成在图形帧存储器2200中所存储的图形图像的要素,具体而言是将一个静止图像称为一个图形对象,将一个伪视频图像称为一个视频对象。该静止图像可以是由一个以上的图形、图像、文字等构成的图像,也可以是将它们组合而成的图像。在本实施方式中,视频对象是指与一个录像节目的播放图像即视频图像相对应的伪视频图像,图形对象是录像节目一览的图像或者字符串等的静止图像。
对象信息1510由对象ID1511、属性1512、始点1513、尺寸1514、堆栈1515以及地址1516构成。
对象信息1510用于对显示于显示器200的对象进行管理。
对象ID1511是在显示器200上显示的对象的标识符。例如在本图中,示出了分别标记了“ID1”、“ID2”、“ID3”的对象ID的三个对象。
换言之,标记了这些对象ID的对象存储在图形帧存储部2200中。
属性1512表示对象的属性,记述为“图形”或“视频”。“图形”表示为图形对象,“视频”表示为视频对象。
在本图中,“:”后面为注释(comment)。例如,“图形:字符串”表示是由字符串构成的图形对象。另外,“视频:MPEG4”表示是与MPEG-4标准编码的视频图像对应的视频对象。
其次,始点1513表示显示画面中的在对象左上方的位置,尺寸1514表示对象的纵横尺寸。
另外,堆栈1515表示合成时的叠加顺序,按照降序叠加在上面来显示各对象。因此在本图中,最上面显示的对象是堆栈1515为“1”而对象ID1511为“ID3”的对象。
地址1516表示对象的图像数据的取得地址,在本实施方式中表示各存储部的地址。例如,对象ID1511为“ID1”的对象,属性1512为“图形”,因此该对象的图像数据存储在图形数据存储部2000中,即存储在地址1516表示为“addr1”的位置。另外,对象ID1511为“ID3”的对象,属性1512为“视频”,因此该对象的图像数据存储在解码图像存储部1200中,即存储在地址1516表示为“addr3”的位置。该地址指向存储最新的解码图像的地址。
这里,参照图6对图形图像与各对象的始点1513、尺寸1514以及堆栈1515的关系进行说明。
图6是表示显示画面与对象的关系的具体例的图,显示画面500由两个图形对象(510、520)和一个视频对象530构成。
对象510表示对象ID1511为“ID1”的对象,对象520和对象530则分别表示对象ID1511为“ID2”和“ID3”的对象。
各对象的始点1513被显示画面500中示出的坐标系的坐标所表示,根据该坐标系在合成部1800合成各对象。
首先,在图形对象为多个的情况下,按照堆栈值大的顺序生成图形对象。
例如,在通过图5(a)的对象信息1510来管理对象的情况下,生成的顺序是先生成堆栈1515为“3”的图形对象520的图像,在其上面叠加堆栈1515为“2”的图形对象510的图像,进而在其上面叠加堆栈1515为“1”的图形对象530的图像,从而生成图形图像并将其存储在图形帧存储部2200中。
合成部1800在存储于视频帧存储部1400中图像上,叠加并合成在图形帧存储部2200中所生成的图形图像,并进行显示。本图的视频对象530在作为伪视频图像而进行合成显示的情况下,尽管没有显示在视频帧存储部1400中存储的视频图像,但是在以透明色生成视频对象530的情况下,在合成显示的画面上显示在视频帧存储部1400中存储的视频图像。
另外,在本实施方式中,能够同时显示的视频对象为1个。
其次,对图5(b)的视频图像配置信息1520进行说明。
视频图像配置信息1520用于对在显示器上显示的视频图像及其伪视频图像的配置信息进行管理,按照各视频图像进行存储。因此,在显示多个视频图像的情况下,按照其数量来存储视频图像配置信息1520。另外,在本实施方式中,显示的视频图像为1个。
视频图像配置信息1520由图像类别1521、始点1522、尺寸1523以及对象ID1524构成。
图像类别1521表示视频图像的类别,在本实施方式中为“视频图像”和“伪视频图像”这两种。
“视频图像”是指在视频帧存储部1400中存储的视频图像,“伪视频图像”是指在图形帧存储部2200中存储的伪视频图像。
始点1522表示图像的左上方位置,尺寸1523表示图像的纵横尺寸。因此,在“视频图像”的始点1522和尺寸1523中,存储当前显示的视频图像的尺寸等,在接受进行尺寸变更或位置变更的指示并完成了变更时进行更新。另外,在“伪视频图像”的始点1522和尺寸1523中,存储所显示的伪视频图像的尺寸等。
对象ID1524为确定对象的标识符,对于视频图像及其伪视频图像标记相同的标识符。
接着对图5(c)的变更指示信息2310进行说明。
变更指示信息2310由时间2311、始点2312、尺寸2313以及对象ID2314构成。
时间2311表示到视频图像的变更处理结束为止的大致时间。在本实施方式中为帧数。对于时间2311,只要能够指定显示伪视频图像的时间即可,也可以用秒数等表示。
始点2312和尺寸2313表示最终的视频图像的位置和尺寸,分别与视频图像配置信息1520的始点1522和尺寸1523相同。
例如在时间2311为“3”的情况下,在3帧后,伪视频图像的位置和尺寸如下即可,即,始点为始点2312所表示的“(x20,y20)”,尺寸为尺寸2313所表示的“(h20,w20)”。
另外,对象ID2314是用于确定变更对象的标识符。
(动作)
下面参照图7和图8对本发明的显示装置100的动作进行说明。
图7为进行视频图像放大处理时的各功能部的处理的时序图。
在本图中,实线矩形表示左端记述的功能部进行处理的时间,虚线矩形表示各存储部(1200、1400、2200)中存储的或者生成中的图像数据。另外,实线箭头表示图像数据的发送,虚线箭头表示指示或通知。图1和图15也同样。并且在本图中为了便于说明而将缩放处理(处理420)和描画(处理421)分开记述,但是在内容上为1个处理。
这里,对显示控制部1500从应用程序处理部2300接受视频图像放大指示后的处理的时刻进行说明。
显示控制部1500根据在接受视频图像放大指示时接收的被传递过来的变更指示信息2310和接收该指示的时刻,计算伪视频图像的位置和尺寸(处理400)。这里,伪视频图像尺寸逐渐增大,最初成为与当前视频图像相同的位置和尺寸。
显示控制部1500首先指示图形生成部2100,在图形帧存储部2200中描画背景等的图形图像。然后,经由视频显示控制部1600指示伪视频生成部1700,在图形帧存储部2200中描画伪视频图像(处理401)(参照图像数据410)。伪视频图像以解码图像存储部1200中存储的最新解码图像为基础生成。
通过该描画形成了显示有图形图像和伪视频图像的显示画面(图4:参照显示画面3)。
显示控制部1500指示在伪视频生成部1700中生成伪视频图像后,接着向缩放部1300指示进行视频图像的缩放处理(处理402)。
在缩放部进行缩放处理的期间(处理420),显示控制部1500计算接下来显示的伪视频图像的尺寸等,经由视频显示控制部1600描画在伪视频生成部1700中计算出的尺寸的伪视频图像(处理403)。
通过该描画形成了显示有尺寸略大的伪视频图像的显示画面(图4:参照显示画面4)。
缩放部1300在缩放处理(处理420)结束后,在视频帧存储部1400 中描画最终的位置和尺寸的视频图像(参照处理421、图像数据430),然后,向视频显示控制部1600通知变更结束(通知422)。
接受了视频图像变更结束的通知后的视频显示控制部1600,指示伪视频生成部1700使视频图像的区域透明(处理405)。然后,视频显示控制部1600向显示控制部1500通知变更结束。
此时,形成为显示有视频图像和图形图像的显示画面(图4:参照显示画面5)。
显示控制部1500接受变更结束的通知,或者在伪视频图像变为最终的视频图像的位置和尺寸之前,经由视频显示控制部1600描画逐渐放大的伪视频图像(处理404)。
接着,图8是表示显示控制处理和视频图像的尺寸等的变更处理的流程图。
这里说明的显示控制处理,是显示控制部1500、视频显示控制部1600、伪视频生成部1700进行的处理,变更处理是由缩放部1300进行的处理。
用户将录像节目一览显示到显示器200上并选择一个录像节目,通过叠加于录像节目一览的小画面来进行播放(参照图2等)。
首先,用户进行视频图像的放大操作,检测到操作的应用程序处理部2300,向显示控制部1500指示放大视频图像。此时,传递变更指示信息2310。由于变更对象为视频图像,因此指定对象信息1510的属性1512为“视频”的对象ID1511。例如在变更指示信息2310的对象ID2314中存储有“ID3”。
取得视频图像放大指示后的显示控制部1500(步骤S100),计算所显示的伪视频图像的位置和尺寸,并将算出的位置和尺寸存储到对象ID1524与变更指示信息2310的对象ID2314相同的视频图像配置信息1520中(步骤S110)。
该伪视频尺寸的计算是使用当前显示的视频图像的尺寸等和所指定的视频图像的尺寸等来进行的。当前显示的视频图像的尺寸等,包括视频图像配置信息1520的图像类别1521为“视频图像”的始点1522和尺寸1523,指定的视频图像的尺寸等包括所接受的变更指示信息2310的始点2312和尺寸2313。
例如,假设当前(时刻T1)的视频图像的位置1522是(x4,y4),尺寸1523是(w4,h4),所指示的视频图像的位置2312是(x20,y20),尺寸2313是(w20,h20)。在视频图像从接受放大指示的时起随时间线性增大的情况下,伪视频图像的位置(x,y)和尺寸(w,h)随着时刻t的变化如下。假设指定的时间2311为“3”帧。另外,伪视频图像不是必须线性变化,而也可以通过某个函数来定义。
x(t)=x4+(x20-x4)*(t-T1)/3
y(t)=y4+(y20-y4)*(t-T1)/3
w(t)=w4+(w20-w4)*(t-T1)/3
h(t)=h4+(h20-h4)*(t-T1)/3
算出伪视频图像的位置和尺寸的显示控制部1500,随后根据对象信息1510的堆栈1515生成图形图像。
首先,生成堆栈1515的值为最大值的对象。
此时,在该对象的属性1512为“图形”的情况下(步骤S115:图形),显示控制部1500委托图形生成部2100生成图形对象(步骤S120)。
具体而言,是将委托的对象的始点1513、尺寸1514以及地址1516传递到图形生成部2100,委托进行图像的生成。接受委托后的图形生成部2100从地址1516读出图像数据,将图像生成在图形帧存储部2200中。
另外,在对象的属性1512为“视频”的情况下(步骤S115:视频),显示控制部1500委托视频显示控制部1600生成作为伪视频图像的视频对象(步骤S130)。
具体而言,显示控制部1500将算出的伪视频图像的位置和尺寸,以及与变更指示信息2310的对象ID相对应的地址1516传递给视频显示控制部1600,委托进行图像的生成。例如对视频图像配置信息1520的图像类别1521为“伪视频图像”的始点1522“(x10,y10)”和尺寸1523“(w10,h10)”,以及对象ID1511为“ID3”的地址1516“addr3”进行传递。
视频显示控制部1600从解码图像存储部1200取得解码图像的尺寸,将取得的尺寸和从显示控制部1500接受的始点等信息向伪视频生成部1700传递,委托生成伪视频图像。
接受委托的伪视频生成部1700,以接受的地址1516为基础,根据从解 码图像存储部1200读入的图像数据,将伪视频图像生成在图形帧存储部2200中。
委托进行对象生成的视频显示控制部1600,在没有对缩放部指示进行视频图像的缩放处理的情况下(步骤8140:否),委托进行变更为所指示的尺寸等的处理(步骤S150)。具体而言,通过变更指示信息2310的始点2312和尺寸2313来更新对象信息1510的对象ID1511为“ID3”的始点1513和尺寸1514,并传递对象ID1511为“ID3”的信息(1512~1516)(步骤S 151)。另外,虽然本实施方式中的视频图像为1个、伪视频图像为1个,但是在复数的情况下也可以对每个伪视频图像进行是否指示缩放处理的判断。
在存在尚未显示的对象的情况下(步骤S155:否),开始生成下一个对象,即堆栈1515的值依次减小的对象(步骤S115)。
例如在图5(a)的对象信息1510的情况下,首先生成对象ID1511为“ID2”的图形对象的节目一览的图像,接着生成对象ID1511为“ID1”的图形对象的字符串的图像。然后,生成对象ID1511为“ID3”的视频对象的伪视频图像。
在即使全部的对象生成都结束(步骤S155:是)也没有从缩放部1300接受到缩放处理完成的通知的情况下(步骤S160:否),视频显示控制部1600向显示控制部1500通知缩放处理未完成的消息。
接受缩放处理未完成的通知的显示控制部1500,计算用于下一次显示的伪视频图像的位置和尺寸(步骤S110),重复到步骤S160为止的处理。但是由于已经进行了缩放部1300的缩放处理的委托(步骤S140:是),因此不进行步骤S150的处理。
在从缩放部1300接受到缩放处理完成的通知的情况下(步骤S160:是),视频显示控制部1600将该消息通知显示控制部1500。但是,若此时伪视频图像是分阶段增大的情况下,即使伪视频图像的位置和尺寸不是指定的位置和尺寸,在缩放处理结束时,也会通知显示控制部1500。另外,在伪视频图像是分阶段增大的情况下,显示所指定的位置和尺寸的伪视频图像,并且在接受到缩放处理的完成通知的情况下,视频显示控制部1600将缩放处理已完成的消息通知显示控制部1500。
另外,视频显示控制部1600委托伪视频生成部1700使与视频图像对应的部分成为透明色。具体而言,将视频显示控制部1600对缩放部1300委托缩放处理时(参照步骤S150)的位置和尺寸传递给伪视频生成部1700并进行委托。
接受透明化委托的伪视频生成部1700,使在图形帧存储部2200中存储的图像中的通过所接受的始点1513和尺寸1514来显示的矩形部分透明(步骤S170)。
被通知了缩放处理已完成的消息的显示控制部1500,用变更指示信息2310的始点2312和尺寸2313来更新视频图像配置信息1520的图像类别1521为“视频图像”的始点1522和尺寸1523,并结束视频图像的变更处理。
另一方面,被委托进行缩放处理的缩放部1300,取得对象信息1510的对象ID1511为“ID3”的信息,即始点1513、尺寸1514以及地址1516(步骤S200),基于地址1516,从解码图像存储部1200读入最新的解码图像进行缩放处理(步骤S210),生成所接受的始点1513和尺寸1514的视频图像(步骤S220)。
缩放部1300在视频帧存储部1400中生成所委托的位置和尺寸的视频图像后,将缩放处理已完成的通知向视频显示控制部1600发送(步骤S230、步骤S231)。
在图5(a)的对象信息1510中,视频对象生成在最上面,但是其上面也可以生成图形对象,此时该图形对象的堆栈1515的值为比视频对象的堆栈1515的值更小的值。同样地,在存在多个伪视频图像的情况下,视频对象也可以叠加。
并且,在本实施方式中,在每次变更伪视频的尺寸等时将按照对象信息1510来管理的全部对象进行显示,但是也可以仅从图形数据存储部2000读出并生成由于伪视频的尺寸等的变更而露出的对象,即原本应当显示的图像发生了缺损的对象。
例如在图5(a)的对象信息1510的情况下,对象ID1511为“ID3”的伪视频图像显示为比当前显示的伪视频图像小时,判断在伪视频图像下面显示的对象是否缺损。该对象的堆栈1515为“1”,因此根据堆栈为“2” 和“3”的对象的始点1513和尺寸1514,判断各对象是否缺损并对判断为缺损的对象进行显示。
(实施方式2)
(概要)
在实施方式1中,基于对运动图像的流数据进行解码后所得到的解码图像来生成伪视频图像,但是在本实施方式中区别点在于,基于在视频帧存储部1400中存储的视频图像来生成伪视频图像。
在实施方式1中,伪视频图像通过对解码图像进行缩放来生成,此时,在伪视频图像的尺寸与解码图像的尺寸之差较大的情况下,有时读入存储解码图像比较费时间。另外,在缩放滤波器的次数较低的情况下,有时为了防止图像劣化而分多次进行缩放,此时也会产生伪视频图像的生成比较费时间的情况。
因此,在本实施方式中,基于尺寸比较接近的视频图像来生成伪视频图像。
(结构)
图9是表示本实施方式的显示装置700的结构的功能框图。
显示装置700包括:解码部1100、解码图像存储部1200、缩放部1300、视频帧存储部1400、显示控制部7500、视频显示控制部1600、伪视频生成部7700、合成部1800、图形数据存储部2000、图形生成部2100、图形帧存储部2200以及应用程序处理部2300。
显示装置700的结构与实施方式1的显示装置100(参照图1)大致相同,不同的功能部仅为显示控制部7500和伪视频生成部7700。其它功能部与显示装置100标记相同附图标记的功能部相同。
在实施方式1中,显示控制部7500向视频显示控制部1600委托进行图像的生成时,传递以伪视频图像为基础的解码图像的地址,但是在本实施方式中,区别在于,传递视频图像配置信息1520的图像类别1521为“视频图像”的始点1522和尺寸1523。即,传递视频帧中的视频图像的位置和尺寸。
另外,相对于实施方式1的伪视频生成部1700从解码图像存储部1200读出作为基础的图像数据,在本实施方式中,伪视频生成部7700从视频帧 存储部1400读出作为基础的图像数据。
(数据)
显示装置700中使用的主要数据与实施方式1的显示装置100所使用的如图5所示的数据相同。
(动作)
图10为表示本实施方式的放大视频图像时的图。
与图4所示实施方式1的情况相比,在生成并显示伪视频图像的方面相同,而区别在于在实施方式1中伪视频图像320由解码图像生成,而伪视频图像710则由视频图像生成。与实施方式1同样地,在生成放大的视频图像711时,在图形图像上生成透明区域712来显示视频图像。并且在本图中伪视频图像被标记了右斜线。
下面参照图11和图12对本发明的显示装置700的动作进行说明。
图11是进行视频图像放大处理时的各功能部的处理的时序图。
本时序图与实施方式1的时序图(参照图7)基本相同,区别在于伪视频生成部7700从视频帧存储部1400读出图像数据这一点(图像数据的发送720)。
其次,图12是表示显示控制处理和视频图像的尺寸等的变更处理的流程图。
本流程图与实施方式1的流程图(参照图8)基本相同,不同仅为在步骤S700中伪视频生成部7700从视频帧存储部1400读出图像数据这一点。
下面,以与图8的实施方式1的流程图的区别点为中心,对显示控制部7500、视频显示控制部1600和伪视频生成部1700所进行的显示处理、以及缩放部1300所进行的变更处理进行说明。
用户进行视频图像的放大操作,检测到操作的应用程序处理部2300,向显示控制部7500指示进行视频图像的放大,取得了放大视频图像的指示后的显示控制部7500(步骤S100),计算所显示的伪视频图像的位置和尺寸(步骤S110)。
算出伪视频图像的位置和尺寸的显示控制部7500,随后根据对象信息1510的类别1512和堆栈1515生成全部的对象(步骤S115~步骤S155)。
在生成图形图像的情况下(步骤S115:图形),显示控制部7500委 托图形生成部2100生成图形对象(步骤S120)。
另外,在生成伪视频图像的情况下(步骤S115:视频),显示控制部7500将算出的伪视频图像的位置和尺寸以及视频图像的始点和尺寸向视频显示控制部1600传递,并委托进行图像的生成。具体而言,视频图像的始点和尺寸是视频图像配置信息1520的图像类别1521为“视频图像”的始点1522和尺寸1523。
视频显示控制部1600将从显示控制部7500接受的始点等信息向伪视频生成部7700传递,从而委托伪视频生成部7700从视频帧存储部1400读出作为伪视频图像的基础的图像,并生成伪视频图像。
接受委托后的伪视频生成部7700,从视频帧存储部1400读出视频图像,根据所读出的视频图像将伪视频图像生成在图形帧存储部2200中(步骤S700)。
委托进行对象生成后的视频显示控制部1600,在没有对缩放部指示视频图像的缩放处理的情况下(步骤S140:否),委托进行变更所指示的尺寸等的处理(步骤S150)。
在存在尚未显示的对象的情况下(步骤S155:否),开始生成下一个对象,即堆栈值1515的值依次减小的对象(步骤S115)。
在即使全部的对象生成结束(步骤S155:是)也没有从缩放部1300接受到缩放处理已完成的通知的情况下(步骤S160:否),视频显示控制部1600向显示控制部7500通知缩放处理未完成的消息,接受通知后的显示控制部7500,计算用于下一次显示的伪视频图像的位置和尺寸(步骤S110),重复到步骤S160为止的处理。
在从缩放部1300接受到缩放处理完成通知的情况下(步骤S160:是),视频显示控制部1600将该消息通知显示控制部7500,委托伪视频生成部7700使与视频图像对应的部分成为透明色。
接受委托的伪视频生成部7700使该部分成为透明(步骤S170),被通知了缩放处理已完成的消息的显示控制部7500,结束视频图像的变更处理。
另一方面,被委托进行缩放处理的缩放部1300,取得位置、尺寸以及地址(步骤S200),从解码图像存储部1200读入被存储于地址1516中的 解码图像,并进行缩放处理(步骤S210),生成视频图像(步骤S220)。缩放部1300在生成视频图像后,将缩放处理完成的通知向视频显示控制部1600发送(步骤S230、步骤S231)。
(实施方式3)
(概要)
在实施方式1中,伪视频图像是基于对运动图像的流数据进行解码所得解码图像而生成的,而在实施方式2中,是基于在视频帧存储部1400内存储的视频图像而生成的,但在本实施方式中,区别点在于,对解码图像或视频图像进行选择,并基于所选择的图像来生成伪视频图像。
在本实施方式中,基于解码图像和视频图像中的尺寸与伪视频图像接近的图像来生成伪视频图像,从而能够缩短图像数据的读入所需的时间或者缩小处理所需的时间。
例如,在解码图像的尺寸根据不同的视频数据而不同的情况下,能够与解码图像的尺寸相对应地选择作为基础的图像,从而具有缩短伪视频图像的生成时间的效果。
(结构)
图13是表示本实施方式的显示装置800的结构的功能框图。
显示装置800包括:解码部1100、解码图像存储部1200、缩放部1300、视频帧存储部1400、显示控制部8500、视频显示控制部1600、伪视频生成部8700、图像选择部8710、合成部1800、图形数据存储部2000、图形生成部2100、图形帧存储部2200以及应用程序处理部2300。
显示装置800的结构与实施方式1的显示装置100(参照图1)大致相同,不同的功能部仅为显示控制部8500、伪视频生成部8700、图像选择部8710。其它功能部与显示装置100标记相同附图标记的功能部相同。
显示控制部8500在实施方式1的显示控制部1500的功能的基础上,还具有在从应用程序处理部2300接受放大指示时,向图像选择部8710通知当前视频图像的尺寸的功能。具体而言,即通知视频图像配置信息1520中的图像类别1521为“视频图像”的尺寸1523。
另外,相对于实施方式1的伪视频生成部1700从解码图像存储部1200读出作为基础的图像数据,本实施方式区别在于,伪视频生成部8700向图 像选择部8710传递伪视频图像的尺寸并接受图像数据。
图像选择部8710从伪视频生成部8700接受伪视频图像的尺寸,根据当前的视频图像的尺寸和解码图像的尺寸,选择尺寸接近的图像。当前的视频图像的尺寸由显示控制部8500来进行通知,解码图像的尺寸与伪视频图像的尺寸一并从伪视频生成部8700取得。
图像选择部8710具有读出所选择的图像数据并向伪视频生成部8700传递的功能。
(数据)
显示装置700中所使用的主要数据与实施方式1的显示装置100所使用的如图5所示的数据相同。
(动作)
图14为表示本实施方式中放大视频图像时的图。
在本图中,在由解码图像生成的伪视频图像上标记有横斜线,在由视频图像生成的伪视频图像上标记有右斜线。
即,伪视频图像810由视频图像生成,伪视频图像811由解码图像生成。
下面参照图15~图17对本发明的显示装置800的动作进行说明。
图15为进行视频图像放大处理时的各功能部的处理的时序图。
本时序图与实施方式1的时序图(参照图7)基本相同,区别在于伪视频生成部8700从解码图像存储部1200或者视频帧存储部1400读出图像数据(图像数据的发送820、821)。
其次,图16为表示显示装置800的显示控制处理和视频图像的尺寸等的变更处理的流程图,图17为表示伪视频生成处理的流程图。
图16的流程图与实施方式1的流程图(参照图8)基本相同,不同点仅为,在步骤S800中,显示控制部8500向图像选择部8710通知当前的视频图像的尺寸,在步骤S810中,图像选择部8700选择作为伪视频图像的基础的图像,根据所选择的图像生成伪视频图像。将采用图17在后面对步骤S810的处理进行说明。
下面,以与图8的实施方式1的流程图的区别点为中心,参照图16对由显示控制部8500、视频显示控制部1600以及伪视频生成部8700实施的 显示处理、由缩放部1300实施的变更处理进行说明。
用户进行视频图像的放大操作,检测到操作的应用程序处理部2300,向显示控制部8500指示进行视频图像的放大,取得视频图像的放大指示的显示控制部8500(步骤S100),计算显示的伪视频图像的位置和尺寸(步骤S110)。
另外,显示控制部8500对图像选择部8710通知当前的视频图像的尺寸(步骤S800)。接受通知的图像选择部8710,将前的视频图像的尺寸存储到内部存储器中。
算出伪视频图像的位置和尺寸的显示控制部8500,随后根据对象信息1510中的类别1512和堆栈1515生成全部的对象(步骤S115~步骤S155)。
在生成图形图像的情况下(步骤S115:图形),显示控制部8500委托图形生成部2100生成图形对象(步骤S120)。
另外,在生成伪视频图像的情况下(步骤S115:视频),显示控制部8500将算出的伪视频图像的位置和尺寸以及解码图像的地址向视频显示控制部1600传递,并委托进行图像的生成。视频显示控制部1600从解码图像存储部1200取得解码图像的尺寸,并将取得的尺寸和从显示控制部8500接受的始点等伪视频信息向伪视频生成部8700传递,进行生成伪视频图像的委托。
接受委托的伪视频生成部8700,将伪视频图像生成在图形帧存储部2200中。
被委托了进行对象生成的视频显示控制部1600,在没有对缩放部指示进行视频图像的缩放处理的情况下(步骤S140:否),委托将尺寸变更为指示的尺寸等的处理(步骤S150)。
在存在尚未显示的对象的情况下(步骤S155:否),开始生成下一个对象,即堆栈值1515的值依次减小的对象(步骤S115)。
在全部的对象生成结束(步骤S155:是)但没有从缩放部1300接受到缩放处理已完成的通知的情况下(步骤S160:否),视频显示控制部1600向显示控制部8500通知缩放处理未完成的消息,接受到缩放处理未完成的通知的显示控制部8500,计算用于下一次显示的伪视频图像的位置和尺寸(步骤S110),重复到步骤S160为止的处理。
在从缩放部1300接受到缩放处理已完成的通知的情况下(步骤S160:是),视频显示控制部1600将该消息通知显示控制部8500,委托伪视频生成部8700使与视频图像对应的部分成为透明色。
接受委托后的伪视频生成部8700使该部分成为透明(步骤S170),被通知缩放处理完成消息的显示控制部8500,结束视频图像的变更处理。
另一方面,被委托进行缩放处理的缩放部1300,取得位置、尺寸以及地址(步骤S200),从解码图像存储部1200读入在地址1516中存储的解码图像,并进行缩放处理(步骤S210),生成视频图像(步骤S220)。缩放部1300在生成视频图像后,将缩放处理完成的通知向视频显示控制部1600发送(步骤S230、步骤S231)。
接着,参照图17对显示装置800的伪视频的生成(步骤S810)处理进行说明。
接受委托的伪视频生成部8700,将从视频显示控制部1600接受的解码图像的尺寸、地址以及伪视频图像的尺寸传递给图像选择部8710,委托进行图像数据的读入。
接受委托的图像选择部8710(步骤S850),根据由显示控制部8500通知的当前的视频图像的尺寸和从伪视频生成部8700接受的解码图像的尺寸,判定尺寸与伪视频图像接近的图像(步骤S860)。
在判断为接近解码图像的情况下(步骤S860:解码图像),从解码图像存储部1200读入解码图像,返回到伪视频生成部8700。
另外,在判断为接近视频图像的情况下(步骤S860:视频图像),从视频图像存储部读入视频图像,返回到伪视频生成部8700。
从图像选择部8710接受图像数据的伪视频生成部8700,根据接受的图像生成伪视频图像(步骤S890)。
(补充)
以上对本发明实施方式进行了说明,但是本发明不限于此而也可以采用以下方式。
(1)虽然在实施方式中,是在从缩放部1300接受到缩放处理已完成的通知后,使图形图像的局部成为透明色,但是也可以在经过一定时间后使其成为透明色。此时需要预先将缩放处理的时间设定为较长。
(2)虽然在实施方式中说明了对视频图像进行放大的例子,但是当然也可以是缩小或者移动视频图像的情形。例如在缩小时,描画背景等图形图像,生成分阶段减小的视频图像来进行显示。
(3)虽然在实施方式中,伪视频图像是与视频图像相同内容的图像,即视频图像本身或者由基于视频图像的解码图像生成的图像,然而也可以是对视频图像所显示的图像进行变形所得的图像,或者是内容完全不同的图像。
另外,也可以是矩形以外的形状,例如圆或椭圆等。
例如,在显示伪视频图像时,可以将附加各种显示效果的图像作为伪视频图像进行显示,例如应用3维图形技术等使图像的矩形区域旋转显示等。
(4)虽然在实施方式中,与用于生成伪视频图像的缩放滤波器相比,用于生成视频图像的缩放滤波器是更高次的滤波器,但是也可以为相同特性的滤波器。
在相同特性的滤波器的情况下,例如需要使在图形帧存储部2200中存储的图像的分辨率,比在视频帧存储部1400中存储的图像的分辨率低。即,由于分辨率越低则处理时间越短,这样才能够在对视频图像进行缩放的期间生成伪视频图像。
当在图形帧存储部2200中存储的图像的分辨率较低时,对图形图像进行放大并与视频图像合成来进行显示。在该情况下,在从伪视频图像向视频图像切换时,即当图形图像的局部变为透明来显示视频图像时,存在分辨率的差别看起来过于明显的情况。在分辨率的差别看起来过于明显的情况下,可以通过逐渐提高图形图像的视频图像部分的透明度,从而消除差别过于明显的问题。此时,考虑到在描画视频图像过程中一定为不透明等视频图像的状态,需要改变透明度。
另外,在与分辨率大小无关地从伪视频图像向视频图像切换时,通过使视频图像与图形图像的每个像素的合成比分阶段地地变化,从而能够实现平顺的切换。
(5)虽然在实施方式中,在进行视频图像的缩放处理的期间显示了伪视频图像,但是也可以在进行视频图像的缩放处理的前后进行显示。例如, 为了能够平顺地在显示器上看到视频图像的缩放,可以分阶段地地改变尺寸来显示伪视频图像,并对放大的视频图像进行显示等。
(6)显示装置可以通过1个芯片或多个芯片的集成电路来实现图1、图9、图13的各构成要素的全部或部分。
(7)显示装置也可以通过计算机程序来实现图1、图9、图13的各构成要素的全部或部分,或者以其它某种方式实现。在计算机程序的情况下,可以采用将被写入存储卡或CD-ROM等某种记录介质的程序读入计算机来执行的方式,或者经由网络下载程序来执行的方式。
工业实用性
本发明能够适用于对显示在同一显示器上的运动图像和静止图像的显示方式进行变更的情况。