CN102077585A - 影像加工装置、影像加工方法、影像加工集成电路、影像再现装置 - Google Patents

影像加工装置、影像加工方法、影像加工集成电路、影像再现装置 Download PDF

Info

Publication number
CN102077585A
CN102077585A CN2010800019262A CN201080001926A CN102077585A CN 102077585 A CN102077585 A CN 102077585A CN 2010800019262 A CN2010800019262 A CN 2010800019262A CN 201080001926 A CN201080001926 A CN 201080001926A CN 102077585 A CN102077585 A CN 102077585A
Authority
CN
China
Prior art keywords
image
reduction amount
information
audio visual
visual environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010800019262A
Other languages
English (en)
Inventor
岩田芳明
松井典弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN102077585A publication Critical patent/CN102077585A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/162Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
    • H04N7/163Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing by receiver means only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4122Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57Control of contrast or brightness
    • H04N5/58Control of contrast or brightness in dependence upon ambient light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/0132Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/87Regeneration of colour television signals
    • H04N9/877Regeneration of colour television signals by assembling picture element blocks in an intermediate memory
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • G11B2020/10537Audio or video recording
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537Optical discs
    • G11B2220/2541Blu-ray discs; Blue laser DVR discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537Optical discs
    • G11B2220/2562DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Emergency Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Remote Sensing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

影像加工装置获取表示视听影像的视听者的视听环境的视听环境信息。视听环境信息包括被视听的影像的显示尺寸的信息、显示影像的显示装置的周围的亮度的信息、视听者与显示装置之间的距离的信息等。影像加工装置针对降低被再现的影像的运动量的基本降低量,施加基于视听环境信息所表示的信息的校正,并按照校正后的降低量对影像进行加工。在显示尺寸比较大的情况下、周围比较暗的情况下、视听者的位置与显示装置比较近的情况下,使抑制运动的降低量增大。

Description

影像加工装置、影像加工方法、影像加工集成电路、影像再现装置
技术领域
本发明涉及影像加工装置、影像再现装置,尤其涉及防止影像晕动病(visually induced motion sickness)的技术。
背景技术
近年来,随着部件的小型化、高密度化安装等技术的提高,摄像机(ム一ビ一カメラ)等记录装置正在推进小型化、轻量化。同时,通过安装高倍率镜头,能够实现更细密的图像的摄影。
但是,设备的小型化以及高倍率镜头的安装,导致容易产生摄影时的手抖动。
因此,安装了用于减轻这种手抖动的功能的数码相机、摄像机比较常见,这种手抖动校正具有各种方式。
例如,在纯电子式防止图像抖动功能中,从CCD(Charge CoupledDevice:电荷耦合器件)的输出图像中检测运动(motion),针对在供给存储器(feed memory)中存储的图像,根据检测到的运动的运动矢量对H(Horizontal:水平)方向、V(Vertical:垂直)方向的运动进行调整并输出。
另外,在镜筒控制型防止手抖动功能中,在镜筒内设置多个镜头,在该镜头组中配置具有两轴动作机制的惯性振子状的校正镜头,以消除因手抖动而产生的图像的抖动。
另外,在采用大面积摄像元件的防抖功能中,采用区域比通常的有效画面范围(画面尺寸)大的摄像元件,利用加速度传感器等检测运动,根据该加速度传感器输出的信号,控制摄像元件的画面尺寸量的像素的读出开始位置。
另外,还有不在摄影装置侧而在再现装置侧校正抖动的方法,在基于再现图像的电子式防抖功能中,从视频输出的再现图像中检测运动,针对在供给存储器中存储的图像,根据其运动矢量来确定读出位置,并从存储器中读出而进行控制。
专利文献1公开了基于再现图像的电子式防止手抖动的一种方法,根据再现装置所连接的电视机的过扫描(overscan)量进行合适的手抖动防止。
现有技术文献
专利文献
专利文献1:日本特开平7-143338号公报
发明概要
发明要解决的问题
可是,近年来价格低廉的大型电视机得到普及,与以前相比,以大画面来视听(收看)所摄像的图像的机会增加。在这种情况下,在以大画面来视听影像时,产生视听者容易产生被称为所谓影像晕动病的症状的问题。
在上述的专利文献1记载的结构中,能够考虑过扫描量把因抖动而造成的图像恶化程度抑制在最小限度,即能够输出高精度的图像,但是存在还不能抑制视听者的影像晕动病的问题。
发明内容
本发明就是鉴于上述问题而提出的,其目的在于,提供一种能够在再现影像时降低视听者的影像晕动病的影像加工装置及影像再现装置。
用于解决问题的手段
为了解决上述问题,本发明的影像加工装置,对被再现的影像进行加工,其特征在于,具有:运动信息获取单元,获取与再现影像中的两个以上的帧之间的运动相关的运动信息;视听环境信息获取单元,获取表示视听所述再现影像的视听者的视听环境的视听环境信息;降低量输出单元,根据所述视听环境信息,输出用于降低由所述运动信息确定的运动量的降低量;以及加工单元,使用所述降低量来加工所述再现影像。
并且,本发明的影像加工方法,对影像再现装置再现的影像进行加工,其特征在于,包括:运动信息获取步骤,获取与再现影像中的两个以上的帧之间的运动相关的运动信息;视听环境信息获取步骤,获取表示视听所述再现影像的视听者的视听环境的视听环境信息;降低量输出步骤,根据所述视听环境信息,输出用于降低由所述运动信息确定的运动量的降低量;以及加工步骤,使用所述降低量来加工所述再现影像。
并且,本发明的集成电路,对被再现的影像进行加工,其特征在于,具有:运动信息获取单元,获取与再现影像中的两个以上的帧之间的运动相关的运动信息;视听环境信息获取单元,获取表示视听所述再现影像的视听者的视听环境的视听环境信息;降低量输出单元,根据所述视听环境信息,输出用于降低由所述运动信息确定的运动量的降低量;以及加工单元,使用所述降低量来加工所述再现影像。
并且,本发明的影像再现装置,对被再现的影像进行加工并输出,其特征在于,具有:运动信息获取单元,获取与再现影像中的两个以上的帧之间的运动相关的运动信息;视听环境信息获取单元,获取表示视听所述再现影像的视听者的视听环境的视听环境信息;降低量输出单元,根据所述视听环境信息,输出用于降低由所述运动信息确定的运动量的降低量;加工单元,使用所述降低量来加工所述再现影像;以及输出单元,输出通过所述加工单元加工后的再现影像。
发明效果
根据以上所述的结构,由于能够进行与视听影像的视听者的视听环境对应的影像的加工,所以能够控制视听影像的视听者的影像晕动病。
另外,也可以是,所述降低量输出单元将使用由所述视听环境信息确定的校正值对预先设定的基本降低量进行调整而得到的调整降低量,作为所述降低量进行输出。
通过设定基本降低量,能够进行与该基本降低量对应的校正,例如,如果根据视听者容易出现影像晕动病的程度来变更基本降低量,则也能够确定与视听者容易出现影像晕动病的程度对应的降低量。
另外,也可以是,所述视听环境信息包括再现所述再现影像的显示装置的影像显示区域的尺寸信息,所述降低量输出单元根据所述尺寸信息调整所述基本降低量。
另外,也可以是,所述降低量输出单元执行如下调整,即在由所述尺寸信息表示的影像显示区域的尺寸越大时,越增加所述基本降低量的调整。
由此,影像加工装置能够进行与影像尺寸对应的校正。由于影像尺寸越大越容易出现影像晕动病,因而能够防止视听者的影像晕动病。
另外,也可以是,在由所述尺寸信息表示的影像显示区域的尺寸比预先设定的规定的尺寸大的情况下,所述降低量输出单元执行增加所述基本降低量的调整。
由此,影像加工装置能够针对影像尺寸,尤其在达到预定的尺寸以上时,尤其容易出现影像晕动病,因而能够利用是否超过固定的阈值的简单的判定机制,执行基于影像尺寸的校正。
另外,也可以是,所述降低量输出单元执行如下调整,即在由所述尺寸信息表示的影像显示区域的尺寸越大时,与所述运动量的水平成分相比使垂直成分越大,并且越增加所述基本降低量的调整。
由此,在影像尺寸越大时,能够使运动量的垂直方向的校正量相比水平方向的校正量越大。由于垂直方向的运动比水平方向的运动更大地与影像晕动病相关,所以能够应对影像晕动病。
另外,也可以是,所述视听环境信息包括表示再现所述再现影像的显示装置的周围的亮度的亮度信息,所述降低量输出单元根据所述亮度信息调整所述基本降低量。
另外,也可以是,所述降低量输出单元执行如下调整,即在由所述亮度信息表示的亮度越低时,越增加所述基本降低量的调整。
因此,影像加工装置能够进行与周围的亮度对应的校正。由于越暗越容易出现影像晕动病,因而能够防止视听者的影像晕动病。
另外,也可以是,所述降低量输出单元执行如下调整,即如果由所述亮度信息表示的亮度比规定的阈值低,则增加所述基本降低量的调整。
由此,影像加工装置能够针对亮度,尤其在达到规定的亮度以下时,尤其容易出现影像晕动病,因而能够利用是否超过固定的阈值的简单的判定机制,执行基于亮度的校正。
另外,也可以是,所述降低量输出单元针对由所述运动量表示的水平成分和垂直成分,调整所述基本降低量,以使得所述运动量的垂直成分的降低量比水平成分的降低量大。
由此,在越暗、由此影像尺寸越大时,能够使运动量的垂直方向的校正量相比水平方向的校正量越大。由于垂直方向的运动比水平方向的运动更大地与影像晕动病相关,所以能够应对影像晕动病。
另外,也可以是,所述视听环境信息包括与视听所述再现影像的视听者和再现所述再现影像的显示装置之间的距离相关的视听者位置信息,所述降低量输出单元根据所述视听者位置信息调整所述基本降低量。
另外,也可以是,所述降低量输出单元执行如下调整,即在由所述视听者位置信息表示的距离越短时,越增加所述基本降低量的调整。
由此,影像加工装置能够进行与视听者位置对应的校正。由于视听者位置与显示影像的显示装置越近越容易出现影像晕动病,因而能够防止视听者的影像晕动病。
另外,也可以是,所述降低量输出单元执行如下调整,即如果由所述视听者位置信息表示的距离比规定的阈值小,则增加所述基本降低量的调整。
由此,影像加工装置针对视听者距离,尤其在比规定的距离近时,尤其容易出现影像晕动病,因而能够利用是否超过固定的阈值的简单的判定机制,执行基于影像尺寸的校正。
另外,也可以是,所述降低量输出单元调整所述基本降低量,以使得在由所述视听者位置信息表示的距离越短时,所述运动量的垂直成分的降低量越比水平成分的降低量大。
由此,在距离越近、由此影像尺寸越大时,能够使运动量的垂直方向的校正量越比水平方向的校正量大。由于垂直方向的运动比水平方向的运动更大地与影像晕动病相关,所以能够应对影像晕动病。
另外,也可以是,所述降低量输出单元针对由所述运动量表示的水平成分和垂直成分,使所述基本降低量包括垂直成分用的基本降低量和水平成分用的基本降低量这两种基本降低量,并使所述垂直成分用的基本降低量比所述水平成分用的降低量大。
由此,相比水平成分能够更大程度地降低垂直成分,使更不容易产生影像晕动病。这是因为相对垂直方向的抖动比水平方向的抖动更容易产生影像晕动病。
另外,也可以是,所述影像加工装置还具有输出单元,在针对在所述记录介质中记录的影像进行过扫描时,切取通过进行了基于所述调整降低量的降低而得到的运动量所确定的切取区域,并进行输出。
由此,影像加工装置能够校正降低量,输出按照过扫描切取区域而切取的影像数据,该过扫描切取区域基于由校正后的降低量确定的运动量,所以视听该影像数据的视听者不容易出现影像晕动病。
附图说明
图1是表示影像再现装置的使用方式的***图。
图2是表示影像再现装置的功能结构的功能框图。
图3是表示影像显示装置的功能结构的功能框图。
图4是表示影像摄影装置的功能结构的功能框图。
图5是表示影像再现装置的影像加工装置的功能结构的功能框图。
图6是表示与影像摄影装置的抖动校正相关的功能结构的功能框图。
图7是表示影像的运动降低加工处理的步骤的一例的流程图。
图8是计算根据显示区域尺寸来降低影像的运动量的降低量的调整量的流程图。
图9是计算根据亮度来降低影像的运动量的降低量的调整量的流程图。
图10是计算根据视听者位置来降低影像的运动量的降低量的调整量的流程图。
图11是用于说明运动量的加工示例的说明图。
具体实施方式
下面,使用附图说明本发明的一个实施方式的影像加工装置以及安装了该影像加工装置的影像再现装置。
图1是表示影像再现装置100的使用方式的***图。
影像再现装置100例如是以BD(Blu-ray Disc:蓝光光盘)播放器、DVD(Digital Versatile Disk:数字化多功能盘)播放器等为代表的再现装置,再现在BD-ROM、DVD-ROM等记录介质中记录的影像、及接收到的影像。影像再现装置100通过HDMI线缆等与影像显示装置200及影像摄影装置300连接。
影像显示装置200例如是以数字电视等为代表的显示装置。影像摄影装置300例如是数字摄像机。利用影像摄影装置300拍摄的影像被记录在记录介质盘400中,记录介质盘400被***到影像再现装置100的驱动器中进行再现。
影像再现装置100根据影像显示装置200获取的视听者的视听环境信息(显示器尺寸、亮度等),对利用从记录介质盘400读出的影像数据所显示的影像的运动进行校正,将校正后的影像数据输出给影像显示装置200。
图2是表示影像再现装置100的功能结构的功能框图。
如图2所示,影像再现装置100构成为包括CPU(Central ProcessingUnit:中央处理单元)101、存储器102、HDMI(High Definition MultimediaInterface:高清多媒体接口)103、网络通信部104、盘驱动器105、解码器106和影像处理部107。影像再现装置100的各个构成部分通过内部总线108相互连接。
CPU101用于控制影像再现装置100的各个构成部分,尤其具有如下功能,即:在再现影像时,确定用于降低再现的影像的帧之间的运动量的降低量,以便防止视听者的影像晕动病。CPU101根据从影像显示装置200获取的表示视听者的视听环境(再现的影像的显示尺寸、周围的亮度、从显示器到视听者的距离)的视听环境信息,对应各个视听环境求出降低量的校正值,将所求出的各个校正值与基本降低量进行相加,将调整后的调整降低量通过内部总线108输出给影像处理部107。
存储器102具有存储影像再现装置100进行工作所需要的各种程序和数据的功能,包括ROM(Read Only Memory:只读存储器)和RAM(RandomAccess Memory:随机存取存储器)。ROM存储用于规定CPU101的动作的各种执行程序和数据。ROM包括像闪存ROM那样能够进行写入、即使切断电源后也能够保存存储内容的非易失性存储器或存储介质。RAM包括在切断电源时不能保存存储内容的易失性存储器。
HDMI 103是与HDMI线缆的连接接口,具有向影像显示装置200进行影像信号的输出等执行与影像显示装置200之间的数据发送接收的功能。
网络通信部104是与LAN线缆等网络通信部线路之间的连接接口,进行影像再现装置100与影像显示装置200之间的数据发送接收。
驱动器105用于安装记录介质盘400,具有按照来自CPU101的指示从记录介质盘400读出数据并输出的功能、和将从CPU301输出的数据写入到记录介质盘400中的功能。
解码器106具有对再现对象的影像数据进行解码,并输出解码后的影像数据的功能。
影像处理部107具有接收由解码器106解码后的影像数据,并进行抵消影像整体的运动的加工处理的功能。
图3是表示影像显示装置200的功能结构的功能框图。
如图3所示,影像显示装置200构成为包括CPU201、存储器202、传感器203、显示器204、HDMI 205、网络通信部206。影像显示装置200的各个构成部分通过内部总线207相互连接。
CPU201具有控制影像显示装置200的各个构成部分的功能。并且,CPU201还具有如下功能,即:在再现影像时,将根据影像显示装置200的显示器尺寸(英寸信息)和显示模式(全画面再现、缩小动态图像再现(如果是缩小1/2倍,则纵横都缩小0.5倍,如果是缩小1/4倍,则纵横都缩小0.25倍等))对该影像的显示尺寸求出的显示尺寸的信息,逐次通过HDMI205或者网络通信部206传递给影像再现装置100。
存储器202具有存储影像显示装置200进行工作所需要的各种程序和数据的功能,包括ROM和RAM。ROM存储用于规定CPU101的动作的各种执行程序和数据。ROM包括像闪存ROM那样能够进行写入、即使切断电源后也能够保存存储内容的非易失性存储器和存储介质。RAM包括在切断电源时不能保存存储内容的易失性存储器。
传感器203具有测定视听环境的亮度及视听者的位置的功能,包括照度传感器、超声波传感器等。在本实施方式中,传感器203具有如下功能,即:利用照度传感器测定影像显示装置200的周围的亮度,利用超声波传感器使用声波的反射来测定影像显示装置200与视听者之间的距离。传感器203把所测定的亮度作为亮度信息,把影像显示装置200与视听者之间的距离作为视听者位置信息,并通过HDMI 205或者网络通信部206传递给影像再现装置100。
显示器204是显示影像的装置,例如是LCD(Liquid Crystal Display:液晶显示器)。
HDMI 205是与HDMI线缆之间的连接接口,具有从影像再现装置100接收影像信号的功能。
网络通信部206是与LAN线缆等网络线路之间的连接接口,具有执行影像再现装置100与影像显示装置200之间的数据发送接收的功能。
图4是表示影像摄影装置300的功能结构的功能框图。
如图4所示,影像摄影装置300构成为包括CPU301、存储器302、加速度传感器303、驱动器304、解码器305、编码器306、摄像机307。影像摄影装置300的各个构成部分通过内部总线308相互连接。
CPU301具有控制影像摄影装置300的各个构成部分的功能。
存储器302具有存储影像摄影装置300进行工作所需要的各种程序和数据的功能,包括ROM和RAM。ROM存储用于规定CPU101的动作的各种执行程序和数据。ROM包括像闪存ROM那样能够进行写入、即使切断电源后也能够保存存储内容的非易失性存储器和存储介质。RAM包括在切断电源时不能保存存储内容的易失性存储器。
加速度传感器303具有测定摄像机307的运动的功能,并具有将所测定的加速度值输出给内部总线308的功能。
驱动器304用于安装记录介质盘400,具有按照来自CPU301的指示从记录介质盘400读出数据并输出的功能、和将从CPU301输出的数据写入到记录介质盘400中的功能。在记录介质盘400中记录的影像数据是通过编码器306被编码后的影像数据。
解码器305具有如下功能:在利用影像摄影装置300再现在存储器302或者记录介质盘400中记录的影像数据时,对再现对象的影像数据进行解码,并输出解码后的影像数据。
编码器306具有对在存储器302中记录的影像数据进行编码,并输出编码后的影像数据的功能。
摄像机部307由镜头和CCD等构成,具有进行摄影处理、并将所拍摄的影像数据记录在存储器302中的功能。
图5是表示由影像再现装置100进行的用于执行影像加工处理的功能部分的功能框图。
影像加工单元500构成为包括获取单元510、视听环境信息存储单元520、运动信息检测单元530、降低量输出单元570、运动降低加工单元580。获取单元510、运动信息检测单元530、降低量输出单元570通过CPU101的软件处理而实现,运动降低加工单元580利用影像处理部107而实现。
获取单元510具有HDMI 103的CEC(Consumer Electronics Control:消费者电子控制)功能,或者通过网络通信部104从影像显示装置200逐次获取视听环境信息,将所获取的视听环境信息记录在视听环境信息存储单元520中的功能。
视听环境信息存储单元520具有保存显示区域尺寸信息521、亮度信息522、视听者位置信息523,来作为成为确定视听者的影像晕动病的指标的视听环境信息的功能。
显示区域尺寸信息521包括在影像显示装置200中再现的影像的显示尺寸的信息、及缩小显示影像时的显示位置的信息。显示尺寸的信息是指通过将影像的再现尺寸(全画面再现、缩小动态图像再现等)与影像显示装置200的显示器尺寸进行积算(如果是全画面再现则是1倍,如果是缩小动态图像再现则是对应缩小尺寸的倍率,例如在缩小1/2再现时是0.5倍)而确定的显示尺寸。在利用大画面来视听高清晰分辨率等的高清晰影像时,视听者容易产生影像晕动病的症状,所以使用显示区域尺寸信息521进行校正。
亮度信息522是测定影像显示装置200的周围的亮度而得到的照度信息。当视听者在较暗的场所视听影像时容易产生影像晕动病的症状,所以使用亮度信息522进行校正。
视听者位置信息523是表示从影像显示装置200到视听者的距离的信息。视听者距显示影像的屏幕的距离越近,越容易产生影像晕动病的症状,所以使用视听者位置信息523进行校正。
运动信息检测单元530具有根据在存储单元540中存储的影像数据来检测帧之间的运动量,并输出给运动降低加工单元580的功能。该运动量与在解码影像数据中利用帧之间的过扫描切取(overscan cutout)区域表示的区域的变化量相当。另外,当在记录介质盘400中也记录了摄影时的抖动信息的情况下,该抖动信息相当于运动量,所以运动信息检测单元530把该抖动信息作为运动量输出。另外,在影像数据中附带有作为附属信息的MEPG编码中的运动矢量的情况下,运动信息检测单元530把该运动矢量检测为运动量。另外,运动信息检测单元530在通过分析影像帧数据来检测运动量的情况下,在上一次的视场图像和此次的视场图像之间执行匹配运算,求出这些视场图像之间的差分,由此检测1视场间的运动量。
降低量输出单元570具有如下功能:从视听环境信息存储单元520获取各个视听环境信息,根据各个视听环境信息决定降低量的调整量的校正值,将该校正值通知降低加工单元570。降低量输出单元570预先存储表示使运动量减小多少的基准值(也称为基本降低量),将对该基本降低量考虑了所决定的校正值之后的校正值(也称为调整降低量)输出给运动降低加工单元580。
运动降低加工单元580具有如下功能:从降低量输出单元570获取降低量的调整量的校正值,使用该校正值生成对从运动信息检测单元530获取的运动量进行调整后的影像,并存储在影像缓冲器560中。
存储单元540相当于记录介质盘400,存储再现对象的影像数据和附属信息。另外,在存储单元540中存储的影像数据有时已经通过影像摄影装置300进行了抖动降低处理。在这种情况下,存储单元540也可以将由影像摄影装置300检测到的抖动信息以及已实施降低处理的已降低抖动信息,与对应的影像数据一起进行存储。另外,附属信息是指与对应的影像数据相关联的管理信息、元(meta)信息等。
影像再现单元550相当于解码器106,对在存储单元540中存储的影像数据进行解码,将解码后的影像数据存储在影像缓冲器560中。
影像缓冲器560相当于存储器102,存储由影像再现单元550进行解码后的影像数据。
影像输出单元590从影像缓冲器560获取解码后的影像数据或者抵消了影像整体的运动的加工处理后的影像数据,并形成为影像信号输出。影像输出单元590是由CPU101实施的处理,进行通过HDMI端子103向影像显示装置200的输出。
图6是表示执行由影像摄影装置200进行的影像加工处理的影像加工单元600的功能结构的功能框图。该图所示的影像加工单元在本实施方式中通过由CPU201进行的软件处理而实现。
如图6所示,影像加工单元600具有摄影单元610、抖动降低单元620、抖动信息检测单元630、影像缓冲器640、影像编码单元650、已降低抖动信息记录单元660、影像记录单元670、抖动信息记录单元680、存储单元690。
摄影单元610相当于摄像机部307,具有将所拍摄的影像数据存储在影像缓冲器1314中的功能。
抖动信息检测单元630相当于加速度传感器303,具有如下功能:检测利用摄影单元610拍摄的影像的运动,把检测到的手抖动的方向和量作为抖动信息,通知抖动降低单元620。
抖动降低单元620相当于由CPU301实施的处理,具有如下功能:调整来自摄像机部307的CCD的读出位置及影像缓冲器的读出位置/写入位置,并按照摄像机部307的控制等进行抖动校正。另外,有关基本的抖动校正技术是现有技术,所以此处省略详细说明。
影像缓冲器640相当于存储器305,具有临时存储由摄影单元610拍摄的影像数据的功能。
影像编码单元650相当于编码器306,具有如下功能:对在影像缓冲器640中存储的影像数据进行编码,将编码后的影像数据输出给影像记录单元670。
影像记录单元670是由CPU301实施的处理,具有如下功能:接收由影像编码单元650编码后的影像数据,并存储在存储单元690中。
抖动信息记录单元680是由CPU301实施的处理,具有如下功能:接收由抖动信息检测单元630检测到的抖动信息,并存储在存储单元690中。
已降低抖动信息记录单元660是由CPU301实施的处理,当在摄影时进行抖动校正时,接收由抖动降低单元620进行抖动校正后的已降低抖动信息,并存储在存储单元690中。
存储单元690具有如下功能:将由抖动信息检测单元630检测到的抖动信息、以及由抖动降低单元620进行降低后的已降低抖动信息,与被编码后的影像一起记录在记录介质400中。并且,这些信息也作为时刻与运动矢量的表被按照时间序列进行记录。另外,针对抖动信息和已降低抖动信息,可以将时刻与运动矢量的表记录为与影像数据分开的单独的文件,也可以以嵌入在影像数据中(例如TS包中)的形式进行记录。
根据以上所述的结构,影像摄影装置300能够使用记录介质盘400,将摄影时的抖动信息和已降低抖动信息,与影像数据一起提供给影像再现装置100。
<动作>
下面,使用图7~图10所示的流程图,说明本实施方式的影像摄影装置及影像加工装置的动作。
首先,使用图7所示的流程图说明每单位时间的影像加工的整体流程,然后使用图8~图10所示的流程图,说明在该整体流程中校正使用了各个视听环境信息的降低量的校正值的决定方法。
图7是表示每单位时间的影像加工处理的步骤的一例的流程图。影像再现装置100按照该流程图进行动作,由此进行影像的加工、即运动量的降低。图7所示的流程图是在影像被再现的期间逐次进行的,进行当前正在再现的影像的下一个或者前一个应该再现的影像数据的加工。
影像再现单元550开始进行处理,对在存储单元540中存储的再现对象的影像数据进行解码,然后将解码后的影像数据存储在影像缓冲器560中。并且,获取单元510从影像再现装置200逐次获取视听环境信息,将当前的视听环境的各个视听环境信息存储在视听环境信息存储单元520中。
运动信息检测单元530分析在存储单元540中存储的影像数据及其附属信息、或者分析在影像缓冲器560中被解压缩的影像帧数据,由此检测各个帧的运动信息。在通过分析影像数据来检测运动数据时,读出正在进行MPEG编码的运动矢量数据。在分析在影像缓冲器560中被解压缩的影像帧数据的情况下,在上一次的视场图像和此次的视场图像之间执行匹配运算,求出这些视场图像之间的差分,由此检测1视场之间的运动量。
另外,已经公知影像晕动病主要是在人的三个半规管的输入和来自视觉的输入之间的偏差增大时产生的。尤其是容易引发影像晕动病的运动是0.1Hz~3Hz的比较低频的运动,是比1视场(1/60秒)更慢的运动。因此,不仅计算前述的每帧的运动量,而且需要测定20~120帧期间的运动量。
这种处理通过在影像缓冲器560中持续保存固定时间前(例如1秒前)的帧数据,并检测与该帧影像之间的运动量而实现。另外,影像缓冲器560也可以通过持续保存20~120个影像而实现,还可以使用摇拍(panning)检测、倾斜(tilting)检测的处理方法来实现。
另外,在利用正在MPEG编码中的运动矢量数据的情况下,不仅保存各个帧的运动矢量数据,也保存过去固定时间(例如1秒钟)期间的运动矢量的总和,由此进行上述处理。
影像再现装置100的运动信息检测单元530获取每单位时间(例如10帧量)的运动量(步骤S701)。
降低量输出单元570获取作为预先在存储器中存储的垂直方向和水平方向各自的基础的基本降低量(步骤S702)。
并且,降低量输出单元570从视听环境信息存储单元520获取显示区域尺寸信息521。降低量输出单元570求出用于根据显示区域尺寸信息521来校正基本降低量的校正值(步骤S703)。关于该校正值的求出方法的详细情况,将在后面使用图8所示的流程图进行说明。
然后,降低量输出单元570从视听环境信息存储单元520获取亮度信息522。并且,降低量输出单元570求出用于根据亮度信息522来校正基本降低量的校正值(步骤S704)。关于该校正值的求出方法的详细情况,将在后面使用图9所示的流程图进行说明。
并且,降低量输出单元570从视听环境信息存储单元520获取视听者位置信息523。并且,降低量输出单元570求出用于根据视听者位置信息523来校正基本降低量的校正值(步骤S705)。关于该校正值的求出方法的详细情况,将在后面使用图10所示的流程图进行说明。
降低量输出单元570从基本降低量中,减去将在步骤S703~步骤S705获取的各个校正值相加得到的校正值,将相减得到的调整降低量输出给运动降低加工单元580(步骤S706)。
运动降低加工单元580根据所获取的调整降低量,确定应该切取的加工后的过扫描切取区域,并传递给影像缓冲器560。
影像再现单元550对在存储单元540中存储的数据进行解码,并按照再现影像的时间轴将解码影像数据写入到影像缓冲器560中。
影像缓冲器560从解码影像数据中切取过扫描切取区域,并输出给影像输出单元590,所述过扫描切取区域以利用从运动降低加工单元580传递的加工后运动量表示的运动量的终点为中心。
影像输出单元590将从影像缓冲器560输出的影像数据通过HDMI 103输出给影像显示装置200,影像显示装置200显示基于该影像数据的影像(步骤S707)。由此,在影像显示装置200中,能够根据视听者的视听者环境信息校正运动量,并再现不容易产生影像晕动病症状的影像。
假设影像尺寸比阈值L2大、亮度比阈值L1大而且小于等于阈值L2、视听者位置小于等于阈值D1。这样,降低量的校正值是+30%+10%-10%=30%。并且,假设在垂直方向的降低量的基准值为60%、水平方向的降低量的基准值为40%的情况下,从解码影像中切取并输出以如下加工后运动量作为运动量时的过扫描切取区域,其中该加工后运动量是:将垂直方向的调整后的运动降低量设为90%(60%+30%=90%)、将水平方向的调整后的运动降低量设为70%(40%+30%=70%)、并且将运动信息检测单元530检测到的运动量的垂直成分设为0.9倍、水平成分设为0.7倍之后的加工后运动量。另外,加工后运动量不会成为与加工前的运动量表示的方向相反的方向,即降低量不会超过100%、不会成为负的。
以上是求出运动量的降低量,对影像进行加工并输出的动作。
图8是计算根据显示区域尺寸来降低影像的运动量的降低量的调整量的流程图,表示上述步骤S703的处理的内容。
从视听环境信息存储单元520获取了显示区域尺寸信息521的运动降低加工量调整单元570,判定利用该显示区域尺寸信息521表示的显示尺寸是否小于等于阈值S1(步骤S801)。
在显示尺寸小于等于阈值S1的情况下(步骤S801:是),运动降低加工量调整单元570把基于显示区域尺寸的校正量确定为“-10%”(步骤S805),并结束处理。
在显示尺寸比阈值S1大的情况下(步骤S801:否),运动降低加工量调整单元570然后判定显示尺寸是否小于等于阈值S2(S2>S1)(步骤S802)。
在显示尺寸比阈值S1大、而且小于等于阈值S2的情况下(步骤S802:是),运动降低加工量调整单元570把基于显示区域尺寸的校正量确定为“+20%”(步骤S804),并结束处理。
在显示尺寸比阈值S1大、但是不小于等于阈值S2的情况下,即显示尺寸比阈值S2大的情况下(步骤S802:否),运动降低加工量调整单元570把基于显示区域尺寸的校正量确定为“+30%”(步骤S803),并结束处理。
以上是图7所示的流程图的步骤S703的处理的具体内容。另外,在本流程图中,在显示尺寸小于等于阈值S1的情况下降低校正量(设为-10%),这是因为在这种情况下视听者不容易产生影像晕动病症状,所以优先进行防止因运动量的降低而造成的图像恶化。即,防止影像晕动病和防止图像恶化是相互折衷的关系,因而执行该处理。
图9是计算根据亮度来降低影像的运动量的降低量的调整量的流程图,表示上述步骤S704的处理的内容。
从视听环境信息存储单元520获取了亮度信息522的运动降低加工量调整单元570,判定利用该亮度信息522表示的亮度是否小于等于阈值L1(步骤S901)。
在亮度小于等于阈值L1的情况下(步骤S901:是),运动降低加工量调整单元570把基于亮度的校正量确定为“+30%”(步骤S905),并结束处理。
在亮度比阈值L1大的情况下(步骤S901:否),运动降低加工量调整单元570然后判定亮度是否小于等于阈值L2(L2>L1)(步骤S902)。
在亮度比阈值L1大、而且小于等于阈值L2的情况下(步骤S902:是),运动降低加工量调整单元570把基于亮度的校正量确定为“+10%”(步骤S904),并结束处理。
在亮度比阈值L1大、但是不小于等于阈值L2的情况下,即亮度比阈值L2大的情况下(步骤S902:否),运动降低加工量调整单元570把基于亮度的校正量确定为“-10%”(步骤S903),并结束处理。
以上是图7所示的流程图的步骤S704的处理的具体内容。另外,在步骤S905降低校正量的理由与在上述图8中说明的理由相同。
图10是计算根据视听者位置来降低影像的运动量的降低量的调整量的流程图,表示上述步骤S705的处理的内容。
从视听环境信息存储单元520获取了视听者位置信息523的运动降低加工量调整单元570,判定利用该视听者位置信息523表示的视听者距离是否小于等于阈值D1(步骤S1001)。
在视听者距离小于等于阈值D1的情况下(步骤S1001:是),运动降低加工量调整单元570把基于视听者距离的校正量确定为“+30%”(步骤S1003),并结束处理。
在视听者距离比阈值D1大的情况下(步骤S1001:否),运动降低加工量调整单元570把基于视听者距离的校正量确定为“-10%”(步骤S1002),并结束处理。
以上是图7所示的流程图的步骤S705的处理的具体内容。另外,在步骤S1002降低校正量的理由与在上述图8中说明的理由相同。
影像再现装置100将通过图8~图10所示的处理而求出的校正量和基本降低量相加,并确定最终的用于调整运动量的调整降低量,按照根据该调整降低量降低了运动后的运动量,决定切取区域,并切取应该显示的影像,并且输出给影像显示装置200。
<运动降低加工处理的一例>
使用图11说明运动降低单元580按照上述图7~图10所示的流程图进行运动降低加工的一例。
运动降低加工单元580针对作为已解码的影像数据的解码影像1100,计算表示由运动信息检测单元530检测的运动量的运动矢量1106的垂直方向成分1107和水平方向成分1109。
运动降低加工单元580向所计算的垂直方向成分1107乘以由降低量输出单元570输出的垂直成分用的降低量,并计算应该降低的运动量的垂直成分1108。
并且,运动降低加工单元580同样向所计算的水平方向成分1109乘以由降低量输出单元570输出的水平成分用的降低量,并计算应该降低的运动量的水平成分1110。
即,图11中的1104表示应该降低的运动量。
运动降低加工单元580进行以从解码影像1100的中心位置1101偏移了1104后的位置1111为中心的切取(过扫描切取区域1102的切取)处理,并进行过扫描处理。由此,原来的解码影像1100向1104的相反方向移动而被显示。即,从原来的运动矢量1106减去应该降低的运动量1104,解码影像1100的运动被降低。另外,此时也执行基于过扫描的放大处理,但该放大处理是简单的运算,也是过去进行的处理,所以此处省略说明。
另外,在继续沿一个方向进行动作的情况下,与抖动校正中的摇拍检测、倾斜检测的处理相同,不是简单地对运动进行抵消,而是进行减小运动开始、运动结束的抵消量等处理。
如上所述,由于进行基于应该降低的运动量1104的过扫描处理而显示影像,因而能够降低视听者的影像晕动病。
<总结>
如以上实施方式所示,影像再现装置100根据视听从影像显示装置200获取的再现影像的视听者的视听者环境,对影像进行校正并显示,所以能够将画质的恶化抑制为最小必要限度,并极力抑制视听者的影像晕动病。因此,能够进行与视听者的环境对应的校正,能够提供相比以往对用户更友好的影像再现装置。
通常,用户使用能够以高清晰分辨率进行拍摄的摄像机一体型录制装置拍摄的影像,由于进行拍摄的用户因不习惯而不能进行稳定的拍摄等原因,与广播或销售的商用内容相比,具有容易产生影像晕动病的趋势。近年来,大画面的高画质的薄型电视机也趋于低价化,并且容易得到,但是在视听者通过薄型电视机等的大画面来视听高画质的影像时,也具有容易产生影像晕动病的趋势。本实施方式所示的影像再现装置针对通过大画面来视听这种普通用户拍摄的影像的情况特别有效。
<补充>
在上述实施方式中说明了本发明的实施方法,但本发明的实施方式当然不限于这些方式。下面,说明除上述实施方式之外的本发明所包含的各种变形例。
(1)在上述实施方式中,关于视听者环境信息举例说明了显示区域尺寸信息521、亮度信息522、视听者位置信息523。但是,视听者环境信息只要是表示视听者的视听环境的信息、并且与影像晕动病相关的信息即可,也可以使用上述实施方式中列举的信息之外的信息来求出校正值。
例如,在显示多个不同的影像的情况下,各个影像的运动量不同,与该不同相应地,视听者容易产生影像晕动病症状。因此,也可以使用再现不同的影像时的影像数量作为视听者环境信息,并根据在影像显示装置200显示的影像是否是多个来决定校正量,即,在显示多个影像的情况下,把降低量的校正量设为例如“+20%”来进行校正,在显示一个影像的情况下,把降低量的校正量设为例如“0”来进行校正。当然,也可以根据与多个影像的再现数量对应的阈值来区分校正量。
另外,作为视听者环境信息也可以采用影像显示装置200的显示器的光源、所谓背照灯(backlight)照射的亮度的信息,并根据该亮度的信息来确定校正量。在这种情况下,可以设定成为背照灯照射的亮度越明亮,使校正量越大。
(2)在上述实施方式中,将利用作为影像摄影装置300的摄像机拍摄的影像记录在记录介质盘400中,读出被写入到该盘中的影像,对运动量进行校正并再现,但是也可以不从所记录的盘中读出,例如使用USB线缆等将影像摄影装置300和影像再现装置100直接连接,将再现对象的影像的数据从影像摄影装置的内置HDD直接发送给影像再现装置100。
即,作为本发明的影像加工装置的加工对象的影像可以是采用任何方法获取的影像,例如可以是通过流分发而得到的影像数据。
(3)在上述实施方式中,在确定运动降低量的校正值时,将利用各个视听环境信息求出的校正值与基本降低量相加,由此计算最终的调整降低量。
但是,调整降低量的计算方法不一定使用上述实施方式所示的方法,例如,可以将利用各个视听环境信息求出的校正值与基本降低量相乘,由此求出调整降低量。另外,也可以根据各个计算方法来模拟合适的校正值而进行设定。
(4)在上述实施方式中,影像显示装置200具有传感器203。但是,传感器203是为了获得与视听者的视听环境相关的信息而设置的,所以只要是能够获得视听者的视听环境的传感器,则也可以是外置的设备,另外也可以不是影像显示装置200、而是影像再现装置100具有传感器203。如果是图1所示的使用方式,即使是影像再现装置100具有传感器203时,也能够获得与在影像显示装置200设置传感器203时基本相同的测定结果。
另外,影像显示装置200也可以不是通常的显示器,例如可以是投影仪等影像投影装置。在这种情况下,视听者位置信息是指从投影仪位置到屏幕的距离。视听者在投影仪的设置场所附近视听由投影仪投影的影像。并且,在这种情况下,也可以不设置传感器,而根据投影仪的聚焦精度来测定到屏幕的距离,并作为视听者位置信息。
另外,影像显示装置200也可以是HMD(Head Mount Display:头戴式显示器)。这种情况时的视听者位置信息可以把根据HMD上的假想屏幕的焦点位置计算的距离用作假想的距离。另外,根据不同的HMD,也存在外界的光亮完全被HMD遮挡的情况,这种情况时的亮度信息可以把不显示影像的部分亮度作为亮度信息。
(5)在上述实施方式中,在影像显示装置200设置的传感器203定期输出亮度信息、视听者位置信息,但是只要影像再现装置100能够获取视听环境信息,则传感器203可以是任何形式,例如可以从影像再现装置100向影像显示装置200请求视听环境信息,影像显示装置200根据该请求向影像再现装置发送视听环境信息。
(6)在上述实施方式中,采取用于确定运动降低量的校正量的阈值被预先存储在影像再现装置100中的结构,但这些阈值的个数不限于按照上述实施方式所示的阶段数来进行划分,可以按照任何阶段进行划分。例如,在上述实施方式中,显示尺寸的阈值被设为3个阈值,但也可以设为例如5个阈值,相反还可以只设定1个阈值。
同样,上述实施方式所示的运动降低量的校正值的具体示例只是一个示例,只要是能够按照图8~图10所示根据视听者环境信息防止影像晕动病的值即可。
另外,也可以不设定阈值,影像再现装置预先存储各个视听环境信息、与用于确定针对利用各个视听环境信息所表示的值的校正量的关系式,根据该关系式来确定校正量。此时,保存如下所述的关系式,即,在采用显示尺寸时如果显示尺寸越大、采用亮度时如果越暗、采用视听者位置时如果表示视听者位置的距离越短,则使降低量的校正量越大那样的关系式。
另外,影像再现装置100也可以具有按照用户输入来变更其校正值的机制。例如,设定有关容易出现影像晕动病的程度的参数,并设定视听者是否容易出现影像晕动病,在容易出现影像晕动病的视听者视听影像的情况下,使运动降低量的校正值增大,在不容易出现影像晕动病的视听者视听影像的情况下,使运动降低量的校正值比容易出现影像晕动病的视听者时的校正值小。
(7)在上述实施方式中,作为影像输出连接的一例,记述了HDMI线缆及其输入输出端子,但只要是能够用于影像输出的连接方式即可,例如也可以是除此之外的合成线缆、S端子线缆、分量线缆、D端子线缆、以及与这些线缆对应的输入输出端子等。
同样,关于网络连接在上述实施方式中记述了使用LAN线缆的连接示例,但除了采用Ethernet(以太网)(注册商标)端子及其线缆的连接之外,也可以是采用无线LAN或Bluetooth(蓝牙)等连接。
(8)上述实施方式中的CPU可以由一个CPU构成,也可以由多个CPU构成。
(9)在上述实施方式中,作为显示器204的一例记述了LCD,但只要是能够显示影像的显示器即可,例如,也可以是PDP(Plasma Display Panel:等离子显示面板)、CRT(Cathode Ray Tube:阴极射线管)显示器、有机EL显示器(organic electroluminescence display)等。
(10)在上述实施方式中,在视听者是一个人这种假设条件下,测定视听者与再现装置200之间的距离,并作为视听者位置信息。但是,实际上当然也有可能是多个视听者在视听影像。
在这种情况下,作为视听者位置信息,影像再现装置200的传感器203可以把位于距影像再现装置200最近的位置的视听者的位置作为视听者位置信息。这是考虑了距显示器越近越容易产生影像晕动病的测定方法。
或者,也可以把所获取的多个视听者中的各个视听者的位置的平均值作为视听者位置信息。
(11)在上述实施方式中,只根据一个基准来决定垂直方向、水平方向、两个方向的降低量,但是也可以按照垂直方向和水平方向分别为单独的降低量的方式,按照垂直方向、水平方向来区分用于决定降低量的流程,根据垂直方向、水平方向分别来决定调整降低量。
即,图8~图10所示的各个流程图的校正量可以根据垂直方向和水平方向而不同。此时,鉴于与水平方向的抖动相比,垂直方向的抖动与视听者的影像晕动病相关的比率高,可以设定成为使垂直方向的校正量比水平方向的校正量大。
例如,假设图8所示的是确定针对水平方向的校正量的流程图的情况下,在确定针对垂直方向的校正量的流程图中,可以把图8中的步骤S803的校正量设为“+50%”,把步骤S804的校正量设为“+30%”。
另外,在减小降低量的校正时,即在图8中的步骤S805的情况下,垂直方向及水平方向的校正量可以相同。
(12)在上述实施方式中,获取单元510逐次获取视听者环境信息,例如在利用固定式的数字电视进行视听的情况下,在假设视听环境不会较大变化的前提下,获取单元510可以在即将对再现影像进行再现之前只1次逐次获取视听者环境信息,而在再现影像的再现过程中,不逐次获取视听者环境信息。
(13)在上述实施方式中,图7所示的影像加工处理是在影像再现过程中逐次进行的,但如果视听者的视听环境不变,则也可以在再现影像之前结束应该再现的影像的全部加工,并存储该加工后的影像数据,再现该影像数据。
(14)上述实施方式中的影像加工单元500也可以构成为包括图5所示的其他功能部分或者全部功能部分,这种结构可以利用一个专用电路、集成电路实现。
(15)在上述实施方式中,影像再现装置100及影像摄影装置300构成为具有驱动器105,从记录介质盘400进行影像数据的读出及写入。但是,驱动器只要具有从记录着影像数据的记录介质进行读出、并向记录介质进行写入的功能即可,并且记录介质盘也不限于盘。
例如,可以使用USB存储器接口取代驱动器,记录介质盘可以是USB闪存,还可以使用卡读写器取代驱动器,记录介质盘可以是SD存储卡。
另外,影像再现装置100及影像摄影装置300与记录介质进行存取用的接口,不一定是这些接口中的一个接口,也可以设置多个接口。
(16)在上述实施方式中,通过由CPU执行程序,影像加工单元执行基于软件处理的降低处理。
但是,上述影像加工单元所示的各个功能部也可以利用执行上述图7~图10的流程图所示的动作的专用电路实现。该专用电路也可以被集成化。
同样,影像再现装置100、影像显示装置200、影像摄影装置300的各个功能部可以利用被集成化的一个或者多个LSI(Large Scale Integration:大规模集成电路)实现。并且,多个功能部分可以利用一个LSI实现。
LSI根据集成程度的不同,有时被称为IC(Integrated Circuit:集成电路)、***LSI、VLSI(Very Large Scale Integration:超大规模集成电路)、SLSI(Super Large Scale Integration:超级LSI)、ULSI(Ultra Large ScaleIntegration:特级LSI)等。
另外,集成电路化的方法不限于LSI,也可以利用专用电路或通用处理器实现。也可以采用在制作LSI后能够编程的FPGA(Field ProgrammableGate Array:现场可编程门阵列)、能够再构成LSI内部的电路单元的连接和设定的可重构处理器。
另外,如果伴随半导体技术的发展或利用派生的其他技术替换LSI的集成电路化的技术问世,当然也可以使用该技术进行功能单元的集成化。可能存在适用仿生技术等的可能性。
(17)也可以将控制程序记录在记录介质中,或者通过各种通信路径(例如电通信线路、无线或者有线通信线路、以因特网为代表的网络)等使该控制程序能够流通并进行发布,所述控制程序用于使影像再现装置等处理器、以及与该处理器连接的各种电路执行上述实施方式所示的影像加工的动作、影像加工处理等(参照图7~图10)。这种记录介质包括IC卡、硬盘、光盘、软盘、ROM等。通过流通被发布的控制程序可以被存储在处理器能够读出的存储器等中进行使用,该处理器执行该控制程序,由此实现实施方式所示的各种功能。
产业上的可利用性
本发明的影像再现装置能够作为再现利用数字视频摄像机等拍摄的摄影影像时的影像晕动病较小的设备,在DVD播放器、BD播放器等光盘播放器或数字视频摄像机等中应用。
标号说明
100影像再现装置;101CPU;102存储器;103HDMI;104网络通信部;105驱动器;106解码器;107影像处理部;108内部总线;200影像显示装置;201CPU;202存储器;203传感器;204显示器;205HDMI;206网络通信部;207内部总线;300影像摄影装置;301CPU;302存储器;303加速度传感器;304驱动器;305解码器;306编码器;307摄像机;308内部总线;400记录介质盘;500影像加工单元;510获取单元;520视听环境信息存储单元;521显示区域尺寸信息;522亮度信息;523视听者位置信息;530运动信息检测单元;540存储单元;550影像再现单元;560影像缓冲器;570降低量输出单元;580运动降低加工单元;590影像输出单元;600影像加工单元;610摄影单元;620抖动降低单元;630抖动信息检测单元;640影像缓冲器;650影像编码单元;660已降低抖动信息记录单元;670影像记录单元;680抖动信息记录单元;690存储单元。

Claims (19)

1.一种影像加工装置,对被再现的影像进行加工,其特征在于,具有:
运动信息获取单元,获取与再现影像中的两个以上的帧之间的运动相关的运动信息;
视听环境信息获取单元,获取表示视听所述再现影像的视听者的视听环境的视听环境信息;
降低量输出单元,根据所述视听环境信息,输出用于降低由所述运动信息确定的运动量的降低量;以及
加工单元,使用所述降低量来加工所述再现影像。
2.根据权利要求1所述的影像加工装置,其特征在于,
所述降低量输出单元将使用由所述视听环境信息确定的校正值对预先设定的基本降低量进行调整而得到的调整降低量,作为所述降低量输出。
3.根据权利要求2所述的影像加工装置,其特征在于,
所述视听环境信息包括再现所述再现影像的显示装置的影像显示区域的尺寸信息,
所述降低量输出单元根据所述尺寸信息调整所述基本降低量。
4.根据权利要求3所述的影像加工装置,其特征在于,
在由所述尺寸信息表示的影像显示区域的尺寸比预先设定的规定的尺寸大的情况下,所述降低量输出单元执行增加所述基本降低量的调整。
5.根据权利要求3所述的影像加工装置,其特征在于,
所述降低量输出单元执行如下调整,即:在由所述尺寸信息表示的影像显示区域的尺寸越大时,越增加所述基本降低量。
6.根据权利要求3所述的影像加工装置,其特征在于,
所述降低量输出单元执行如下调整,即:在由所述尺寸信息表示的影像显示区域的尺寸越大时,与所述运动量的水平成分相比使垂直成分越大,并且越增加所述基本降低量。
7.根据权利要求2所述的影像加工装置,其特征在于,
所述视听环境信息包括表示再现所述再现影像的显示装置的周围的亮度的亮度信息,
所述降低量输出单元根据所述亮度信息调整所述基本降低量。
8.根据权利要求7所述的影像加工装置,其特征在于,
所述降低量输出单元执行如下调整,即:如果由所述亮度信息表示的亮度比规定的阈值低,则增加所述基本降低量。
9.根据权利要求7所述的影像加工装置,其特征在于,
所述降低量输出单元执行如下调整,即:在由所述亮度信息表示的亮度越低时,越增加所述基本降低量。
10.根据权利要求7所述的影像加工装置,其特征在于,
所述降低量输出单元针对由所述运动量表示的水平成分和垂直成分,调整所述基本降低量,以使得所述运动量的垂直成分的降低量比水平成分的降低量大。
11.根据权利要求2所述的影像加工装置,其特征在于,
所述视听环境信息包括与视听所述再现影像的视听者和再现所述再现影像的显示装置之间的距离相关的视听者位置信息,
所述降低量输出单元根据所述视听者位置信息调整所述基本降低量。
12.根据权利要求12所述的影像加工装置,其特征在于,
所述降低量输出单元执行如下调整,即:如果由所述视听者位置信息表示的距离比规定的阈值小,则增加所述基本降低量。
13.根据权利要求12所述的影像加工装置,其特征在于,
所述降低量输出单元执行如下调整,即:在由所述视听者位置信息表示的距离越短时,越增加所述基本降低量。
14.根据权利要求12所述的影像加工装置,其特征在于,
所述降低量输出单元调整所述基本降低量,以使得在由所述视听者位置信息表示的距离越短时,所述运动量的垂直成分的降低量越比水平成分的降低量大。
15.根据权利要求2所述的影像加工装置,其特征在于,
所述降低量输出单元针对由所述运动量表示的水平成分和垂直成分,使所述基本降低量包括垂直成分用的基本降低量和水平成分用的基本降低量这两种基本降低量,并使所述垂直成分用的基本降低量比所述水平成分用的降低量大。
16.根据权利要求1所述的影像加工装置,其特征在于,
所述影像加工装置还具有输出单元,在针对在所述记录介质中记录的影像进行过扫描时,切取通过进行了基于所述调整降低量的降低而得到的运动量所确定的切取区域,并进行输出。
17.一种影像加工方法,对影像再现装置再现的影像进行加工,其特征在于,包括:
运动信息获取步骤,获取与再现影像中的两个以上的帧之间的运动相关的运动信息;
视听环境信息获取步骤,获取表示视听所述再现影像的视听者的视听环境的视听环境信息;
降低量输出步骤,根据所述视听环境信息,输出用于降低由所述运动信息确定的运动量的降低量;以及
加工步骤,使用所述降低量来加工所述再现影像。
18.一种影像加工集成电路,对被再现的影像进行加工,其特征在于,具有:
运动信息获取单元,获取与再现影像中的两个以上的帧之间的运动相关的运动信息;
视听环境信息获取单元,获取表示视听所述再现影像的视听者的视听环境的视听环境信息;
降低量输出单元,根据所述视听环境信息,输出用于降低由所述运动信息确定的运动量的降低量;以及
加工单元,使用所述降低量来加工所述再现影像。
19.一种影像再现装置,对被再现的影像进行加工并输出,其特征在于,具有:
运动信息获取单元,获取与再现影像中的两个以上的帧之间的运动相关的运动信息;
视听环境信息获取单元,获取表示视听所述再现影像的视听者的视听环境的视听环境信息;
降低量输出单元,根据所述视听环境信息,输出用于降低由所述运动信息确定的运动量的降低量;
加工单元,使用所述降低量来加工所述再现影像;以及
输出单元,输出通过所述加工单元加工后的再现影像。
CN2010800019262A 2009-03-26 2010-03-26 影像加工装置、影像加工方法、影像加工集成电路、影像再现装置 Pending CN102077585A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009075537 2009-03-26
JP2009-075537 2009-03-26
PCT/JP2010/002180 WO2010109900A1 (ja) 2009-03-26 2010-03-26 映像加工装置、映像加工方法、映像加工集積回路、映像再生装置

Publications (1)

Publication Number Publication Date
CN102077585A true CN102077585A (zh) 2011-05-25

Family

ID=42780597

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010800019262A Pending CN102077585A (zh) 2009-03-26 2010-03-26 影像加工装置、影像加工方法、影像加工集成电路、影像再现装置

Country Status (4)

Country Link
US (1) US8953931B2 (zh)
JP (1) JP5336578B2 (zh)
CN (1) CN102077585A (zh)
WO (1) WO2010109900A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103609135A (zh) * 2011-07-06 2014-02-26 I3研究所股份有限公司 图像输出装置、图像输出方法、及程序
CN106488117A (zh) * 2015-08-27 2017-03-08 安讯士有限公司 数字图像的预处理方法和数字图像预处理***
TWI585742B (zh) * 2012-08-17 2017-06-01 I-Cubed Res Center Inc An image output device, an image output method, and a program
US10531040B2 (en) 2015-03-30 2020-01-07 Sony Corporation Information processing device and information processing method to improve image quality on a large screen

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9442562B2 (en) 2011-05-27 2016-09-13 Dolby Laboratories Licensing Corporation Systems and methods of image processing that adjust for viewer position, screen size and viewing distance
US9294676B2 (en) * 2012-03-06 2016-03-22 Apple Inc. Choosing optimal correction in video stabilization
JP5912706B2 (ja) * 2012-03-19 2016-04-27 アイキューブド研究所株式会社 画像出力装置、映像出力方法、およびプログラム
EP2782326B1 (en) * 2013-03-20 2022-04-27 Samsung Electronics Co., Ltd. Method and apparatus for processing an image based on an image property and ambient environment information
CN110867198B (zh) 2013-06-20 2022-02-25 索尼公司 显示装置
US9999835B2 (en) * 2015-02-05 2018-06-19 Sony Interactive Entertainment Inc. Motion sickness monitoring and application of supplemental sound to counteract sickness
CN107995482B (zh) * 2016-10-26 2021-05-14 腾讯科技(深圳)有限公司 视频文件的处理方法和装置
US10962779B2 (en) * 2017-02-15 2021-03-30 Sharp Kabushiki Kaisha Display control device, method for controlling display control device, and storage medium
KR102551759B1 (ko) * 2017-04-17 2023-07-06 소니그룹주식회사 송신 장치, 송신 방법, 수신 장치, 수신 방법, 기록 장치 및 기록 방법
CN109756788B (zh) * 2017-11-03 2022-08-23 腾讯科技(深圳)有限公司 视频字幕自动调整方法及装置、终端及可读存储介质
US11166080B2 (en) 2017-12-21 2021-11-02 Facebook, Inc. Systems and methods for presenting content
US20220256251A1 (en) * 2019-06-12 2022-08-11 Sony Group Corporation Reception Apparatus, Reception Method, Transmission Apparatus, And Transmission Method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006034576A (ja) * 2004-07-27 2006-02-09 Matsushita Electric Ind Co Ltd 乗り物酔い対策装置および乗り物酔い対策方法
JP2008048035A (ja) * 2006-08-11 2008-02-28 Sharp Corp 携帯型映像表示装置
WO2008033540A2 (en) * 2006-09-13 2008-03-20 Samuel Kim Motion sickness reduction
JP2008299241A (ja) * 2007-06-04 2008-12-11 Sharp Corp 画像処理装置及び表示装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2781027B2 (ja) 1989-02-23 1998-07-30 松下電工株式会社 木質床材
US6392689B1 (en) * 1991-02-21 2002-05-21 Eugene Dolgoff System for displaying moving images pseudostereoscopically
US20030099467A1 (en) 1992-12-28 2003-05-29 Manabu Inoue Image recording and reproducing system capable or correcting an image deterioration
JPH07143380A (ja) 1993-11-12 1995-06-02 Canon Inc ビデオ信号記録再生装置
JPH07143338A (ja) 1993-11-19 1995-06-02 Toyo Ink Mfg Co Ltd 画像2値化装置
TWI262725B (en) * 2005-06-30 2006-09-21 Cheertek Inc Video decoding apparatus and digital audio and video display system capable of controlling presentation of subtitles and method thereof
CN101523475B (zh) * 2006-11-24 2011-09-28 夏普株式会社 图像显示装置
JP2008153776A (ja) 2006-12-14 2008-07-03 Toshiba Corp 生体負荷管理装置、動きベクトル周波数遷移回数管理装置、生体負荷管理方法および動きベクトル周波数遷移回数管理方法
US20100073471A1 (en) * 2008-09-24 2010-03-25 Kabushiki Kaisha Toshiba Video Display Device and Video Display Method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006034576A (ja) * 2004-07-27 2006-02-09 Matsushita Electric Ind Co Ltd 乗り物酔い対策装置および乗り物酔い対策方法
JP2008048035A (ja) * 2006-08-11 2008-02-28 Sharp Corp 携帯型映像表示装置
WO2008033540A2 (en) * 2006-09-13 2008-03-20 Samuel Kim Motion sickness reduction
JP2008299241A (ja) * 2007-06-04 2008-12-11 Sharp Corp 画像処理装置及び表示装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103609135A (zh) * 2011-07-06 2014-02-26 I3研究所股份有限公司 图像输出装置、图像输出方法、及程序
CN103609135B (zh) * 2011-07-06 2017-05-31 I3研究所股份有限公司 图像输出装置、图像输出方法、及利用计算机程序进行图像输出的方法
US9875521B2 (en) 2011-07-06 2018-01-23 I-Cubed Research Center Inc. Image output apparatus, image output method, and program
TWI585742B (zh) * 2012-08-17 2017-06-01 I-Cubed Res Center Inc An image output device, an image output method, and a program
US10531040B2 (en) 2015-03-30 2020-01-07 Sony Corporation Information processing device and information processing method to improve image quality on a large screen
CN106488117A (zh) * 2015-08-27 2017-03-08 安讯士有限公司 数字图像的预处理方法和数字图像预处理***
CN106488117B (zh) * 2015-08-27 2019-11-12 安讯士有限公司 数字图像的预处理方法和数字图像预处理***

Also Published As

Publication number Publication date
JPWO2010109900A1 (ja) 2012-09-27
US8953931B2 (en) 2015-02-10
US20110081132A1 (en) 2011-04-07
WO2010109900A1 (ja) 2010-09-30
JP5336578B2 (ja) 2013-11-06

Similar Documents

Publication Publication Date Title
CN102077585A (zh) 影像加工装置、影像加工方法、影像加工集成电路、影像再现装置
US20110193982A1 (en) Method and apparatus for processing and reproducing camera video
US20170148488A1 (en) Video data processing system and associated method for analyzing and summarizing recorded video data
US20150381925A1 (en) Smart pause for neutral facial expression
US20110145883A1 (en) Television receiver and method
US9961297B2 (en) Method and system of rotation of video frames for displaying a video
JP2007328755A (ja) 画像処理装置、画像処理方法およびプログラム
US20130135334A1 (en) Image processing apparatus, storage medium for storing control program, and controlling method for image processing apparatus
KR20180006798A (ko) 디스플레이장치와, 기록매체
US20090167960A1 (en) Picture processing apparatus
US11234042B2 (en) Display device, control method therefor and recording medium
US10783670B2 (en) Method for compression of 360 degree content and electronic device thereof
CN104012087A (zh) 视差调整装置、图像处理装置和帧格式
US8594454B2 (en) Image production device, reproduction device, reproduction system, image production method, and reproduction method
KR102572432B1 (ko) 디스플레이장치 및 그 제어방법과 기록매체
US20110235997A1 (en) Method and device for creating a modified video from an input video
US20090142039A1 (en) Method and apparatus for recording video data
KR20190122602A (ko) 영상 처리 장치 및 영상 처리 방법
JP2007124275A (ja) 映像出力装置
US10410674B2 (en) Imaging apparatus and control method for combining related video images with different frame rates
US20060048204A1 (en) Method of storing a stream of audiovisual data in a memory
US11908340B2 (en) Magnification enhancement of video for visually impaired viewers
JP2009077093A (ja) 情報記録再生装置及び情報記録方法及び情報再生方法
JP5320186B2 (ja) 記録装置および再生装置
JP2010010800A (ja) 動画像記録再生装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110525