具体实施方式
以下参照附图对用于实施本发明的方式(以下,称为“实施方式”)进行说明。另外,本发明不限于该实施方式。此外,在附图的记载中,对相同的部分标注相同的标号进行说明。
图1是示出本发明一个实施方式的摄像装置的结构的框图。图1所示的摄像装置1具有镜头部2、镜头驱动部3、光圈4、光圈驱动部5、快门6、快门驱动部7、摄像元件8、摄像元件驱动部9、信号处理部10、A/D转换部11、第1图像处理部12、特征判定部13、跟踪设定部14、第2图像处理部15、AE处理部16、AF处理部17、图像压缩展开部18、输入部19、显示部20、显示驱动部21、记录介质22、存储器I/F23、SDRAM24、闪速存储器25、总线26、控制部27。经由总线26进行摄像装置1内部的数据传输。
镜头部2使用一个或多个透镜而构成。镜头部2从预定的视野区域聚光。镜头部2具有使视角变化的光学变焦功能和使焦点变化的对焦功能。镜头驱动部3使用DC电机或步进电机等而构成,根据从控制部27输入的指示信号使镜头部2的透镜在光轴L上移动,由此,进行镜头部2的焦点位置或视角等的变更。
光圈4通过限制镜头部2会聚的光的入射量进行曝光的调整。光圈驱动部5使用步进电机等而构成,根据从控制部27输入的指示信号驱动光圈4。
快门6将摄像元件8的状态设定为曝光状态或遮光状态。快门驱动部7使用步进电机等而构成,根据从控制部27输入的指示信号驱动快门6。
摄像元件8使用接收镜头部2会聚的光并转换成电信号的CCD(ChargeCoupledDevice:电荷耦合元件)或CMOS(Complementary Metal Oxide Semiconductor:互补金属氧化物半导体)等而构成。摄像元件驱动部9在预定的时刻从摄像元件8连续地将图像数据(模拟信号)输出到信号处理部10。这意味着,摄像元件驱动部9作为电子快门而发挥作用。另外,在本实施方式中,摄像元件8和摄像元件驱动部9作为摄像部发挥作用。
信号处理部10对从摄像元件8输入的模拟信号实施模拟处理并输出到A/D转换部11。具体而言,信号处理部10对图像数据进行噪声降低处理和增益提高处理等。例如,信号处理部10在降低复位噪声等的基础上对模拟信号进行波形整形,进行增益提高以进一步达到目标的亮度。
A/D转换部11对从信号处理部10输入的模拟信号进行A/D转换,由此生成数字的图像数据(摄影图像),并经由总线26输出到SDRAM24。
第1图像处理部12使用图像引擎(图像控制器)而构成。第1图像处理部12经由总线26从SDRAM24取得图像数据,并对取得的图像数据(RAW数据)进行各种图像处理,生成第1处理图像数据(第1图像数据)。具体而言,第1图像处理部12对图像数据进行图像处理,该图像处理至少包含光学黑体减法处理、白平衡(WB)调整处理、摄像元件为拜耳阵列的情况下的图像数据的同步处理,彩色矩阵运算处理、伽马校正处理、调整大小处理、修剪处理、色彩再现处理以及边缘强化处理等。第1图像处理部12进行图像处理后得到的第1处理图像数据经由总线26分别输出到SDRAM24和特征判定部13。第1图像处理部12经由总线26从SDRAM24依次取得摄像元件8连续地生成的图像数据,并对与取得的图像数据对应的摄影图像进行图像处理,依次生成构成第1动态图像数据的第1处理图像数据。
特征判定部13根据从第1图像处理部12输入的第1处理图像数据,判定在与该第1处理图像数据对应的处理图像中包含的主要被摄体的特征。具体而言,特征判定部13根据从后述的输入部19输入的指示信号或从控制部27输入的指示信号,判定包含于在与第1处理图像数据对应的处理图像中指定的对象区域中的主要被摄体的特征点,并将该判定结果输出到跟踪设定部14。在此,特征点是亮度和对比度。另外,特征判定部13也可以使用对象区域的颜色直方图判定特征点。
跟踪设定部14根据从特征判定部13输入的特征点和对应于在SDRAM24中记录的处理图像数据的处理图像,将主要被摄体设定为进行跟踪的跟踪被摄体。具体而言,跟踪设定部14从SDRAM24依次取得在时间上连续的第1处理图像数据,将具有在与取得的第1处理图像数据对应的处理图像中包含的特征点的主要被摄体设定为在图像间进行跟踪的跟踪被摄体。
第2图像处理部15使用图像引擎(图像控制器)而构成。第2图像处理部15经由总线26从SDRAM24取得图像数据,并对取得的图像数据进行与第1图像处理部12同样的图像处理,生成第2处理图像数据。此外,第2图像处理部15经由总线26从SDRAM24依次取得摄像元件8连续地生成的图像数据,并对与取得的图像数据对应的摄影图像进行图像处理,生成构成第2视角的第2动态图像的第2处理图像数据(第2图像)。此外,第2图像处理部15根据从后述的控制部27输入的信号或跟踪设定部14的设定结果,进行从摄影图像中切出预定的区域的处理(修剪处理),由此依次生成构成第2动态图像数据的第2处理图像数据。具体而言,第2图像处理部15从摄影图像中切出与比第1动态图像的视角窄的第2视角(望远侧)对应的区域,由此生成构成第2动态图像数据的第2处理图像数据。
AE处理部16取得在SDRAM24中记录的图像数据,并根据取得的图像数据设定进行静止图像摄影或动态图像摄影时的曝光条件。具体而言,AE处理部16根据图像数据计算亮度,根据计算出的亮度决定例如光圈值(F值)的设定值、快门速度等,由此进行摄像装置1的自动曝光。
AF处理部17取得在SDRAM24中记录的图像数据,并根据取得的图像数据进行摄像装置1的自动焦点调整。例如,AF处理部17从图像数据中取得高频成分的信号,并对高频成分的信号进行AF(Auto Focus:自动对焦)运算处理(也称作对比度AF处理),由此,通过决定摄像装置1的合焦评价来进行摄像装置1的自动焦点调整。
图像压缩展开部18取得在SDRAM24中记录的图像数据,根据预定的形式对取得的图像数据进行压缩,并将该压缩后的图像数据输出到SDRAM24。此外,图像压缩展开部18经由总线26取得经由存储器I/F23在记录介质22中记录的图像数据(压缩图像数据),并将取得的图像数据进行展开(解压缩)输出到SDRAM24。图像压缩展开部18具有静止图像压缩展开部181、第1动态图像压缩展开部182以及第2动态图像压缩展开部183。
静止图像压缩展开部181根据JPEG(Joint Photographic Experts Group:联合图像专家小组)方式,将图像数据压缩或展开,并输出到SDRAM24。
第1动态图像压缩展开部182根据MotionJPEG方式、MP4(H.264)方式以及AVI方式中的任意一种方式,将第1动态图像数据压缩或展开,并输出到SDRAM24。
第2动态图像压缩展开部183根据MotionJPEG方式、MP4(H.264)方式以及AVI方式中的任意一种方式,将第2动态图像数据压缩或展开,并输出到SDRAM24。
输入部19具有:输入给予静止图像摄影指示的释放信号的静止图像摄影操作部191;输入动态图像摄影的指示信号的动态图像摄影操作部192;模式切换操作部193,其输入给予在摄像装置1中设定的各种摄影模式切换的指示的切换信号;输入对摄像装置1的各种设定参数进行设定的设定信号的拨盘式的设定操作部194;以及触摸面板195,其重叠地设于显示部20的显示画面上,受理与来自外部的接触位置对应的信号的输入。静止图像摄影操作部191可以通过来自外部的按压而进退。在半按下静止图像摄影操作部191的情况下,输入指示摄影顺次动作的第1释放信号。与此相对,在完全按下静止图像摄影操作部191的情况下,输入指示静止图像摄影的第2释放信号。另外,输入部19还具有输入使摄像装置1的各种设定在显示部20中显示的指示信号的菜单操作部(未图示),以及用于输入使记录介质22记录的图像数据在显示部20中显示的再现信号的再现操作部(未图示)。
显示部20使用由液晶或有机EL(Electro Luminescence:电致发光)等构成显示面板而构成。显示驱动部21取得SDRAM24记录的图像数据或记录介质22记录的图像数据,并将与取得的图像数据对应的图像在显示部20中显示。在此,图像的显示中包含,在预定时间(例如3秒)内显示紧接摄影之后的图像数据的记录浏览(RecView)显示、再现在记录介质22中记录的图像数据的再现显示、以及按照时间序列依次对与摄像元件8连续地生成的图像数据对应的实时取景图像进行显示的实时取景显示等。此外,显示部20适当地显示摄像装置1的操作信息和关于摄影的信息。显示部20显示与图像数据对应的图像。显示部20显示关于摄像装置1的操作的操作信息或关于摄影的摄影信息。
记录介质22使用从摄像装置1的外部安装的存储卡等而构成。记录介质22经由存储器I/F23可以自由装卸地安装在摄像装置1上。在记录介质22中,通过与其种类对应的未图示的读写装置写入第1图像处理部12、第2图像处理部15以及图像压缩展开部18中的任意一个实施了处理后得到的图像数据或动态图像数据,或者通过读写装置读出在记录介质22中记录的图像数据或动态图像数据。此外,记录介质22也可以在控制部27的控制下,经由存储器I/F23和总线26将摄像程序和各种信息分别输出到闪速存储器25。
SDRAM24使用易失性存储器而构成。SDRAM24具有作为一次记录部的功能,暂时记录经由总线26从A/D转换部11输入的图像数据、从第1图像处理部12输入的处理图像数据、从第2图像处理部15输入的处理图像数据以及摄像装置1的处理中的信息。SDRAM24具有第1动态图像暂时记录部241、第2动态图像暂时记录部242、静止图像暂时记录部243。
第1动态图像暂时记录部241经由信号处理部10、A/D转换部11以及总线26暂时地记录摄像元件8按照每1帧顺次输出的图像数据(摄影图像)。此外,在摄像装置1被设定为拍摄两个视角的动态图像的双重记录摄影模式的情况下,第1动态图像暂时记录部241暂时地记录第1处理图像数据,该第1处理图像数据构成第1图像处理部12进行图像处理后得到的第1动态图像数据。
第2动态图像暂时记录部242暂时地记录第2处理图像数据,该第2处理图像数据构成第2图像处理部15进行图像处理后得到的第2动态图像数据。
在从静止图像摄影操作部191输入了第2释放信号的情况下,静止图像暂时记录部243经由信号处理部10、A/D转换部11以及总线26,暂时地记录从摄像元件8输入的静止图像的图像数据。
闪速存储器25使用非易失性存储器而构成。闪速存储器25具有程序记录部251和特征信息记录部252。
程序记录部251记录用于使摄像装置1动作的各种程序、摄像程序以及在程序执行中使用的各种数据、第1图像处理部12和第2图像处理部15的图像处理的动作所需要的各种参数等。
特征信息记录部252记录所选择的候选区域中的特征信息。例如候选区域中包含人物的脸的情况下,该特征信息是该脸的特征信息(眼、口、鼻、眉毛的位置、大小等)。此外,在候选区域中不包含人物的脸的情况下,该特征信息是该候选区域中包含的特征性的颜色的信息或亮度等。
控制部27使用CPU(Central Processing Unit:中央处理器)等而构成。控制部27经由总线26对构成摄像装置1的各部进行控制信号或各种数据的传输,由此总体地控制摄像装置1的动作。在从输入部19输入了摄影动作的开始信号的情况下,控制部27进行开始摄影动作的控制。在此,摄影动作是指,信号处理部10、A/D转换部11以及第1图像处理部12通过快门驱动部7和摄像元件驱动部9的驱动,对摄像元件8输出的图像数据实施预定的处理的动作。在控制部27的控制下,这样实施了处理的图像数据根据预定的形式被图像压缩展开部18压缩,并经由总线26和存储器I/F23在记录介质22中记录。另外,也可以是,在独立于记录介质22的摄像装置1的内部确保预定的记录区域,并在该记录区域中存储压缩后的图像数据。
对控制部27的详细的结构进行说明。控制部27具有脸检测部271、触摸检测部272、区域设定部273、记录控制部274、显示控制部275。
脸检测部271通过图形匹配等检测在对应于图像数据的图像中包含的人脸。具体而言,脸检测部271通过图形匹配检测图像中的脸的位置,然后,检测眼或鼻、口等的脸的特征点的位置,由此,检测脸的位置、脸的大小(尺寸)、脸的方向、脸的角度(倾斜)等。另外,脸检测部271不仅检测人物的脸,也可以检测狗或猫等的脸。此外,脸检测部271也可以使用图形匹配以外的公知技术检测人脸。
触摸检测部272检测与从触摸面板195输入的位置信号对应的显示部20上的触摸位置。
区域设定部273设定第2图像处理部15要从摄影图像中切出的区域(修剪区域)。具体而言,区域设定部273根据触摸检测部272检测到的检测结果,将与触摸位置对应的摄影图像的区域设定为第2图像处理部15要从摄影图像中切出的区域。此外,区域设定部273将跟踪设定部14设定的包含主要被摄体的区域设定为第2图像处理部15要从摄影图像中切出的区域。此外,也可以将脸检测部271检测到的脸的区域设定为第2图像处理部15要从摄影图像中切出的区域。此外,摄像装置1在动态图像摄影中触摸了另外的部位的情况下,区域设定部273变更第2图像的切出区域。由此,用户触摸了另外的部位的错误部位(区域)作为第2动态图像被记录。此外,摄像装置1在动态图像摄影中保持触摸画面的状态并使触摸部位移动的情况下,区域设定部273根据触摸的轨迹变更要从摄影图像中切出的第2图像的区域。由此,第2图像的切出位置与此相应地连续地移动。
记录控制部274进行如下控制:将在时间上连续拍摄第1图像(第1被摄体范围图像)和第2图像(第2被摄体范围图像)而得到的第1动态图像数据(第1图像数据)和第2动态图像数据(第2图像数据)分别记录到记录介质22中。具体而言,记录控制部274进行例如使摄影时的时间信息一致而记录到记录介质22的1个或多个文件中的控制,使得能够将构成第1动态图像暂时记录部241中记录的第1动态图像数据的在时间上连续的第1处理图像数据组、和构成第2动态图像暂时记录部242中记录的第2动态图像数据的在时间上连续的第2处理图像数据组同步并进行再现。此外,在断续地记录第2图像的情况下,记录控制部274在第2动态图像数据中用其他的图像对未记录第2图像的期间进行插值,并将第2动态图像数据记录到记录介质22。具体而言,在从触摸面板195输入了指示第2图像的摄影开始的开始信号的情况下,记录控制部274将区域设定部273对第2图像处理部15设定的区域设定为与第2图像对应的区域,另一方面,在从触摸面板195输入了结束第2图像的摄影的结束信号的情况下,记录控制部274将区域设定部273对第2图像处理部15中设定的区域设定为与第1图像(广角侧)对应的区域。
显示控制部275将与图像数据对应的图像在显示部20中显示。显示控制部275将摄像装置1的各种信息在显示部20中显示。此外,在摄像装置1进行第1动态图像和第2动态图像的摄影的情况下,显示控制部275将接受第2视角的动态图像摄影的结束输入的结束信息在显示部20中显示。此外,显示控制部275将与第2图像的摄影范围对应的信息(例如矩形的框)在显示部20中显示,所述第2图像的摄影范围与第2图像处理部15从摄影图像切出的区域对应。在本实施方式中,显示控制部275和触摸面板195作为第2动态图像摄影操作部发挥作用。
还可以对具有以上结构的摄像装置设置电子取景器、声音输入/输出部、对被摄体发出辅助光(闪光)的辅助光发光部、具有经由互联网与外部的装置进行双向通信的功能的通信部等。
图2是对上述的摄像装置1执行的双重记录处理的概要进行说明的图。另外,在图2中,摄像装置1被设定有双重记录摄影模式,在双重记录摄影模式中,对于相同时刻的视野区域(被摄体),以使两个视角的动态图像拍摄时的时间信息一致或将文件关联而能够将它们同步再现的方式进行摄影。此外,在图2中,在显示部20中显示实时取景图像P0。此外,在图2中,图2的(a)示出摄影时的用户的操作,图2的(b)示出第1动态图像的记录内容,图2的(c)示出第2动态图像的记录内容。另外,在图2中,在各图像之间存在多个图像。
如图2所示,在时间t=t1中,在用户操作动态图像摄影操作部192并输入了动态图像摄影的开始信号的情况下,记录控制部274开始第1图像处理部12生成的第1处理图像Qn(n=1,2,3,…自然数)和第2图像处理部15生成的第2处理图像Rn各自的记录。然后,记录控制部274按照时间序列将第1图像处理部12依次生成的第1处理图像Qn+1和第2图像处理部15依次生成的第2处理图像Rn+1记录到记录介质22。
接着,在时间t=t2中,在用户经由触摸面板195触摸了映现在实时取景图像Pn+2中的被摄体A的情况下,记录控制部274根据触摸检测部272检测到的触摸位置,使区域设定部273设定第2图像处理部15生成的第2动态图像的视角。具体而言,区域设定部273将第2图像处理部15从对应于由摄像元件8生成的图像数据的摄影图像中切出的区域,变更为包含触摸位置的预定的区域(例如摄像元件8中的摄像面的1/4),由此设定映现被摄体A的区域(第2视角)。由此,第2图像处理部15切出包含用户触摸的触摸位置的区域,并生成第2处理图像Rn+2。此时,记录控制部274分别将第1图像处理部12生成的第1处理图像Qn+2和第2图像处理部15生成的第2处理图像Rn+2记录到记录介质22。另外,在图2中,对选择以用户触摸的点为中心的预定范围的方法进行说明,但也可以是指定用户想要选择的范围的对角的顶点的方法。
然后,在时间t=t3时,显示控制部275将在实时取景图像P上示出第2视角的MR区域K1(双重记录区域)和受理指示第2视角的动态图像摄影结束的结束信号的输入的关闭图标Z1在显示部20中显示。由此,用户能够一边进行广角侧(广角侧)的摄影,一边直观地掌握第2图像的区域(望远侧)。此时,记录控制部274分别将第1图像处理部12生成的第1处理图像Qn+3和第2图像处理部15生成的第2处理图像Rn+3记录到记录介质22。
接着,在时间t=t4时,在用户经由触摸面板195触摸了实时取景图像Pn+4上的关闭图标Z1的情况下,记录控制部274使区域设定部273进行设定,从第2图像处理部15生成的第2图像变更成第1动态图像的第1图像的区域。具体而言,区域设定部273将第2图像处理部15从对应于由摄像元件8生成的图像数据的摄影图像中切出的区域,设定为与第1图像处理部12相同的与第1图像(第1视角)对应的区域(广角侧)。由此,在断续地记录第2图像的情况下,记录控制部274能够在第2动态图像数据中用第1图像对未记录第2图像的期间进行插值,并记录第2动态图像数据。此时,记录控制部274分别将第1图像处理部12生成的第1处理图像Qn+4和第2图像处理部15生成的第2处理图像Rn+4记录到记录介质22。
然后,在时间t=t5时,记录控制部274将第1图像处理部12生成的第1图像的第1处理图像Qn+5和第2图像处理部15生成的第2图像的第2处理图像Rn+5记录到记录介质22。
接着,在时间t=t6时,在用户经由触摸面板195触摸了映现在实时取景图像Pn+6中的被摄体B的情况下,记录控制部274根据触摸检测部272检测到的触摸位置,使区域设定部273设定第2图像处理部15生成的第2图像的区域。具体而言,区域设定部273根据触摸检测部272检测到的触摸位置,设定第2图像处理部15生成的第2图像的区域。例如,区域设定部273将第2图像处理部15要从对应于由摄像元件8生成的画像数据的摄影图像中切出的区域变更为映现被摄体B的区域,由此设定第2图像的区域。由此,第2图像处理部15切出包含用户触摸的触摸位置的区域,生成第2处理图像Rn+6。此时,记录控制部274分别将第1图像处理部12生成的第1处理图像Qn+6和第2图像处理部15生成的第2处理图像Rn+6记录到记录介质22。
然后,在时间t=t7时,显示控制部275将在实时取景图像Pn+7上示出第2视角的MR区域K2和受理指示第2图像的摄影结束的信号的输入的关闭图标Z1在显示部20中显示。此时,记录控制部274分别将第1图像处理部12生成的第1处理图像Qn+3和第2图像处理部15生成的第2处理图像Rn+3记录到记录介质22。
接着,在时间t=t8时,在用户经由触摸面板195触摸了映现在实时取景图像Pn+8中的被摄体A的情况下,记录控制部274根据触摸检测部272检测到的触摸位置,使区域设定部273设定第2图像处理部15生成的第2图像的区域。具体而言,区域设定部273根据触摸检测部272检测到的触摸位置,将第2图像处理部15从对应于由摄像元件8生成的图像数据的摄影图像中切出的区域变更为映现被摄体A的区域,由此设定第2图像的区域。由此,第2图像处理部15切出包含用户触摸的触摸位置的区域,生成第2图像的第2处理图像Rn+8。此时,记录控制部274分别将第1图像处理部12生成的第1处理图像Qn+8和第2图像处理部15生成的第2处理图像Rn+8记录到记录介质22。
然后,在从动态图像摄影操作部192输入结束动态图像摄影的结束信号之前,存储控制部274持续地将第1图像处理部12生成的第1处理图像和第2图像处理部15生成的第2图像处理记录到记录介质22。
这样,用户在进行动态图像摄影时,能够一边指定想要在画面内放大观看的被摄体或位置一边同时进行整体的摄影。此外,用户能够一边观看显示部20显示的实时取景图像,一边通过触摸触摸面板195而对希望的被摄体放大进行摄影。此外,用户仅通过触摸并指定不同的被摄体或位置,就能够变更第2动态图像中的第2图像的位置(望远侧的位置)。
接下来,对摄像装置1执行的处理的概要进行说明。图3是示出摄像装置1执行的处理的概要的流程图。
如图3所示,在摄像装置1被设定为摄影模式的情况下(步骤S101:是),摄像装置1执行一边根据摄影模式控制各种参数,一边进行静止图像摄影或动态图像摄影的摄影控制处理(步骤S102)。另外,关于摄影控制处理的详细内容在后面记述。
接着,在切断摄像装置1的电源的情况下(步骤S103:是),摄像装置1结束本处理。与此相对,在摄像装置1的电源未被切断的情况下(步骤S103:否),摄像装置1返回步骤S101。
在步骤S101中,摄像装置1未被设定为摄影模式(步骤S101:否),而被设定为再现模式的情况下(步骤S104:是),摄像装置1执行再现显示,对记录介质22记录的图像文件内的图像数据或动态图像数据进行再现并显示(步骤S105)。另外,关于再现显示处理的详细的内容在后面记述。在步骤S105之后,摄像装置1向步骤S103转移。
接着,对在图3的步骤S102中说明的摄影控制处理进行说明。图4是示出摄影控制处理的概要的流程图。
如图4所示,显示控制部275将与摄像元件8生成的图像数据对应的实时取景图像在显示部20中显示(步骤S201),记录控制部274将摄像元件8生成的图像数据在SDRAM24的第1动态图像暂时记录部241中暂时记录(步骤S202)。
接着,在经由触摸面板195对显示部20显示的实时取景图像进行了拍摄为第2视角的部分指定的情况下(步骤S203:是),摄像装置1执行第2动态图像候选框显示处理,显示示出作为第2动态图像候选的第2视角的MR区域(步骤S204)。
图5是示出步骤S204的第2动态图像候选框显示处理的概要的流程图。
如图5所示,特征判定部13根据触摸检测部272检测到的触摸位置,判定在触摸位置中包含的主要被摄体的特征(步骤S301)。
接着,跟踪设定部14将在图像间要跟踪的主要被摄体设定为跟踪被摄体,在所述图像间,具有特征判定部13判定的特征的被摄体连续(步骤S302)。由此,能够跟踪用户希望的主要被摄体。另外,在本实施方式中,在摄影前的摄像装置1的各种设定处理中,能够设定对主要被摄体进行跟踪的跟踪模式。因此,在摄像装置1的设定处理中,在未设定对主要被摄体进行跟踪的跟踪模式的情况下,也可以不对触摸位置中包含的被摄体进行跟踪,而在该位置等待。
然后,在从设定操作部194输入了对第2动态图像的位置(视角)进行变更的变更信号的情况下(步骤S303:是),区域设定部273将第2图像处理部15要从对应于由摄像元件8生成的图像数据的摄影图像中切出的区域设定为1/9(步骤S304)。与此相对,在未从设定操作部194输入对第2动态图像的视角进行变更的变更信号的情况下(步骤S303:否),区域设定部273将第2图像处理部15从对应于由摄像元件8生成的图像数据的摄影图像中切出的区域设定为1/4。(步骤S305)。
接着,显示控制部275将在实时取景图像上示出第2图像的区域的MR区域的框K1在显示部20中显示(步骤S306)。然后,摄像装置1返回图4的摄影控制处理。
在步骤S203中,在未经由触摸面板195对显示部20显示的实时取景图像进行拍摄为第2图像的部分指定的情况下(步骤S203:否)和在步骤S204之后,摄像装置1向步骤S205转移。
接着,在经由触摸面板195对显示部20显示的实时取景图像解除了拍摄为第2图像的部分指定的情况下(步骤S205:是),区域设定部273将第2图像处理部15要从对应于由摄像元件8生成的图像数据的摄影图像中切出的区域,设定为与第1图像处理部12生成的第1动态图像的第1图像对应的区域(步骤S206)。具体而言,在触摸了关闭图标Z1的情况下,区域设定部273将第2图像处理部15要从对应于由摄像元件8生成的图像数据的摄影图像中切出的区域,设定为第1图像处理部12生成的第1动态图像的第1图像的区域。然后,摄像装置1向步骤S207转移。与此相对,在未经由触摸面板195对显示部20显示的实时取景图像解除拍摄为第2图像的部分指定的情况下(步骤S205:否),摄像装置1向步骤S207转移。
然后,在通过从静止图像摄影操作部191输入第2释放信号而进行了静止图像摄影的指示的情况下(步骤S207:是),摄像装置1进行静止图像摄影(步骤S208)。在该情况下,当第2图像的部分指定被设定时,记录控制部274将第1图像处理部12进行图像处理后得到的第1图像的静止图像数据和第2图像处理部15进行图像处理后得到第2图像的静止图像数据记录到SDRAM24的静止图像暂时记录部243。
接着,记录控制部274将第1动态图像暂时记录部241记录的动态图像数据,例如在对静止图像数据进行了摄影时的前后(例如3秒间)的动态图像数据,与静止图像数据关联地记录到记录介质22(步骤S209)。然后,摄像装置1返回图3的主程序。
在步骤S207中,在没有静止图像摄影的指示(步骤S207:否),而通过从动态图像摄影操作部192输入指示动态图像开始的开始信号来进行了动态图像摄影的指示的情况下(步骤S210:是),摄像装置1开始第1动态图像和第2动态图像的记录(步骤S211)。该情况下,记录控制部274在记录介质22中生成动态图像文件,该动态图像文件用于以能够按照时间序列使第1图像处理部12生成的第1动态图像的第1处理图像数据与第2图像处理部15生成的第2动态图像的第2处理图像数据同步的方式进行记录(指如前述那样文件关联或使时间信息一致的措施。以下同样),在该动态图像文件中使第1处理图像数据和第2处理图像数据同步并开始进行记录。
接着,在通过从静止图像摄影操作部191输入第2释放信号而进行了静止图像摄影的指示的情况下(步骤S212:是),摄像装置1进行静止图像摄影(步骤S213)。该情况下,在第1图像与第2图像的视角不同的情况下,记录控制部274将第1图像的静止图像数据和第2图像的静止图像数据记录到动态图像文件。此外,在第1图像与第2图像的视角(修剪区域)相同的情况下,记录控制部274可以仅将第1图像的静止图像数据记录到动态图像文件。与此相对,在没有静止图像摄影的指示的情况下(步骤S212:否),摄像装置1向步骤S214转移。
然后,在通过从动态图像摄影操作部192输入指示动态图像结束的结束信号而使摄像装置1结束了动态图像摄影的情况下(步骤S214:是),记录控制部274使图像压缩展开部18以预定的形式压缩在记录介质22中记录的动态图像文件并记录到记录介质22(步骤S215)。然后,摄像装置1返回图3的主程序。
在步骤S214中,在摄像装置1未结束动态图像摄影的情况下(步骤S214:否),摄像装置1向步骤S216转移。
接着,在经由触摸面板195对显示部20显示的实时取景图像进行了拍摄为第2视角的部分指定的情况下(步骤S216:是),记录控制部274以对应于触摸位置的视角记录第2动态图像(步骤S217)。该情况下,区域设定部273根据检测都272检测到的触摸位置,设定第2图像处理部15从对应于由摄像元件8生成的图像数据的摄影图像中切出的区域。由此,能够记录将包含触摸位置的区域扩大后的第2视角即第2动态图像。此时,记录控制部274将包含触摸面板195被触摸的触摸位置和时间信息(触摸时刻)的触摸信息与第1动态图像和第2动态图像关联地记录到记录介质22。当然,存在不能改变第2动态图像的位置的情况,也存在用触摸以外的方式改变的情况下,因此也可以仅是时间信息。触摸操作直观,且能够简单地进行操作,因而能够直观地进行尊重摄影者的意图的操作。此外,在该状况下,在将摄像装置1设定为跟踪主要被摄体的跟踪模式的情况下,也可以是,特征判定部13判定触摸位置中包含的特征,跟踪设定部14以第2视角跟踪具有由特征判定部13判定的特征的被摄体,区域设定部273根据跟踪设定部14的跟踪结果,一边在连续的图像间变更第2图像处理部15切出的区域,一边进行跟踪。这样的特征判定在跟踪以外情况也存在,因而不一定是必要的。然后,摄像装置1向步骤S218转移。
在步骤S216中,在未经由触摸面板195对显示部20显示的实时取景图像进行拍摄为第2图像的部分指定的情况下(步骤S216:否),摄像装置1向步骤S218转移。
然后,在经由触摸面板195解除了对显示部20显示的实时取景图像进行的拍摄为第2图像的部分指定的情况下(步骤S218:是),区域设定部273将第2图像处理部15从对应于由摄像元件8生成的图像数据的摄影图像中切出的区域,设定为第1图像处理部12生成的第1动态图像的第1视角,存储控制部274以第1动态图像的视角记录第2动态图像(步骤S219)。具体而言,记录控制部274使区域设定部273进行设定,从第2图像处理部15生成的第2动态图像的第2图像的区域变更为第1动态图像的第1图像的区域。该情况下,区域设定部273将第2图像处理部15要从对应于由摄像元件8生成的图像数据的摄影图像中切出的区域,设定为与第1图像处理部12相同的对应于第1图像的区域。然后,摄像装置1返回步骤S212。
在步骤S218中,在未经由触摸面板195解除对显示部20显示的实时取景图像进行的拍摄为第2图像的部分指定的情况下(步骤S218:否),摄像装置1返回步骤S212。
在步骤S210中,在没有动态图像摄影的指示(步骤S210:否),摄影模式结束的情况下(步骤S220:是),摄像装置1返回图3的主程序。与此相对,在没有动态图像摄影的指示(步骤S210:否),摄影模式未结束的情况下(步骤S220:否),摄像装置1返回步骤S201。
接下来,对图3的步骤105的再现显示处理进行说明。图6是示出再现显示处理的概要的流程图。
如图6所示,显示控制部275将记录介质22记录的文件的一览在显示部20中显示(步骤S401)。
接着,在经由设定操作部194或触摸面板195选择了文件的情况下(步骤S402:是),控制部27判断所选择的文件是否是多帧(步骤S403)。在控制部27判断为所选择的文件是多帧的情况下(步骤S403:是),摄像装置1向后述的步骤S404转移。与此相对,在控制部27判断为所选择的文件不是多帧的情况下(步骤S403:否),摄像装置1向后述的步骤S413转移。
在步骤S404中,控制部27使第1动态图像压缩展开部182和第2动态图像压缩展开部183将记录介质22记录的被压缩的第1动态图像数据和被压缩的第2动态图像数据在SDRAM24中展开,并开始该展开的对应于第1动态图像数据的第1动态图像和对应于第2动态图像数据的第2动态图像的再现。
接着,在第2动态图像中存在与第1动态图像的视角不同的另外的视角的情况下(步骤S405:是),显示控制部275在主画面中显示第1动态图像,在子画面中显示第2动态图像(步骤S406),在触摸了在子画面中显示的动态图像的情况下(步骤S407:是),显示控制部275渐渐地切换第1动态图像与第2动态图像的显示区域并在显示部20中显示(步骤S408)。
图7是示意地示出手动地切换多帧的动态图像时的动态图像的转变的图。如图7所示,在用户经由触摸面板195选择了显示部20在子画面中显示的第2动态图像Rn的情况下(图7(a)),显示控制部275渐渐地切换第1动态图像Qn+1与第2动态图像Rn+1的显示区域并在显示部20中显示(图7(b)→图7(c)→图7(d)→图7(e))。由此,显示区域平稳地从第1动态图像转变到第2动态图像,用户能够欣赏图像而不会产生不舒服的感觉。此外,用户能够在同一时刻一边享受拍摄到的整体的氛围,一边对第2动态图像放大进行确认。另外,在主画面中显示第2动态图像,在子画面中显示第1动态图像的情况下,当用户经由触摸面板195选择了第1动态图像时,显示控制部275渐渐地切换第1动态图像与第2动态图像的显示区域并在显示部20中显示。此时,显示控制部275也可以瞬间切换第1动态图像和第2动态图像。在步骤S408之后,摄像装置1转移到步骤S409。
在步骤S409中,在动态图像的再现已经结束的情况下(步骤S409:是),摄像装置1返回图3的主程序。与此相对,在动态图像的再现未结束的情况下(步骤S409:否),摄像装置1返回步骤S407。
在步骤S407中,在未触摸在子画面中显示的动态图像的情况下(步骤S407:否),控制部27判断是否在第2动态图像数据中包含摄影时的触摸信息(步骤S410)。在控制部27判断为包含摄影时的触摸信息的情况下(步骤S410:是),显示控制部275根据触摸信息,渐渐切换第1动态图像与第2动态图像的显示区域,并在显示部20中显示(步骤S411)。
图8和图9是示意地示出自动地切换多帧的动态图像时的动态图像的转变的图。在图8和图9中,显示控制部275在主画面中显示第1动态图像,在子画面中显示第2动态图像。此外,显示控制部275将表示多帧中的动态图像再现时间的整体长度的时间条T1在显示部20中显示。此外,显示控制部275根据所选择的文件中记录的摄影时的触摸信息,将指标I1和指标I2在时间条T1上显示,指标I1和指标I2表示用户在摄影时进行触摸的触摸时间信息。指标I1表示在以第1视角拍摄第2动态图像的情况下,变更为第2视角时的时刻,指标I2表示在以第2视角拍摄第2动态图像的情况下,在不同的位置开始第2视角的第2动态图像时的时刻。此外,显示控制部275将表示当前的摄影时刻的图标D1在时间条T1上显示。
如图8所示,显示控制部275根据触摸信息,渐渐地切换第1动态图像与第2动态图像的显示区域并在显示部20中显示(图8(a)→图8(b)→图8(c)→图8(d)→图8(e))。此时,伴随摄影时刻(图标D1)接近时间条T1上的指标I1,显示控制部275将第2动态图像的显示区域放大。由此,显示区域从第1动态图像平稳地转变到第2动态图像,因而用户能够欣赏图像而不会产生不舒服的感觉。此外,用户能够在同一时刻一边享受拍摄到的整体的氛围,一边对第2动态图像放大进行确认。
此外,如图9所示,在根据触摸信息切换不同视角的第2动态图像并在显示部20中显示的情况下,显示控制部275在第2动态图像的转变的中途将填充黑色的图像O1(全黑(black out))***到连续的动态图像中而在显示部20中显示(图9(a)→图9(b)→图9(c)→图9(d)→图9(e))。此时,当摄影时刻(图标D1)到达时间条T1上的指标I2时,显示控制部275将涂黑的图像O1在显示部20中显示。由此,即便从第2视角向另外的第2视角切换,也能够进行再现而不会产生不舒服的感觉。在步骤S411之后,摄像装置1向步骤S409转移。
在步骤S410中,在所选择的文件中没有摄影时的触摸信息的情况下(步骤S410:否),摄像装置1向步骤S409移行。
在步骤S405中,在第2动态图像中没有另外的视角的情况下(步骤S405:否),显示控制部275不显示第2动态图像(步骤S412)。该情况下,将第2动态图像与第1动态图像同步地进行再现。然后,摄像装置1向步骤S409转移。
在步骤S403中,在所选择的文件不是多帧的情况下(步骤S403:否),显示控制部275对所选择的文件的图像数据进行再现(步骤S413)。
接着,在图像数据已经结束的情况下(步骤S414:是),摄像装置1返回图3的主程序。与此相对,在图像数据未结束的情况下(步骤S414:否),控制部27继续该判断。
在步骤S402中,在没有选择文件(步骤S402:否),再现模式结束的情况下(步骤S415:是),摄像装置1返回图3的主程序。与此相对,在再现模式未结束的情况下(步骤S415:否),摄像装置1返回步骤S401。
根据以上说明的本发明一个实施方式,在记录控制部274断续地记录第2图像的情况下,在第2动态图像数据中用其他的图像对未记录第2图像的期间进行插值并记录第2动态图像数据。其结果是,能够使用以不同的视角拍摄得到的图像,进行更富于变化的动态图像的摄影。
此外,根据本发明一个实施方式,记录控制部274分别将第1动态图像数据和第2动态图像数据记录到记录介质22。其结果是,用户能够仅再现对希望的被摄体进行放大后的第2动态图像数据,还能够仅再现对整体进行拍摄的第1动态图像数据。
此外,根据本发明一个实施方式,记录控制部274使第1动态图像数据和第2动态图像数据以能够同步再现的方式存储到记录介质22。其结果是,在同时对第1动态图像数据和第2动态图像数据进行再现的情况下,用户能够在再现时手动地对构成第1动态图像数据的第1图像与构成第2动态图像数据的第2图像的显示区域或显示进行切换并进行欣赏,能够享受富于变化的动态图像。
此外,根据本发明一个实施方式,当记录控制部274使第1动态图像数据与第2动态图像数据以能够同步再现的方式记录到记录介质22时,同时附加第2图像的切出位置的变更或切出的结束的时间信息。其结果是,在同时对第1动态图像数据和第2动态图像数据进行再现的情况下,用户能够自动地对构成第1动态图像数据的第1图像与构成第2动态图像数据的第2图像的显示区域或显示进行切换并进行欣赏,能够享受富于变化的动态图像。
此外,根据本发明一个实施方式,区域设定部273将与对应于从触摸面板195输入的位置信号的位置对应的摄影图像的区域设定为第2图像处理部15作为第2图像切出的区域。其结果是,用户能够以直观的操作设定对希望的区域进行放大后的第2动态图像数据的区域。由此,能够直观地反映用户的意图。
此外,根据本发明一个实施方式,用户仅通过操作触摸面板195,就能够使构成第2动态图像数据的第2图像的区域变化,因而能够拍摄根据用户的意图使视角或拍摄位置变化后的第2动态图像。其结果是,能够进行更富于变化的动态图像的摄影。
此外,根据本发明的一个实施方式,图像压缩展开部18以预定的方式进行帧间压缩,因此记录控制部274使第1动态图像数据和第2动态图像数据同步并记录到记录介质22。由此,在同时对第1动态图像数据和第2动态图像数据进行再现的情况下,当用户选择了在子画面中显示的一方的动态图像时,由于在选择的动态图像中不会产生丢帧(帧),因而能够平稳地进行动态图像的转变。另外,在不同步地记录第1动态图像和第2动态图像的情况下,图像压缩展开部18以预定的方式进行帧间压缩,因而当用户选择了在子画面中显示的一方的动态图像时,该选择的动态图像中产生丢帧,因此需要在下一帧之前等待,动态图像的转变变得断断续续。
此外,根据本发明的一个实施方式,区域设定部273将对应于由跟踪设定部14设定的跟踪被摄体的区域设定为第2图像处理部15作为第2视角要从摄影图像中切出的区域,因而能够拍摄用户希望的主要被摄体放大后的动态图像作为第2动态图像。另外,在跟踪被摄体从摄像装置1的视野区域消失的情况下,跟踪设定部14可以在跟踪被摄体消失的位置等待预定时间(例如3秒),然后解除跟踪。此外,在预定时间内跟踪被摄体映入摄像装置1的视野区域内的情况下,跟踪设定部14可以继续进行跟踪被摄体的跟踪。此时,跟踪设定部14也可以使视角从等待的位置渐渐地(具有滞后数或系数)移动到跟踪被摄体,防止视角急剧地变化。此外,区域设定部273也可以适当地调整第2图像处理部15要从摄影图像中切出的区域作为第2视角,以使得跟踪被摄体的大小固定。
另外,在本发明的一个实施方式中,区域设定部273根据触摸位置设定了第2图像处理部15要从摄影图像中切出的区域,但也可以是,通过缺省(初始设定)将第2图像处理部15要从摄影图像中切出的区域设定为包含摄影图像的中央的区域。此外,区域设定部273也可以根据脸检测部271的检测结果设定第2图像处理部15要从摄影图像中切出的区域。
此外,在本发明的一个实施方式中,区域设定部273根据触摸位置设定了第2图像处理部15要从摄影图像中切出的区域,但也可以根据手指缩放操作(通过手指而缩小或放大)、轻击操作或保持操作设定第2图像处理部15要从摄影图像中切出的区域。此外,区域设定部273也可以根据触摸的轨迹设定第2图像处理部15要从摄影图像中切出的区域。
此外,在本发明的一个实施方式中,记录控制部274在第2动态图像数据中用第1动态图像对未记录第2图像的记录进行插值,并将第2动态图像记录到记录介质22,但是,也可以将用其他的动态图像,例如预先设定的全黑图像或全白图像等进行插值后的第2动态图像记录到记录介质22。
此外,在本发明的一个实施方式中,以动态图像的长宽比为16:9进行了说明,但能够将长宽比适当地设定为例如4:3或3:2。
此外,在本发明的一个实施方式中,第1图像处理部12对摄影图像进行图像处理,生成了构成第1动态图像数据的第1处理图像数据,但也可以是例如,从摄影图像(有效区域)中切出预定的区域,对该切出的区域的图像进行图像处理,生成构成第1动态图像数据的第1处理图像数据。
此外,在本发明的一个实施方式中,第1图像也可以比第2图像视角小。
此外,在本发明的一个实施方式中,记录控制部274使第1动态图像数据与第2动态图像数据以能够同步再现的方式记录到记录介质22,但是,能够使第1动态图像数据与第2动态图像数据同步并进行显示即可,也可以将第1动态图像数据与第2动态图像数据分时地记录到记录介质22。
此外,在本发明的一个实施方式中,在再现时从第2动态图像切换到第1动态图像的情况下,也可以是,根据摄影时的触摸信息,一边以第2动态图像被吸入到第1动态图像中的方式渐渐地缩小显示区域一边进行转变。具体而言,如图10所示,显示控制部275根据摄影时的触摸信息,一边在对应于第2视角的第1动态图像的位置渐渐地缩小第2动态图像的显示区域并返回,一边放大第1动态图像的显示区域(图10的(a)→图10的(b)→图10的(c)→图10的(d)。然后,显示控制部275将第2动态图像在子画面区域中显示(图10的(e))。由此,用户能够容易地掌握在摄影时触摸的位置。
此外,在本发明的一个实施方式中,在用户在摄影时经由触摸面板195触摸了实时取景图像的情况下,显示控制部275将表示第2视角的位置的区域在实时取景图像上重叠地进行显示,但是,也可以切出包含触摸位置的区域并在实时取景图像上的预定的位置显示。具体而言,也可以是,如图11所示,在用户经由触摸面板195触摸了显示部20显示的实时取景图像的情况下,显示控制部275根据触摸检测部272的检测结果,对包含触摸位置的区域进行放大,并在实时取景图像上的左上重叠地显示第2视角的第2动态图像A10。由此,能够通过触摸确认隐蔽的被摄体,并且能够更直观地掌握第2图像的内容。
此外,在本发明的一个实施方式中,显示控制部275根据触摸信息,伴随表现效果切换了第1图像和第2图像各自的显示区域,但也可以是例如,对第1图像和第2图像进行合成(多重曝光),展现渐渐地切换对该第1图像与第2图像进行合成的合成比率的表现效果,在显示部20中显示。此外,也可以使用第1图像和第2图像分别淡出、淡入,交叠以及交叉淡变等的表现效果(映像效果)作为表现效果在显示部20中显示。
此外,在本发明的一个实施方式中,记录控制部274分别将第1动态图像和第2动态图像记录到记录介质22,但也可以如图12所示,在使第1动态图像与第2动态图像同步的同时进行合成,由此记录到记录介质22(期间(a)、期间(c))。该情况下,如图12所示,记录控制部274也可以删除相同视角的记录期间的图像而记录到记录介质(期间(b))。
此外,在本发明的一个实施方式中,区域设定部273也可以将包含由脸检测部271检测到脸的区域设定为第2图像处理部15要从摄影图像中切出的区域。另外,也可以是,在脸检测部271从摄影图像中检测到多个脸的情况下,区域设定部273将包含脸的大小最大的脸的区域设定为第2图像处理部15要从摄影图像中切出的区域。此外,也可以是,仅在脸检测部271从摄影图像中检测到的脸是笑脸的情况下,区域设定部273将包含该笑脸的脸的区域设定为第2图像处理部15要从摄影图像中切出的区域。
此外,在本发明的一个实施方式中,仅是第1动态图像和第2动态图像,但也可以记录与第1动态图像和第2动态图像的视角不同的第3动态图像。此外,也可以记录多个视角的动态图像。此外,第1动态图像的视角也可以不是广角侧(第1视角)而是望远侧(第2视角)。
此外,在本发明的一个实施方式中,也可以是,以与摄影图像不同的视角和/或拍摄位置切出第1图像,或者切出第1图像与第2图像的双方。
此外,在本发明的一个实施方式中,也可以是,第1动态图像已经是在摄像元件8已取得的原图像(摄影图像)中例如以必要的长宽比切取预定区域而得到的动态图像,第2动态图像不是从第1动态图像,而是从原图像切取而得到的。实际上,多数情况下用照相机摄影的静止图像的图像长宽比与例如在电视机中进行再现的动态图像用的长宽比不同。因此,能够容易想到出从原图像分别取出第1动态图像和第2动态图像的方法,在这样的方法中当然可以应用本发明。
此外,在本发明的一个实施方式中,表述为“动态图像数据”而使说明简单化,但严密地讲,在这其中,有用于实时取景(实时取景)的被调整大小后的静止图像的连续的图像数据,也有为了记录而被帧间压缩后的图像数据。即便是再现时的动态图像数据,也以预定的格式被文件化等。此外,对用户来讲,由于都是显示相同的图像,因而存在未识别出这些不同的情况,此外,在技术上,也存在根据设计在记录时不进行帧间压缩的情况。鉴于这些情况,包括对摄像元件8的输出进行图像处理后得到的图像数据而进行“动态图像数据”这样的表述。
在本发明中,第1图像与第2图像可以是视角不同的图像,也可以是分别由两个照相机拍摄的2个图像。第1图像连续记录是因为,通常也想连续观看第2图像,细小截断的图像用户观看时不自然。
另外,在本发明中,以将镜头部2和摄像元件8设于1个壳体的数码照相机为例进行了说明,但是,也可以应用于由镜头部2装卸自如的镜头装置和主体部构成的数码单反照相机。
此外,本发明的摄像装置除数码照相机以外,还能够应用于例如可以安装辅助设备等的数码照相机、数码摄像机以及具有摄影功能的移动电话或平板式便携设备等电子设备。
在本说明书的流程图的说明中,使用“首先”、“然后”、“接着”等表达示出步骤间的处理的前后关系,但是,实施本发明所需要的处理的顺序并不因这些表达而唯一地决定。即,在本说明书中记载的流程图中的处理的顺序能够在没有矛盾的范围内进行变更。
这样,本发明在此可以包含未记载的各种实施方式,可以在由权利要求书确定的技术思想的范围内进行各种设计变更等。
(付记1)
一种摄像装置,可以拍摄视角和/或拍摄位置不同的第1图像和第2图像,所述摄像装置的特征在于,具有:
摄像部,其对被摄体进行摄像并生成该被摄体的图像数据;
显示部,其可以显示与所述摄像部生成的所述图像数据对应的摄影图像;
触摸面板,其设于所述显示部的显示画面上,检测来自外部的物体的触摸,输出对应于检测到的触摸位置的位置信号;
区域设定部,其将与如下位置对应的所述摄影图像的区域,设定为要从摄影图像中作为所述第2图像切出的区域,该位置对应于从所述触摸面板输入的位置信号;
图像处理部,其从所述摄影图像依次切出所述区域设定部设定的所述区域,由此生成所述第2图像在时间上连续的第2动态图像数据;以及
记录控制部,其进行以下控制:分别记录通过在时间上连续拍摄所述第1图像而得到的第1动态图像数据和所述第2动态图像数据。