CN102316262B - 显示控制装置 - Google Patents

Abstract

本发明提供一种控制装置，具有：图像数据生成部，其按每规定单位以规定的处理顺序进行生成图像数据的生成处理；和控制部，其按上述每规定单位以上述处理顺序在显示部进行基于上述图像数据的显示处理，上述控制部延长作为到上述显示处理的开始为止的期间的第二期间，延长的程度相当于作为与上述生成处理相关的期间的第一期间变长的上述规定单位的图像数据。

Description

显示控制装置

技术领域

本发明涉及按每规定单位进行显示处理的显示控制装置。

背景技术

以往，公知一种利用液晶显示器来显示用图像传感器拍摄到的图像的摄影装置，且为了防止在液晶显示器上显示的显示图像与实际的被摄体相比出现延迟的这一问题而开发了各种技术。例如，专利文献1中公开了在具有记录1帧的图像信号的VRAM的摄影装置中，在针对VRAM结束1帧的图像信号的写入之前读出图像信号且液晶显示器进行显示的技术。具体而言，专利文献1描述了如下所示的构成：使图像传感器用于记录1帧的图像信号所需的摄影周期与用于在液晶显示器上显示1帧的图像的再现周期成为公共，并且，针对各帧，在从摄影周期的开始起延迟了相位差ΔT的这一时刻，开始再现周期。

专利文献1：JP特开2007-243615号公报

在专利文献1的技术中，针对各帧定义了一定的相位差ΔT。即，在专利文献1中记述了按每个模式定义相位差ΔT的内容(专利文献1、第0057段)，另外，还记述了相位差ΔT被确定为不会在写入之前进行针对VRAM的图像数据的读出(专利文献1的第0055、0056段)。因此，虽然可按每一个模式进行变动，但在相同的模式中，相位差ΔT对于各帧来说是公共的值，对成为显示对象的图像的所有行提供公共的相位差ΔT。

但是，在进行用于根据图像传感器的输出数据而在显示部显示被摄体图像的图像处理的构成中，各种图像处理所需的期间可按每一行而不同。因此，为了通过设置公共的相位差ΔT从而在成为显示对象的图像的所有行中不在写入之前进行图像数据的读出，需要留出充裕时间来定义相位差ΔT，以便不会先进行该读出。例如，需要考虑：当作需要针对所有的行的图像数据的准备所需的期间的最大值来定义相位差ΔT。即，即使需要针对所有的行的图像数据的准备所需的期间的最大值，也需要定义足够长的相位差ΔT，以便无论在哪一行中图像数据的读出都不会先于写入进行。

因此，在图像数据的准备所需期间可根据行进行变动的构成中，有如下问题：在图像数据的准备所需期间短的行中，从图像数据的准备结束起到被显示在液晶显示器上为止的延迟会不必要地变长。这不局限于处理单位为1行。

发明内容

本发明就是鉴于上述课题而实现的，其目的之一就是在图像数据的准备所需期间根据规定单位而发生变动的情况下缩短显示延迟。

为了达到上述目的，在本发明中，图像数据生成部按每规定单位以规定的处理顺序进行生成图像数据的生成处理。另外，控制部以与图像数据的生成处理结束相同的处理顺序进行按多个规定单位的显示处理。在此，控制部使作为到上述显示处理的开始为止的期间的第二期间的长度达到作为与上述生成处理相关的期间的第一期间变长的上述规定单位的图像数据的程度。另外，第一期间能设置成：从处理顺序为针对第N(N为自然数)个的规定单位的生成处理结束起，到处理顺序为针对第(N+1)个的规定单位的生成处理结束为止的期间；第二期间能设置成：从针对第N个规定单位的生成处理结束起，到针对第(N+1)个规定单位的显示处理的开始为止的期间。通过进行这种设置，在图像数据的准备所需的期间根据规定单位发生变动的情况下，针对图像数据的准备所需的期间长的规定单位，也能使从图像数据的生成处理结束到显示处理开始为止的延迟长到符合需要。

另外，即使在第一期间是从处理顺序为针对第N个的规定单位的生成处理结束起到处理顺序为针对第(N+1)个的规定单位的生成处理结束为止的期间，即第二期间是从第N个规定单位的显示处理的开始起到第(N+1)个规定单位的显示处理的开始为止的期间的情况下，也是第(N+1)个规定单位的生成处理结束得越迟，第(N+1)个规定单位的显示处理开始得越迟。

在此，可设定1行或多行等作为规定单位。另外，通过将各规定单位的各自的生成处理的结束设定为用于开始显示处理的触发条件，能防止各规定单位的显示处理的开始先于生成处理的结束。另外，将生成处理的结束设定为显示处理的开始的触发条件是指：生成处理的结束是使显示处理开始的必要条件，并且在生成处理结束的同时或者经过规定期间之后开始显示处理。

在此，图像数据的准备所需的期间根据规定单位而发生变动越大，本发明的效果就越显著。这是因为，根据本发明，能防止与图像数据的准备所需的期间的规定单位之间的差异对应的延迟。作为图像数据的准备所需期间根据规定单位发生变动的处理例，可以举出：在前期步骤中使用按每个前期步骤规定单位所生成的数据进行的处理，即使用与处理对象的规定单位的位置对应的数量的前期步骤规定单位的数据的处理。在这种情况下，直至准备根据前期步骤规定单位的数量所使用的数据为止进行待机的时间会发生变动，因此，根据处理对象的规定单位的位置即N，图像数据的准备所需要的期间变得不同。而且，作为图像数据的准备所需的期间根据规定单位而进行变动的处理的更具体的例子，也可以进行消除失真像差的失真校正。在该失真校正中，根据从摄影传感器(例如，面型图像传感器)获取到的输出数据，生成各规定单位的图像数据，并且，根据各规定单位的位置，所需要的输出数据的数据量发生变动。即，由于在根据各规定单位的位置提供所需要的输出数据之前进行待机的时间会发生变动，因此，图像数据的准备所需的期间会根据规定单位而变动。这是因为：失真像差在很大程度上由图像中的位置来决定，越是失真像差大的位置的规定单位，越需要摄影传感器的宽范围的图像。另外，第一期间既可以包括生成处理所需的可变期间和规定的不变期间，也可以具有与N的值相应的规定的倾向。第二期间也可以具有与N的值相应的规定的倾向。

另外，图像数据生成部也可以执行根据规定单位所示的图像的更新频度的高低而使所需期间变动的生成处理。就第一图像和更新频度比该第一图像高的第二图像而言，对于表示第二图像的规定单位的图像数据的准备，需要时间。这是因为对于更新频度高的第二图像，必须新生成图像数据的概率变高。另一方面，对于更新频率低的第一图像，由于只要将已经生成的图像数据从存储器中读出即可的概率变高，因此，图像数据的准备所需要的时间变短。所以，在合成第一图像和第二图像的情况下，就只包括第一图像的规定单位和包括第二图像的规定单位而言，图像数据的准备所需要的时间会发生变动。另外，在对第一图像和第二图像设定透明度而使两者重合的情况下，包括第二图像不透明(透明度小于100％)地被重叠的像素在内的规定单位的图像数据的准备所需要的时间会变长。

在此，第一图像只要是与第二图像相比更新频度相对少的图像即可。例如，在将只在进行照相机的摄影条件等的显示并操作时图像被更新的OSD(OnScreenDisplay)图像与基于摄影传感器的输出信号的被摄体图像进行合成的情况下，OSD图像成为第一图像。另外，作为第二图像的被摄体图像也可以是进行了上述失真校正的图像。

另外，在显示计算机图形的情况下，对移动比较少的背景图像和移动多的目标进行分别描绘，将该背景图像与描绘该目标的图像进行合成。在这种情况下，描绘移动多的目标的图像成为更新频度高的第二图像，特别是在作为目标而描述三维目标的情况下，包括第二图像在内的规定单位的图像数据的准备所需要的时间将长期化。即使在这种情况下，根据本发明也能针对只包括图像数据的准备所需要的时间短的第一图像在内的规定单位，早期地开始显示处理。特别是在利用本发明进行计算机游戏的显示的情况下，能实现响应性高的显示。

另外，图像数据生成部也可以执行图像数据的准备所需要的时间根据属于规定单位的像素所显示的灰度值而发生变动的生成处理。例如，在只对从色域的外缘到规定范围内的灰度值执行色域映射或色域裁切等的情况下，包括表示该范围的灰度值的像素在内的规定单位的图像数据的准备所需要的时间比不包括显示该范围的灰度值的像素在内的规定单位长。而且，例如，在只对属于记忆色的色域的灰度值进行记忆色校正等的情况下，包括表示该色域的灰度值的像素在内的规定单位的图像数据的准备所需要的时间比不包括显示该色域的灰度值的像素在内的规定单位长。

而且，如本发明这样，规定单位的生成处理的结束越早显示处理的开始越早的方法，可用作电路或程序或方法。另外，以上的装置、电路、程序和方法有时可以作为单独的装置来实现，有时也可以在具有复合功能的装置中利用共有的部件来实现，包括各种方式。

附图说明

图1是涉及本发明的实施方式的框图。

图2是表示面型图像传感器和液晶面板的像素数的图。

图3是举例表示面型图像传感器的输出数据的输出法的图。

图4(4A)是说明桶型像差的情况下的尺寸调整的示意图；(4B)是说明线卷型像差的情况下的尺寸调整的示意图。

图5是尺寸调整的时序图。

图6是向本实施方式的显示部施加的信号的时序图。

图7是本发明的其他实施方式的时序图。

图8是本发明的其他实施方式的框图。

图中：

1…摄影装置

10…交换透镜单元

11…透镜

12…光圈

13…快门

14…低通滤波器

15…面型图像传感器

16…ROM

20…图像数据生成部

20a…像素插值部

20b…颜色再现处理部

20c…滤波处理部

20d…伽马校正部

20e…尺寸调整处理部

201…图像数据输出部

30…时序发生器

30a…进度信息获取部

30b…显示控制部

40…显示部

41…液晶面板驱动器

42…液晶面板

52a…行缓存器

52b…行缓存器

52c…行缓存器

52d…行缓存器

55…操作部

具体实施方式

在此，按照以下的顺序对本发明的实施方式进行说明。

(1)摄影装置的构成

(2)水平同步信号的控制

(3)其他的实施方式

(1)摄影装置的构成

图1表示：本发明的一个实施方式的包括显示控制装置的摄影装置1中具有：交换透镜单元10、快门13、低通滤波器14、面型图像传感器15、ASIC200、时序发生器30、显示部40、CPU50、VRAM51、SD-RAM52、ROM53、RAM54和操作部55。CPU50可以适当地利用VRAM51、SD-RAM52和RAM54来执行记录在ROM53中的程序，CPU50利用该程序，根据针对操作部55的操作来执行生成表示由面型图像传感器15所拍摄的被摄体图像数据的功能。并且，操作部55具有：快门按钮、作为用于切换模式的模式切换单元的拨盘开关、用于切换光圈和快门速度的拨盘开关以及用于操作各种设定菜单的按钮，使用者通过对该操作部55进行操作而对摄影装置1发出各种指示。

显示部40是显示表示成为摄影对象的被摄体图像，且让使用者掌握拍摄前的被摄体的样子以及拍摄条件的EVF(电子取景器：ElectronicViewFinder)，本实施方式的摄影装置1是具有EVF的无反光镜数码照相机。显示部40具有：未图示的接口电路、液晶面板驱动器41、液晶面板42和未图示的目镜等。在本实施方式中，液晶面板42是按每个像素具有与3种颜色的彩色滤光片对应的3个子像素的高温多晶硅TFT(ThinFilmTransistor)，像素的位置由正交坐标系中的坐标规定。另外，由在与一方的坐标轴平行的方向上排列的多个像素构成行，多个行构成为在与另一方的坐标轴平行的方向上排列。在本说明书中，将与行平行的方向称为水平方向，将与行垂直的方向称为垂直方向，将由液晶面板42的所有像素构成的1个画面称为1帧。

液晶面板驱动器41对各子像素施加电压，将用于驱动液晶的信号输出给液晶面板42。液晶面板42具有未图示的栅极驱动器以及源极驱动器，栅极驱动器根据从液晶面板驱动器41输出的信号来控制各行的各像素的显示定时，源极驱动器通过对被作为显示定时的行的各像素施加与各像素的图像数据相应的电压来进行显示。即，液晶面板驱动器41输出用于进行在液晶面板42上的显示的各种信号，这些信号包括：例如，规定用于进行1帧的显示的期间的垂直同步信号(DVsync)、规定用于进行1行的显示的期间的水平同步信号(DHsync)、规定各行内的图像数据的获取期间的数据激活信号(DDactive)、规定各像素的图像数据的获取定时等的数据时钟信号(DDotclock)和各像素的图像数据(Data)。

并且，本实施方式的摄影装置1具有作为控制部的时序发生器30，上述垂直同步信号DVsync、水平同步信号DHsync、数据激活信号DDactive和数据时钟信号DDotclock通过该时序发生器30生成。即，时序发生器30具有显示控制部30b，该显示控制部30b具有生成与从时钟信号生成单元输出的规定周期的时钟信号的变化定时同步地使信号电平变化的信号的分频电路等。并且，时序发生器30通过显示控制部30b的控制，在事先规定的定时，生成信号电平变化的垂直同步信号DVsync、数据激活信号DDactive和数据时钟信号DDotclock。另外，在本实施方式中，水平同步信号DHsync的输出定时是可变的，如后面所述的那样，输出定时是由尺寸调整处理部20e的处理结果来决定的。

另外，本实施方式中的液晶面板42是在水平方向上具有1024个、且在垂直方向上具有768个有效像素的像素数为XGA尺寸的面板，通过调整液晶面板驱动器41所输出的图像数据Data的内容以及输出定时，能够在任意的位置上进行与图像数据Data对应的灰度的显示。在本实施方式中，在液晶面板42的事先规定的区域，根据面型图像传感器15的输出数据，显示被摄体图像，另外，在事先规定的区域，显示表示摄影条件的文字。即，在液晶面板42上，将表示摄影条件的文字与被摄体图像一起进行OSD显示。并且，虽然液晶面板42在水平方向以及垂直方向上具有多于有效像素的像素，但在本说明书中为了简化而省略对有效像素以外的像素的处理的说明。

交换透镜10具有在面型图像传感器15上成像被摄体图像的透镜11和光圈12。交换透镜单元10可更换地被安装于未图示的壳体。作为面型图像传感器15，可以使用具有拜耳排列的彩色滤光片和通过光电转换将与光量对应的电荷蓄积于每个像素的多个光电二极管的CMOS(互补性金属氧化物半导体：ComplementaryMetalOxideSemiconductor)图像传感器和CCD(ChargeCoupledDevice)图像传感器等的固体拍摄元件。面型图像传感器15的像素的位置由正交坐标系的坐标规定，由在与一方的坐标轴平行的方向上排列的多个像素构成行，且多行构成为在与另一方的坐标轴平行的方向上排列。在本说明书中，将与行平行的方向称为水平方向，将与行垂直的方向称为垂直方向。将由面型图像传感器15的部分像素构成的1个画面称为1帧。

在本实施方式中，面型图像传感器15也进行与时序发生器30所输出的各种信号同步的操作。即，时序发生器30输出：规定用于读出1帧的光电二级管的检测结果的期间的垂直同步信号(SVsync)、规定用于读出1行的光电二极管的检测结果的期间的水平同步信号(SHsync)和规定各像素的图像数据的读出定时等的数据时钟信号(SDotclock)。面型图像传感器15根据垂直同步信号SVsync开始1帧的输出数据的输出，在由水平同步信号SHsync规定的期间内，在与数据时钟信号SDotclock相应的定时，依次读出表示与面型图像传感器15的部分像素对应的光电二极管的检测结果的输出数据。

ASIC200具有图像数据生成部20，该图像数据生成部20由使用事先保存在SD-RAM52中的多行的行缓存器52a～52d来进行利用管线(pipeline)处理生成用于由显示部40显示被摄体图像的图像数据的处理的电路构成。该ASIC200也可以是用于图像处理的DSP(DigitalSignalProcessor：数字信号处理器)。并且，多行的行缓存器52a～52d也可以设置在图像数据生成部20等中。显示部40根据所生成的图像数据，在液晶面板42上显示被摄体图像。即，使用者可以一边使用显示部40作为EVF，一边确认被摄体。

另外，在使用者操作操作部55进行拍摄指示的情况下，根据拍摄指示，面型图像传感器15根据垂直同步信号SVsync开始1帧的输出数据的输出，在由水平同步信号SHsync规定的期间内，在与数据时钟信号SDotclock相应的定时，依次读出表示与面型图像传感器15的所有有效像素对应的光电二极管的检测结果的输出数据。然后，图像数据生成部20利用SD-RAM52等生成JPEG等形式的图像数据，并将该图像数据记录在未图示的移动存储器等中。即，使用者能够生成表示被摄体图像的图像数据。

(2)水平同步信号的控制：

在考虑到将表示被摄体图像数据记录在移动存储器中，进行印刷等的情况下，为了获得高质量的图像数据，面型图像传感器15的像素数优选多于规定数量。因此，本实施方式中的面型图像传感器15的有效像素数如图2所示，在水平方向上为5400像素，在垂直方向上为3600像素。面型图像传感器15在水平方向以及垂直方向上具有比有效像素多的像素，但是，在本说明书中为了简化而省略对有效像素以外的像素的处理的说明。

另一方面，如上所述，液晶面板42的构成为：在水平方向上具有1024个像素，在垂直方向上具有768个像素，在事先规定的区域(图2所示的被摄体图像显示区域R1)显示被摄体图像。在本实施方式中，为了在维持面型图像传感器15的纵横比(2∶3)的状态下尽量将被摄体图像显示得大，而将使上边以及左右边与液晶面板42的上边以及左右边相接的纵横比2∶3的矩形区域作为显示被摄体图像的被摄体图像显示区域R1。另外，剩下的区域(图2所示的信息显示区域R2)是表示拍摄条件的文字的显示区域。因此，液晶面板42上的被摄体的被摄体图像显示区域R1由水平方向上的1024个像素和垂直方向上的682个像素构成。如上所述，在本实施方式中，面型图像传感器15的像素数与液晶面板42的像素数不一致。

并且，显示部40上的显示被用于使用者对被摄体的确认，因此，如果从由面型图像传感器15来拍摄被摄体的定时开始到由显示部40显示该被拍摄到的被摄体图像的定时为止的延迟变大，且达到使用者可识别的程度的长度，则用EVF目视确认的被摄体与被记录的被摄体图像之间会出现偏差，而成为很难以使用的EVF。因此，在使用显示部40作为EVF时，要求延迟要少。

因此，由于以人难以目视确认的极短的延迟在显示部40上显示由面型图像传感器15所拍摄到的图像，因此，在本实施方式中，使用面型图像传感器15以及图像数据生成部20进行各种处理，显示部40具有用于高速显示该处理结果生成的图像数据的构成。

即，本实施方式的面型图像传感器15中设置有可执行隔行扫描的电路，该电路以在垂直方向上排列的行中的n个(n为奇数)当中有1个的比例来读出光电二极管的检测结果。另外，还设有加法器，其在通过相同颜色的彩色滤光片进行光电转换的光电二极管中，将在水平方向上排列的m个(m为自然数)的检测结果相加，将其相加之和设为m分之一(即m个的检测结果的相加平均)进行输出。在本实施方式中，在使显示部40作为EVF发挥功能时，在面型图像传感器15中，通过执行用隔行扫描以及加法器进行的处理，来间隔剔除水平方向以及垂直方向的像素，输出比面型图像传感器15所具有的像素数少的像素数的输出数据，由此，高速拍摄被摄体。

即，面型图像传感器15在使显示部40作为EVF发挥功能的实时显示模式下，根据水平同步信号SHsync，进行按n个当中有1个的比例以垂直方向的行作为读出对象的读出。另外，根据数据时钟信号SDotclock进行将利用加法器把m个的光电二极管的检测结果相加平均后得到的结果作为输出数据而输出的处理。图3表示在本实施方式中将比面型图像传感器15所具有的像素数少的像素数的输出数据进行输出的方法的一个例子。在该图3中，标注了R的矩形表示与透过红色的波段的光的彩色滤光片对应的光电二极管；标注了G的矩形表示与透过绿色波段的光的彩色滤光片对应的光电二极管；标注了B的矩形表示与透过蓝色波段的光的彩色滤光片对应的光电二极管。

如图3所示，在用矩形表示的各像素的彩色滤光片为拜耳排列的情况下，由于只有1种颜色的彩色滤光片与各像素对应，因此，各像素的颜色需要利用周围的像素进行插值。因此，在通过间隔剔除行来获取输出数据时，需要以进行间隔剔除之后相邻的行的彩色滤光片成为不同的颜色的方式进行间隔剔除。因此，在本实施方式中，如果将n设为奇数，并按n行当中1行的比例来获取各行的光电二极管的检测值作为输出数据，则通过插值能获得可确定各像素的颜色的输出数据。在本实施方式中，为了使面型图像传感器15的垂直方向的行数尽可能地接近液晶面板42的被摄体图像显示区域R1的垂直方向的行数，因而以5行当中1行的比例获得输出数据。在图3中，用向左的箭头表示以5行当中1行的比例获取输出数据的情形，在该例子中，垂直方向的行数为1/5，即为720。

而且，在彩色滤光片为拜耳排列的情况下，在水平方向上相邻的像素的颜色不同，并且每隔一个就排列一个颜色相同的彩色滤光片。因此，对于在水平方向上排列的像素，每隔一个就进行m个相加，并使其和为m分之一(即，求出m个的检测结果的相加平均)，由此，能实质上进行间隔剔除处理。在本实施方式中，由于利用加法器进行相加的情况下的画质上的制约等原因，而将m设定为3。在图3中表示了如下结构：在最下面所示的行中，将通过绿色的彩色滤光片进行光电转换且在水平方向上排列的3个光电二极管的检测结果利用加法器S1进行加法运算；将通过红色的彩色滤光片进行光电转换且在水平方向上排列的3个光电二极管的检测结果利用加法器S2进行加法运算。在该例子中，水平方向的像素数为1/3、即为1800像素。在图2中，用虚线的矩形15a表示面型图像传感器15中的间隔剔除处理后的数据大小。

如上所述，在面型图像传感器15中，可将垂直方向的行数设为720行，将水平方向的像素数设为1800像素。但是，在这种间隔剔除处理中，由于具有在垂直方向上n为奇数，且在水平方向上m为自然数等的画质上的制约，因此，很难使间隔剔除处理后的像素数与液晶面板42的被摄体显示区域R1的像素数一致。另外，如上所述，在n与m不同的情况下，被摄体与液晶面板42的被摄体图像的纵横比会不同。

因此，在本实施方式中，构成为：在图像数据生成部20中，对间隔剔除处理后的输出数据再进行尺寸调整，生成用于在液晶面板42的被摄体图像显示区域R1进行显示的图像数据。即，图像数据生成部20具有：像素插值部20a、颜色再现处理部20b、滤波处理部20c、伽马校正部20d、尺寸调整处理部20e和图像数据输出部20f。并且，在生成图像数据的过程中通过利用尺寸调整处理部20e来变更垂直方向以及水平方向的像素数，生成与液晶面板42的被摄体图像显示区域R1的像素数相等的图像数据。另外，在本实施方式中，在进行尺寸调整时，进行消除由于交换透镜单元10的透镜11的光学特性引起的失真像差的失真校正。

行缓存器52是暂时记录从面型图像传感器15输出的间隔剔除处理后的输出数据的缓冲存储器，如果间隔剔除处理后的输出数据从面型图像传感器15被输出，则通过图像数据生成部20的处理，该输出数据被暂时记录在行缓存器52a中。像素插值部20a一边从行缓存器52a获取为了生成在拜耳排列中各像素缺欠的2通道的颜色所需要的像素数的数据，一边通过插值处理来生成该2通道的颜色。其结果是，在各像素中生成3通道的数据。接下来，颜色再现处理部20b通过根据所生成的数据进行3×3的行列运算，从而进行用于颜色匹配的颜色变换处理。通过颜色变换处理而被静止的数据被暂时记录在行缓存器52b中。接下来，滤波处理部20c通过滤波处理，执行清晰度调整或噪声间隔剔除处理等。然后，伽马校正部20d执行伽马校正，用于消除面型图像传感器15的输出数据的灰度值所示的颜色与在显示部40处理的图像数据的灰度值所示的颜色的特性差。通过伽马校正而生成的输出数据被暂时记录在行缓存器52c中。

在该行缓存器52c中按每一行、即按线的顺序所记录的数据的像素数是在面型图像传感器15中进行了间隔剔除处理的像素数。即，按线的顺序记录了：在垂直方向上720行、且在水平方向上1800像素的数据。尺寸调整处理部20e依次参照在该行缓存器52c中所记录的数据，进行插值运算处理，由此，将间隔剔除处理后的输出数据变换成被摄体显示区域R1的像素数(水平方向上1024个，垂直方向上682个)，并进行消除由于透镜11的光学特性引起的失真像差的校正。

尺寸调整是按照线顺序来决定与被摄体显示区域R1的各像素对应的各通道的灰度值的处理。具体而言，在间隔剔除处理后的输出数据中确定与被摄体显示区域R1的各像素对应的参照区域，并执行根据属于该参照区域的参照像素所示的各通道的灰度值的插值运算处理。例如，作为插值运算处理能采用双三次卷积法或双线性法等。被摄体显示区域R1的各像素与间隔剔除处理后的输出数据中的参照区域的位置的对应关系根据从交换透镜单元10所具有的ROM16读出的失真像差数据来确定。另外，也可以为单个的交换透镜单元10准备多个失真像差数据，并读出与交换透镜单元10的变焦或焦距的状态对应的数据。而且，也可以从交换透镜单元10所具有的ROM16中只读出交换透镜单元10的机种信息，CPU50生成与机种信息对应的失真像差数据，或从ROM53中读出。

图4A、4B是分别说明桶型像差和线卷型像差的图。在桶型像差的情况下，能看到表示图像向外侧膨胀的失真曲线(表示水平设置摄影装置1拍摄了水平直线的图像的水平失真曲线以及表示拍摄了铅垂直线的图像的垂直失真曲线)；在线卷型像差的情况下，能看到表示向中央收缩的失真曲线。在本实施方式中，以下假设发生了与垂直方向以及水平方向的各自的中央轴呈线对称的失真像差的情况进行说明。无论在桶型像差的情况下还是在线卷型像差的情况下，越是水平失真曲线的中央处，垂直方向的像差幅度变得越大。此外，无论在桶型像差的情况下还是在线卷型像差的情况下，越是垂直方向的端部的失真曲线，垂直方向的像差幅度变得越大。将水平失真曲线的中央处的垂直方向的像差幅度用β表示，特别是将垂直方向的两端的水平失真曲线的像差幅度β用βmax表示。

从ROM16读出的失真像差数据是表示被摄体显示区域R1的各像素与在间隔剔除后的输出数据中设定的参照区域RaN的位置的关系的数据。图4A、4B表示了：与属于被摄体显示区域R1中的最初的(N＝1)行和中间的(N＝341)行和最终的(N＝682)行的尺寸调整后的各像素相对应地设定的参照区域RaN(Ra1、Ra341、Ra682)的重心位置。在被摄体显示区域R1中的各行中，在使尺寸调整对象的像素如箭头A1、A341和A682所示移动的情况下，参照区域RaN(Ra1、Ra341、Ra682)的重心位置沿着箭头A1、A341和A682的轨迹移动。失真像差数据规定了被摄体显示区域R1的各像素与参照区域RaN的位置的关系，以使该轨迹的形状与水平失真曲线的形状一致。另外，N为1～682的整数，其是指表示被摄体显示区域R1中的各行的生成处理以及显示处理的处理顺序的行编号。另外，参照区域RaN被设定为垂直方向和水平方向的宽度为α(像素)的正方形。另外，M是相当于插值运算处理前的垂直方向的行数的1～720的整数，其是指表示在1帧的间隔剔除后的各行的输出数据被缓存到行缓存器52c的顺序的行编号。插值运算处理前的垂直方向的行相当于前步骤行，按每一前步骤行生成输出数据的伽马校正部20d相当于前步骤。

在插值运算处理中，被摄体显示区域R1的各像素所示的灰度值被决定为接近所对应的位置的参照区域RaN的各像素所示的灰度值的灰度值。即，从概念上来讲，输出数据所示的图像的失真曲线上的各像素会被排列在被摄体显示区域R1中的直线状的行上。通过像这样在沿着水平失真曲线的位置上设定参照区域RaN，能够实施消除失真像差的校正，并且变换成被摄体显示区域R1的像素数的图像数据。

如上所述，间隔剔除后的输出数据在行缓存器52c上从垂直方向上端的行(M＝1)起按线顺序被缓存，与此同时，从垂直方向上端的行(M＝1)起按线顺序进行尺寸调整。在此，当对被摄体显示区域R1中的某一行进行尺寸调整时，需要将属于针对该行所设定的各参照区域RaN的参照像素中的垂直方向上的最下方的参照像素(以下，记述为最下方参照像素，在图4A、4B中，用影线表示最下方参照像素所属的参照区域RaN(Ra1、Ra341、Ra682)。另外，如桶型像差的情形下的N＝1那样，在水平失真曲线在上侧呈凸起的行上，在左右两端各自产生一个最下方参照像素所属的参照区域RaN，但是，在图4中，为了简化而省略右侧的最下方参照像素所属的参照区域RaN。)的间隔剔除后的输出数据缓存在行缓存器52c中。这是因为：只要没有将属于参照区域RaN的像素的间隔剔除后的输出数据都缓存，就不能对该行的所有像素执行插值运算处理。因此，在对各行执行插值运算处理时，在各行的插值运算处理所需的输出数据被缓存到行缓存器52c之前，产生缓存待机期间。

以下，对桶型像差的情况下的缓存待机期间进行说明。如图4A所示，在桶型像差的情况下，设有一内侧的矩形(用2点划线表示)，该矩形的边与输出数据所示的图像的外缘的距离是参照区域RaN的宽度的一半(α/2)，在由与该矩形的4个边内切的左右的一对垂直失真曲线以及上下的一对水平失真曲线围成的桶型区域内，设定参照区域RaN的重心位置。在桶型像差的情况下，在输出数据所示的图像的上半部的区域中，由于水平失真曲线在上侧呈凸起，因此，被摄体显示区域R1中的最初(N＝1)的行的最下方参照像素成为属于在水平失真曲线的端部设定的参照区域Ra1的像素中的最下方的像素。因此，被摄体显示区域R1中的最初(N＝1)的行的最下方参照像素在间隔剔除后的输出数据中属于第M1＝(α+βmax)行。因此，直至待机到只有M＝1～M1的输出数据被缓存到行缓存器52c为止，才可进行最初(N＝1)的行的插值运算处理。另外，在被摄体显示区域R1中的最初和最终的(N＝1、682)行中，应该缓存的间隔剔除后的输出数据的行数成为最大(α+βmax)，行缓存器52c优选具有最低限缓存(α+βmax)行的输出数据的容量。

如果第N行的插值运算处理结束，则在包括第(N+1)行的最下方参照像素的行的输出数据被缓存到行缓存器52c中之前产生缓存待机期间。另外，第N行的最下方参照像素所属的行以及比该行更位于垂直方向上方的行的输出数据已经被缓存到行缓存器52c中，因此，在第(N+1)行的插值运算处理中能够立刻参照。即，在将相当于第(N+1)行的最下方参照像素的垂直位置与第N行的最下方参照像素的垂直位置的差分的行的输出数据重新缓存到行缓存器52c中的阶段，第(N+1)行的缓存待机时间结束。

在本实施方式中，如图4A的放大图所示，针对第N行设定了参照区域RaN的重心位置的水平失真曲线与针对第(N+1)行设定了参照区域RaN+1的重心位置的水平失真曲线在垂直方向上会具有一定的垂直变位ΔY。即，从与第N行对应的水平失真曲线起向下方垂直变位ΔY的水平失真曲线成为与第(N+1)行对应的水平失真曲线。另外，在桶型像差中，垂直变位ΔY以水平失真曲线的水平方向的端部的垂直位置为基准。

在此，在桶型像差的情况下，由于在输出数据所示的图像的上半部分的区域中，水平失真曲线在上侧呈凸起，因此，最下方参照像素变成属于在水平失真曲线的端部设定的参照区域RaN(Ra1～Ra341)。即，最下方参照像素属于在被赋予了垂直变位ΔY的水平失真曲线的端部设定的参照区域RaN(Ra1～Ra341)。因此，第(N+1)行的最下方参照像素的垂直位置会从第N行的最下方参照像素的垂直位置向下方移动垂直变位ΔY。

即，为了对被摄体显示区域R1的上半部分的区域中的第(N+1)(N＝2～341)行进行插值运算处理，而产生等待与垂直变位ΔY对应的行数的输出数据被缓存到行缓存器52c中的缓存待机期间。

另一方面，由于在输出数据所示的图像的下半部分的区域中，水平失真曲线在下侧呈凸起，因此，最下方参照像素属于在水平失真曲线的中央设定的参照区域RaN(Ra342～Ra682)，在这种情况下，第(N+1)行的最下方参照像素的垂直位置不只是从第N行的最下方参照像素的垂直位置向下方移动垂直变位ΔY。即，最下方参照像素的垂直位置向下方移动的程度为：将对应于第N行的水平失真曲线和对应于第(N+1)行的水平失真曲线的像差宽度β的差分Δβ与垂直变位ΔY相加后得到的垂直变位(ΔY+Δβ)。这是因为：最下方参照像素属于被设定在水平失真曲线的中央的RaN(Ra342～Ra682)，该水平失真曲线位于被赋予了垂直变位ΔY的水平失真曲线的端部的下方，两者间相隔像差宽度β的程度。

因此，为了对被摄体显示区域R1的下半部分的区域中的第(N+1)(N＝342～682)行进行插值运算处理，而产生等待与垂直变位(ΔY+Δβ)对应的行数的输出数据被缓存到行缓存器52c中的缓存待机期间。在此，在桶型像差的情况下，在下半部分的区域中，水平失真曲线的垂直位置越向下方，像差宽度β越单调增加，因此，像差宽度β的差分Δβ总是为正。因此，变成最下方参照像素的垂直变位(ΔY+Δβ)＞ΔY。即，用于对被摄体显示区域R1的下半部分的各行进行插值运算处理的缓存待机期间，变得比用于对被摄体显示区域R1的上半部分的各行进行插值运算处理的缓存待机期间长。

接下来，对线卷型像差的情况下的缓存待机期间进行说明。在线卷型像差的情况下，设有一内侧的矩形(用2点划线表示)，该矩形的边与输出数据所示的图像的外缘的距离是参照区域RaN的宽度的一半(α/2)，在由与该矩形的4个顶点交点的左右的一对垂直失真曲线以及上下的一对水平失真曲线围成的线卷型区域内，设定参照区域RaN的重心位置。在线卷型像差的情况下，在输出数据所示的图像的上半部的区域中，由于水平失真曲线在下侧成为凸起，因此，被摄体显示区域R1中的最初(N＝1)的行的最下方参照像素成为属于在水平失真曲线的中央设定的参照区域Ra1的像素中的最下方的像素。因此，被摄体显示区域R1中的最初(N＝1)的行的最下方参照像素与桶型像差的情况相同，在间隔剔除后的输出数据中属于第M1＝(α+βmax)行。因此，在线卷型像差的情况下，也直至待机到只有M＝1～M1的输出数据被缓存到行缓存器52c为止，才可进行最初(N＝1)的行的插值运算处理。

如果第N行的插值运算处理结束，则在包括第(N+1)行的最下方参照像素在内的行的输出数据被缓存到行缓存器52c之前，产生缓存待机期间。

在线卷型像差的情况下，也如图4B的放大图所示，设定了第N行的参照区域RaN的重心位置的水平失真曲线与设定了第(N+1)行的参照区域RaN+1的重心位置的水平失真曲线在垂直方向上会具有一定的垂直变位ΔY。不过，在线卷型像差中，垂直变位ΔY以水平失真曲线的水平方向中央的垂直位置为基准。

在此，在线卷型像差的情况下，由于在输出数据所示的图像的上半部分的区域中，水平失真曲线在下侧呈凸起，因此，最下方参照像素变成属于在水平失真曲线的中央设定的参照区域RaN(Ra1～Ra341)。因此，第(N+1)行的最下方参照像素的垂直位置会从第N行的最下方参照像素的垂直位置向下方移动垂直变位ΔY。

因此，与桶型像差的情况相同，为了对被摄体显示区域R1的上半部分的区域中的第(N+1)(N＝2～341)行进行插值运算处理，而产生等待与垂直变位ΔY对应的行数的输出数据被缓存到行缓存器52c中的缓存待机期间。

另一方面，由于在输出数据所示的图像的下半部分的区域中，水平失真曲线在上侧呈凸起，因此，最下方参照像素属于在水平失真曲线的端部设定的参照区域RaN(Ra342～Ra682)。在这种情况下，最下方参照像素的垂直位置向下方移动的程度为：将对应于第N行的水平失真曲线和对应于第(N+1)行的水平失真曲线的像差宽度β的差分Δβ与垂直变位ΔY相加后得到的垂直变位(ΔY+Δβ)。在线卷型像差的情况下，也由于在下半部分的区域中，像差宽度β单调增加如下方的水平失真曲线的程度，因此，像差宽度β的差分Δβ总是为正。因此，在线卷型像差的情况下，也变成最下方参照像素的垂直变位(ΔY+Δβ)＞ΔY，用于对被摄体显示区域R1的下半部分的各行(N＝342～682)进行插值运算处理的缓存待机期间，变得比用于对被摄体显示区域R1的上半部分的各行(N＝2～341)进行插值运算处理的缓存待机期间长。

如上所述，无论在桶型像差的情况下还是在线卷型像差的情况下，最初(N＝1)的行的缓存待机时间成为最长，用于对被摄体显示区域R1的下半部分的各行(N＝342～682)进行插值运算处理的缓存期间，变得比用于对被摄体显示区域R1的上半部分(N＝2～341)的各行进行插值运算处理的缓存待机期间长。即，在本实施方式的尺寸调整中，缓存待机期间根据被摄体显示区域R1中的行位置进行变动。

另外，在垂直变位ΔY为恒定、且像差宽度β的差分Δβ为恒定(像差宽度β是关于N的线性函数)的情况下，上半部分的各行的缓存待机期间与下半部分的各行的缓存待机期间分别成为恒定，在成为N＝341→342的情况下，缓存待机期间增加。另外，在垂直变位ΔY不是恒定的情况或像差宽度β非线性地变化的情况下，各行的缓存待机期间会变成连续地变化。总之，在伴随失真校正进行尺寸调整的情况下，缓存待机期间会根据被摄体显示区域R1中的行的位置进行变动。另外，参照区域RaN的垂直方向和水平方向的宽度α也可以不恒定，也可以与例如像差宽度β成比例。在这种情况下，第N行的参照区域RaN的宽度α与第(N+1)行的参照区域RaN的宽度α的差分也会对缓存待机期间产生影响。

图5是说明尺寸调整结束的定时的时序图。如该图所示，在各行的缓存待机期间TW内，进行间隔剔除后的输出数据的生成以及针对该生成的输出数据的行缓存器52c的输出数据的写入，在经过缓存待机期间TW之后，开始用于从行缓存器52c读出输出数据的读出期间TR。各行的该读出期间TR为恒定。如果读出期间TR结束，则在插值运算期间TI内进行插值运算处理。属于被摄体显示区域R1的各行的像素的个数相同，插值运算处理所需要的插值运算期间Ti实质上不变。如图所示，在第N行的读出结束的定时，开始接下来的第(N+1)行的缓存待机期间TW。在本实施方式中，插值运算期间TI与缓存待机期间TW和读出期间TR的合计相比短，因此，缓存待机期间TW支配各行的尺寸调整所需要的整个期间。如图5所示，第342～343行的缓存待机期间TW变得比第340～341行的缓存待机期间TW长。以上说明的缓存待机期间TW的倾向，在很大程度上要取决于交换透镜单元10的透镜11的失真特性或变焦倍率等的工作状况。特别是，越是像差宽度β大的透镜11，缓存待机期间TW的不均度越显著。

如上所述，通过尺寸调整处理部20e进行的尺寸调整而生成的图像数据，被按照线顺序记录在行缓存器52d中。

ASIC200具有图像数据输出部201，如果图像数据输出部201将属于液晶面板42的被摄体显示区域R1的第1～682行的各行的图像数据(Data)输出到显示部40，并将被摄体图像显示区域R1中的最终(N＝682)的行的图像数据输出到显示部40，则按照线顺序读出记录在VRAM51中的OSD数据，并将该OSD数据作为第683～768行的图像数据按照线顺序输出到显示部40。由于图像数据输出部201仅仅是将第1～682行的图像数据不经加工就输出到后级的显示部40，因此，从图5所示的尺寸调整结束的定时起间隔极短的一定的延迟，图像数据输出部201会将第1～682行的图像数据按顺序输出。因此，第1～682行的图像数据输出部201最终结束生成处理的定时与图5所示的尺寸调整结束的定时能够看作相同。即，在本实施方式中，图像数据的生成处理的最终步骤(利用图像数据输出部201的处理)的处理时间高速到可忽略的程度，并且，各行的该处理时间为恒定，因此，设置为获取针对作为最终步骤的前步骤的尺寸调整的进度信息。毋庸置疑，在本实施方式中，在图像数据的生成处理中，构成使每一行的生成处理的所需期间变动的主要原因的步骤为尺寸调整，因此，只要在尺寸调整之后的任意的步骤中获取进度信息即可。

另一方面，图像数据输出部201针对第683～768行结束生成处理的定时与尺寸调整无关。表示描绘了表示摄影条件的文字等的图像的OSD数据与面型图像传感器15所拍摄的被摄体无关，事先作成并被记录在VRAM51中。OSD数据与液晶面板42中的信息显示区域R2对应，在水平方向上和垂直方向上分别由1024个和85个像素构成。合成输出部20f为了作为第683～768行的图像数据而按线顺序向显示部40进行输出所需要的时间实质上只是从VRAM51读出1行的数据的时间，信息显示区域R2的每一行都是恒定的，比被摄体图像显示区域R1短。

另外，虽然在摄影条件等变化的情况下OSD数据也被更新，但是，是更新频度比基于面型图像传感器15的输出数据的被摄体图像的更新频度更低的图像。另外，由于合成输出部20f针对第1～682行输出表示被摄体图像的图像数据，并作为第683～768行而输出表示摄影条件等的图像数据，因此，被摄体图像与表示摄影条件等的图像被合成。

在本实施方式中，虽然通过以上的处理并根据面型图像传感器15的输出数据，进行生成可在液晶面板42的被摄体图像显示区域R1显示的图像数据的生成处理，但是，面型图像传感器15的间隔剔除后的输出数据在垂直方向上为720行，与图像数据(被摄体显示区域R1)的垂直方向的行数即682行或液晶面板42的垂直方向的行数即768行不同。也就是说，为了进行1帧的摄影以及显示而需要的行数不同。

因此，在本实施方式中，面型图像传感器15的水平同步信号SHsync、垂直同步信号SVsync、数据激活信号SDactive以及数据时钟信号SDotclock被设定为：为了驱动面型图像传感器15而需要的周期。即，时序发生器30在面型图像传感器15中进行如上所述的垂直方向的间隔剔除或尺寸调整，以在用垂直同步信号SVsync规定的期间内能获取1帧的行数(N＝1～682)的尺寸调整后的图像数据的定时以及输出次数，输出水平同步信号SHsync。另外，时序发生器30以在用上述水平同步信号SHsync规定的期间内能获取1行的像素数的图像数据的定时以及输出次数，输出数据时钟信号SDotclock。

另一方面，由于根据从该面型图像传感器15按线顺序输出的输出数据，使延迟期间最小化，并进行在液晶面板42上的显示，因此，本实施方式的构成方式为：在用于针对属于液晶面板42的被摄体显示区域R1的各行进行显示的图像数据的生成处理结束的定时，输出水平同步信号DHsync。即，在本实施方式中，液晶面板42能够进行图像数据输出部201的处理已结束的行的显示。因此，时序发生器30在液晶面板42的垂直方向上的第N(N＝1～682)行的图像数据的生成处理结束的定时，输出用于进行第N行的显示处理的水平同步信号DHsync。即，第N(N＝1～682)行的图像数据的生成处理的结束成为第N行的显示处理的开始的触发条件。

具体而言，时序发生器30具有进度信息获取部30a，该进度信息获取部30a能够从尺寸调整处理部20e获取表示尺寸调整已结束的行的进度信息。如上所述，由于能够将尺寸调整结束的定时与图像数据输出部201最终使生成处理结束的定时看作相同，因此，能够根据该进度信息来确定液晶面板42上的已经成为可显示的行。因此，时序发生器30的构成为：通过与各行的图像数据的生成处理结束的定时同步地输出水平同步信号DHsync，在液晶面板42上开始该图像数据的生成处理已结束的行的显示。根据这种构成，无需在图像数据的生成处理结束之前开始各行的显示，只要各行的生成处理结束就能立刻进行各行的显示。

并且，在液晶面板42中，只要在由水平同步信号DHsync的输出定时所规定的水平同步期间内，能进行液晶面板42的各行的像素显示即可，因此，时序发生器30在由水平同步信号DHsync的输出定时所规定的水平同步期间被当作是最短的期间的期间内，以能进行1行的像素显示的方式输出数据激活信号DDactive以及数据时钟信号DDotclock。

另外，在本实施方式中，为了防止来自面型图像传感器15的输出数据与在液晶面板42上进行的显示变得不以帧单位匹配，而将面型图像传感器15的垂直同步信号SVsync与液晶面板42的垂直同步信号DVsync设定为同步。即，时序发生器30从输出面型图像传感器15的垂直同步信号SVsync的定时开始到经过规定的期间之后，输出显示部40的垂直同步信号DVsync。其结果是，在本实施方式中，垂直同步信号SVsync与DVsync的周期成为相同并且恒定。因此，不会出现由面型图像传感器15拍摄到的被摄体延迟了1垂直同步期间以上而显示在液晶面板42上的情况，另外，也不会出现在同一定时拍摄到的被摄体图像跨多个帧期间显示在液晶面板42上的情况。

另一方面，在本实施方式中，由液晶面板42的水平同步信号DHsync所规定的水平同步期间具有可变的长度，因此，即使水平同步期间发生变化，垂直同步信号SVsync和DVsync的周期也维持相同并且恒定的状态。具体而言，时序发生器30通过将水平同步期间相对于事先规定的基准期间TH进行长期化或短期化，从而抵消与基准期间TH之间的时间变动，由此，控制输出信号，以使用于显示1帧的垂直同步期间成为恒定。基准期间TH由例如在垂直同步期间内针对液晶面板42的所有行数在均等的期间进行各行的显示的情况下的水平同步期间构成。

并且，在被摄体显示区域R1中，使水平同步信号DHsync的输出处于待机，直至各行的图像数据的生成处理结束为止。即，各行的图像数据的生成处理的结束成为显示处理的开始的触发条件，由此，水平同步期间(显示处理的期间)成为可变长度。另外，由于将各行的图像数据的生成处理的结束作为显示处理开始的触发条件，因此，第N行的显示处理会与第N行的生成处理的结束实质上同时开始，然后，第(N+1)行的显示处理会与第(N+1)行的生成处理的结束实质上同时开始。因此，从第N行的生成处理的结束到第(N+1)行的生成处理的结束为止的期间越短，从第N行的生成处理的结束到第(N+1)行的显示处理的开始为止的期间变得越短。相反，从第N行的生成处理的结束到第(N+1)行的生成处理的结束为止的期间越长，从第N行的生成处理的结束到第(N+1)行的显示处理的开始为止的期间变得越长。

图6表示从时序发生器30输出的水平同步信号DHsync，并将数据激活信号DDactive以及数据时钟信号DDotclock和进度信息一齐表示。并且，在本实施方式中，从尺寸调整处理部20e输出的进度信息由在执行1行的图像数据的生成处理的过程中被维持为低电平的输出、且在结束了1行的图像数据的生成处理的时刻成为规定期间高电平的1次的脉冲构成。

时序发生器30，若通过进度信息获取部30a获得该进度信息，则通过显示控制部30b的处理，与该进度信息的脉冲同步地输出水平同步信号DHsync。因此，假设在基准期间TH内，在某一行的图像数据的生成处理来不及的情况下，直至生成处理结束为止不输出水平同步信号DHsync，且水平同步期间TDH变得比基准期间TH长。因此，在基准期间TH内，在某一行的图像数据的生成处理来不及的情况下，直至生成处理结束为止，在液晶面板42上不开始显示该行。另外，在各行的图像数据的准备结束之前不会开始显示处理。而且，如果某一行的图像数据的生成处理结束，则输出水平同步信号DHsync，因此，一旦各行的图像数据的准备结束，则没有延迟地开始显示处理。如上所述，由于能在水平同步期间TDH可从基准期间TH变动的状态下驱动液晶面板42，因此，如本实施方式所述，可以很好地应用于以下的形态，即：通过进行失真校正，应该用液晶面板42的被摄体显示区域R1来显示的1行的图像数据的生成处理结束的定时的周期不会成为恒定。

成为生成处理结束的定时的周期不会变为恒定的主要原因的尺寸调整的缓存待机期间TW的变动，很大程度上取决于交换透镜单元10的透镜11的失真特性或变焦倍率等工作状况。即使在这种状况下，如果以将各行的图像数据的生成处理的结束作为显示处理的开始的触发条件的方式构成时序发生器30，则在由于交换了交换透镜单元10、变更了变焦倍率等而使缓存待机期间TW的变动倾向发生了变化的情况下，也能够设定跟随该变动倾向的变化的水平同步期间TDH。因此，可交换交换透镜单元10的摄影装置1非常适合作为利用本实施方式的构成的对象。毋庸置疑，本发明也可以应用于根据摄影条件而每一行的处理速度都可能不同的情形。例如，本发明能用于以下的构成，即：使用者通过操作操作部55，而使面型图像传感器15的垂直同步期间或水平同步期间发生变动，或使图像数据的生成处理结束的定时的周期不会成为恒定的构成。另外，本发明还可以应用在以下的构成，即：通过变更可装卸式的EVF，使面型图像传感器15的垂直同步期间或水平同步期间发生变动，或者使图像数据的生成处理所需期间发生变动的构成。

另一方面，如上所述，在本实施方式中，由于使由垂直同步信号DVsync规定的垂直同步期间为恒定，因此，在被摄体显示区域R1中，即使在水平同步期间TDH被长期化的情况下，也必须使液晶面板42的所有行的显示在恒定的垂直同步期间内结束。作为用于该目的的构成，时序发生器30，在显示表示摄影条件等的信息的文字的液晶面板42的信息显示区域R2中，使水平同步期间比基准期间TH更短期化，以便抵消在被摄体显示区域R1的行中被长期化的水平同步期间与基准期间TH的差分的累计。

即，表示摄影条件等的信息的OSD数据能够事先生成并记录在VRAM51中，而与面型图像传感器15的工作无关，因此，信息显示区域R2的各行的图像数据的生成处理的所需期间实质上只需要从VRAM51读出1行的数据的期间即可。因此，即使由短的水平同步期间执行了基于OSD数据的显示，也能够进行准确的显示，而不会发生数据读出的超前。

具体而言，时序发生器30，通过调整水平同步信号DHsync的输出定时，使水平同步期间TDH2短期化，以便在被摄体显示区域R1中被长期化的水平同步期间TDH和基准期间TH的差分的总和与在信息显示区域R2中被短期化的水平同步期间TDH2和基准期间TH的差分的总和一致。其结果是，水平同步期间TDH2＜基准期间≤水平同步期间TDH。在此，在信息显示区域R2中，作为用于以水平同步期间TDH2变得比上述水平同步期间TH还短的方式将水平同步信号DHsync进行输出的构成，能够采用各种构成。例如，如图6所示，能够采用以下结构，即：将用信息显示区域R2的行数L2除以相对于在被摄体显示区域R1产生的水平同步期间TH的延迟ΔT1的总和(∑ΔT1)之后得到的值ΔT2设为在各行应该缩短的期间的构成等。即，能够采用水平同步期间TH-ΔT2为信息显示区域R2中的水平同步期间TDH2的构成等。

根据该构成，在被摄体显示区域R1中，在将延迟最小化的状态下显示由面型图像传感器15拍摄到的被摄体，并在信息显示区域R2中成为在短的水平同步期间内进行基于OSD数据的摄影条件等的信息显示的状态。并且，如上所述，对水平同步期间进行控制，以便在被摄体显示区域R1中被长期化的水平同步期间TDH和基准期间TH的差分的总和与在信息显示区域R2中被短期化的水平同步期间TDH2和基准期间TH的差分的总和一致，因此，在垂直同步信号SVsync与DVsync的周期相同并且恒定的状态下，能够进行利用显示部40的显示。因此，由面型图像传感器15拍摄到的被摄体不会出现以下情况，即：延1帧期间以上地显示在液晶面板42上，另外，也不会出现以下情况，即：相同图像跨多帧期间显示在液晶面板42上。

(3)其他的实施方式：

以上的实施方式是用于实施本发明的一个例子，并不局限为根据进度信息按每行来确定图像数据的生成处理是否结束，并显示该生成处理已结束的行的方式，也可以是将i行或j像素(i和j为自然数)等作为规定单位，并根据进度信息按每规定的单位来确定图像数据的生成处理是否结束，并显示该生成处理已结束的规定单位的方式，除了将以下的实施方式进行组合以外，还可以采用其他各种实施方式。

在上述实施方式中，虽然设置为图像数据输出部201将被摄体图像与OSD数据所示的图像合成，但是，作为各行的图像数据的准备所需要的期间能进行变动的例子，举出了将作为第一图像的背景图像数据和作为第二图像的描绘了3D物体的物体图像合成的例子。例如，在计算机游戏中，通过预先对移动少、更新频度低的背景图像与移动多、更新频度高的物体图像分别描绘，并将物体图像与背景图像重合，从而生成在显示部进行显示的图像数据。在这种情况下，由于只表示背景图像的行的图像数据的更新频度低，因此，只要将过去存储在内存中的数据读出就能获取。另一方面，包括表示物体图像的像素在内的行的图像数据必须在短的周期内描绘物体图像，并且，所需期间比只表示背景图像的行的生成处理还长。即使在这种情况下，通过使用本发明，也能够缩小延迟，并防止产生使显示处理先于生成处理进行的行。

例如，在使水平同步期间比基准期间TH更长期化时，也可以使水平同步信号DHsync的后沿(backporch)长期化。该构成例如是如下构成：在图1所示的构成中，在进度信息获取部30a中检测来自尺寸调整处理部20e的进度信息的输出期间。即，对从在处理顺序为第(N-1)行的图像数据的生成处理结束的时刻所输出的进度信息到在第N行的图像数据的生成处理结束的时刻所输出的进度信息为止的期间TS(N-1)进行检测。然后，时序发生器30根据该期间TS(N-1)来决定第N行的水平同步信号DHsync的后沿的长度并输出各种信号。

即，时序发生器30通过显示控制部30b的处理，在如图7所示输出了第N行的水平同步信号DHsync之后，在经过了从期间TS(N-1)的长度减去基准期间TH的长度而得到的期间ΔT的时刻，输出表示预充电期间的信号DHsync2。而且，时序发生器30在通过显示控制部300b的处理而输出该信号DHsync2之后，在经过了规定的预充电期间的时刻，输出DDactive，在输出1行的像素数的数据时钟信号DDotclock之前，维持DDactive的电平，然后设定规定期间的前沿(frontporch)，并输出第(N+1)行的水平同步信号DHsync。在此，从预充电期间的开始时刻到前沿的结束时刻为止的期间，与基准期间TH一致。因此，第N行的水平同步信号DHsync与第(N+1)行的水平同步信号DHsync之间的期间即水平同步期间TDH成为基准期间TH与ΔT1之和。其结果是，能够在液晶面板42上通过与信号DHsync同步地进行预充电或极性反转等，来进行第N行的显示，并且能够使水平同步期间TDH比基准期间TH更长期化。

另外，在上述第1实施方式中，由于使水平同步信号DHsync的前沿长期化，因此，能将后沿期间设定为恒定的期间，并能按照通常的规定来设置进行预充电或极性反转等的期间。

而且，在上述实施方式中，为了使面型图像传感器15的垂直同步信号SVsync的周期与液晶面板42的垂直同步信号DVsync的周期一致，在液晶面板42的信息显示区域R2中以成为比被摄体图像显示区域R1短的水平同步期间的方式输出了水平同步信号SHsync，但是也可以通过其他的方法使垂直同步信号SVsync的周期与液晶面板42的垂直同步信号DVsync的周期一致。例如，在通常的摄影装置中，由于面型图像传感器15的行数比液晶面板42的行数多，因此，在假设在特定的垂直同步期间内应该确保的水平同步期间为均等的情况下，液晶面板42的水平同步信号DHsync变得比面型图像传感器15的水平同步信号SHsync短。因此，即使在将液晶面板42的水平同步信号DHsync长期化的情况下，也很少因为该长期化而需要延长液晶面板42的垂直同步期间。另外，在由于使水平同步信号DHsync长期化的缘故，而使液晶面板42的垂直同步信号DVsync变得比面型图像传感器15的垂直同步信号SVsync长的情况下，也可以通过使面型图像传感器15的垂直同步信号SVsync长期化，来使垂直同步信号DVsync与垂直同步信号SYsync同步。

图8表示具有获取进度信息的构成的摄影装置1，上述进度信息是针对参照多行的数据来生成1行的数据的多个图像处理步骤。在图8中，与图1相同的构成用相同的符号表示。图8所示的摄影装置1的时序发生器300可获取进度信息，上述进度信息表示：来自面型图像传感器15的输出数据的输出已结束的行；以及ASIC200的颜色再现处理部20b、伽马校正部20d和尺寸调整处理部20e的各自中的数据的生成处理已结束的行。另外，时序发生器300经过显示控制部300b的处理，能输出触发信号(例如水平同步信号)，该触发信号用于针对像素插值部20a、滤波处理部20c和尺寸调整处理部20e分别开始1行的数据的生成处理。

即，在图8所示的实施方式中，可事先确定的是：如果从面型图像传感器15输出第K行的输出数据，则可在像素插值部20a中执行第L行的数据的处理，经像素插值部20a以及颜色再现处理部20b的线顺序的处理后的结果是，一旦第L行的数据的处理结束，就可在滤波处理部20c中执行第M行的数据的处理。另外，还可以事先确定的是：经滤波处理部20c以及伽马校正部20d的线顺序的处理的结果是，一旦第M行的数据的处理结束，就可在尺寸调整处理部20e中开始第N行的图像数据的生成处理。

并且，时序发生器300，根据时序发生器300输出的规定的周期的水平同步信号SHsync来确定从面型图像传感器15已输出第K行的输出数据。在确定了从面型图像传感器15已输出第K行的输出数据的情况下，时序发生器300向像素插值部20a输出触发信号并开始第L行的数据处理。而且，在通过进度信息获取部300a确定了在颜色再现处理部20b中已结束第L行的数据的处理的情况下，时序发生器300向滤波处理部20c输出触发信号并开始第M行的数据处理。而且，在通过进度信息获取部300a确定了在伽马校正部20d中已结束第M行的数据的处理的情况下，时序发生器300向尺寸调整处理部20e输出触发信号并开始第N行的图像数据的生成处理。

并且，如果通过尺寸调整处理部20e确定了第N行的图像数据的生成处理已结束，则时序发生器300与上述实施方式同样地输出用于进行第N行的显示的水平同步信号DHsync。即，在ASIC200中，在将2行以上的数据记录到行缓存器中之后能开始某一行的数据生成的图像处理步骤中，判定所需要的最低限度的行数的数据的生成处理是否已结束，在该生成处理结束的时刻，开始接下来的图像处理步骤。根据该构成，在为了执行各步骤而结束所需的数据的生成处理之前，无需开始对各行的处理，而能在各行的数据准备好之后，立即开始对各行的处理。其结果是，执行各图像处理步骤时的待机时间被最小化。另外，在本实施方式中，由于可将所需的最低限度的行数的数据暂时记录在行缓存器52a～52d中，因此，能够使行缓存器52a～52d的容量最小化。

而且，在上述实施方式中，虽然显示部40是使用液晶面板的EVF，但是，显示部40既可以是EVF以外的显示部、例如使用了安装在摄影装置1的背面的液晶面板的显示部，也可以是使用液晶面板以外的方式的显示部。另外，摄影装置1既可以是具有反射镜的单反照相机，也可以是电影摄影机，还可以是具有拍摄功能的便携式电话等装置。而且，在上述面型图像传感器15中，彩色滤光片虽然呈拜耳排列，但是，本发明也可以应用于使用由拜耳排列以外的排列构成的传感器的摄影装置中。而且，行缓存器52d既可以是行缓存器，也可以是具有用于记录1帧的图像数据的记录容量的VRAM。根据该构成，可进行基于成为显示对象的图像数据的各种处理。而且，水平同步期间只要相对于基准期间被长期化即可，作为该基准期间，可设想成各种期间。例如，可以将面型图像传感器15的水平同步信号SHsync的周期、图像数据的生成周期等作为基准期间。而且，从时序发生器30到显示部40的各种信号的传送方式可采用各种方式，可以利用HDMI(高清晰度多媒体接口：High-DefinitionMultimediaInterface)等方式进行传送。另外，也可以使上述实施方式的方向相反，例如，在水平方向上，既可以从左到右进行显示，也可以从右到左进行显示。

而且，OSD数据只要是在显示部的信息显示区域中表示成为显示对象的规定信息的图像数据即可，也可以构成为拍摄条件以外的各种信息，例如将显示安装在摄影装置1上的电池的剩余量的信息等作为成为显示对象的规定的信息。而且，用于将垂直同步信号SVsync与DVsync的周期设为相同并且恒定的状态的构成也可以采用上述构成以外的各种构成。例如，可以构成为：在进行被摄体显示区域R1的显示之后，将为了在信息显示区域R2中显示OSD数据而能设定的最小的期间作为信息显示区域R2的水平同步期间，由此，在垂直同步信号DVsync的输出定时之前，结束液晶面板42的所有行的显示，在待机了剩余的期间之后，在规定的输出定时，输出垂直同步信号DVsync。在这种情况下，在与上述实施方式的信息显示区域R2对应的第683～第768行中，从第N行的生成处理的结束到第(N+1)行的显示处理的开始为止的期间会发生短期化。另外，OSD数据相当于第一图像，被摄体图像相当于第二图像。而且，也可以适用于不显示OSD数据的情况。

Claims (11)

1.一种显示控制装置，具有：

图像数据生成部，其按每规定单位进行生成图像数据的生成处理；和

控制部，其按上述每规定单位在显示部进行基于上述图像数据的显示处理，

上述控制部延长作为到上述显示处理的开始为止的期间的第二期间，延长的程度相当于作为与上述生成处理相关的期间的第一期间变长的上述规定单位的图像数据，

上述第一期间为：从针对第N个的上述规定单位的上述生成处理结束起，到针对第N+1个的上述规定单位的上述生成处理结束为止的期间，

上述第二期间为：从针对上述第N个的上述规定单位的上述生成处理结束起，到针对上述第N+1个的上述规定单位的上述显示处理开始为止的期间，

其中N为自然数。

2.一种显示控制装置，具有：

图像数据生成部，其按每规定单位进行生成图像数据的生成处理；和

控制部，其按上述每规定单位在显示部进行基于上述图像数据的显示处理，

上述控制部延长作为到上述显示处理的开始为止的期间的第二期间，延长的程度相当于作为与上述生成处理相关的期间的第一期间变长的上述规定单位的图像数据，

上述第一期间为：从针对第N个的上述规定单位的上述生成处理结束起，到针对第N+1个的上述规定单位的上述生成处理结束为止的期间，

上述第二期间为：从针对上述第N个的上述规定单位的上述显示处理开始起，到针对上述第N+1个的上述规定单位的上述显示处理开始为止的期间，

其中N为自然数。

3.根据权利要求1或2所述的显示控制装置，其中，

上述控制部将上述规定单位的各自的上述生成处理的结束作为上述显示处理开始的触发条件。

4.根据权利要求1或2所述的显示控制装置，其中，

上述图像数据生成部包括以下的步骤作为上述生成处理的至少一个步骤，该步骤为：进行使用按每规定单位所生成的数据的处理，即进行使用针对与处理对象的上述规定单位的位置对应的数量的规定单位的上述数据的处理，

与上述处理对象的上述规定单位的位置对应的数量越多，上述第一期间变得越长。

5.根据权利要求1或2所述的显示控制装置，其中，

上述图像数据生成部从摄影传感器获取表示被摄体图像的输出数据，并且，作为上述生成处理的至少一个步骤而进行失真校正，该失真校正是为了与上述规定单位的位置相应地生成上述图像数据而使所需的上述输出数据的数据量发生变动，

上述所需的上述输出数据的数据量越多，上述第一期间变得越长。

6.根据权利要求1或2所述的显示控制装置，其中，

上述图像数据生成部，作为上述生成处理的至少一个步骤而进行通过将第一图像与更新频率比该第一图像更高的第二图像进行合成来生成上述图像数据的处理。

7.根据权利要求6所述的显示控制装置，其中，

上述第二图像是描绘了三维物体的图像。

8.根据权利要求1或2所述的显示控制装置，其中，

上述第一期间包括上述生成处理所需的可变期间和规定的不变期间。

9.根据权利要求1或2所述的显示控制装置，其中，

上述第一期间具有与N的值相应的规定的倾向。

10.根据权利要求1或2所述的显示控制装置，其中，

上述第二期间具有与N的值相应的规定的倾向。

11.根据权利要求1或2所述的显示控制装置，其中，

还具有通过进行摄影而将针对表示被摄体的图像的摄影数据以上述规定单位进行输出的摄影传感器，上述图像数据生成部根据上述摄影数据生成上述图像数据。