CN109076163A - 成像控制装置、成像控制方法以及成像装置 - Google Patents

Abstract

为了提供一种用于控制安装在诸如汽车的移动物体上的拍摄部的操作的拍摄控制装置和拍摄控制方法以及安装在移动物体上以供使用的拍摄装置。中心区域801由精细像素构成，从而实现高分辨率拍摄。另一方面，周边区域802和803由大尺寸像素构成或通过像素相加处于高灵敏度，从而当快速行驶或拍摄运动物体时通过缩短曝光时间来减少模糊或焦平面失真。此外，在夜间或在暗处行驶时，未被前照灯照射到的周边区域802和803可以在长曝光时间内以足够灵敏度进行拍摄。

Description

成像控制装置、成像控制方法以及成像装置

技术领域

本说明书中公开的技术涉及一种用于控制拍摄部的操作的拍摄控制装置和拍摄控制方法以及拍摄装置，特别是涉及一种用于控制安装在诸如汽车的移动物体上的拍摄部的操作的拍摄控制装置和拍摄控制方法以及安装在移动物体上以供使用的拍摄装置。

背景技术

近年来，装有摄像机的汽车与日俱增(例如，参照专利文献1)。被车载摄像机拍摄到的图像可以记录在仪表板摄像机上或被车载摄像机拍摄到的图像可以用于行驶支持或视野支持。例如，当夜间行驶时，对被车载摄像机拍摄到的图像进行处理以感测来车的前照灯或前车的尾灯以及检测关于周围其他车辆的信息。

引文列表

专利文献

专利文献1：日本专利申请特许公开号2013-115625

专利文献2：日本专利申请特许公开号2006-148496

专利文献3：日本专利申请特许公开号2011-130022

专利文献4：日本专利申请特许公开号2014-204149

专利文献5：日本专利申请特许公开号2014-155175

专利文献6：日本专利申请特许公开号2014-165520

专利文献7：日本专利申请特许公开号2008-131580

发明内容

技术问题

本说明书中公开的技术旨在提供一种用于控制安装在诸如汽车的移动物体上的拍摄部的操作的拍摄控制装置和拍摄控制方法以及安装在移动物体上以供使用的拍摄装置。

技术方案

本说明书中公开的技术鉴于以上目的而提出，且其第一方面是一种拍摄控制装置，该拍摄控制装置包括控制部，该控制部被配置成把具有多个像素的拍摄部中的中心区域的拍摄条件控制成是比拍摄部中的周边区域更高的灵敏度、更高的帧速率、更短的曝光时间和更高的操作频率中的任何一者。

根据本说明书中公开的技术的第二方面，根据第一方面的拍摄控制装置的控制部把周边区域设定成比中心区域更高的灵敏度。

根据本说明书中公开的技术的第三方面，根据第一方面的拍摄控制装置的控制部把周边区域设定成比中心区域更短的曝光时间。

根据本说明书中公开的技术的第四方面，根据第一方面的拍摄控制装置的控制部把周边区域设定成比中心区域更长的曝光时间。

根据本说明书中公开的技术的第五方面，根据第一方面的拍摄控制装置的控制部把周边区域设定成比中心区域更高的帧速率。

根据本说明书中公开的技术的第六方面，根据第一方面的拍摄控制装置的控制部在周边区域中以比在中心区域中更高的工作频率执行信号处理。

根据本说明书中公开的技术的第七方面，根据第一方面的拍摄控制装置的控制部把周边区域设定成比中心区域更高的灵敏度和更高的帧速率。

根据本说明书中公开的技术的第八方面，根据第一方面的拍摄控制装置的控制部把周边区域设定成比中心区域更高的灵敏度和与中心区域相同的帧速率。

根据本说明书中公开的技术的第九方面，根据第一方面的拍摄控制装置的控制部把周边区域设定成比中心区域更高的灵敏度和与中心区域相同的曝光时间或比中心区域更长的曝光时间。

根据本说明书中公开的技术的第十方面，根据第二方面的拍摄控制装置的控制部对周边区域执行像素相加读取或变稀读取。

根据本说明书中公开的技术的第十一方面，根据第一方面的拍摄控制装置的控制部根据拍摄部在车辆上安装的位置或车辆行驶状况相对于中心区域控制周边区域的拍摄条件。

根据本说明书中公开的技术的第十二方面，根据第一方面的拍摄控制装置的控制部根据拍摄部在车辆上安装的位置或车辆行驶状况控制中心区域的位置、形状和尺寸中的至少一者。

根据本说明书中公开的技术的第十三方面，根据第一方面的拍摄控制装置的控制部根据安装有拍摄部的车辆的行驶状况控制周边区域的相位数、每个周边区域的位置、形状和尺寸中的至少一者。

另外，本说明书中公开的技术的第十四方面是一种拍摄控制方法，该拍摄控制方法包括把具有多个像素的拍摄部中的中心区域的拍摄条件控制成是比拍摄部中的周边区域更高的灵敏度、更高的帧速率、更短的曝光时间和更高的操作频率中的任何一者的控制步骤。

另外，本说明书中公开的技术的第十五方面是一种拍摄装置，该拍摄装置包括成像装置，该成像装置包括中心区域以及由比中心区域更大尺寸的像素构成的周边区域。

根据本说明书中公开的技术的第十六方面，在根据第十五方面的拍摄装置中，中心区域和周边区域各自并行地扫描。

根据本说明书中公开的技术的第十七方面，根据第十五方面的拍摄装置还包括信号处理部，该信号处理部被配置成对于中心区域和周边区域各自执行像素读取和AD转换处理。

根据本说明书中公开的技术的第十八方面，在根据第十五方面的拍摄装置中，周边区域被设定成比中心区域更短的曝光时间。

根据本说明书中公开的技术的第十九方面，在根据第十五方面的拍摄装置中，周边区域被设定成比中心区域更高的帧速率。

根据本说明书中公开的技术的第二十方面，在根据第十五方面的拍摄装置中，根据安装有拍摄装置的车辆的行驶状况相对于中心区域控制周边区域的曝光时间或帧速率中的至少一者。

本发明的有益效果如下：

根据本说明书中公开的技术，可以提供一种用于控制安装在诸如汽车的移动物体上的拍摄部的操作的拍摄控制装置和拍摄控制方法以及安装在移动物体上以供使用的拍摄装置。

另外，本说明书中所述的效果仅仅是示例性的，且本发明的效果并不限于此。此外，本发明可以产生除以上效果之外的其他效果。

通过下面基于实施例或附图的更详细说明，本说明书中公开的技术的其他目的、特性或优点可以显而易见。

附图说明

图1是示意性地示出本说明书中公开的技术可以应用的车辆控制***2000的示例性构成的图；

图2是示出拍摄部2410和车辆外部信息检测部2420的示例性安装位置的图；

图3是示出被车载摄像机300拍摄到的图像中的各个物体301和302随车辆行驶如何变化的图；

图4是以举例方式示出车辆前方的风景的图；

图5是示出被朝图4所示的风景行驶的车辆上的车载摄像机拍摄到的图像的图；

图6是用于说明被车载摄像机拍摄到的图像的特性的图；

图7是示出被在夜间或在暗处行驶的车辆上的车载摄像机拍摄到的示例性图像的图；

图8是示出适用于车载摄像机的成像装置的像素区域800的构成的图；

图9是示出每个划分区域如何扫描像素区域800的图；

图10是示意性地示出用于并行地读取成像装置的像素区域800中的各个区域801至803的摄像机模块1000的示例性构成的图；

图11是示出当具有图8至图10所示的构成的拍摄装置安装在车辆前鼻上时的拍摄范围1100的图；

图12是示出像素区域800中的每个区域的曝光/读取处理的示例性时序图的图；

图13是示出一帧曝光处理的时序图的图；

图14是示出像素区域800中的每个区域的曝光/读取处理的其他示例性时序图的图；

图15是示出像素区域800中的每个区域的曝光/读取处理的其他示例性时序图的图；

图16是示出拍摄装置在车辆上的示例性安装位置的图；

图17是示出拍摄装置1601中的成像装置的像素区域的示例性区域划分的图；

图18是示出拍摄装置在车辆上的示例性安装位置的图；

图19是示出拍摄装置1801中的成像装置的像素区域的示例性区域划分的图；

图20是示出像素区域200划分为三个相位的周边区域的图；

图21是以举例方式示出像素区域210划分为多个矩形区域的图；

图22是示出通过像素相加划分像素区域的示例性成像装置的图；

图23是用于说明像素区域的区域划分的自适应控制的图；

图24是用于说明像素区域的区域划分的自适应控制的图；

图25是用于说明像素区域的区域划分的自适应控制的图；

图26是用于说明像素区域的区域划分的自适应控制的图；

图27是用于说明像素区域的区域划分的自适应控制的图；

图28是用于说明像素区域的区域划分的自适应控制的图；

图29是示出根据行驶状况执行周边区域的拍摄条件控制的处理过程的流程图；

图30是示出根据行驶状况执行像素区域的区域划分以及周边区域的拍摄条件控制的处理过程的流程图；

图31是示出适合用作车载摄像机的摄像机模块3100的示例性构成的图；

图32是示出成像装置3120的示例性构成的图；

图33是示出由均一尺寸像素构成的像素区域的示例性构成的图；

图34是示出由均一尺寸像素构成的像素区域的示例性构成的图；

图35是示出由均一尺寸像素构成的像素区域的示例性构成的图。

具体实施方式

下面将参照附图对本说明书中公开的技术的实施例进行详细说明。

A.***构成

图1示意性地示出本说明书中公开的技术可以应用的车辆控制***2000的示例性构成。所示车辆控制***2000由多个控制单元构成，诸如驱动***控制单元2100、车身***控制单元2200、电池控制单元2300、车辆外部信息检测单元2400、车辆内部信息检测单元2500和集成控制单元2600。

各个控制单元2100至2600经由通信网络2010相互连接。通信网络2010例如可以是符合任何通信标准的车载通信网络(诸如控制器区域网络(CAN)、局部互连网络(LIN)、局域网(LAN)或FlexRay(注册商标))或符合本地定义的通信标准的网络。

控制单元2100至2600各自例如包括被配置成根据各种程序执行计算处理的微计算机、被配置成存储由微计算机执行的程序、用于各种计算的参数等的存储部以及被配置成驱动各种待控制装置的驱动电路。此外，控制单元2100至2600各自包括被配置成经由通信网络2010与其他控制单元进行通信的网络接口(IF)，且包括被配置成与车辆外部的装置、传感器等进行有线通信或无线通信的通信接口。

驱动***控制单元2100根据各种程序控制车辆驱动***装置的操作。例如，驱动***控制单元2100用作被配置成生成车辆驱动力的驱动力生成装置(诸如内燃机或驱动电机)、被配置成向车轮传送驱动力的驱动力传送机构、被配置成调节车辆转向角的转向机构、被配置成生成车辆制动力的制动装置等的控制装置。此外，驱动***控制单元2100可包括像诸如防抱死制动***(ABS)或电子稳定控制(ESC)的控制装置一样的功能。

车辆状态检测部2110连接到驱动***控制单元2100。车辆状态检测部2110例如包括被配置成检测车身轴向旋转的角速度的陀螺仪传感器、被配置成检测车辆加速度的加速度传感器和被配置成检测加速踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机转速、车轮转速等的传感器中的至少一者。驱动***控制单元2100通过使用从车辆状态检测部2110输入的信号执行计算处理，并控制内燃机、驱动电机、电动助力转向装置、制动装置等(均未示出)。

车身***控制单元2200根据各种程序控制安装在车身上的各种装置的操作。例如，车身***控制单元2200用作被配置成锁定和开启车门并启动和停止***2000(诸如无钥匙进入***或智能钥匙***)的控制装置或用于电动车窗装置或各种灯(包括前照灯、尾灯、制动灯、转向灯和雾灯)(假设包括在远光和近光之间切换前照灯的功能)的控制装置。当从并入在钥匙中的便携式发射器(或代替钥匙)发送的无线电波或来自各种开关的信号到达车身***控制单元2200时，车身***控制单元2200控制车辆的车门锁定装置、电动车窗装置、灯等(图1中均未示出)。

电池控制单元2300根据各种程序控制作为驱动电机的电源的蓄电池组。例如，在电池控制单元2300中，包括蓄电池组的电池装置2310测量蓄电池组的电池温度、电池输出电压、电池剩余容量等，并把它们输出到电池控制单元2300。电池控制单元2300通过使用从电池装置2310输入的信息执行计算处理，并控制蓄电池组的温度调节或控制设置在电池装置2310中的冷却装置(未示出)等。

车辆外部信息检测单元2400检测关于安装有车辆控制***2000的车辆的外部的信息。例如，拍摄部2410或车辆外部信息检测部2420中的至少一者连接到车辆外部信息检测单元2400。

拍摄部2410是所谓的车载摄像机，并包括飞行时间(ToF)摄像机、立体摄像机、单目摄像机、红外摄像机和其他摄像机中的至少一者。根据本说明书中公开的技术，根据行驶状况等动态地控制拍摄部2410的拍摄操作。待控制拍摄操作包括灵敏度、曝光时间、帧速率等。下面将对控制拍摄操作进行详细说明。另外，下面所述的曝光时间表示打开快门且在拍摄期间成像装置曝光(或曝光)的时间，且与快门速度(SS)同义(短曝光时间对应于高快门速度，长曝光时间对应于低快门速度)。此外，帧速率是每单位时间处理的帧数，且通常以表示每秒数值的每秒帧数(fps)为单位表示。显示装置的帧速率是每单位时间切换的帧数，且在通过拍摄装置的运动图像拍摄期间的帧速率是每单位时间拍摄到的帧数。“高”帧速率表示帧间间隔短。因此，高帧速率与“快速连拍”同义。

车辆外部信息检测部2420例如包括被配置成检测当前天气或气象现象的环境传感器、被配置成检测周边车辆、障碍物、行人等的周围信息检测传感器和语音传感器(被配置成收集车辆周围产生的声音的麦克风)(均未示出)中的至少一者。在车辆外部信息检测部2420是语音传感器的情况下，可以获取车辆外部的声音以及事故或险兆，诸如喇叭、突然制动和碰撞声音。

这里所述的环境传感器例如是被配置成检测阴雨天气的雨滴传感器、被配置成检测雾的雾传感器、被配置成检测阳光程度的阳光传感器、被配置成检测下雪的雪传感器等。此外，周围信息检测传感器由超声传感器、雷达装置、光检测和测距、激光成像检测和测距(LIDAR)装置等构成。

拍摄部2410和车辆外部信息检测部2420可以分别被配置为独立传感器或装置，或可以被配置为集成多个传感器或装置的装置。下面将对拍摄部2410和车辆外部信息检测部2420的安装位置进行详细说明。

车辆外部信息检测单元2400使拍摄部2410拍摄车辆外部的图像并接收来自拍摄部2410的拍摄图像数据。此外，车辆外部信息检测单元2400接收来自车辆外部信息检测部2420的检测信息。在车辆外部信息检测部2420是超声传感器、雷达装置或LIDAR装置的情况下，车辆外部信息检测单元2400发出超声波、电磁波等并接收关于来自车辆外部信息检测部2420的反射波的信息。

车辆外部信息检测单元2400可以根据从车辆外部信息检测部2420接收到的信息执行识别例如周围的人、车辆、障碍物、沿道路安装的道路标志(道路引导)或道路上绘制的道路标志的图像识别处理、检测或识别车辆外部物体的物体识别处理以及检测到车辆外部物体的距离的处理。此外，车辆外部信息检测单元2400可以根据从车辆外部信息检测部2420接收到的信息执行识别诸如下雨、雾或道路状况的周围环境的环境识别处理。

另外，车辆外部信息检测单元2400可以对从车辆外部信息检测部2420接收到的图像数据执行失真校正、定位处理等。此外，车辆外部信息检测单元2400可以通过把被不同拍摄部2410拍摄到的图像数据合并来生成透视图像或全景图像。此外，车辆外部信息检测单元2400可以通过使用被不同拍摄部2410拍摄到的图像数据执行视点转换处理。

车辆内部信息检测单元2500检测关于车辆内部的信息。车辆内部信息检测单元2500例如与车辆内部状态检测部2510连接并根据从车辆内部状态检测部2510输入的驾驶员的状态信息检测关于车辆内部的信息，该车辆内部状态检测部2510被配置成检测驾驶车辆的驾驶员的状态。这里所述的驾驶员是车内乘客中坐在车内驾驶员座椅上的乘客或存储为通过集成控制单元2600驾驶的人的乘客。

例如，车辆内部信息检测单元2500可以计算驾驶员的疲劳程度或集中程度或确定驾驶员是否睡着。此外，车辆内部信息检测单元2500检测各种驾驶员的状态，并确定驾驶员(或除驾驶员之外的乘客)是否可以驾驶车辆。车辆内部信息检测单元2500可以根据乘客所坐的位置感测驾驶员，或可以根据包括在拍摄车辆内部的图像中的乘客面部通过把先前登记为驾驶员的面部图像与拍摄到的面部图像作比较来确定驾驶员。

车辆内部状态检测部2510可包括被配置成拍摄车辆内部(诸如驾驶员或其他乘客)的车载摄像机(Dramoni摄像机)、被配置成检测驾驶员的生物信息的生物传感器、被配置成收集车内声音的麦克风等。可以通过被Dramoni摄像机拍摄到的图像的面部识别执行驾驶员或其他乘客的面部认证。此外，可以根据识别的面部朝着的方向或包括在识别的面部中的眼睛运动的方向来检测驾驶员的注视点(或眼睛方向)。生物传感器例如设置在座椅、方向盘等上并检测关于坐在驾驶员座椅上的驾驶员或抓住方向盘的驾驶员的生物信息。此外，麦克风可以获取车内声音以及事故或险兆，诸如喇叭、突然制动或乘客的语音(尖叫)。车辆内部信息检测单元2500可以对被麦克风收集到的语音信号执行诸如消噪的信号处理。例如，为了保护隐私，车辆内部信息检测单元2500可以对除特定语音之外的语音(诸如驾驶员的声音或先前登记的声音)进行调制。

此外，车辆内部状态检测部2510可包括负载传感器，该负载传感器被配置成检测施加于驾驶员座椅或其他座椅(诸如前排乘客座椅和后排乘客座椅)上的负载(人是否坐在座椅上)。此外，车辆内部状态检测部2510可以根据对各种装置的操作来检测驾驶员的状态，驾驶员通过各种装置来操作车辆，诸如加速器、制动器、方向盘、挡风玻璃刮水器、转向灯、空调器及其他开关。此外，车辆内部状态检测部2510可以检查诸如驾驶员是否有驾驶执照或驾驶员是否拒绝驾驶的状态。

集成控制单元2600根据各种程序控制车辆控制***2000中的全部操作。在图1所示的示例中，集成控制单元2600包括微计算机2610、通用通信接口2620、专用通信接口2630、定位部2640、信标接收部2650、车载装置接口2660、语音/图像输出部2670、车载网络接口2680和存储部2690。此外，集成控制单元2600与输入部2800连接。

输入部2800例如由驾驶员或其他乘客可以操作用于输入的装置构成，诸如触摸面板、按钮、麦克风、开关或操纵杆。输入部2800例如可以是使用红外线或其他无线电波的远程控制装置，或可以是外部连接装置，诸如与车辆控制***2000的操作相对应的手机、个人数字助理(PDA)、智能手机或平板终端(均未示出)。输入部2800可以通过经由麦克风输入的语音来操作。输入部2800例如可以是摄像机，在这种情况下，乘客可以通过他/她的手势把信息输入到集成控制单元2600中。此外，输入部2800例如可包括被配置成根据由乘客等通过使用输入部2800输入的信息生成输入信号并把它输出到集成控制单元2600的输入控制电路等。包括驾驶员的乘客可以把各种数据项输入到车辆控制***2000中或可以通过操作输入部2800对处理操作给出指令。

存储部2690可包括被配置成存储由微计算机执行的各种程序的随机存取存储器(RAM)或被配置成存储各种参数、计算结果、传感器的检测值等的电可擦除可编程只读存储器(EEPROM)。此外，存储部2690可包括由诸如硬盘驱动器(HDD)的磁性存储装置、诸如固态驱动器(SSD)的半导体存储装置、光学存储装置、磁光存储装置等构成的大容量存储装置(未示出)。大容量存储装置例如可以用于记录(作为仪表板摄像机)被拍摄部2410拍摄到的车辆周围或车内的视频。

通用通信接口2620是被配置成与存在于外部环境中的各种装置进行通信的通用通信接口。通用通信接口2620安装诸如全球移动通信***(GSM)(注册商标)、WiMAX、长期演进(LTE)或高级LTE(LTE-A)的蜂窝通信协议、诸如Wi-Fi(注册商标)的无线LAN或诸如Bluetooth(注册商标)的其他无线通信协议。通用通信接口2620例如可以经由蜂窝通信中的基站、无线LAN中的接入点等连接到存在于外部网络(诸如因特网、云网络或特定提供商网络)上的装置(诸如应用服务器、控制服务器、管理服务器等)。此外，通用通信接口2620例如可以通过使用对等(P2P)技术与存在于车辆附近的终端(诸如驾驶员或行人所拥有的信息终端、安装在靠近车辆行驶的道路的商店中的商店终端、不经由人连接到通信网络的机器类型通信(MTC)终端(诸如家用燃气表或自动售货机)等)连接。

专用通信接口2630是被配置成支持定义用于车辆的通信协议的通信接口。专用通信接口2630例如可以安装标准协议，诸如作为较低层IEEE 802.11p和较高层IEEE 1609的组合的车辆环境无线接入(WAVE)、专用短距离通信(DSRC)或蜂窝通信协议。专用通信接口2630通常使V2X通信作为包括车辆到车辆通信、车辆到基础设施通信、车辆到家庭通信和车辆到行人通信中的一个通信或更多个通信的概念。

定位部2640例如接收来自全球导航卫星***(GNSS)卫星的GNSS信号(诸如来自GPS卫星的全球定位***(GPS)信号)以执行定位并生成包括车辆的纬度、经度和高度的位置信息。另外，定位部2640可以根据来自无线接入点的电子测量信息通过使用PlaceEngine(注册商标)来指定当前位置，或可以从乘客的便携式终端(诸如手机、个人手持电话***(PHS)或具有定位功能的智能手机)获取位置信息。

信标接收部2650例如接收从安装在道路等上的无线站发出的无线电波或电磁波并获取车辆的当前位置或道路交通信息(关于交通堵塞、道路阻塞、所需时间等)。另外，信标接收部2650的功能可以包括在待安装的专用通信接口2630中。

车载装置接口2660是被配置成在微计算机2610和存在于车辆内的各种装置2760之间进行连接的通信接口。车载装置接口2660可以通过使用诸如无线LAN、Bluetooth(注册商标)、近场通信(NFC)或无线通用串行总线(USB)(WUSB)的无线通信协议建立无线连接。此外，车载装置接口2660可以经由连接终端(以及电缆，根据需要)(未示出)建立USB、高清晰度多媒体接口(HDMI)(注册商标)、移动高清晰度链路(MHL)等的有线连接。车载装置接口2660例如与乘客的移动装置或便携式装置或安装或附接在车辆中的车载装置2760交换控制信号或数据信号。

车载网络接口2680是被配置成在微计算机2610和通信网络2010之间进行通信的接口。车载网络接口2680根据由通信网络2010支持的预定协议交换信号等。

集成控制单元2600中的微计算机2610根据各种程序根据经由通用通信接口2620、专用通信接口2630、定位部2640、信标接收部2650、车载装置接口2660和车载网络接口2680中的至少一者获取到的信息控制车辆控制***2000。

例如，微计算机2610可以根据获取到的车辆内部和外部信息计算出驱动力生成装置、转向机构或制动装置的控制目标值，并向驱动***控制单元2100输出控制命令。例如，微计算机2610可以执行车辆碰撞避免或碰撞减轻、基于车辆间距的跟随行驶、保持车速的行驶、自动行驶等的协同控制。

此外，微计算机2610可以根据经由通用通信接口2620、专用通信接口2630、定位部2640、信标接收部2650、车载装置接口2660和车载网络接口2680中的至少一者获取到的信息产生包括车辆当前位置的周边信息的本地地图信息。此外，微计算机2610可以根据获取到的信息预测诸如车辆碰撞、靠近行人或建筑物以及进入阻塞道路等的危险并生成报警信号。这里所述的报警信号例如是用于发出报警声或打开报警灯的信号。

此外，微计算机2610可以通过使用存储部2690等实现仪表板摄像机功能。具体地，微计算机2610可以控制被拍摄部2410拍摄到的车辆周围或车内的记录视频。

语音/图像输出部2670把语音或图像中的至少一者的输出信号发送到能够在视觉上或在听觉上向车内乘客或车外乘客通知信息的输出装置。在输出装置是显示装置的情况下，显示装置在视觉上以诸如文本、图像、表格和图形的各种形式显示在由微计算机2610执行的各种处理中获取到的结果或从其他控制单元接收到的信息。此外，在输出装置是语音输出装置的情况下，语音输出装置把由再现语音数据、声学数据等构成的音频信号转换为模拟信号并在听觉上输出模拟信号。在图1所示的示例中，音频扬声器2710、显示部2720和仪表板2730被配备为输出装置。

显示部2720例如可包括车载显示器和平视显示器中的至少一者。平视显示器是被配置成通过使用挡风玻璃显示驾驶员的视野内的图像(形成在无穷远处)的装置。显示部2720可包括增强现实(AR)显示功能。除以上项目之外，车辆还可具有头戴式受话器、投影仪、灯等。

此外，仪表板2730布置在驾驶员座椅(和前排乘客座椅)前方，并包括速度计或转速计、指示车辆行驶所需的信息的仪表盘(诸如燃油表、水温表和里程表)或用于引导行驶到目的地的导航***。

另外，构成图1所示的车辆控制***2000的多个控制单元中的至少两个控制单元可被整体地配置成一个物理单元。此外，车辆控制***2000还可包括除图1所示的控制单元之外的控制单元。可替换地，控制单元2100至2600中的至少一个控制单元可被配置成两个或更多个单元的物理集合。此外，将由控制单元2100至2600提供的部分功能可以由其他控制单元实现。换言之，如果通过经由通信网络2010交换信息而实现的计算处理被配置成在任何控制单元中执行，那么车辆控制***2000的构成可以允许改变。此外，连接到任何控制单元的传感器或装置可以连接到其他控制单元，且通过传感器或装置检测到或获取到的信息可以经由通信网络2010在多个控制单元之间相互交换。

图2示出拍摄部2410和车辆外部信息检测部2420的示例性安装位置。图中，拍摄部2910，2912，2914，2916和2918对应于拍摄部2410，且例如布置在车辆2900的前节点、外后视镜、后保险杠、后车门以及车内挡风玻璃顶部中的至少一个位置上。大致设置在前鼻中心的拍摄部2910和设置在车内挡风玻璃顶部的拍摄部2918主要捕获车辆2900前方的图像。可以根据车辆2900前方捕获到的图像来检测前车、行人、障碍物、交通信号灯、道路标志、车道等。此外，设置在外后视镜上的拍摄部2912和2914主要捕获车辆2900侧面的图像。此外，设置在后保险杠或后车门上的拍摄部2916主要捕获车辆2900后面的图像。

图2中，拍摄范围a表示大致设置在前鼻中心的拍摄部2910的拍摄范围，拍摄范围b和c分别表示设置在右外后视镜和左外后视镜上的拍摄部2914和2912的拍摄范围，拍摄范围d表示设置在后保险杠或后车门上的拍摄部2916的拍摄范围。例如，被拍摄部2910，2912，2914和2916拍摄到的图像数据进行重叠，从而获取从上面看到的车辆2900的透视图像。另外，省略设置在车内挡风玻璃顶部的拍摄部2918的拍摄范围。

设置在车辆2900的前面、后面、侧面和角隅以及车内挡风玻璃顶部的车辆外部信息检测部2920，2922，2924，2926，2928和2930例如由超声传感器或雷达装置构成。设置在车辆2900的前鼻、后保险杠或后车门以及车内挡风玻璃顶部的车辆外部信息检测部2920，2926和2930例如可以是LIDAR装置。车辆外部信息检测部2920至2930主要用于检测前车、行人、障碍物等。

B.车载摄像机的拍摄控制

B-1.被车载摄像机拍摄到的图像

图2以举例方式示出车载摄像机的安装位置。被安装在移动物体上的摄像机(诸如车载摄像机)拍摄到的图像的特性之一在于物体的运动和变化在屏幕中的每个位置是不均匀的。

图3示出被车载摄像机300拍摄到的图像中的各个物体301和302随车辆行驶如何变化。

可以在几乎等同于车辆前方310的眼睛方向311上捕获到的物体301即使在车辆行驶之后在物体301’的眼睛方向311上也很少不同，且在其拍摄图像320上的位置很少改变。此外，每帧图像的变化很小。因此，可以通过车载摄像机300相对清晰地(或以高分辨率)拍摄物体301。

另一方面，在与车辆前方310形成大角度的眼睛方向312上捕获到的物体302在车辆行驶之后在物体302’的眼睛方向312上是不同的，拍摄图像302上的位置在移动之前很大程度上从物体302移动，且图像容易散焦。当车速增大时，图像中的移动量更大，且物体302’容易发生模糊或焦平面失真，并且物体难以识别。随着车速越高，模糊或焦平面失真越严重。

例如，假设当车辆行驶(直行)时拍摄如图4所示车辆前方的风景，拍摄图像的中心周围相对清晰，但运动物体在拍摄图像的周边出现模糊，如图5所示。

被车载摄像机拍摄到的图像可以划分为具有小物体运动量且具有高分辨率的中心区域601和具有大物体运动量的周边区域602，如图6所示。可以在中心区域601中相对清晰地拍摄物体，这不会引起问题。相反，本申请人认为周边区域602需要在短曝光时间内、以高读取速度和以快速连拍(或以高帧速率)进行拍摄，以限制运动物体的模糊或焦平面失真并提高物体识别率。

这里，焦平面失真是在被配置成像在互补金属氧化物半导体(CMOS)图像传感器等中一样以行为单位执行读取操作的成像装置中发生的现象，并且是运动物体在一个图像中由于每行读取时间的逐渐偏移而失真的现象(例如，参照专利文献2)。如果成像装置的读取速度较高，那么焦平面失真自动消除。

另外，图6以举例方式示出车辆直行，车载摄像机被安装成使得眼睛方向与车辆前方一致。图6可以以举例方式示出包括消失点的区域被定义为中心区域。在车载摄像机的眼睛方向朝向车辆前方倾斜的情况下，或当车辆右转或左转不直行时，或当车辆在斜坡上行驶(上坡或下坡)时，中心区域的布置发生变化(下面所述)。

此外，被车载摄像机拍摄到的图像的其他特性在于例如当车辆在夜间(包括多云天气或阴雨天气)或在暗处行驶时，每个区域的亮度是不均匀的。

图7示出当在夜间或在暗处行驶时被车辆的车载摄像机拍摄到的示例性图像。在所示示例中，拍摄图像600中的中心区域601中的道路被车辆前照灯照射，因此它具有高亮度且可以被清晰地拍摄。相反，从前照灯发出的光未到达周边区域602，且周边区域602保持黑暗。如果中心区域601和周边区域602在相同曝光条件下拍摄或由具有相同灵敏度的成像装置拍摄，那么周边区域602被拍摄成黑暗。可替换地，曝光条件或成像装置的灵敏度适合于周边区域602，且中心区域601过度曝光并可以饱和为白色(未示出)。因此，本申请人认为周边区域602需要由成像装置在比中心区域601更长的曝光时间内或以比中心区域601更高的灵敏度进行拍摄。

另外，被普通摄像机拍摄到的图像与被车载摄像机拍摄到的图像的共同之处在于因为照明位于视角内，所以每个区域的亮度是不均匀的。然而，车载摄像机的特征在于被前照灯照射到的中心区域601具有高亮度，以及从前照灯发出的光未到达的周边区域602具有低亮度(或具有高亮度或低亮度的每个区域是固定的)。

总之，需要能够实现根据车辆行驶状况在比中心区域更短(或更长)的曝光时间内、以比中心区域更高的读取速度、或以比中心区域更高的帧速率拍摄周边区域的操作的拍摄装置或拍摄控制装置。这同样适用于不是使用CMOS而是使用电荷耦合装置(CCD)的成像装置。

B-2.拍摄装置的构成

图31示出适合用作车载摄像机的摄像机模块3100的示例性构成。所示摄像机模块3100包括摄像机控制部3110、拍摄镜头3111、成像装置3120、图像处理部3130、相位差检测部3140、显示处理部3150、显示部3160、图像输出部3170、图像记录控制部3180和图像记录部3190。

摄像机控制部3110控制整个摄像机模块3100。例如，摄像机控制部3110经由信号线3119向成像装置3200输出控制信号，并响应于用户的操作，使成像装置3200拍摄图像。控制信号包括指示实时取景模式或捕获模式的信号。实时取景模式是用于以特定间隔(例如，每1/30秒)拍摄图像并把它显示在显示部3160上的模式。另一方面，捕获模式是用于拍摄并记录运动图像或静止图像的模式。运动图像包括以特定间隔拍摄到的多个图像。在实时取景模式下拍摄到的图像被设定成比在捕获模式下拍摄到的图像更低的分辨率。此外，摄像机控制部3110接收被相位差检测部3140检测到的相位差并根据相位差控制拍摄镜头3111中聚焦镜头等的位置，从而响应于用户的操作来调整焦距。

拍摄镜头3111能够改变焦距。例如，包括聚焦镜头、聚束栅、补偿器和主镜头(均未示出)的所谓四组变焦镜头被用作拍摄镜头3111。

成像装置3120把经由拍摄镜头3111接收到的光量转换为电位并根据电位输出像素值。例如，成像装置3120包括多个正常像素和多个相位差像素。相位差像素用于检测相位差。每个相位差像素由分别被配置成接收一对眼分光的一对像素(下面将表示为“左像素”和“右像素”)构成。另一方面，正常像素不是相位差像素，而是用于生成图像。成像装置3120读取正常像素的像素值并在摄像机控制部3110的控制下把它们经由信号线3129输出到图像处理部3130。此外，成像装置3120读取相位差像素的像素值并把它们经由信号线3129输出到相位差检测部3140。

图像处理部3130对由正常像素的像素值生成的图像执行诸如马赛克处理的图像处理。图像处理部3130保存由正常像素的像素值构成的图像，在图像中对相位差像素的像素值进行插值，根据需要还对插值图像执行诸如马赛克处理或白平衡处理的图像处理，然后把处理过的图像经由信号线3139输出到显示处理部3150和图像记录控制部3180。此外，图像处理部3130可以对拍摄图像执行识别处理。

相位差检测部3140从相位差像素的像素值中检测相位差。例如，相位差检测部3140分别生成左像素和右像素的亮度分布并根据它们之间的相关程度检测相位差。相位差检测部3140把检测到的相位差经由信号线3149输出到摄像机控制部3110。

显示处理部3150根据需要对图像执行诸如γ校正处理、颜色校正处理或对比度调整处理的显示处理。显示处理部3150把经过显示处理的图像经由信号线3159输出到显示部3160和图像输出部3170。

显示部3160显示来自显示处理部3150的图像。此外，图像输出部3170把来自显示处理部3150的图像输出到外部连接到摄像机模块3100的装置。

图像记录控制部3180把来自图像处理部3130的图像经由信号线3189输出到图像记录部3190，并使图像记录部3190记录图像。图像记录部3190记录从图像记录控制部3180传递的图像。

图32示出成像装置3120的示例性构成。成像装置3120包括定时控制电路3210、行扫描电路3220、转移信号生成电路3230、像素阵列部3240、D/A转换部(DAC)3250、A/D转换部(ADC)3260、计数器3270和列扫描电路3290。

定时控制电路3210响应于来自摄像机控制部3110的控制信号来控制输出像素值的定时。定时控制电路3210输出定时信号Tc和Tr，从而控制扫描行和列的定时。定时信号Tc用于指示开始扫描行的定时。另一方面，定时信号Tr用于指示开始扫描各行中的列的定时。这里，行是像素阵列部3240中一个方向上的多个像素的排列，且也表示为水平线。行(水平线)中包括相位差像素的行被表示为相位差线，不包括相位差像素的行被表示为法线。另一方面，列是像素阵列部3240中与行正交的方向上的多个像素的排列，且也表示为垂直线。

具体地，当用于拍摄一个图像的拍摄时段开始时，定时控制电路3210生成定时信号Tc，并把它提供给行扫描电路3220和转移信号生成电路3230。拍摄时段被划分为用于输出正常像素的像素值的正常像素输出时段和用于输出相位差像素的像素值的相位差像素输出时段。当拍摄时段开始时，定时控制电路3210输出定时信号Tc，然后，当相位差像素输出时段开始时，输出定时信号Tc。定时控制电路3210然后生成定时信号Tr并与在拍摄时段内选择行的定时同步地把它提供给列扫描电路3290。然而，在实时取景模式下选择较小数量的行，因此定时控制电路3210在拍摄时段内生成比在捕获模式下更小数量的定时信号Tr。

例如，在拍摄包括k个相位差线的n行×m列的一个图像的情况下，定时控制电路3210在拍摄时段开始时生成一次定时信号Tc，并在正常像素输出时段内生成n次定时信号Tr。这里，n和m是2或更大数字的整数，k是1和n之间的整数。定时控制电路3210然后在相位差像素输出时段开始时生成一次定时信号Tc，并在相位差像素输出时段内生成k次定时信号Tr。此外，定时控制电路3210把指示参考电压值的数字信号提供给D/A转换部3250。此外，定时控制电路3210控制计数器3270并与生成定时信号Tr的定时同步地把计数器值设定成初始值。

行扫描电路3220根据定时信号Tc和控制信号选择各行。行扫描电路3220在正常像素输出时段内把行选择信号经由信号线3229-1至3229-n顺序地输出到各行，从而选择行。例如，在选择行的情况下，行选择信号被设定成高电平，在不选择行的情况下，行选择信号被设定成低电平。此外，行扫描电路3220在相位差像素输出时段内顺序地选择各相位差线。然而，行扫描电路3220在拍摄时段内在实时取景模式下选择比在捕获模式下更小数量的行。另外，行扫描电路3220是权利要求书中所述的示例性行扫描部。

转移信号生成电路3230根据定时信号Tc和控制信号向选定行中的每个像素输出转移信号，从而驱动像素。例如，在驱动像素的情况下，转移信号被设定成高电平，在不驱动像素的情况下，转移信号被设定成低电平。转移信号生成电路3230从定时信号Tc中获取行扫描电路3220选择行时的定时。转移信号生成电路3230在正常像素输出时段内与行选择定时同步地同时驱动选定行中的各个正常像素。转移信号生成电路3230然后在相位差像素输出时段内与行选择定时同步地同时驱动选定行中的各个相位差像素。然而，在实时取景模式下比在捕获模式下选择更小数量的行，因此正常像素输出时段和相位差像素输出时段更短。另外，转移信号生成电路3230是权利要求书中所述的示例性驱动部。

像素阵列部(像素区域)3240例如被配置成多个相位差像素3241和多个正常像素3242二维地布置成网格形状。在具有高电平行选择信号和高电平转移信号输入的情况下，每个像素把像素信号作为取决于接收到的光量的电位处的电信号经由信号线3249-1至3249-m中相应列的信号线输出到A/D转换部3260。

D/A转换部3250对来自定时控制电路3210的参考电压值进行数模(D/A)转换并把参考电压Vref提供给A/D转换部3260。

A/D转换部3260把模拟像素信号转换为数字信号。A/D转换部3260包括多个(例如，m个)A/D转换电路。每个A/D转换电路包括比较器3262和存储器3263。比较器3262用于把参考电压Vref与像素信号的电压作比较并输出比较结果。每个A/D转换电路例如通过积分电路(未示出)对像素信号进行积分，并使计数器3270对时段进行计数，直到比较器3262的输出值指示积分电压超过参考电压Vref。通过计数器3270计数的值然后作为像素值保存在存储器3263中。

存储器3263用于保存像素值。每个存储器3263具有经由信号线3298-1至3298-m中相应列的信号线输入的列选择信号。列选择信号用于选择与列相对应的存储器3263并使它输出像素值。例如，在将要输出像素值的情况下，列选择信号被设定成高电平，在不要输出像素值的情况下，列选择信号被设定成低电平。在列选择信号处于高电平的情况下，存储器3263经由信号线3209输出像素值。

列扫描电路3290根据定时信号Tr和控制信号读取并输出选定行中各像素的像素值。每当它具有定时信号Tr输入时，转移信号生成电路3230在正常像素输出时段内以预定顺序读取并输出保存在A/D转换部3260中的正常像素的像素值。此外，每当它具有定时信号Tr输入时，转移信号生成电路3230以预定顺序读取并输出保存在A/D转换部3260中的相位差像素的像素值。这里，列扫描电路3290对定时信号Tr的次数进行计数，从而获取正常像素输出时段和相位差像素输出时段各者的起点和终点。例如，正常像素输出时段是在对于n行的图像拍摄期间在输入第一定时信号Tr之后直到输入第n定时信号Tr的时段。然而，在实时取景模式下比在捕获模式下选择更小数量的行，因此各时段内计数的定时信号的行数也更小。另外，列扫描电路3290是权利要求书中所述的示例性列扫描部。

图8示出根据本实施例适合用作车载摄像机的成像装置的像素区域800的示例性构成。所示像素区域800被划分为多个区域，每个区域中布置不同尺寸像素，并根据应用(或拍摄期间的行驶状况)对每个区域的灵敏度或分辨率进行优化。

在图8所示的示例中，成像装置的像素区域800被划分为包括中心区域801和分别在中心区域801的右边和左边的周边区域803和802的三个区域。如下所述，通过像素或像素区域的独立控制(诸如每个区域的AD转换处理)或以像素为单位独立读取来实现区域划分。周边区域802和803的灵敏度高于中心区域801，使得曝光时间可以缩短且因此帧速率可以增大，从而消除周边区域802和803中的模糊或焦平面失真。

用于在每个划分区域中实现高灵敏度的方法可以是使用增益控制(大幅增大将要增大灵敏度的区域中的增益)或像素相加的方法或通过调整像素尺寸(增大将要增大灵敏度的区域的像素尺寸)的方法。例如，对区域的一部分执行增益控制或像素相加，从而增大区域的灵敏度。此外，调整像素尺寸采用一种用于制造专用成像装置的方法，每个区域安装有不同尺寸像素。例如，布置有大尺寸像素的区域具有比布置有小尺寸像素的区域更高的灵敏度。另外，执行像素相加的区域可以假设为把表观像素尺寸调整成更大。

在图8所示的示例中，精细像素布置在中心区域801中，而大尺寸像素布置在周边区域802和803各者中。然而，以下说明假设既在通过每个划分区域改变像素尺寸而制造的成像装置中又在像素区域上布置有均一尺寸像素的成像装置中，在周边区域802和803中执行像素相加。此外，为了简化说明，图8只示出区域801至803各者的一部分的像素布置。另外，除如图33所示所有像素都是相同尺寸的情况之外，像素区域上的均一尺寸像素的布置还包括如图34或图35所示不同尺寸像素是混合的但每个尺寸的像素均匀地分布在像素区域中的情况。

中心区域801由精细像素构成，因此实现高分辨率拍摄。另一方面，周边区域802和803由大尺寸像素构成，因此具有低分辨率。目的不是以低分辨率拍摄周边区域802和803，而是大尺寸像素具有大受光区，从而实现高灵敏度。因此，由于高灵敏度，周边区域802和803的曝光时间可以缩短，且当快速行驶或拍摄运动物体时可以减少模糊。此外，增大曝光时间使得当在夜间或在暗处行驶时可以以足够灵敏度拍摄周边区域802和803(未被前照灯照射到)。

此外，当像素尺寸增大且分辨率降低时，每行(或每单位长度)的像素数量减小，因此周边区域802和803的读取速度提高(假设像素速率(每个像素的读取时间)是恒定的)。因此，可以以高帧速率拍摄(或可以高速连续拍摄)周边区域802和803，且当快速行驶或拍摄运动物体时，高速连续拍摄周边区域802和803，从而提高运动物体的物体识别率。

如果采用如图8所示在中心区域和周边区域之间布置有不同尺寸像素的成像装置，那么可以控制每个区域的拍摄条件(曝光条件、灵敏度、帧速率和读取速度)。用于配置每个区域具有不同像素尺寸的成像装置的方法可以是用于在布置有均一尺寸像素的成像装置中通过诸如像素相加或增益调整的信号处理显著增大区域的一部分的像素尺寸的方法或用于制造每个区域布置有不同尺寸像素的成像装置的方法。考虑到像素或片上镜头的设计或生产效率，使用布置有均一尺寸像素的成像装置的前一种配置方法更有利。此外，前一种方法的优点在于，中心区域和周边区域各者的位置和尺寸可以通过信号处理自适应地改变。另外，例如在专利文献3或专利文献4中也公开了布置有不同尺寸像素的成像装置的技术。

此外，本实施例假设每个划分区域并行地扫描成像装置的像素区域800(读取像素)。图9示出每个划分区域如何扫描像素区域800。图中，包括中心区域801以及周边区域802和803的各个区域中的扫描线分别用附图标记901，902和903表示。中心区域801的像素尺寸与周边区域802和803不同，且扫描线之间的间隔在它们之间是不同的。即，周边区域802和803中的扫描线数量比在中心区域801中更小且每个线的读取时间比在中心区域801中更短，因此读取一帧的时间在周边区域802和803中可以更短，从而实现更高帧速率。

图10示意性地示出被配置成并行地读取成像装置的像素区域800中的区域801至803各者的摄像机模块1000的示例性构成。图中，第一读取和AD转换部1001读取中心区域801中的像素并对读取信号进行AD转换。此外，第二读取和AD转换部1002和第三读取和AD转换部1003读取周边区域802和803中的像素并与第一读取和AD转换部1001并行地对读取信号进行AD转换。读取和读取信号AD转换部1001至1003各自把AD转换的像素信号输出到图像处理部1004。拍摄装置可以配置成假设中心区域801以及周边区域802和803中布置有不同尺寸像素的像素阵列为第一层，假设区域801至803中的读取信号AD转换部1001至1003为第二层，以及假设最后级的图像处理部1004为第三层，且对层进行层叠。图像处理部1004例如对区域801至803各者中捕获到的运动物体执行物体识别处理等。每个划分区域并行地扫描像素区域800，并进行诸如AD转换的信号处理，从而单独控制每个区域的曝光时间或帧速率。另外，像素区域800和AD转换部1001至1003通常进行合并(或根据需要包括被配置成累积AD转换的像素信号的存储器区域)，从而构成单个成像装置，并把后一级的图像处理部1004添加到成像装置，从而构成拍摄装置(摄像机模块)。然而，在车载摄像机的情况下，虽然与图像处理部1004相对应的功能未作为电路模块安装在摄像机模块中，但是可以集成在车辆控制电路芯片中。

假设像素速率是恒定的，虽然中心区域801具有小像素尺寸和高分辨率，但是随着每个线的像素数量越大，读取信号AD转换部1001的读取速度越低，因此中心区域801中的帧速率越低。另一方面，周边区域802和803具有大像素尺寸，因此具有高灵敏度和低分辨率，但是如果假设各个读取和读取信号AD转换部1001至1003为同一芯片中在相同工作频率下工作的电路，那么可以实现周边区域802和803的更高帧速率。

另外，例如在专利文献5或专利文献6中也公开了被配置成使得可以并行地执行诸如每个区域的AD转换的信号处理的成像装置。

图11示意性地示出当具有图8至图10所示的构成的拍摄装置安装在车辆前鼻中心附近使得眼睛方向与车辆行驶方向一致时的拍摄范围1100。拍摄装置把拍摄范围1100划分和拍摄为三个拍摄范围1101至1103，并执行图像处理。

用附图标记1101表示的拍摄范围是在像素区域800中的中心区域801中以高分辨率拍摄的注视区域。例如，可以在中心区域801中以高分辨率拍摄进入注视区域的物体，诸如前车后面、沿道路安装的道路标志(道路引导)、道路上绘制的道路标志、前车尾灯或在人行横道上行走的行人。此外，图像处理部1004可以从中心区域801中拍摄到的图像中精确地识别物体或可以测量到物体的距离。

另一方面，用附图标记1102和1103表示的拍摄范围是在像素区域800中的周边区域802和803中拍摄到的快速运动物体识别突出区域。如前面参照图3所述，当车辆高速行驶时，进入拍摄范围1102或1103的物体比拍摄范围1101中的物体移动得更快。周边区域802和803由大尺寸像素构成且具有低分辨率，但具有高读取速度，从而以高帧速率拍摄(或高速连拍)并提高快速运动物体识别精度。此外，周边区域802和803具有大像素尺寸和高灵敏度，因此与在注视区域1101中相比可以进一步缩短曝光时间并可以进一步减少模糊。

另外，虽然不是在像素区域800中的周边区域802和803中以低分辨率和高灵敏度拍摄快速运动物体识别突出区域，但是可以向在周边区域802和803中以高分辨率拍摄到的图像应用边缘处理(例如，在开发过程中)，从而提高物体识别率。

B-3.每个区域的拍摄条件处理

图8至图10所示的拍摄装置被配置成并行地扫描每个划分区域的像素区域800并执行信号处理，且可以单独控制拍摄条件，诸如每个区域的曝光时间、灵敏度、帧速率和读取速度(如上所述)。

图12示出关于像素区域800中每个区域的曝光/读取处理的示例性时序图。如上所述，并行地执行中心区域801及周边区域802和803中的曝光/读取处理。图中，横轴是时间轴，纵轴是扫描线(行号)。这里，成像装置采用被配置成执行每行的读取操作的成像装置，诸如CMOS图像传感器。

图12中的灰色平行四边形表示中心区域801及周边区域802和803各者中的曝光操作。这里，与平行四边形的底边的长度相对应的时间T1是参照图13的一条扫描线的曝光时间，图13示出一帧曝光处理的时序图。曝光时间基本上由快门速度确定。此外，与相邻平行四边形之间的间隔相对应的时间T2是帧间隔，且通过把单位时间除以T2而获得的值表示帧速率。此外，在平行四边形的斜边和底边之间形成的角度θ对应于每条扫描线的读取时间的偏移或读取速度。当读取速度低时，角度θ小，且当拍摄运动物体时容易发生焦平面失真(上面所述)。相反，当读取速度高时，角度θ大，且可以限制焦平面失真。在分辨率较低(或每行的像素数量较小)的情况下，读取速度较高。在AD转换速度较高的情况下，读取速度也较高。

再次参照图12，假设中心区域801由小尺寸像素构成，并在中心区域801中拍摄高分辨率图像。另一方面，周边区域802和803由大尺寸像素构成并具有高灵敏度，因此可以具有比中心区域801更短的曝光时间(周边区域802和803的平行四边形的底边的长度(T1)在图12中更短)。因此，当拍摄运动物体或快速行驶时，可以减少周边区域中的风景中出现的模糊。此外，通过使用周边区域802和803的短曝光时间可以实现较高帧速率(相邻平行四边形之间的间隔T2在图13中可以减小)，从而当快速行驶或拍摄运动物体时提高物体识别精度。

此外，周边区域802和803被设定成较低分辨率，因此读取速度可以比中心区域801更高。因此，周边区域802和803的平行四边形的斜线的倾斜度θ更大，从而限制焦平面失真。当然，通过增大周边区域中的信号处理速度(诸如AD转换速度)，不把周边区域设定成较低分辨率，读取速度也更高，从而限制模糊或焦平面失真。

本来，周边区域802和803可以设定成较高帧速率，并可以在周边区域中通过如图12所示的曝光/读取操作执行精确物体识别，且由于曝光时间短，可以减少快速运动物体中的模糊。例如当车辆高速行驶或识别运动物体时，图12所示的曝光/读取操作是有效的。

例如，在本说明书中公开的技术应用于拍摄部2916的情况下，该拍摄部2916被配置成当在高速公路上行驶车辆变换车道时拍摄车辆后面，精确地识别周边区域中拍摄到的车道或接近车辆，从而执行精确通过控制。

图14示出关于像素区域800中的曝光/读取处理的示例性时序图。该处理与图12所示的读取处理的共同之处在于在比中心区域801更短的曝光时间内拍摄周边区域802和803，但不同之处在于周边区域802和803被设定成与中心区域801相同的帧速率(或周边区域802和803高速水平流动)。在周边区域802和803中执行快速读取，运动物体中的模糊或焦平面失真减少，因此即使不是在高帧速率下，也可以精确地识别快速运动物体。

此外，图15示出关于像素区域800中的曝光/读取处理的又一示例性时序图。在所示示例中，周边区域802和803及中心区域801被设定成相同曝光时间和相同帧速率进行拍摄。大尺寸像素布置在周边区域802和803中，且即使在相同曝光时间内(上面所述)，周边区域802和803的灵敏度对于受光区也更高。因此，周边区域802和803的曝光时间被设定成与中心区域801一样长，因此低照度物体的可视性得到提高。例如，在夜间行驶时在周边区域802和803中拍摄未被前照灯照射到的低照度物体(例如，参照图7)，但是通过图15所示的曝光处理可以以高灵敏度捕获低照度物体。尽管未示出，但是周边区域802和803的曝光时间可以比中心区域801更长。当读取在不同曝光条件下拍摄到的各个区域801至803中的图像并合并为一个图像时，进行灰度校正，从而以高可视性获取整个图像。

另外，中心区域中每帧图像的变化很小，如参照图3所述。因此，中心区域中的多个帧可以合并并显示。例如，当改变曝光时拍摄到的中心区域的多个帧是合并从而生成具有宽动态范围的图像的高动态范围(HDR)。

B-4.根据行驶状况的拍摄条件控制

就如图8至图10所示包括成像装置的拍摄装置而言，其中像素尺寸在中心区域和周边区域之间是不同的，周边区域802和803的拍摄条件根据车辆行驶状况相对于中心区域801自适应地控制，从而实现模糊减少、对运动物体的精确识别处理、低照度物体的高灵敏度拍摄等。周边区域802和803的拍摄条件的调整参数可以是曝光时间、灵敏度、帧速率、分辨率和读取速度。下表1中的每个调整参数表示周边区域802和803在每个行驶状况下的适当拍摄条件。然而，该表以举例方式表示相对于中心区域801进行周边区域802和803的差分调整并相对于中心区域801表示“高”或“低”。此外，不需要差分调整(或可能需要正常调整)的调整参数用“-”表示。另外，表中“曝光时间”和“帧速率”的定义如上所述。

【表1】

首先将对通过调整每个调整参数的效果以及调整方法进行说明。曝光时间基本上可以通过拍摄装置的快门速度进行调整。当曝光时间缩短时，快门速度增大(如上所述)，从而限制模糊。因此，曝光时间缩短，从而当拍摄运动物体或快速行驶时减少周边区域中的风景中出现的模糊。在短曝光时间内成像装置接收到的光量小，因此灵敏度降低或灵敏度需要增大。相反，存在在长曝光时间内成像装置接收到的光量增大且灵敏度高的效果。

当灵敏度增大时，可以在暗处拍摄物体，诸如在夜间或在隧道内(或在从前照灯发出的光未到达的周边区域中)。此外，能够以高灵敏度在短曝光时间内拍摄，因此可以得到这样的效果：当拍摄运动物体或快速行驶时，在短曝光时间内减少周边区域中的风景中出现的模糊。例如，拍摄信号处理中的增益增大，从而增大灵敏度。此外，当像素尺寸增大时，每个像素接收到的光量增大并实现高灵敏度。就配备有像素相加功能的成像装置而言，通过相加，表观像素尺寸增大，且灵敏度同样增大。然而，当像素尺寸增大或执行像素相加时，分辨率降低。

当帧速率增大时，每单位时间处理的帧数增大，因此可以平滑地捕获运动物体的运动，从而在快速行驶时减少周边区域中的风景中出现的模糊。虽然为了增大帧速率，拍摄信号处理速度必须增大，但是通过增大AD转换速度或电路工作时钟频率可以实现高帧速率。此外，为了增大帧速率，曝光时间需要缩短，且灵敏度降低或灵敏度需要增大。为了增大灵敏度，采用用于提高增益、增大像素尺寸、执行像素相加或变稀读取等的方法。然而，当执行像素相加或变稀读取时，分辨率降低。当执行像素相加时，灵敏度增大，但是通过变稀读取并未提高灵敏度。

当读取速度增大时，读取时间缩短(或图13中的角度θ增大)，从而当拍摄运动物体时减少焦平面失真。增大拍摄信号处理速度(例如，通过大幅增大电路操作时钟频率来提高AD转换速度)，从而增大读取速度。

在正常(或低速)行驶或后退行驶期间，帧速率和曝光时间在中心区域和周边区域之间是相同的(例如，参照图15)，且图像在中心区域和周边区域之间是均匀的。例如，当驱动***控制单元2100根据被车辆状态检测部2110检测到的车轮转速来识别正常行驶或后退行驶时，车辆外部信息检测单元2400可以为拍摄部2410指定周边区域的帧速率和曝光时间。

在快速行驶期间，周边区域被设定成比中心区域更短的曝光时间、更高的帧速率和更高的读取速度(例如，参照图12)。中心区域被设定成突出分辨率的正常帧速率和正常曝光时间(或仍高分辨率)。另一方面，在周边区域中缩短曝光时间，从而当快速行驶时减少周边区域中的风景中出现的模糊。另外，周边区域可以优选地设定成高灵敏度以补偿短曝光时间内的曝光。此外，周边区域被设定成高帧速率，从而减少周边区域中的风景中出现的模糊。此外，周边区域被设定成高读取速度，从而当快速行驶时减少周边区域中的风景中出现的焦平面失真。增大帧速率，缩短曝光时间，以及突出运动物体的分辨率。例如，当驱动***控制单元2100根据被车辆状态检测部2110检测到的车轮转速来识别快速行驶时，车辆外部信息检测单元2400可以为拍摄部2410指定周边区域的较短曝光时间、较高帧速率和较高读取速度中的至少一者。

当经过市中心或在市中心行驶时，需要感测车辆接近的物体。因此，当经过市中心或在市中心行驶时，周边区域被设定成比中心区域更短的曝光时间和更高的灵敏度。曝光时间缩短，因此在较少模糊的情况下可以捕获车辆接近的物体。此外，灵敏度增大，因此能够在短曝光时间内拍摄。例如，根据包括在仪表板2730中的导航***中获取到的地图信息或道路信息感测街道是否狭窄或建筑物是否接近，且车辆外部信息检测单元2400可以为拍摄部2410指定周边区域的较短曝光时间和较高灵敏度。

然而，当经过市中心或在市中心行驶时(待识别运动物体不存在的周边区域不需要进行调整)，只要在物体接近的周边区域而不是在两个周边区域中缩短曝光时间并增大灵敏度即可。例如，根据在被拍摄部2410或包括在车辆外部信息检测部2420中的周围信息检测传感器拍摄到的图像中识别出的物体来识别物体正在接近车辆的哪一侧，且车辆外部信息检测单元2400可以为拍摄部2410指定周边区域的帧速率和曝光时间。

假设在夜间或在暗处(诸如在隧道内)行驶时，点亮前照灯以照亮中心区域，但从前照灯发出的光未到达周边区域。因此，在夜间或在暗处(诸如在隧道内)行驶时，假设周边区域802和803及中心区域801都调整成高灵敏度，且周边区域802和803还调整成更长曝光时间和更高灵敏度。因为当曝光时间增大时，所以成像装置接收到的光量增大，可以以高灵敏度拍摄从前照灯发出的光未到达的周边区域。此外，周边区域由大像素尺寸的成像装置构成或经过像素相加，从而以低分辨率但以高灵敏度拍摄。例如，当驾驶员在夜间或在暗处经由输入部2800把灵敏度调整成更高时，车辆外部信息检测单元2400可以响应于输入操作向拍摄部2410输出指令。可替换地，当根据包括在车辆外部信息检测部2420中的阳光传感器的检测结果来感测夜间或暗处(或减低照度)时，车辆外部信息检测单元2400可以指示拍摄部2410增大周边区域中的曝光时间。此外，当根据导航***中获取到的地图信息或道路信息感测到进入隧道时，车辆外部信息检测单元2400可以为拍摄部2410指定周边区域的曝光时间。

可替换地，在夜间(包括多云天气或阴雨天气)或在暗处点亮前照灯，因此车身***控制单元2200可以响应于点亮的前照灯为拍摄部2410指定周边区域的曝光时间。如前面参照图7所述，被前照灯照射到的中心区域处于高亮度且可以被清晰地拍摄，但从前照灯发出的光未到达周边区域，因此以更高灵敏度并在更长曝光时间内拍摄周边区域。此外，当车身***控制单元2200把前照灯切换为远光或近光时，可以为拍摄部2410指定周边区域的曝光时间。

当识别运动物体时，周边区域被设定成比中心区域更短的曝光时间、更高的灵敏度、更高的帧速率和更高的读取速度。运动物体识别率在中心区域中也降低，但识别率在周边区域中进一步降低。曝光时间减少，从而减少运动物体中出现的模糊。此外，当灵敏度增大时，能够在更短曝光时间内拍摄，从而减少运动物体中出现的模糊。此外，帧速率增大，从而减少运动物体中出现的模糊。此外，读取速度增大，从而减少运动物体中的焦平面失真。

异常行驶是旋转、打滑、侧翻等。通常，旋转是轮胎在道路上打滑，车身旋转，以及目标方向与车辆朝向大不相同，打滑是轮胎打滑但车身不会大幅旋转。与快速行驶类似，在异常行驶期间在周边区域中增大帧速率并缩短曝光时间，从而突出运动物体的分辨率。例如，包括在车辆状态检测部2110中的加速度传感器检测车辆的异常加速度增加或识别被拍摄部2410拍摄到的周围图像的异常运动，从而感测异常行驶。然后，车辆外部信息检测单元2400可以为拍摄部2410指定周边区域的帧速率和曝光时间。

假设在隧道内行驶时，点亮前照灯以照亮中心区域，但从前照灯发出的光未到达周边区域。因此，在隧道内行驶时，周边区域被调整成具有比中心区域更高的灵敏度和更高的帧速率。灵敏度增大，从而优选地拍摄从前照灯发出的光未到达的周边区域。此外，帧速率增大，从而减少周边区域中的风景(隧道墙壁)中出现的模糊。例如，当根据汽车导航信息确定在隧道内行驶时，车辆外部信息检测单元2400可以指示拍摄部2410把周边区域调整成具有更高灵敏度和更高帧速率。可替换地，可以根据被车载摄像机拍摄到的图像的识别结果来识别出在隧道内行驶。

另外，虽然表1中省略，但是分辨率可以包括在拍摄条件的调整参数中。例如，在使用能够通过像素相加或变稀读取增大表观像素尺寸的成像装置(下面所述)的情况下，可以调整分辨率。例如，执行像素相加的区域具有较低分辨率，但具有较高灵敏度，从而缩短曝光时间并进一步增大帧速率。

拍摄条件的调整参数中还可包括开发模式。例如，为了提高运动物体的可视性，中心区域被设定在突出颜色再现性和可视性的开发处理模式下，而周边区域被设定在执行简单开发或边缘突出的开发处理模式下。

图29是示出根据行驶状况对具有像素区域中的中心区域和周边区域的成像装置执行每个区域(周边区域)的拍摄条件控制的处理过程的流程图。车辆控制***2000中的集成控制单元2600例如主要执行预定程序，使得实现所示处理过程。

首先，根据车辆状态检测部2110、车辆外部信息检测部2420和车辆内部状态检测部2510中的至少一者的检测结果、被拍摄部2410拍摄到的图像的分析结果等掌握车辆的当前行驶状况(快速行驶、经过市中心/在市中心行驶、在夜间或在暗处行驶、运动物体出现、异常行驶、在隧道内行驶等)(步骤S2901)。

然后，例如根据表1确定适合于行驶状况的周边区域的拍摄条件(曝光条件、灵敏度、帧速率和读取速度)(步骤S2902和步骤S2903)。

然后，在确定的拍摄条件下对车载摄像机执行曝光处理(步骤S2904)。

此外，如上所述对被车载摄像机拍摄到的图像执行识别处理(步骤S2905)，并可以根据周边区域的识别结果等执行车辆行驶控制(步骤S2906)。下面将对行驶控制进行详细说明。

B-5.使用布置有均一尺寸像素的成像装置的拍摄条件控制

这里将对在使用布置有均一尺寸像素的成像装置的情况下用于控制拍摄条件(曝光时间、灵敏度、帧速率和读取速度)的方法进行说明。对以下方法进行合并，从而根据B-4所述的行驶状况执行控制。

曝光时间对应于快门速度。为了实现短曝光时间，需要提高像素灵敏度。在布置有均一尺寸像素的成像装置中可以采用大幅增大增益的方法或通过像素相加增大表观像素尺寸的方法。然而，当执行像素相加时，分辨率降低。例如，在周边区域中缩短曝光时间，从而当拍摄运动物体或快速行驶时减少周边区域中的风景中出现的模糊。

此外，为了增大布置有均一尺寸像素的成像装置的灵敏度，可以采用大幅增大增益的方法或通过像素相加增大表观像素尺寸的方法。然而，像素相加使分辨率降低。当灵敏度增大时，在暗处(诸如在夜间或在隧道内)(或在从前照灯发出的光未到达的周边区域中)的物体可以被清晰地拍摄。此外，如果灵敏度高，那么能够在短曝光时间内拍摄，因此得到这样的效果：当拍摄运动物体或快速行驶时，在短曝光时间内可以减少周边区域中的风景中出现的模糊。

此外，为了增大布置有均一尺寸像素的成像装置的帧速率，必须提高拍摄信号处理速度，但通过增大AD转换速度或电路工作时钟频率可以实现更高帧速率。此外，通过像素相加或变稀处理来减小表观像素的数量以减小每帧的处理负荷，从而实现更高帧速率。此外，为了增大帧速率，必须缩短曝光时间，且灵敏度降低或灵敏度需要增大。例如，为了增大灵敏度，可以采用提高增益或执行像素相加的方法。然而，当执行像素相加时，分辨率降低。另外，通过变稀读取由于像素数量减小可以减少每帧的处理时间，但灵敏度并未提高。当帧速率增大时，每单位时间处理的帧数增大，因此可以平滑地捕获运动物体的运动，从而当快速行驶时减少周边区域中的风景中出现的模糊。

此外，为了增大布置有均一尺寸像素的成像装置的读取速度，可以增大拍摄信号处理速度(例如，通过大幅增大电路工作时钟频率来提高AD转换速度)。当读取速度增大时，读取时间缩短(或图13中的角度θ增大)，从而当拍摄运动物体时减少焦平面失真。

另外，像素相加用于在像素值读取处理中获取具有相同颜色的多个像素的像素值的相加信号。例如，在将要相加的每个像素中生成的电子累积在将要相加的浮动扩散(FD)中，从而实现像素相加。经过像素相加的像素显然是一个像素。即，经过像素相加的像素的分辨率较低，因此是能够以高灵敏度和以高读取速度读取的像素。然而，假设将要经过像素相加的像素为相邻像素或不相邻但在短距离内的像素。参照图8至图10所示的示例，在中心区域中不执行像素相加，从而保持高分辨率，而在周边区域中执行像素相加，从而在周边区域中实现高灵敏度和高帧速率。

对于颜色布局，拜耳布局是典型的，这是假设2×2的四个像素为单位布局的周期性布局，其中单位布局中的四个像素中的两个像素被倾斜地布置为G像素，其他两个像素是R像素和B像素。在拜耳布局的成像装置中，一种通过用于把多个像素相加并读取的相同颜色像素相加/读取来执行像素相加的方法是已知的，其中例如相同颜色的彩色滤光片在水平方向上或在垂直方向上或在水平方向上且在垂直方向上是相邻的。

然而，颜色布局并不限于拜耳布局，且可以是其他布局图案，在这种情况下，可以通过相同颜色像素相加/读取来执行像素相加。这里，其他布局图案并不限于2×2的单位像素的周期性布局，且可以是3×3、3×4等的单位像素的周期性布局。

图22以举例方式示出被配置成通过像素相加对像素区域执行区域划分的示例性成像装置。RGB的每个像素被配置成2×2像素，且有效像素的数量是全部的1/4。然而，为了简化图，绘制少量像素，但应当理解，像素阵列实际上由垂直方向和水平方向上的大量像素构成。

被用附图标记221表示的粗线包围的区域的内部是图22中的中心区域，其中不执行像素相加并执行像素值读取处理。因此，中心区域中的拍摄图像保持高分辨率。另一方面，周边区域在粗线221之外，其中对RGB的每个像素执行2×2像素相加，使得每个像素用作显然是四倍尺寸的像素。因此，周边区域的分辨率低至1/4倍，但灵敏度比中心区域(或比在正常像素值读取处理而没有像素相加的情况下)更高，且能够快速读取。当然，如果在图22所示的成像装置中未执行像素相加，那么成像装置可以用作正常成像装置(不执行像素相加并读取所有像素)。例如，成像装置可以用作被配置成在停止或正常行驶期间读取所有像素的成像装置。

图22示出被配置成把每2×2像素累积的电荷相加且然后读取的示例性电路构成，但从每个像素中读取的信号可以在信号处理部中进行相加处理。此外，图22以举例方式示出通过像素相加对2×2像素布局的成像装置执行区域划分，但本说明书中公开的技术并不限于特定彩色滤光片布局。例如，采用像素相加配置，从而在各种颜色布局(诸如使用G像素中的某个像素作为红外传感器(IR)的RGBIR、包括白色像素的RGBW)、嵌入相位差像素的布局(诸如2×2像素布局中的R像素中的某个像素用相位差像素代替的布局、对于某些像素使用偏振滤光片的布局等)以及除拜耳布局之外的布局***中的成像装置中也执行如上所述的类似区域划分。

另外，像素相加本身也是专利文献7中公开的技术，且例如用于高灵敏度拍摄。此外，通过变稀处理而不是通过像素相加也可以增大读取速度，但灵敏度不能增大。

B-6.使用专用成像装置的拍摄条件控制

接着将对在中心区域和周边区域中的每个区域布置有不同尺寸像素的专用成像装置的情况下用于控制拍摄条件(曝光时间、灵敏度、帧速率和读取速度)的方法进行说明。除非特别说明，假设具有较小尺寸和较高分辨率的像素布置在中心区域而不是周边区域中，较大尺寸的像素布置在周边区域而不是中心区域中。对以下方法进行合并，从而根据B-4所述的行驶状况执行控制。

如上所述，大尺寸像素具有高灵敏度和高读取速度。由于高灵敏度，可以容易地实现短曝光时间，且随着曝光时间变长，灵敏度高得多。此外，由于短曝光时间和高读取速度，可以容易地实现高帧速率。

曝光时间对应于快门速度。布置有大尺寸像素的区域具有高灵敏度，因此可以缩短曝光时间。例如，布置有大尺寸像素的周边区域被设定成短曝光时间，从而当拍摄运动物体和快速行驶时减少周边区域中的风景中出现的模糊。

此外，因为布置有大尺寸像素的区域具有高灵敏度，所以即使在夜间或在暗处行驶时从前照灯发出的光未到达所述区域，所述区域也被设定成长曝光时间，使得灵敏度高得多且可以清晰地拍摄物体。此外，在大幅增大增益的方法中，灵敏度得到进一步增大。当然，可以同时采用像素相加。

此外，布置有大尺寸像素的区域具有高灵敏度，因此具有短曝光时间和高读取速度，使得可以容易地增大帧速率。AD转换速度或电路工作时钟频率增大，从而实现更高帧速率。当帧速率增大时，每单位时间处理的帧数增大，因此可以平滑地捕获运动物体的运动，从而当快速行驶时减少周边区域中的风景中出现的模糊。

此外，布置有大尺寸像素的区域本来具有高读取速度。增大拍摄信号处理速度(例如，通过大幅增大电路工作时钟频率来提高AD转换速度)，从而进一步增大读取速度。当读取速度增大时，读取时间缩短(或图13中的角度θ增大)，从而当拍摄运动物体时减少焦平面失真。

B-7.区域划分的变型

图8以举例方式示出成像装置的像素区域800被划分为三个区域，使得中心区域801大致布置在中心，周边区域803和802分别在中心区域801的右边和左边。区域划分可以应用在拍摄装置大致安装在车辆前鼻中心的情况下，使得眼睛方向指向车辆的眼睛方向，例如，如图11所示。

根据拍摄装置在车辆中安装的位置或成像装置在其安装位置的眼睛方向的朝向(相对于车辆行驶方向倾斜)，最适宜的区域划分方法是不同的。

例如，在安装在车辆前鼻的左端附近(或左翼子板的头部附近或左前照灯附近)使得眼睛方向从车辆行驶方向向左倾斜(如图16中用附图标记1601表示)的拍摄装置的情况下，区域划分被优选执行为使得具有高分辨率的中心区域1701从像素区域的中心向左布置，具有低分辨率(或高灵敏度和高读取速度)的周边区域1703和1702分别布置在中心区域1701的右边和左边，如图17所示。左周边区域1702较窄，右周边区域1703较宽。

同样地，在布置在车辆前鼻的右端附近(或右翼子板的头部附近或右前照灯附近)使得眼睛方向从车辆行驶方向向右倾斜(如图18中用附图标记1801表示)的拍摄装置的情况下，区域划分被优选执行为使得具有高分辨率的中心区域1901从像素区域的中心向右布置，具有低分辨率(或高灵敏度和高读取速度)的周边区域1903和1902分别布置在中心区域1901的右边和左边，如图19所示。左周边区域1902较宽，右周边区域1903较窄。

此外，图8以举例方式示出通过使用两种不同像素尺寸的像素由由小尺寸像素构成的高分辨率中心区域801和由大尺寸像素构成的低分辨率(高灵敏度和高读取速度)周边区域802和803构成的像素区域800。作为变型，划分为三种区域的像素区域200可以如图20所示构成。图中，附图标记201表示由小尺寸像素构成的中心区域，附图标记202和203表示由中等尺寸像素构成的第一周边区域，以及附图标记204和205表示由大尺寸像素构成的第二周边区域。虽然未示出，但是可以通过使用四种或更多种不同尺寸像素来构成划分为三个或更多个相位的周边区域的像素区域。

在如图20所示像素区域被划分为多个相位的周边区域的情况下，像素区域基本上被构成为使得与中心区域相距较远的区域具有较低分辨率(换言之，较高灵敏度和较高读取速度)。例如，随着车速增大，中心区域可以减小，周边区域可以被设定成更高灵敏度或更高帧速率，或周边区域的划分数量可以增大。

此外，每个划分区域的形状(轮廓)并不限于圆形。图21示出像素区域210的示例性构成，该像素区域210被划分为中心区域211、第一周边区域212以及第二周边区域213和214，它们分别是矩形。

另外，具有高灵敏度(或低分辨率)的区域在图20和图21中用深灰色绘制。

与图20或图21所示的示例类似，图17或图19所示中心区域从像素区域的中心向左或向右的成像装置也可被划分为两个或更多个相位的周边区域，且每个区域的形状可以不是圆形。

此外，在以与图8至图10不同的方式划分为多个区域的成像装置的情况下，每个相位的周边区域的拍摄条件(曝光时间、灵敏度、帧速率和读取速度)可以根据如表1所示的车辆行驶状况(诸如快速行驶、经过市中心/在市中心行驶、在夜间或在暗处行驶、运动物体出现、异常行驶或在隧道内行驶)进行控制。

在每个区域布置有不同尺寸像素的专用成像装置中，中心区域和周边区域的布置是固定的。相反，在布置有均一尺寸像素的成像装置中采用通过使用诸如增益控制或像素相加的信号处理来形成中心区域和周边区域的方法的情况下(参照B-4)，每个区域或以像素为单位独立地切换信号处理，从而灵活地且动态地改变每个区域的位置、形状和尺寸。此外，改变将要进行像素相加的像素数量，从而以举例方式如图20或图21所示形成任意个相位的周边区域。换言之，考虑到像素或片上镜头的设计或生产效率，布置有均一尺寸像素的成像装置比专用成像装置更优异。

在向布置有均一尺寸像素的成像装置施加信号处理的方法中，中心区域的位置例如根据拍摄装置安装的位置或朝向可以如图17或图19所示向左或向右移动。此外，可以根据车辆行驶状况(诸如快速行驶、经过市中心/在市中心行驶、在夜间或在暗处行驶、运动物体出现、异常行驶或在隧道内行驶)确定中心区域或周边区域的位置、尺寸和形状以及周边区域的相位数，且每个区域的拍摄条件(曝光时间、灵敏度、帧速率和读取速度)可以如表1所示自适应地且动态地改变。

例如，当车辆接近如图23(A)所示的左手曲线2301时，通过大致安装在车辆前节点中心处的拍摄装置在车辆前面(在车辆行驶方向上)拍摄到的图像在与曲线2301的外周边相对应的像素区域的右边的风景(物体)中移动得更快，且容易出现模糊。随着在曲线2301处车速增大，模糊更加显著。因此，优选改变像素区域的区域划分，使得如图23(B)所示中心区域2311从像素区域的中心向左。因此，左周边区域2312较窄，右周边区域2313较宽。此外，适当的拍摄条件在右周边区域和左周边区域之间不一定相同。右周边区域2313可以设定成比左周边区域2312更短的曝光时间和更高的帧速率。

每当方向盘的转向角超过特定角度时，中心区域2311可以逐步向左偏移。此外，随着车速增大，中心区域中的偏移量可以增大或减小，周边区域可以设定成更高灵敏度或更高帧速率，或周边区域的划分数量可以增大。

随着车速增大，曲线2301的外周边上的物体更快地移动。因此，优选地，中心区域2321较小，周边区域被划分为多个相位(在所示示例中的两个相位的周边区域2323和2324)，且外周边区域2324被设定成更高灵敏度和更高读取速度(或更低分辨率)，从而保持如图23(C)所示运动物体在像素区域的边缘上的物体识别率。当车速超过曲线2301处的特定值时，周边区域可以设定成更高灵敏度和更高帧速率，或周边区域可以划分为多个相位。

此外，当车辆接近如图24(A)所示的右手曲线2401时，通过大致安装在车辆前鼻中心处的拍摄装置在车辆前面(在车辆行驶方向上)拍摄到的图像在与曲线2401的外周边相对应的像素区域的右边的风景(物体)中移动得更快，且容易出现模糊。随着在曲线2401处车速增大，模糊更加显著。因此，优选改变像素区域的区域划分，使得如图24(B)所示中心区域2411从像素区域的中心向右。因此，右周边区域2413较窄，左周边区域2412较宽。此外，适当的拍摄条件在右周边区域和左周边区域之间不一定相同。左周边区域2412可以设定成比右周边区域2413更短的曝光时间和更高的帧速率。

每当方向盘的转向角超过特定角度时，中心区域2411可以逐步向右偏移。此外，随着车速增大，中心区域中的偏移量可以增大或减小，周边区域可以设定成更高灵敏度或更高帧速率，或周边区域的划分数量可以增大。

随着车速增大，曲线2401的另一个周边上的物体更快地移动。因此，优选地，中心区域2421较小，周边区域被划分为多个相位(在所示示例中的两个相位的周边区域2422和2423)，且外周边区域2423被设定成更高灵敏度和更高读取速度(或更低分辨率)，从而保持如图24(C)所示运动物体在像素区域的边缘上的物体识别率。当车速超过曲线2401处的特定值时，周边区域可以设定成更高灵敏度和更高帧速率，或周边区域可以划分为多个相位。

例如，可以根据被车辆状态检测部2110检测到的方向盘的转向角、发动机转速、车轮转速等来测量车辆接近右手曲线或左手曲线或当时车速，从而执行如图23和图24所示的区域划分的自适应控制。

此外，当如图25(A)所示车辆接近向上斜坡2501时，向上斜坡2501在驾驶员注视区域中的消失点在通过大致安装在车辆前鼻中心处的拍摄装置在车辆前面(在车辆行驶方向上)拍摄到的图像中从屏幕中心向上偏移，且主要拍摄道路。可替换地，驾驶员的眼睛往往直接向上。因此，中心区域2511的中心位置优选如图25(B)所示沿向上斜坡2501向上偏移并加宽。

另一方面，当如图26(A)所示车辆接近向下斜坡2601时，向下斜坡2601在驾驶员注视区域中的消失点在通过大致安装在车辆前鼻中心处的拍摄装置在车辆前面(在车辆行驶方向上)拍摄到的图像中从屏幕中心向下偏移，且道路迅速消失。可替换地，驾驶员的眼睛往往直接向下。因此，中心区域2611的中心位置优选如图26(B)所示沿向下斜坡2601向下偏移。

例如，可以根据被车辆状态检测部2110检测到的车身轴向旋转的角速度(主要是俯仰率)、关于被车载摄像机拍摄到的图像中的道路的物体识别结果、在包括在仪表板2730中的导航***中获取到的地图信息或道路信息等确定车辆是否在斜坡上行驶，从而执行如图25和图26所示的区域划分的自适应控制。

图23至图26所示的区域划分的示例性自适应控制可以把包括消失点的区域定义为中心区域。因此，随着时间推移根据方向盘的转向角、车身俯仰轴周围的倾斜测量结果等跟踪车载摄像机的消失点，从而使中心区域偏移以包括消失点。此外，中心区域的尺寸或形状可以根据车速或其他行驶状况而改变。

此外，可能存在一种把包括驾驶员的注视点(或眼睛方向)的区域定义为中心区域的方法。例如，中心区域的中心位置动态地(随着时间推移)偏移，且其外周边区域也偏移以跟随根据被包括在车辆内部信息检测部2510中的Dramoni摄像机拍摄到的图像而感测到的驾驶员的注视点。可替换地，当驾驶员的注视点移向周边区域时，注视点的附近可以设定成更高分辨率(或返回到与中心区域类似的分辨率，而不是执行像素相加)，而不是根据驾驶员的注视点使中心区域偏移。这是因为受关注物体存在于驾驶员的眼睛方向上，且可能必须以高分辨率进行识别。

此外，当在夜间(包括多云天气或阴雨天气)或在暗处点亮前照灯时，可以清晰地拍摄被前照灯照射到的中心区域，但从前照灯发出的光未到达周边区域，如前面参照图7所述。因此，以高灵敏度(由于像素相加)且在长曝光时间内拍摄周边区域。

此外，成像装置的像素区域的区域划分可以根据当前照灯点亮时在车身***控制单元2200中在远光和近光之间的切换而自适应地控制。

当前照灯切换为远光时，被前照灯照射到的高亮度区域从像素区域的中心向上偏移，如图27(A)所示。因此，优选地，中心区域2701的中心位置向上偏移，且从前照灯发出的光未到达的部分被假设为周边区域2702且可以以高分辨率拍摄，如图27(B)所示。

相反，当前照灯切换为近光时，被前照灯照射到的高亮度区域从像素区域的中心向下偏移，如图28(A)所示。因此，优选地，中心区域2801的中心位置向下偏移，且从前照灯发出的光未到达的部分被假设为周边区域2802且可以以高分辨率拍摄，如图28(B)所示。

例如，如图27和图28所示的区域划分的自适应控制可以与通过车身***控制单元2200在前照灯的远光和近光之间的切换控制联合执行。

图30示出根据行驶状况通过使用诸如像素相加的信号处理在中心区域和周边区域设置在像素区域中的拍摄装置中执行像素区域的区域划分和每个区域(周边区域)的拍摄条件控制的处理过程的流程图。假设所示处理过程适用于布置有均一尺寸像素的拍摄装置，但是也可以在每个区域由不同尺寸像素构成的拍摄装置中执行。此外，车辆控制***2000中的集成控制单元2600例如主要执行预定程序，使得所示处理过程得以实现。

首先，根据车辆状态检测部2110、车辆外部信息检测部2420和车辆内部状态检测部2510中的至少一者的检测结果、被拍摄部2410拍摄到的图像的分析结果等掌握车辆的当前行驶状况(诸如快速行驶、经过市中心/在市中心行驶、在夜间或在暗处行驶、运动物体出现、异常行驶、或在隧道内行驶)(步骤S3001)。

然后，确定适合于行驶状况的中心区域的位置、形状和尺寸(步骤S3002)。

然后，确定周边区域的相位数以及适合于行驶状况的每个相位的周边区域的位置、形状和尺寸(步骤S3003)。

然后，例如根据表1确定适合于行驶状况的每个相位的周边区域的拍摄条件(曝光时间、灵敏度、帧速率和读取速度)(步骤S3004和步骤S3005)。

然后在确定的拍摄条件下对车载摄像机执行曝光处理(步骤S3006)。

对如上所述被车载摄像机拍摄到的图像还执行识别处理(步骤S3007)，并可以根据周边区域的识别结果等执行车辆行驶控制(步骤S3008)。下面将对行驶控制进行详细说明。

B-8.使用周边区域的图像的方法

根据本说明书中公开的技术，可以提高被车载摄像机拍摄到的图像中的周边区域的物体识别率。周边区域中识别出的物体可以通过监视或跟踪物体用于诸如碰撞的危险预测或避免或用于车辆行驶支持或车辆行驶控制。

周边区域被设定成高灵敏度以以高帧速率或在短曝光时间内自适应地拍摄，使得可以提高沿道路安装的道路标志(道路引导)或在道路上绘制的道路标志或车道的识别率。道路标志等的识别结果可以用于诸如车道偏离报警、行驶速度控制和通过控制的安全行驶支持或巡航控制。

此外，周边区域被设定成高灵敏度以以高帧速率或在短曝光时间内自适应地拍摄，使得可以提高进入周边区域的行人、人行横道或障碍物的识别率。识别结果可以通过使用平视显示器、仪表板等显示在车内或可以以语音输出，从而警告行人或障碍物。

将列出使用周边区域的图像的示例性行驶控制。

(1)来车或前车的识别

危险报警、车辆间调整、制动控制、通过控制、车道变换通知

(2)自行车或两轮车的识别

失控报警、制动控制、避免危险/碰撞行驶、通知用户(驾驶员)

(3)行人识别，人行横道识别

失控报警、制动控制、避免危险/碰撞行驶

(4)车道识别

车道偏离报警、巡航控制

(5)标志识别

速度控制、报警

(6)道路引导识别

速度控制、导航

(7)导致事故的先前(未遂事件)识别

自记录(仪表板摄像机)、安全装置(诸如安全气囊)的操作

B-9.拍摄图像显示方法

被像素区域划分为多个区域的拍摄装置拍摄到的图像例如通过使用平视显示器或仪表板显示在车内或作为记录图像显示在车辆外部装置上。

此外，在本说明书中公开的技术应用于摩托车的情况下，被车载摄像机拍摄到的图像(或例如从周边区域的图像中获取到的信息或周边区域的物体识别结果)例如可以是显示在驾驶员穿戴的头盔的防护罩等上的增强现实(AR)。

在图像显示期间可能难以识别图像中哪个部分是中心区域或周边区域。特别是，如B-7所述，在自适应地控制区域划分的情况下掌握每个划分区域是非常困难的。因此，在显示被像素区域划分为多个区域的拍摄装置拍摄到的图像的情况下，每个划分区域可以呈现图像。可替换地，当显示一个图像时，期望例如通过使区域混合可以在视觉上确认区域之间的边界。

此外，中心区域中每帧图像的变化较小，如参照图3所述。因此，中心区域中的多个帧可以合并并显示。例如，中心区域的多个拍摄图像在改变曝光的同时进行HDR合并，从而生成具有宽动态范围的图像。

工业实用性

上面已经参照具体实施例对本说明书中公开的技术进行详细说明。然而，很明显，本领域技术人员在不脱离本说明书中公开的技术的精神的情况下可以修改或替换实施例。

本说明书中公开的技术可以应用于安装在车辆任何位置在任何眼睛方向上的车载摄像机以在车辆周围(车辆外部)拍摄，诸如车辆的前鼻、外后视镜、后保险杠或后车门。此外，本说明书中公开的技术可以应用于数字镜像摄像机。

另外，本说明书中公开的技术可以应用于各种车辆，诸如汽车(包括汽油动力汽车和柴油动力汽车)、电动汽车、电动混合动力汽车、摩托车、自行车和个人代步工具。此外，本说明书中公开的技术可以应用于安装在除在道路上行驶的车辆之外的移动物体(诸如飞机)上的拍摄装置或监控摄像机。

简而言之，已经以举例方式对本说明书中公开的技术进行说明，且不应限制性地解释本说明书中所述的内容。应当参照权利要求书以确定本说明书中公开的技术的精神。

另外，本说明书中公开的技术可以采用以下构成。

(1)一种拍摄控制装置，包括：

控制部，被配置成把具有多个像素的拍摄部中的中心区域的拍摄条件控制成是比所述拍摄部中的周边区域更高的灵敏度、更高的帧速率、更短的曝光时间和更高的工作频率中的任何一者。

(2)根据(1)所述的拍摄控制装置，

其中所述控制部把所述周边区域设定成比所述中心区域更高的灵敏度。

(3)根据(1)所述的拍摄控制装置，

其中所述控制部把所述周边区域设定成比所述中心区域更短的曝光时间。

(4)根据(1)所述的拍摄控制装置，

其中所述控制部把所述周边区域设定成比所述中心区域更长的曝光时间。

(5)根据(1)所述的拍摄控制装置，

其中所述控制部把所述周边区域设定成比所述中心区域更高的帧速率。

(6)根据(1)所述的拍摄控制装置，

其中所述控制部在所述周边区域中以比在所述中心区域中更高的工作频率执行信号处理。

(7)根据(1)所述的拍摄控制装置，

其中所述控制部把所述周边区域设定成比所述中心区域更高的灵敏度和更高的帧速率。

(8)根据(1)所述的拍摄控制装置，

其中所述控制部把所述周边区域设定成比所述中心区域更高的灵敏度和与所述中心区域相同的帧速率。

(9)根据(1)所述的拍摄控制装置，

其中所述控制部把所述周边区域设定成比所述中心区域更高的灵敏度和与所述中心区域相同的曝光时间或比所述中心区域更长的曝光时间。

(10)根据(2)至(9)中任一项所述的拍摄控制装置，

其中所述控制部对所述周边区域执行像素相加读取或变稀读取。

(11)根据(1)至(10)中任一项所述的拍摄控制装置，

其中所述控制部根据所述拍摄部在车辆上安装的位置或车辆行驶状况相对于所述中心区域控制所述周边区域的拍摄条件。

(12)根据(1)至(11)中任一项所述的拍摄控制装置，

其中所述控制部根据所述拍摄部在车辆上安装的位置或车辆行驶状况控制所述中心区域的位置、形状和尺寸中的至少一者。

(13)根据(1)至(12)中任一项所述的拍摄控制装置，

其中所述控制部根据安装有所述拍摄部的车辆的行驶状况控制所述周边区域的相位数、每个周边区域的位置、形状和尺寸中的至少一者。

(14)一种拍摄控制方法，包括：

把具有多个像素的拍摄部中的中心区域的拍摄条件控制成是比所述拍摄部中的周边区域更高的灵敏度、更高的帧速率、更短的曝光时间和更高的工作频率中的任何一者的控制步骤。

(15)一种拍摄装置，包括：

成像装置，包括中心区域以及由比所述中心区域更大尺寸的像素构成的周边区域。

(16)根据(15)所述的拍摄装置，

其中所述中心区域和所述周边区域各自并行地扫描。

(17)根据(15)所述的拍摄装置，还包括：

信号处理部，被配置成对于所述中心区域和所述周边区域各自执行像素读取和AD转换处理。

(18)根据(15)所述的拍摄装置，

其中所述周边区域被设定成比所述中心区域更短的曝光时间。

(19)根据(15)所述的拍摄装置，

其中所述周边区域被设定成比所述中心区域更高的帧速率。

(20)根据(15)所述的拍摄装置，

其中根据安装有所述拍摄装置的车辆的行驶状况相对于所述中心区域控制所述周边区域的曝光时间或帧速率中的至少一者。

附图标记列表

2000 车辆控制***

2010 通信网络

2100 驾驶***控制单元

2110 车辆状态检测部

2200 车身***控制单元

2300 电池控制单元

2310 电池装置

2400 车辆外部信息检测单元

2410 拍摄部

2420 车辆外部信息检测部

2500 车辆内部信息检测单元

2510 车辆内部状态检测部

2600 集成控制单元

2610 微计算机

2620 通用通信接口

2630 专用通信接口

2640 定位部

2650 信标接收部

2660 车载装置接口

2670 语音/图像输出部

2680 车载网络接口

2690 存储部

2710 音频扬声器

2720 显示部

2730 仪表板

2760 车载装置

2800 输入部

2900 车辆

2910、2912、2914、2916、2918 拍摄部

2920、2922、2924 车辆外部信息检测部

2926、2928、2930 车辆外部信息检测部

3100 摄像机模块

3110 摄像机控制部

3111 拍摄镜头

3120 成像装置

3130 图像处理部

3140 相位差检测部

3150 显示处理部

3160 显示部

3170 图像输出部

3180 图像记录控制部

3210 定时控制电路

3220 行扫描电路

3230 转移信号生成电路

3240 像素阵列部

3241 相位差像素

3242 正常像素

3250 D/A转换部

3260A/D 转换部

3262 比较器

3263 存储器

3270 计数器

3290 列扫描电路。

Claims (20)

1.一种拍摄控制装置，包括：

控制部，被配置成把具有多个像素的拍摄部中的中心区域的拍摄条件控制成是比所述拍摄部中的周边区域更高的灵敏度、更高的帧速率、更短的曝光时间和更高的工作频率中的任何一者。

2.根据权利要求1所述的拍摄控制装置，

其中所述控制部把所述周边区域设定成比所述中心区域更高的灵敏度。

3.根据权利要求1所述的拍摄控制装置，

其中所述控制部把所述周边区域设定成比所述中心区域更短的曝光时间。

4.根据权利要求1所述的拍摄控制装置，

其中所述控制部把所述周边区域设定成比所述中心区域更长的曝光时间。

5.根据权利要求1所述的拍摄控制装置，

其中所述控制部把所述周边区域设定成比所述中心区域更高的帧速率。

6.根据权利要求1所述的拍摄控制装置，

其中所述控制部在所述周边区域中以比在所述中心区域中更高的工作频率执行信号处理。

7.根据权利要求1所述的拍摄控制装置，

其中所述控制部把所述周边区域设定成比所述中心区域更高的灵敏度和更高的帧速率。

8.根据权利要求1所述的拍摄控制装置，

其中所述控制部把所述周边区域设定成比所述中心区域更高的灵敏度和与所述中心区域相同的帧速率。

9.根据权利要求1所述的拍摄控制装置，

其中所述控制部把所述周边区域设定成比所述中心区域更高的灵敏度和与所述中心区域相同的曝光时间或比所述中心区域更长的曝光时间。

10.根据权利要求2所述的拍摄控制装置，

其中所述控制部对所述周边区域执行像素相加读取或变稀读取。

11.根据权利要求1所述的拍摄控制装置，

其中所述控制部根据所述拍摄部在车辆上安装的位置或车辆行驶状况相对于所述中心区域控制所述周边区域的拍摄条件。

12.根据权利要求1所述的拍摄控制装置，

其中所述控制部根据所述拍摄部在车辆上安装的位置或车辆行驶状况控制所述中心区域的位置、形状和尺寸中的至少一者。

13.根据权利要求1所述的拍摄控制装置，

其中所述控制部根据安装有所述拍摄部的车辆的行驶状况控制所述周边区域的相位数、每个周边区域的位置、形状和尺寸中的至少一者。

14.一种拍摄控制方法，包括：

把具有多个像素的拍摄部中的中心区域的拍摄条件控制成是比所述拍摄部中的周边区域更高的灵敏度、更高的帧速率、更短的曝光时间和更高的工作频率中的任何一者的控制步骤。

15.一种拍摄装置，包括：

成像装置，包括中心区域以及由比所述中心区域更大尺寸的像素构成的周边区域。

16.根据权利要求15所述的拍摄装置，

其中所述中心区域和所述周边区域各自并行地扫描。

17.根据权利要求15所述的拍摄装置，还包括：

信号处理部，被配置成对于所述中心区域和所述周边区域各自执行像素读取和AD转换处理。

18.根据权利要求15所述的拍摄装置，

其中所述周边区域被设定成比所述中心区域更短的曝光时间。

19.根据权利要求15所述的拍摄装置，

其中所述周边区域被设定成比所述中心区域更高的帧速率。

20.根据权利要求15所述的拍摄装置，

其中根据安装有所述拍摄装置的车辆的行驶状况相对于所述中心区域控制所述周边区域的曝光时间或帧速率中的至少一者。