CN108781250B - 摄像控制装置、摄像控制方法和摄像装置 - Google Patents

摄像控制装置、摄像控制方法和摄像装置 Download PDF

Info

Publication number
CN108781250B
CN108781250B CN201780016425.3A CN201780016425A CN108781250B CN 108781250 B CN108781250 B CN 108781250B CN 201780016425 A CN201780016425 A CN 201780016425A CN 108781250 B CN108781250 B CN 108781250B
Authority
CN
China
Prior art keywords
image pickup
pickup device
data
image
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780016425.3A
Other languages
English (en)
Other versions
CN108781250A (zh
Inventor
馆真透
山丈浩章
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108781250A publication Critical patent/CN108781250A/zh
Application granted granted Critical
Publication of CN108781250B publication Critical patent/CN108781250B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

根据本发明的摄像控制装置包括：摄像控制器，所述摄像控制器使通过卷帘快门方式执行曝光的第一摄像器件的曝光时序和在与所述第一摄像器件的摄像条件不同的摄像条件下通过卷帘快门方式执行曝光的第二摄像器件的曝光时序基于所述摄像条件而同步；和信号处理器，其包括合成处理器，所述合成处理器对由所述第一摄像器件生成的第一数据和由所述第二摄像器件生成的第二数据进行合成。这里，所述合成处理器包括***，所述***具有裁剪器，所述裁剪器基于所述第一摄像器件和所述第二摄像器件各自的倍率以及所述第一数据和所述第二数据各自的图像尺寸来指定将要合成的区域。

Description

摄像控制装置、摄像控制方法和摄像装置
技术领域
本发明涉及摄像控制装置、摄像控制方法和摄像装置，所述摄像控制装置、所述摄像控制方法和所述摄像装置与多个摄像器件的控制有关。
背景技术
已经提出了使用两个摄像装置来拍摄具有宽视场和高分辨率的图像的摄像体系(例如，参见专利文献1)。
引用列表
专利文献
专利文献1：日本未审查专利申请公开第2003-134375号
发明内容
在执行使用多个摄像器件的摄像的情况下，希望适当地控制各个摄像器件中的曝光时序。
目前期望提供这样的摄像控制装置、摄像控制方法和摄像装置：它们允许多个摄像器件以基本相同的曝光时序对同一物体执行摄像。
根据本发明的实施例的摄像控制装置包括：摄像控制器，该摄像控制器使通过卷帘快门方式执行曝光的第一摄像器件的曝光时序和在与第一摄像器件的摄像条件不同的摄像条件下通过卷帘快门方式执行曝光的第二摄像器件的曝光时序基于所述摄像条件而同步；和信号处理器，其包括合成处理器，所述合成处理器对由所述第一摄像器件生成的第一数据和由所述第二摄像器件生成的第二数据进行合成。这里，所述合成处理器包括***，所述***具有裁剪器，所述裁剪器基于所述第一摄像器件和所述第二摄像器件各自的倍率以及所述第一数据和所述第二数据各自的图像尺寸来指定将要合成的区域。
根据本发明的实施例的摄像控制方法包括：执行使通过卷帘快门方式执行曝光的第一摄像器件的曝光时序和在与第一摄像器件的摄像条件不同的摄像条件下通过卷帘快门方式执行曝光的第二摄像器件的曝光时序基于所述摄像条件而同步的控制；基于所述第一摄像器件和所述第二摄像器件各自的倍率以及来自所述第一摄像器件的第一数据和来自所述第二摄像器件的第二数据各自的图像尺寸来指定将要合成的区域，作为所述第一数据和所述第二数据的定位数据；和基于所述定位数据将所述第一数据和所述第二数据相互合成。
根据本发明的实施例的摄像装置包括：第一摄像器件，其通过卷帘快门方式执行曝光；第二摄像器件，其在与所述第一摄像器件的摄像条件不同的摄像条件下通过卷帘快门方式执行曝光；以及上述摄像控制装置。
在根据本发明实施例的摄像控制装置、摄像控制方法或摄像装置中，对通过卷帘快门方式执行曝光的第一摄像器件的曝光时序和在与第一摄像器件的摄像条件不同的摄像条件下通过卷帘快门方式执行曝光的第二摄像器件的曝光时序基于摄像条件而适当地执行了同步控制。
根据本发明实施例的摄像控制装置、摄像控制方法或摄像装置，对第一摄像器件的曝光时序和第二摄像器件的曝光时序基于摄像条件而适当地执行了同步控制，这就使得多个摄像器件能够以基本相同的曝光时序对同一物体执行摄像。
应该注意，这里说明的效果并非是受到限制的，而是可以包括本发明中说明的任何效果。
附图说明
图1是示出根据本发明的第一实施例的摄像装置的第一示意性结构的结构图。
图2是示出根据第一实施例的摄像装置的第二示意性结构的结构图。
图3是示出根据第一实施例的摄像装置的功能块的示例的框图。
图4是示出摄像元件的像素阵列的说明图。
图5是示出通过图3中的合成处理器进行信号处理的概念的示例的说明图。
图6是示出图3中的合成处理器的功能块的示例的框图。
图7是示出通过图6中的合成处理器进行信号处理过程的示例的流程图。
图8是示出像素插值的示例的说明图。
图9是示出在中心像素是G像素的情况下的插值滤波器的示例的说明图。
图10是示出在中心像素是R像素或B像素的情况下的插值滤波器的示例的说明图。
图11是示出通过图6中的相关处理器进行相关处理的示例的说明图。
图12是示出通过图6中的相关处理器进行相关处理的示例的说明图。
图13是示出在第一摄像器件和第二摄像器件通过卷帘快门方式以彼此相同的视角和彼此相同的分辨率(像素数)执行摄像的情况下的曝光时序的示例的说明图。
图14是示出在第一摄像器件和第二摄像器件通过卷帘快门方式以彼此相同的视角和彼此相同的分辨率(像素数)执行摄像的情况下的曝光时序的示例的时序图。
图15是示出在第一摄像器件和第二摄像器件通过卷帘快门方式以彼此不同的视角和彼此相同的分辨率(像素数)执行摄像的情况下的曝光时序的示例的说明图。
图16是示出在第一摄像器件和第二摄像器件通过卷帘快门方式以彼此不同的视角和彼此相同的分辨率(像素数)执行摄像的情况下的曝光时序的示例的时序图。
图17是示出在第一摄像器件和第二摄像器件通过卷帘快门方式以彼此不同的视角和彼此相同的分辨率(像素数)执行摄像的情况下的曝光时序的示例的说明图。
图18是示出基于视角的差异来优化图16中的曝光时序的示例的时序。
图19是示出在第一摄像器件和第二摄像器件通过卷帘快门方式以彼此相同的视角和彼此不同的分辨率(像素数)执行摄像的情况下的曝光时序的示例的图。
图20是示出在第一摄像器件和第二摄像器件通过卷帘快门方式以彼此相同的视角和彼此不同的分辨率(像素数)执行摄像的情况下的曝光时序的示例的时序图。
图21是示出基于分辨率(像素数)的差异来优化图20中的曝光时序的示例的时序图。
图22是示出用于对曝光时序执行同步控制的控制器的第一结构示例的框图。
图23是示出用于对曝光时序执行同步控制的控制器的第二结构示例的框图。
图24是示出用于对曝光时序执行同步控制的控制器的第三结构示例的框图。
图25是示出用于对曝光时序执行同步控制的控制器的第四结构示例的框图。
图26是示出在第一摄像器件和第二摄像器件之中的一者或两者执行变焦的情况下对曝光时序进行同步控制的示例的流程图。
图27是示出在第一摄像器件和第二摄像器件之中的两者都以固定焦点执行摄像的情况下对曝光时序进行同步控制的示例的流程图。
图28是示出根据第一实施例的变形例的摄像装置的示意性结构的结构图。
图29是示出根据第二实施例的摄像装置的示意性结构的结构图。
图30是示出图29中的摄像装置的功能块的示例的框图。
图31是示出图30中的合成处理器的功能块的示例的框图。
具体实施方式
在下文中，参照附图详细地说明本发明的一些实施例。应该注意，按以下顺序给出说明。
1.第一实施例(摄像装置，其通过两个摄像器件产生具有彼此不同的视角的两张图像数据，并合成这两张图像数据)
1.1摄像装置的概述(图1～图5)
1.2合成处理器的详细说明(图5～图12)
1.3两个摄像器件之间的同步控制的说明(图13～图27)
1.4效果
1.5第一实施例的变形例(图28)
2.第二实施例(摄像装置，其通过三个摄像器件产生具有彼此不同的视角的三张图像数据，并合成这三张图像数据)(图29～图31)
3.其他实施例
<1.第一实施例>
[1.1摄像装置的概述]
图1和图2示出了根据本发明的第一实施例的摄像装置的示意性结构的示例。
根据本实施例的摄像装置1能够通过使用包括第一摄像器件10和第二摄像器件20在内的两个摄像器件来获取具有宽视角和高分辨率的图像。
例如，第一摄像器件10和第二摄像器件20被设置成在物理布置中是彼此水平的。例如，如图1所示，第一摄像器件10的光轴AX1和第二摄像器件20的光轴AX2可以彼此平行。可替代地，例如，如图2所示，光轴AX1和光轴AX2可以彼此不平行。在光轴AX1和光轴AX2彼此不平行的情况下，光轴AX1和光轴AX2优选地指向如下的方向：按照这样的方向，光轴AX1与光轴AX2之间的间隙随着距摄像装置1的距离的增加而减小。
第一摄像器件10和第二摄像器件20能够对同一物体执行摄像，且可以具有彼此不同的摄像区域。例如，如图1和图2所示，第二摄像器件20能够具有摄像区域R2，其是第一摄像器件10的摄像区域R1的除了外边缘之外的区域。这使得第一摄像器件10和第二摄像器件20能够分别生成具有彼此不同的视角的第一RAW数据Iraw1和第二RAW数据Iraw2以作为图像数据(摄像数据)，例如如图1和2所示。例如，摄像器件10通过摄像而生成具有相对宽视角的第一RAW数据Iraw1。例如，摄像器件20通过摄像而生成具有比第一RAW数据Iraw1的视角窄的视角的第二RAW数据Iraw2。稍后将详细说明第一RAW数据Iraw1和第二RAW数据Iraw2的具体示例。
图3示出了摄像装置1的功能块的示例。例如，摄像装置1包括第一摄像器件10、第二摄像器件20、信号处理器30和控制器40。控制器40控制第一摄像器件10和第二摄像器件20以及信号处理器30。
(第一摄像器件10)
例如，第一摄像器件10包括第一摄像元件11和第一光学透镜12。第一光学透镜12会聚第一物体光L1，并且致使所会聚的第一物体光L1入射至第一摄像元件11的光入射面。例如，第一光学透镜12固定在第一摄像器件10中。此时，第一摄像器件10的焦点距离固定在恒定值。例如，第一摄像器件10可以还包括位于第一摄像元件11的光入射面侧上的光圈(iris)和可变光学LPF(低通滤波器：lowpass filter)。稍后将说明第一摄像元件11的结构。
(第二摄像器件20)
例如，第二摄像器件20包括第二摄像元件21和第二光学透镜22。第二光学透镜22会聚第二物体光L2，并且致使所会聚的第二物体光L2入射至第二摄像元件21的光入射面。例如，第二光学透镜22固定在第二摄像器件20中。此时，第二摄像器件20的焦点距离固定在恒定值。例如，第二摄像器件20可以还包括位于第二摄像元件21的光入射面侧上的光圈和可变光学LPF。
例如，第一摄像器件10和第二摄像器件20能够通过第一光学透镜12和第二光学透镜22而拥有在光学上彼此不同各自的视角。例如，如稍后将说明的图22等所示，针对第一光学透镜12和第二光学透镜22两者都使用变焦透镜，这能够使它们的视角在光学上彼此不同。可替代地，如稍后将说明的图24所示，针对第一光学透镜12和第二光学透镜22中的一者使用变焦透镜，并且针对第一光学透镜12和第二光学透镜22中的另一者使用单焦点透镜，可以使它们的视角在光学上彼此不同。可替代地，如稍后将说明的图25所示，第一光学透镜12和第二光学透镜22可以包括具有彼此不同的视角的单焦点透镜(固定焦点透镜)。
(第一摄像元件11和第二摄像元件21)
接着，将对第一摄像元件11和第二摄像元件21进行说明。例如，第一摄像元件11和第二摄像元件21各自包括光接收器和颜色滤光片阵列。光接收器包括以预定间隔呈二维布置着的多个光电转换元件。颜色滤光片阵列设置在光接收器的光入射面上。例如，第一摄像元件11和第二摄像元件21都是单板固态摄像元件，并且例如各自都包括单板CMOS(互补金属氧化物半导体：Complementary Metal-Oxide Semiconductor)图像传感器。在第一摄像元件11和第二摄像元件21的每一者中，例如，如图4所示，颜色滤光片阵列是包括三种颜色R(红色)、G(绿色)和B(蓝色)的阵列的拜耳阵列(Bayer array)。应注意，例如，颜色滤光片阵列可以是将W(白色)添加到R、G和B中的RGBW阵列。可替代地，颜色滤光片阵列可以是Y(黄色)、C(青色)、M(洋红色)等的阵列。应注意，在下文中，把其中颜色滤光片阵列是包括RGB阵列的拜耳阵列的情况作为示例来进行说明。
例如，第一摄像元件11和第二摄像元件21通过光接收器和颜色滤光片阵列对已经通过第一光学透镜12和第二光学透镜22入射进来的第一物体光L1和第二物体光L2进行离散地采样，从而生成第一RAW数据Iraw1和第二RAW数据Iraw2。
例如，第一摄像元件11生成具有相对宽视角的第一RAW数据Iraw1。例如，在第一摄像器件10中，使第一光学透镜12的焦点距离相对较小，这使得能够获得具有相对宽视角的第一RAW数据Iraw1。
例如，第二摄像元件21生成第二RAW数据Iraw2，其具有比第一RAW数据Iraw1的视角窄的视角。例如，在第二摄像器件20中，使第二光学透镜22的焦点距离相对较长，这使得能够获得具有相对窄的视角的第二RAW数据Iraw2。
第一RAW数据Iraw1和第二RAW数据Iraw2各者均是如下的马赛克数据(mosaicdata)：其中，为各个像素设定了颜色滤光片阵列中所包括的多种颜色信息之中的一种颜色信息。在颜色滤光片阵列是包括RGB阵列的拜耳阵列的情况下，第一RAW数据Iraw1和第二RAW数据Iraw2各者均是这样的马赛克数据：其中，为各个像素设定了颜色滤光片阵列中所包括的红色信息、绿色信息和蓝色信息中的一种颜色信息。在这种情况下，为了从第一RAW数据Iraw1和第二RAW数据Iraw2生成彩色图像数据Icol，需要进行去马赛克处理(demosaicprocessing)，以便根据第一RAW数据Iraw1和第二RAW数据Iraw2生成针对所有像素的所有颜色信息。在本实施例中，经历去马赛克处理之前的第一RAW数据Iraw1和第二RAW数据Iraw2被合成。稍后将详细说明第一RAW数据Iraw1和第二RAW数据Iraw2的合成。
(信号处理器30)
接着，给出信号处理器30的说明。例如，如图3所示，信号处理器30包括合成处理器31和相机信号处理器32。合成处理器31对由第一摄像器件10和第二摄像器件20生成的第一RAW数据Iraw1和第二RAW数据Iraw2进行合成，从而生成了合成RAW数据Iraw。相机信号处理器32对由合成处理器31生成的合成RAW数据Iraw执行去马赛克处理，从而生成彩色图像数据Icol。例如，彩色图像数据Icol针对各像素都含有颜色滤光片阵列中所包括的所有种类的彩色信息。在颜色滤光片阵列是包括RGB的拜耳阵列的情况下，彩色图像数据Icol例如包括针对各像素的RGB颜色信息。
图5示出了通过由合成处理器31进行信号处理的概念的示例。在图5中，优先考虑了由合成处理器31进行的信号处理的可理解性；因此，简要地说明了信号处理。相应地，在图5中使用与上述附图标记不同的附图标记。
合成处理器31从第一摄像器件10获取宽图像数据Iwide，并从第二摄像器件20获取远摄(telephoto)图像数据Itele。远摄图像数据Itele的视角小于宽图像数据Iwide的视角。远摄图像数据Itele对应于宽图像数据Iwide的除了外边缘之外的预定区域α。合成处理器31基于第一摄像器件10和第二摄像器件20各自的倍率以及宽图像数据Iwide和远摄图像数据Itele各自的图像尺寸来设定预定区域α。
合成处理器31从宽图像数据Iwide裁剪出预定区域α，以生成图像数据Iwide'。合成处理器31基于第一摄像器件10和第二摄像器件20各自的倍率来缩小远摄图像数据Itele，以生成图像数据Itele'。合成处理器31将图像数据Iwide'和图像数据Itele'相互合成，从而生成了合成图像数据Ifusion。假设，第一摄像器件10的倍率被设定为一倍，第二摄像器件20的倍率被设定为两倍。此时，例如，在用户指定的倍率为一倍的情况下，合成处理器31将宽图像数据Iwide作为合成RAW数据Iraw输出。例如，在用户指定的倍率为两倍以上的情况下，合成处理器31将已经通过用户指定的倍率进行放大后的远摄图像数据Itele作为合成RAW数据Iraw输出。例如，在用户指定的倍率为一倍至两倍之间的情况下，合成处理器31将通过用合成图像数据Ifusion替换宽图像数据Iwide中的预定区域α而产生的合成图像数据Imerge作为合成RAW数据Iraw输出。
应注意，实际上，在图像数据Iwide'和图像数据Itele'中可能包含由视差(parallax)以及第一摄像器件10与第二摄像器件20之间的灵敏度差异和曝光差异引起的位置偏差。此外，合成图像数据Ifusion可能包括超过第一摄像器件10和第二摄像器件20各自的Nyquist频率(奈奎斯特频率)的高频成分。图像数据Iwide'和图像数据Itele'都是按照定义的马赛克数据；因此，优选地，对图像数据Iwide'和图像数据Itele'执行像素插值，以便以高精度将图像数据Iwide'和图像数据Itele'相互合成。因此，合成处理器31优选地对图像数据Iwide'和图像数据Itele'执行下述的各种信号处理。
[1.2合成处理器的详细说明]
图6示出了合成处理器31的功能块的示例。图7示出了合成处理器31的信号处理过程的示例。
合成处理器31包括***130和合成器140。***130基于由第一摄像器件10和第二摄像器件20生成的第一RAW数据Iraw1和第二RAW数据Iraw2来生成第一RAW数据Iraw1和第二RAW数据Iraw2的定位数据(positioning data)。合成器140基于由***130生成的定位数据将第一RAW数据Iraw1和第二RAW数据Iraw2相互合成。
例如，***130包括裁剪器131、增益校正器132、像素校正器133和134、缩小器135以及视差计算器136。
裁剪器131指定第一RAW数据Iraw1中的将要与第二RAW数据Iraw2合成的融合区域β(对应于图5中的区域α)。具体地，裁剪器131基于第一摄像器件10和第二摄像器件20各自的倍率以及第一RAW数据Iraw1和第二RAW数据Iraw2各自的图像尺寸来指定融合区域β。裁剪器131例如基于第一摄像器件10和第二摄像器件20各自的倍率以及第一RAW数据Iraw1和第二RAW数据Iraw2各自的图像尺寸来指定在第一RAW数据Iraw1中的融合区域β的坐标。裁剪器131例如基于所指定的坐标从第一RAW数据Iraw1中裁剪出对应于融合区域β的RAW数据Iraw1a(步骤S101)。
应注意，合成处理器31可以对RAW数据Iraw1a和第二RAW数据Iraw2执行OPB(光学黑：Optical Black)减法。OPB减法表示消除由暗电流等引起的噪声成分。例如，合成处理器31可以从RAW数据Iraw1a和第二RAW数据Iraw2中消除在第一摄像器件10和第二摄像器件20被遮光的情况下产生的噪声成分。此时，在如果某个像素具有由于消除了RAW数据Iraw1a和第二RAW数据Iraw2中的噪声成分因而变为负值的值的情况下，合成处理器31保存该像素的坐标。
增益校正器132计算RAW数据Iraw1a和第二RAW数据Iraw2中的各种颜色信息的增益比(例如，RGB增益比)。例如，增益校正器132针对各种颜色信息计算RAW数据Iraw1a中的平均值，并且针对各种颜色信息计算第二RAW数据Iraw2中的平均值。例如，增益校正器132根据各种颜色信息的RAW数据Iraw1a和Iraw2的平均值的比率来计算各种颜色信息的校正增益。增益校正器132基于所计算的校正增益来校正第二RAW数据Iraw2(步骤S102)，从而生成RAW数据Iraw2a。
像素校正器133基于RAW数据Iraw1a中所包括的预定种类的颜色信息(例如，绿色信息)对RAW数据Iraw1a中所包括的所有像素执行插值(interpolation)，从而生成包括预定种类的颜色信息(例如，绿色信息)的插值RAW数据Iraw1b作为定位数据(步骤S103)。像素校正器134基于RAW数据Iraw2a中所包括的预定种类的颜色信息(例如，绿色信息)对RAW数据Iraw2a中所包括的所有像素执行插值，以生成包括预定种类的颜色信息(例如，绿色信息)的插值RAW数据Iraw2b作为定位数据(步骤S103)。
例如，如图8所示，像素校正器133从包括RGB阵列的拜耳阵列的RAW数据Iraw1a中生成包括绿色信息的插值RAW数据Iraw1b。此外，例如，如图8所示，像素校正器133从包括RGB阵列的拜耳阵列的RAW数据Iraw2a中生成包括绿色信息的插值RAW数据Iraw2b。此时，在中心像素(作为插值对象的像素)为G像素的情况下，像素校正器133通过使用例如图9所示的插值滤波器F来校正中心像素的绿色信息。此外，在中心像素(作为插值对象的像素)为R像素或B像素的情况下，像素校正器133采用例如使用图10所示的插值滤波器F生成的绿色信息来替换中心像素的颜色信息。
缩小器135基于第一摄像器件10和第二摄像器件20各自的倍率来使插值RAW数据Iraw2b缩小(步骤S104)。视差计算器136基于插值RAW数据Iraw1b和Iraw2c来计算出作为定位数据的视差信息Disp(步骤S105)。视差信息Disp相当于由第一摄像器件10的位置和第二摄像器件20的位置的相互不一致(misalignment)引起的图像上的位置偏差量。视差计算器136例如使用两个图像之间的运动矢量(motion vector)推定方法等从插值RAW数据Iraw1b和Iraw2c生成视差信息Disp。
例如，合成器140包括融合单元141、LPF(低通滤波器)单元142、相关处理器143、合并单元144和选择器145。
融合单元141将两个插值RAW数据Iraw1b和Iraw2c进行合成，从而生成了合成RAW数据Iraw3a(步骤S106)。具体地，融合单元141基于视差信息Disp将两个插值RAW数据Iraw1b和Iraw2c进行合成，以生成合成RAW数据Iraw3a。
LPF单元142将合成RAW数据Iraw3a中所包括的超过第一摄像器件10和第二摄像器件20各自的Nyquist频率的高频成分衰减，从而生成合成RAW数据Iraw3b(步骤S107)。结果，抑制了伪色(false color)的发生。
相关处理器143针对合成RAW数据Iraw3a或针对已经对合成RAW数据Iraw3a进行了预定处理后得到的合成RAW数据Iraw3b执行相关处理(步骤S108)。例如，如图11所示，相关处理器143把合成RAW数据Iraw3a或合成RAW数据Iraw3b跟作为第一RAW数据Iraw1与插值RAW数据Iraw1b之间的差分的色差(color difference)分量(Iraw1-Iraw1b)相加。在相关处理中，可以使用色比(color ratio)。例如，如图12所示，相关处理器143可以将合成RAW数据Iraw3a或合成RAW数据Iraw3b乘以作为第一RAW数据Iraw1与插值RAW数据Iraw1b的比率的色比分量(Iraw1/Iraw1b)。结果，相关处理器143生成包括与第一RAW数据Iraw1和第二RAW数据Iraw2的阵列对应的阵列的RAW数据Iraw3c。
合并单元144将第一RAW数据Iraw1和RAW数据Iraw3c相互合成，从而生成用于去马赛克处理的RAW数据Iraw3d(步骤S109)。此时，合并单元144提供了在RAW数据Iraw3c的周缘中的、颜色信息为零的框形区域，以使得RAW数据Iraw3c的图像尺寸等于第一RAW数据Iraw1的图像尺寸。随后，例如，合并单元144将第一RAW数据Iraw1中的融合区域α的颜色信息设置为零。此外，例如，合并单元144将第一RAW数据Iraw1跟具有已经变得与RAW数据Iraw1的图像尺寸相等的图像尺寸的RAW数据Iraw3c相加。换句话说，例如，合并单元144用RAW数据Iraw3c替换第一RAW数据Iraw1中的融合区域α。
应注意，在合成处理器31执行OPB减法的情况下，在执行合成处理之前，考虑到符号问题，合并单元144可以把在OPB减法中被消除的噪声成分加到RAW数据Iraw3c上。
选择器145根据用户指定的倍率来选择所要输出的合成RAW数据Iraw。假设第一摄像器件10的倍率被设定为一倍，且第二摄像器件20的倍率被设定为两倍。此时，例如，在用户指定的倍率为一倍的情况下，选择器145将第一RAW数据Iraw1作为合成RAW数据Iraw输出。例如，在用户指定的倍率为两倍以上的情况下，合成处理器31将已经通过用户指定的倍率进行放大后的第二RAW数据Iraw2作为合成RAW数据Iraw输出。例如，在用户指定的倍率为一倍至两倍之间的情况下，合成处理器31将RAW数据Iraw3d作为合成RAW数据Iraw输出。
(摄像装置1中合成处理的效果)
在根据本实施例的摄像装置1中，第一摄像器件10的摄像区域R1的除了外边缘之外的区域对应于第二摄像器件20的摄像区域R2。此外，在摄像装置1中，第一摄像器件10和第二摄像器件20分别生成具有相对宽的视角的第一RAW数据Iraw1和具有比第一RAW数据Iraw1的视角窄的视角的第二RAW数据Iraw2。因此，合成RAW数据Iraw的除了外边缘之外的预定区域(融合区域β)和第二RAW数据Iraw2相互合成。换句话说，第二RAW数据Iraw2被嵌入到框形的第一RAW数据Iraw1中。结果，利用第一摄像器件10和第二摄像器件20，能够获得具有宽视角和高分辨率的图像。此外，即使在第一摄像器件10和第二摄像器件20中的第一光学透镜12和第二光学透镜22都包括固定焦点透镜的情况下，也能够在不使用机械变焦机构的前提下实现光学变焦。
此外，在摄像装置1中，基于第一RAW数据Iraw1和第二RAW数据Iraw2中所包括的预定种类的颜色信息，执行第一RAW数据Iraw1和第二RAW数据Iraw2中所包括的所有像素的插值。这使得能够以如下的精度来执行合成处理：该精度基本上等于在对第一RAW数据Iraw1和第二RAW数据Iraw2执行去马赛克处理之后才被执行的合成处理中的精度。
此外，在摄像装置1中，基于从第一RAW数据Iraw1和第二RAW数据Iraw2生成的两个插值RAW数据Iraw1b和Iraw2b，生成作为定位数据的视差信息Disp。因此，使用视差信息Disp，可以提高插值RAW数据Iraw1b和插值RAW数据Iraw2c的合成精度。
此外，在摄像装置1中，合成RAW数据Iraw3a中所包括的超过第一摄像器件10和第二摄像器件20各自的Nyquist频率的高频成分被LPF单元142衰减。这使得在将RAW数据Iraw1和RAW数据Iraw3c进行相互合成的情况下，可以抑制伪色的发生。
此外，在摄像装置1中，色差分量(Iraw1-Iraw1b)与合成RAW数据Iraw3c或已经受到预定处理后的合成RAW数据Iraw3a(合成RAW数据Iraw3b)相加。如上所述，在摄像装置1中，在执行了颜色信息略少的合成处理之后，丢失的颜色信息返回到合成RAW数据Iraw3c或合成RAW数据Iraw3b。因此，在摄像装置1中，能够在降低合成处理所需求的处理成本和电力消耗的同时，提高合成精度。
此外，在摄像装置1中，对通过将第一RAW数据Iraw1和RAW数据Iraw3c进行相互合成而生成的RAW数据Iraw3d执行去马赛克处理。如上所述，在摄像装置1中，在执行RAW数据的合成之后才执行去马赛克处理，因而与在执行去马赛克处理之后再执行合成的情况相比，可以降低处理成本和电力消耗。
[1.3两个摄像器件之间的同步控制的说明]
在如上述摄像装置1那样利用第一摄像器件10和第二摄像器件20执行摄像的情况下，期望适当地控制各个摄像器件中的曝光时序。一般地，作为包括诸如CMOS等图像传感器的摄像器件中的电子快门方式，已知有全局快门(global shutter)方式和卷帘快门(rolling shutter)方式。在全局快门方式中，对所有像素同时执行电子快门操作。因此，在全局快门方式中，曝光时序对于所有像素而言是相同的。相反，在卷帘快门方式中，对例如1条水平线执行电子快门操作。因此，在卷帘快门方式中，曝光时序例如偏移了一条水平线。为此，特别地，在第一摄像器件10和第二摄像器件20中通过卷帘快门方式执行曝光的情况下，期望适当地控制各个摄像器件中的曝光时序。
应注意，在下文中，适当地结合图1～图3等所示的摄像装置1的结构给出说明；然而，通过本发明实现的同步控制技术也适用于除了图1～图3等所示的摄像装置1的结构之外的结构。例如，通过本发明实现的同步控制技术也适用于以下情况：其中，第一摄像器件10和第二摄像器件20中所生成的图像数据通过除了上述的根据本实施例的图像合成处理技术之外的方法进行合成。此外，通过本发明实现的同步控制技术也适用于以下情况：其中，仅仅生成两个图像数据，而不执行图像合成。此外，在下文中，将两个图像器件之间的同步控制作为示例说明；然而，通过本发明实现的同步控制技术也适用于稍后在第二实施例中说明的使用三个摄像器件的情况或使用至少四个摄像器件的情况。
(以相同的视角和相同的分辨率(像素数)执行摄像的情况)
图13和图14示出了在第一摄像器件10和第二摄像器件20通过卷帘快门方式以相同的视角和相同的分辨率(像素数)执行摄像的情况下的曝光时序的示例。在图13的左侧示意性地示出了由第一摄像器件10的第一摄像元件11生成的图像数据和曝光时序。在图13的右侧示意性地示出了由第二摄像器件20的第二摄像元件12生成的图像数据和曝光时序。图14示出了第一摄像器件10和第二摄像器件20中进行摄像的同步信号XVS的时序、以及第一摄像元件11和第二摄像元件12中各自的快门时序(复位时序)和像素数据读出时序。稍后将说明的图17～图21也示出了类似的时序。
如图13和图14所示，在第一摄像器件10和第二摄像器件20以相同的视角对同一物体执行摄像的情况下，它们的摄像区域基本上彼此相同。在这种情况下，摄像(曝光)开始位置是该物体中的大致同一位置p1。为此，使第一摄像元件11和第二摄像元件21中各自的快门时序和像素数据读出时序同步，这就使得能够对同一物***置以相同的时序执行摄像(曝光)。此外，在这种情况下，第二摄像元件12中的读出期间和曝光期间等于第一摄像元件11中的读出期间Tr1和曝光期间Te1。
(以不同视角执行摄像的情况)
图15和图16示出了在第一摄像器件10和第二摄像器件20通过卷帘快门方式以互不相同的视角和相同的分辨率(像素数)执行摄像的情况下的曝光时序的示例。
如图15和图16所示，在第一摄像器件10和第二摄像器件20对同一物体以互不相同的视角执行摄像的情况下，它们的摄像区域互不相同。在图15和图16的示例中，第一摄像器件10以视角相对宽的宽视角执行摄像，第二摄像器件20以视角相对窄的远摄视角执行摄像。在这种情况下，与第一摄像器件10的摄像区域相比，第二摄像器件20的摄像区域相对较窄。在第一摄像器件10的摄像(曝光)开始位置是物体中的位置p1的情况下，第二摄像器件20的摄像(曝光)开始位置是物体中的位于位置p1内侧的位置p2。因此，在第一摄像元件11和第二摄像元件21中各自的快门时序和像素数据读出时序同步、并且第一摄像元件11和第二摄像元件21的读出期间Tr1和曝光期间Te1分别相等的情况下，第一摄像元件11和第二摄像元件21对同一物***置以不同的时序执行摄像(曝光)。以这种方式对同一物***置在互不相同的时序下执行摄像(曝光)，就可能导致：例如在手移动的情况下或在物体移动的情况下，不能建立由第一摄像器件10和第二摄像器件20拍摄的图像之间的相关性。
图17和图18示出了在第一摄像器件10和第二摄像器件20通过卷帘快门方式以互不相同的视角和相同的分辨率(像素数)执行摄像的情况下的曝光时序的示例。
图18示出了基于第一摄像器件10与第二摄像器件20之间的视角差异来优化图16中的曝光时序的示例。在第一摄像器件10和第二摄像器件20以互不相同的视角和相同的分辨率(像素数)执行摄像的情况下，如图18所示，期望将以相对窄的视角执行摄像的第二摄像元件21的曝光开始时刻从以相对宽的视角执行摄像的第一摄像元件11的曝光开始时刻延迟。此外，以窄视角执行摄像的第二摄像元件21中的像素数据读出速度期望被设定为高于以宽视角执行摄像的第一摄像元件11的像素数据读出速度。在图18的示例中，第一摄像元件11的读出开始时刻是在时间t1处。第二摄像元件21的读出开始时刻是在时间t2处，该时间t2从时间t1与视角差异对应地发生延迟。此外，第二摄像元件21的读出期间为期间Tr2，该期间Tr2相对于第一摄像元件11的读出期间Tr1与视角差异对应地发生提速。执行这样的时序控制就可以使第一摄像器件10和第二摄像器件20对同一物***置以相同的时序执行摄像(曝光)。
应注意，读出速度的提速可以通过拼组(bining)来实现。拼组是一种将彼此接近的多个同色像素以模拟的方式进行加算的技术。通过该拼组来减少读出像素的数量，从而能够提高读出速度。
(以不同的分辨率(像素数)执行摄像的情况)
图19和图20示出了在第一摄像器件10和第二摄像器件20通过卷帘快门方式以相同的视角和互不相同的分辨率(像素数)执行摄像的情况下的曝光时序的示例。
如图19和图20所示，在第一摄像器件10和第二摄像器件20对同一物体以相同的视角和互不相同的分辨率(像素数)执行摄像的情况下，它们的摄像区域彼此基本上相同。在这种情形下，在第一摄像元件11和第二摄像元件21中各自的像素数据读出速度相等的情况下，不管摄像区域是否彼此相同，像素数的差异都会导致读出期间不同。在图20中的示例中，第一摄像元件11具有相对大的像素数，并以高分辨率执行摄像。第二摄像元件21具有相对小的像素数，并以低分辨率执行摄像。在这种情况下，第二摄像元件21的读出期间为期间Tr2，该期间Tr2相对于第一摄像元件11的读出期间Tr1与像素数差异对应地发生了提速。因此，第一摄像元件11和第二摄像元件21能够对同一物***置以不同的时序执行摄像(曝光)。
图21示出了基于第一摄像器件10与第二摄像器件20之间的分辨率(像素数)差异来优化图20中的曝光时序的示例。在第一摄像器件10和第二摄像器件20对同一物体以相同的视角和互不相同的分辨率(像素数)执行摄像的情况下，如图21所示，具有相对小的像素数的第二摄像元件21中的像素数据读出速度期望被设定为比具有相对大的像素数的第一摄像元件11中的像素数据读出速度慢。反之，具有大的像素数的第一摄像元件11中的像素数据读出速度期望被设定为比具有小的像素数的第二摄像元件21中的像素数据读出速度更快速。执行这样的时序控制可以使第一摄像器件10和第二摄像器件20对同一物***置以相同的时序执行摄像(曝光)。
(用于对曝光时序执行同步控制的控制器的结构示例)
图22和图23示出了用于对曝光时序执行同步控制的控制器的第一和第二结构示例。图22和图23是在第一摄像器件10的第一光学透镜12和第二摄像器件20的第二光学透镜22两者都包括变焦透镜的情况下的结构示例。
如图22所示，控制器40可以包括初始值存储单元41、摄像控制器60和透镜控制器70。应注意，如图23所示，初始值存储单元41、摄像控制器60和透镜控制器70可以设置在控制器40的外部。
摄像控制器60可以包括读出控制器61和快门控制器62。读出控制器61控制第一摄像元件11和第二摄像元件21中各自的像素数据读出时序。快门控制器62控制第一摄像元件11和第二摄像元件21中各自的快门时序。
透镜控制器70可以包括聚焦控制器71和变焦控制器72。聚焦控制器71对第一光学透镜12和第二光学透镜22执行聚焦控制。变焦控制器72对第一光学透镜12和第二光学透镜22执行变焦控制。变焦控制器72将第一光学透镜12和第二光学透镜22的变焦倍率的信息发送到读出控制器61和快门控制器62。
初始值存储单元41保存第一摄像器件10和第二摄像器件20中的初始摄像条件的信息。例如，初始摄像条件可以包括对曝光时序产生影响的参数，例如：视角、像素数、时钟速度、帧速率、曝光时间和操作模式等。
摄像控制器60使通过卷帘快门方式执行曝光的第一摄像器件10的曝光时序和采用与第一摄像器件10的摄像条件不同的摄像条件通过卷帘快门方式执行曝光的第二摄像器件20的曝光时序基于摄像条件而同步。
这里，摄像条件可以包括视角和像素数中的至少一者。第二摄像器件20的摄像条件可以与第一摄像器件10的摄像条件在视角和像素数之中的一方或两方上不同。
此外，摄像条件可以包括变焦透镜的变焦倍率。摄像控制器60可以使第一摄像器件10的曝光时序和第二摄像器件20的曝光时序基于变焦倍率而动态地同步。
与上述图18所示的示例一样，摄像控制器60可以执行如下控制：将第一摄像器件10和第二摄像器件20之中的以相对窄的视角执行摄像的摄像器件的曝光开始时刻从第一摄像器件10和第二摄像器件20之中的以相对宽的视角执行摄像的摄像器件的曝光开始时刻延迟。在这种情况下，摄像控制器60可以执行如下控制：使以窄视角执行摄像的摄像器件中的像素数据读出速度比以宽视角执行摄像的摄像器件中的像素数据读出速度更快速。
此外，与上述图21所示的示例一样，摄像控制器60可以执行如下控制：使第一摄像器件10和第二摄像器件20之中的具有相对大的像素数的摄像器件中的像素数据读出速度比第一摄像器件10和第二摄像器件20之中的具有相对小的像素数的摄像器件中的像素数据读出速度更快速。
图24示出了用于对曝光时序执行同步控制的控制器的第三结构示例。在图24的结构示例中，设置了第一光学透镜12A以替换图22的结构示例中的第一光学透镜12。第一光学透镜12A包括固定焦点透镜以替换变焦透镜。在该结构示例中，变焦控制器72对第二光学透镜22执行变焦控制。其他结构可以与图22中的结构示例的结构基本类似。
图25示出了用于对曝光时序执行同步控制的控制器的第四结构示例。在图25的结构示例中，设置第一光学透镜12A以替换图22的结构示例中的第一光学透镜12。此外，设置了第二光学透镜22A以替换图22的结构示例中的第二光学透镜22。第一光学透镜12A和第二光学透镜22A各自包括固定焦点透镜以替换变焦透镜。
在图25的结构示例中，采用透镜控制器70A的结构，该透镜控制器70A省去了透镜控制器70的变焦控制器72。在该结构示例中，摄像控制器60使第一摄像器件10的曝光时序和第二摄像器件20的曝光时序基于存储在初始值存储单元41中的初始摄像条件而同步。其他结构可以与图22中的结构示例的结构基本相似。
图26示出了在第一和第二摄像器件中的至少一者执行变焦的情况下(在图22～24的结构示例中)对曝光时序执行同步控制的示例。
当电源接通时(步骤S201)，摄像控制器60从初始值存储单元41读出初始参数(步骤S202)。初始参数可以是对曝光时序产生影响的初始摄像条件，例如：像素数、时钟速度、帧速率、曝光时间和操作模式等。视角根据变焦倍率而动态地变化。因此，摄像控制器60接着从变焦控制器72读出变焦透镜的变焦倍率的信息(步骤S203)。因此，决定与变焦倍率对应的视角。接着，摄像控制器60基于所获得的诸如视角等摄像条件，来决定第一摄像元件11和第二摄像元件21中各自的像素数据读出时序(步骤S204)。接着，摄像控制器60基于所获得的诸如视角等摄像条件，来决定第一摄像元件11和第二摄像元件21中各自的快门时序(步骤S205)。接着，摄像控制器60以所决定的快门时序和所决定的读出时序使第一摄像元件11和第二摄像元件21开始摄像(步骤S206)。
图27示出了在第一和第二摄像器件两者都以固定焦点执行摄像的情况下(在图25的结构示例中)对曝光时序进行同步控制的示例。
当电源接通时(步骤S201)，摄像控制器60从初始值存储单元41读出初始参数(步骤S202A)。初始参数可以是对曝光时序产生影响的初始摄像条件，例如：视角、像素数、时钟速度、帧速率、曝光时间和操作模式等。接着，摄像控制器60基于所获得的诸如视角等摄像条件来决定第一摄像元件11和第二摄像元件21中各自的像素数据读出时序(步骤S204)。接着，摄像控制器60基于所获得的诸如视角等摄像条件来决定第一摄像元件11和第二摄像元件21中各自的快门时序(步骤S205)。接着，摄像控制器60以所决定的快门时序和所决定的读出时序使第一摄像元件11和第二摄像元件21开始摄像(步骤S206)。
[1.4效果]
如上所述，根据本实施例，对第一摄像器件10的曝光时序和第二摄像器件20的曝光时序基于摄像条件适当地执行同步控制，从而使多个摄像器件可以对同一物体以基本相同的曝光时序执行摄像。
应注意，在本说明书中说明的效果仅仅是示例性的而非限制性的，并且可以包括其他效果。这也适用于通过以下其他实施例实现的效果。
[1.5第一实施例的变形例]
图28示出了根据第一实施例的变形例的摄像装置200的示意性结构。
在上述摄像装置1中，相机信号处理器32设置在合成处理器31的后面；然而，像如图28所示的摄像装置200那样，合成处理器250可以设置在第一相机信号处理器230和第二相机信号处理器240的后面。
摄像装置200包括相机信号处理器230和相机信号处理器240。相机信号处理器230将由第一摄像器件10获得的第一RAW数据Iraw1转换成彩色图像Icol1，相机信号处理器240将由第二摄像器件20获得的第二RAW数据Iraw2转换成彩色图像Icol2。摄像装置200还包括合成处理器250，该合成处理器250将由第一相机信号处理器230和第二相机信号处理器240获得的彩色图像Icol1和Icol2进行相互合成，以生成彩色图像Icol3。如上所述，在摄像装置200中，彩色图象化(去马赛克处理)是在第一摄像器件10和第二摄像器件20中各自执行的，并且在执行彩色图象化(去马赛克处理)之后才执行图像合成。
应注意，在上述摄像装置1中，基于在视角相互不同的第一RAW数据Iraw1和第二RAW数据Iraw2的基础上生成的定位数据，来使第一RAW数据Iraw1和第二RAW数据Iraw2相互合成。换句话说，在上述摄像装置1中，在受到去马赛克处理之前的RAW数据的阶段下执行合成。这使得可以将去马赛克处理的次数减少到一次。此外，在上述摄像装置1中，作为合成对象的第一RAW数据Iraw1和第二RAW数据Iraw2包括的各像素的颜色信息比本变形例的摄像装置200中作为合成对象的彩色图像数据Icol1和Icol2所包括的颜色信息少。这使得可以抑制合成所必需的计算量。因此，在上述摄像装置1中，与本变形例的摄像装置200相比，可以降低去马赛克处理和合成处理所需求的处理成本和电力消耗。
此外，在上述摄像装置1中，从合成处理器31输出RAW数据Iraw。因此，常规的相机信号处理器等可以在不添加任何修改的情况下应用于跟在合成处理器31后面的相机信号处理器32。换句话说，在上述摄像装置1中，如下的结构适用于相机信号处理器32：在该结构中，针对单个摄像器件的RAW输出在去马赛克处理之后才进行处理完全没有被修改。因此，在上述摄像装置1中，与使用单个摄像器件的情况同样简便的，能够降低去马赛克处理和合成处理所需求的处理成本和电力消耗。
<2.第二实施例>
接着，给出本发明的第二实施例的说明。在下文中，具有与上述第一实施例中的结构和工作方式基本类似的结构和工作方式的部分适当地不作说明。
在上述第一实施例中，摄像装置1包括第一摄像器件10和第二摄像器件20；然而，摄像装置1可以包括三个以上的摄像器件。例如，如图29和图30所示，摄像装置1可以具有包括第一摄像器件10、第二摄像器件20和第三摄像器件50在内的三个摄像器件。第一摄像器件10、第二摄像器件20和第三摄像器件50可以设置成在物理布置中是彼此水平的。例如，第一摄像器件10的光轴AX1、第二摄像器件20的光轴AX2和摄像器件50的光轴AX3可以如图29所示是彼此不平行的。此时，光轴AX1、AX2和AX3优选地指向如下的方向：按照这样的方向，光轴AX1、AX2和AX3相互之间的间隙随着距摄像装置1的距离的增加而减小。光轴AX1、AX2和AX3可以是互相平行的。
在本实施例中，基于由第一摄像器件10、第二摄像器件20和第三摄像器件50分别生成的三个以上的RAW数据Iraw1、Iraw2和Iraw4，***130生成三个以上的RAW数据Iraw1、Iraw2和Iraw4的定位数据。合成器140基于由***130生成的定位数据将三个以上的RAW数据Iraw1、Iraw2和Iraw4相互合成。
在本实施例中，摄像器件20以第一摄像器件10的摄像区域R1的除了外边缘之外的区域作为摄像区域R2。第三摄像器件50包括第三摄像元件51和第三光学透镜52，并且第三摄像器件50以第二摄像器件20的摄像区域R2的除了外边缘之外的区域作为摄像区域R3。第三光学透镜52会聚第三物体光L3，并致使所会聚的第三物体光L3入射至第三摄像元件51的光入射面。第一摄像器件10、第二摄像器件20和第三摄像器件50分别生成视角互不相同的第一RAW数据Iraw1、第二RAW数据Iraw2和第三RAW数据Iraw4。第一摄像器件10通过摄像而生成具有最宽视角的第一RAW数据Iraw1。第二摄像器件20通过摄像而生成具有比第一RAW数据Iraw1的视角窄的视角的第二RAW数据Iraw2。第三摄像器件50通过摄像而生成具有比第二RAW数据Iraw2的视角窄的视角的第三RAW数据Iraw4。
在本实施例中，合成处理器31将第一RAW数据Iraw1的除了外边缘之外的预定区域跟RAW数据Irawa2合成，并且将RAW数据Irawa2的除了外边缘之外的预定区域和第三RAW数据Iraw4合成。
图31示出了根据本实施例的合成处理器31的功能块的示例。在本实施例中，***130包括用于第三RAW数据Iraw4的信号处理块，并且例如包括增益校正器137、像素校正器138和缩小器139。
增益校正器137计算第二RAW数据Iraw2和第三RAW数据Iraw3中的各种颜色信息的增益比(例如，RGB增益比)。例如，增益校正器137针对各种颜色信息计算出第二RAW数据Iraw2中的平均值，并且针对各种颜色信息计算出第三RAW数据Iraw4中的平均值。例如，增益校正器137根据各种颜色信息的第二RAW数据Iraw2和第三RAW数据Iraw4的平均值的比率计算各种颜色信息的校正增益。增益校正器137基于所计算的校正增益来校正第三RAW数据Iraw4，从而生成RAW数据Iraw4a。
像素校正器138基于RAW数据Iraw4a中所包括的预定种类的颜色信息(例如，绿色信息)来针对RAW数据Iraw4a中所包括的所有像素执行插值，从而生成包括预定种类的颜色信息(例如，绿色信息)的插值RAW数据Iraw4b作为定位数据。
例如如图8所示，像素校正器138从包括RGB阵列的拜耳阵列的RAW数据Iraw4a中生成包括绿色信息的插值RAW数据Iraw4b。此时，在中心像素(作为插值对象的像素)为G像素的情况下，像素校正器138例如采用图9所示的插值滤波器F来校正中心像素的绿色信息。此外，在中心像素(作为插值对象的像素)为R像素或B像素的情况下，像素校正器133利用例如采用图10所示的插值滤波器F生成的绿色信息来替换中心像素的颜色信息。
缩小器139基于第二摄像器件20和第三摄像器件50各自的倍率来使插值RAW数据Iraw4b缩小。视差计算器136基于插值RAW数据Iraw1b、Iraw2c和Iraw4c来计算作为定位数据的视差信息Disp。视差信息Disp相当于：由第一摄像器件10的位置和第二摄像器件20的位置的相互不一致引起的图像上的位置偏离量、以及由第二摄像器件20的位置和第三摄像器件50的位置的相互不一致引起的图像上的位置偏离量。视差计算器136例如利用两个图像之间的运动矢量推定方法等从插值RAW数据Iraw1b、Iraw2c和Iraw4c生成视差信息Disp。
在本实施例中，融合单元141将个插值RAW数据Iraw1b和Iraw2c进行合成，并将两个插值RAW数据Iraw2c和Iraw4c进行合成，从而生成了合成RAW数据Iraw3a。具体地，融合单元141基于视差信息Disp将两个插值RAW数据Iraw1b和Iraw2c进行合成、且将两个插值RAW数据Iraw2c和Iraw4c进行合成，从而生成了合成RAW数据Iraw3a。
在本实施例中，基于在具有互不相同的视角的第一RAW数据Iraw1和第二RAW数据Iraw2的基础上生成的定位数据，将第一RAW数据Iraw1和第二RAW数据Iraw2进行合成。此外，基于在具有互不相同的视角的第二RAW数据Iraw2和第三RAW数据Iraw4的基础上生成的定位数据，将第二RAW数据Iraw2和第三RAW数据Iraw4进行合成。换句话说，在本实施例中，在执行去马赛克处理之前的RAW数据的阶段下进行合成。这使得可以减少去马赛克处理的次数。此外，在本实施例中，作为合成对象的第一RAW数据Iraw1、第二RAW数据Iraw2和第三RAW数据Iraw4所包括的各个像素的颜色信息少于现有技术中作为合成对象的彩色图像数据的颜色信息。因此，能够降低去马赛克处理和合成处理所需求的处理成本和电力消耗。
此外，在本实施例中，第一摄像器件10的摄像区域R1的除了外边缘之外的区域对应于第二摄像器件20的摄像区域R2，第二摄像器件20的摄像区域R2的除了外边缘之外的区域对应于第三摄像器件50的摄像区域R3。此外，在本实施例中，第一摄像器件10、第二摄像器件20和第三摄像器件50分别生成具有相对宽的视角的第一RAW数据Iraw1、具有比第一RAW数据Iraw1的视角窄的视角的第二RAW数据Iraw2、以及具有比第二RAW数据Iraw2的视角窄的视角的第三RAW数据Iraw4。因此，将合成RAW数据Iraw的除了外边缘之外的预定区域(融合区域β)和第二RAW数据Iraw2进行相互合成。此外，将第二RAW数据Iraw2的除了外边缘之外的预定区域和第三RAW数据Iraw4进行相互合成。换句话说，第二RAW数据Iraw2被嵌入到框形的第一RAW数据Iraw1，且第三RAW数据Iraw4被嵌入到框形的第二RAW数据Iraw2。因此，利用第一摄像器件10、第二摄像器件20和第三摄像器件50，可以获得具有宽视角和高分辨率的图像。此外，即使在第一摄像器件10、第二摄像器件20和第三摄像器件50的第一光学透镜12、第二光学透镜22和第三光学透镜52全都包括固定焦点透镜的情况下，也可以在不使用机械变焦机构的前提下实现光学变焦。
其他结构、操作和效果可以与上述第一实施例中的结构、操作和效果基本类似。
<3.其他实施例>
本发明实现的技术不限于上述各个实施例的说明，而且可以以各种方式进行修改。
应该以各种形式来考虑到图1所示的摄像装置1等适用的相机的变形。第一光学透镜12等可以是固定型或可交换型。在第一光学透镜12等是可交换型透镜单元的情况下，图22、图23等所示的透镜控制器70和摄像控制器60可以设置在相机主体所在的那侧或设置在可交换型透镜单元所在的那侧。
此外，在图1所示的摄像装置1等中，由信号处理器30生成的彩色图像数据Icol可以存储在外部存储器中或可以显示在显示器上。此外，彩色图像数据Icol可以通过网络传输到任何其他设备，而不是被存储或显示。此外，图1所示的信号处理器30可以与摄像装置1的主体分离。例如，信号处理器30可以设置在与摄像装置1连接的网络端。此外，摄像装置1的主体可以在不执行图像处理的情况下将图像数据存储在外部存储器中，并且可以使诸如个人计算机(PC：personal computer)等各种别的设备执行图像处理。
应注意，信号处理器30的处理可以由计算机作为程序执行。例如，本发明的程序是例如从存储介质提供到允许执行各种程序代码的信息处理设备和计算机***的程序。通过信息处理设备或计算机***中的程序执行单元执行这样的程序使得可以实现与程序相对应的处理。
此外，本技术进行的一系列图像处理可以通过硬件、软件或硬件和软件的组合来执行。在执行软件处理的情况下，可以将保存有处理序列的程序安装在内置于专用硬件的计算机的存储器中，并且使计算机执行该程序，或者可以将程序安装在能够执行各种处理的通用计算机中，并且使通用计算机执行该程序。例如，可以预先将程序存储在存储介质中。除了将程序从存储介质安装到计算机之外，还可以通过诸如LAN(局域网)和因特网等网络接收该程序，并将程序安装在诸如内置硬件等存储介质中。
此外，例如，本技术可以具有以下结构。
(1)一种摄像控制装置，其包括：
摄像控制器，其使通过卷帘快门方式执行曝光的第一摄像器件的曝光时序和在与所述第一摄像器件的摄像条件不同的摄像条件下通过卷帘快门方式执行曝光的第二摄像器件的曝光时序基于所述摄像条件而同步。
(2)根据(1)所述的摄像控制装置，其中
所述摄像条件包括视角和像素数中的至少一者，并且
所述第二摄像器件的摄像条件与所述第一摄像器件的摄像条件在所述视角和所述像素数中的至少一者上是不同的。
(3)根据(1)或(2)所述的摄像控制装置，还包括：
存储单元，所述存储单元保存着所述第一摄像器件和所述第二摄像器件的在初始状态下的摄像条件的信息，
其中，所述摄像控制器使所述第一摄像器件的曝光时序和所述第二摄像器件的曝光时序基于所述在初始状态下的摄像条件而同步。
(4)根据(1)～(3)中任一项所述的摄像控制装置，其中
所述第一摄像器件和所述第二摄像器件中的至少一者包括变焦透镜，
所述摄像条件至少包括所述变焦透镜的变焦倍率，并且
所述摄像控制器使所述第一摄像器件的曝光时序和所述第二摄像器件的曝光时序基于所述变焦倍率而同步。
(5)根据(1)～(4)中任一项所述的摄像控制装置，其中
所述摄像条件至少包括视角，并且
所述摄像控制器使所述第一摄像器件和所述第二摄像器件之中的在相对较窄视角下执行摄像的摄像器件的曝光开始时刻从所述第一摄像器件和所述第二摄像器件之中的在相对较宽视角下执行摄像的摄像器件的曝光开始时刻延迟。
(6)根据(5)所述的摄像控制装置，其中，所述摄像控制器致使所述在较窄视角下执行摄像的摄像器件中的像素数据的读出速度高于所述在较宽视角下执行摄像的摄像器件中的像素数据的读出速度。
(7)根据(1)～(4)中任一项所述的摄像控制装置，其中
所述摄像条件至少包括像素数，并且
所述摄像控制器致使所述第一摄像器件和所述第二摄像器件之中的具有相对较大像素数的摄像器件中的像素数据的读出速度高于所述第一摄像器件和所述第二摄像器件之中的具有相对较小像素数的摄像器件中的像素数据的读出速度。
(8)一种摄像控制方法，其包括：
执行使通过卷帘快门方式执行曝光的第一摄像器件的曝光时序和在与所述第一摄像器件的摄像条件不同的摄像条件下通过卷帘快门方式执行曝光的第二摄像器件的曝光时序基于所述摄像条件而同步的控制。
(9)一种摄像装置，其包括：
第一摄像器件，其通过卷帘快门方式执行曝光；
第二摄像器件，其在与所述第一摄像器件的摄像条件不同的摄像条件下通过卷帘快门方式执行曝光；以及
摄像控制器，其使所述第一摄像器件的曝光时序和所述第二摄像器件的曝光时序基于所述摄像条件同步。
(10)根据(9)所述的摄像装置，还包括：合成器，所述合成器将具有互不相同的摄像区域的两个图像数据进行合成，所述两个图像数据是在所述第一摄像器件和所述第二摄像器件中以互不相同的视角执行摄像而生成的。
(11)根据(10)所述的摄像装置，其中，所述合成器以如下方式将所述两个图像数据进行合成：让所述两个图像数据之中的具有相对较窄视角的图像数据包含于所述两个图像数据之中的具有相对较宽视角的图像数据的除了外边缘之外的预定区域内。
本申请要求于2016年3月17日向日本专利局提交的日本优先权专利申请第2016-053995号的权益，其全部内容通过引用并入本文。
本领域技术人员应该理解，根据设计需要和其他因素，可以进行各种修改、组合、子组合和变更，只要它们在所附权利要求或其等同物的范围内即可。

Claims (11)

1.一种摄像控制装置，其包括：
摄像控制器，其使通过卷帘快门方式执行曝光的第一摄像器件的曝光时序和在与所述第一摄像器件的摄像条件不同的摄像条件下通过卷帘快门方式执行曝光的第二摄像器件的曝光时序基于所述摄像条件而同步；和
信号处理器，其包括合成处理器，所述合成处理器对由所述第一摄像器件生成的第一数据和由所述第二摄像器件生成的第二数据进行合成，
其中所述合成处理器包括***，所述***具有裁剪器，所述裁剪器基于所述第一摄像器件和所述第二摄像器件各自的倍率以及所述第一数据和所述第二数据各自的图像尺寸来指定将要合成的区域。
2.根据权利要求1所述的摄像控制装置，其中，
所述摄像条件包括视角和像素数中的至少一者，并且
所述第二摄像器件的摄像条件与所述第一摄像器件的摄像条件在所述视角和所述像素数中的至少一者上是不同的。
3.根据权利要求1所述的摄像控制装置，其还包括：
存储单元，所述存储单元保存着所述第一摄像器件和所述第二摄像器件的在初始状态下的摄像条件的信息，
其中，所述摄像控制器使所述第一摄像器件的曝光时序和所述第二摄像器件的曝光时序基于所述在初始状态下的摄像条件而同步。
4.根据权利要求1所述的摄像控制装置，其中，
所述第一摄像器件和所述第二摄像器件中的至少一者包括变焦透镜，
所述摄像条件至少包括所述变焦透镜的变焦倍率，并且
所述摄像控制器使所述第一摄像器件的曝光时序和所述第二摄像器件的曝光时序基于所述变焦倍率而同步。
5.根据权利要求1所述的摄像控制装置，其中，
所述摄像条件至少包括视角，并且
所述摄像控制器使所述第一摄像器件和所述第二摄像器件之中的在相对较窄视角下执行摄像的摄像器件的曝光开始时刻从所述第一摄像器件和所述第二摄像器件之中的在相对较宽视角下执行摄像的摄像器件的曝光开始时刻延迟。
6.根据权利要求5所述的摄像控制装置，其中，
所述摄像控制器致使所述在较窄视角下执行摄像的摄像器件中的像素数据的读出速度高于所述在较宽视角下执行摄像的摄像器件中的像素数据的读出速度。
7.根据权利要求1所述的摄像控制装置，其中
所述摄像条件至少包括像素数，并且
所述摄像控制器致使所述第一摄像器件和所述第二摄像器件之中的具有相对较大像素数的摄像器件中的像素数据的读出速度高于所述第一摄像器件和所述第二摄像器件之中的具有相对较小像素数的摄像器件中的像素数据的读出速度。
8.一种摄像控制方法，其包括：
执行使通过卷帘快门方式执行曝光的第一摄像器件的曝光时序和在与所述第一摄像器件的摄像条件不同的摄像条件下通过卷帘快门方式执行曝光的第二摄像器件的曝光时序基于所述摄像条件而同步的控制；
基于所述第一摄像器件和所述第二摄像器件各自的倍率以及来自所述第一摄像器件的第一数据和来自所述第二摄像器件的第二数据各自的图像尺寸来指定将要合成的区域，作为所述第一数据和所述第二数据的定位数据；和
基于所述定位数据将所述第一数据和所述第二数据相互合成。
9.一种摄像装置，其包括：
第一摄像器件，其通过卷帘快门方式执行曝光；
第二摄像器件，其在与所述第一摄像器件的摄像条件不同的摄像条件下通过卷帘快门方式执行曝光；以及
根据权利要求1至7中任一项所述的摄像控制装置。
10.根据权利要求9所述的摄像装置，所述合成处理器包括：
合成器，所述合成器将具有互不相同的摄像区域的两个图像数据进行合成，所述两个图像数据是在所述第一摄像器件和所述第二摄像器件中以互不相同的视角执行摄像而生成的。
11.根据权利要求10所述的摄像装置，其中，
所述合成器以如下方式将所述两个图像数据进行合成：让所述两个图像数据之中的具有相对较窄视角的图像数据包含于所述两个图像数据之中的具有相对较宽视角的图像数据的除了外边缘之外的预定区域内。
CN201780016425.3A 2016-03-17 2017-01-17 摄像控制装置、摄像控制方法和摄像装置 Active CN108781250B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-053995 2016-03-17
JP2016053995A JP2017169111A (ja) 2016-03-17 2016-03-17 撮像制御装置、および撮像制御方法、ならびに撮像装置
PCT/JP2017/001384 WO2017159027A1 (ja) 2016-03-17 2017-01-17 撮像制御装置、および撮像制御方法、ならびに撮像装置

Publications (2)

Publication Number Publication Date
CN108781250A CN108781250A (zh) 2018-11-09
CN108781250B true CN108781250B (zh) 2021-02-19

Family

ID=59852217

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780016425.3A Active CN108781250B (zh) 2016-03-17 2017-01-17 摄像控制装置、摄像控制方法和摄像装置

Country Status (5)

Country Link
US (1) US11290619B2 (zh)
JP (1) JP2017169111A (zh)
KR (1) KR20180121879A (zh)
CN (1) CN108781250B (zh)
WO (1) WO2017159027A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10810751B2 (en) * 2017-06-23 2020-10-20 Panasonic Intellectual Property Corporation Of America Distance measuring apparatus and distance measuring method
JP7027844B2 (ja) * 2017-11-29 2022-03-02 株式会社デンソー カメラモジュール
JP2019102889A (ja) * 2017-11-29 2019-06-24 株式会社デンソー カメラシステム
JP2019121857A (ja) * 2017-12-28 2019-07-22 キヤノン株式会社 電子機器及びその制御方法
JP7043255B2 (ja) 2017-12-28 2022-03-29 キヤノン株式会社 電子機器及びその制御方法
KR102418852B1 (ko) * 2018-02-14 2022-07-11 삼성전자주식회사 이미지 표시를 제어하는 전자 장치 및 방법
JP7242332B2 (ja) 2019-02-18 2023-03-20 キヤノン株式会社 同期制御装置、同期制御方法、及びプログラム
JP2020167626A (ja) * 2019-03-29 2020-10-08 キヤノン株式会社 撮像装置およびその制御方法
CN110290322A (zh) * 2019-06-28 2019-09-27 Oppo广东移动通信有限公司 设备成像方法、装置、存储介质及电子设备
KR20220075028A (ko) * 2020-11-26 2022-06-07 삼성전자주식회사 다중 크롭 기능을 갖는 이미지 센서를 포함하는 전자 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005175970A (ja) * 2003-12-11 2005-06-30 Canon Inc 撮像システム
JP2012227773A (ja) * 2011-04-20 2012-11-15 Toyota Motor Corp 画像認識装置
CN103109524A (zh) * 2010-09-24 2013-05-15 英特尔公司 变焦拍摄装置图像融合技术
CN104969238A (zh) * 2013-01-15 2015-10-07 移动眼视力科技有限公司 利用滚动快门的立体协助
CN105308947A (zh) * 2013-06-13 2016-02-03 核心光电有限公司 双孔径变焦数字摄影机

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003134375A (ja) 2001-10-26 2003-05-09 Matsushita Electric Works Ltd 画像撮影システム
US7663662B2 (en) * 2005-02-09 2010-02-16 Flir Systems, Inc. High and low resolution camera systems and methods
US7859588B2 (en) * 2007-03-09 2010-12-28 Eastman Kodak Company Method and apparatus for operating a dual lens camera to augment an image
JP5413002B2 (ja) * 2008-09-08 2014-02-12 ソニー株式会社 撮像装置および方法、並びにプログラム
CN102404510B (zh) * 2009-06-16 2015-07-01 英特尔公司 手持装置中的摄像机应用
CN113472989A (zh) * 2012-11-28 2021-10-01 核心光电有限公司 多孔径成像***以及通过多孔径成像***获取图像的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005175970A (ja) * 2003-12-11 2005-06-30 Canon Inc 撮像システム
CN103109524A (zh) * 2010-09-24 2013-05-15 英特尔公司 变焦拍摄装置图像融合技术
JP2012227773A (ja) * 2011-04-20 2012-11-15 Toyota Motor Corp 画像認識装置
CN104969238A (zh) * 2013-01-15 2015-10-07 移动眼视力科技有限公司 利用滚动快门的立体协助
CN105308947A (zh) * 2013-06-13 2016-02-03 核心光电有限公司 双孔径变焦数字摄影机

Also Published As

Publication number Publication date
US11290619B2 (en) 2022-03-29
KR20180121879A (ko) 2018-11-09
CN108781250A (zh) 2018-11-09
US20190098180A1 (en) 2019-03-28
WO2017159027A1 (ja) 2017-09-21
JP2017169111A (ja) 2017-09-21

Similar Documents

Publication Publication Date Title
CN108781250B (zh) 摄像控制装置、摄像控制方法和摄像装置
JP5917054B2 (ja) 撮像装置、画像データ処理方法、およびプログラム
KR101428635B1 (ko) 듀얼 이미지 캡쳐 프로세싱
EP2882183B1 (en) Electronic apparatus and method of controlling the same
US20110242342A1 (en) Combining data from multiple image sensors
JP6222514B2 (ja) 画像処理装置、撮像装置、およびコンピュータブログラム
US11275296B2 (en) Signal processing apparatus and imaging apparatus
JP2013165485A (ja) 画像処理装置、撮像装置およびコンピュータブログラム
US20150256736A1 (en) Imaging device
JP4636979B2 (ja) 撮像装置及びその制御方法
JP2009044637A (ja) 撮像装置
US20200389596A1 (en) Image sensor and image processing system including thereof
WO2015186510A1 (ja) 撮像装置および方法、並びにプログラム
US11218679B2 (en) Image processing device, image processing method, and imaging device
JP2008282077A (ja) 撮像装置および画像処理方法並びにそのプログラム
JP2014236226A (ja) 画像処理装置および画像処理方法
JP7237164B2 (ja) 撮像装置、撮像方法、および映像処理プログラム
US8406558B2 (en) Imaging apparatus, image processing apparatus, and image processing method
JP6817855B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
WO2012165087A1 (ja) 撮像装置及びゴースト補正方法
JP2013115650A (ja) 画像処理装置、画像処理方法およびコンピュータプログラム
JP2015015629A (ja) 画像処理装置および撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant