CN111953890A - 摄像装置、控制设备、摄像方法和存储介质 - Google Patents

摄像装置、控制设备、摄像方法和存储介质 Download PDF

Info

Publication number
CN111953890A
CN111953890A CN202010400199.2A CN202010400199A CN111953890A CN 111953890 A CN111953890 A CN 111953890A CN 202010400199 A CN202010400199 A CN 202010400199A CN 111953890 A CN111953890 A CN 111953890A
Authority
CN
China
Prior art keywords
image
unit
image pickup
image capturing
wide
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010400199.2A
Other languages
English (en)
Inventor
沼田爱彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN111953890A publication Critical patent/CN111953890A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Cameras In General (AREA)

Abstract

本发明涉及一种摄像装置、控制设备、摄像方法和存储介质。为了能够根据多个摄像单元的摄像范围的控制来适当地控制是否生成广角图像，一种摄像装置包括：第一摄像单元和第二摄像单元，其各自能够沿预定方向移动；合成处理单元，其被配置为将所述第一摄像单元所获得的第一图像和所述第二摄像单元所获得的第二图像进行合成，以生成广角图像；以及判断单元，其被配置为基于所述第一摄像单元的摄像范围和所述第二摄像单元的摄像范围之间的关系、或者所述第一摄像单元和所述第二摄像单元之间在所述预定方向上的位置关系，来判断是否通过所述合成处理单元生成所述广角图像。

Description

摄像装置、控制设备、摄像方法和存储介质
技术领域
本发明涉及用于诸如监视等的应用的摄像装置。
背景技术
近年来，在合成多个照相机(以下称为“多镜头照相机”)所拍摄到的图像时，提出了能够获取与使用单个照相机时相比更宽的摄像范围的图像(以下称为“广角图像”)的摄像装置。
日本特开2004-118786提出了如下的摄像装置，该摄像装置通过在使多镜头照相机中的各照相机所拍摄到的图像偏移的同时进行匹配处理以获取多个图像之间的偏移量，来生成广角图像。
另外，作为在安装了摄像装置之后用户想要改变期望监视的方向等时使用的摄像装置，提出了具有可以对摄像方向进行控制的所谓的平摇俯仰变焦(PTZ)功能的摄像装置。
在日本特开2004-118786所述的摄像装置中，多个照相机的相对位置是固定的。另一方面，在添加了用于控制多镜头照相机的各照相机的摄像方向的机构的情况下，用户可以更自由地改变要监视的位置。
在这样的多镜头照相机中，可以将各照相机所获得的图像同时提供至外部监视器。然而，作为控制多镜头照相机的各照相机的摄像方向的结果，多镜头照相机中的相邻照相机的摄像范围的重叠有时会发生，有时不会发生，并且用户难以判断是否正发生重叠。
因而，本发明的目的是提出如下的摄像装置，该摄像装置包括多个摄像单元，并且能够根据多个摄像单元的摄像范围的控制来适当地控制是否生成广角图像。
发明内容
本发明的摄像装置包括：第一摄像单元和第二摄像单元，其各自能够沿预定方向移动；合成处理单元，其被配置为将所述第一摄像单元所获得的第一图像和所述第二摄像单元所获得的第二图像进行合成，以生成广角图像；以及判断单元，其被配置为基于所述第一摄像单元的摄像范围和所述第二摄像单元的摄像范围之间的关系、或者所述第一摄像单元和所述第二摄像单元之间在所述预定方向上的位置关系，来判断是否通过所述合成处理单元生成所述广角图像。
一种控制设备，用于控制摄像装置，所述摄像装置包括：第一摄像单元和第二摄像单元，其各自能够沿预定方向移动；合成处理单元，其被配置为将所述第一摄像单元所获得的第一图像和所述第二摄像单元所获得的第二图像进行合成，以生成广角图像；以及判断单元，其被配置为基于所述第一摄像单元的摄像范围和所述第二摄像单元的摄像范围之间的关系、或者所述第一摄像单元和所述第二摄像单元之间在所述预定方向上的位置关系，来判断是否通过所述合成处理单元生成所述广角图像，其中，所述控制设备包括：通信单元，其被配置为与所述摄像装置进行通信；以及显示单元，其被配置为选择性地显示经由所述通信单元从所述摄像装置接收到的所述第一图像、所述第二图像和所述广角图像至少之一。
一种摄像方法，包括：使用各自能够沿预定方向移动的第一摄像单元和第二摄像单元来进行摄像；通过将所述第一摄像单元所获得的第一图像和所述第二摄像单元所获得的第二图像进行合成，来生成广角图像；以及基于所述第一摄像单元的摄像范围和所述第二摄像单元的摄像范围之间的关系、或者所述第一摄像单元和所述第二摄像单元之间在所述预定方向上的位置关系，来判断是否生成所述广角图像。
一种存储计算机程序的非暂时性计算机可读存储介质，所述计算机程序被配置为执行以下的摄像方法的以下步骤，所述摄像方法包括：使用各自能够沿预定方向移动的第一摄像单元和第二摄像单元来进行摄像；通过将所述第一摄像单元所获得的第一图像和所述第二摄像单元所获得的第二图像进行合成，来生成广角图像；以及基于所述第一摄像单元的摄像范围和所述第二摄像单元的摄像范围之间的关系、或者所述第一摄像单元和所述第二摄像单元之间在所述预定方向上的位置关系，来判断是否生成所述广角图像。
通过以下参考附图对典型实施例的说明，本发明的更多特征将变得明显。
附图说明
图1是在从上方观看时的第一实施例中的摄像装置的配置图。
图2是第一实施例中的摄像装置的功能框图。
图3是示出第一实施例的摄像装置中的摄像单元的摄像范围的重叠大的情况的图。
图4A和4B是示出第一实施例的摄像装置中的摄像单元的摄像范围的重叠小的情况的图。
图5是示出第一实施例的摄像装置中的摄像单元的摄像范围和重叠范围的另一示例的图。
图6是示出第一实施例的摄像装置中的摄像单元的摄像范围和重叠范围的又一示例的图。
图7是示出第一实施例的摄像装置中的摄像单元的摄像范围和重叠范围的另一示例的图。
图8是示出第一实施例的摄像装置中的摄像单元的摄像范围和重叠范围的又一示例的图。
图9A和9B是示出第二实施例的摄像装置中的摄像单元的摄像范围和重叠范围的示例的图。
图10A和10B是示出第三实施例的摄像装置中的摄像单元的摄像范围和重叠范围的示例的图。
图11A和11B是示出第四实施例的摄像装置中的摄像单元的摄像范围和重叠范围的示例的图。
图12A和12B是示出第四实施例的摄像装置中的摄像单元的摄像范围和重叠范围的另一示例的图。
图13A和13B是示出第五实施例中的摄像装置的用户界面的图。
图14A～14D是示出在摄像单元从广角图像显示模式转变的情况下的显示画面和摄像单元的移动的示例的图。
图15A～15D是示出在摄像单元从广角图像显示模式转变的情况下的显示画面和摄像单元的移动的另一示例的图。
图16A～16D是示出在摄像单元从广角图像显示模式转变的情况下的显示画面和摄像单元的移动的又一示例的图。
图17A～17D是示出在摄像单元从广角图像显示模式转变的情况下的显示画面和摄像单元的移动的又一示例的图。
图18A～18D是示出在摄像单元从非广角图像显示模式转变的情况下的显示画面和摄像单元的移动的示例的图。
图19A～19D是示出在摄像单元从非广角图像显示模式转变的情况下的显示画面和摄像单元的移动的另一示例的图。
图20A～20D是示出在摄像单元从非广角图像显示模式转变的情况下的显示画面和摄像单元的移动的又一示例的图。
图21是用于说明实例的操作示例的流程图。
具体实施方式
以下将参考附图来说明根据本发明实施例的摄像装置的实例。此时，在附图中具有相同功能的构成元素将由相同的附图标记表示，并且将省略对这些构成元素的重复说明。
在实例中，将说明本发明应用于作为摄像装置的网络照相机的示例。然而，摄像装置包括具有多个摄像单元的电子装置，诸如数字静态照相机、数字动画照相机、具有照相机的智能电话和具有照相机的平板计算机等。
(第一实施例)
图1示出本实例中的摄像装置和使用该摄像装置的监视***。图1是在从上方(+Z轴侧)观看时的摄像装置100的配置图，并且图2是内部功能框图。摄像装置100包括第一摄像单元110、第二摄像单元120、第一驱动机构111、第二驱动机构121、控制单元130、合成(组合)处理单元140和第一发送/接收单元150。
第一驱动机构111和第二驱动机构121各自用作驱动单元，并且被配置为能够控制第一摄像单元110和第二摄像单元120至少在同一平面(图1中的XY平面)中的摄像方向或摄像范围。本实例中的摄像装置被配置为能够沿平摇方向控制摄像方向。
具体地，图2所示的第一驱动机构111和第二驱动机构121包括马达和齿轮，并且被配置为能够通过控制用于驱动马达的电力，使用图1中的轴101作为转动轴来使第一摄像单元110和第二摄像单元120转动。用于驱动马达的电力由控制单元130控制。
也就是说，摄像装置100被配置为能够改变第一摄像单元110和第二摄像单元120各自在XY平面中的摄像方向。尽管在本实例中可以改变第一摄像单元110和第二摄像单元120这两者的摄像方向，但设置了能够控制这些摄像方向至少之一的驱动机构，因而第一摄像单元和第二摄像单元的摄像方向仅可以是相对可变的。
第一摄像单元110包括成像光学***112和固态摄像器件113，第二摄像单元120包括成像光学***122和固态摄像器件123，并且第一摄像单元110和第二摄像单元120经由成像光学***112和122在固态摄像器件113和123上形成被摄体图像以获取图像。固态摄像器件113和123各自的驱动和信号读取由控制单元130控制。控制单元130内置有作为计算机的中央处理单元(CPU)，并且用作控制单元，该控制单元被配置为基于存储器(未示出)中所存储的计算机程序来执行整个装置的各种操作。
合成处理单元140用作合成单元，并且被配置为将第一摄像单元110所获取到的第一图像信号114和第二摄像单元120所获取到的第二图像信号124合成，以生成广角图像(全景图像)信号134。具体地，通过应用用于在使图像的重叠部分偏移的同时获得相关系数的所谓的模式匹配技术，获得多个图像之间的位置偏移量并且生成广角图像信号134。
此外，在本实例中，研究第一摄像单元110的摄像范围115和第二摄像单元120的摄像范围125之间的重叠范围(重叠量)。此外，在重叠范围(重叠量)小于第一阈值时，不生成广角图像信号134，并且在重叠范围(重叠量)等于或大于第一阈值时，生成广角图像信号134。后面将说明详情。在合成处理单元140中不生成广角图像信号134的情况下，将第一图像信号114和第二图像信号124以未合成的状态传送至第一发送/接收单元150。
第一发送/接收单元150将已从合成处理单元140传送来的图像信号(第一图像信号114、第二图像信号124或广角图像信号134)经由有线或无线网络等发送至外部客户端装置180(未示出)。
外部客户端装置180将用于控制摄像装置100的命令经由第二发送/接收单元181和网络发送至第一发送/接收单元150，并且摄像装置100接收该命令并将对该命令的响应返回到客户端装置180。
该命令例如用于控制第一驱动机构111和第二驱动机构121。也就是说，用户可以从外部客户端装置180经由网络控制第一摄像单元110和第二摄像单元120的方向。
客户端装置例如是诸如个人计算机(PC)等的外部装置，并且网络由有线局域网(LAN)或无线LAN等配置成。此外，可以提供经由网络向摄像装置100供给电力的结构。
被配置为控制客户端装置180的内部并且内置有诸如CPU等的计算机的控制单元将用附图标记182来表示。此外，控制单元182内置有存储器(未示出)，并且在该存储器中存储有被配置为控制该控制单元中的CPU的操作的计算机程序。用作显示单元并被配置为显示从摄像装置100传送来的图像信号等的显示单元将用附图标记183来表示。包括诸如各种开关和触摸面板等的输入单元的操作单元将用附图标记184来表示。用户可以通过对操作单元进行操作来向摄像装置100提供各种指示。
尽管在实例中合成处理单元140设置在摄像装置100的内部，但合成处理单元140可以设置在客户端装置180中。此外，摄像***由摄像装置100和客户端装置180构成。
在图2所示的第一实施例中，示出如下的示例：摄像装置100包括第一发送/接收单元150，将图像发送至客户端装置180侧，并且经由来自客户端装置180侧的命令进行操作。
也就是说，示出显示单元183、控制单元182和操作单元184与摄像装置分开设置的示例。然而，摄像装置100可以一体地包括被配置为存储图像数据的存储器以及操作单元184等的一部分(诸如被配置为显示图像的显示单元183和被配置为接收用户的辅助的开关等)。也就是说，摄像装置100自身可以具有一体地内置的客户端装置180的功能。
如上所述，在本实例的摄像装置100中，在第一摄像单元110的摄像范围115和第二摄像单元120的摄像范围125之间的重叠范围(重叠量)135的大小等于或大于第一阈值的情况下，生成广角图像信号134。此外，提供在重叠范围135的大小小于第一阈值的情况下不生成广角图像信号134的结构。
利用这样的结构，不论第一摄像单元110和第二摄像单元120的摄像方向如何，都可以提供被摄体的可视性优良的图像。在以下的说明中将提供详情。
图3以及图4A和4B是示出第一摄像单元110的第一摄像范围115、第二摄像单元120的第二摄像范围125、以及这两者的重叠范围135的图。
图3的(A)和(B)示出重叠范围(重叠量)135等于或大于第一阈值136的情况，并且图4A和4B示出重叠范围135小于第一阈值136的情况。在图3的(A)和(B)中，重叠范围135对应于阴影区域。
为了生成广角图像信号134，可以获得第一图像信号114和第二图像信号124之间的位置偏移量。为了获得位置偏移量，可以使用如专利文献1所述的一般方法。例如，可以在使第一图像信号114和第二图像信号124偏移的同时计算诸如平方差和(SSD)和绝对差和(SAD)等的相关系数，使得可以获得具有最高相关系数的位置偏移量。
通常，如果使用SSD或SAD来获得相关系数，则在用于计算位置偏移量的像素信号的数量增加时，可以获得具有高精度的相关系数。如从图3可以看出，在重叠范围135增大时，用于计算位置偏移量的像素信号的数量增加。因此，在重叠范围135增大时，可以获得具有高精度的位置偏移量，并且可以生成具有高质量的广角图像。另一方面，在重叠范围135减小时，位置偏移量的检测下降。因而，难以生成具有高质量的广角图像。
在可以生成具有高质量的广角图像信号134的情况下，在通过合成第一图像信号114和第二图像信号124来获得广角图像信号134时的重叠范围135中的被摄体的可视性高于在单独观察第一图像信号114和第二图像信号124时的该可视性。另一方面，在难以生成具有高质量的广角图像信号134的情况下，即使生成了广角图像信号134，也有可能生成存在不正确的位置偏移量的广角图像信号134。也就是说，在生成广角图像时，第一图像信号114和第二图像信号124中所包括的信息有可能丢失。
因此，在难以生成具有高质量的广角图像信号134的情况下，在单独显示第一图像信号114和第二图像信号124时的被摄体的可视性优于在显示广角图像信号134时的被摄体的可视性。
因而，在本实例的摄像装置100中，重叠范围135等于或大于第一阈值136。在可以生成具有高质量的广角图像信号的情况下，在合成处理单元140中生成广角图像信号134。
另一方面，在重叠范围135小于第一阈值136、并且难以生成具有高质量的广角图像信号的情况下，在合成处理单元140中不生成广角图像信号。此外，原样发送并且单独显示第一图像信号114和第二图像信号124。利用这样的结构，不论第一摄像单元110和第二摄像单元120的摄像方向如何，都可以提供被摄体的可视性优良的图像。
如从图3可以看出，在第一摄像单元110的摄像方向和第二摄像单元120的摄像方向之间的偏差减小的情况下，重叠范围135增大。因此，在第一实施例的摄像装置100中，也可以提供如下的结构：在第一摄像单元110的摄像方向和第二摄像单元120的摄像方向之间的偏差等于或小于预定阈值的情况下，生成广角图像信号，并且在第一摄像单元110的摄像方向和第二摄像单元120的摄像方向之间的偏差大于预定阈值的情况下，不生成广角图像信号。这里，摄像单元的摄像方向是指摄像单元的成像光学***的光轴的方向。
此外，第一阈值136也可以使用重叠范围135中的像素数来确定。具体地，在第一图像信号114和第二图像信号124之间，重叠范围135中所包括的第一图像信号114和第二图像信号124的像素数优选为100个以上、并且更优选为1000个以上。
此外，第一阈值136可被定义为与第一摄像范围115或第二摄像范围125的相对比(relative ratio)。具体地，重叠范围相对于第一摄像范围115和第二摄像范围125中的相对较窄的摄像范围优选为5％以上、并且更优选为20％以上。
尽管图1示出摄像装置100由第一摄像单元110和第二摄像单元120这两个摄像单元构成的情况，但摄像装置100可以由三个或更多个摄像单元构成。在摄像装置100由三个或更多个摄像单元构成的情况下，期望根据这些摄像单元的摄像范围之间的重叠范围来提供判断是否通过合成来生成广角图像信号的结构。
具体地，在相邻摄像单元的摄像范围之间的重叠范围等于或大于第一阈值的情况下，通过合成使用摄像单元所获取到的图像信号来生成广角图像信号。另一方面，在相邻摄像单元的摄像范围之间的重叠范围小于第一阈值的情况下，提供不合成使用摄像单元所获取到的图像信号的结构。
图5示出摄像装置100由四个摄像单元(即，按顺时针顺序排列的摄像单元110、120、160和170)构成的示例。这些摄像单元的摄像范围为115、125、165和175。
如图5所示，在这些摄像单元的摄像范围之间的重叠范围全部等于或大于第一阈值的情况下，通过将使用这些摄像单元进行摄像所获得的所有的图像信号114、124和图像信号164和174合成来生成一个广角图像信号134。
另一方面，图6示出如下的情况：摄像单元110和120之间以及摄像单元120和160之间的重叠范围等于或大于第一阈值136，并且摄像单元170和110之间以及摄像单元160和170之间的重叠范围小于第一阈值136。此时，通过合成来自摄像单元110、120和160的图像信号114、124和164来生成广角图像信号134，并且使用摄像单元170进行摄像得到的图像信号174不与其它图像信号合成。
图7示出如下的情况：摄像单元110和120之间以及摄像单元160和170之间的重叠范围等于或大于第一阈值136、并且摄像单元170和110之间以及摄像单元120和160之间的重叠范围小于第一阈值136。
此时，通过将来自摄像单元110和120的图像信号114和图像信号124合成、并将来自摄像单元160和170的图像信号164和图像信号174合成，来生成两个广角图像信号134A和134B。
此外，如图8所示，在这些摄像单元的摄像范围之间的重叠范围全部小于第一阈值136的情况下，使用这些摄像单元进行摄像得到的图像信号114、124、164和174均不与其它图像信号合成。
(第二实施例)
第二实施例中的摄像装置200(未示出)和第一实施例中示出的摄像装置100仅在第一驱动机构和第二驱动机构的功能方面有所不同。在第二实施例的摄像装置200中，第一驱动机构211(未示出)和第二驱动机构212(未示出)是以如下方式配置的：设置第一摄像单元210(未示出)和第二摄像单元220(未示出)的摄像方向，使得第一摄像单元210(未示出)和第二摄像单元220(未示出)可以在彼此垂直的两个方向上转动。具体地，除了以Z轴为中心的转动机构(所谓平摇驱动机构)之外，还设置了能够控制相对于Z轴的角度的转动机构(所谓的俯仰驱动机构)。
此外，如图9A所示，在第一摄像单元210的摄像范围215和第二摄像单元220的摄像范围225之间的重叠范围235的大小(面积)等于或大于第一阈值(面积值)的情况下，生成广角图像信号234。此外，如图9B所示，在第一摄像单元210的摄像范围215和第二摄像单元220的摄像范围225之间的重叠范围235的大小(面积)小于第一阈值的情况下，不生成广角图像信号234。
也就是说，图9A和9B是示出第一摄像单元210的第一摄像范围215、第二摄像单元220的第二摄像范围225、以及重叠范围235的图。图9A示出重叠范围235大的情况，并且图9B示出重叠范围235小的情况。在9A和9B中，重叠范围235对应于阴影区域。
如从图9A和9B可以看出，在第一摄像单元110的摄像方向和第二摄像单元120的摄像方向之间在XY平面(参见图1)中的偏差减小时，重叠范围235在其平摇方向(图9A和9B的垂直方向)上的大小增大。此外，在第一摄像单元110的摄像方向和第二摄像单元120的摄像方向之间在Z方向(参见图1)上的偏差减小时，重叠范围235在其俯仰方向(图9A和9B的水平方向)上的大小增大。
因此，在第二实施例的摄像装置200中，可以使用第一摄像单元210的摄像方向和第二摄像单元220的摄像方向之间在其平摇方向上的偏差与这两者之间在其俯仰方向上的偏差的乘积，来进行与是否生成广角图像信号有关的判断。
具体地，在平摇方向和俯仰方向上的偏差的乘积等于或小于第一阈值的情况下，生成广角图像信号，并且在平摇方向和俯仰方向上的偏差的乘积大于第一阈值的情况下，不生成广角图像信号。
此外，在这种情况下，将第一摄像单元210和第二摄像单元220的摄像信号以未进行合成的状态原样输出并且单独显示。
代替包括平摇驱动机构和俯仰驱动机构这两者的摄像装置，该实例可以应用于仅包括俯仰驱动机构的摄像装置。
(第三实施例)
图10A和10B是用于说明第三实施例的图。第三实施例中的摄像装置300(未示出)和第二实施例中示出的摄像装置200仅在第一驱动机构和第二驱动机构的功能方面有所不同。在摄像装置300中，除了能够控制第一摄像单元310(未示出)和第二摄像单元320(未示出)的摄像方向之外，还设置了能够使摄像单元绕摄像单元的光轴转动的转动机构(所谓的转动机构)。
此外，在第一摄像单元310的摄像范围315和第二摄像单元320的摄像范围325之间的重叠范围335的大小(面积)等于或大于第一阈值的情况下，生成广角图像信号334，并且在第一摄像单元310的摄像范围315和第二摄像单元320的摄像范围325之间的重叠范围335的大小(面积)小于第一阈值的情况下，不生成广角图像信号334。
图10A和10B示出第一摄像单元310的第一摄像范围315、第二摄像单元320的第二摄像范围325、以及重叠范围335。图10A示出重叠范围335大的情况，并且图10B示出在从图10A的状态起维持各个摄像单元的摄像方向的同时、各个摄像单元的摄像方向向右转动90度的情况。在图10A和10B中，重叠范围335对应于阴影区域。
通常，在用于监视应用等的摄像单元中的固态摄像器件中，在许多情况下，该固态摄像器件在其水平方向的长度可以长于该固态摄像器件在其垂直方向上的长度。因此，在摄像单元绕光轴转动时，摄像单元的摄像范围改变。由于该原因，如图10A和10B所示，重叠范围335的大小根据摄像单元的转动角度而改变。
在本实例中，尽管诸如平摇驱动机构、俯仰驱动机构和转动驱动机构等的三个功能全部是连同第一驱动机构和第二驱动机构一起设置的，但第一驱动机构和第二驱动机构各自可以具有上述三个功能的一部分。也就是说，例如，关于转动功能，可以设置被配置为使第一摄像单元和第二摄像单元中的相应一个摄像单元绕第一摄像单元和第二摄像单元至少之一的光轴转动的转动单元。
(第四实施例)
图11A和11B以及图12A和12B示出第四实施例中的摄像装置400。第四实施例中的摄像装置400和第一实施例中示出的摄像装置100的不同之处在于，第四实施例的摄像装置400中的第一驱动机构和第二驱动机构的结构以及第一摄像单元和第二摄像单元的结构不同于第一实施例中示出的摄像装置100的这些结构。第四实施例中的摄像装置400具有不仅可以控制第一摄像单元410和第二摄像单元420的摄像方向、而且还可以控制通过变焦的摄像范围的结构。具体地，摄像单元中的成像光学***具有在光轴方向上可移动的变焦透镜，并且在第一驱动机构411(未示出)和第二驱动机构412(未示出)驱动变焦透镜时，可变地控制摄像单元的摄像范围。
此外，在第一摄像单元410的摄像范围415和第二摄像单元420的摄像范围425之间的重叠范围435的大小(面积)等于或大于第一阈值的情况下，生成广角图像信号434，并且在第一摄像单元410的摄像范围415和第二摄像单元420的摄像范围425之间的重叠范围435的大小(面积)小于第一阈值的情况下，不生成广角图像信号434。
图11A、11B、图12A和12B是示出第一摄像单元410的第一摄像范围415、第二摄像单元420的第二摄像范围425、以及重叠范围435的图。
图11A和11B示出重叠范围435等于或大于第一阈值436的情况，并且图12A和12B示出重叠范围435小于第一阈值436的情况。在图11A、11B、图12A和12B中，重叠范围435对应于阴影区域。
如从图11A、11B、图12A和12B可以看出，在第一摄像单元410的摄像范围(视角)415和第二摄像单元420的摄像范围(视角)425增大时，重叠范围435增大。具体地，在从第一摄像单元410的光轴向着第二摄像单元420的光轴的转动方向上的摄像范围的长度增大时(在视角增大时)，重叠范围435增大。
因此，在第四实施例的摄像装置400中，获得在从第一摄像单元410的光轴向着第二摄像单元420的光轴的转动方向上的、第一摄像单元410的摄像范围的长度和第二摄像单元420的摄像范围的长度的总和。因而，可以进行与是否生成广角图像信号有关的判断。
具体地，在这些摄像范围的长度的总和例如等于或小于预定阈值的情况下，可以生成广角图像信号，并且在这些摄像范围的长度的总和大于预定阈值的情况下，不可以生成广角图像信号。也就是说，在假定第一摄像单元410和第二摄像单元420在其平摇方向上的方向固定的情况下，如果第一摄像单元410和第二摄像单元420的视角的总和等于或大于预定值，则重叠范围增大。因此，在这种情况下，生成广角图像信号。另外，如果第一摄像单元410和第二摄像单元420的视角的总和小于预定值，则重叠范围减小。因而，不生成广角图像信号。
除变焦驱动机构之外，与第一实施例至第三实施例一样，第一驱动机构和第二驱动机构还可以仅具有平摇驱动机构、俯仰驱动机构和转动驱动机构的一部分。也就是说，可以设置被配置为改变第一摄像单元和第二摄像单元至少之一的摄像范围的变焦单元。
(第五实施例)
在第五实施例中，将说明被配置为控制摄像装置中的第一摄像单元和第二摄像单元的摄像方向或摄像范围的用户界面。尽管如在第一实施例中示出的摄像装置那样、以下将说明沿摄像装置的平摇方向控制摄像装置的摄像方向的情况作为示例，但在除平摇方向以外的方向的情况下，也可以使用相同的用户界面。
图13A和13B是用于说明在第五实施例中示出的摄像装置500的用户界面580的图。用户界面580包括：游标581和582，其被配置为控制图14A～14D的摄像装置500中的第一摄像单元510和第二摄像单元520的摄像方向；以及显示单元590，其被配置为显示使用这些摄像单元所获取到的图像信号。用户界面580可以单独地设置在客户端装置180侧，或者可以一体地设置在摄像装置100中。
摄像方向不仅可以使用游标来控制，而且还可以通过利用鼠标或触摸面板拖动期望摄像的范围、或者通过使用诸如键盘等的字符输入接口识别字符或数字来控制。
在第一摄像单元510的摄像范围515和第二摄像单元520的摄像范围525之间的重叠范围535的大小等于或大于第一阈值的情况下，如图13A所示，将广角图像信号534显示在显示单元590上。
另一方面，在重叠范围535的大小小于第一阈值的情况下，如图13B所示，独立地并排显示第一图像信号514和第二图像信号524(以下称为“非广角图像显示”)。在显示单元中，第一图像信号514可以显示在右侧，并且第二图像信号524可以显示在左侧。此外，该偏差代替沿左/右方向布置，而是可以沿上/下方向布置。
这里，期望根据第一摄像单元510和第二摄像单元520的摄像方向来将第一图像信号514和第二图像信号524按相同顺序并排显示。也就是说，在第一摄像单元510面向左侧并且第二摄像单元520面向右侧的情况下，在显示单元590上按相同顺序进行布置，使得第一图像信号514布置在左侧且第二图像信号524布置在右侧。
尽管在非广角图像显示模式中不合成第一摄像单元510和第二摄像单元520，但第一摄像单元510和第二摄像单元520可以无间隙地并排布置并被显示为彼此相邻。可选地，第一摄像单元510和第二摄像单元520可以以存在间隙的状态布置。
首先，在将广角图像信号534显示在显示单元590上的状态下，用户改变第一摄像单元510或第二摄像单元520的摄像方向，并且重叠范围535的大小小于第一阈值。此时，期望摄像装置500返回以下的响应其中之一。
如图14A、14B、14C和14D所示，第一响应是用于按照用户的指示改变摄像单元的方向的响应。通过进行该响应，可以按照用户的意图改变摄像单元的方向。图14A和14B示出用户界面，并且图14C和14D示出此时的摄像单元510和520的摄像方向以及摄像范围515和525。
然而，在提供该响应的情况下，在摄像单元的方向改变之前和之后，显示单元上所显示的图像的类型改变。也就是说，在摄像单元的方向改变之前，显示了广角图像信号534。另一方面，在摄像单元的方向改变之后，显示非广角图像信号。由于该原因，用户有可能感到奇怪。
因而，作为第二响应，如图15A、15B、15C和15D所示，在摄像单元的方向改变之前，存在如下的响应：通过显示对话框等来询问是否要进行从广角图像信号534到非广角图像信号的转变。图15A和15B示出用户界面，并且图15C和15D示出此时的摄像单元510和520的摄像方向以及摄像范围515和525。
作为询问用户的结果，在存在来自用户的可以转变到非广角图像信号的响应的情况下，摄像单元的方向改变，并且将显示单元590上所显示的图像从广角图像信号改变为非广角图像信号。另一方面，在存在来自用户的不能进行从广角图像信号到非广角图像信号的转变的响应的情况下，在不改变摄像单元的方向的情况下保持显示广角图像信号。在使用如上所述的第二响应的情况下，可以消除从广角图像信号改变为非广角图像信号的不适感。
此外，作为第三响应，存在如下的响应：可以仅在能够显示广角图像信号的范围内改变摄像单元的方向。也就是说，如图16A、16B、16C和16D所示，可以改变摄像单元的方向，直到重叠范围535的大小是第一阈值为止。图16A和16B示出用户界面，并且图16C和16D示出此时的摄像单元510和520的摄像方向以及摄像范围515和525。
此时，由于重叠范围535的大小等于或大于第一阈值，因此显示单元590上所显示的图像维持为广角图像。使用第三响应也可以消除从广角图像改变为非广角图像的不适感。
在使用第三响应的情况下，更期望将第三响应连同第二响应一起使用。也就是说，这是如下的响应：改变摄像单元的方向，直到重叠范围535的大小达到第一阈值为止，然后显示对话框等，以请求用户的与是否进一步改变摄像单元的方向有关的指示。对于想要在保持广角图像的同时改变摄像方向的用户，可以尽可能地改变摄像方向，并且对于即使在转变到非广角图像之后也想要改变摄像方向的用户，可以将摄像方向改变为期望摄像方向。
作为第四响应，存在如下的响应：用户选择是显示精度低的广角图像还是显示非广角图像。也就是说，在用户选择显示精度低的广角图像信号的情况下，即使在摄像单元的方向已改变之后也继续显示广角图像信号，并且在用户选择转变到非广角图像信号的情况下，摄像单元的方向改变，并且同时显示非广角图像信号。图17A和17B示出用户界面，并且图17C和17D示出此时的摄像单元510和520的摄像方向以及摄像范围515和525。
如上所述，在重叠范围535的大小小于第一阈值的情况下，难以获得精度高的位置偏移量。因而，难以获得具有高质量的广角图像信号。然而，在一些情况下，即使精度低，可以容许具有低精度的位置偏移量的用户也可能想要显示广角图像信号。在这种情况下，期望使用第四响应。
在重叠范围535的大小几乎为零的情况下、即在第一摄像单元的摄像范围与第二摄像单元的摄像范围不重叠的情况下，不能获得位置偏移量。
在这种情况下，不能显示广角图像信号。因而，即使利用第四响应，也需要进行向非广角图像显示的转变。
此时，在存在来自用户的、表示与无需进行从广角图像显示到非广角图像显示的转变有关的禁止指示的响应的情况下，期望仅可以改变摄像单元的方向，直到重叠范围为零为止。
另外，更期望用户使用对话框等来选择是改变摄像单元的方向直到通过组合第三响应和第四响应获得了具有高精度的广角图像信号为止、还是在也允许具有低精度的广角图像信号的情况下改变摄像单元的方向。在这种情况下，重叠范围的允许大小根据用户的选择而改变。
以下将说明在显示单元590上显示非广角图像的状态下改变第一摄像单元510或第二摄像单元520的摄像方向的情况。
假定如下：用户进行驱动，使得在显示单元590上显示非广角图像的状态下，重叠范围535的大小等于或大于第一阈值。
此时，期望摄像装置500返回以下的响应其中之一。
如图18A、18B、18C和18D所示，第一响应是按照用户的指示改变摄像单元的方向的响应。通过进行该响应，可以按照用户的意图改变摄像单元的方向。图18A和18B示出用户界面，并且图18C和18D示出此时的摄像单元510和520的摄像方向以及摄像范围515和525。
然而，在提供该响应的情况下，在摄像单元的方向改变之前和之后，显示单元上所显示的图像的类型改变。也就是说，在摄像单元的方向改变之前，显示非广角图像信号。另一方面，在摄像单元的方向改变之后，显示广角图像信号534。由于该原因，用户有可能感到不适。
因而，作为第二响应，如图19A、19B、19C和19D所示，在摄像单元的方向改变之前，存在如下的响应：使用对话框等来询问是否从非广角图像显示模式转变为广角图像显示模式。图19A和19B示出用户界面，并且图19C和19D示出此时的摄像单元510和520的摄像方向以及摄像范围515和525。
作为询问用户的结果，在存在来自用户的与显示可以转变为广角图像显示有关的响应的情况下，摄像单元的方向改变，并且显示单元590上所显示的图像从非广角图像显示模式改变为广角图像显示模式。
另一方面，在存在来自用户的与模式无需从非广角图像显示模式转变为广角图像显示模式有关的响应的情况下，摄像单元的方向不改变并且保持显示非广角图像。
在使用第二响应的情况下，可以消除在模式从非广角图像显示模式改变为广角图像显示模式时的不适感。
在存在来自用户的与模式无需从非广角图像显示模式转变为广角图像显示模式有关的响应(禁止指示)的情况下，在摄像单元的方向改变的同时，可以保持显示非广角图像。
这是因为，在重叠范围等于或大于第一阈值的情况下，期望在重视重叠范围的可视性的情况下显示广角图像，但也可以显示非广角图像。
随后，假定如下：在非广角图像显示在显示单元590上的情况下，用户进行驱动，使得重叠范围535的大小小于第一阈值且等于或大于第二阈值。第二阈值小于第一阈值，但例如优选为第一阈值的一半以上。
此时，期望摄像装置500返回以下的响应其中之一。
如图18A、18B、18C和18D所示，第一响应是按照用户的指示改变摄像单元的方向的响应。通过进行该响应，可以按照用户的意图改变摄像单元的方向。在这种情况下，由于重叠范围保持小于第一阈值，因此在摄像单元的方向改变之前和之后，显示单元上所显示的图像的类型改变，这不存在问题。
然而，如上所述，在重视重叠范围的可视性的情况下，期望显示广角图像。因而，期望向用户提供用于显示广角图像信号的选项。也就是说，如图20A、20B、20C和20D所示，第二响应是如下的响应：在按照用户的指示改变摄像单元的方向的同时，向用户提供表示以下事实的显示：“如果使摄像单元的方向更靠近一点，则可以显示广角图像。你想使摄像单元更靠近吗？”。
图20A和20B示出用户界面，并且图20C和20D示出此时的摄像单元510和520的摄像方向以及摄像范围515和525。
在用户回应他或她想要广角图像的情况下，在进一步改变摄像单元的方向直到重叠范围等于或大于第一阈值的同时，保持显示广角图像。另一方面，在用户返回表示可以原样保持非广角图像的响应的情况下，在原样保持摄像单元的方向的同时显示非广角图像。
此时，根据用户是改变了摄像单元的方向以增大重叠范围、还是改变了该方向以减小重叠范围，来改变第一响应或第二响应。
在用户改变摄像单元的方向使得重叠范围增大的情况下，预期用户想要利用第一摄像单元和第二摄像单元来对近的摄像范围进行摄像。因而，提出了可以通过提供第二响应来显示广角图像的选项。
另一方面，在用户改变摄像单元的方向使得重叠范围减小的情况下，预期用户想要利用第一摄像单元和第二摄像单元来对不同的摄像范围进行摄像。因而，提供第一响应。
在下文，图21是用于说明上述实例的操作示例的流程图。
在图21中，在步骤S1中，进行与第一摄像单元和第二摄像单元的摄像范围之间的重叠范围是否小于第一阈值V1有关的判断。另外，在判断结果为“否”的情况下，在步骤S2中，生成并显示广角图像。
之后，在步骤S3中，进行与是否进行用以改变第一摄像单元和第二摄像单元至少之一的方向的操作有关的判断。在判断结果为“否”的情况下，处理返回到步骤S3的处理。在判断结果为“是”的情况下，在步骤S4中，进行与重叠范围是否小于第一阈值V1有关的判断。另外，在判断结果为“否”的情况下，处理进入步骤S5的处理，并且在不改变广角图像的情况下改变摄像方向。
在步骤S4中的判断结果为“是”的情况下，处理进入步骤S6的处理，并且改变第一摄像单元和第二摄像单元至少之一的方向，使得在后续的广角图像中重叠范围原样保持于阈值V1。此外，在步骤S7中，显示对话框“即使图像质量改变、你也释放方向吗？”，并且作为结果，判断是否接收到释放指示。此外，在步骤S7中判断结果为“否”的情况下，处理返回到步骤S7的处理。
在判断结果为“是”的情况下，处理进入步骤S8的处理，并且判断为重叠范围小于第三阈值V3。这里，V3是使得难以生成广角图像的阈值，例如接近零。在步骤S8中的判断结果为“否”的情况下，处理进入步骤S9的处理，并且在显示广角图像的同时改变第一摄像单元和第二摄像单元至少之一的方向。在步骤S8中的判断结果为“是”的情况下，处理进入步骤S10的处理，显示非广角图像，并且改变第一摄像单元和第二摄像单元至少之一的方向。
另一方面，在步骤S1中的判断结果为“是”的情况下，处理进入步骤S11的处理，并且生成并显示非广角图像。此外，在步骤S12中，进行与是否进行用以改变第一摄像单元和第二摄像单元至少之一的方向的操作有关的判断。在判断结果为“否”的情况下，处理返回到步骤S12的处理。在判断结果为“是”的情况下，在步骤S13中，进行与重叠范围是否小于第一阈值V1有关的判断。另外，在判断结果为“否”的情况下，处理进入步骤S14的处理，并且使用对话框来进行与是否转变到广角图像有关的询问。
在步骤S14中的判断结果为“否”的情况下，处理返回到步骤S11的处理。在步骤S14中的判断结果为“是”的情况下，处理进入步骤S15的处理，改变第一摄像单元和第二摄像单元至少之一的方向，并且进行向广角图像显示的转变。
在步骤S13中的判断结果为“是”的情况下，处理进入步骤S16的处理，并且在不改变非广角图像的情况下改变第一摄像单元和第二摄像单元至少之一的方向。
此外，在步骤S17中，进行与重叠范围是否小于第二阈值V2有关的判断。另外，在判断结果为“是”的情况下，处理进入步骤S16的处理。在步骤S17中的判断结果为“否”的情况下，处理进入步骤S18的处理，并且显示对话框“你想要使摄像单元的方向更靠近以设置为广角图像吗？”，并且作为结果，在提供“否”的指示的情况下，处理返回到步骤S16的处理。在步骤S18中提供“是”的指示的情况下，在步骤S19中，改变第一摄像单元和第二摄像单元至少之一的方向，使得使摄像单元靠近并且显示被切换到广角图像显示。
如上所述，根据实例，由于根据从第一摄像单元获得的图像和从第二摄像单元获得的图像的重叠范围(量)来适当地切换广角图像显示模式和非广角图像显示模式，因此获得了用户友好型显示。当然，该实例也可应用于设置三个或更多个摄像单元的情况。
在这种情况下，在非广角图像显示模式中，多个摄像单元的图像在不进行合成的情况下并排布置，使得可以显示对于用户来说舒适的图像。
(第六实施例)
基于前述实施例其中之一，根据第一摄像单元110的摄像范围115和第二摄像单元120的摄像范围125之间的重叠范围125的大小，来判断是显示广角图像信号还是并排显示独立的图像。
在第六实施例中，控制单元130检测第一摄像单元110和第二摄像单元120在摄像装置100的周面上的角位置或方向，使得基于这些角位置或方向之间的关系来判断是显示广角图像信号还是并排显示独立的图像。这里，为了简化，假定第一摄像单元110和第二摄像单元120具有相同的摄像范围或角度。
具体地，例如，控制单元130基于从用于改变第一摄像单元和第二摄像单元的方向的步进马达的预定初始位置起的步数来检测第一摄像单元和第二摄像单元的角位置。只要可以检测到角位置，就可以使用任何其它的检测方法。
然后，控制单元130计算第一摄像单元和第二摄像单元的角位置之间的差，并且如果角位置的差小于预定值，则显示广角图像信号。如果角位置的差不小于预定值，则并排显示独立的图像。
关于这一点，通过使用步进马达的步数来检测各个摄像单元的角位置或方向，但是可以布置编码器以检测各个摄像单元的角位置或方向。
如上所述，已经基于优选实施例详细说明了本发明。然而，本发明不限于上述实施例，并且基于本发明的主旨可以进行各种修改。这一点未被排除在本发明的范围之外。
此外，可以使用被配置为实现上述实施例的功能的计算机程序通过网络或各种存储介质来将本实施例中的控制的一部分或全部供给至摄像装置。此外，摄像装置中的计算机(或者中央处理单元(CPU)或微处理器单元(MPU)等)可以读取并执行程序。在这种情况下，程序和被配置为存储该程序的存储介质构成本发明。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。
本申请要求2019年5月14日提交的日本专利申请2019-91101的权益，其全部内容通过引用而被包含于此。

Claims (15)

1.一种摄像装置，包括：
第一摄像单元和第二摄像单元，其各自能够沿预定方向移动；
合成处理单元，其被配置为将所述第一摄像单元所获得的第一图像和所述第二摄像单元所获得的第二图像进行合成，以生成广角图像；以及
判断单元，其被配置为基于所述第一摄像单元的摄像范围和所述第二摄像单元的摄像范围之间的关系、或者所述第一摄像单元和所述第二摄像单元之间在所述预定方向上的位置关系，来判断是否通过所述合成处理单元生成所述广角图像。
2.根据权利要求1所述的摄像装置，还包括控制单元，所述控制单元被配置为进行控制，使得：在所述判断单元判断为所述第一摄像单元的摄像范围和所述第二摄像单元的摄像范围之间的重叠范围等于或大于第一阈值的情况下，在所述合成处理单元中生成所述广角图像，以及在所述判断单元判断为所述重叠范围小于所述第一阈值的情况下，在所述合成处理单元中不生成所述广角图像。
3.根据权利要求1所述的摄像装置，还包括驱动单元，所述驱动单元被配置为控制所述第一摄像单元和所述第二摄像单元至少之一，其中所述驱动单元包括变焦单元，所述变焦单元被配置为改变所述第一摄像单元和所述第二摄像单元至少之一的摄像范围。
4.根据权利要求1所述的摄像装置，还包括驱动单元，所述驱动单元被配置为控制所述第一摄像单元和所述第二摄像单元至少之一，其中所述驱动单元包括转动单元，所述转动单元被配置为使所述第一摄像单元和所述第二摄像单元中的相应一个摄像单元绕所述第一摄像单元和所述第二摄像单元的至少一个光轴转动。
5.根据权利要求2所述的摄像装置，其中，所述第一阈值是使用所述重叠范围中所包括的像素数来确定的。
6.根据权利要求2所述的摄像装置，其中，所述第一阈值使得重叠范围相对于所述第一摄像单元的摄像范围和所述第二摄像单元的摄像范围中的相对较窄的摄像范围为20％或更大。
7.根据权利要求2所述的摄像装置，其中，所述摄像装置具有第三摄像单元，并且在摄像单元中的两个相邻摄像单元的摄像范围之间的重叠范围等于或大于第一阈值的情况下，通过将所述摄像单元所获得的图像进行合成来生成广角图像，以及在两个相邻摄像单元的摄像范围之间的重叠范围小于所述第一阈值的情况下，不对所述摄像单元所获得的图像进行合成。
8.根据权利要求1所述的摄像装置，其中，所述预定方向是圆周方向，其中所述判断单元检测所述第一摄像单元在所述预定方向上的位置和所述第二摄像单元在所述预定方向上的位置。
9.根据权利要求8所述的摄像装置，其中，所述判断单元判断所述第一摄像单元的光轴和所述第二摄像单元的光轴之间在所述预定方向上的角度。
10.根据权利要求9所述的摄像装置，其中，还包括控制单元，所述控制单元被配置为进行控制，使得在所述第一摄像单元的光轴和所述第二摄像单元的光轴之间的角度小于预定角度的情况下，在所述合成处理单元中生成所述广角图像。
11.一种控制设备，用于控制摄像装置，所述摄像装置包括：
第一摄像单元和第二摄像单元，其各自能够沿预定方向移动；
合成处理单元，其被配置为将所述第一摄像单元所获得的第一图像和所述第二摄像单元所获得的第二图像进行合成，以生成广角图像；以及
判断单元，其被配置为基于所述第一摄像单元的摄像范围和所述第二摄像单元的摄像范围之间的关系、或者所述第一摄像单元和所述第二摄像单元之间在所述预定方向上的位置关系，来判断是否通过所述合成处理单元生成所述广角图像，
其中，所述控制设备包括：
通信单元，其被配置为与所述摄像装置进行通信；以及
显示单元，其被配置为选择性地显示经由所述通信单元从所述摄像装置接收到的所述第一图像、所述第二图像和所述广角图像至少之一。
12.根据权利要求11所述的控制设备，其中，所述显示单元选择性地显示所述广角图像或非广角图像，在所述非广角图像中，所述第一图像和所述第二图像以未合成的状态显示。
13.根据权利要求12所述的控制设备，其中，所述显示单元在广角图像显示和非广角图像显示之间进行切换的情况下显示被配置为请求用户的指示的对话框。
14.一种摄像方法，包括：
使用各自能够沿预定方向移动的第一摄像单元和第二摄像单元来进行摄像；
通过将所述第一摄像单元所获得的第一图像和所述第二摄像单元所获得的第二图像进行合成，来生成广角图像；以及
基于所述第一摄像单元的摄像范围和所述第二摄像单元的摄像范围之间的关系、或者所述第一摄像单元和所述第二摄像单元之间在所述预定方向上的位置关系，来判断是否生成所述广角图像。
15.一种存储计算机程序的非暂时性计算机可读存储介质，所述计算机程序被配置为执行以下的摄像方法的以下步骤，所述摄像方法包括：
使用各自能够沿预定方向移动的第一摄像单元和第二摄像单元来进行摄像；
通过将所述第一摄像单元所获得的第一图像和所述第二摄像单元所获得的第二图像进行合成，来生成广角图像；以及
基于所述第一摄像单元的摄像范围和所述第二摄像单元的摄像范围之间的关系、或者所述第一摄像单元和所述第二摄像单元之间在所述预定方向上的位置关系，来判断是否生成所述广角图像。
CN202010400199.2A 2019-05-14 2020-05-13 摄像装置、控制设备、摄像方法和存储介质 Pending CN111953890A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-091101 2019-05-14
JP2019091101A JP2020188349A (ja) 2019-05-14 2019-05-14 撮像装置、撮像方法、コンピュータプログラム及び記憶媒体

Publications (1)

Publication Number Publication Date
CN111953890A true CN111953890A (zh) 2020-11-17

Family

ID=70613661

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010400199.2A Pending CN111953890A (zh) 2019-05-14 2020-05-13 摄像装置、控制设备、摄像方法和存储介质

Country Status (5)

Country Link
US (1) US11240446B2 (zh)
EP (1) EP3739867A1 (zh)
JP (1) JP2020188349A (zh)
KR (1) KR20200131744A (zh)
CN (1) CN111953890A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113784023A (zh) * 2021-08-09 2021-12-10 深圳市天视通视觉有限公司 一种位置确定方法、装置、摄像设备及存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11115604B2 (en) * 2018-01-02 2021-09-07 Insitu, Inc. Camera apparatus for generating machine vision data and related methods
JP7286412B2 (ja) 2019-05-22 2023-06-05 キヤノン株式会社 画像処理装置およびその制御方法、撮像装置、監視システム
JP2020202503A (ja) 2019-06-11 2020-12-17 キヤノン株式会社 撮像装置、コンピュータプログラムおよび記憶媒体
JP2021019228A (ja) 2019-07-17 2021-02-15 キヤノン株式会社 撮像装置、コンピュータプログラムおよび記録媒体
KR20230071408A (ko) * 2021-11-16 2023-05-23 삼성전자주식회사 프리뷰 이미지를 제공하는 방법 및 그 전자 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100097444A1 (en) * 2008-10-16 2010-04-22 Peter Lablans Camera System for Creating an Image From a Plurality of Images
CN105635579A (zh) * 2015-12-31 2016-06-01 宇龙计算机通信科技(深圳)有限公司 一种图像显示方法以及装置
CN106572313A (zh) * 2016-10-31 2017-04-19 腾讯科技（深圳）有限公司 视频拍摄盒及视频拍摄方法和装置
CN107040719A (zh) * 2017-03-21 2017-08-11 宇龙计算机通信科技(深圳)有限公司 基于双屏终端的拍摄控制方法及拍摄控制装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004118786A (ja) 2002-09-30 2004-04-15 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP4979525B2 (ja) * 2007-09-20 2012-07-18 株式会社日立製作所 マルチカメラシステム
US10585344B1 (en) * 2008-05-19 2020-03-10 Spatial Cam Llc Camera system with a plurality of image sensors
US8947502B2 (en) * 2011-04-06 2015-02-03 Qualcomm Technologies, Inc. In camera implementation of selecting and stitching frames for panoramic imagery
JP2012159616A (ja) * 2011-01-31 2012-08-23 Sanyo Electric Co Ltd 撮像装置
US8754961B2 (en) * 2011-08-17 2014-06-17 Nokia Corporation Apparatus and method for generating image data from overlapping regions of images
US9602720B2 (en) * 2012-12-10 2017-03-21 Samsung Electronics Co., Ltd. Photographing apparatus
US20160077422A1 (en) 2014-09-12 2016-03-17 Adobe Systems Incorporated Collaborative synchronized multi-device photography
US20160295108A1 (en) * 2015-04-01 2016-10-06 Cheng Cao System and method for panoramic imaging
EP3352448B1 (en) * 2015-09-18 2023-03-01 Sony Group Corporation Image processing device, image processing method, program and imaging system
US10051180B1 (en) * 2016-03-04 2018-08-14 Scott Zhihao Chen Method and system for removing an obstructing object in a panoramic image
JP6816853B2 (ja) 2017-11-10 2021-01-20 株式会社 ゆうちょ銀行 現金自動取引装置、情報処理方法及び情報処理プログラム
TWI672670B (zh) * 2018-03-12 2019-09-21 Acer Incorporated 影像縫合方法及應用其的電子裝置
CN108900764A (zh) 2018-06-06 2018-11-27 三星电子（中国）研发中心 拍摄方法和电子装置以及拍摄控制方法和服务器
JP7182935B2 (ja) 2018-07-30 2022-12-05 キヤノン株式会社 撮像装置、制御方法およびプログラム
JP7210199B2 (ja) 2018-09-20 2023-01-23 キヤノン株式会社 撮像装置、制御方法、コンピュータプログラム、及び記憶媒体
JP7271132B2 (ja) 2018-10-26 2023-05-11 キヤノン株式会社 撮像装置および監視システム
JP7250483B2 (ja) 2018-11-12 2023-04-03 キヤノン株式会社 撮像装置、コンピュータプログラム、及び記憶媒体
JP7316809B2 (ja) 2019-03-11 2023-07-28 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、システム、及び、プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100097444A1 (en) * 2008-10-16 2010-04-22 Peter Lablans Camera System for Creating an Image From a Plurality of Images
CN105635579A (zh) * 2015-12-31 2016-06-01 宇龙计算机通信科技(深圳)有限公司 一种图像显示方法以及装置
CN106572313A (zh) * 2016-10-31 2017-04-19 腾讯科技（深圳）有限公司 视频拍摄盒及视频拍摄方法和装置
CN107040719A (zh) * 2017-03-21 2017-08-11 宇龙计算机通信科技(深圳)有限公司 基于双屏终端的拍摄控制方法及拍摄控制装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113784023A (zh) * 2021-08-09 2021-12-10 深圳市天视通视觉有限公司 一种位置确定方法、装置、摄像设备及存储介质

Also Published As

Publication number Publication date
US20200366854A1 (en) 2020-11-19
KR20200131744A (ko) 2020-11-24
US11240446B2 (en) 2022-02-01
EP3739867A1 (en) 2020-11-18
JP2020188349A (ja) 2020-11-19

Similar Documents

Publication Publication Date Title
CN111953890A (zh) 摄像装置、控制设备、摄像方法和存储介质
JP6819768B2 (ja) 表示装置および撮像装置
US7551200B2 (en) Camera controller and zoom ratio control method for the camera controller
JPWO2005124735A1 (ja) 画像表示システム、画像表示方法および画像表示プログラム
JP6907079B2 (ja) 撮像装置、撮像装置の制御方法及びプログラム
JP2006191411A (ja) カメラ制御装置、画像表示装置、カメラ制御方法、画像表示方法及びプログラム
JP2011048283A (ja) 撮影画像合成装置
EP0637168B1 (en) Control device and control method for image input apparatus
CN107005649B (zh) 图像处理装置以及图像处理方法
JP2000341574A (ja) カメラ装置及びカメラ制御システム
JP7386307B2 (ja) ビデオストリームを送信するための方法およびシステム
US11184547B2 (en) Imaging device, method for controlling imaging device, and recording medium
KR101452372B1 (ko) 카메라 제어 방법 및 그 시스템
KR102009988B1 (ko) 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템의 영상 보정 방법 및 그가 적용된 tvi 장치
US11516390B2 (en) Imaging apparatus and non-transitory storage medium
WO2023079941A1 (ja) 情報処理装置および情報処理方法
US20240236475A9 (en) Imaging apparatus
US20240137642A1 (en) Imaging apparatus
JP7431609B2 (ja) 制御装置及びその制御方法及びプログラム
JP2018146847A (ja) 雲台撮像システム
CN117641127A (zh) 控制设备、摄像设备、***、控制方法和存储介质
JP2023117955A (ja) 情報処理装置、撮像装置、撮像システム、方法、及びプログラム
JPH1153160A (ja) 情報表示方法
JP2023139447A (ja) 撮像装置、撮像システム、撮像方法、及びコンピュータプログラム
JP2024033919A (ja) 撮像制御装置、撮像装置、映像配信システムおよび撮像制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201117