CN111246080B - 控制设备、控制方法、摄像设备以及存储介质 - Google Patents

控制设备、控制方法、摄像设备以及存储介质 Download PDF

Info

Publication number
CN111246080B
CN111246080B CN201911191701.7A CN201911191701A CN111246080B CN 111246080 B CN111246080 B CN 111246080B CN 201911191701 A CN201911191701 A CN 201911191701A CN 111246080 B CN111246080 B CN 111246080B
Authority
CN
China
Prior art keywords
image
angle
image sensor
optical axis
specific area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911191701.7A
Other languages
English (en)
Other versions
CN111246080A (zh
Inventor
小林庆训
高见悦也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN111246080A publication Critical patent/CN111246080A/zh
Application granted granted Critical
Publication of CN111246080B publication Critical patent/CN111246080B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19686—Interfaces masking personal details for privacy, e.g. blurring faces, vehicle license plates
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19689—Remote control of cameras, e.g. remote orientation or image zooming control for a PTZ camera
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/08—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using communication transmission lines
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及控制设备、控制方法、摄像设备以及存储介质。该控制设备包括：角度控制单元，其被配置为改变图像传感器的摄像面和与摄像透镜的光轴垂直的面之间的角度；获取单元，其被配置为获取图像的特定区域的位置信息；以及管理单元，其被配置为基于所述角度来改变所述位置信息。

Description

控制设备、控制方法、摄像设备以及存储介质
技术领域
本发明涉及可以调整焦平面的控制设备、具有该控制设备的摄像设备以及程序(或存储介质)。
背景技术
根据镜头性能和诸如视角和F值等的摄像条件，网络照相机可能不能在诸如长屋、走廊和停车场等的场景中获得深景深。例如，在从安装在深景中的天花板上的网络照相机对道路、行人和汽车进行摄像时，可能存在处于聚焦的一部分摄像区域。传统上，已知通过使摄像面相对于与光轴垂直的摄像光轴面倾斜来调整焦平面并且在上述场景中从前向后调焦的方法。日本特开平5-53166公开了图像传感器向与光轴垂直的摄像光轴面倾斜的照相机。
一些网络照相机具有用于从隐私保护的观点而隐藏指定区域的隐私遮蔽(privacy mask)功能、用于通过分析图像来检测移动体和取走的检测功能、或者用于针对各个图像区域使压缩率不同的区域数据缩减功能。当将日本特开平5-53166中公开的技术应用于具有这种功能的网络照相机时，由于摄像面上方和下方的焦距差或光学滤波器的影响，通过使摄像面倾斜来拍摄图像。图像被失真成梯形形状或者图像位置移动。结果，在使摄像面倾斜前后，在拍摄图像中的坐标和拍摄图像之间存在偏移。
发明内容
本发明提供一种控制设备、摄像设备、存储介质(程序)，其各自即使在摄像面的角度改变的情况下，也可以在不需要通过用户重新设置对象位置的情况下有效地利用隐私遮蔽功能、检测功能或区域数据缩减功能。
根据本发明的一个方面的控制设备包括：角度控制单元，其被配置为改变图像传感器的摄像面和与摄像透镜的光轴垂直的面之间的角度；获取单元，其被配置为获取图像的特定区域的位置信息；以及管理单元，其被配置为基于角度改变位置信息。包括上述控制设备的摄像设备构成本发明的另一方面。存储有被配置为使计算机执行与上述控制设备相对应的控制方法的程序的非暂时性计算机可读存储介质也构成本发明的另一方面。
根据本发明的另一方面的摄像设备包括控制设备，所述控制设备包括：角度控制单元，其被配置为改变图像传感器的摄像面和与摄像透镜的光轴垂直的面之间的角度；获取单元，其被配置为获取图像的特定区域的位置信息；以及管理单元，其被配置为基于所述角度来改变所述位置信息。
根据本发明的另一方面的控制方法包括：改变由摄像透镜形成的角度或图像传感器的摄像面和与所述摄像透镜的光轴垂直的面之间的角度；获取图像的特定区域的位置信息；以及基于所述角度来改变所述位置信息。
根据本发明的另一方面，提供一种存储有程序的非暂时性计算机可读存储介质，所述程序用于使计算机执行控制方法，其中，所述控制方法包括：改变由摄像透镜形成的角度或图像传感器的摄像面和与所述摄像透镜的光轴垂直的面之间的角度；获取图像的特定区域的位置信息；以及基于所述角度来改变所述位置信息。
通过下面参考附图对典型实施例的描述，本发明的其它特征将变得明显。
附图说明
图1示出根据本发明的一个实施例的摄像设备的结构。
图2A至2F示意性地示出图像传感器的倾斜和焦平面。
图3A至3C示意性地示出由于图像传感器的倾斜而导致的梯形失真。
图4示意性地示出由于图像传感器的倾斜而导致的图像移动。
图5是示出根据示例1的坐标校正处理的流程图。
图6是示出根据示例1的坐标再计算处理的流程图。
图7A和7B示出应用示例1的坐标校正处理之后的图像。
具体实施方式
现在参考附图，将给出根据本发明的实施例的详细描述。各个图中的相应元件将由相同附图标记指定，并且将省略对这些元件的重复描述。
本发明可应用于用于控制具有拍摄运动图像的功能的装置的设备和部件。具有拍摄运动图像的功能的装置例如包括诸如网络照相机、摄像机和静态照相机等的摄像设备、具有摄像功能的移动电话以及便携式信息终端。本实施例将讨论应用本发明的诸如网络照相机等的摄像设备。
整体结构
图1示出根据本发明的一个实施例的摄像设备100的结构。CPU 101包括变焦控制单元101-1、调焦控制单元101-2、倾斜控制单元101-3、图像评价区域确定单元101-4、云台控制单元101-5、控制单元101-6和坐标信息管理单元101-7，并且管理摄像设备100的整体控制。在本实施例中，摄像设备100由其中所设置的CPU 101控制，但是本发明不限于本实施例。摄像设备100可以由与摄像设备100分离的具有CPU 101的功能的控制设备从外部控制。
摄像单元102包括摄像光学***和图像传感器102-4。摄像光学***包括变焦透镜102-1、调焦透镜102-2和光圈(孔径光阑)102-3。图像传感器102-4包括图像传感器等，并且通过对经由摄像光学***形成的光学图像进行光电转换来生成图像。
变焦控制单元101-1经由驱动器108使变焦透镜102-1沿光轴移动。调焦控制单元101-2经由驱动器108使调焦透镜102-2沿光轴移动。控制单元101-6经由驱动器108操作光圈102-3。倾斜控制单元(角度控制单元)101-3经由驱动器108控制图像传感器102-4的倾斜角度，以使摄像面相对于与光轴垂直的摄像光轴面倾斜。
云台控制单元101-5经由致动器111控制云台110的移动，并且使摄像单元102在水平方向和垂直方向上转动。由此，可以在改变摄像方向的同时拍摄图像。云台110包括平摇驱动器和倾斜驱动器。平摇驱动器可以在横向方向上从-175°转动到+175°，并且使摄像单元102在水平方向上转动。倾斜驱动器可以从0°或水平方向转动到90°或竖直方向，并且使摄像单元102在垂直方向上转动。
图像传感器102-4对通过摄像光学***的光进行光电转换并生成模拟图像信号。所生成的模拟图像信号通过诸如相关双采样等的采样处理而进行放大处理，然后被输入到A/D转换器103。通过CPU 101控制用于放大处理的参数。A/D转换器103将放大的模拟图像信号转换成数字图像信号，并将数字图像信号输出到图像输入控制器104。图像输入控制器104接收数字图像信号并将数字图像信号输出到图像处理单元105。
图像处理单元105基于在从图像传感器102-4输出的摄像期间的灵敏度信息(诸如AGC增益和ISO速度等)对数字图像信号进行各种数字图像处理，然后通过总线106，并存储在RAM 107中。各种数字图像处理包括例如偏移处理、伽马校正处理、增益处理、RGB插值处理、降噪处理、轮廓校正处理、色调校正处理和光源类型判断处理。
图像处理单元105进行用于在图像上叠加字符信息的OSD处理、以及用于通过遮蔽图像叠加和马赛克/模糊处理来隐藏遮蔽区域(隐私遮蔽区域)的遮蔽处理。通过来自输入单元114或网络116的用户操作来设置遮蔽区域的坐标信息(位置信息)，并将坐标信息存储在坐标信息管理单元(或获取单元)101-7中。坐标信息管理单元101-7基于所存储的坐标信息和从倾斜控制单元101-3获取到的图像传感器102-4的倾斜角度来更新遮蔽区域的坐标信息，并将坐标信息通知给图像处理单元105。
RAM 107包括诸如SRAM和DRAM等的易失性存储器。ROM 109包括诸如EEPROM和闪速存储器等的非易失性存储器。存储装置112包括诸如HDD、SSD或eMMC等的存储装置。用于实现根据本实施例的功能的程序和当执行该程序时使用的数据被存储在ROM 109或存储装置112中。程序和数据在CPU 101的控制下经由总线106被适当地安装在RAM 107中，并由CPU101使用。
I/F 113包括与输入和输出有关的各种I/F。I/F 113连接到诸如包括释放开关和电源开关的操作键、十字键、操纵杆、触摸面板、键盘和指示装置(诸如鼠标等)等的输入单元114，并向CPU 101通知指示信息。I/F 113连接到诸如LCD显示器等的显示单元115，并且显示临时记录在RAM 107中的图像和操作菜单信息。I/F 113经由LAN连接到网络116。
图像评价单元117根据来自图像评价区域确定单元101-4的控制指示，计算图像的指定区域的评价值。更具体地，图像评价单元117从RAM 107获取图像，并且基于指定区域的亮度值来计算与特定频率的对比度相关的评价值。
图像分析单元118进行诸如面部检测、人检测、移动体检测、通过检测、拥塞检测、轨迹检测和离开/取走检测等的图像分析。将图像分析结果通知给CPU 101。作为图像分析的对象的图像分析区域的坐标信息(位置信息)通过输入单元114或网络116的用户操作来设置，并被存储在坐标信息管理单元101-7中。坐标信息管理单元101-7基于所存储的坐标信息和从倾斜控制单元101-3获取到的图像传感器102-4的倾斜角度来更新图像分析区域的坐标信息，并将坐标信息通知给图像分析单元118。在本实施例中，图像分析区域不仅包括具有预定面积的区域，而且包括由一条或多条线构成的图像分析线。
压缩/解压缩单元(CODEC)119根据来自CPU 101的控制指示对图像进行压缩处理，并生成压缩数据。压缩数据经由I/F 113输出到显示单元115和网络116。另外，CODEC 119对存储装置112中存储的压缩数据进行预定格式的解压缩处理，并生成解压缩数据。更具体地，对静止图像进行符合JPEG标准的压缩处理，并且对运动图像进行符合诸如MOTION-JPEG、MPEG2、AVC/H.264和AVC/H.265等的标准的压缩/解压缩处理。CODEC 119可以指定对指定区域(压缩率指定区域)的压缩率。坐标信息管理单元101-7保持通过来自输入单元114或网络116的用户操作而设置的压缩率指定区域的坐标信息(位置信息)和压缩率。坐标信息管理单元101-7基于所保持的坐标和从倾斜控制单元101-3获取到的图像传感器102-4的倾斜角度将压缩率指定区域的坐标信息连同压缩率一起进行更新，并将该坐标信息和压缩率通知给CODEC 119。
现在将给出当在设置遮蔽区域、图像分析线和压缩率指定区域之后使图像传感器102-4倾斜并且拍摄图像时的图像的描述。图2A至2F示意性地示出图像传感器的倾斜和焦平面。图2A、2C和2E示出图像传感器102-4的状态。图2B示出在如图2A所示未使图像传感器102-4倾斜的情况下拍摄的图像。图2D示出通过如图2C所示使图像传感器102-4在倾斜方向上倾斜而拍摄的图像。图2F示出通过如图2E所示使图像传感器102-4在平摇方向上倾斜而拍摄的图像。
如图2B所示，由图像处理单元105设置遮蔽区域202以隐藏被摄体201。设置图像分析线203和压缩率指定区域204。在本实施例中，将图像分析线203设置为图像分析的对象，但是可以通过多个顶点来设置图像分析区域。
当图像传感器102-4倾斜时，如图2D和2F所示，图像中的被摄体201的位置从图像传感器102-4倾斜之前的位置改变。然而，由于维持了遮蔽区域202的位置，因此被摄体201未被隐藏。图像分析线203和压缩率指定区域204之间相对于图像的位置关系也从图像传感器102-4倾斜之前的位置关系改变。
现在将给出当图像传感器102-4倾斜时发生的上述改变的原因的描述。图3A至3C示意性地示出由图像传感器102-4的倾斜导致的梯形失真。图3A示出倾斜角度α的摄像面。图3B和3C分别示出yz平面和xz平面上的摄像面。在图像传感器102-4倾斜之前的摄像面上的任意位置P被投影到在图像传感器102-4倾斜了角度α之后的摄像面上的投影位置P’上。在L是在图像传感器102-4倾斜角度α之前从透镜到图像传感器102-4的(轴上)距离的情况下，投影位置P’的x坐标x’和y坐标y’可以通过使用位置P的x坐标x和y坐标y、投影变换以及以下表达式(1)和(2)来表示。
Figure BDA0002293721770000071
Figure BDA0002293721770000072
如表达式(1)和(2)所表示的，使图像传感器102-4倾斜导致图像中的梯形失真。
图4示意性地示出由图像传感器102-4的倾斜导致的图像移动。将光学滤波器401安装到图像传感器102-4以减少由于红外线引起的图像劣化和摩尔纹。当使图像传感器102-4和光学滤波器401倾斜时，在图像传感器102-4倾斜之前的摄像面上的任意位置P的投影位置P’由于光学滤波器401的折射影响而改变到投影位置P”。在d是光学滤波器401的厚度、n是折射率、并且g是图像传感器102-4和光学滤波器401之间的(最小)距离的情况下，投影位置的改变量y’shift由以下表达式(3)表示。
Figure BDA0002293721770000073
因此，当使图像传感器102-4在倾斜方向上倾斜时，在图像传感器102-4倾斜之前的摄像面上的任意位置P被投影到投影位置P”上。投影位置P”的x坐标x”和y坐标y”分别使用位置P的x坐标x和y坐标y通过以下表达式(4)和(5)来表示。
Figure BDA0002293721770000074
Figure BDA0002293721770000075
本实施例通过使图像传感器102-4倾斜来控制焦平面，但是本发明不限于本实施例。可以通过经由驱动器108和倾斜控制单元101-3使摄像光学***中所设置的未示出的倾斜透镜倾斜来控制焦平面。
示例1
现在参考图5，将描述当使图像传感器102-4在倾斜方向上倾斜时对图像中的特定区域(遮蔽区域、图像分析区域和压缩率指定区域中的至少一个)执行的根据本示例的坐标校正处理。坐标校正处理是ROM 109中存储的程序中的处理的一部分。图5是示出本示例的坐标校正处理的流程图。根据本示例的坐标校正处理在摄像设备100的操作期间在RAM 107中展开，并且在图像传感器102-4拍摄图像的定时或者在倾斜控制单元101-3控制图像传感器102-4的倾斜的定时由CPU 101执行。
在步骤S501中，CPU 101从倾斜控制单元101-3获取图像传感器102-4的倾斜角度。
在步骤S502中，CPU 101判断图像传感器102-4的倾斜角度是否已经改变。更具体地，CPU 101判断在RAM 107中记录的上次坐标校正处理中获取到的图像传感器102-4的倾斜角度是否与在步骤S501中获取到的图像传感器102-4的倾斜角度不同。如果图像传感器102-4的倾斜角度已经改变，则流程进入步骤S503。如果图像传感器102-4的倾斜角度没有改变，则坐标校正处理结束。
在步骤S503中，坐标信息管理单元101-7针对所保持的全部特定区域进行坐标再计算处理。特定区域包括图像分析线。
现在参考图6，将给出坐标再计算处理的描述。图6是示出根据本示例的坐标再计算处理的流程图。
在步骤S601中，坐标信息管理单元101-7针对构成所存储的全部特定区域的各个顶点，计算移动目的地的坐标(在下文中称为“目的地坐标”)。在本示例中，坐标信息管理单元101-7基于光学滤波器401的折射影响来计算目的地坐标。换句话说，在(x，y)是移动前坐标、α是图像传感器102-4的倾斜角度、d是光学滤波器401的厚度、并且g是图像传感器102-4和光学滤波器401之间的(最小)距离的情况下，移动目的地的坐标(x”，y”)由以下表达式(6)和(7)表示。
x″＝x (6)
Figure BDA0002293721770000091
本示例基于光学滤波器401的折射影响来计算目的地坐标，但是本发明不限于本示例。可以基于诸如由于摄像面和光轴之间的角度而引起的梯形失真、由于透镜像差而引起的图像失真、或者云台110的朝向等的影响光学空间轴的其它因素来计算目的地坐标。
在步骤S602中，坐标信息管理单元101-7判断移动前坐标(x，y)和目的地坐标(x”，y”)之间的距离是否等于或小于第一预定值。基于图像处理单元105中的输入/输出图像的像素大小、图像分析单元118中的分析图像的像素大小或CODEC 119中的压缩块大小，将第一预定值确定为不影响各个功能的最大大小。第一预定值也可以通过I/F 113从输入单元114或网络116来设置。如果计算出的距离等于或小于第一预定值，则流程进入步骤S605，以及如果计算出的距离大于第一预定值，则流程进入步骤S603。当计算出的距离等于第一预定值时，可以任意设置进入哪个步骤。
在步骤S603中，坐标信息管理单元101-7判断从目的地坐标(x”，y”)到光轴的距离是否等于或小于第二预定值。基于图像传感器102-4的倾斜角度、图像处理单元105中的输入/输出图像的像素大小、图像分析单元118中的分析图像的像素大小、或CODEC 119中的压缩块大小，将第二预定值确定为不影响各个功能的最大大小。第二预定值也可以通过I/F113从输入单元114或网络116来设置。当计算出的距离等于或小于第二预定值时，流程进入步骤S605，以及当计算出的距离大于第二预定值时，流程进入步骤S604。当计算出的距离等于第二预定值时，可以任意设置进入哪个步骤。
在步骤S604中，坐标信息管理单元101-7将目的地坐标设置为在步骤S602中计算出的结果或目的地坐标(x”，y”)。
在步骤S605中，坐标信息管理单元101-7将目的地坐标设置为移动前坐标(x，y)。
由坐标信息管理单元101-7针对构成所存储的全部特定区域的顶点执行坐标再计算处理。在针对全部顶点进行处理之后(在坐标再计算处理结束之后)，流程进入步骤S504。
在步骤S504中，坐标信息管理单元101-7判断全部所存储的遮蔽区域的位置、大小或形状的改变是否等于或大于第一阈值。可以基于图像处理单元105中的输入/输出图像的像素大小将第一阈值确定为图像传感器102-4的倾斜角度不影响遮蔽区域的最大大小。第一阈值也可以通过I/F 113从输入单元114或网络116来设置。如果遮蔽区域的位置、大小或形状的改变等于或大于第一阈值，则流程进入步骤S505。如果改变小于第一阈值，则流程进入步骤S506。当遮蔽区域的位置、大小或形状的改变等于第一阈值时，可以任意设置进入哪个步骤。
在步骤S505中，坐标信息管理单元101-7将遮蔽区域的坐标信息通知给图像处理单元105以重新设置遮蔽区域。
针对全部遮蔽区域执行步骤S504和S505的处理。在针对全部遮蔽区域执行上述处理之后，流程进入步骤S506。
在步骤S506中，坐标信息管理单元101-7判断全部所存储的图像分析区域的位置、大小或形状的改变是否等于或大于第二阈值。可以基于图像分析单元118中的分析图像的分辨率将第二阈值确定为图像传感器102-4的倾斜角度不影响图像分析区域的最大大小。第二阈值也可以通过I/F 113从输入单元114或网络116来设置。如果图像分析区域的位置、大小或形状的改变等于或大于第二阈值，则流程进入步骤S507。如果改变小于第二阈值，则流程进入步骤S508。当图像分析区域的位置、大小或形状的改变等于第二阈值时，可以任意设置进入哪个步骤。图像分析区域还包括图像分析线。
在步骤S507中，坐标信息管理单元101-7将图像分析区域的坐标信息通知至图像分析单元118以重新设置图像分析区域。
针对全部图像分析区域执行步骤S506和S507中的处理。在针对全部图像分析区域执行上述处理之后，流程进入步骤S508。
在步骤S508中，CPU 101判断在坐标信息管理单元101-7中存储的全部压缩率指定区域的位置、大小或形状的改变是否等于或大于第三阈值。可以基于CODEC 119中的压缩块大小将第三阈值确定为图像传感器102-4的倾斜角度不影响压缩率指定区域的最大大小。第三阈值也可以通过I/F 113从输入单元114或网络116来设置。如果压缩率指定区域的位置、大小或形状的改变等于或大于第三阈值，则流程进入步骤S509。如果改变小于第三阈值，则坐标校正处理结束。当压缩率指定区域的位置、大小或形状的改变等于第三阈值时，可以任意设置进入哪个步骤。
在步骤S509中，坐标信息管理单元101-7将压缩率指定区域的坐标信息通知给CODEC 119以重新设置压缩率指定区域。
针对全部压缩率指定区域执行步骤S508和S509的处理。在针对全部压缩率指定区域执行上述处理之后，坐标校正处理结束。
图7A和7B示出在针对通过使图像传感器102-4倾斜所拍摄的图像中的特定区域进行坐标校正处理之后的图像。图7A示出针对图2D中的图像进行坐标校正处理之后的图像。图7B示出针对图2F中的图像进行坐标校正处理之后的图像。如图7A和7B所示，遮蔽区域202隐藏被摄体201。图像分析线203和压缩率指定区域204相对于图像的位置关系也维持图像传感器102-4倾斜之前的位置关系。
如上所述，即使当通过使图像传感器102-4倾斜来改变图像失真或视角时，本实施例也使得图像的特定区域跟随用户设置期间所期望的位置。
虽然本实施例已经描述了当使图像传感器102-4在倾斜方向上倾斜时的坐标校正处理，但是根据本示例的坐标校正处理也可应用于图像传感器102-4在平摇方向上倾斜的情况。通过这样做，可以获得本发明的上述效果。
示例2
示例1在坐标再计算处理的步骤S601中基于光学滤波器401的折射影响来计算目的地坐标，而本示例基于取决于摄像面和光轴之间的角度的梯形失真的影响来计算目的地坐标。由于其它结构和方法与示例1的结构和方法相同，因此在本示例中将省略其详细描述。
在步骤S601中，坐标信息管理单元101-7基于由于摄像面和光轴之间的角度而引起的梯形失真的影响来计算目的地坐标。换句话说，在(x，y)是移动前坐标、α是图像传感器102-4的倾斜角度、并且L是图像传感器102-4和透镜之间的(最小)距离的情况下，移动目的地的坐标(x”，y”)由以下表达式(8)和(9)表示。
Figure BDA0002293721770000121
Figure BDA0002293721770000122
与示例1相同，即使当通过使图像传感器102-4倾斜来改变图像失真或视角时，本示例也可以使图像的特定区域跟随用户设置期间所期望的位置。
示例3
在坐标再计算处理的步骤S601中，本示例基于光学滤波器401的折射影响和由于摄像面与光轴之间的角度而引起的梯形失真的影响来计算目的地坐标。由于其它结构和方法与示例1中的结构和方法相同，因此在本示例中将省略其详细描述。
在步骤S601中，坐标信息管理单元101-7基于光学滤波器401的折射影响和由于摄像面与光轴之间的角度而引起的梯形失真的影响来计算目的地坐标。换句话说，在(x，y)是移动前坐标、α是图像传感器102-4的倾斜角度、d是光学滤波器401的厚度、g是图像传感器102-4和光学滤波器401之间的(最小)距离、并且L是图像传感器102-4和透镜之间的(轴上)距离的情况下，目的地坐标(x”，y”)由以下表达式(10)和(11)表示。
Figure BDA0002293721770000131
Figure BDA0002293721770000132
与示例1相同，即使通过使图像传感器102-4倾斜来改变图像失真或视角，本示例也可以使图像的特定区域跟随用户设置期间所期望的位置。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给***或装置，该***或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然已经参考典型实施例描述了本发明，但应理解，本发明不限于所公开的典型实施例。以下权利要求书的范围符合最宽的解释，以包含所有这类修改以及等同结构和功能。

Claims (8)

1.一种控制设备，包括：
角度控制单元，其被配置为使图像传感器相对于与摄像透镜的光轴垂直的面倾斜，从而改变所述图像传感器的摄像面和与所述摄像透镜的所述光轴垂直的所述面之间的角度；
获取单元，其被配置为获取图像的特定区域的位置信息，所述特定区域在所述角度改变之前由用户在所述图像上指定；
确定单元，其被配置为基于所述角度和所述位置信息，来确定在所述图像传感器倾斜之后所述图像中的所述特定区域的新位置；以及
改变单元，其被配置为基于由所述确定单元所确定的确定结果，来将所述图像中的所述特定区域的位置改变为所述图像中的所述特定区域的所述新位置。
2.根据权利要求1所述的控制设备，其特征在于，所述特定区域是要隐藏的区域、作为图像分析的对象的区域以及进行压缩/解压缩处理的区域其中至少之一。
3.根据权利要求1或2所述的控制设备，其特征在于，在从所指定的位置到所述摄像透镜的所述光轴的距离大于预定值的情况下，所述改变单元改变所述特定区域的所述新位置，以及在所述距离小于所述预定值的情况下，所述改变单元没有改变所述特定区域的所述新位置。
4.根据权利要求1所述的控制设备，其特征在于，所述确定单元在所述图像传感器倾斜之后确定所述图像中的所述特定区域的位置。
5.根据权利要求1所述的控制设备，其特征在于，还包括管理单元，所述管理单元被配置为存储所述位置信息。
6.一种摄像设备，其包括控制设备，其特征在于，所述控制设备包括：
角度控制单元，其被配置为使图像传感器相对于与摄像透镜的光轴垂直的面倾斜，从而改变所述图像传感器的摄像面和与所述摄像透镜的所述光轴垂直的所述面之间的角度；
获取单元，其被配置为获取图像的特定区域的位置信息，所述特定区域在所述角度改变之前由用户在所述图像上指定；
确定单元，其被配置为基于所述角度和所述位置信息，来确定在所述图像传感器倾斜之后所述图像中的所述特定区域的新位置；以及
改变单元，其被配置为基于由所述确定单元所确定的确定结果，来将所述图像中的所述特定区域的位置改变为所述图像中的所述特定区域的所述新位置。
7.一种控制方法，包括以下步骤：
使图像传感器相对于与摄像透镜的光轴垂直的面倾斜，从而改变所述图像传感器的摄像面和与所述摄像透镜的所述光轴垂直的所述面之间的角度；
获取图像的特定区域的位置信息，所述特定区域在所述角度改变之前由用户在所述图像上指定；
基于所述角度和所述位置信息，来确定在所述图像传感器倾斜之后所述图像中的所述特定区域的新位置；以及
基于由所述确定的步骤所确定的确定结果，来将所述图像中的所述特定区域的位置改变为所述图像中的所述特定区域的所述新位置。
8.一种存储有程序的非暂时性计算机可读存储介质，所述程序用于使计算机执行控制方法，其中，所述控制方法包括以下步骤：
使图像传感器相对于与摄像透镜的光轴垂直的面倾斜，从而改变所述图像传感器的摄像面和与所述摄像透镜的所述光轴垂直的所述面之间的角度；
获取图像的特定区域的位置信息，所述特定区域在所述角度改变之前由用户在所述图像上指定；
基于所述角度和所述位置信息，来确定在所述图像传感器倾斜之后所述图像中的所述特定区域的新位置；以及
基于由所述确定的步骤所确定的确定结果，来将所述图像中的所述特定区域的位置改变为所述图像中的所述特定区域的所述新位置。
CN201911191701.7A 2018-11-29 2019-11-28 控制设备、控制方法、摄像设备以及存储介质 Active CN111246080B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018223051A JP7204449B2 (ja) 2018-11-29 2018-11-29 制御装置、撮像装置、制御方法およびプログラム
JP2018-223051 2018-11-29

Publications (2)

Publication Number Publication Date
CN111246080A CN111246080A (zh) 2020-06-05
CN111246080B true CN111246080B (zh) 2022-02-18

Family

ID=68731776

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911191701.7A Active CN111246080B (zh) 2018-11-29 2019-11-28 控制设备、控制方法、摄像设备以及存储介质

Country Status (5)

Country Link
US (1) US11153493B2 (zh)
EP (1) EP3661186B1 (zh)
JP (1) JP7204449B2 (zh)
KR (1) KR102529479B1 (zh)
CN (1) CN111246080B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102510704B1 (ko) * 2018-10-30 2023-03-16 캐논 가부시끼가이샤 촬상 장치
EP3968624B1 (en) * 2020-09-14 2023-11-15 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and program
EP3985976B1 (en) 2020-10-16 2022-09-28 Axis AB Method of encoding an image including a privacy mask
US11722775B2 (en) * 2021-08-17 2023-08-08 Canon Kabushiki Kaisha Image pickup apparatus and controlling method thereof

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0783661A (ja) * 1993-09-10 1995-03-28 Nippondenso Co Ltd 光学式位置検出装置
CN103092001A (zh) * 2013-01-16 2013-05-08 中国科学院上海光学精密机械研究所 光束位置和角度的调节装置
CN107454309A (zh) * 2016-04-15 2017-12-08 佳能株式会社 摄像***、图像处理设备及其控制方法、程序和记录介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0553166A (ja) 1991-08-22 1993-03-05 Olympus Optical Co Ltd テイルト機構内蔵カメラ
JPH0553166U (ja) 1991-12-18 1993-07-13 沖電気工業株式会社 水密容器におけるコネクタ用回り止め構造
JP4297630B2 (ja) * 2001-04-25 2009-07-15 株式会社リコー 電子撮像装置
US8098282B2 (en) * 2007-07-13 2012-01-17 Honeywell International Inc. Privacy zone algorithm for ptz dome cameras
US9794518B2 (en) * 2010-10-21 2017-10-17 Sensormatic Electronics, LLC Method and system for converting privacy zone planar images to their corresponding pan/tilt coordinates
US8792018B2 (en) * 2011-01-05 2014-07-29 Olympus Imaging Corp. Image capturing apparatus, image capturing method, and computer-readable recording medium
JP2012186612A (ja) * 2011-03-04 2012-09-27 Olympus Corp 撮像装置
JP5021856B1 (ja) * 2011-10-04 2012-09-12 パナソニック株式会社 コンテンツ表示装置、コンテンツ表示方法、プログラム、および記録媒体
JP2016134686A (ja) * 2015-01-16 2016-07-25 オリンパス株式会社 撮像装置及び撮像方法
JP6598549B2 (ja) * 2015-07-23 2019-10-30 キヤノン株式会社 画像処理装置およびその制御方法、撮像装置およびその制御方法
JP6587489B2 (ja) * 2015-10-07 2019-10-09 キヤノン株式会社 画像処理装置、画像処理方法および画像処理システム
JP6838417B2 (ja) * 2016-03-16 2021-03-03 リコーイメージング株式会社 撮影装置
US10341567B2 (en) * 2016-03-16 2019-07-02 Ricoh Imaging Company, Ltd. Photographing apparatus
JP7191639B2 (ja) 2018-10-22 2022-12-19 キヤノン株式会社 制御装置、撮像装置、制御方法、および、プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0783661A (ja) * 1993-09-10 1995-03-28 Nippondenso Co Ltd 光学式位置検出装置
CN103092001A (zh) * 2013-01-16 2013-05-08 中国科学院上海光学精密机械研究所 光束位置和角度的调节装置
CN107454309A (zh) * 2016-04-15 2017-12-08 佳能株式会社 摄像***、图像处理设备及其控制方法、程序和记录介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Design and simulation of CMOS star sensor lens with large relative aperture and wide field;Xing Zhong;《Proceedings of 2011 International Conference on Electronic & Mechanical Engineering and Information Technology》;20110814;全文 *
半导体激光器波长稳定***的反馈效率;余君宏;《强激光与粒子束》;20150513;全文 *

Also Published As

Publication number Publication date
KR20200064908A (ko) 2020-06-08
EP3661186A1 (en) 2020-06-03
JP7204449B2 (ja) 2023-01-16
US20200177820A1 (en) 2020-06-04
US11153493B2 (en) 2021-10-19
CN111246080A (zh) 2020-06-05
JP2020088708A (ja) 2020-06-04
EP3661186B1 (en) 2023-08-30
KR102529479B1 (ko) 2023-05-08

Similar Documents

Publication Publication Date Title
CN111246080B (zh) 控制设备、控制方法、摄像设备以及存储介质
US8274572B2 (en) Electronic camera capturing a group of a plurality of specific objects
CN103986867A (zh) 一种图像拍摄终端和图像拍摄方法
CN107850753B (zh) 检测设备、检测方法、检测程序和成像设备
CN108605087B (zh) 终端的拍照方法、拍照装置和终端
US9906732B2 (en) Image processing device, image capture device, image processing method, and program
CN109218606B (zh) 摄像控制设备、其控制方法及计算机可读介质
US20170011525A1 (en) Image capturing apparatus and method of operating the same
CN107493407B (zh) 拍照装置及拍照方法
KR102385278B1 (ko) 이미지 캡처에서의 줌 제어
US20120249729A1 (en) Imaging device capable of combining images
US9071766B2 (en) Image capturing apparatus and control method thereof
JP6141137B2 (ja) 遠隔操作装置およびその制御方法、撮像装置およびその制御方法、システム、並びにプログラム
US11057572B1 (en) Apparatus and methods for image capture control
JP5142825B2 (ja) 画像表示装置及び画像表示方法
US8625933B2 (en) Image processing apparatus and method for the same
WO2018196854A1 (zh) 一种拍照方法、拍照装置及移动终端
US20120188437A1 (en) Electronic camera
JP7051365B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP6231816B2 (ja) 撮像装置およびその制御方法、プログラム並びに記憶媒体
JP7393245B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
CN110784642B (zh) 图像处理装置及其控制方法以及存储介质、摄像装置
JP7458769B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体
US12003854B2 (en) Imaging device, storage medium, and method of controlling imaging device
KR101567668B1 (ko) 다중 초점 방식으로 영상을 생성하는 스마트폰 카메라 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant