CN114631056A - 摄像支援装置、摄像支援***、摄像***、摄像支援方法及程序 - Google Patents
摄像支援装置、摄像支援***、摄像***、摄像支援方法及程序 Download PDFInfo
- Publication number
- CN114631056A CN114631056A CN202080075914.8A CN202080075914A CN114631056A CN 114631056 A CN114631056 A CN 114631056A CN 202080075914 A CN202080075914 A CN 202080075914A CN 114631056 A CN114631056 A CN 114631056A
- Authority
- CN
- China
- Prior art keywords
- image
- shake correction
- lens
- focal length
- image pickup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 155
- 238000000034 method Methods 0.000 title claims description 116
- 230000007246 mechanism Effects 0.000 claims abstract description 243
- 230000033001 locomotion Effects 0.000 claims abstract description 14
- 238000012937 correction Methods 0.000 claims description 267
- 230000015654 memory Effects 0.000 claims description 60
- 230000003287 optical effect Effects 0.000 claims description 60
- 230000008569 process Effects 0.000 claims description 46
- 238000012545 processing Methods 0.000 claims description 38
- 238000001514 detection method Methods 0.000 abstract description 45
- 238000012544 monitoring process Methods 0.000 description 94
- 238000004891 communication Methods 0.000 description 24
- 238000006073 displacement reaction Methods 0.000 description 17
- 238000005516 engineering process Methods 0.000 description 17
- 238000009795 derivation Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 16
- 230000008859 change Effects 0.000 description 15
- 238000006243 chemical reaction Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 12
- 238000002955 isolation Methods 0.000 description 5
- 238000004549 pulsed laser deposition Methods 0.000 description 5
- 230000035945 sensitivity Effects 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000003381 stabilizer Substances 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- 229910000530 Gallium indium arsenide Inorganic materials 0.000 description 1
- 102100029860 Suppressor of tumorigenicity 20 protein Human genes 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/685—Vibration or motion blur correction performed by mechanical compensation
- H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/64—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
- G02B27/646—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
- G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
- G02B7/08—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted to co-operate with a remote control mechanism
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/56—Accessories
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B2205/00—Adjustment of optical system relative to image or object surface other than for focusing
- G03B2205/0007—Movement of one or more optical elements for control of motion blur
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Studio Devices (AREA)
- Adjustment Of Camera Lenses (AREA)
- Accessories Of Cameras (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
摄像支援装置包括:获取部,获取具有透镜移动机构和图像区域移动部的摄像装置的焦距;检测部,检测利用摄像装置拍摄包含对象被摄体的摄像区域而得到的摄像图像内的表示对象被摄体的对象被摄体图像的被摄体图像位置;及控制部,由获取部获取的焦距为阈值以上时,提高与透镜移动机构相比适用图像区域移动部的比例,当焦距小于阈值时,提高与图像区域移动部相比适用透镜移动机构的比例,由此进行使由检测部检测到的被摄体图像位置与摄像图像内的特定位置对齐的对位控制。
Description
技术领域
本发明的技术涉及一种摄像支援装置、摄像支援***、摄像***、摄像支援方法及程序。
背景技术
在日本特开2016-90973号公报中公开有一种摄像装置,其具备:第1防振控制部,控制移动透镜来校正手抖动的第1防振部;第2防振控制部,控制移动摄像元件来校正手抖动的第2防振部;广角图像生成部,至少通过所述第1防振控制部或第2防振控制部中的任一个,为了广角摄影而进行摄影范围的移动,并根据在移动的摄影范围内依次摄影的多个图像来生成广角图像;及设定部,进行将所述第1防振部及第2防振部用于所述手抖动校正还是用于所述摄影范围的移动的设定。
发明内容
本发明的技术所涉及的一个实施方式提供一种相较于与焦距无关地仅根据透镜移动机构及图像区域移动部进行对位控制的情况相比,能够高精度地使被摄体图像位置与摄像图像内的特定位置对齐的摄像支援装置、摄像支援***、摄像***、摄像支援方法及程序。
用于解决技术课题的手段
本发明的技术所涉及的第1方式为一种摄像支援装置,其包括:获取部,获取具有透镜及摄像元件的摄像装置的焦距,所述摄像装置具有使透镜向与透镜的光轴交叉的方向移动的透镜移动机构和使摄像元件中的摄像图像的区域向与光轴交叉的方向移动的图像区域移动部;检测部,检测利用摄像装置拍摄包含对象被摄体的摄像区域而得到的摄像图像内的表示对象被摄体的对象被摄体图像的被摄体图像位置;及控制部,当由获取部获取的焦距为阈值以上时,提高与透镜移动机构相比适用图像区域移动部的比例,当焦距小于阈值时,提高与图像区域移动部相比适用透镜移动机构的比例,由此进行使由检测部检测到的被摄体图像位置与摄像图像内的特定位置对齐的对位控制。
本发明的技术所涉及的第2方式为第1方式所涉及的摄像支援装置,其中,透镜移动机构为通过透镜的移动来校正以施加于摄像装置的振动为原因而产生的抖动的透镜侧抖动校正机构,图像区域移动部为通过摄像元件的移动或对利用摄像元件进行拍摄而得到的摄像图像的图像处理来校正抖动的摄像元件侧抖动校正部,控制部通过如下处理来进行对位控制:当焦距为阈值以上时,提高与透镜侧抖动校正机构相比适用摄像元件侧抖动校正部的比例,当焦距小于阈值时,提高与摄像元件侧抖动校正部相比适用透镜侧抖动校正机构的比例。
本发明的技术所涉及的第3方式为第2方式所涉及的摄像支援装置,其中,当由获取部获取的焦距为阈值以上时,控制部使透镜侧抖动校正机构校正抖动。
本发明的技术所涉及的第4方式为第2方式或第3方式所涉及的摄像支援装置,其中,当由获取部获取的焦距小于阈值时,控制部使摄像元件侧抖动校正部校正抖动。
本发明的技术所涉及的第5方式为第1方式至第4方式中任一方式所涉及的摄像支援装置,其中,摄像装置具有使焦距可变的变倍机构,当由获取部获取的焦距发生变化时,控制部通过并用摄像元件侧抖动校正部及透镜侧抖动校正机构进行对位控制。
本发明的技术所涉及的第6方式为第1方式至第5方式中任一方式所涉及的摄像支援装置,其中,当由获取部获取的焦距未发生变化时,控制部使摄像元件侧抖动校正部及透镜侧抖动校正机构中的至少一个校正抖动。
本发明的技术所涉及的第7方式为第1方式至第6方式中任一方式所涉及的摄像支援装置,其中,当由获取部获取的焦距在包含阈值的既定范围内时,控制部并用透镜侧抖动校正机构及摄像元件侧抖动校正部进行对位控制。
本发明的技术所涉及的第8方式为第7方式所涉及的摄像支援装置,其中,对位控制为包括如下控制的控制:当由获取部获取的焦距在既定范围内时,随着焦距变长,逐渐增加与透镜侧抖动校正机构相比适用摄像元件侧抖动校正部的比例。
本发明的技术所涉及的第9方式为第7方式或第8方式所涉及的摄像支援装置,其中,当由获取部获取的焦距小于既定范围的下限值时,控制部使用透镜侧抖动校正机构及摄像元件侧抖动校正部中的透镜侧抖动校正机构进行对位控制。
本发明的技术所涉及的第10方式为第7方式至第9方式中任一方式所涉及的摄像支援装置,其中,当由获取部获取的焦距超出既定范围的上限值时,控制部使用透镜侧抖动校正机构及摄像元件侧抖动校正部中的摄像元件侧抖动校正部进行对位控制。
本发明的技术所涉及的第11方式为第1方式至第10方式中任一方式所涉及的摄像支援装置,其中,控制部通过使用对位部进行对位控制,该对位部包括能够使摄像装置进行回转的回转机构、摄像元件侧抖动校正部及透镜侧抖动校正机构,关于在摄像图像内调整被摄体图像位置的对位精度,摄像元件侧抖动校正部及透镜侧抖动校正机构比回转机构高。
本发明的技术所涉及的第12方式为摄像支援***,其包括:第11方式所涉及的摄像支援装置;及回转机构,当回转机构使摄像装置进行回转时,摄像支援装置支援基于摄像装置的摄像。
本发明的技术所涉及的第13方式为一种摄像***,其包括:第1方式至第11方式中任一方式所涉及的摄像支援装置;及摄像装置,摄像装置利用摄像支援装置进行摄像的支援。
本发明的技术所涉及的第14方式为第13方式所涉及的摄像***,其还包括使摄像装置进行回转的回转机构。
本发明的技术所涉及的第15方式为一种摄像支援方法,其包括如下步骤:获取具有透镜及摄像元件的摄像装置的焦距,该摄像装置具有使透镜向与透镜的光轴交叉的方向移动的透镜移动机构和使摄像元件中的摄像图像的区域向与光轴交叉的方向移动的图像区域移动部;检测利用摄像装置拍摄包含对象被摄体的摄像区域而得到的摄像图像内的表示对象被摄体的对象被摄体图像的被摄体图像位置;及当所获取的焦距为阈值以上时,提高与透镜侧抖动校正机构相比适用摄像元件侧抖动校正部的比例,当焦距小于阈值时,提高与摄像元件侧抖动校正部相比适用透镜侧抖动校正机构的比例,由此进行使所检测到的被摄体图像位置与摄像图像内的特定位置对齐的对位控制。
本发明的技术所涉及的第16方式为一种程序,其用于使计算机执行包括如下步骤的处理:获取具有透镜及摄像元件的摄像装置的焦距,该摄像装置具有使透镜向与透镜的光轴交叉的方向移动的透镜移动机构和使摄像元件中的摄像图像的区域向与光轴交叉的方向移动的图像区域移动部;检测利用摄像装置拍摄包含对象被摄体的摄像区域而得到的摄像图像内的表示对象被摄体的对象被摄体图像的被摄体图像位置;及当所获取的焦距为阈值以上时,提高与透镜侧抖动校正机构相比适用摄像元件侧抖动校正部的比例,当焦距小于阈值时,提高与摄像元件侧抖动校正部相比适用透镜侧抖动校正机构的比例,由此进行使所检测到的被摄体图像位置与摄像图像内的特定位置对齐的对位控制。
附图说明
图1是表示第一实施方式所涉及的监控***的结构的一例的概略结构图。
图2是表示第一实施方式所涉及的监控摄像机向俯仰方向进行了回转的状态的监控摄像机的外观的一例的立体图。
图3是表示第一实施方式所涉及的监控摄像机向偏航方向进行了回转的状态的监控摄像机的外观的一例的立体图。
图4是表示第一实施方式所涉及的监控摄像机的光学***及电气***的结构的一例的框图。
图5是表示第一实施方式所涉及的管理装置及回转机构的电气***的结构的一例的框图。
图6是表示第一实施方式所涉及的监控摄像机中所包括的CPU的功能的一例的功能框图。
图7是表示第一实施方式所涉及的管理装置中所包括的CPU的功能的一例的功能框图。
图8是表示第一实施方式所涉及的管理装置中所包括的CPU的功能的一例的功能框图。
图9是表示第一实施方式所涉及的管理装置使用比例导出表时的管理装置的功能的一例的功能框图。
图10A是表示第一实施方式所涉及的对位控制处理的流程的一例的流程图。
图10B是图10A所示的流程图的继续。
图11A是表示对象被摄体存在于第一实施方式所涉及的摄像区域的中央部的方式的一例的概念图。
图11B是表示利用监控摄像机拍摄图11A所示的摄像区域而得到的摄像图像的一例的概略图像图。
图12A是表示对象被摄体存在于第一实施方式所涉及的摄像区域的端部的方式的一例的概念图。
图12B是表示利用监控摄像机拍摄图12A所示的摄像区域而得到的摄像图像的一例的概略图像图。
图13A是表示随着延长第一实施方式所涉及的监控摄像机的焦距而对象被摄体从摄像区域偏离的方式的一例的概念图。
图13B是表示利用监控摄像机拍摄图13A所示的摄像区域而得到的摄像图像的一例的概略图像图。
图14是表示通过使第一实施方式所涉及的抖动校正部进行工作而使对象被摄体图像落在摄像图像的中央区域内的摄像图像的一例的概略图像图。
图15是表示第二实施方式所涉及的管理装置中所包括的CPU的功能的一例的功能框图。
图16A是表示第二实施方式所涉及的对位控制处理的流程的一例的流程图。
图16B是图16A所示的流程图的继续。
图17是表示在对位控制处理中进行粗调而得到的摄像图像和粗调之后进行微调而得到的摄像图像的一例的概略图像图。
图18是表示摄像支援装置中的透镜侧抖动校正机构及摄像元件侧抖动校正机构的适用比例的比例导出表的与图9不同的一例的图表。
图19是表示从存储有实施方式所涉及的对位控制处理程序、显示控制处理程序及变倍机构控制处理程序的存储介质将显示控制处理程序及变倍机构控制处理程序安装于监控摄像机内的计算机中的方式的一例的概念图。
具体实施方式
按照附图对本发明的技术所涉及的实施方式的一例进行说明。
首先,对以下说明中所使用的词语进行说明。
CPU为“Central Processing Unit(中央处理器)”的简称。RAM为“Random AccessMemory(随机存取存储器)”的简称。ROM为“Read Only Memory(只读存储器)”的简称。ASIC为“Application Specific Integrated Circuit(专用集成电路)”的简称。PLD为“Programmable Logic Device(可编程逻辑器件)”的简称。FPGA为“Field-ProgrammableGate Array(现场可编程门阵列)”的简称。AFE为“Analog Front End(模拟前端)”的简称。DSP为“Digital Signal Processor(数字信号处理器)”的简称。ISP是指“Image SignalProcessor(图像信号处理器)”的简称。SoC为“System-on-a-chip(片上***)”的简称。CMOS是指“Complementary Metal Oxide Semiconductor(互补金属氧化物半导体)”的简称。CCD是指“Charge Coupled Device(电荷耦合器件)”的简称。SWIR为“Short-wavelengthinfrared(短波红外线)”的简称。
SSD为“Solid State Drive(固态驱动器)”的简称。USB为“Universal Serial Bus(通用串行总线)”的简称。HDD为“Hard Disk Drive(硬盘驱动器)”的简称。EEPROM为“Electrically Erasable and Programmable Read Only Memory(电可擦可编程只读存储器)”的简称。EL为“Electro-Luminescence(电致发光)”的简称。A/D为“Analog/Digital(模拟/数字)”的简称。I/F为“Interface(接口)”的简称。UI为“User Interface(用户界面)”的简称。WAN为“Wide Area Network(广域网)”的简称。CRT为“Cathode Ray Tube(阴极射线管)”的简称。OIS为“Optical Image Stabilizer(光学图像稳定器)”的简称。BIS为“BodyImage Stabilizer(身体图像稳定器)”的简称。
在本说明书的说明中,“水平”是指除了完全水平以外,包含本发明的技术所属技术领域中通常允许的误差的含义的水平。在本说明书的说明中,“平行”是指除了完全平行以外,包含本发明的技术所属技术领域中通常允许的误差的含义的平行。在本说明书的说明中,“垂直”是指除了完全垂直以外,包含本发明的技术所属技术领域中通常允许的误差的含义的垂直。在本说明书的说明中,“相同”是指除了完全相同以外,包含本发明的技术所属技术领域中通常允许的误差的含义的相同。
[第一实施方式]
作为一例,如图1所示,监控***2具备监控摄像机10、回转机构16及管理装置11。监控***2为本发明的技术所涉及的“摄像***”或“摄像支援***”的一例,监控摄像机10为本发明的技术所涉及的“摄像装置”的一例。
监控摄像机10经由后述的回转机构16设置于室内外的柱子、墙壁或建筑物的一部分(例如,屋顶)等上,并拍摄作为被摄体的监控对象(以下,也称为“摄像区域”),通过进行拍摄而生成动态图像。动态图像中包括通过进行拍摄而得到的多帧图像。监控摄像机10将通过进行拍摄而得到的动态图像经由通信线路12发送到管理装置11。
管理装置11具备显示器13及二次存储装置14。作为显示器13,例如可以举出液晶显示器、等离子显示器、有机EL显示器及CRT显示器等。
作为二次存储装置14的一例,可以举出HDD。二次存储装置14只要为闪存、SSD或EEPROM等非易失性存储器即可,而不是HDD。
在管理装置11中,接收由监控摄像机10发送的动态图像,将所接收到的动态图像显示于显示器13,或者存储于二次存储装置14中。
回转机构16上安装有监控摄像机10。回转机构16能够使监控摄像机10进行回转。具体而言,回转机构16为能够使监控摄像机10向作为一例的如图2所示的与偏航方向交叉且以俯仰轴PA为中心轴的回转方向(以下,称为“俯仰方向”)和作为一例的如图3所示的以偏航轴YA为中心轴的回转方向(以下,称为“偏航方向”)进行回转的双轴回转机构。回转机构16为本发明的技术所涉及的“回转机构”的一例。另外,在本实施方式所涉及的回转机构16中,示出了双轴回转机构的例子,但本发明的技术并不限定于此,也可以为三轴回转机构。
作为一例,如图4所示,监控摄像机10具备光学***15及摄像元件25。摄像元件25位于光学***15的后段。摄像元件25具备受光面25A。表示摄像区域的光通过光学***15成像于受光面25A上,并通过摄像元件25拍摄摄像区域。
监控摄像机10具备计算机19、位移用驱动器22、位移用驱动器23、变焦用驱动器28、DSP31、图像存储器32、电子式抖动校正部33、通信I/F34、位置检测传感器39及47、抖动量检测传感器40以及UI系器件43。计算机19具备储存器35、存储器36及CPU37。计算机19为本发明的技术所涉及的“计算机”的一例。并且,电子式抖动校正部33及CPU37为本发明的技术所涉及的“电子式抖动校正部(电子式抖动校正组件)”的一例。
位移用驱动器22、位移用驱动器23、摄像元件25、变焦用驱动器28、DSP31、图像存储器32、电子式抖动校正部33、通信I/F34、储存器35、存储器36、CPU37、位置检测传感器39及47、抖动量检测传感器40以及UI系器件43连接于总线38。另外,在图4所示的例子中,为了方便图示,作为总线38,图示出一根总线,但也可以为多根总线。总线38可以为串行总线,也可以为包括数据总线、地址总线及控制总线等的并行总线。
储存器35临时存储各种信息,且用作工作存储器。作为储存器35的一例,可以举出RAM,但并不限于此,也可以为其他种类的存储装置。存储器36中存储有监控摄像机10用的各种程序。CPU37通过从存储器36中读出各种程序并在储存器35上执行所读出的各种程序而控制监控摄像机10整体。作为存储器36,例如可以举出闪存、SSD、EEPROM或HDD等。并且,例如,可以代替闪存或与闪存并用磁阻存储器、铁电存储器等各种非易失性存储器。
摄像元件25为CMOS图像传感器。摄像元件25在CPU37的指示下以既定的帧速率拍摄对象被摄体。在此所说的“既定的帧速率”例如是指几十帧/秒至几百帧/秒。另外,在摄像元件25其本身中也可以内置有控制装置(摄像元件控制装置),在该情况下,摄像元件控制装置根据CPU37所输出的摄像指示进行摄像元件25内部的详细控制。并且,摄像元件25也可以在DSP31的指示下以既定的帧速率拍摄对象被摄体,在该情况下,摄像元件控制装置根据DSP31所输出的摄像指示进行摄像元件25内部的详细控制。另外,DSP31有时也称为ISP。
摄像元件25的受光面25A由配置成矩阵状的多个感光像素(省略图示)形成。在摄像元件25中,各感光像素被曝光,按每个感光像素进行光电转换。通过按每个感光像素进行光电转换而得到的电荷为表示对象被摄体的模拟摄像信号。在此,作为多个感光像素,采用对可见光具有灵敏度的多个光电转换元件(作为一例,配置有滤色器的光电转换元件)。在摄像元件25中,作为多个光电转换元件,采用对R(红色)的光具有灵敏度的光电转换元件(例如,配置有与R对应的R滤色器的光电转换元件)、对G(绿色)的光具有灵敏度的光电转换元件(例如,配置有与G对应的G滤色器的光电转换元件)及对B(蓝色)的光具有灵敏度的光电转换元件(例如,配置有与B对应的B滤色器的光电转换元件)。在监控摄像机10中,通过使用这些感光像素,进行基于可见光(例如,约700纳米以下的短波长侧的光)的摄像。但是,本实施方式并不限定于此,也可以进行基于红外光(例如,比约700纳米长波长侧的光)的拍摄。在该情况下,作为多个感光像素,使用对红外光具有灵敏度的多个光电转换元件即可。尤其,对于关于SWIR的摄像,例如使用InGaAs传感器和/或二型量子阱(T2SL;Simulationof Type-II Quantum Well)传感器等即可。
摄像元件25对模拟摄像信号进行A/D转换等信号处理而生成作为数字摄像信号的数字图像。摄像元件25经由总线38连接于DSP31,将所生成的数字图像经由总线38以帧单位输出到DSP31。在此,数字图像为本发明的技术所涉及的“摄像图像”的一例。
另外,在此,作为摄像元件25的一例,举出CMOS图像传感器进行了说明,但本发明的技术并不限定于此,也可以适用CCD图像传感器作为摄像元件25。在该情况下,摄像元件25经由CCD驱动器内置的AFE(省略图示)连接于总线38,AFE通过对由摄像元件25得到的模拟摄像信号实施A/D转换等信号处理而生成数字图像,并将所生成的数字图像输出到DSP31。CCD图像传感器由内置于AFE中的CCD驱动器驱动。当然,也可以单独设置CCD驱动器。
DSP31对数字图像实施各种数字信号处理。各种数字信号处理例如是指去马赛克处理、噪声去除处理、灰度校正处理及色彩校正处理等。
DSP31按每个帧将数字信号处理后的数字图像输出到图像存储器32。图像存储器32存储来自DSP31的数字图像。另外,以下,为了便于说明,将存储于图像存储器32中的数字图像也称为“摄像图像”。
抖动量检测传感器40例如为包括陀螺仪传感器的器件,其检测监控摄像机10的抖动量。换言之,抖动量检测传感器40在一对轴向的每一个上检测抖动量。陀螺仪传感器检测围绕俯仰轴PA、偏航轴YA及翻滚轴RA(与光轴OA平行的轴)的各轴(参考图1)的旋转抖动的量。抖动量检测传感器40通过将由陀螺仪传感器检测到的围绕俯仰轴PA的旋转抖动的量及围绕偏航轴YA的旋转抖动的量转换为与俯仰轴PA及偏航轴YA平行的二维状面内的抖动量来检测监控摄像机10的抖动量。
在此,作为抖动量检测传感器40的一例,举出了陀螺仪传感器,但这仅仅是一例,抖动量检测传感器40也可以为加速度传感器。加速度传感器检测与俯仰轴PA和偏航轴YA平行的二维状面内的抖动量。抖动量检测传感器40将所检测到的抖动量输出到CPU37。
并且,在此,举出了由抖动量检测传感器40这一物理传感器检测抖动量的方式例,但本发明的技术并不限定于此。例如,也可以将通过比较存储于图像存储器32中的时间序列前后的摄像图像而得到的移动矢量用作抖动量。并且,可以根据由物理传感器检测到的抖动量和通过图像处理得到的移动矢量来导出最终使用的抖动量。
CPU37获取由抖动量检测传感器40检测到的抖动量,并根据所获取的抖动量来控制透镜侧抖动校正机构29、摄像元件侧抖动校正机构45及电子式抖动校正部33。由抖动量检测传感器40检测到的抖动量用于基于透镜侧抖动校正机构29及电子式抖动校正部33各自的抖动的校正。
电子式抖动校正部33为包括ASIC的器件。电子式抖动校正部33通过根据由抖动量检测传感器40检测到的抖动量对利用摄像元件25进行拍摄而得到的图像存储器32内的摄像图像实施图像处理而校正抖动。另外,在此,举出了根据由抖动量检测传感器40检测到的抖动量通过电子式抖动校正部33校正抖动的方式例,但本发明的技术并不限定于此。例如,也可以根据基于摄像图像的帧之间的差分计算的移动矢量通过电子式抖动校正部33校正抖动。
并且,在此,作为电子式抖动校正部33,例示出包括ASIC的器件,但本发明的技术并不限定于此,例如也可以为包括FPGA或PLD的器件。并且,例如,电子式抖动校正部33也可以为包括ASIC、FPGA及PLD中的多个的器件。并且,作为电子式抖动校正部33,也可以采用包括CPU、存储器及储存器的计算机。CPU可以为单个,也可以为多个。并且,电子式抖动校正部33也可以通过硬件结构与软件结构的组合来实现。
通信I/F34例如为网络接口,经由网络在与管理装置11之间进行各种信息的传输控制。作为网络的一例,可以举出互联网或公用通信网等WAN。其掌管监控摄像机10与管理装置11之间的通信。
UI系器件43具备接收器件43A及显示器43B。接收器件43A例如为硬键及触摸面板等,其接收来自用户的各种指示。CPU37获取由接收器件43A接收到的各种指示,并按照所获取的指示进行动作。
显示器43B在CPU37的控制下显示各种信息。作为显示于显示器43B的各种信息,例如可以举出由接收器件43A接收到的各种指示的内容及摄像图像等。
光学***15具备物镜15A及透镜组15B。物镜15A及透镜组15B从对象被摄体侧到摄像元件25的受光面25A侧沿着光学***15的光轴OA以物镜15A及透镜组15B的顺序配置。透镜组15B中包括防振透镜15B1、聚焦透镜(省略图示)及变焦透镜15B2等。另外,作为光学***15,除了物镜15A及透镜组15B以外,还可以具备各种透镜(省略图示)。此外,光学***15可以具备光圈。光学***15中所包括的透镜、透镜组及光圈的位置并不受限定,例如即使是与图4所示的位置不同的位置,本发明的技术也成立。
监控摄像机10具备致动器17及21以及致动器27。变焦透镜15B2被支撑为能够通过后述的致动器21沿着光轴OA移动。防振透镜15B1被支撑为能够通过致动器17向与光轴OA垂直的方向移动。摄像元件25被支撑为能够通过致动器27向与光轴OA垂直的方向移动。
致动器17对防振透镜15B1赋予使其向与防振透镜15B1的光轴垂直的方向变动的动力。致动器17由CPU37经由位移用驱动器23控制。位移用驱动器23通过按照来自CPU37的指示使致动器17进行工作而使防振透镜15B1的位置向与光轴OA垂直的方向变动。
致动器21对变焦透镜15B2赋予能够使其沿着光学***15的光轴OA移动的动力。致动器21由CPU37经由变焦用驱动器28控制。变焦用驱动器28通过按照来自CPU37的指示使致动器21进行工作而使变焦透镜15B2的位置沿着光轴OA移动。
致动器27对摄像元件25赋予使摄像元件25向与防振透镜15B1的光轴垂直的方向变动的动力。致动器27由CPU37经由位移用驱动器22控制。位移用驱动器22通过按照来自CPU37的指示使致动器27进行工作而使摄像元件25的位置向与光轴OA垂直的方向变动。
监控摄像机10具有变倍机构18。变倍机构18具备变焦透镜15B2、致动器21及变焦用驱动器28,是能够变更焦距的机构。CPU37通过经由变焦用驱动器28使致动器21进行工作而变更焦距。监控摄像机10通过比当前时点延长焦距而变焦透镜15B2比当前时点位于长焦侧,因此视角变窄。视角变窄是指摄像范围变窄。并且,监控摄像机10通过比当前时点缩短焦距而变焦透镜15B2比当前时点位于广角侧,因此视角变宽。视角变宽是指摄像范围变宽。另外,在本发明的技术中图示的变倍机构18的图仅仅是概念图,变倍机构18能够采用各种结构。
施加于监控摄像机10的振动中,若为室外,则有由汽车的通过引起的振动、由风引起的振动及由道路施工引起的振动等,若为室内,则有由空调的动作引起的振动及由人的出入引起的振动等。因此,在监控摄像机10中,以施加于监控摄像机10的振动(以下,也简称为“振动”)为原因而产生抖动。以下,将以振动为原因而产生的抖动也简称为“抖动”。
另外,在本实施方式中,“抖动”是指在监控摄像机10中摄像元件25的受光面25A上的被摄体像因光轴OA与受光面25A的位置关系发生变化而变动的现象。换言之,“抖动”也可以说是光轴OA以施加于监控摄像机10的振动为原因而倾斜,从而成像于受光面25A上而得到的光学像变动的现象。光轴OA的变动是指例如光轴OA相对于基准轴(例如,发生抖动之前的光轴OA)倾斜。
抖动作为噪声成分而包含于摄像图像中,对摄像图像的画质产生影响。因此,为了去除以抖动为原因而包含于摄像图像内的噪声成分,监控摄像机10具备抖动校正部24。抖动校正部51为本发明的技术所涉及的“对位部(对位组件)”的一例。抖动校正部24具有透镜侧抖动校正机构29、摄像元件侧抖动校正机构45及电子设备抖动校正部33。透镜侧抖动校正机构29、摄像元件侧抖动校正机构45及电子式抖动校正部33均用于抖动的校正。透镜侧抖动校正机构29为如下机构:通过将由马达(例如,音圈马达)等驱动源生成的动力赋予给防振透镜而使防振透镜向与摄像光学***的光轴垂直的方向移动,由此校正抖动。摄像元件侧抖动校正机构45为如下机构:通过将由马达(例如,音圈马达)等驱动源生成的动力赋予给摄像元件而使摄像元件向与摄像光学***的光轴垂直的方向移动,由此校正抖动。电子式抖动校正部33通过根据抖动量对摄像图像实施图像处理而校正抖动。即,抖动校正部51通过硬件结构和/或软件结构机械地或电子地进行抖动的校正。在此,机械地抖动校正是指通过使用由马达(例如,音圈马达)等驱动源生成的动力使防振透镜和/或摄像元件等的抖动校正元件机械地移动而实现的抖动的校正,电子地抖动校正例如是指通过利用处理器进行图像处理而实现的抖动的校正。并且,在本实施方式中,“抖动的校正”中,除了消除抖动的含义以外,还包括减少抖动的含义。透镜侧抖动校正机构29为使防振透镜15B1向与光轴OA垂直的方向移动的机构,是本发明的技术所涉及的“透镜移动机构”的一例。摄像元件侧抖动校正机构45及电子式抖动校正部33为使摄像元件25中的摄像图像的区域向与光轴OA垂直的方向移动的机构。摄像元件侧抖动校正机构45及电子式抖动校正部33为本发明的技术所涉及的“图像区域移动部(图像区域移动组件)”及“摄像元件侧抖动校正部(摄像元件侧抖动校正组件)”的一例。
作为一例,如图4所示,透镜侧抖动校正机构29具备防振透镜15B1、致动器17、位移用驱动器23及位置检测传感器39。
作为基于透镜侧抖动校正机构29的抖动的校正方法,能够采用周知的各种方法。在本实施方式中,作为抖动的校正方法,采用通过根据由抖动量检测传感器40检测到的抖动量使防振透镜15B1移动而校正抖动的方法。具体而言,通过向消除抖动的方向使防振透镜15B1仅移动消除抖动的量而进行抖动的校正。
在防振透镜15B1上安装有致动器17。致动器17为搭载有音圈马达的位移机构,其通过驱动音圈马达而使防振透镜15B1向与防振透镜15B1的光轴垂直的方向变动。另外,在此,作为致动器17,采用搭载有音圈马达的位移机构,但本发明的技术并不限定于此,也可以适用步进马达或压电元件等其他动力源来代替音圈马达。
致动器17由位移用驱动器23控制。通过在位移用驱动器23的控制下驱动致动器17,防振透镜15B1的位置在与光轴OA垂直的二维平面内机械地变动。
位置检测传感器39检测防振透镜15B1的当前位置,并输出表示所检测到的当前位置的位置信号。在此,作为位置检测传感器39的一例,采用包括霍尔元件的器件。在此,防振透镜15B1的当前位置是指防振透镜二维平面内的当前位置。防振透镜二维平面是指与防振透镜15B1的光轴垂直的二维平面。另外,在本实施方式中,作为位置检测传感器39的一例,采用包括霍尔元件的器件,但本发明的技术并不限定于此,也可以采用磁传感器或光传感器等来代替霍尔元件。
透镜侧抖动校正机构29通过使防振透镜15B1沿着俯仰轴PA方向及偏航轴YA方向中的至少一个方向移动而校正抖动。即,透镜侧抖动校正机构29通过使防振透镜15B1在防振透镜二维平面内以与由抖动量检测传感器40检测到的抖动量相对应的移动量移动而校正抖动。
摄像元件侧抖动校正机构45具备摄像元件25、位移用驱动器22、致动器27及位置检测传感器47。
与基于透镜侧抖动校正机构29的抖动的校正方法同样地,基于摄像元件侧抖动校正机构45的抖动的校正方法也能够采用周知的各种方法。在本实施方式中,作为抖动的校正方法,采用如下方法:根据由抖动量检测传感器40检测到的抖动量,位移用驱动器22按照来自CPU37的指示经由致动器27使摄像元件25移动而校正抖动。具体而言,通过使摄像元件25向消除抖动的方向移动与消除抖动的量相当的量来进行抖动的校正。
致动器27为搭载有音圈马达的位移机构,其通过驱动音圈马达而使摄像元件25向与防振透镜15B1的光轴垂直的方向变动。另外,在此,作为致动器27,采用搭载有音圈马达的位移机构,但本发明的技术并不限定于此,也可以适用步进马达或压电元件等其他动力源来代替音圈马达。
位置检测传感器47检测摄像元件25的当前位置,并输出表示所检测到的当前位置的位置信号。在此,作为位置检测传感器47的一例,采用包括霍尔元件的器件。在此,摄像元件25的当前位置是指摄像元件二维平面内的当前位置。摄像元件二维平面是指与防振透镜15B1的光轴垂直的二维平面。另外,在本实施方式中,作为位置检测传感器47的一例,采用包括霍尔元件的器件,但本发明的技术并不限定于此,也可以采用磁传感器或光传感器等来代替霍尔元件。
作为一例,如图5所示,管理装置11具备显示器13、控制装置60、接收器件62及通信I/F66。并且,回转机构16具备偏航轴回转机构71、俯仰轴回转机构72、马达73、马达74、驱动器75及驱动器76。
控制装置60具备CPU60A、存储器60B及储存器60C。接收器件62、显示器13、二次存储装置14、CPU60A、存储器60B、储存器60C及通信I/F66各自连接于总线70。另外,在图5所示的例子中,为了方便图示,作为总线70,图示出一根总线,但也可以为多根总线。总线70可以为串行总线,也可以为包括数据总线、地址总线及控制总线等的并行总线。
储存器60C临时存储各种信息,且用作工作存储器。作为储存器60C的一例,可以举出RAM,但并不限于此,也可以为其他种类的存储装置。存储器60B中存储有管理装置11用的各种程序(以下,简称为“管理装置用程序”)。CPU60A通过从存储器60B中读出管理装置用程序并在储存器60C上执行所读出的管理装置用程序而控制管理装置11整体。
通信I/F66例如为网络接口。通信I/F66连接成能够经由网络对监控摄像机10的通信I/F34进行通信,且在与监控摄像机10之间进行各种信息的传输控制。例如,通信I/F66对监控摄像机10请求发送摄像图像,并接收根据摄像图像的发送请求从监控摄像机10的通信I/F34发送的摄像图像。
通信I/F67及68例如为网络接口。通信I/F67连接成经由网络对回转机构16的驱动器75进行通信。CPU60A通过经由通信I/F67及驱动器75控制马达73来控制偏航轴回转机构71的回转动作。通信I/F68连接成经由网络对回转机构16的驱动器76进行通信。CPU60A通过经由通信I/F68及驱动器76控制马达74来控制俯仰轴回转机构72的回转动作。
接收器件62例如为键盘、鼠标及触摸面板等,其接收来自用户等的各种指示。CPU60A获取由接收器件62接收到的各种指示,并按照所获取的指示进行动作。例如,当由接收器件62接收到对监控摄像机10和/或回转机构16的处理内容时,CPU60A按照由接收器件62接收到的指示内容使监控摄像机10和/或回转机构16进行工作。
显示器13在CPU60A的控制下显示各种信息。作为显示于显示器13的各种信息,例如可以举出由接收器件62接收到的各种指示的内容及由通信I/F66接收到的摄像图像等。
管理装置11具备二次存储装置14。二次存储装置14例如为非易失性存储器,其在CPU60A的控制下存储各种信息。作为存储于二次存储装置14中的各种信息,例如可以举出由通信I/F66接收到的摄像图像等。
如此,控制装置60进行使显示器13显示由通信I/F66接收到的摄像图像的控制及使二次存储装置14存储由通信I/F66接收到的摄像图像的控制。
另外,在此,控制装置60使显示器13显示摄像图像且使二次存储装置14存储由通信I/F66接收到的摄像图像,但本发明的技术并不限定于此。例如,也可以进行摄像图像对显示器13的显示和摄像图像对二次存储装置14的存储中的任一种。
马达73通过在驱动器75的控制下驱动而生成动力。偏航轴回转机构71通过接受由马达73生成的动力而使监控摄像机10向偏航方向回转。马达74通过在驱动器76的控制下驱动而生成动力。俯仰轴回转机构72通过接受由马达74生成的动力而使监控摄像机10向俯仰方向进行回转。
作为一例,如图6所示,管理装置11的存储器60B中存储有对位控制处理程序36A、显示控制处理程序36B及变倍机构控制处理程序36C。
CPU60A通过从存储器60B中读出变倍机构控制处理程序36C并在储存器60C(参考图5)上执行所读出的变倍机构控制处理程序36C而作为变倍机构控制部37S进行动作。
接收器件62接收使变倍机构18进行变倍的指示(以下,也称为“变倍指示”),变倍机构控制部37S按照由接收器件62接收到的变倍指示控制变倍机构18。此外,监控摄像机10的储存器60C具有焦距存储区域35A。在焦距存储区域35A中覆盖保存有最新的焦距。
CPU37通过从存储器60B中读出显示控制处理程序36B并在储存器60C上执行所读出的显示控制处理程序36B而作为显示控制部37T进行动作。
显示控制部37T从监控摄像机10的图像存储器32中读出摄像图像,并使显示器13以即时预览图像的形式显示所读出的摄像图像。另外,在此,作为显示于显示器13的图像,例示出即时预览图像,但本发明的技术并不限于此,显示于显示器13的图像也可以为记录用动态图像或记录用静止图像。
CPU60A为本发明的技术所涉及的“处理器”的一例,储存器60B为本发明的技术所涉及的“储存器”的一例。CPU60A从存储器60B中读出对位控制处理程序36A,并在储存器60C上执行所读出的对位控制处理程序36A。具体而言,CPU60A作为获取部37P、焦距变化判定部37Q、被摄体图像检测部37A、图像位置判定部37B、偏移量计算部37D、偏移判定部37E、抖动校正执行部37F及对位控制部37G进行动作。被摄体图像检测部37A及图像位置判定部37B为本发明的技术中的“检测部”的一例。
作为一例,如图7所示,获取部37P从焦距存储区域35A获取焦距。在此,当通过获取部37P而焦距变长时,与变长之前相比,能够由监控摄像机10拍摄的视角变窄。
焦距变化判定部37Q判定由获取部37P获取的焦距是否发生了变化。具体而言,管理装置11内的CPU60A的内部存储器37M中存储有由获取部37P在前一次的获取时刻获取的焦距(以下,也称为“前一次焦距”)。焦距变化判定部37Q比较存储于内部存储器37M中的前一次焦距和由获取部37P获取的最新的焦距(以下,称为“最新焦距”)。然后,若前一次焦距与最新焦距不同,则判定为焦距发生了变化,若相同,则判定为焦距未发生变化。
焦距变化判定部37Q在判定后将最新焦距的值覆盖保存于内部存储器37M中,由此更新内部存储器37M内的前一次焦距的值。更新的前一次焦距在接着由焦距变化判定部37Q进行判定时作为与最新焦距的比较对象而被焦距变化判定部37Q使用。
被摄体图像检测部37A从图像存储器32获取1帧量的摄像图像。然后,被摄体图像检测部37A在从图像存储器32获取的摄像图像内检测对象被摄体图像。并且,当检测到对象被摄体图像时,被摄体图像检测部37A检测对象被摄体图像的位置(以下,也称为“被摄体图像位置”)。
图像位置判定部37B判定由被摄体图像检测部37A检测到的被摄体图像位置在摄像图像内是否位于中央区域内。作为一例,如图11A及图11B所示,有时被摄体图像位置在摄像图像中会位于中央区域内。相对于此,作为一例,如图12A及图12B所示,由于监控摄像机10利用回转机构16进行回转或对象被摄体本身进行移动,有时对象被摄体虽然存在于摄像区域,但并不在中央区域。
若对象被摄体图像存在于中央区域,则图像位置判定部37B中的判定被肯定。在此,“存在”是指对象被摄体图像的至少一部分覆盖在中央区域上的方式。即,若对象被摄体图像的至少一部分覆盖在中央区域上,则由图像位置判定部37B判定为“存在”。作为对象被摄体图像的至少一部分,例如可以举出被摄体图像中的特定部位(例如,当对象被摄体为人物时为人物的面部)。监控摄像机10中搭载有图像识别功能(例如,面部识别功能),当通过图像识别功能在中央区域中识别到特定部位时,可以由图像位置判定部37B判定为对象被摄体图像存在于中央区域。另外,中央区域为本发明的技术所涉及的“特定位置”的一例。
当由图像位置判定部37B判定为被摄体图像位置并不在中央区域CE内时,偏移量计算部37D计算偏移量。偏移量为表示被摄体图像位置相对于中央区域CE的偏移即相对位置之差的量,是具有俯仰方向及偏航方向的两个值的矢量。作为偏移量,例如可以举出对象被摄体图像的中心与中央区域CE的中心的偏移量。作为一例,对象被摄体图像的中心能够作为对象被摄体图像在俯仰方向上的中心坐标及在偏航方向上的中心坐标的两个值而求出。
偏移判定部37E根据由偏移量计算部37D计算出的偏移量来判定是否存在被摄体图像位置从中央区域的偏移。偏移的有无例如能够通过由偏移量计算部37D计算出的偏移量是否超出预先规定的阈值来判定。即,当偏移量未超出阈值时,判定为不存在偏移。相对于此,当偏移量为阈值以上时,判定为存在偏移。
另外,阈值可以为通过基于实机的感官试验和/或计算机模拟等,作为能够允许作为偏移量的上限值而预先导出的固定值。并且,阈值可以为能够根据由接收器件62等接收到的指示变更的可变值,也可以为能够根据摄像场景等变更的可变值。
当在偏移判定部37E中判定为不存在偏移时,抖动校正执行部37F根据由抖动量检测传感器40检测到的抖动量使抖动校正部24进行工作。
作为一例,如图8所示,存储器60B中存储有比例导出表60L。作为一例,如图9所示,比例导出表60L在对位控制中被对位控制部37G使用。比例导出表60L为表示根据由获取部37P获取的焦距,提高与透镜侧抖动校正机构29相比适用摄像元件侧抖动校正机构45的比例,还是提高与摄像元件侧抖动校正机构45相比适用透镜侧抖动校正机构29的比例的表。
另外,以下,为了便于说明,将与透镜侧抖动校正机构29相比适用摄像元件侧抖动校正机构45的比例也称为“第1适用比例”,将与摄像元件侧抖动校正机构45相比适用透镜侧抖动校正机构29的比例也称为“第2适用比例”。并且,当无需将第1适用比例和第2适用比例区分说明时,称为“适用比例”。并且,在此,作为规定适用比例的要件,例示出摄像元件侧抖动校正机构45,但本发明的技术并不限定于此,也可以代替摄像元件侧抖动校正机构45或与摄像元件侧抖动校正机构45一同适用电子式抖动校正部33。
在图8及图9所示的例子中,当焦距小于阈值th时,与摄像元件侧抖动校正机构45相比,使用透镜侧抖动校正机构29的比例高,当大至阈值th以上时,与透镜侧抖动校正机构29相比,使用摄像元件侧抖动校正机构45的比例高。
尤其,当焦距在包含阈值th的既定范围内时,随着焦距变长而第1适用比例逐渐减小,且第2适用比例逐渐增大。作为既定范围,例如,如图8及图9所示,可以举出从阈值th向负侧及正侧x的范围即“阈值th-x”以上且“阈值th+x”以下的范围(以下,也称为“既定范围”)。“阈值th-x”为本发明的技术中的“规定范围的下限值”的一例,“阈值th+x”为本发明的技术中的“规定范围的上限值”的一例。在既定范围中,第1适用比例线性减小且第2适用比例线性增大。另外,在此,举出第1适用比例线性减小且第2适用比例线性增大的方式例进行了说明,但本发明的技术并不限定于此,也可以在上述既定范围内第1适用比例非线性(例如,指数函数地)减小且第2适用比例也非线性(例如,指数函数地)增大。并且,也可以在上述既定范围内第1适用比例及第2适用比例中的一个非线性变化且另一个线性变化。在该情况下,也使第1适用比例减小且第2适用比例增大即可。
焦距在既定范围内时,在对位控制中仅使用透镜侧抖动校正机构29,在超出阈值th-x”的范围,在对位控制中仅使用摄像元件侧抖动校正机构45。
透镜侧抖动校正机构29及摄像元件侧抖动校正机构45中适用比例小的一方被抖动校正执行部37F用于抖动校正,能够发挥校正抖动的效果。例如,当焦距超出“阈值th+x”时,透镜侧抖动校正机构29被抖动校正执行部37F用于抖动的校正,当焦距小于“阈值th-x”时,摄像元件侧抖动校正机构45被抖动校正执行部37F用于抖动的校正。
另外,在此,例示出比例导出表60L,但本发明的技术并不限定于此,也可以代替比例导出表60L而使用将焦距作为自变量并将适用比例作为因变量的比例计算用算术表达式。
对位控制部37G进行对位控制。对位控制为包括如下对位控制的控制:当由获取部37P获取的焦距为阈值以上时,提高第1适用比例,当焦距小于阈值时,提高第2适用比例,由此使由被摄体图像检测部37A检测到的被摄体图像位置与摄像图像内的特定位置对齐。具体而言,在对位控制中,通过对位控制部37G从存储于存储器60B中的比例导出表60L导出与在偏移量计算部37D中所计算出的偏移量对应的适用比例。然后,在对位控制中,通过根据所导出的适用比例由对位控制部37G驱动透镜侧抖动校正机构29和/或摄像元件侧抖动校正机构45,由此进行被摄体图像位置向摄像图像内的特定位置的校准。
接着,参考图10A及图10B对监控***2的本发明的技术所涉及的部分的作用进行说明。另外,在图10A及图10B中示出由CPU60A按照对位控制处理程序36A执行的对位控制处理的流程的一例。图10A及图10B所示的对位控制处理的流程为本发明的技术中的“摄像支援方法”的一例。
在图10A及图10B所示的对位控制处理中,首先,在步骤ST10中,获取部37P判定获取焦距的时刻(以下,也称为“焦距获取时刻”)是否已到。作为焦距获取时刻,例如可以举出在摄像元件25中以既定的帧速率拍摄对象被摄体的时刻。更具体而言,当帧速率为60帧/秒且获取部37P按每个帧获取焦距时,以每秒60次的频度获取焦距。获取部37P也可以按每多个帧获取焦距,例如可以以每两个帧1次的频度获取焦距。当在步骤ST10中焦距获取时刻未到时,判定被否定,对位控制处理转移到步骤ST30。在步骤ST10中,当焦距获取时刻已到时,判定被肯定,对位控制转移到步骤ST12。
在步骤ST12中,获取部37P获取监控摄像机10的最新焦距。然后,对位控制处理转移到步骤ST14。
在步骤ST14中,焦距变化判定部37Q根据通过步骤ST12获取的最新焦距和内部存储器37M内的前一次焦距来判定焦距是否发生了变化。在步骤ST14中,当焦距未发生变化时,判定被否定,对位控制处理转移到图10B所示的步骤ST32。在步骤ST14中,当焦距发生了变化时,判定被肯定,对位控制处理转移到步骤ST16。
在步骤ST16中,焦距变化判定部37Q将存储于内部存储器37M中的前一次焦距的值更新为最新焦距的值。
在接下来的步骤ST18中,被摄体图像检测部37A判定是否从摄像图像检测到对象被摄体图像。在步骤ST18中,当从摄像图像未检测到对象被摄体图像时,判定被否定,对位控制处理转移到步骤ST30。在步骤ST18中,当从摄像图像检测到对象被摄体图像时,判定被肯定,对位控制处理转移到步骤ST20。
在步骤ST20中,图像位置判定部37B检测摄像图像内的被摄体图像位置。然后,对位控制处理转移到步骤ST21。
在接下来的步骤ST21中,偏移量计算部37D计算偏移量。然后,对位控制处理转移到步骤ST22。
在步骤ST22中,偏移判定部37E根据步骤ST21中所计算出的偏移量来判定被摄体图像位置与中央区域之间是否存在偏移。在步骤ST22中,当不存在偏移时,判定被否定,对位控制处理转移到步骤ST32。在步骤ST22中,当存在偏移时,判定被肯定,对位控制处理转移到步骤ST24。
在步骤ST24中,抖动校正执行部37F从比例导出表60L导出与步骤ST12中所获取的最新焦距相对应的适用比例。
在接下来的步骤ST25中,抖动校正执行部37F判定是否正在抖动校正中。即,判定是否正在进行基于抖动校正部24的抖动的校正(以下,也称为“抖动校正中”)。在步骤ST25中,当不在抖动校正中时,判定被否定,对位控制处理转移到步骤ST28。在步骤ST25中,当正在抖动校正中时,判定被肯定,对位控制处理转移到步骤ST26。
在步骤ST26中,抖动校正执行部37F使抖动校正部24结束抖动的校正。然后,对位控制处理转移到步骤ST28。
在步骤ST28中,对位控制部37G根据步骤ST21中所计算出的偏移量和步骤ST12中所获取的适用比例来进行对位控制。
在接下来的步骤ST30中,对位控制部37G判定是否满足结束对位控制处理的条件(以下,称为“结束条件”)。作为结束条件,例如可以举出由接收器件62接收到结束对位控制处理的指示的条件。当在步骤ST30中不满足结束条件时,判定被否定,对位控制处理转移到步骤ST10。当在步骤ST30中满足结束条件时,判定被肯定,对位控制处理结束。
在步骤ST32中,抖动校正执行部37F判定是否正在抖动校正中。在步骤ST32中,当正在抖动校正中时,判定被肯定,对位控制处理转移到步骤ST30。在步骤ST32中,当不在抖动校正中时,判定被否定,对位控制处理转移到步骤ST34。
在步骤ST34中,抖动校正执行部37F开始进行抖动校正。然后,转移到步骤ST30。
在监控***2中,进行使被摄体图像位置与摄像图像内的中央区域对齐的对位控制。通过被摄体图像位置存在于摄像图像内的中央区域,能够实现容易辨识被摄体图像的状态。
在本实施方式中,当进行对位控制时,根据监控摄像机10的焦距导出透镜侧抖动校正机构29及摄像元件侧抖动校正机构45的适用比例。具体而言,当焦距小于阈值th时,提高与摄像元件侧抖动校正机构45相比适用透镜侧抖动校正机构29的比例,当为阈值th以上时,提高与透镜侧抖动校正机构29相比适用摄像元件侧抖动校正机构45的比例,由此进行对位控制。
在此,在图11A及图11B中示出监控摄像机10的焦距在长焦侧及广角侧中的广角侧时拍摄对象被摄体的摄像范围与摄像图像中的对象被摄体图像的位置的关系的一例。在图11A及图11B所示的例子中,对象被摄体图像位于摄像图像的中央区域。
若在该状态下对象被摄体移动,则作为一例,如图12A及图12B所示,被摄体图像位置从摄像图像的中央区域偏移。但是,在图12A及图12B所示的例子中,被摄体图像位置位于摄像图像的范围内。
若监控摄像机10的焦距由图12A及图12B所示的状态向长焦侧及广角侧中的长焦侧变倍,则视角变窄。作为一例,如图13A及图13B所示,有时被摄体图像位置会位于摄像图像的范围外。
如此,当被摄体图像位置位于摄像图像的范围外或中央区域的外部时,在本实施方式中,进行对位控制处理,透镜侧抖动校正机构29及摄像元件侧抖动校正机构45以与焦距相对应的适用比例进行工作。由此,作为一例,如图14所示,能够使被摄体图像位置在摄像图像中位于中央区域。
在本实施方式中,当进行对位控制处理时,作为一例,图8及图9所示,当焦距为阈值th以上时,与透镜侧抖动校正机构29的适用比例相比,提高摄像元件侧抖动校正机构45的适用比例。摄像元件侧抖动校正机构45使来自被摄体的光成像的受光面25A移动,因此能够不依赖于焦距而使被摄体图像位置与中央区域对齐。
相对于此,当焦距小于阈值th时,与适用摄像元件侧抖动校正机构45的比例相比,提高适用透镜侧抖动校正机构29的比例。透镜侧抖动校正机构29通过与工作前相比倾斜光轴OA而使被摄体图像位置的位置与中央区域对齐。因此,通过使防振透镜15B1向与光轴OA垂直的方向移动,能够使被摄体图像位置的位置与中央区域对齐。
如以上说明,监控摄像机10具备摄像支援装置44。在摄像支援装置44中,当监控摄像机10的焦距为阈值th以上时,提高适用摄像元件侧抖动校正机构45的比例,当小于阈值th时,提高适用透镜侧抖动校正机构29的比例,来进行对位控制。因此,根据本结构,相较于与焦距无关地仅根据摄像元件侧抖动校正机构45或透镜侧抖动校正机构29进行对位控制的情况相比,能够使被摄体图像位置与摄像图像内的中央区域(特定位置的一例)对齐。
在本实施方式中,当焦距为阈值th以上时,在对位控制中,透镜侧抖动校正机构29的适用比例低于摄像元件侧抖动校正机构45的适用比例。在该情况下,使透镜侧抖动校正机构29执行抖动校正控制。由此,在进行对位控制的期间,也能够校正抖动。
尤其,当焦距超出“阈值th+x”时,在对位控制中不使用透镜侧抖动校正机构29,因此能够将透镜侧抖动校正机构29仅用于抖动校正而校正抖动。
相对于此,当焦距小于阈值th时,在对位控制中,摄像元件侧抖动校正机构45的适用比例低于透镜侧抖动校正机构29的适用比例。在该情况下,通过使摄像元件侧抖动校正机构45执行抖动校正控制,在进行对位控制的期间,也能够校正抖动。
尤其,当焦距小于“阈值th-x”时,在对位控制中不使用摄像元件侧抖动校正机构45,因此能够将摄像元件侧抖动校正机构45仅用于抖动校正而校正抖动。
本实施方式的监控摄像机10具有变倍机构。当焦距发生变化时,并用透镜侧抖动校正机构29及摄像元件侧抖动校正机构45进行对位控制。与当焦距发生变化时仅使用透镜侧抖动校正机构29或摄像元件侧抖动校正机构45进行对位控制处理的情况相比,能够高精度地使被摄体图像位置与摄像图像的中央区域对齐。
尤其,在本实施方式中,在如此具有变倍机构的监控摄像机10中,焦距在“阈值th-x”以上且“阈值th+x”以下的范围时,并用透镜侧抖动校正机构29及摄像元件侧抖动校正机构45进行对位控制处理,因此相较于例如与焦距是否在“阈值th-x”以上且“阈值th+x”以下的范围无关地始终仅使用摄像元件侧抖动校正机构45或透镜侧抖动校正机构29进行对位控制的情况相比,能够高精度地使被摄体图像位置与摄像图像内的特定位置对齐。
而且,焦距在“阈值th-x”以上且“阈值th+x”以下的范围时,透镜侧抖动校正机构29的适用比例线性减小,摄像元件侧抖动校正机构45的适用比例线性增加。当监控摄像机10的焦距通过变倍机构18连续地发生变化时,不会由透镜侧抖动校正机构29急剧切换为摄像元件侧抖动校正机构45。因此,能够抑制从摄像图像视觉地识别到由仅使用透镜侧抖动校正机构29的对位控制处理及仅使用摄像元件侧抖动校正机构45的对位控制中的一种切换为另一种的时刻。
在本实施方式中,当监控摄像机10的焦距未发生变化时,抖动校正部24使透镜侧抖动校正机构29及摄像元件侧抖动校正机构45中的任一个执行抖动校正控制。因此,与当焦距未发生变化时不校正抖动的结构相比,能够得到抖动的影响减少的摄像图像。
当监控摄像机10的焦距小于“阈值th-x”时,抖动校正部24适用透镜侧抖动校正机构29进行对位控制。当焦距小于“阈值th-x”时,在对位控制中不适用摄像元件侧抖动校正机构45,因此能够确保使用摄像元件侧抖动校正机构45进行抖动校正控制,即校正抖动的余地。
当焦距超出“阈值th+x”时,抖动校正控制部适用摄像元件侧抖动校正机构45进行对位控制。当焦距超出“阈值th+x”时,在对位控制中不适用透镜侧抖动校正机构29,因此能够确保使用透镜侧抖动校正机构29进行抖动校正控制,即校正抖动的余地。
[第二实施方式]
接着,对第二实施方式进行说明。在第二实施方式中,对与第一实施方式相同的要件、部件等标注与第一实施方式相同的符号,并省略详细说明。并且,作为第二实施方式的摄像装置的一例的监控摄像机的整体结构也与第一实施方式的监控摄像机10相同,因此省略图示。
在第二实施方式中,当进行对位控制处理时,摄像支援装置还进行如下步骤:除了使透镜侧抖动校正机构29和/或摄像元件侧抖动校正机构45进行工作以外,还使回转机构16进行工作,由此使监控摄像机10进行回转。
例如,当焦距在长焦侧及广角侧中的广角侧且被摄体图像位置不在中央区域内时,有时能够通过使回转机构16进行工作而使监控摄像机10进行回转来将被摄体图像位置设在中央区域内。进而,即使在被摄体图像位置不在摄像图像内的情况下,通过使回转机构16进行工作而使监控摄像机10进行回转,有时也能够将被摄体图像位置设在摄像图像内。
作为一例,如图15所示,存储器60B中,除了比例导出表60L以外,还存储有回转量导出表60M。在回转量导出表60M中,偏移量与监控摄像机10的回转量建立有对应关系。在此,回转量为根据被摄体图像位置与中央区域的偏移量在摄像图像内使被摄体图像位置靠近中央区域时使用的信息。
与一对轴向的各自对应地规定有回转量。即,与俯仰轴PA方向及偏航轴YA方向的各自对应地规定有回转量。因此,在摄像图像内,能够使被摄体图像位置在俯仰轴PA方向及偏航轴YA方向的两个方向上靠近中央区域CE。另外,在此例示出回转量导出表60M,但本发明的技术并不限定于此。例如,也可以代替回转量导出表60M而适用将偏移量作为自变量并将回转量作为因变量的回转量导出用算术表达式。
对位控制部37G从回转量导出表60M获取回转量。而且,对位控制部37G通过使回转机构16以所导出的回转量进行工作而使监控摄像机10向俯仰方向和/或偏航方向进行回转。
在图16A及图16B中示出在第二实施方式中由CPU60A(参考图5)执行的对位控制处理的流程的一例。与图10A及图10B所示的对位控制处理的流程相比,图16A及图16B的不同点在于,在步骤ST22与步骤ST24之间具有步骤ST100至步骤ST106。图16A及图16B所示的对位控制处理的流程为本发明的技术中的“摄像支援方法”的一例。
在步骤ST100中,对位控制部37G从存储于存储器60B中的回转量导出表60M导出与偏移量相对应的回转量。
在步骤ST102中,对位控制部37G通过使回转机构16进行工作而使监控摄像机10进行回转。
在步骤ST104中,对位控制部37G计算偏移量。
在步骤ST106中,对位控制部37G判定是否存在偏移。在步骤ST106中,当不存在偏移时,判定被否定,对位控制处理转移到步骤ST32(参考图10B)。在步骤ST106中,当存在偏移时,判定被肯定,对位控制处理转移到步骤ST24。
因此,在第二实施方式中,当被摄体图像位置与中央区域存在偏移时,回转机构16进行工作,监控摄像机10以与偏移量相对应的回转量进行回转。通过使监控摄像机10进行回转,当对象被摄体图像位于摄像图像的外部时,能够实现对象被摄体图像位于摄像图像内的状态。
与基于监控摄像机10的回转的对位的精度相比,基于透镜侧抖动校正机构29及摄像元件侧抖动校正机构45的对位的精度高。相对于此,与基于透镜侧抖动校正机构29及摄像元件侧抖动校正机构45的对位相比,基于监控摄像机10的回转的对位能够在短时间内使宽范围对位。因此,作为一例,如图17所示,首先,能够通过监控摄像机10的回转进行对位的粗调,然后,通过透镜侧抖动校正机构29及摄像元件侧抖动校正机构45,以比基于监控摄像机10的回转的对位高的对位精度进行对位的微调。
尤其,在使用回转机构16的对位控制中,当基于回转机构16的工作的回转角存在偏差时,在基于回转机构16的对位控制中,难以使被摄体图像位置位于中央区域。在本实施方式中,在对位控制中,通过回转机构16的工作进行对被摄体图像位置的粗调,然后,通过透镜侧抖动校正机构29和/或摄像元件侧抖动校正机构45的工作进行对被摄体图像位置的微调,因此能够实现对位控制高精度化。
在上述各实施方式中,举出了如下例子:在监控摄像机10具有摄像元件侧抖动校正机构45和电子式抖动校正部33作为图像区域移动部的结构中,在对位控制中适用摄像元件侧抖动校正机构45。但是,在对位控制中适用的图像区域移动部可以为电子式抖动校正部33,也可以并用摄像元件侧抖动校正机构45和电子式抖动校正部33。
在上述各实施方式中,例示出如下情况:在对位控制处理中计算被摄体图像位置的偏移量,当存在偏移时进行对位控制。相对于此,也可以对被摄体图像位置的偏移量设定阈值(以下,称为“偏移阈值”),当偏移量为偏移阈值以上时,通过使抖动校正部24进行工作而进行对位控制。
在该情况下,例如可以与监控摄像机10的焦距是否发生变化无关地在恒定的时刻计算偏移量。例如,即使在监控摄像机10的焦距未发生变化而维持在广角侧的状态下,由于对象被摄体本身进行移动等,有时对象被摄***置虽然在摄像图像的内部,但处于中央区域的外部。若该状态下的偏移量大,则当通过变倍机构18向长焦侧变倍时,被摄体图像有可能被放大并且移动到摄像图像的外部。因此,作为偏移阈值,能够将位于中央区域的外部的被摄体图像位置是否因从广角侧向长焦侧的变倍而移动到摄像图像的外部作为基准来进行设定。
尤其,当使抖动校正部进行工作时,成为摄像图像的中心与光轴偏移的状态,因此即使被摄体图像位置位于中央区域,若在该状态下使焦距向长焦侧变倍,则被摄体图像位置也有可能向摄像图像的外侧移动。在该情况下,通过进行对位控制,与不进行对位控制的结构相比,能够以高精度使被摄体图像位置与中央区域对齐。
在本实施方式中,作为本发明的技术所涉及的“透镜移动机构”的一例,举出了透镜侧抖动校正机构29,作为本发明的技术所涉及的“图像区域移动部(图像区域移动组件)”的一例,举出了摄像元件侧抖动校正机构45及电子式抖动校正部33。透镜侧抖动校正机构29、摄像元件侧抖动校正机构45及电子式抖动校正部33均为抖动校正部的一例,其适用于用于校正被摄体图像位置的偏移。然而,本发明的技术所涉及的透镜移动机构并不限定于用于校正被摄体图像位置的偏移的机构,只要为能够使透镜向与光轴OA交叉的方向移动的机构即可。本发明的技术所涉及的图像区域移动部也只要能够使摄像元件25中的摄像图像的区域向与光轴OA交叉的方向移动,则不限定于用于校正被摄体图像位置的偏移的结构。
在上述实施方式中说明的中央区域为本发明的技术所涉及的“特定位置”的一例。“特定位置”并不限定于摄像图像中的中央区域,也可以为从摄像图像的中央向俯仰方向及偏航方向偏移的位置。通过将特定位置设为摄像图像内的中央区域,能够使被摄体图像位置与摄像图像内的中央对齐。
并且,在监控摄像机10中,通过使防振透镜15B1移动而校正抖动。因此,能够在防振透镜15B1的可动区域的范围内校正抖动及使被摄体图像位置与中央区域对齐。
在上述实施方式中,作为一例,举出了如下例子:如图9所示,焦距在既定范围时,在对位控制中,适用透镜侧抖动校正机构29的比例线性减小,适用摄像元件侧抖动校正机构45的比例线性增加。相对于此,例如也可以为如下控制:如图18所示,当焦距小于阈值th时,将透镜侧抖动校正机构29的适用比例设为100%,当焦距为阈值th以上时,将摄像元件侧抖动校正机构45的适用比例设为100%。作为一例,在图18所示的控制中,根据焦距是否为阈值th以上来仅适用透镜侧抖动校正机构29及摄像元件侧抖动校正机构45中的一个,因此容易进行对位控制。
在上述各实施方式中,管理装置11的存储器60B中存储有对位控制处理程序36A、显示控制处理程序36B及变倍机构控制处理程序36C。而且,举出了通过管理装置11的储存器60C执行这些程序的方式例。本发明的技术并不限定于此。例如,也可以为监控摄像机10的存储器36中存储有这些程序,由监控摄像机10的CPU37通过储存器35执行这些程序的例子。此外,作为一例,如图19所示,也可以将对位控制处理程序36A、显示控制处理程序36B及变倍机构控制处理程序36C预先存储于作为非临时性存储介质的存储介质100中。在图19所示的例子的情况下,存储于存储介质100中的对位控制处理程序36A、显示控制处理程序36B及变倍机构控制处理程序36C安装于控制装置60中,CPU60A按照对位控制处理程序36A、显示控制处理程序36B及变倍机构控制处理程序36C执行上述各处理。
在图5所示的例子中,CPU60A为单个CPU,但本发明的技术并不限定于此,也可以采用多个CPU。另外,作为存储介质100的一例,可以举出SSD或USB存储器等任意的便携式存储介质。
并且,也可以在经由通信网(省略图示)连接于计算机19的其他计算机或服务器装置等的存储部中预先存储对位控制处理程序36A,并根据上述监控摄像机10的请求将对位控制处理程序36A下载于计算机19中。在该情况下,由计算机19的CPU37执行下载的对位控制处理程序36A。
并且,在图16所示的例子中,示出了在管理装置11的控制装置60中安装有对位控制处理程序36A、显示控制处理程序36B及变倍机构控制处理程序36C的方式,但本发明的技术并不限定于此,也可以在监控摄像机10的计算机19中安装对位控制处理程序36A、显示控制处理程序36B及变倍机构控制处理程序36C。在该情况下,CPU37按照对位控制处理程序36A执行上述对位控制处理,按照显示控制处理程序36B执行上述显示控制处理,并按照变倍机构控制处理程序36C执行上述变倍机构控制处理。并且,也可以由监控摄像机10和管理装置11分散进行对位控制处理、显示控制处理及变倍机构控制处理。例如,可以由管理装置11的CPU60A执行对位控制,由监控摄像机10的CPU37执行显示控制及变倍机构控制。
并且,在上述实施方式中,举出作为变倍机构控制部37S、显示控制部37T、获取部37P、焦距变化判定部37Q、被摄体图像检测部37A、图像位置判定部37B、偏移量计算部37D、偏移判定部37E及对位控制部37G,通过基于控制装置60的软件结构来实现的方式例进行了说明,但本发明的技术并不限定于此。例如,变倍机构控制部37S、显示控制部37T、获取部37P、焦距变化判定部37Q、被摄体图像检测部37A、图像位置判定部37B、偏移量计算部37D、偏移判定部37E和/或对位控制部37G例如也可以通过包括ASIC、FPGA和/或PLD的器件来实现。并且,变倍机构控制部37S、显示控制部37T、获取部37P、焦距变化判定部37Q、被摄体图像检测部37A、图像位置判定部37B、偏移量计算部37D、偏移判定部37E和/或对位控制部37G也可以通过硬件结构与软件结构的组合来实现。
作为执行上述对位控制处理、显示控制处理及变倍机构控制处理(以下,将这些处理统称为“控制处理”)的硬件资源,能够使用如下所示的各种处理器。作为处理器,例如,如上所述,可以举出通过执行软件即程序而作为执行控制处理的硬件资源发挥作用的通用的处理器即CPU。并且,作为处理器,例如可以举出FPGA、PLD或ASIC等具有为了执行特定处理而专门设计的电路结构的处理器即专用电路。在任何处理器中都内置或连接有储存器,任何处理器都通过使用储存器来执行控制处理。
执行控制处理的硬件资源可以由这些各种处理器中的一个构成,也可以由相同种类或不同种类的两个以上的处理器的组合(例如,多个FPGA的组合、或CPU与FPGA的组合)构成。并且,执行控制处理的硬件资源也可以为一个处理器。
作为由一个处理器构成的例子,第一,有以一个以上的CPU与软件的组合构成一个处理器,该处理器作为执行变倍机构控制部37S、显示控制部37T、获取部37P、焦距变化判定部37Q、被摄体图像检测部37A、图像位置判定部37B、偏移量计算部37D、偏移判定部37E及对位控制部37G各自的处理的硬件资源发挥作用的方式。第二,有以SoC等为代表那样,使用由一个IC芯片实现包括执行对位控制处理的多个硬件资源的***整体的功能的处理器的方式。如此,变倍机构控制部37S、显示控制部37T、获取部37P、焦距变化判定部37Q、被摄体图像检测部37A、图像位置判定部37B、偏移量计算部37D、偏移判定部37E及对位控制部37G各自的处理使用上述各种处理器中的一个以上作为硬件资源来实现。
另外,作为这些各种处理器的硬件结构,更具体而言,能够使用将半导体元件等电路元件组合而成的电路。
并且,上述对位控制处理仅仅是一例。因此,在不脱离宗旨的范围内,当然可以删除不必要的步骤,或者追加新的步骤,或者更换处理顺序。
并且,在上述实施方式中,作为本发明的技术所涉及的摄像装置的一例,举出了监控摄像机10,但本发明的技术并不限定于此。例如,也能够代替监控摄像机10而对便携式的镜头可换式摄像机、便携式的镜头固定式摄像机、个人电脑、智能器件或可穿戴式终端装置等各种电子设备适用本发明的技术。即使是这些电子设备,也可得到与上述各实施方式中所说明的监控摄像机10相同的作用及效果。
并且,上述控制处理仅仅是一例。因此,在不脱离宗旨的范围内,当然可以删除不必要的步骤,或者追加新的步骤,或者更换处理顺序。
以上所示的记载内容及图示内容为关于本发明的技术所涉及的一部分的详细说明,只不过是本发明的技术的一例。例如,与上述结构、功能、作用及效果有关的说明为与本发明的技术所涉及的部分的结构、功能、作用及效果的一例有关的说明。因此,在不脱离本发明的技术宗旨的范围内,当然可以对以上所示的记载内容及图示内容删除不必要的部分,或者追加或替换新的要件。并且,为了避免错综复杂的情况,并且容易理解本发明的技术所涉及的部分,在以上所示的记载内容及图示内容中省略了与在使得能够实施本发明的技术的方面不特别需要说明的技术常识等有关的说明。
在本说明书中,“A和/或B”的含义与“A及B中的至少一个”相同。即,“A和/或B”的含义是可以仅为A,也可以仅为B,也可以为A与B的组合。并且,在本说明书中,将3个以上的事项用“和/或”连结而表现的情况也适用与“A和/或B”相同的思路。
本说明书中所记载的所有文献、专利申请及技术标准与具体地且分别地记载通过参考而被并入的各个文献、专利申请及技术标准的情况相同程度地,通过参考而被并入本说明书中。
关于以上实施方式,还公开以下附记。
(附记)
一种信息处理装置,其包括:
处理器;及
储存器,内置或连接于上述处理器,
上述处理器进行如下处理:
获取具有透镜及摄像元件的摄像装置的焦距,上述摄像装置具有使透镜向与透镜的光轴交叉的方向移动的透镜移动机构和使摄像元件中的摄像图像的区域向与光轴交叉的方向移动的图像区域移动部;
检测利用摄像装置拍摄包含对象被摄体的摄像区域而得到的摄像图像内的表示对象被摄体的对象被摄体图像的被摄体图像位置;
当所获取的焦距为阈值以上时,提高与透镜移动机构相比适用图像区域移动部的比例,当焦距小于阈值时,提高与图像区域移动部相比适用透镜移动机构的比例,由此进行使所检测到的被摄体图像位置与摄像图像内的特定位置对齐的对位控制。
Claims (16)
1.一种摄像支援装置,其包括:
处理器;及
储存器,内置或连接于所述处理器,
所述处理器进行如下处理:
获取具有透镜及摄像元件的摄像装置的焦距,所述摄像装置具有使所述透镜向与所述透镜的光轴交叉的方向移动的透镜移动机构和使所述摄像元件中的摄像图像的区域向与所述光轴交叉的方向移动的图像区域移动组件;
检测利用所述摄像装置拍摄包含对象被摄体的摄像区域而得到的摄像图像内的表示所述对象被摄体的对象被摄体图像的被摄体图像位置;
当所获取的所述焦距为阈值以上时,提高与所述透镜移动机构相比适用所述图像区域移动组件的比例,当所述焦距小于所述阈值时,提高与所述图像区域移动组件相比适用所述透镜移动机构的比例,由此进行使所检测到的所述被摄体图像位置与所述摄像图像内的特定位置对齐的对位控制。
2.根据权利要求1所述的摄像支援装置,其中,
所述透镜移动机构为通过所述透镜的移动来校正因施加于所述摄像装置的振动而产生的抖动的透镜侧抖动校正机构,
所述图像区域移动组件为通过摄像元件的移动或对利用所述摄像元件进行拍摄而得到的摄像图像的图像处理来校正所述抖动的摄像元件侧抖动校正组件,
所述处理器通过如下处理来进行所述对位控制:当所述焦距为阈值以上时,提高与所述透镜侧抖动校正机构相比适用所述摄像元件侧抖动校正组件的比例,当所述焦距小于所述阈值时,提高与所述摄像元件侧抖动校正组件相比适用所述透镜侧抖动校正机构的比例。
3.根据权利要求2所述的摄像支援装置,其中,
当所获取的所述焦距为所述阈值以上时,所述处理器使所述透镜侧抖动校正机构校正所述抖动。
4.根据权利要求2或3所述的摄像支援装置,其中,
当所获取的所述焦距小于所述阈值时,所述处理器使所述摄像元件侧抖动校正组件校正所述抖动。
5.根据权利要求1至4中任一项所述的摄像支援装置,其中,
所述摄像装置具有使所述焦距可变的变倍机构,
当所获取的所述焦距发生变化时,所述处理器通过并用所述摄像元件侧抖动校正组件及所述透镜侧抖动校正机构来进行所述对位控制。
6.根据权利要求1至5中任一项所述的摄像支援装置,其中,
当所获取的所述焦距未发生变化时,所述处理器使所述摄像元件侧抖动校正组件及所述透镜侧抖动校正机构中的至少一个校正所述抖动。
7.根据权利要求1至6中任一项所述的摄像支援装置,其中,
当所获取的所述焦距在包含所述阈值的既定范围内时,所述处理器并用所述透镜侧抖动校正机构及所述摄像元件侧抖动校正组件进行所述对位控制。
8.根据权利要求7所述的摄像支援装置,其中,
所述对位控制包括如下控制:当由所述处理器获取的所述焦距在所述既定范围内时,随着所述焦距变长而逐渐增加与所述透镜侧抖动校正机构相比适用所述摄像元件侧抖动校正组件的比例。
9.根据权利要求7或8所述的摄像支援装置,其中,
当所获取的所述焦距小于所述既定范围的下限值时,所述处理器使用所述透镜侧抖动校正机构及所述摄像元件侧抖动校正组件中的所述透镜侧抖动校正机构进行所述对位控制。
10.根据权利要求7至9中任一项所述的摄像支援装置,其中,
当所获取的所述焦距超出所述既定范围的上限值时,所述处理器使用所述透镜侧抖动校正机构及所述摄像元件侧抖动校正组件中的所述摄像元件侧抖动校正组件进行所述对位控制。
11.根据权利要求1至10中任一项所述的摄像支援装置,其中,
所述处理器通过使用对位组件来进行所述对位控制,所述对位组件包括能够使所述摄像装置进行回转的回转机构、所述摄像元件侧抖动校正组件及所述透镜侧抖动校正机构,
关于在所述摄像图像内调整所述被摄体图像位置的对位精度,所述摄像元件侧抖动校正组件及所述透镜侧抖动校正机构比所述回转机构高。
12.一种摄像支援***,其包括:
权利要求11所述的摄像支援装置;及
所述回转机构,
当所述回转机构使所述摄像装置进行回转时,所述摄像支援装置支援基于所述摄像装置的摄像。
13.一种摄像***,其包括:
权利要求1至11中任一项所述的摄像支援装置;及
所述摄像装置,
所述摄像支援装置进行对所述摄像装置的摄像的支援。
14.根据权利要求13所述的摄像***,其还包括使所述摄像装置进行回转的回转机构。
15.一种摄像支援方法,其包括如下步骤:
获取具有透镜及摄像元件的摄像装置的焦距,所述摄像装置具有使所述透镜向与所述透镜的光轴交叉的方向移动的透镜移动机构和使所述摄像元件中的摄像图像的区域向与所述光轴交叉的方向移动的图像区域移动组件;
检测利用所述摄像装置拍摄包含对象被摄体的摄像区域而得到的摄像图像内的表示所述对象被摄体的对象被摄体图像的被摄体图像位置;及
当所获取的所述焦距为阈值以上时,提高与所述透镜侧抖动校正机构相比适用所述摄像元件侧抖动校正组件的比例,当所述焦距小于所述阈值时,提高与所述摄像元件侧抖动校正组件相比适用所述透镜侧抖动校正机构的比例,由此进行使所检测到的所述被摄体图像位置与所述摄像图像内的特定位置对齐的对位控制。
16.一种程序,该程序用于使计算机执行包括如下步骤的处理:
获取具有透镜及摄像元件的摄像装置的焦距,所述摄像装置具有使所述透镜向与所述透镜的光轴交叉的方向移动的透镜移动机构和使所述摄像元件中的摄像图像的区域向与所述光轴交叉的方向移动的图像区域移动组件;
检测利用所述摄像装置拍摄包含对象被摄体的摄像区域而得到的摄像图像内的表示所述对象被摄体的对象被摄体图像的被摄体图像位置;及
当所获取的所述焦距为阈值以上时,提高与所述透镜侧抖动校正机构相比适用所述摄像元件侧抖动校正组件的比例,当所述焦距小于所述阈值时,提高与所述摄像元件侧抖动校正组件相比适用所述透镜侧抖动校正机构的比例,由此进行使所检测到的所述被摄体图像位置与所述摄像图像内的特定位置对齐的对位控制。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019-196683 | 2019-10-29 | ||
JP2019196683 | 2019-10-29 | ||
PCT/JP2020/039427 WO2021085249A1 (ja) | 2019-10-29 | 2020-10-20 | 撮像支援装置、撮像支援システム、撮像システム、撮像支援方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114631056A true CN114631056A (zh) | 2022-06-14 |
CN114631056B CN114631056B (zh) | 2024-07-09 |
Family
ID=75715110
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080075914.8A Active CN114631056B (zh) | 2019-10-29 | 2020-10-20 | 摄像支援装置、摄像支援***、摄像***、摄像支援方法及存储介质 |
Country Status (4)
Country | Link |
---|---|
US (2) | US11895403B2 (zh) |
JP (3) | JP7265642B2 (zh) |
CN (1) | CN114631056B (zh) |
WO (1) | WO2021085249A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114827447A (zh) * | 2021-01-29 | 2022-07-29 | 北京小米移动软件有限公司 | 图像抖动校正方法和装置 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022155134A (ja) * | 2021-03-30 | 2022-10-13 | キヤノン株式会社 | 撮像装置 |
WO2023029046A1 (zh) * | 2021-09-06 | 2023-03-09 | 深圳市大疆创新科技有限公司 | 拍摄设备及其对焦方法、拍摄***、可读存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006071743A (ja) * | 2004-08-31 | 2006-03-16 | Olympus Corp | ブレ補正機能を有するカメラシステム及びその補正方法 |
JP2008199275A (ja) * | 2007-02-13 | 2008-08-28 | Casio Comput Co Ltd | 手ぶれ補正装置及びプログラム |
CN106164730A (zh) * | 2014-04-10 | 2016-11-23 | 奥林巴斯株式会社 | 焦点调节装置、照相机***以及摄像装置的焦点调节方法 |
US20170214838A1 (en) * | 2016-01-26 | 2017-07-27 | Canon Kabushiki Kaisha | Image capturing apparatus and method for controlling the same, image stabilization apparatus and method for controlling the same, and lens unit |
CN107026960A (zh) * | 2015-12-25 | 2017-08-08 | 奥林巴斯株式会社 | 摄像装置 |
CN110012219A (zh) * | 2017-12-26 | 2019-07-12 | 佳能株式会社 | 图像稳定控制设备、摄像设备和***及方法、存储介质 |
US20190222763A1 (en) * | 2018-01-12 | 2019-07-18 | Canon Kabushiki Kaisha | Image stabilization control apparatus, image capturing system, control method, and recording medium |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2803072B2 (ja) * | 1990-10-18 | 1998-09-24 | 富士写真フイルム株式会社 | 手振れ補正装置 |
JPH0946575A (ja) * | 1995-07-26 | 1997-02-14 | Sony Corp | 撮像装置 |
JPH11187303A (ja) * | 1997-12-22 | 1999-07-09 | Canon Inc | 画像処理装置および方法並びに記憶媒体 |
US6661450B2 (en) * | 1999-12-03 | 2003-12-09 | Fuji Photo Optical Co., Ltd. | Automatic following device |
JP2005077886A (ja) * | 2003-09-02 | 2005-03-24 | Canon Inc | 撮影装置 |
US7952612B2 (en) * | 2006-06-22 | 2011-05-31 | Nokia Corporation | Method and system for image construction using multiple exposures |
JP2012247544A (ja) * | 2011-05-26 | 2012-12-13 | Fujifilm Corp | 撮像装置、プログラム及び撮像装置のブレ補正方法 |
US9684184B2 (en) * | 2014-09-08 | 2017-06-20 | Apple Inc. | Upright mounted camera actuator component with trapezoidal magnet for optical image stabilization |
JP6486656B2 (ja) | 2014-11-11 | 2019-03-20 | オリンパス株式会社 | 撮像装置 |
US10129464B1 (en) * | 2016-02-18 | 2018-11-13 | Gopro, Inc. | User interface for creating composite images |
JP7023676B2 (ja) * | 2017-11-20 | 2022-02-22 | キヤノン株式会社 | 撮像装置およびその制御方法 |
JP2019091063A (ja) * | 2019-01-17 | 2019-06-13 | 株式会社ニコン | ブレ補正装置、電子機器及びカメラ |
-
2020
- 2020-10-20 CN CN202080075914.8A patent/CN114631056B/zh active Active
- 2020-10-20 JP JP2021553469A patent/JP7265642B2/ja active Active
- 2020-10-20 WO PCT/JP2020/039427 patent/WO2021085249A1/ja active Application Filing
-
2022
- 2022-04-26 US US17/728,993 patent/US11895403B2/en active Active
-
2023
- 2023-04-10 JP JP2023063730A patent/JP7456043B2/ja active Active
- 2023-12-14 US US18/539,310 patent/US20240114245A1/en active Pending
-
2024
- 2024-03-05 JP JP2024033329A patent/JP2024073503A/ja active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006071743A (ja) * | 2004-08-31 | 2006-03-16 | Olympus Corp | ブレ補正機能を有するカメラシステム及びその補正方法 |
JP2008199275A (ja) * | 2007-02-13 | 2008-08-28 | Casio Comput Co Ltd | 手ぶれ補正装置及びプログラム |
CN106164730A (zh) * | 2014-04-10 | 2016-11-23 | 奥林巴斯株式会社 | 焦点调节装置、照相机***以及摄像装置的焦点调节方法 |
CN107026960A (zh) * | 2015-12-25 | 2017-08-08 | 奥林巴斯株式会社 | 摄像装置 |
US20170214838A1 (en) * | 2016-01-26 | 2017-07-27 | Canon Kabushiki Kaisha | Image capturing apparatus and method for controlling the same, image stabilization apparatus and method for controlling the same, and lens unit |
CN110012219A (zh) * | 2017-12-26 | 2019-07-12 | 佳能株式会社 | 图像稳定控制设备、摄像设备和***及方法、存储介质 |
US20190222763A1 (en) * | 2018-01-12 | 2019-07-18 | Canon Kabushiki Kaisha | Image stabilization control apparatus, image capturing system, control method, and recording medium |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114827447A (zh) * | 2021-01-29 | 2022-07-29 | 北京小米移动软件有限公司 | 图像抖动校正方法和装置 |
CN114827447B (zh) * | 2021-01-29 | 2024-02-09 | 北京小米移动软件有限公司 | 图像抖动校正方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
US20220256086A1 (en) | 2022-08-11 |
US20240114245A1 (en) | 2024-04-04 |
JP7265642B2 (ja) | 2023-04-26 |
US11895403B2 (en) | 2024-02-06 |
JP2023089098A (ja) | 2023-06-27 |
JPWO2021085249A1 (zh) | 2021-05-06 |
WO2021085249A1 (ja) | 2021-05-06 |
JP2024073503A (ja) | 2024-05-29 |
JP7456043B2 (ja) | 2024-03-26 |
CN114631056B (zh) | 2024-07-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110012224B (zh) | 摄像头防抖***、方法、电子设备和计算机可读存储介质 | |
CN114631056B (zh) | 摄像支援装置、摄像支援***、摄像***、摄像支援方法及存储介质 | |
CN114641985B (zh) | 摄像支援装置、摄像支援***、摄像***、摄像支援方法及存储介质 | |
US11968448B2 (en) | Imaging support device, imaging apparatus, imaging system, imaging support system, imaging support method, and program | |
US20220191399A1 (en) | Blur detection device, imaging device, lens device, imaging device main body, blur detection method, and blur detection program | |
WO2021106454A1 (ja) | 撮像支援装置、撮像装置、撮像システム、撮像支援方法、及びプログラム | |
JP2019092036A (ja) | 撮像装置及び制御方法 | |
JP7209107B2 (ja) | 撮像支援装置、撮像装置、撮像システム、撮像支援システム、撮像支援方法、及びプログラム | |
JP3896015B2 (ja) | 振れ補正機能付き撮像装置 | |
CN114761871B (zh) | 摄像支援装置、摄像***、摄像支援方法及存储介质 | |
WO2024057788A1 (ja) | 制御装置、撮像システム、制御方法、及び制御プログラム | |
JP7289929B2 (ja) | 撮像支援装置、撮像システム、撮像支援方法、及びプログラム | |
WO2023008102A1 (ja) | 撮影制御装置、撮影システム、撮影制御方法、及び撮影制御プログラム | |
JP6188369B2 (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |