CN117280708A - 利用基于ai的对象识别的监控摄像机的快门值调节 - Google Patents

利用基于ai的对象识别的监控摄像机的快门值调节 Download PDF

Info

Publication number
CN117280708A
CN117280708A CN202180097267.5A CN202180097267A CN117280708A CN 117280708 A CN117280708 A CN 117280708A CN 202180097267 A CN202180097267 A CN 202180097267A CN 117280708 A CN117280708 A CN 117280708A
Authority
CN
China
Prior art keywords
shutter value
image
shutter
monitoring camera
moving speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180097267.5A
Other languages
English (en)
Inventor
郑荣济
李尚旭
林定恩
卞载云
金恩贞
朴基范
李尚远
崔恩智
卢承仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hanhua Vision Co ltd
Original Assignee
Hanhua Vision Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hanhua Vision Co ltd filed Critical Hanhua Vision Co ltd
Publication of CN117280708A publication Critical patent/CN117280708A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Studio Devices (AREA)

Abstract

公开一种监控摄像机图像的处理装置。根据本发明的一实施例的监控摄像机图像的处理装置可以从通过图像拍摄部获取的图像中识别对象，计算与对象的移动速度对应的目标快门值，并基于目标快门值确定在自动曝光控制过程中的传感器增益控制区间的开始点的快门值。在对象的运动较快的情况下应用高速快门，而在对象不存在或对象的运动较慢的情况下应用低速快门，因此在自动曝光控制过程中，能够根据照度使噪声和运动模糊现象最小化。在本发明中，监控摄像机、自动驾驶车辆、用户终端以及服务器中的一个以上可以与人工智能(Artificial Intelligence)模块、机器人、增强现实(AR：Augmented Reality)装置、虚拟现实(VT：Virtual reality)装置、5G服务相关的装置等链接。

Description

利用基于AI的对象识别的监控摄像机的快门值调节
技术领域
本发明涉及一种监控摄像机的图像处理方法。
背景技术
为了实现监控摄像机的残影减少效果而使用的高速快门在低照度条件下也必然会存在由于传感器增益(gain)的放大量增加而导致在画面上产生很多噪声的问题。
为了减少这种噪声的产生，可以考虑使用低速快门的方案，但是，在使用低速快门的情况下，画面上的噪声减少，但是对作为监控摄像机的主要监视对象的人和对象(例如，汽车等)的运动模糊效果(motion blur)可能会增加。可能出现通过这种运动模糊效果增强的图像数据无法识别人和对象的问题。
此外，监控摄像机为了最大限度地减少监视对象对象的运动残影，需要适当地降低噪声去除强度，若降低噪声去除强度，运动残影减少，但是噪声会更多，并且画面上的噪声经常会产生过多，从而可能引起增加图像传输带宽(Band Width)的问题。
因此，需要一种提高针对作为主要监视对象的人和对象的识别率的同时使残影效果最小化的方案。
发明内容
技术问题
本发明用于解决上述的技术问题，其目的在于提供一种能够通过根据画面上的对象的存在与否来自动控制快门速度而使运动残影(motion blur)最小化的监控摄像机的图像处理方法。
此外，本发明的目的在于提供一种能够在低照度条件下根据画面上的对象的运动与否来使运动残影和噪声最小化的监控摄像机的图像处理方法。
本发明所要实现的技术问题不限于以上提及的技术问题，本发明所属技术领域的普通人员可以从以下的详细说明中清楚地理解未提及的其他技术问题。
技术方案
根据本发明的一实施例的监控摄像机图像的处理装置包括：图像拍摄部；以及处理器，从通过所述图像拍摄部获取的图像中识别对象，计算与所述对象的移动速度对应的目标快门值，并控制为基于计算出的所述目标快门值来确定在自动曝光控制过程中的传感器增益控制区间的开始点的快门值，其中，所述传感器增益控制区间的开始点的快门值被确定为根据所述对象的移动速度来在第一快门值与比所述第一快门值小的第二快门值之间改变。
所述处理器可以在所述对象的移动速度为第一临界速度以上的情况下，将所述快门值设定为高速快门值，在所述对象的移动速度为比所述第一临界速度小的第二临界速度的情况下，将所述快门值设定为低速快门值。
所述处理器可以应用基于深度学习的YOLO(You Only Look Once)算法识别所述对象。
所述处理器可以向识别到的每个所述对象赋予ID，提取所述对象的坐标，并基于第一图像帧和所述第一图像帧的下一帧的第二图像帧中包含的所述对象的坐标信息来计算所述对象的平均移动速度。
所述目标快门值可以以所述监控摄像机的最低快门值(Minimum Shutter Speed)为基准，基于一帧时间内的对象的移动量和所述监控摄像机图像的分辨率(resolution)来计算。
所述一帧时间内的移动量可以基于所述对象的平均移动速度来计算。
所述监控摄像机图像的分辨率可以是指分别可应用于高分辨率摄像机和/或低分辨率摄像机的视觉敏感度(Visual Sensitivity)。
所述处理器可以通过将与所述监控摄像机图像的分辨率对应的性能信息、在没有运动模糊(motion blur)现象的情况下可识别的对象的速度信息设定为学习数据来训练学习模型，并基于将所述对象的移动速度作为输入数据并根据所述对象的移动速度自动计算所述目标快门值的所述学习模型来计算所述目标快门值。
所述处理器可以控制为根据所述对象的移动速度来使所述传感器增益控制区间的开始点的快门值在从所述低速快门值到所述高速快门值之间的区间改变。
所述传感器增益控制区间的开始点的快门值可以被确定为随着所述对象的移动速度增加而收敛到所述第一快门值，并且可以被确定为随着所述对象的移动速度减小而收敛到所述第二快门值。
所述第一快门值可以为1/300秒以上，所述第二快门值可以为1/30秒。
所述自动曝光控制过程在与所述传感器增益控制区间对应的低照度区间和利用光圈和快门的高照度区间控制快门速度，所述目标快门值可以根据在经过所述传感器增益控制区间的开始点的快门值后随着传感器增益放大量增加而减小的自动曝光控制进程来控制，所述自动曝光控制进程可以设定为在所述对象的移动速度增加时增大所述传感器增益控制区间的开始点的快门值。
由此，除了低照度区间以外，在高照度区间也可以通过根据对象移动速度提高快门值来应用。
所述监控摄像机还可以包括通信部，所述处理器可以将通过所述图像拍摄部获取的图像数据利用所述通信部发送到外部服务器，并且可以利用所述通信部从外部服务器接收基于人工智能的对象识别结果。
根据本发明的另一实施例的监控摄像机的图像处理装置可以包括：图像拍摄部；以及处理器，从由所述图像拍摄部获取的图像中识别对象，计算识别到的所述对象的移动速度，并根据所述对象的移动速度来可变地控制快门值，其中，所述处理器可以通过应用将由所述图像拍摄部获取的图像设定为输入数据并将对象识别设定为输出数据而预训练的神经网络模型来识别所述对象。
所述处理器可以在对象不存在的情况下应用与最低快门值对应的第一快门值，并且可以在识别到至少一个对象的情况下，在所述对象的平均移动速度超过预定阈值时应用与最高快门值对应的第二快门值。
所述处理器可以根据所述对象的平均移动速度在所述第一快门值与第二快门值之间的区间可变地应用快门值。
根据本发明的又一实施例的监控摄像机***可以包括：监控摄像机，拍摄监视区域的图像；以及计算装置，通过通信部从所述监控摄像机接收拍摄到的所述图像，利用基于人工智能的对象识别算法从所述图像中识别对象，计算与识别到的所述对象的移动速度对应的快门值而发送到所述监控摄像机，其中，所述快门值可以根据所述对象的平均移动速度来在与最低快门值对应的第一快门值和第二快门值之间的区间改变。
根据本发明的又一实施例的监控摄像机图像的处理方法可以包括以下步骤：从通过图像拍摄部获取的图像中识别对象；计算与识别到的所述对象的移动速度对应的目标快门值；以及基于计算出的所述目标快门值来确定在自动曝光控制过程中的传感器增益控制开始点的快门值，其中，所述传感器增益控制区间的开始点的快门值可以被确定为根据所述对象的移动速度来在第一快门值与比所述第一快门值小的第二快门值之间改变。
识别所述对象的步骤可以应用基于深度学习的YOLO(You Only Look Once)算法来识别所述对象。
所述监控摄像机图像的处理方法还可以包括以下步骤：向识别到的每个所述对象赋予ID，提取所述对象的坐标；以及基于第一图像帧和所述第一图像帧的下一帧的第二图像帧中包含的对象的坐标信息来计算所述对象的平均移动速度。
所述目标快门值可以以所述监控摄像机的最低快门值(Minimum Shutter Speed)为基准，基于一帧时间内的对象的移动量和所述监控摄像机图像的分辨率(resolution)来计算。
计算所述目标快门值的步骤可以包括以下步骤：将与所述监控摄像机图像的分辨率对应的性能信息、在没有运动模糊(motion blur)现象的情况下可识别的对象的速度信息设定为学习数据来训练学习模型；以及基于将所述对象的移动速度作为输入数据并自动计算根据所述对象的移动速度的所述目标快门值的所述学习模型来计算所述目标快门值。
所述传感器增益控制区间的开始点的快门值可以被确定为随着所述对象的移动速度增加而收敛到所述第一快门值，并且可以被确定为随着所述对象的移动速度减小而收敛到所述第二快门值。
所述第一快门值可以为1/300秒以上，所述第二快门值可以为1/30秒。
根据本发明的又一实施例的监控摄像机图像的处理方法可以包括以下步骤：从通过图像拍摄部获取的图像中识别对象；计算与识别到的所述对象的移动速度对应的目标快门值；以及基于计算出的所述目标快门值来确定在自动曝光控制过程中的传感器增益控制开始点的快门值，其中，在所述对象的移动速度为第一临界速度以上的情况下，可以将所述快门值设定为高速快门值，在所述对象的移动速度为比所述第一临界速度小的第二临界速度的情况下，可以将所述快门值设定为低速快门值。
根据本发明的又一实施例的监控摄像机图像的处理方法可以包括以下步骤：从通过图像拍摄部获取的图像中识别对象；计算识别到的所述对象的移动速度；以及根据所述对象的移动速度来可变地控制快门值，其中，在识别所述对象的步骤中，可以通过应用将由所述图像拍摄部获取的图像作为输入数据并将对象识别设定为输出数据而预训练的神经网络模型来识别所述对象。
技术效果
根据本发明的一实施例的监控摄像机的图像处理方法能够通过根据画面上的对象的存在与否来适当地控制快门速度，从而保持图像的清晰度并使运动残影最小化。
此外，根据本发明的一实施例的监控摄像机的图像处理方法可以解决因经常保持高速快门的必要性非常大的监控摄像机的特性而在低照度条件下保持高速快门的情况下产生的噪声、传输带宽增加的问题。
本发明可获得的效果不限于以上提及的效果，本发明所属技术领域的普通人员可以从以下的详细说明中清楚地理解未提及的其他效果。
附图说明
为了便于对本发明的理解，作为详细说明的一部分所包括的附图提供了针对本发明的实施例，并结合详细说明对本发明的技术特征进行了说明。
图1是用于说明用作实现根据本发明的一实施例的监控摄像机的图像处理方法的监控摄像机***的图。
图2是根据本发明的一实施例的监控摄像机的示意性框图。
图3是用于说明应用于根据本发明的一实施例的监控摄像机的图像分析的AI装置(模块)的图。
图4是根据本发明的一实施例的监控摄像机的图像处理方法的流程图。
图5是用于说明根据本发明的一实施例的对象识别方法的一示例的图。
图6是用于说明根据本发明的一实施例的对象识别方法的另一示例的图。
图7是用于说明根据本发明的一实施例的利用人工智能算法的对象识别过程的图。
图8是用于说明计算图7中识别到的对象的平均移动速度的过程的图。
图9是用于说明根据本发明的一实施例的应用于自动曝光的对象的平均移动速度与快门速度的关系的图。
图10是用于说明与对象的存在与否无关而仅考虑对象残影(motion blur)的自动曝光控制进程的图。
图11是用于说明根据本发明的一实施例的将根据对象的移动速度的快门速度应用于自动曝光控制的过程的图。
图12是根据本发明的一实施例的监控摄像机的图像处理方法中的在低照度区间控制快门速度的方法的流程图。
图13是根据本发明的一实施例的监控摄像机的图像处理方法中的自动曝光控制方法的流程图。
图14至图15是用于说明根据本发明的一实施例的根据对象的存在与否来可变地应用传感器增益控制区间的初始快门值的自动曝光进程的图。
图16是用于说明根据本发明的一实施例的在低照度区间根据对象的运动与否的自动曝光控制的图，图17是用于说明在高照度区间根据对象的运动与否的自动曝光控制的图。
图18是用于说明根据本发明的一实施例的对象不存在或对象的移动速度较低的情况下的自动曝光控制的图。
图19比较了应用一般快门值的情况下拍摄出的图像与根据本发明的一实施例的进行AI自动对象识别和使用高速快门的结果拍摄出的图像。
为了便于对本发明的理解，作为详细说明的一部分所包括的附图提供了针对本发明的实施例，并结合详细说明对本发明的技术特征进行了说明。
具体实施方式
以下，将参照附图详细说明本发明中公开的实施例，与附图序号无关地，对相同或相似的构成要素赋予相同的附图标记，并省略对其的重复说明。以下的说明中使用的构成要素的后缀“模块”和“部”是仅考虑到便于说明书的撰写而赋予或混用的，其本身不具有彼此区分的含义或作用。此外，在对本发明中公开的实施例进行说明时，如果判断为对相关公知技术的具体的说明可能会混淆本发明中公开的实施例的主旨，则省略对其的详细说明。此外，附图仅用于能够使本发明中公开的实施例容易理解，而本发明中公开的技术思想并不受附图限制，并且应理解为包括在本发明的思想和技术范围内的所有变更、等同物和替代物。
包括诸如第一、第二等序数的术语可以用于说明各种构成要素，但是这些构成要素不受这些术语限制。这些术语仅用于将一个构成要素与另一构成要素区分开。
当提及某一构成要素与另一构成要素“结合”或“连接”时，应理解为，可以与该另一构成要素直接结合或直接连接，但是在它们之间也可以存在其他构成要素。相反，当提及某一构成要素与另一构成要素“直接结合”或“直接连接”时，应理解为在它们之间不存在其他构成要素。
除非上下文另有明确说明，否则单数的表达包括复数的表达。
在本申请中，“包括”或“具有”等术语用于指定说明书中记载的特征、数字、步骤、操作、构成要素、部件或它们的组合的存在，不应理解为预先排除一个或一个以上的其他特征或数字、步骤、操作、构成要素、部件或它们的组合的存在或附加可能性。
如上所述的本发明可以被实现为记录有程序的介质上的计算机可读代码。计算机可读介质包括存储有可由计算机***读取的数据的所有种类的记录装置。计算机可读介质的示例包括硬盘驱动器(HDD：Hard Disk Drive)、固态盘(SSD：Solid State Disk)、硅盘驱动器(SDD：Silicon Disk Drive)、只读存储器(ROM)、随机存取存储器(RAM)、只读光盘存储器(CD-ROM)、磁带、软盘、光学数据存储装置等，此外，还包括被实现为载波(例如，通过互联网的传输)的形态。因此，上述的详细说明在所有方面都应被考虑为示例性的，而不应被解释为限制性的。本发明的范围应由所附权利要求书的合理解释来确定，本发明的等价范围内的所有变更均包括于本发明的范围。
自动曝光(AE)控制技术作为恒定地保持摄像机的图像亮度的技术，是指在高亮度(野外的亮照度)的情况下使用快门速度/光圈(iris)调节亮度，在低照度(暗照度)条件下通过放大图像传感器的增益(Gain)来校正图像的亮度的技术。
并且，快门速度是指摄像机暴露于光的时间。在快门速度为低速(1/30秒)的情况下，曝光时间较长，图像变亮，但是在曝光时间内对象的运动也累积，存在发生运动模糊(motion blur)的问题。相反，在快门速度为高速(1/200秒以上)的情况下，摄像机曝光时间短，可能导致图像变暗，但是对象的运动累积也短，运动模糊现象减少。
监控摄像机需要在作为主要监视对象的人和对象没有运动模糊现象的情况下进行监视，因此保持高速快门比较有利。但是，在快门速度为高速的情况下，由于较短的曝光时间导致图像也变暗，从而在低照度下需要增加图像传感器的增益放大量才能校正亮度，因此，可能产生相对较多的噪声。通常，图像传感器的增益放大越多，画面上的噪声也随之增加。结果，在低照度条件下的高速快门速度的使用虽然具有运动模糊减少的效果，但是也可以成为在画面增加噪声的原因。
另外，在实际监控摄像机拍摄的监视区域，需要监视的对象并不是始终存在，但是必须能够随时在没有运动模糊的情况下监控随机出现的对象，因此只能始终保持高速快门。显然，高速快门的保持在低照度条件下产生较多的噪声，因此还可能产生很多由噪声引起的副作用(side effect)。例如，噪声增多，图像压缩传输数据也增多，导致图像传输带宽(Bandwidth)增加，并且对象也可能因噪声而出现轮廓模糊的问题。
根据本发明的一实施例的监控摄像机的图像处理方法有必要根据画面上的对象的存在与否自动地控制快门速度，以符合监控摄像机的目的。但是，为了判断对象的存在与否，在现有技术中大多利用了运动信息，但是存在因自然环境(风、树叶晃动等)产生很多误报(False Alarm)的问题。由此，在本发明中，通过AI图像分析识别对象，向每个对象赋予ID，并针对赋予了ID的对象计算平均移动速度。计算出的对象的平均移动速度可以应用于计算不发生运动模糊的适当的快门速度。
另外，通常，高亮度(野外或亮照度条件)条件使用高速快门进行亮度校正，因此几乎不发生对象的运动模糊。因此，根据本发明的一实施例的监控摄像机的图像处理方法因使用高速快门而只能放大图像传感器增益，并且可以在由于图像传感器增益被放大而导致噪声增多的低照度条件下为了控制快门而被应用。
图1是用于说明用作实现根据本发明的一实施例的监控摄像机的图像处理方法的监控摄像机***的图。
参照图1，根据本发明的一实施例的图像管理***10可以包括拍摄装置100和图像管理服务器20。拍摄装置100可以是布置在特定场所的固定位置的拍摄用电子装置，也可以是能够沿预定路径自动或手动移动的拍摄用电子装置，也可以是能够借由人或机器人而移动的拍摄用电子装置。拍摄装置100可以是与有线/无线互联网连接使用的互联网协议(IP：Internet protocol)摄像机。拍摄装置100可以是具有摇摄(pan)、倾斜(tilt)以及变焦(zoom)功能的PTZ摄像机。拍摄装置100可以具有录制监视区域或拍摄照片的功能。拍摄装置100可以具有对监视区域内产生的声音进行录音的功能。拍摄装置100可以具有在监视区域发生运动或声音等的变化的情况下，生成对此的通知或者执行录制或照片拍摄的功能。
图像管理服务器20可以是接收并存储通过拍摄装置100拍摄的图像本身和/或对该图像进行编辑而获取的图像的装置。图像管理服务器20可以以与用途相对应的方式分析接收到的。例如，为了检测图像中的对象，图像管理服务器20可以利用对象检测算法来检测对象。所述对象检测算法可以应用基于AI的算法，并且可以应用预训练的人工神经网络模型来检测对象。
另外，图像管理服务器20可以存储有适合于图像分析目的多种学习模型。除了上述的用于对象检测的学习模型以外，还可以存储有能够获取检测到的对象的移动速度的模型。在此，所述训练的模型还可以包括输出与对象的移动速度对应的快门速度值的学习模型。此外，所述训练的模型还可以包括输出与所述对象的移动速度对应的噪声去除强度调节值的学习模型。
此外，图像管理服务器20可以通过分析接收到的图像来生成元数据和关于相应元数据的索引信息。图像管理服务器20可以通过同时或单独分析接收到的图像中包含的图像信息和/或声音信息来生成元数据和关于相应元数据的索引信息。
图像管理***10还可以包括能够与拍摄装置100和/或图像管理服务器20进行有线/无线通信的外部装置300。
外部装置30可以向图像管理服务器20发送请求提供全部或一部分图像的信息提供请求信号。外部装置30可以向图像管理服务器200发送请求作为图像分析结果的对象的存在与否、对象的移动速度、根据对象的移动速度的快门速度调节值、根据对象的移动速度的噪声去除值等的信息提供请求信号。此外，外部装置30可以向图像管理服务器20发送请求通过分析图像来获取的元数据和/或关于元数据的索引信息的信息提供请求信号。
图像管理***10还可以包括作为拍摄装置100、图像管理服务器20和/或外部装置30之间的有线/无线通信路径的通信网络400。通信网络40例如可以包括局域网(LANs：Local Area Networks)、广域网(WANs：Wide Area Networks)、城域网(MANs：MetropolitanArea Networks)、综合服务数字网络(ISDNs：Integrated Service Digital Networks)等有线网络，或无线LANs、码分多址(CDMA)、蓝牙、卫星通信等无线网络，但是本发明的范围不限于此。
图2是根据本发明的一实施例的监控摄像机的示意性框图。
图2是示出图1所示的摄像机的构成的框图。参照图2，以摄像机200是执行智能图像分析功能并生成所述图像分析信号的网络摄像机为示例进行了说明，但根据本发明的实施例的网络监控摄像机***的操作并不限于此。
200包括图像传感器210、编码器220、存储器230、事件传感器240、处理器240以及通信接口250。
图像传感器210作为执行通过拍摄监视区域来获取图像的功能的器件，例如，可以被实现为电荷耦合器件(CCD：Charge-Coupled Device)传感器、互补金属氧化物半导体(CMOS：Complementary Metal-Oxide-Semiconductor)传感器等。
编码器220执行将通过图像传感器210获取的图像编码为数字信号的操作，此操作可以遵循例如H.264、H.265、动态图像专家组(MPEG：Moving Picture Experts Group)、移动式连续图像专家组M-JPEG(Motion Joint Photographic Experts Group)标准等。
存储器230可以存储图像数据、音频数据、静止图像、元数据等。如上所述，所述元数据可以是包括在所述监视区域拍摄的对象检测信息(运动、声音、侵入指定地区等)、对象识别信息(人、车辆、面部、帽子、衣物等)以及检测到的位置信息(坐标、尺寸等)的数据。
此外，所述静止图像作为与所述元数据一起生成并存储到存储器230的图像，可以通过捕获所述图像分析信息中的特定分析区域的图像信息来生成。作为一示例，所述静止图像可以被实现为JPEG图像文件。
作为一示例，所述静止图像可以通过裁剪(cropping)在特定区域和特定期间内检测到的所述监视区域的图像数据中的被判断为可识别的对象的图像数据的特定区域来生成，其可以与所述元数据一起被实时发送。
通信部240向图像接收/搜索装置300发送所述图像数据、音频数据、静止图像和/或元数据。根据一实施例的通信部240可以实时地向图像接收装置300发送图像数据、音频数据、静止图像和/或元数据。通信接口250可以执行有线/无线局域网(LAN：Local AreaNetwork)、Wi-Fi、紫峰(ZigBee)、蓝牙(Bluetooth)、近场通信(Near FieldCommunication)中的至少一种通信功能。
AI处理器250作为用于人工智能图像处理的处理器，在通过根据本发明的一实施例的监控摄像机***获取到的图像中应用利用感兴趣对象训练的基于深度学习的对象检测(Objection Detection)算法。所述AI处理器250可以以与控制整个***的处理器260作为一个模块实现，或者可以被实现为独立的模块。本发明的一实施例可以在对象检测中应用YOLO(You Only Lock Once)算法。YOLO的对象检测速度快，因此是适合于处理实时视频的监控摄像机的AI算法。与其他基于对象的算法(Faster R-CNN、R_FCN、FPN-FRCN等)不同，YOLO算法对一张输入图像进行重整(Resize)之后，以仅借助一次单个神经网络的结果输出指示各个对象的位置的边界框(Bounding Box)和关于对象是何物的分类概率。最终，通过非最大值抑制(Non-max suppression)对一个对象进行一次识别(detection)。
另外，需要明确的是，本发明中公开的对象识别算法不限于上述的YOLO，而是可以以多种深度学习算法实现。
另外，本发明中应用的用于对象识别的学习模型可以是通过将摄像机性能、在监控摄像机中没有运动模糊现象的情况下可识别的对象的运动速度信息等定义为学习数据来训练的模型。据此，训练的模型的输入数据可以是对象的移动速度，并且可以将最适合于对象的移动速度的快门速度作为输出数据。
图3是用于说明应用于根据本发明的一实施例的监控摄像机的图像分析的AI装置(模块)的图。
参照图3，AI装置20可以包括具有能够执行AI处理的AI模块的电子设备或具有AI模块的服务器等。此外，AI装置20也可以被配备成作为监控摄像机或图像管理服务器的至少一部分构成包括在其中，并一起执行AI处理中的至少一部分。
AI处理可以包括与监控摄像机或图像管理服务器的控制部相关联的所有操作。例如，监控摄像机或图像管理服务器可以通过对获取到的图像信号进行AI处理来执行处理/判断、控制信号生成操作。
AI装置20可以是直接利用AI处理结果的客户端装置，或者可以是将AI处理结果提供给另一设备的云环境的装置。AI装置20作为能够训练神经网络的计算装置，可以在诸如服务器、台式PC、笔记本PC、平板PC等的多种电子装置中实现。
AI装置20可以包括AI处理器21、存储器25和/或通信部27。
AI处理器21可以利用存储在存储器25中的程序来训练神经网络。尤其，AI处理器21可以训练用于识别监控摄像机的相关数据的神经网络。在此，用于识别监控摄像机的相关数据的神经网络可以被设计成在计算机上模拟人的脑结构，并且可以包括模拟人的神经网络的神经元(neuron)的具有权重值的多个网络节点。多个网络节点可以分别根据连接关系来发送和接收数据，以模拟神经元通过突触(synapse)发送和接收信号的神经元的突触活动。在此，神经网络可以包括从神经网络模型发展的深度学习模型。在深度学习模型中，多个网络节点位于彼此不同的层，并且可以根据卷积(convolution)连接关系来发送和接收数据。神经网络模型的示例包括诸如深度神经网络(DNN：deep neural networks)、卷积神经网络(CNN：convolutional deep neural networks)、循环神经网络(RNN：RecurrentBoltzmann Machine)、受限玻尔兹曼机(RBM：Restricted Boltzmann Machine)、深度信念网络(DBN：deep belief networks)、深度Q网络(Deep Q-Network)之类的多种深度学习技术，并且可以应用于计算机视觉、音频识别、自然语言处理、音频/信号处理等的领域。
另外，执行如上所述的功能的处理器可以是通用处理器(例如，CPU)，但也可以是用于人工智能学习的AI专用处理器(例如，GPU)。
存储器25可以存储AI装置20的操作所需的各种程序和数据。存储器25可以被实现为非易失性存储器、易失性存储器、快闪存储器(flash-memory)、硬盘驱动器(HDD)或固态硬盘驱动器(SDD)等。存储器25可以由AI处理器21访问，并由AI处理器21执行数据的读取/记录/校正/删除/更新等。此外，存储器25可以存储通过根据本发明的一实施例的用于数据分类/识别的学习算法生成的神经网络模型(例如，深度学习模型26)。
另外，AI处理器21可以包括对用于数据分类/识别的神经网络进行训练的数据学习部22。为了判断数据分类/识别，数据学习部22可以学习关于利用哪些学习数据、利用学习数据如何对数据进行分类和识别的基准。数据学习部22可以通过获取将用于学习的学习数据并将获取的学习数据应用于深度学习模型来训练深度学习模型。
数据学习部22可以被制成至少一个硬件芯片形态并搭载于AI装置20。例如，数据学习部22也可以被制成用于人工智能(AI)的专用硬件芯片形态，也可以被制成通用处理器(CPU)或图形处理器(GPU)的一部分并搭载于AI装置20。此外，数据学习部22可以实现为软件模块。在实现为软件模块(或包括指令(instruction)的程序模块)的情况下，软件模块可以存储在可通过计算机读取的非暂时性计算机可读记录介质(non-transitory computerreadable media)中。在该情况下，至少一个软件模块可以由操作***(OS：OperatingSystem)提供，或者可以由应用(application)提供。
数据学习部22可以包括学习数据获取部23和模型训练部24。
学习数据获取部23可以获取用于分类和识别数据的神经网络模型所需的学习数据。
模型训练部24可以利用所获取的学习数据来训练神经网络模型具有关于如何对规定数据进行分类的判断基准。此时，模型训练部24可以通过将学习数据中的至少一部分用作判断基准的监督学习(supervised learning)来训练神经网络模型。或者，模型训练部24可以通过在没有监督的情况下利用学习数据自主训练发现判断基准的无监督学习(unsupervised learning)来训练神经网络模型。此外，模型训练部24可以利用针对根据学习的情况判断的结果是否正确的反馈而通过强化学习(reinforcement learning)来训练神经网络模型。此外，模型训练部24可以利用包括误差反向传播法(error back-propagation)或梯度下降法(gradient decent)的学习算法来训练神经网络模型。
若神经网络模型被训练，模型训练部24可以将经训练的神经网络模型存储到存储器。模型训练部24也可以将经训练的神经网络模型存储到通过有线或无线网络与AI装置20连接的服务器的存储器。
数据学习部22还可以包括学习数据预处理部(未图示)和学习数据选择部(未图示)，以提高识别模型的分析结果或节省识别模型的生成所需的资源或时间。
学习数据预处理部可以对所获取的数据进行预处理，使得所获取的数据能够在用于情况判断的学习中被利用。例如，学习数据预处理部可以将所获取的数据加工成预先设定的格式，使得模型训练部24能够利用为了用于图像识别的学习而获取的学习数据。
此外，学习数据选择部可以从由学习数据获取部23获取的学习数据或由预处理部进行预处理的学习数据中选择学习所需的数据。所选择的学习数据可以提供给模型训练部24。
此外，数据学习部22还可以包括模型评价部(未图示)，以提高神经网络模型的分析结果。
模型评价部可以向神经网络模型输入评价数据，并在基于评价数据输出的分析结果不满足规定基准的情况下，使模型训练部22进行再次训练。在该情况下，评价数据可以是用于评价识别模型的预定义数据。作为一示例，模型评价部可以在针对评价数据的经训练的识别模型的分析结果中的分析结果不准确的评价数据的数量或比率超过预先设定的阈值的情况下，评价为不满足规定基准。
通信部27可以将由AI处理器21进行的AI处理结果发送到外部电子设备。例如，外部电子设备可以包括监控摄像机、蓝牙装置、自动驾驶车辆、机器人、无人机、AR设备、移动设备、家用电器等。
另外，需要明确的是，图3所示的AI装置20通过在功能上划分为AI处理器21、存储器25以及通信部27等而进行了说明，但是上述的构成要素也可以集成为一个模块并被称作AI模块。
在本发明中，监控摄像机、自动驾驶车辆、用户终端以及服务器中的一个以上可以与人工智能(Artificial Intelligence)模块、机器人、增强现实(AR：Augmented Reality)装置、虚拟现实(VT：Virtual reality)装置、5G服务相关的装置等链接。
图4是根据本发明的一实施例的监控摄像机的图像处理方法的流程图。图4所示的图像处理方法可以通过图1至图3中说明的监控摄像机***、监控摄像机装置、监控摄像机装置中包括的处理器或控制部来实现。需要明确的是，为了便于说明，所述图像处理方法以能够通过图2所示的监控摄像机200的处理器260控制多种功能为前提进行说明，但是本发明并不限于此。
参照图4，处理器260获取监控摄像机图像(S400)。所述监控摄像机图像可以包括视频。
处理器260可以控制所述获取的图像通过AI图像分析***执行对象识别操作(S410)。
所述AI图像分析***可以是监控摄像机中包括的图像处理模块。在该情况下，所述图像处理模块中包括的AI处理器可以在输入的图像(视频)中应用预定义的对象识别算法来识别图像中的对象，以判断对象的存在与否。此外，所述AI图像分析***可以是配置在与监控摄像机通信连接的外部服务器的图像处理模块。在该情况下，监控摄像机的处理器260可以在通过通信部向所述外部服务器发送输入的图像的同时，一起请求对象识别请求指令和/或识别到的对象的运动程度(对象的移动速度、对象的平均移动速度信息等)等。
处理器260可以计算所述识别到的对象的平均移动速度(S420)。计算所述识别到的对象的平均移动速度的过程将通过图7和图8进一步具体地说明。
处理器260可以计算与计算出的对象的平均移动速度对应的快门速度(S430)。对象的移动速度越快，残影效果越严重，因此只能提高快门速度。在此，对于提高快门速度的程度或在对象的特定移动速度下计算用于使残影效果最小化的最佳快门速度值的过程，将通过图9进一步具体地说明。
处理器260可以考虑计算出的快门速度值来执行自动曝光(AE)控制(S440)。
根据本发明的一实施例的图像处理方法可以在相对低照度环境中有利地应用。尤其，在照度较高的环境中，通常使用高速快门，因此由对象的运动产生的残影效果不会成为大问题。但是，在低照度环境中，作为相比曝光时间对传感器增益更敏感的区间，可以通过传感器增益控制来进行自动曝光控制。据此，在低照度环境中，由传感器增益控制产生的噪声可能成为问题，并且，为了减少这种噪声，需要最大限度地确保亮度，其结果，保持低速快门可能是有利地。然而，与普通摄像机不同，在监控摄像机的情况下，由于具有在低照度环境中也需要明确地识别快速移动的对象的需求，因此只能优先考虑保持高速快门且最大限度地去除对象的残影效果。因此，对于低照度环境的监控摄像机而言，最重要的是确定根据亮度和对象的运动程度的最佳快门值。
以上，通过本发明的实施例对从监控摄像机图像中识别对象、识别到的对象的运动与否、对象的运动程度(对象的平均移动速度)、计算根据对象速度的最佳快门值以及由此进行自动曝光控制的顺序进行了说明。
以下，将进一步对对象识别、对象的平均移动速度的计算、根据对象的平均移动速度的快门速度的计算、在低照度区间的开始点的根据对象的移动速度的快门值的调节进行具体说明。
图5是用于说明根据本发明的一实施例的对象识别方法的一示例的图。图6是用于说明根据本发明的一实施例的对象识别方法的另一示例的图。图7是用于说明根据本发明的一实施例的利用人工智能算法的对象识别过程的图。图8是用于说明计算图7中识别到的对象的平均移动速度的过程的图。以下，参照图5至图8说明利用AI算法进行对象识别和计算对象的平均移动速度的过程。
参照图5，监控摄像机的处理器260将图像帧输入到人工神经网络(ArtificialNeural Network，以下称为神经网络)模型(S500)。
所述神经网络模型可以是经训练的模型，以将摄像机图像作为输入数据并识别所述输入的图像数据中包含的对象(人、汽车等)。如上所述，根据本发明的一实施例的所述神经网络模型可以应用YOLO算法。
处理器260可以通过神经网络模型的输出数据来识别对象的类型和对象的位置(S510)。参照图7，将作为神经网络模型的输出结果的对象识别结果以边界框B1、B2表示，可以包括各个边界框的边角(C11、C12/C21、C22)的坐标值。处理器260可以通过所述边界框的边角信息来计算各个边界框的中心坐标。
处理器260可以识别从第一图像帧和第二图像帧分别检测到的对象的坐标(S520)。处理器260可以分析第一图像帧和在所述第一图像帧之后获取的第二图像帧，以计算对象的移动速度。
处理器530可以检测各个图像帧中的特定对象的坐标变化来进行对象的运动检测和移动速度计算(S530)。
另外，图5说明了在监控摄像机通过AI处理结果识别对象的过程，而图6示出了通过网络(即外部服务器)执行所述AI处理操作的情况。
参照图6，监控摄像机在获取图像的情况下，将所获取的图像数据发送到网络(外部服务器等)(S600)。在此，监控摄像机可以在发送图像数据的同时，请求图像中包含的对象的存在与否，并且还可以在对象存在的情况下，一起请求对象的平均移动速度信息。
外部服务器可以通过AI处理器从接收自监控摄像机的图像数据中确认输入到神经网络模型的图像帧，AI处理器可以控制所述图像帧应用于神经网络模型(S610)。此外，外部服务器中包括的AI处理器可以通过神经网络模型的输出数据来识别对象的类型和对象的位置(S620)。
外部服务器可以通过神经网络模型的输出值来对识别到的对象计算平均移动速度(S630)。对象识别和对象的平均移动速度的计算如上所述。
监控摄像机可以从外部服务器接收对象识别结果和/或对象的平均移动速度信息(S650)。
监控摄像机将对象的平均移动速度信息应用于目标快门速度计算函数并计算目标快门值(S650)。
监控摄像机可以执行根据计算出的快门速度的自动曝光控制(S660)。
参照图8的(a)，处理器260可以在通过神经网络模型识别到对象的情况下，在识别到的对象的边缘显示边界框，并对各个对象赋予ID。据此，处理器260可以通过识别到的每个对象的ID和边界框的中心坐标来确认对象识别结果。所述对象识别结果可以针对所述第一图像帧和第二图像帧中的每一个提供。其中，在第二图像帧的情况下，如果识别到不是在作为之前图像的第一图像帧中识别到的对象的新对象，则将赋予新的ID，并且，同样可以通过边界框坐标获取对象的中心坐标。
参照图8的(b)，处理器260可以在获取到从至少两个以上的图像帧获取的对象的中心坐标时，以所述中心坐标的变化为基准来计算识别到的对象的移动速度。
[数学式1]
其中，(X1，Y1)是第一对象(ID1)的中心坐标，(X2，V2)是第二对象(ID2)的中心坐标。
并且，处理器260可以通过向计算出的每个对象的移动速度应用平均滤波器来计算对象的平均移动速度(参照以下数学式)。
[数学式2]
处理器260针对从监控摄像机输入的所有图像帧中的每一个通过上述的过程进行对象识别和计算识别到的对象的平均移动速度。计算出的平均对象速度可以在将要在图9中说明的目标快门速度计算中应用。
另外，处理器260分别确认当前帧、上一帧、下一帧等循序的图像帧而在识别到的对象ID从画面消失时删除所赋予的对象ID。据此，总对象数量也可以随之减少。相反，在新识别到上一图像帧中不存在的对象的情况下，赋予新对象ID，纳入对象的平均移动速度，总对象数量也增加。处理器260在图像帧内包含的对象ID为0个时，判断为在获取的图像内不存在对象。
图9是用于说明根据本发明的一实施例的应用于自动曝光的对象的平均移动速度与快门速度的关系的图。
参照图9，示出了与快门速度计算函数相关的曲线图。
在此，与对象的平均移动速度对应的快门速度可以是指实际应用于自动曝光(AE)的目标快门速度(Target Shutter Speed)。所述对象的平均移动速度越大，运动模糊(Motion Blur)越严重。另外，所产生的运动模糊通常相当于在使用低速快门(MinimumShutter Speed)时对象在一帧时间内移动的距离。因此，为了确认运动模糊的程度，需要对“每一帧的平均对象移动量”进行确认，可以通过以下数学式(数学式3)确认。
[数学式3]
每一帧的平均对象移动量＝对象移动速度×一帧输出时间
(单位：像素)
但是，低速快门中的帧是指视频输出30张时的1张。
以以上数学式3中的“每一帧的平均对象移动量”为基准，如下数学式4，可以通过减少低速快门的曝光时间来计算目标快门值。由于对象的平均移动速度越大，快门曝光时间越短，因此最终可知高速快门为目标快门值。
[数学式4]
其中，Minimum Shutter Speed是指最低快门速度(例如，1/30秒)，VisualSensitivity是指根据图像的分辨率的视觉敏感度。
另外，根据上述数学式4的目标快门速度计算过程可以在识别到对象的状态及识别到的对象的移动速度为预定速度以上的情况下应用。
但是，在没有识别到对象或识别到的对象的平均移动速度小于预定速度的情况下，对象移动量减少，因此快门可以应用低速快门(Minimum Shutter Speed)值。
另外，最小快门值可以根据监控摄像机的性能而不同，根据本发明的一实施例，可知快门速度计算函数中考虑了反映监控摄像机的性能的因子(factor)。即，在高像素摄像机的情况下，运动模糊的视觉敏感度可能比低像素摄像机低，因此应用摄像机固有的视觉敏感度(Visual Sensitivity)值。对于实际的在同一视角内的对象的移动量而言，高像素摄像机图像的一帧时间内的对象移动量计算为比低像素摄像机图像的一帧时间内的对象移动量大。这是因为即使视角相同，高像素摄像机与低像素摄像机相比以更多的像素数量表现图像。如果对象移动量大，则计算出的目标快门比低像素摄像机大，因此有必要应用视觉敏感度(Visual Sensitivity)值。
以上，对根据识别到的对象的移动速度(平均移动速度)计算快门速度值的过程进行了说明，计算出的快门速度可以应用于自动曝光控制，以下，将反映监控摄像机特性而更具体地说明根据对象的有无和/或对象的移动速度的自动曝光控制。
图10是用于说明与对象的存在与否无关而仅考虑对象残影(motion blur)的自动曝光控制进程的图。图11是用于说明根据本发明的一实施例的将根据对象的移动速度的快门速度应用于自动曝光控制的过程的图。
参照图10，通常，自动曝光控制可以根据亮度照度而通过快门(shutter)和光圈(iris)控制方法以及传感器增益控制方法来实现。在亮照度条件下，使用快门和光圈来进行控制(快门/光圈控制区间1001，以下，称为第一区间)，此时通常使用高速快门，因此几乎不会出现运动模糊(残影)问题。然而，在照度相对较低的区间(传感器增益控制区间1002，以下，称为第二区间)的情况下，利用传感器增益来进行控制，所述第二区间是根据传感器增益产生噪声的区间。因此，在仅考虑噪声的情况下，在传感器增益区间尽可能将快门保持为低速快门(例如，1/30秒)可能对借助改善亮度和抑制噪声的画质方面有利。然而，在监控摄像机的情况下，即使在低照度条件下也需要使对象的运动模糊最小化才能进行对象识别，因此只能尽可能保持高速快门。
图10示出了在现有的摄像机中使用的AE控制进程。在第二区间1002通过考虑运动模糊来使用高速快门1010(1/200秒)而不是低速快门(1/30秒)，同时在图像传感器的增益放大量增加的情况下，逐步降低至低速快门(1/30秒)，但是通常尽可能保持高速快门区间。然而，如上所述的AE控制进程从第二区间开始使用高速快门(1/200秒)，因此存在随着传感器增益放大增加而在画面上产生更多噪声的问题。这是因为，在与对象的存在与否无关而仅优先考虑运动模糊时，从第二区间1002的开始点，将最低快门速度限制为高速快门(1/200秒)。
相反，参照图11，为了在第二区间1002同时解决噪声和运动模糊的问题，监控摄像机的处理器260将根据平均对象移动速度计算出的目标快门速度(参照图9)可变地应用于第二区间1002的开始区间的初始快门值。
参照图11，处理器260可以在对象存在且运动较多的情况下使目标快门速度改变为高速快门速度(例如，1/300秒以上)，在对象不存在或运动较少的情况下使目标速度变为低速快门速度(1/30秒)，以从第二区间控制开始应用可变的快门速度。所述高速快门值1/300秒和低速快门值1/30秒是示意性值，快门值可以根据对象的移动速度在1/300秒至1/30秒的区间内动态地改变。
由此，在对象存在或对象的平均移动速度较高的情况下，由于从传感器增益控制开始应用了高速快门，因此能够在没有运动模糊的情况下监控对象。此外，在对象不存在或对象的平均移动速度较低的情况下，由于从传感器增益控制开始应用了低速快门，因此具有能够以噪声低的画质为主进行监控的优点。即，根据本发明的一实施例，根据对象的存在与否、在对象存在的情况下的识别到的对象的运动程度(对象的移动速度)来可变地应用传感器增益控制开始点的目标快门速度，从而能够在既减少噪声还使运动模糊最小化的状态下进行监控。
图12是根据本发明的一实施例的监控摄像机的图像处理方法中的在低照度区间控制快门速度的方法的流程图。
根据一实施例，监控摄像机的处理器260可以基于对象的存在与否和/或对象的运动程度来控制快门速度，并且可以根据识别到所述对象的照度环境来不同地应用计算快门速度的方法。
参照图12，处理器260通过AI图像分析从图像帧中识别对象(S1210)。处理器260基于从第一图像帧和第二图像帧中分别识别到的对象信息来获取对象的平均移动速度(S1220)。此外，处理器260可以计算与所述对象的平均移动速度对应的目标快门值(S1230)。所述S1210至S1230可以相同地应用通过图5至图9说明的内容。
处理器260可以在监控摄像机拍摄图像时(或从图像中识别对象的时间点)分析照度环境，若判断为在低照度区间识别对象(S1240：Y)，则可以将传感器增益控制区间的开始点的快门值设定为第一快门值(S1250)。在此，所述第一快门值作为高速快门值，例如，处理器260可以设定为应用1/300秒以上的快门值。显然，即使在该情况下，处理器260也可以根据对象的移动速度来将1/200秒的快门值作为最低快门值，以根据对象的移动速度来可变地设定传感器增益控制区间的开始点的快门值。
并且，处理器260可以在监控摄像机拍摄图像时(或从图像中识别对象的时间点)的照度环境判断为高照度区间的情况下，可以将传感器增益控制区间的开始点的快门值设定为第二快门值(S1260)。在此，所述第二快门值虽然是比所述第一快门值小的快门值，但是，由于处于对象(或对象的运动)存在的情况，因此可以设定为使运动模糊最小化的程度的快门值(例如，1/200秒)。
图13是根据本发明的一实施例的监控摄像机的图像处理方法中的自动曝光控制方法的流程图。
参照图13，处理器260通过AI图像分析从图像帧中识别对象(S1310)。处理器260基于从第一图像帧和第二图像帧中分别识别到的对象信息来获取对象的平均移动速度(S1320)。此外，处理器260可以计算与所述对象的平均移动速度对应的目标快门值(S1330)。所述S1310至S1#30可以相同地应用通过图5至图9说明的内容。
另外，处理器260可以确认是否进入传感器增益控制区间(S1340)。根据本发明的一实施例的监控摄像机图像的处理方法可以在低照度环境中根据对象的运动来不同地应用将快门保持在高速的程度。由此，处理器260在通过照度确认来判断为进入传感器增益控制区间的情况下，控制为根据对象的移动速度来可变地应用传感器增益控制区间的开始点的初始快门速度(S1350)。
另外，处理器260可以在对象的移动速度非常慢的情况下(与对象不存在的情况相同)，通过使用低速快门来有效地控制噪声和运动模糊。
图14至图15是用于说明根据本发明的一实施例的根据对象的存在与否来可变地应用传感器增益控制区间的初始快门值的自动曝光进程的图。
图14示出了作为根据本发明的一实施例的通过AI图像分析识别对象的结果的对象的运动存在时的第一自动曝光控制曲线1430和对象不存在时(包括对象的移动速度为预定值以下时)的第二自动曝光控制曲线1440。在此，在自动曝光控制曲线中，横轴为照度，纵轴为应用于自动曝光控制的快门速度。所述横轴根据照度区分为快门/光圈控制区间1001和传感器增益控制区间1002。根据本发明的一实施例的监控摄像机图像的处理方法可以均应用于传感器增益控制区间1002和快门/光圈控制区间1001，但是，尤其可以有效地应用于确定传感器增益控制区间1001的开始点的快门速度，以在传感器增益控制区间1002使噪声和运动模糊最小化。
所述传感器增益控制区间的开始点的快门速度可以通过上述的第一自动曝光控制曲线1430和第二自动曝光控制曲线1440获取。在监控摄像机图像中不存在对象的情况下，传感器增益控制区间的开始点的快门速度根据所述第二自动曝光控制曲线1440来应用最低快门值1420(例如，1/30秒)。在监控摄像机图像中存在对象的情况下，传感器增益控制区间的开始点的快门速度可以根据所述第一自动曝光控制曲线1430来应用最高高速快门速度1410(例如，1/300秒以上)。
另外，监控摄像机图像中包含的对象的平均移动速度可以改变，处理器260可以根据所述改变的对象的平均移动速度来将所述传感器增益控制区间的开始点的快门速度设定为所述第一自动曝光控制曲线1430与第二自动曝光控制曲线1440之间的区域的可变范围，并且可以根据对象的移动速度变化来可变地控制快门速度。
另外，在图15中，1510可以是根据本发明的一实施例的通过AI图像分析进行对象识别并将对象的平均移动速度应用于自动曝光控制的快门值，1520可以是通过一般的对象识别算法而不是AI图像分析进行对象识别时的快门值。即，根据本发明的一实施例，可以超越对象识别概念而在识别到的对象的平均移动速度实时改变的情况下，通过精确地调节传感器增益控制区间的开始点的快门值来使噪声和运动模糊现象最小化。
此外，在传感器增益控制区间的开始点的快门速度为高速的情况下，可以从低照度环境到极低照度为止相对保持高速快门。此外，在快门/光圈控制区间1001也相对使用高速快门，因此运动模糊现象可以得到进一步改善。
图16是用于说明根据本发明的一实施例的在低照度区间根据对象的运动与否的自动曝光控制的图，图17是用于说明在高照度区间根据对象的运动与否的自动曝光控制的图。
参照图16，处理器260以如下方式进行控制：在传感器增益控制区间的开始点的快门值为1/300秒的情况下，在传感器增益被放大到40dB的时间点，也保持高速快门1620(1/200秒)而不是低速快门值1610(1/30秒)。
参照图17，1710是对象快速移动的情况下的传感器增益控制区间的开始点的快门值(1/300秒)，1720是在亮照度区间对象快速移动的情况下的快门值，1730是在亮照度区间对象的运动较少的情况下的快门值。即，处理器260不仅在低照度区间，在亮照度区间也可以根据对象的运动程度来不同地应用快门值，并且在存在对象的运动的情况下，相对较多地应用高速快门，因此能够获取没有运动模糊的清晰的图像。
图18是用于说明根据本发明的一实施例的对象不存在或对象的移动速度较低的情况下的自动曝光控制的图。
参照图18，1810是没有应用根据本发明的一实施例的监控摄像机图像的处理方法的情况下的传感器增益控制区间的开始点的快门值(1/200秒)。即，通常，与对象的存在与否和/或对象的移动速度无关地，传感器增益控制区间的开始点的快门值考虑监控摄像机的特性而相对应用作为高速快门值(1/200秒)的固定值，与此相反，根据本发明的一实施例，在通过AI图像分析对象不存在或即使存在其速度也非常慢的情况下，将传感器增益开始点的快门值保持在低速快门值1820(1/30秒)。由此，使增益放大量相对较少，这具有产生较少噪声的优点，并且具有传输图像时的带宽(Bandwidth)也降低的优点。
因此，与无论对象的存在和/或对象的运动程度如何都将传感器增益控制区间的开始点的快门值应用为固定值的现有的自动曝光控制不同地，根据本发明的一实施例，若对象的运动速度提高，则将所述传感器增益控制区间的开始点的快门值设定为高于所述固定值，进而，在对象不存在的情况下(包括对象的运动程度非常小的情况)，可以将所述传感器增益控制区间的开始点的快门值设定为低于所述固定值。
图19比较了应用一般快门值的情况(a)与根据本发明的一实施例的进行AI自动对象识别和使用高速快门的结果拍摄出的图像(b)。(b)相对于(a)而言没有运动模糊现象，并且可以是通过使噪声最小化的更清晰的图像。
以上，说明了通过基于人工智能的对象识别根据对象的有无、对象的移动速度来可变地控制快门速度，从而使噪声和运动模糊效果最小化的自动曝光控制过程。本发明以应用基于AI的对象识别算法的情形进行了说明，但是，在基于识别到的对象的平均移动速度值计算目标快门值的过程中也可以应用人工智能。根据一实施例，根据上述的对象的平均移动速度的目标快门值计算函数作为变量具有摄像机的性能信息(根据图像的分辨率的视觉敏感度)、一帧时间内的对象的移动量(对象的移动速度)。由此，本发明的一实施例中应用的监控摄像机可以通过将摄像机性能信息、在没有运动模糊现象的情况下可识别的对象的速度信息设定为学习数据来训练学习模型而生成学习模型。所述学习模型可以在将对象的移动速度值作为输入数据输入时，自动计算根据所述移动速度的目标快门值，所述目标快门值是能够根据照度条件来使噪声和运动模糊最小化的快门值。
此外，根据一实施例，监控摄像机的处理器根据上述的对象的平均移动速度实时变化来实时改变应用于快门值设定的自动曝光控制函数(自动曝光控制曲线)，从而实现实时的快门值控制。
如上所述的本发明可以被实现为记录有程序的介质上的计算机可读代码。计算机可读介质包括存储有可由计算机***读取的数据的所有种类的记录装置。计算机可读介质的示例包括硬盘驱动器(HDD：Hard Disk Drive)、固态盘(SSD：Solid State Disk)、硅盘驱动器(SDD：Silicon Disk Drive)、只读存储器(ROM)、随机存取存储器(RAM)、只读光盘存储器(CD-ROM)、磁带、软盘、光学数据存储装置等，此外，还包括被实现为载波(例如，通过互联网的传输)的形态。因此，上述的详细说明在所有方面都应被考虑为示例性的，而不应被解释为限制性的。本发明的范围应由所附权利要求书的合理解释来确定，本发明的等价范围内的所有变更均包括于本发明的范围。
产业上的可利用性
本发明可以应用于监控图像摄像机、监控图像摄像机***、利用监控图像摄像机提供服务的领域等。

Claims (20)

1.一种监控摄像机图像的处理装置，其特征在于，包括：
图像拍摄部；以及
处理器，从通过所述图像拍摄部获取的图像中识别对象，计算与所述对象的移动速度对应的目标快门值，并控制为基于计算出的所述目标快门值来确定在自动曝光控制过程中的传感器增益控制区间的开始点的快门值，
其中，所述传感器增益控制区间的开始点的快门值被确定为根据所述对象的移动速度来在第一快门值与比所述第一快门值小的第二快门值之间改变。
2.根据权利要求1所述的监控摄像机图像的处理装置，其特征在于，
所述处理器应用基于深度学习的YOLO(You Only Look Once)算法来识别所述对象。
3.根据权利要求2所述的监控摄像机图像的处理装置，其特征在于，
所述处理器向识别到的每个所述对象赋予ID，提取所述对象的坐标，并基于第一图像帧和所述第一图像帧的下一帧的第二图像帧中包含的对象的坐标信息来计算所述对象的平均移动速度。
4.根据权利要求3所述的监控摄像机图像的处理装置，其特征在于，
所述目标快门值以所述监控摄像机的最低快门值(Minimum Shutter Speed)为基准，基于一帧时间内的对象的移动量和所述监控摄像机图像的分辨率(resolution)来计算。
5.根据权利要求4所述的监控摄像机的图像处理装置，其特征在于，
所述处理器通过将与所述监控摄像机图像的分辨率对应的性能信息、在没有运动模糊(motion blur)现象的情况下可识别的对象的速度信息设定为学习数据来训练学习模型，并基于将所述对象的移动速度作为输入数据并根据所述对象的移动速度自动计算所述目标快门值的所述学习模型来计算所述目标快门值。
6.根据权利要求1所述的监控摄像机图像的处理装置，其特征在于，
所述传感器增益控制区间的开始点的快门值被确定为随着所述对象的移动速度增加而收敛到所述第一快门值，并且被确定为随着所述对象的移动速度减小而收敛到所述第二快门值。
7.根据权利要求1所述的监控摄像机图像的处理装置，其特征在于，
所述第一快门值为1/300秒以上，所述第二快门值为1/30秒。
8.根据权利要求1所述的监控摄像机图像的处理装置，其特征在于，
所述自动曝光控制过程在与所述传感器增益控制区间对应的低照度区间和利用光圈和快门的高照度区间控制快门速度，
所述目标快门值根据在经过所述传感器增益控制区间的开始点的快门值后随着传感器增益放大量增加而减小的自动曝光控制进程来控制，
所述自动曝光控制进程设定为在所述对象的移动速度增加时增大所述传感器增益控制区间的开始点的快门值。
9.根据权利要求1所述的监控摄像机图像的处理装置，其特征在于，
还包括通信部，
所述处理器将通过所述图像拍摄部获取的图像数据利用所述通信部发送到外部服务器，并利用所述通信部从外部服务器接收基于人工智能的对象识别结果。
10.一种监控摄像机图像的处理装置，其特征在于，
图像拍摄部；以及
处理器，从由所述图像拍摄部获取的图像中识别对象，计算识别到的所述对象的移动速度，并根据所述对象的移动速度来可变地控制快门值，
其中，所述处理器通过应用将由所述图像拍摄部获取的图像设定为输入数据并将对象识别设定为输出数据而预训练的神经网络模型来识别所述对象。
11.根据权利要求10所述的监控摄像机图像的处理装置，其特征在于，
所述处理器在识别到至少一个对象的情况下，在所述对象的平均移动速度超过预定阈值时应用与最高快门值对应的第一快门值，在对象不存在的情况下，应用与最低快门值对应的第二快门值。
12.根据权利要求11所述的监控摄像机图像的处理装置，其特征在于，
所述处理器根据所述对象的平均移动速度在所述第一快门值与所述第二快门值之间的区间可变地应用快门值。
13.一种监控摄像机***，其特征在于，包括：
监控摄像机，拍摄监视区域的图像；以及
计算装置，通过通信部从所述监控摄像机接收拍摄到的所述图像，利用基于人工智能的对象识别算法从所述图像中识别对象，计算与识别到的所述对象的移动速度对应的快门值而发送到所述监控摄像机，
其中，所述快门值根据所述对象的平均移动速度来在与最低快门值对应的第一快门值和第二快门值之间的区间改变。
14.一种监控摄像机图像的处理方法，其特征在于，包括以下步骤：
从通过图像拍摄部获取的图像中识别对象；
计算与识别到的所述对象的移动速度对应的目标快门值；以及
基于计算出的所述目标快门值来确定在自动曝光控制过程中的传感器增益控制开始点的快门值，
其中，所述传感器增益控制区间的开始点的快门值被确定为根据所述对象的移动速度来在第一快门值与比所述第一快门值小的第二快门值之间改变。
15.根据权利要求14所述的监控摄像机图像的处理方法，其特征在于，
在识别所述对象的步骤中，应用基于深度学习的YOLO(You Only Look Once)算法来识别所述对象。
16.根据权利要求15所述的监控摄像机图像的处理方法，其特征在于，还包括以下步骤：
向识别到的每个所述对象赋予ID，提取所述对象的坐标；以及
基于第一图像帧和所述第一图像帧的下一帧的第二图像帧中包含的对象的坐标信息来计算所述对象的平均移动速度。
17.根据权利要求16所述的监控摄像机图像的处理方法，其特征在于，
所述目标快门值以所述监控摄像机的最低快门值(Minimum Shutter Speed)为基准，基于一帧时间内的对象的移动量和所述监控摄像机图像的分辨率(resolution)来计算。
18.根据权利要求17所述的监控摄像机的图像处理方法，其特征在于，
计算所述目标快门值的步骤包括：
将与所述监控摄像机图像的分辨率对应的性能信息、在没有运动模糊(motion blur)现象的情况下可识别的对象的速度信息设定为学习数据来训练学习模型；以及
基于将所述对象的移动速度作为输入数据并根据所述对象的移动速度自动计算所述目标快门值的所述学习模型来计算所述目标快门值。
19.根据权利要求14所述的监控摄像机图像的处理方法，其特征在于，
所述传感器增益控制区间的开始点的快门值被确定为随着所述对象的移动速度增加而收敛到所述第一快门值，并且被确定为随着所述对象的移动速度减小而收敛到所述第二快门值。
20.根据权利要求14所述的监控摄像机图像的处理方法，其特征在于，
所述第一快门值为1/300秒以上，所述第二快门值为1/30秒。
CN202180097267.5A 2021-04-19 2021-08-11 利用基于ai的对象识别的监控摄像机的快门值调节 Pending CN117280708A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2021-0050534 2021-04-19
KR20210050534 2021-04-19
PCT/KR2021/010626 WO2022225102A1 (ko) 2021-04-19 2021-08-11 Ai 기반 객체인식을 통한 감시 카메라의 셔터값 조절

Publications (1)

Publication Number Publication Date
CN117280708A true CN117280708A (zh) 2023-12-22

Family

ID=83722367

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180097267.5A Pending CN117280708A (zh) 2021-04-19 2021-08-11 利用基于ai的对象识别的监控摄像机的快门值调节

Country Status (6)

Country Link
US (1) US20240048672A1 (zh)
KR (1) KR20230173667A (zh)
CN (1) CN117280708A (zh)
DE (1) DE112021007535T5 (zh)
SE (1) SE2351197A1 (zh)
WO (1) WO2022225102A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117395378B (zh) * 2023-12-07 2024-04-09 北京道仪数慧科技有限公司 路产采集方法及采集***

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4329677B2 (ja) * 2004-11-09 2009-09-09 セイコーエプソン株式会社 動き検出装置
JP2008060981A (ja) * 2006-08-31 2008-03-13 Canon Inc 画像観察装置
JP2016092513A (ja) * 2014-10-31 2016-05-23 カシオ計算機株式会社 画像取得装置、ブレ軽減方法及びプログラム
KR101870641B1 (ko) * 2017-11-09 2018-06-25 렉스젠(주) 영상 감시 시스템 및 그 방법
KR102201096B1 (ko) * 2020-06-11 2021-01-11 주식회사 인텔리빅스 실시간 cctv 영상분석장치 및 그 장치의 구동방법

Also Published As

Publication number Publication date
DE112021007535T5 (de) 2024-06-27
US20240048672A1 (en) 2024-02-08
WO2022225102A1 (ko) 2022-10-27
KR20230173667A (ko) 2023-12-27
SE2351197A1 (en) 2023-10-18

Similar Documents

Publication Publication Date Title
US11809998B2 (en) Maintaining fixed sizes for target objects in frames
US11006046B2 (en) Image processing method and mobile terminal
US10372991B1 (en) Systems and methods that leverage deep learning to selectively store audiovisual content
US8314854B2 (en) Apparatus and method for image recognition of facial areas in photographic images from a digital camera
KR101926490B1 (ko) 이미지 처리 장치 및 방법
EP2549738B1 (en) Method and camera for determining an image adjustment parameter
WO2020057355A1 (zh) 一种三维建模的方法及其装置
CN109711318B (zh) 一种基于视频流的多人脸检测与跟踪方法
JP2005303991A (ja) 撮像装置、撮像方法、及び撮像プログラム
WO2020057353A1 (zh) 基于高速球的物体跟踪方法、监控服务器、视频监控***
US8798369B2 (en) Apparatus and method for estimating the number of objects included in an image
US9053355B2 (en) System and method for face tracking
JP2007148988A (ja) 顔認証装置、顔認証方法および入退場管理装置
US20240048672A1 (en) Adjustment of shutter value of surveillance camera via ai-based object recognition
JP5118590B2 (ja) 被写体追尾方法及び撮像装置
WO2023231479A1 (zh) 瞳孔检测方法、装置、存储介质及电子设备
KR20230064959A (ko) Ai 기반 객체인식을 통한 감시카메라 wdr 영상 처리
KR20230123226A (ko) Ai 기반 객체인식을 통한 감시 카메라 영상의 노이즈 제거
US20240046426A1 (en) Noise removal for surveillance camera image by means of ai-based object recognition
JP6851241B2 (ja) 画像解析装置
KR102564038B1 (ko) 시계열 영상을 이용한 표적 탐지 방법 및 시스템
US20220408008A1 (en) High-dynamic-range detecting system
JP2010154374A (ja) 撮像装置および被写体追跡方法
KR20230089558A (ko) 영상 전송 장치 및 방법, 그리고 영상 수신 장치 및 방법
KR20230131601A (ko) 파노라마 감시 영상의 생성

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination