CN109218663B - 图像处理设备、图像处理方法和存储介质 - Google Patents

图像处理设备、图像处理方法和存储介质 Download PDF

Info

Publication number
CN109218663B
CN109218663B CN201810725890.0A CN201810725890A CN109218663B CN 109218663 B CN109218663 B CN 109218663B CN 201810725890 A CN201810725890 A CN 201810725890A CN 109218663 B CN109218663 B CN 109218663B
Authority
CN
China
Prior art keywords
image
state
unit
background image
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810725890.0A
Other languages
English (en)
Other versions
CN109218663A (zh
Inventor
伊藤干
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN109218663A publication Critical patent/CN109218663A/zh
Application granted granted Critical
Publication of CN109218663B publication Critical patent/CN109218663B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19654—Details concerning communication with a camera
    • G08B13/19656—Network used to communicate with a camera, e.g. WAN, LAN, Internet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G06F21/6254—Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19686—Interfaces masking personal details for privacy, e.g. blurring faces, vehicle license plates
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/08—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using communication transmission lines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及一种图像处理设备、图像处理方法和存储介质。可以基于摄像范围内的移动物体的检测状态来适当地进行用于保护隐私和个人信息的匿名化处理。基于移动物体检测单元的检测结果，来对所检测到的移动物体的区域进行与第一模式和第二模式其中之一相对应的处理，其中该第一模式用于基于第一背景图像来使人体的区域匿名化，以及该第二模式用于基于基本背景图像来使人体的区域匿名化。

Description

图像处理设备、图像处理方法和存储介质
技术领域
本发明涉及用于通过对监视照相机等所拍摄到的图像进行图像处理来保护隐私的技术。
背景技术
随着最近各种场所中安装的监视照相机的数量的增加，针对监视照相机所拍摄到的图像中的个人的隐私保护以及与个人有关的个人信息的保护的重要性不断提高。
例如，日本特开2008-191884论述了用于通过使用背景图像来提取图像中的人体区域并且对所提取的人体区域进行模糊处理的技术。
日本特开2016-115214论述了如下的技术：使用多个检测器(移动物体检测单元和人体检测单元)以通过追踪背景的变化来更新不包括前景物体的稳定背景图像，由此使得能够以较高的精度检测到保护区域并且提高隐私保护的精度。
然而，在上述技术的情况下，例如，如果在监视照相机的摄像范围内存在大量的人、并且摄像范围的区域挤满人而使得这些人几乎不能移动并停留在该区域中，则难以检测人体，并且也难以将人体检测为移动物体。在这种摄像环境中，例如，如果通过追踪背景的变化来对稳定背景图像进行更新处理，则作为被摄体的人体逐渐被检测为背景。换句话说，如果人体被检测为背景，则用于对人体的区域应用隐藏处理(掩模处理等)的隐私保护处理不能正常起作用，使得人体(人物)以从视觉上可识别的状态显示。
发明内容
根据本发明的一个方面，一种图像处理设备，包括：摄像单元，用于获取拍摄图像；保持单元，用于保持第一背景图像；移动物体检测单元，用于在所述拍摄图像中检测移动物体；更新单元，用于基于所述移动物体检测单元的检测结果来生成第二背景图像；以及匿名化单元，用于基于所述移动物体检测单元的检测结果，来对所述移动物体检测单元所检测到的移动物体的区域进行与第一模式和第二模式其中之一相对应的处理，其中所述第一模式用于基于所述第一背景图像来使所述移动物体的区域匿名化，以及所述第二模式用于基于所述第二背景图像来使所述移动物体的区域匿名化。
根据本发明的一个方面，一种图像处理方法，包括：从摄像装置获取拍摄图像；保持第一背景图像；在所述拍摄图像中检测移动物体；进行更新处理，所述更新处理用于基于所述移动物体的检测结果来生成第二背景图像；以及进行匿名化处理，所述匿名化处理用于基于所述移动物体的检测结果，来对通过所述移动物体的检测所检测到的移动物体的区域进行与第一模式和第二模式其中之一相对应的处理，其中所述第一模式用于基于所述第一背景图像来使所述移动物体的区域匿名化，以及所述第二模式用于基于所述第二背景图像来使所述移动物体的区域匿名化。
根据本发明的另一方面，一种存储介质，其存储程序，所述程序用于使计算机执行上述的图像处理方法。
通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。
附图说明
图1是示出图像处理设备的示意结构示例的框图。
图2是示出图像处理设备的操作的流程图。
图3A和3B是各自示出基于移动物体信息的拥挤状态感测处理的示意图。
图4A和4B是各自示出基于人体信息的拥挤状态感测处理的示意图。
图5是示出背景图像更新处理的示意图。
具体实施方式
以下将参考附图来详细说明本发明的实施例。
根据本发明实施例的图像处理设备是例如创建如下图像的设备，其中在该图像中，从监视照相机所拍摄到的视频图像中保护了保护对象的隐私。
图1是示出根据本发明实施例的图像处理设备100的示意结构示例的框图。根据本实施例的图像处理设备100包括摄像传感器单元101、显像处理单元102、移动物体检测单元103、人体检测单元104、拥挤状态感测单元105、背景图像更新单元106、固定背景图像记录单元107、图像比较单元108、图像合成单元109和输出单元110。根据本实施例的图像处理设备100的结构不限于图1所示的结构。
摄像传感器单元101包括图像传感器(诸如用于通过光电转换来将经由未示出的光学***在摄像面上形成的光学图像转换成电信号的互补金属氧化物半导体(CMOS)传感器等)以及用于将该电信号转换成数字信号的模拟-数字(A/D)转换器。尽管图1示出包括用于拍摄视频图像的照相机(摄像传感器单元101)的结构示例，但该照相机可以是外部照相机。用于拍摄视频图像的照相机不限于监视照相机，而是可以是数字照相机、包括照相机功能的各种信息终端(诸如智能电话、平板终端和个人计算机等)、工业用照相机、或者车载照相机等。
显像处理单元102对从摄像传感器单元101输出的数字信号进行预定像素插值或颜色转换处理，并且生成例如R(红)、G(绿)、B(蓝色)、或者Y(亮度)和UV(色差)的数字视频图像数据。此外，显像处理单元102使用经过了显像处理的数字视频图像数据来进行预定运算处理，并且基于所获得的运算处理结果来进行诸如白平衡、锐度、对比度和颜色转换等的图像处理。将由显像处理单元102进行了图像处理的拍摄图像数据作为输入图像数据发送至移动物体检测单元103、人体检测单元104和背景图像更新单元106等。
移动物体检测单元103进行用于通过使用从显像处理单元102获得的输入图像来检测移动的被摄体(移动物体)的处理。根据本实施例的移动物体检测单元103基于输入图像中的被摄体等的时间变化来识别移动的前景物体，并且将所识别的前景物体检测为移动物体。作为用于检测移动物体的方法，例如可以使用用于预先创建背景模型并将该背景模型与输入图像进行比较以检测移动物体的背景差异方法。背景模型是由例如以下所述的背景图像更新单元106生成的，并且是通过根据图像内的状态的变化或者跟随移动物体检测结果(添加了没有检测到移动物体的场景或区域作为背景图像)来按照需要进行更新的。此外，移动物体检测单元103在每当对图像进行处理时生成包括输入图像中的移动物体的中心坐标和与该移动物体有关的形状信息的移动物体信息，并且将所生成的移动物体信息输出至拥挤状态感测单元105和背景图像更新单元106中的每一个。
人体检测单元104进行用于通过使用从显像处理单元102获得的输入图像来检测人物的被摄体(人体)的处理，并且还进行用于追踪所检测到的人体的处理。根据本实施例的人体检测单元104基于输入图像的特征来识别具有人体的特征的前景物体，并且将所识别的前景物体检测为人体。作为用于检测人体的方法，例如，可以使用通过模式匹配处理来检测图像中所包括的人体的中心坐标以及外接矩形坐标的处理。人体检测单元104在每当对图像进行处理时生成包括输入图像中的人体区域的外接矩形的坐标的人体信息，并且将所生成的人体信息输出至拥挤状态感测单元105和背景图像更新单元106中的每一个。人体区域可以利用例如用于指定由沿着人物的形状的曲线所包围的区域的坐标来表示。可选地，人体区域可以是包括人物的脸部和身体的区域、或者仅包括人物的脸部的区域。人体可以是人物的全身、包括人物的双臂的上身(躯干)、或者人物的身体的一部分。在通过模式匹配来检测人体的情况下，扫描检测对象的图像，以通过使用分别与检测对象的部位相对应的特征作为词典来提取匹配的区域。
拥挤状态感测单元105基于从移动物体检测单元103输出的移动物体信息或者从人体检测单元104输出的人体信息来感测被摄体的拥挤状态，并且将表示该拥挤状态的信息输出至背景图像更新单元106和固定背景图像记录单元107中的每一个。以下将详细说明拥挤状态感测单元105所进行的拥挤状态感测处理。
根据本实施例的图像处理设备100在拥挤状态感测单元中感测到对象区域挤满作为被摄体的人体的拥挤状态的情况下，进行第一模式的操作，并且在感测到对象区域没有挤满人体的非拥挤状态的情况下，进行第二模式的操作。以下将详细说明第一模式的操作和第二模式的操作。
背景图像更新单元106基于来自显像处理单元102的输入图像、以及来自移动物体检测单元103的移动物体信息、来自人体检测单元104的人体信息和来自图像比较单元108的保护对象信息至少之一，来创建并保持不包括保护对象的背景图像。这里所使用的保护对象是指应当保护隐私或个人信息的对象。在本实施例中，保护对象是作为输入图像中所包括的被摄体的人体的图像区域。在本实施例中，尽管将人体(人物)设置为保护对象，但保护对象可以是除人体以外的物体等。在拥挤状态感测单元105感测到对象区域没有挤满人体的非拥挤状态的情况下，背景图像更新单元106更新背景图像作为第二模式中所包括的操作，保持该背景图像，并且将该背景图像输出至图像比较单元108和图像合成单元109中的每一个。以下将由背景图像更新单元106创建并更新的不包括保护对象的背景图像称为基本背景图像。以下将详细描述背景图像更新单元106中的用于更新基本背景图像的处理。根据本实施例的背景图像更新单元106生成在上述的移动物体检测单元103中在移动物体检测处理期间所使用的背景模型，并且预先生成要记录在固定背景图像记录单元107上的背景图像。
固定背景图像记录单元107记录(保持)不存在作为保护对象的被摄体(人体)(不包括人体)的图像，作为不包括保护对象的背景图像。要记录在固定背景图像记录单元107上的背景图像是在如下情况之后获得的拍摄图像：利用摄像传感器单元101预先拍摄不包括作为保护对象的任何人体和其它前景物体的监视对象区域的图像，并且利用显像处理单元102对该图像进行显像且还对该图像进行图像处理。以下将不包括保护对象并记录在固定背景图像记录单元107上的背景图像称为固定背景图像。考虑到时间段和环境变化，期望准备多个固定背景图像。假定将考虑时间段和环境变化而预先创建的多个固定背景图像记录在根据本实施例的固定背景图像记录单元107上。图像处理设备100基于使用根据本实施例的监视***的时间段或照明环境等，从固定背景图像记录单元107上所记录的多个固定背景图像中选择要使用的固定背景图像。在拥挤状态感测单元105感测到对象区域挤满人体的拥挤状态的情况下，根据本实施例的固定背景图像记录单元107读取固定背景图像作为第一模式中所包括的操作，并且将所读取的固定背景图像输出至图像比较单元108和图像合成单元109中的每一个。
图像比较单元108将来自显像处理单元102的输入图像与来自背景图像更新单元106的基本背景图像或者来自固定背景图像记录单元107的固定背景图像进行比较，由此创建用于掩蔽输入图像中的保护对象的保护对象信息。如以下详细所述，生成保护对象信息，作为将输入图像中的保护对象的作为被摄体的人体作为剪影(silhouette)进行掩蔽的图像。根据本实施例，在感测到对象区域没有挤满人体的非拥挤状态的第二模式中，图像比较单元108通过将来自背景图像更新单元106的基本背景图像与来自显像处理单元102的输入图像进行比较来创建保护对象信息。另一方面，在感测到对象区域挤满人体的拥挤状态的第一模式中，图像比较单元108通过将来自固定背景图像记录单元107的固定背景图像与来自显像处理单元102的输入图像进行比较来创建保护对象信息。图像比较单元108生成包括与输入图像上的保护对象的被摄体(人体)的位置和形状有关的信息的保护对象信息，并且将所生成的保护对象信息输出至图像合成单元109和背景图像更新单元106中的每一个。
图像合成单元(匿名化单元)109通过将从图像比较单元108获取到的保护对象信息(以下所述的掩模图像)与从背景图像更新单元106输出的基本背景图像进行比较来创建隐私保护图像。具体而言，在感测到对象区域没有挤满人体的非拥挤状态的情况的第二模式中，图像合成单元109通过将第二模式中所创建的掩模图像与来自背景图像更新单元106的基本背景图像进行合成来创建隐私保护图像。在感测到对象区域挤满人体的拥挤状态的情况的第一模式中，图像合成单元109通过将第一模式中所创建的掩模图像与来自背景图像更新单元106的基本背景图像进行合成来创建隐私保护图像。图像合成单元109将所创建的隐私保护图像发送至输出单元110。将为了保护个人隐私或与个人有关的个人信息而使个人不被识别的图像处理称为匿名化处理。在本实施例中，为了便于说明，使用与二维阵列(其中，利用表示特定颜色的“1”来表示与人体区域相对应的像素值，并且利用“0”来表示与除人体区域以外的区域相对应的像素值)相关联的信息作为掩模图像，并且将该掩模图像中的利用“1”表示的部分与背景图像合成，由此实现匿名化处理。作为匿名化处理，存在各种方法，诸如仅将背景图像中的人体区域单纯显示为空白区域的方法、对人体区域进行二值化的方法、以及对人体区域进行模糊处理的方法等。
输出单元110将图像合成单元109所创建的隐私保护图像显示在显示画面上。尽管图1示出输出单元110用作显示装置的示例，但显示装置可以是外部显示装置。来自输出单元110的输出的目的地不限于显示装置，而是可以是例如网络、存储装置或其它装置。
图2是示出根据本实施例的图像处理设备100的操作的流程图。图2所示的流程图的处理不仅可以通过硬件结构来执行，而且还可以通过软件结构或者软件结构和硬件结构的组合来执行。在通过软件结构执行图2所示的流程图的处理的情况下，以例如中央处理单元(CPU)执行非易失性存储器中所存储的程序的方式来实现处理。代替通过预先将程序存储在非易失性存储器中而准备与软件结构相关联的程序，例如该程序可以从可拆卸的半导体存储器读取，或者可以经由诸如因特网(未示出)等的网络下载。
在根据本实施例的图像处理设备100中，假定在开始图2所示的流程图的处理之前、将用作固定背景图像的图像预先记录在固定背景图像记录单元107上。还假定以下：根据使用监视***的时间段或照明环境等来确定图像处理设备100使用固定背景图像记录单元107上所记录的固定背景图像中的哪个固定背景图像。
开始图2所示的流程图的处理，并且在步骤S1中，图像处理设备100将由显像处理单元102进行了显像并且还进行了图像处理的图像数据输入至移动物体检测单元103和人体检测单元104中的每一个。在步骤S1之后，图像处理设备100的处理进入步骤S2。
在步骤S2中，如上所述，图像处理设备100的移动物体检测单元103进行用于从输入图像中检测移动物体的处理，并且人体检测单元104进行用于从输入图像中检测人体的处理。此外，拥挤状态感测单元105基于通过移动物体检测处理所获得的移动物体信息和通过人体检测处理所获得的人体信息来感测监视对象区域内的人体的拥挤状态。
图3A示出如下的图像200的示例，其中在该图像200中，基于移动物体信息感测到存在少量的作为移动物体的人体201的非拥挤状态。图3B示出如下的图像200的示例，其中在该图像200中，基于移动物体信息感测到存在大量的作为移动物体的人体201的拥挤状态。如在图3A所示的图像200中那样，拥挤状态感测单元105判断为在与照相机的摄像视角相对应的摄像范围内由作为移动物体而被检测到的人体201所占据的范围小于预定范围的情况对应于非拥挤状态。另一方面，如在图3B所示的图像200中那样，拥挤状态感测单元105判断为在与照相机的摄像视角相对应的摄像范围内由作为移动物体而被检测到的人体201所占据的范围等于或大于预定范围的情况对应于拥挤状态。
图4A示出如下的图像300的示例，其中在该图像300中，基于人体信息感测到存在少量的作为被摄体的人体301的非拥挤状态。图4B示出如下的图像300的示例，其中在该图像300中，基于人体信息感测到存在大量的作为被摄体的人体301的拥挤状态。如在图4A所示的图像300中那样，拥挤状态感测单元105判断为在照相机的摄像范围内检测到的人体301的数量小于预定数量的情况对应于非拥挤状态。另一方面，如在图4B所示的图像300中那样，拥挤状态感测单元105判断为在照相机的摄像范围内检测到的人体301的数量等于或大于预定数量的情况对应于拥挤状态。
在利用拥挤状态感测单元105的拥挤状态感测处理中感测到拥挤状态的情况下，图像处理设备100将固定背景图像记录单元107上所记录的固定背景图像发送至图像比较单元108和图像合成单元109中的每一个。具体而言，在利用拥挤状态感测单元105感测到拥挤状态的情况下，图像处理设备100控制图像比较单元108和图像合成单元109中的每一个，以使用固定背景图像记录单元107上所记录的固定背景图像作为不包括保护对象的背景图像。之后，处理进入图2所示的步骤S4。
另一方面，在利用拥挤状态感测单元105的拥挤状态感测处理中感测到非拥挤状态的情况下，处理进入步骤S3。
在步骤S3中，图像处理设备100使背景图像更新单元106对基本背景图像进行更新处理。此外，图像处理设备100将由背景图像更新单元106进行更新后的基本背景图像发送至图像比较单元108和图像合成单元109中的每一个。具体而言，在利用拥挤状态感测单元105感测到非拥挤状态的情况下，图像处理设备100控制图像比较单元108和图像合成单元109中的每一个，以使用由背景图像更新单元106进行更新后的基本背景图像作为不包括保护对象的背景图像。
图5是示出在图2所示的步骤S3中利用背景图像更新单元106所进行的基本背景图像更新处理的操作的图。在图5中，假设例如在要输入至背景图像更新单元106的输入图像500中包括人体520和包袋510。图5所示的稳定背景时间501表示输入图像500内的被摄体等静止的时间长度。如图5所示，在稳定背景时间501中，将被摄体等静止的时间长度表示为通过对输入图像500进行分割所获得的多个块中的各个块的值。具体而言，稳定背景时间501的各块中的值表示：随着值的增大，被摄体等静止的时间长度增加。根据本实施例的背景图像更新单元106基于从移动物体检测单元103获得的移动物体信息来针对上述各个块计算被摄体等静止的时间长度。在图5所示的示例的情况下，图像处理设备100以块为单位管理稳定背景时间501中的各时间的长度。然而，管理的单位不限于块。各时间的长度可以以像素或任何形状为单位进行管理。
在本实施例中，用于更新输入图像500中的基本背景图像的图像区域是被摄体等静止并且在预定时间以上没有改变的稳定图像区域，并且该图像区域是排除人体区域的图像区域。在图5的示例中，用于判断图像区域是否是被摄体等静止的稳定图像区域所使用的预定时间的阈值等于或大于利用例如值“6”表示的时间。在本实施例中，背景图像更新单元106针对稳定背景时间501的块中的与人体检测单元104所检测到的人体520相对应的各块521，设置表示被摄体等静止的时间的值“0(零)”。因此，背景图像更新单元106从输入图像500中提取与稳定背景时间501的值等于或大于“6”的各块511相对应的图像区域(包袋501的图像区域)作为更新区域。此外，背景图像更新单元106通过加权平均或替换来将更新区域(包袋510的图像区域)与更新之前所获得的基本背景图像503进行合成，由此生成更新后的基本背景图像504。更新后的基本背景图像504是通过将如下的图像区域(即，包袋510)与更新之前所获得的基本背景图像503进行合成所获得的图像，其中该图像区域是通过在输入图像500中排除人体520所获得的、并且与被摄体等静止的时间长度等于或大于值“6”的各块511相对应。在本实施例中，背景图像更新单元106不提取人体520的图像区域作为更新区域。因此，例如，即使在人体520在预定时间以上静止的情况下，人体区域也未被合成，因此防止了人体520被视为背景。
将继续图2的流程图的说明。
在上述的步骤S3中对基本背景图像进行更新处理之后、或者在上述的步骤S2中感测到拥挤状态的情况下，处理进入由图像比较单元108执行的步骤S4。
在步骤S4中，图像比较单元108基于输入图像与如上所述根据拥挤状态进行切换并使用的固定背景图像或者更新后的固定背景图像之间的差异来创建剪影图像。该剪影图像是通过将输入图像中的保护对象被摄体(即，人体)作为剪影进行掩蔽所生成的。具体地，在本实施例中，在检测到拥挤状态的第一模式中，通过将固定背景图像与掩模图像进行合成来生成剪影图像，并且在检测到非拥挤状态的第二模式中，通过将基本背景图像与掩模图像进行合成来生成剪影图像。接着，处理进入由图像合成单元109进行的步骤S5。
在步骤S5中，图像合成单元109将上述的基本背景图像与剪影图像进行合成，由此创建隐私保护图像。该隐私保护图像是将输入图像中的隐私保护对象被摄体(人体)作为剪影进行掩蔽以保护人物(人体)的隐私的图像。换句话说，根据本实施例，隐私保护图像是通过根据拥挤状态对固定背景图像与掩模图像进行合成的第一模式和基本背景图像与掩模图像进行合成的第二模式进行切换所创建的。
之后，在步骤S6中，图像处理设备100判断是响应于来自***管理员等的结束指示而终止处理、还是继续处理。如果继续处理(步骤S6中为“否”)，则处理返回至步骤S1。如果处理终止(步骤S6中为“是”)，则图2所示的流程图的处理终止。
如上所述，在根据本实施例的图像处理设备100中，固定背景图像记录单元107保持不包括保护对象被摄体的固定背景图像，并且背景图像更新单元106在非拥挤状态下更新基本背景图像。此外，根据本实施例的图像处理设备100通过根据摄像范围内的人体的拥挤状态对掩模图像与固定背景图像进行合成的第一模式和掩模图像与基本背景图像进行合成的第二模式进行切换，来合成隐私保护图像。也就是说，根据本实施例的图像处理设备100，使用利用依赖于摄像环境(作为隐私保护对象的人体的拥挤程度)的背景图像所生成的掩模图像，由此实现更高的隐私保护性能。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给***或装置，该***或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
尽管已经参考实施例说明了本发明，但是应该理解，本发明不限于所公开的实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (7)

1.一种图像处理设备，包括：
获取单元，用于获取拍摄图像；
保持单元，用于保持第一背景图像，所述第一背景图像是不包括匿名化对象的预定图像；
物体检测单元，用于在所述拍摄图像中检测前景物体；
确定单元，用于基于所述物体检测单元的检测结果来确定所述拍摄图像中的拥挤的状态；
更新单元，用于生成基于所述获取单元所获取的所述拍摄图像而更新的第二背景图像；以及
生成单元，用于进行第一模式处理以及进行第二模式处理，其中所述第一模式处理用于通过将与所述拍摄图像中的所述匿名化对象相对应的掩模图像与所述第一背景图像进行合成来生成隐私保护图像，以及所述第二模式处理用于通过将与所述拍摄图像中的所述匿名化对象相对应的掩模图像与所述第二背景图像进行合成来生成隐私保护图像，
其中，所述生成单元基于所述确定单元所确定的拥挤的状态来选择所述第一模式处理和所述第二模式处理其中之一，并且进行所选择的所述第一模式处理和所述第二模式处理其中之一。
2.根据权利要求1所述的图像处理设备，其中，所述生成单元在所述第一模式处理中生成与通过将所述拍摄图像与所述第一背景图像进行比较而识别出的区域相对应的掩模图像，并且所述生成单元在所述第二模式处理中生成与通过将所述拍摄图像与所述第二背景图像进行比较而识别出的区域相对应的掩模图像。
3.根据权利要求1所述的图像处理设备，其中，
在所述物体检测单元所检测到的前景物体的数量等于或大于预定数量的情况下，所述确定单元确定为所述状态是拥挤状态，以及在所述物体检测单元所检测到的前景物体的数量小于所述预定数量的情况下，所述确定单元确定为所述状态是非拥挤状态；以及
其中，在所述确定单元确定为所述状态是拥挤状态的情况下，所述生成单元选择所述第一模式处理，以及在所述确定单元确定为所述状态是非拥挤状态的情况下，所述生成单元选择所述第二模式处理。
4.根据权利要求1所述的图像处理设备，其中，
所述物体检测单元在所述拍摄图像中检测人体作为所述前景物体，以及
其中，所述更新单元生成基于所述拍摄图像和所述物体检测单元的检测结果而更新的所述第二背景图像。
5.根据权利要求1所述的图像处理设备，其中，
在所述拍摄图像中所检测到的前景物体的比例等于或大于预定范围的情况下，所述确定单元确定为所述状态是拥挤状态，以及在所述拍摄图像中所检测到的前景物体的比例小于所述预定范围的情况下，所述确定单元确定为所述状态是非拥挤状态，以及
其中，在所述确定单元确定为所述状态是非拥挤状态的情况下，所述生成单元选择所述第二模式处理，以及在所述确定单元确定为所述状态是拥挤状态的情况下，所述生成单元选择所述第一模式处理。
6.一种图像处理方法，包括：
获取拍摄图像；
保持第一背景图像，所述第一背景图像是不包括匿名化对象的预定图像；
在所述拍摄图像中检测前景物体；
基于所述检测中的检测结果来确定所述拍摄图像中的拥挤的状态；
进行更新处理以生成基于所述拍摄图像而更新的第二背景图像；
基于所述确定中所确定的拥挤的状态来选择第一模式处理和第二模式处理其中之一；以及
进行所选择的所述第一模式处理和所述第二模式处理其中之一，
其中，所述第一模式处理是用于通过将与所述拍摄图像中的所述匿名化对象相对应的掩模图像与所述第一背景图像进行合成来生成隐私保护图像的处理，以及
其中，所述第二模式处理是用于通过将与所述拍摄图像中的所述匿名化对象相对应的掩模图像与所述第二背景图像进行合成来生成隐私保护图像的处理。
7.一种存储介质，其存储程序，所述程序用于使计算机执行根据权利要求6所述的图像处理方法。
CN201810725890.0A 2017-07-04 2018-07-04 图像处理设备、图像处理方法和存储介质 Active CN109218663B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017131003A JP6935247B2 (ja) 2017-07-04 2017-07-04 画像処理装置、画像処理方法、及びプログラム
JP2017-131003 2017-07-04

Publications (2)

Publication Number Publication Date
CN109218663A CN109218663A (zh) 2019-01-15
CN109218663B true CN109218663B (zh) 2021-09-14

Family

ID=62873259

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810725890.0A Active CN109218663B (zh) 2017-07-04 2018-07-04 图像处理设备、图像处理方法和存储介质

Country Status (4)

Country Link
US (1) US11004214B2 (zh)
EP (1) EP3425590B1 (zh)
JP (1) JP6935247B2 (zh)
CN (1) CN109218663B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3454254B1 (en) * 2017-09-07 2023-11-08 Canon Kabushiki Kaisha Image processing apparatus, image providing apparatus, control methods thereof, and program
JP7030534B2 (ja) * 2018-01-16 2022-03-07 キヤノン株式会社 画像処理装置および画像処理方法
US11527265B2 (en) 2018-11-02 2022-12-13 BriefCam Ltd. Method and system for automatic object-aware video or audio redaction
US10885606B2 (en) * 2019-04-08 2021-01-05 Honeywell International Inc. System and method for anonymizing content to protect privacy
CN110363172A (zh) * 2019-07-22 2019-10-22 曲靖正则软件开发有限公司 一种视频处理方法、装置、电子设备及可读存储介质
JP7370769B2 (ja) * 2019-08-30 2023-10-30 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
EP3800615A1 (en) 2019-10-01 2021-04-07 Axis AB Method and device for image analysis
EP3910961A1 (en) 2020-05-12 2021-11-17 Axis AB Video compression stream
CN112380987B (zh) * 2020-11-13 2021-12-17 圣凯诺服饰有限公司 有效学习时长统计***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101996410A (zh) * 2010-12-07 2011-03-30 北京交通大学 动态背景下的运动目标检测方法及***
CN102540264A (zh) * 2011-12-30 2012-07-04 北京华航无线电测量研究所 一种人体隐私部位自动检测与遮挡的微波安检***
CN104156942A (zh) * 2014-07-02 2014-11-19 华南理工大学 一种用于复杂环境遗留物的检测方法
CN104809742A (zh) * 2015-04-15 2015-07-29 广西大学 一种复杂场景下的物品安全检测方法
CN106650638A (zh) * 2016-12-05 2017-05-10 成都通甲优博科技有限责任公司 一种遗留物检测方法
JP2017098879A (ja) * 2015-11-27 2017-06-01 パナソニックＩｐマネジメント株式会社 モニタリング装置、モニタリングシステムおよびモニタリング方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004021495A (ja) * 2002-06-14 2004-01-22 Mitsubishi Electric Corp 監視システムおよび監視方法
JP4479267B2 (ja) * 2004-02-18 2010-06-09 株式会社日立製作所 監視カメラ映像配信システム
JP4672680B2 (ja) 2007-02-05 2011-04-20 日本電信電話株式会社 画像処理方法、画像処理装置、画像処理プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP5065060B2 (ja) * 2008-01-16 2012-10-31 キヤノン株式会社 撮像装置及びその制御方法
JP5121508B2 (ja) * 2008-03-03 2013-01-16 キヤノン株式会社 画像処理装置、画像処理方法、プログラム及び記憶媒体
JP5374220B2 (ja) * 2009-04-23 2013-12-25 キヤノン株式会社 動きベクトル検出装置およびその制御方法、ならびに撮像装置
JP2011209966A (ja) 2010-03-29 2011-10-20 Sony Corp 画像処理装置および方法、並びにプログラム
JP6602009B2 (ja) * 2014-12-16 2019-11-06 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2016144049A (ja) * 2015-02-02 2016-08-08 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP5988225B2 (ja) * 2015-02-25 2016-09-07 パナソニックＩｐマネジメント株式会社 モニタリング装置およびモニタリング方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101996410A (zh) * 2010-12-07 2011-03-30 北京交通大学 动态背景下的运动目标检测方法及***
CN102540264A (zh) * 2011-12-30 2012-07-04 北京华航无线电测量研究所 一种人体隐私部位自动检测与遮挡的微波安检***
CN104156942A (zh) * 2014-07-02 2014-11-19 华南理工大学 一种用于复杂环境遗留物的检测方法
CN104809742A (zh) * 2015-04-15 2015-07-29 广西大学 一种复杂场景下的物品安全检测方法
JP2017098879A (ja) * 2015-11-27 2017-06-01 パナソニックＩｐマネジメント株式会社 モニタリング装置、モニタリングシステムおよびモニタリング方法
CN106650638A (zh) * 2016-12-05 2017-05-10 成都通甲优博科技有限责任公司 一种遗留物检测方法

Also Published As

Publication number Publication date
JP6935247B2 (ja) 2021-09-15
JP2019016033A (ja) 2019-01-31
US20190012793A1 (en) 2019-01-10
EP3425590A1 (en) 2019-01-09
EP3425590B1 (en) 2023-06-07
US11004214B2 (en) 2021-05-11
CN109218663A (zh) 2019-01-15

Similar Documents

Publication Publication Date Title
CN109218663B (zh) 图像处理设备、图像处理方法和存储介质
KR101945194B1 (ko) 화상처리장치, 화상처리방법, 및 프로그램
EP3024227B1 (en) Image processing apparatus and image processing method
CN108024027B (zh) 图像处理设备、图像处理方法和存储介质
CN108012078B (zh) 图像亮度处理方法、装置、存储介质和电子设备
CN111837155A (zh) 图像处理方法及设备
US10863113B2 (en) Image processing apparatus, image processing method, and storage medium
EP3454254B1 (en) Image processing apparatus, image providing apparatus, control methods thereof, and program
CN106650583B (zh) 人脸检测方法、装置及终端设备
JP7084795B2 (ja) 画像処理装置、画像提供装置、それらの制御方法及びプログラム
CN113159229A (zh) 图像融合方法、电子设备及相关产品
JP5539565B2 (ja) 撮像装置及び被写体追跡方法
JP6099973B2 (ja) 被写体領域追跡装置、その制御方法及びプログラム
KR102474697B1 (ko) 촬상 장치 및 영상 처리 방법
JP6736916B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP5247419B2 (ja) 撮像装置および被写体追跡方法
JP5995610B2 (ja) 被写体認識装置及びその制御方法、撮像装置、表示装置、並びにプログラム
JP5446641B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2021005798A (ja) 撮像装置、撮像装置の制御方法およびプログラム
JP2020009099A (ja) 画像処理装置、画像処理方法、及びプログラム
JP6942752B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP6598828B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5605492B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP6525693B2 (ja) 画像処理装置及び画像処理方法
CN116883305A (zh) 全景图像拼接方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant