CN110324572A - 监视***、监视方法和非暂时性计算机可读存储介质 - Google Patents

监视***、监视方法和非暂时性计算机可读存储介质 Download PDF

Info

Publication number
CN110324572A
CN110324572A CN201910235207.XA CN201910235207A CN110324572A CN 110324572 A CN110324572 A CN 110324572A CN 201910235207 A CN201910235207 A CN 201910235207A CN 110324572 A CN110324572 A CN 110324572A
Authority
CN
China
Prior art keywords
region
image
test object
building
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910235207.XA
Other languages
English (en)
Other versions
CN110324572B (zh
Inventor
长尾吉孝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to CN202111367386.6A priority Critical patent/CN114040169A/zh
Publication of CN110324572A publication Critical patent/CN110324572A/zh
Application granted granted Critical
Publication of CN110324572B publication Critical patent/CN110324572B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/1968—Interfaces for setting up or customising the system
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19686—Interfaces masking personal details for privacy, e.g. blurring faces, vehicle license plates
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19689—Remote control of cameras, e.g. remote orientation or image zooming control for a PTZ camera
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/182—Level alarms, e.g. alarms responsive to variables exceeding a threshold
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种监视***、监视方法和非暂时性计算机可读存储介质。所述监视***包括：摄像单元，其安装在能够对多个建筑物进行摄像且比所述多个建筑物中的至少一些建筑物高的位置，并且被配置为通过对包括所述多个建筑物和与所述多个建筑物邻接的地面的监视区域进行摄像来生成图像；设置单元，其被配置为设置多个检测对象区域，其中所述检测对象区域至少包括所述图像中的所述地面的区域、并且至少排除所述图像中的包含在与所述建筑物相对应的区域中且不与所述地面的区域相接的区域；以及处理单元，其被配置为对所述图像中的各检测对象区域内的人物进行计数。

Description

监视***、监视方法和非暂时性计算机可读存储介质
技术领域
本发明涉及监视***、监视方法和非暂时性计算机可读存储介质。
背景技术
在市区监视中，为了监视街道和广场，在市区的不同场所安装多个照相机，并且观察者通过切换这多个照相机的监视图像或者在监视器上显示许多小画面来进行监视。然而，观察者通过视觉观察所进行的监视经常导致忽略，并且这使得难以维持高的监视精度。因此，提出了通过分析照相机图像来进行监视的技术。
根据日本特开2004-104274所提出的技术，针对图像信息中所包含的物体、大小、移动速度、移动加速度、操作模式和其它状态，通过使用与现有视频数据的模式匹配等的异常检测算法来进行异常检测处理。作为该处理的结果，可以从同时显示多个图像的监视视图中选择在第二监视视图中要显示的图像。
此外，根据日本特开平5-35993所提出的技术，从同一监视照相机输出检测移动量，并且在判断为所检测到的移动量不超过预定值的情况下，可以将该监视照相机从多个监视照相机的切换顺序中排除。
然而，在所提出的上述技术中，需要准备具有特定视角的多个照相机并且分析各照相机的图像。因此，为了监视诸如市区等的宽区域，需要准备大量的照相机，并且需要使用能够单独处理这些照相机所拍摄到的图像的高运算性能。特别地，通常的监视用途所用的视角使得难以检测相对较广阔的对象区域中的被摄体的数量。
发明内容
因此，将提供高效地检测相对较宽的对象区域中的被摄体的数量的技术。
实施例的一个方面涉及一种监视***，包括：摄像单元，其安装在能够对多个建筑物进行摄像且比所述多个建筑物中的至少一些建筑物高的位置，并且被配置为通过对包括所述多个建筑物和与所述多个建筑物邻接的地面的监视区域进行摄像来生成图像；设置单元，其被配置为设置多个检测对象区域，其中所述检测对象区域至少包括所述图像中的所述地面的区域、并且至少排除所述图像中的包含在与所述建筑物相对应的区域中且不与所述地面的区域相接的区域；以及处理单元，其被配置为对所述图像中的各检测对象区域内的人物进行计数。
实施例的另一方面涉及一种使用监视***的监视方法，包括：获得如下的图像，该图像是通过安装在能够对多个建筑物进行摄像且比所述多个建筑物中的至少一些建筑物高的位置的摄像单元对包括所述多个建筑物和与所述多个建筑物邻接的地面的监视区域进行摄像所生成的；设置多个检测对象区域，其中所述检测对象区域至少包括所述图像中的所述地面的区域、并且至少排除所述图像中的包含在与所述建筑物相对应的区域中且不与所述地面的区域相接的区域；以及对所述图像中的各检测对象区域内的人物进行计数。
实施例的又一方面涉及一种非暂时性计算机可读存储介质，其存储程序，所述程序在由监视***中的信息处理设备的处理器执行时，使所述处理器进行以下操作：获得如下的图像，该图像是通过安装在能够对多个建筑物进行摄像且比所述多个建筑物中的至少一些建筑物高的位置的摄像单元对包括所述多个建筑物和与所述多个建筑物邻接的地面的监视区域进行摄像所生成的；设置多个检测对象区域，其中所述检测对象区域至少包括所述图像中的所述地面的区域、并且至少排除所述图像中的包含在与所述建筑物相对应的区域中且不与所述地面的区域相接的区域；以及对所述图像中的各检测对象区域内的人物进行计数。
通过以下(参考附图)对典型实施例的说明，本发明的更多特征将变得明显。
附图说明
图1是示出与典型实施例相对应的监视***10的结构示例的图；
图2A是示出与典型实施例相对应的信息处理设备130的硬件结构示例的图；
图2B是示出与典型实施例相对应的监视***10的安装示例的图；
图3A是示出与典型实施例相对应的、通过对市区进行摄像所获得的图像的示例的图；
图3B是示出与典型实施例相对应的检测对象区域的显示示例的图；
图3C是示出与典型实施例相对应的设置画面的显示示例的图；
图3D是示出与典型实施例相对应的设置画面的另一显示示例的图；
图4是示出与典型实施例相对应的区域设置处理的示例的流程图；
图5A是示出与典型实施例相对应的检测对象区域设置方法的示例的图；
图5B是示出与典型实施例相对应的检测对象区域设置方法的另一示例的图；
图5C是示出与典型实施例相对应的检测对象区域设置方法的又一示例的图；
图6是示出与典型实施例相对应的分析处理的示例的流程图；
图7A是示出与典型实施例相对应的将检测对象区域、在各区域中检测到的人数和所检测到的总人数显示在图像上的显示示例的图；
图7B是示出与典型实施例相对应的将放大图像叠加在图像上的显示示例的图；
图7C是示出与典型实施例相对应的放大图像掩模处理的示例的图；
图8A是用于说明与典型实施例相对应的区域设置处理的又一示例的图；
图8B是用于说明与典型实施例相对应的区域设置处理的又一示例的图；以及
图9是示出与典型实施例相对应的监视***90的结构示例的图。
具体实施方式
以下将基于附图来详细说明典型实施例。注意，在以下实施例中要公开的结构仅仅是示例，因而这些实施例不限于附图所示的结构。在以下实施例的说明中，将说明根据典型实施例的监视***用在市区中的人物监视中的情况。然而，监视***应用于的对象不限于市区，并且监视***可应用于宽区域的监视对象。
[第一实施例]
图1是示出根据第一实施例的监视***10的结构示例的图。参考图1，监视***10是通过使摄像设备100、图像服务器120、信息处理设备130和显示设备140通过网络150互连所获得的。图1所示的监视***10的构成元素仅仅是示例，并且还可以添加其它构成元素。以下将说明各个构成元素。
摄像设备100可以包括摄像单元101、控制单元102和通信单元103。摄像单元101可以包括光学***、摄像传感器、显像单元和编码单元等。光学***调整到达摄像传感器的被摄体图像的倍率、调焦位置或光量。光学***包括诸如用于移动透镜的马达等的预定驱动机构，并且根据来自控制单元102的指示来控制该驱动机构的操作。摄像传感器可以包括A/D转换器，以将通过对在摄像面上形成的光图像进行光电转换所获得的模拟图像信号转换成数字图像信号，并输出该数字图像信号。显像单元可以对从摄像传感器输出的数字图像信号进行诸如去拜尔(DeBayer)处理、白平衡处理和灰度转换处理等的显像处理。编码单元通过对从显像单元输出的数字图像信号进行压缩和编码来生成图像数据。图像压缩方法可以基于诸如H.264、H.265、MJPEG或JPEG等的标准。还可以生成具有包括mp4或avi的任意形式的图像数据。
摄像单元101可以通过获得每秒30帧的图像来获得30fps的运动图像(实时图像)。在以下的说明中，“实时图像”或“图像数据”意味着摄像单元101所生成的数字图像数据。
控制单元102调整摄像条件，诸如摄像设备100的视角和摄像方向、帧频、以及要获得的图像的类型等。摄像条件的该调整可以根据来自用户的指示而执行，并且也可以根据预先存储在摄像设备100中的设置值而执行。用户可以通过网络150从信息处理设备130或显示设备140输入指示，或者从连接至摄像设备100的控制台终端直接输入指示。控制单元102根据从信息处理设备130或显示设备140发送来的命令来控制摄像单元101，诸如摄像的开始/结束等。
通信单元103是通信接口，其中该通信接口将通过摄像单元101的摄像所生成的图像数据经由网络150发送至图像服务器120、信息处理设备130和显示设备140。通信单元103通过例如使用诸如NFS或CIFS等的网络文件***或者诸如UDP或TCP等的网络通信协议来调整与通信对方的数据交换。此外，通信单元103从信息处理设备130或显示设备140接收用于控制摄像设备100的设置信息和命令，并且将该设置信息和命令供给至控制单元102。控制单元102根据该设置信息和命令来控制摄像设备100的操作。
图像服务器120记录和管理摄像设备100所生成的图像数据。根据来自信息处理设备130或显示设备140的设置和请求，图像服务器120可以记录和编辑图像数据并将所记录的图像数据供给至各设备。信息处理设备130分析摄像设备100所获得的图像数据或从图像服务器120提供的图像数据，并输出基于分析结果的通知。该通知可以是由信息处理设备130的显示装置或声音输出装置输出的，或者是由外部显示设备140输出的。
显示设备140可以显示摄像设备100所获得的图像，并且可以输出从信息处理设备130接收到的通知。显示设备140还可以提供用于指定摄像设备100所进行的摄像的条件的用户界面，设置图像服务器，并且显示所分发的图像。
网络150是能够进行基于IP的通信的诸如LAN或因特网等的通信线路。根据用途或目的来安装具有所需形式的通信线路作为网络150，而与该形式是有线形式还是无线形式无关。摄像设备100可以根据所指定的摄像条件来获得实时图像，并且将所获得的图像数据通过网络150分发至各设备。
信息处理设备130可以包括存储单元131、设置单元132、图像处理单元133、显示单元134、操作单元135和通信单元136。
存储单元131将需要检测被摄体的存在并对所检测到的被摄体进行计数的检测对象区域的设置信息存储在作为摄像设备100的监视对象的预定区域中。该设置信息包含用于在通过对监视区域进行摄像所获得的图像数据上指定检测对象区域的位置信息(坐标信息)、以及表示例如检测对象区域的类型和用于判断是否通知基于所检测到的被摄体的数量的分析结果的阈值的信息。设置单元132进行在监视区域中设置检测对象区域的设置处理。存储单元131存储设置单元132所设置的设置信息。
图像处理单元133基于设置单元132所设置的设置信息来分析从摄像设备100或图像服务器120提供的图像数据，并输出分析结果。该分析处理包括例如根据从摄像设备100或图像服务器120获得的图像数据来检测存在于预定区域中的被摄体(例如，人物)、以及对所检测到的被摄体进行计数。图像处理单元133还可以基于设置单元132所设置的针对各区域的阈值信息来判断被摄体的数量是否超过阈值。如果被摄体的数量超过阈值，则图像处理单元133可以将表示该信息的通知输出至显示单元134或显示设备140。代替图像，该通知输出也可以通过使用声音等来进行。
另外，图像处理单元133可以进行将从摄像设备100或图像服务器120获得的图像数据以及各种设置画面显示在显示单元134上的控制，并且可以将所获得的图像数据存储在存储单元131中。此外，图像处理单元133可以进行按预定间隔顺次地切换从多个摄像设备100或多个图像服务器120发送来的图像数据的控制。在该控制中，图像处理单元133可以对压缩后的图像数据进行解码以进行图像分析。图像处理单元133还可以与检测定时同步地控制图像获得定时。
显示单元134可以显示从摄像设备100或图像服务器120获得的图像数据，并且还可以显示用于对设置信息进行设置的设置画面和用于通知输出的画面。操作单元135可以接受来自信息处理设备130的操作员的操作。更具体地，操作单元135可以接受用于改变摄像设备100或信息处理设备130的设置的操作，并且可以包括键盘、鼠标、各种操作按钮和触摸面板等。在多个摄像设备100或多个图像服务器120连接至网络150的情况下，操作单元135可以输入用以使显示单元134将多个设备或服务器的图像数据显示在一个画面上的指示。操作单元135还可以输入用以在画面上选择一个图像数据并将所选择的图像数据显示在显示单元134上的指示。
通信单元136接收从摄像设备100或图像服务器120发送来的图像数据。通信单元136还可以将信息处理设备130的用户通过使用显示单元134或操作单元135所设置的设置信息、控制信息和分发命令发送至摄像设备100。另外，通信单元136可以将信息处理设备130所进行的对图像数据的分析的结果(包括上述通知)输出至连接至网络150的显示设备140。
在本实施例中，将说明使用一个摄像设备100的情况。然而，在图1所示的监视***10的结构中，摄像设备100的数量可以是一个以上的任意数量，并且不受限制。图像服务器120、信息处理设备130和显示设备140各自无需由单个设备实现，并且各设备的功能也可以通过多个设备的协作来实现。另外，图1将图像服务器120和信息处理设备130示出为独立组件，但信息处理设备130也可以实现图像服务器120的功能。此外，已经说明了摄像设备100和信息处理设备130通过网络150连接的配置。然而，还可以将这些设备配置为摄像单元和图像处理单元，并将这些单元实现为一个***。
接着，将说明构成与本实施例相对应的监视***10的信息处理设备130的配置的概要。图2A是示出信息处理设备130的硬件结构示例的框图。上述的图像服务器120和显示设备140也可以具有相同的硬件结构或等同的硬件结构。
参考图2A，CPU 200进行以下控制：执行例如硬盘装置(以下称为HD)205中所存储的应用程序、操作***(OS)、控制程序，并且将执行程序所需的信息以及文件等暂时存储在RAM 202中。CPU 200还基于从摄像设备100提供的并存储在RAM 202中的检测人物信息以及从图像服务器120获得的信息来执行与本实施例相对应的处理。此外，CPU 200控制经由接口(I/F)208与外部显示设备140的数据交换。注意，(后面要说明的)图4和图6所示的处理也由CPU 200通过执行相应的处理程序以控制整个设备来实现。ROM 201存储基本I/O程序、以及诸如用于执行预定处理的应用程序等的各种数据。RAM 202暂时存储各种数据，并且用作CPU 200的主存储器和工作区等。RAM 202还暂时存储从摄像设备100和图像服务器120接收到的信息。
外部存储驱动器203是用于实现向记录介质的访问的外部存储驱动器，并且可以将介质(记录介质)204中所存储的程序等加载到该计算机***中。注意，作为介质204，可以使用例如软盘(FD)、CD-ROM、CD-R、CD-RW、PC卡、DVD、蓝光盘IC存储卡、MO或记忆棒。
在本实施例中，使用用作大容量存储器的HD(硬盘)作为外部存储装置205。HD 205存储应用程序、OS、控制程序和相关程序等。注意，代替硬盘，也可以使用诸如闪速存储器等的非易失性存储装置。
指示输入装置206是例如键盘、指点装置(鼠标等)或触摸面板。输出装置207输出从指示输入装置206输入的命令、或者信息处理设备130针对该命令的响应输出等。输出装置207可以包括显示器、扬声器和耳机终端。***总线209管理信息处理设备130内的数据的流动。
接口(以下称为I/F)208具有中介与外部装置的数据交换的角色。更具体地，I/F208可以包括无线通信模块，并且该模块可以包括公知的电路机构，这些电路机构包括天线***、RF发射器/接收器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、CODEC芯片组、用户识别模块卡和存储器。此外，I/F 208可以包括有线连接所用的有线通信模块。有线通信模块使得能够经由一个或多个外部端口与其它装置进行通信。I/F 208可以包括用于处理数据的各种软件组件。外部端口经由以太网、USB或IEEE1394等直接地或者通过网络间接地连接至其它装置。注意，代替硬件设备，可以使用用于实现与上述各个设备的功能相同的功能的软件。
每当运行用于执行与本实施例相对应的处理的程序时，可以将该程序从已安装了该程序的HD 205加载到RAM 202中。还可以将根据本实施例的程序记录在ROM 201中、配置该程序以形成存储器映射的一部分、并且由CPU 200直接执行该程序。此外，可以将相应程序和相关数据从介质204直接加载到RAM 202中并执行。
本实施例的监视***可应用于如图2B所示的监视区域(监视对象区)。监视区域可以是例如多个房屋和建筑排成行的市区。在本实施例中，通过从高位置俯瞰如同这样的市区来对该市区进行摄像，以对该区域的广阔范围进行摄像。因而，图2B示出如下情况作为示例：将摄像设备100安装在高层建筑211的屋顶上，其中从该屋顶，摄像设备100可以俯瞰监视区域220。通过如此通过俯瞰来进行摄像，摄像区域可以包含市区的广阔范围。在本实施例中，将说明摄像设备100安装在高层建筑上的情况。然而，安装位置不限于高层建筑，只要该位置是高处并且能够通过俯瞰市区来对市区进行摄像即可。示例是丘陵和山。在从比监视区域220中所安装的至少一些建筑更高的场所进行摄像的情况下，可以高效地对建筑附近的人物进行计数。
为了确保在如上所述通过俯瞰宽范围来对该宽范围进行摄像时的分辨率，可以使用包括能够按20兆像素(水平方向上为5472个像素且垂直方向上为3648个像素)进行摄像的摄像元件的超高分辨率(多像素)网络照相机作为本实施例的摄像设备100。由于摄像设备100所获得的图像的分辨率高于经常用作监视照相机并且包括全HD(水平方向上为1920个像素且垂直方向上为1080个像素)摄像元件的网络照相机的分辨率，因此摄像设备100可以监视广阔范围。
在本实施例中，对监视区域进行摄像时的分辨率被调整成落在预定范围内。首先，设置视角以确保每单位长度(1米)为10个像素(10像素/米)的分辨率至少作为监视区域的最小值。另外，为了对更宽的区域进行摄像，可以将视角内的监视区域中的位于离摄像设备100最远的位置的第二区域的分辨率抑制到例如每单位长度(1米)为150个像素(150像素/米)以下作为最大值。
参考图2B，可以将摄像设备100的监视区域220划分成安装有诸如房屋和建筑等的建筑物的第一区域221、以及作为诸如街道以及广场或公园等的地面区域的第二区域222。由于人们可以进入第二区域222，因此可以通过分析通过对这些场所进行摄像所获得的图像数据来对人数进行计数。
以下将参考图3A-3D和图4来说明在从摄像设备100等获得的图像数据中设置用于在监视区域中进行被摄体检测的区域(检测对象区域)的处理的过程。首先，在本实施例中，摄像设备100的位置是固定的，因此唯一地设置了监视区域。例如，在将市区作为监视区域进行摄像的情况下，始终获得如图3A所示的图像300。图3A是示出通过利用上述结构实际对市区进行摄像所获得的图像300的示例的图。在图像300中，将用于对存在于诸如广场或公园以及街道等的地面区域(室外)中的被摄体(人物)进行计数的区域设置为检测对象区域。
在图4的步骤S401中，信息处理设备130的设置单元132例如分析图像数据，从图像中检测诸如房屋和建筑等的建筑物以及诸如广场或公园及街道等的地面区域，并且自动设置检测对象区域。可以通过使用模式匹配、或者利用机械地学习了建筑物、广场或公园以及街道的图像的训练模型的AI技术，来检测建筑物、广场或公园以及街道。设置单元132将与广场或公园以及街道相对应的地面区域设置为检测对象区域。此外，设置单元132在检测对象区域中不包括与建筑物相对应的区域。然而，如后面将说明的，在与建筑物相对应的区域中，与地面区域邻接的部分的区域可以包括在检测对象区域中。
在图4的步骤S401中，设置单元132还可以基于信息处理设备130的用户通过使用操作单元135所进行的操作输入，来将与广场或公园以及街道相对应的区域设置为检测对象区域。在设置检测对象区域时，还可以采用例如通过使用鼠标等如利用单一笔划的绘画那样连接图像数据上所绘制的直线来形成多边形的方法。为了能够更准确地设置区域，还可以通过根据需要以放大比例显示图像数据来定义该区域。用于在图像数据上定义各区域的位置的信息(例如，多边形的信息)仅需要具有多边形的顶点的坐标信息。此外，圆形的信息可以具有中心的坐标和半径的值的信息。作为图像数据的坐标系，可以采用原点在图的左上部、x轴为垂直方向且y轴为水平方向的xy坐标系。此外，还可以预先在存储单元131中使地图信息中的纬度和经度的信息与图像数据中的像素坐标信息相关联，并且使得用户能够在显示单元134上所显示的地图上指定检测对象区域。在这种情况下，设置单元132还可以通过将在地图上指定的设置区域转换成图像数据上的区域来设置检测对象区域。设置单元132还可以通过分析图像数据，基于用户操作来校正所设置的检测对象区域。
在如上所述的本实施例中，设置单元132可以基于用户的指示来在图像数据上设置具有任意形状的区域，因此可以将用户视为组的区域(例如，广场或公园以及街道)预先登记为一组检测对象区域。这防止了***自动划分区域并且用户无法获得他或她希望的结果的不便。
如图3B所示，在显示单元134显示图像数据时，所设置的区域301叠加在该图像数据上，因此用户可以从视觉上识别该图像数据中的设置了检测对象区域的部分。可以选择性地向如图3B所示的图像数据上所叠加的各检测对象区域301输入信息。如果在步骤S402中选择了给定区域作为信息设置对象，则处理进入步骤S403，并且设置单元132接受针对所选择的检测对象区域的设置输入。
在本实施例中，如图3C所示，设置画面显示信息输入区域302，并且可以输入诸如区域编号、类型和阈值等的各种信息。区域编号是唯一分配至在同一图像数据301上设置的检测对象区域的识别编号。类型是表示检测对象区域的类型的信息。例如，给出了诸如街道或广场等的实际区域的类型的信息。阈值人数是作为用于输出警报的基准的阈值。如果在该区域中检测到的人数超过阈值人数，则输出警报。可以根据区域的大小或类型来调整该阈值。还可以根据诸如广场或街道等的类型来设置人密度，并自动分配与该类型相对应的值。在这种情况下，可以由用户输入区域的面积、或者基于比例尺或地图自动计算面积，并且根据人密度和面积来计算作为阈值的人数。此外，也可以针对各时区将这些值设置为不同的值。
在图3C所示的示例中，将区域编号1赋予所选择的检测对象区域303，选择广场作为类型，并且阈值人数是10人以上。如果按下了OK按钮，则将这些内容设置在区域303中。另一方面，如果操作了取消按钮，则输入内容被重置，并且在区域303中未设置信息。
设置单元132在步骤S403中接受针对所选择的对象区域的设置输入，并且在随后的步骤S404中判断是否存在未设置的区域。如果存在未设置的区域，则设置单元132返回到步骤S402并继续该处理。另一方面，如果不存在未设置的区域，则处理进入步骤S405，并且设置单元132将已经设置的设置信息保存在存储单元131中。在该保存处理中，针对各区域使区域编号、类型、阈值人数和用于在图像数据上指定区域的坐标信息彼此相关联，并且作为设置信息保存在存储单元131中。如果阈值人数针对各时区而改变，则保存与各时区相对应的值。
可以根据需要读出存储单元131中所保存的设置信息，并且可以编辑该信息的内容。例如，如图3D所示，可以通过使用显示切换输入区域304接受选择来确认和编辑针对各区域所设置的区域编号、类型和阈值人数。图3D示出显示阈值人数的情况。用户可以通过选择“区域编号”、“类型”或“阈值人数”的按钮来显示信息，并且直接改变针对各区域所设置的数值。用户可以通过点击保存按钮来保存改变后的内容。如果用户没有改变内容，则他或她仅需点击取消按钮。
下面将参考图5A-5C来说明在步骤S401中设置检测对象区域的处理的详情。首先，将说明在如图5A所示的放大图像500中设置检测对象区域的情况作为示例。在图像500中，街道在建筑物的前方延伸，在街道上存在多个行人，并且在建筑物中也存在人物。参考图5A，用圆形包围可被检测为人物的被摄体。这些被摄体包括存在于用虚线501包围的区域中的被摄体。图5B示出在将街道设置为检测对象区域并且将建筑物从检测对象区域中排除的情况下的图像。图5B通过阴影区域502、503和504示出从检测对象区域中排除的区域(检测排除区域)。因此，除阴影区域以外的区域是检测对象区域。
在将建筑物区域从检测对象区域中排除之后检测人物的情况下，将图像中的包含建筑物的区域从分析处理的对象中排除，因此可以减轻处理负荷。另一方面，位于检测对象区域和检测排除区域之间的边界附近的利用虚线框505表示的人物可能不会被适当地检测为人物，并且这导致检测遗漏。
因此，如图5C所示，检测对象区域从街道延伸到建筑物，使得可以检测街道上的人物，即检测对象区域被调整成包括建筑物的至少一部分。结果，通过阴影区域表示的检测排除区域502和503减少，并且利用虚线框504表示的边界附近的人物变得可检测。
以下将参考图6所示的流程图来说明在如上所述设置单元132在摄像区域中设置检测对象区域之后、对通过摄像实际获得的图像数据要进行的分析处理的详情。图6是示出与典型实施例相对应的分析处理的示例的流程图。
首先，在步骤S601中，信息处理设备130经由通信单元136从摄像设备100或图像服务器120接收作为处理对象的图像数据。在随后的步骤S602中，信息处理设备130进行用于分析所接收到的图像数据的处理。更具体地，设置单元132首先根据存储单元131中所保存的设置信息来在所接收到的图像数据上设置检测对象区域。可选地，图像处理单元133可以读出存储单元131中所保存的设置信息，并且设置检测对象区域。然后，图像处理单元133对在图像数据上设置的各检测对象区域进行分析处理，由此检测作为存在于检测对象区域中的被摄体的人物并对所检测到的人物进行计数。可以通过使用模式匹配来检测人物，并且还可以基于通过背景差异所检测到的被摄体的大小来检测人物。还可以基于颜色信息来进行人物检测方法。
在随后的步骤S603中，图像处理单元133控制显示单元134以将在步骤S602中计数得到的针对各区域的人数叠加在要分析的图像数据上。在步骤S604中，图像处理单元133判断所检测到的人数是否等于或大于针对各区域所设置的阈值(是否满足通知条件)。如果存在满足通知条件的区域(步骤S604中为“是”)，则处理进入步骤S605。如果不存在这样的区域，则处理返回到步骤S601。在步骤S605中，图像处理设备133控制显示单元134以进行用于向用户通知相应区域的存在的通知输出。图7A示出该显示的示例。
在图7A中，在从摄像设备100提供的图像数据700上显示检测对象区域，并且还显示在各区域中检测到的人数以及所检测到的总人数。另外，改变所检测到的人数等于或大于阈值的区域701的颜色，以向用户通知在该区域中检测到等于或大于阈值的人物。通知输出的形式不限于颜色的改变，并且还可以通过使用区域或字符的闪烁或者声音输出等来进行通知。
在本实施例中，在如图7A所示的显示形式中，可以经由操作单元135接受来自用户的操作。在步骤S606中，图像处理单元133判断是否接受了来自用户的操作。如果接受了该操作(步骤S606中为“是”)，则处理进入步骤S607。另一方面，如果没有接受该操作，则处理进入步骤S608。之后，如果要终止该处理(步骤S608中为“是”)，则该处理终止。另一方面，如果不终止该处理(步骤S608中为“否”)，则处理返回到步骤S601。
在本实施例中，如果在步骤S606中接受了用于选择等于或大于阈值的区域的操作，则在步骤S607中，图像处理单元133可以通过控制显示单元134以将该区域的放大图像叠加在画面上来显示该放大图像。图7B示出该显示的示例。在图7B中，如果选择了图像数据700的区域701，则将该区域的图像显示在放大画面702上。通过参考该画面702，用户可以观察检测到等于或大于阈值的人物的实际区域。还可以进一步放大画面702上所显示的图像，或者使显示位置向上、向下、向左或向右移动以显示周边区域的图像。
此外，代替根据来自用户的操作输入显示放大画面702，图像处理单元133可以自动显示放大画面702。在检测到多个区域的情况下，可以同时显示多个区域的放大画面、或者按区域编号的顺序显示放大画面。
此外，在使地图信息中的纬度/经度信息与图像数据的坐标信息彼此相关联并且选择了一个检测区域的情况下，图像处理单元133还可以将该检测区域在地图上的位置显示在用于显示地图信息的画面上。这使得可以通过使表示实际状态的图像和该实际状态的地理位置彼此相关来直观地识别这两者。
以上已经说明了将来自信息处理设备130的图像分析结果的通知输出显示在信息处理设备130的显示单元134上的情况，但也可以将相同的信息经由通信单元136显示在外部的显示设备140上。除显示图像分析结果之外，显示设备140还可以通过网络150针对信息处理设备130执行各种操作，诸如区域设置操作和指定要以放大比例显示的区域的操作等。
在本实施例中，信息处理设备130还可以包括图像服务器120和显示设备140的功能。此外，摄像设备100可以进行信息处理设备130所进行的诸如人物检测等的图像分析处理的一部分，并且将诸如位置和大小等的检测信息发送至信息处理设备130。
在如上所述的本实施例中，可以在使视角固定的状态下利用一个摄像设备100对宽的摄像对象区域进行摄像时预先设置人物检测对象区域。这使得可以监视相对较宽的监视区域中的期望区域的状态，并且高效地进行例如人数的检测。
[第二实施例]
在第一实施例中，说明了与典型实施例相对应的监视***10的概要。在本实施例中，将说明第一实施例的各种变形例。
首先，在步骤S607中通过将放大图像叠加在画面上来显示放大图像时，在如图7B所示的显示画面上，放大图像直接显示在放大画面702上。该图像不仅包含作为所检测的被摄体的人物的图像，而且还包含无需监视的房屋的窗户和洗衣物等。因此，可以判断出隐私保护不足。
因此，在本实施例中，在步骤S607中通过将放大图像叠加在画面上来显示放大图像时，可以进行掩模。例如，如利用图7C所示的放大画面702’所示，可以掩模各被摄体，使得无法指定人物，并且如果图像包含与监视对象区域无关的被摄体，则可以掩模这些被摄体，使得不将这些被摄体显示在放大画面上。仅需进行该掩模处理使得可以使图像变模糊或者半透明到无法辨识处理对象的细节的程度，而无需将掩模处理进行到无法辨识处理对象自身的类型的程度。例如，在处理对象是人物的情况下，仅需要使至少脸部模糊到针对个人无法指定人物的程度。也可以在步骤S401中设置检测对象区域的同时设置放大后的图像数据中的掩模区域。例如，可以在如图5C所示的画面上指定阴影区域502、503和504中的任意一个并将该阴影区域设置为掩模区域。在这种情况下，掩模区域不必始终与检测对象区域一致。
此外，尽管在显示整个区域的情况下几乎不存在问题，但在将区域缩放到一定程度的情况下，有时发生问题。因此，可以设置缩放阈值，并且在将所检测到的人物和建筑物缩放到一定程度时，掩模这两者。作为缩放阈值，可以设置表示各区域的放大率的值。然而，如果所检测到的被摄体的大小变得等于或大于预定值，则还可以掩模该被摄体。建筑物区域的掩模可以是不透明的或半透明的。由于作为观察者的用户可以大致掌握周围状况，因此假定半透明的掩模对于他或她而言是有利的。
注意，也可以向特定用户(例如，管理员)赋予权限，并且使得该管理用户在他或她操作***时能够通过去除掩模来确认内容。在这种情况下，可以仅从所显示的图像去除掩模。在放大画面702上所显示的图像可记录的情况下，如果去除了掩模则记录停止，或者独立于显示用图像数据而生成记录用图像数据，以保持掩模未被去除。
在如上所述的本实施例中，在用户确认通知区域时以放大比例显示图像的情况下，可以高效地防止显示与监视对象区域无关的被摄体。
[第三实施例]
在上述的第一实施例和第二实施例中，已经说明了如图3B所示在图像数据上直接设置检测对象区域的方法作为检测对象区域设置方法。然而，设置方法不限于此。例如，还可以在图像数据上提取配置有建筑物的区域，并且将除所提取的该区域以外的区域顺次设置为检测对象区域。在提取配置有建筑物的区域的情况下，可以预先使地图信息中的纬度/经度信息与图像数据中的像素坐标信息相关联，并且在地图上指定建筑物配置区域，由此在图像数据中指定与该配置区域相对应的区域并提取该区域。在这种情况下，根据地图信息与图像数据之间的关联，在图像数据上所设置的给定检测对象区域中检测到等于或大于阈值的人物的情况下，可以在显示地图信息的画面上进行该区域的通知。
将参考图8A和8B来说明该处理。首先，在处理如图3A所示的图像的情况下，将配置有建筑物的区域设置为连续区域。图8A将配置有建筑物的区域示出为用虚线包围的区域801。在这种情况下，除区域801以外的白色区域802是人物可以存在的区域。然后，可以通过自由划分区域802来确定检测对象区域。
图8B是示出通过利用标记803划分区域802来设置检测对象区域的示例的图。如图8B所示，可以将区域802划分成个体区域。区域划分方法是例如用户指定标记803的输入位置的方法。还可以通过使用公知的预定方法来将区域802划分成具有任意大小的个体区域。在这种情况下，可以允许用户进行编辑处理，诸如改变所划分的区域的大小的处理和对邻接区域进行整合的处理等。
在本实施例中，即使在基于地图信息设置检测对象区域的情况下，也可以通过反映用户的意图来将用户视为一体区域的区域登记为一个区域。
[第四实施例]
在上述的第一实施例至第三实施例中，在摄像设备100的视角固定的状态下获得的图像数据是处理对象。相比之下，在本实施例中，将说明如下情况：通过使摄像设备100的平摇、俯仰和变焦可调整，本发明可应用于摄像分辨率与在第一实施例至第三实施例中假定的摄像设备的摄像分辨率相比更低的摄像设备。
图9是示出与本实施例相对应的监视***的结构示例的图。除了向摄像设备100添加驱动单元901并且向信息处理设备添加视角控制单元902之外，图9所示的监视***90的结构与图1所示的结构几乎相同。
驱动单元901是用于调整摄像设备100的平摇和俯仰的机构。在本实施例中，视角控制单元902可以通过经由通信单元136和通信单元103控制驱动单元901和摄像单元101的光学***，来调整摄像设备100的平摇、俯仰和变焦。结果，摄像设备100可以通过顺次对作为监视对象的市区的必要区域进行摄像来生成图像数据。同样在本实施例中，摄像设备100可以安装在高处，以便通过以与图2B所示相同的方式俯瞰监视对象区域来对该监视对象区域进行摄像。假定在本实施例中摄像设备100的分辨率为全HD(在水平方向上为1920个像素且在垂直方向上为1080个像素)，在使用与第一实施例至第三实施例中所使用的能够通过使用20兆像素(在水平方向上为5472个像素且在垂直方向上为3648个像素)来进行摄像的摄像设备的视角相同的视角的情况下，分辨率下降并且人物检测精度无法保持恒定。
因此，在本实施例中，视角控制单元902控制平摇、俯仰和变焦的参数，以与第一实施例相同的方式确保10像素/米的分辨率作为摄像条件。即使在通过进行一次摄像仅可以获得图3A所示的图像的一部分的情况下，也仅需通过在调整平摇、俯仰和变焦的同时转动摄像设备来进行摄像，从而对整个监视对象区域进行摄像。可以通过组合通过各个摄像操作所获得的图像数据来生成与图3A所示等同的全景图像。通过将第一实施例至第三实施例应用于如上所述所获得的全景图像，可以在监视对象区域内的任意检测对象区域中检测人数。
此外，在第一实施例至第三实施例中，具有固定视角的摄像设备100对整个监视对象区域进行摄像。因此，所获得的图像数据包含除检测对象区域以外的图像。然而，在本实施例中，通过控制平摇、俯仰和变焦可以仅对检测对象区域进行摄像。在这种情况下，无法通过全景图像确认整个监视对象区域，但可以以与第一实施例至第三实施例相同的方式来确认至少检测对象区域。
在附加地使得可确认整个监视对象区域的情况下，利用低于150像素/米的分辨率对监视对象区域的一部分或全部进行摄像，并且叠加通过利用等于或高于150像素/米的分辨率对检测对象区域进行摄像所获得的图像数据。这使得即使以低分辨率也可以掌握整个监视对象区域，并且同时以高分辨率确认作为目标的检测对象区域的状态。
在如上所述的本实施例中，即使在无法准备能够以期望分辨率进行摄像的摄像设备的情况下，也可以根据可使用的摄像设备的分辨率来调整摄像条件。这使得可以对监视对象区域中的期望区域的状态进行监视、例如检测人数。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给***或装置，该***或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (29)

1.一种监视***，包括：
摄像单元，其安装在能够对多个建筑物进行摄像且比所述多个建筑物中的至少一些建筑物高的位置，并且被配置为通过对包括所述多个建筑物和与所述多个建筑物邻接的地面的监视区域进行摄像来生成图像；
设置单元，其被配置为设置多个检测对象区域，其中所述检测对象区域至少包括所述图像中的所述地面的区域、并且至少排除所述图像中的包含在与所述建筑物相对应的区域中且不与所述地面的区域相接的区域；以及
处理单元，其被配置为对所述图像中的各检测对象区域内的人物进行计数。
2.根据权利要求1所述的监视***，还包括输出单元，所述输出单元被配置为响应于所述检测对象区域中计数得到的人数超过针对该检测对象区域所设置的阈值，输出通知。
3.根据权利要求2所述的监视***，其中，所述通知包括通过放大所述图像中的所述检测对象区域所获得的放大图像。
4.根据权利要求3所述的监视***，还包括掩模单元，所述掩模单元被配置为对以下至少之一进行掩模处理：所述放大图像中所包含的人物；以及所述放大图像中所包含的建筑物的至少部分区域。
5.根据权利要求4所述的监视***，其中，所述掩模单元响应于所述放大图像的放大率超过预定值，进行所述掩模处理。
6.根据权利要求4所述的监视***，其中，所述掩模单元响应于所述放大图像中所显示的人物的大小超过预定大小，进行所述掩模处理。
7.根据权利要求1至6中任一项所述的监视***，其中，所述设置单元设置所述检测对象区域，使得包括了包含在与所述建筑物相对应的区域中且与所述地面的区域相接的部分区域，并且排除了与所述建筑物相对应的区域中所包含的除所述部分区域以外的区域。
8.根据权利要求1至6中任一项所述的监视***，其中，所述设置单元基于通过使用通过对所述监视区域进行摄像所获得的图像而接受的对所述地面的区域的指定，来设置所述检测对象区域。
9.根据权利要求1至6中任一项所述的监视***，其中，所述设置单元通过从通过对所述监视区域进行摄像所获得的图像中提取与所述建筑物相对应的区域，来设置所述检测对象区域。
10.根据权利要求1至6中任一项所述的监视***，其中，所述设置单元通过在所述监视区域的地图上指定所述建筑物的区域的位置和所述地面的区域的位置、并且将在所述地图上指定的位置转换成通过对所述监视区域进行摄像所获得的图像上的位置，来设置所述检测对象区域。
11.根据权利要求1至6中任一项所述的监视***，其中，所述摄像单元使视角固定，并且进行摄像，使得所述视角包括整个所述监视区域。
12.根据权利要求1至6中任一项所述的监视***，其中，所述摄像单元生成各自通过控制平摇、俯仰和变焦来对所述监视区域的至少一部分进行摄像所获得的不同摄像区域的多个图像，并且与所述多个图像相对应的摄像区域覆盖全部所述多个检测对象区域。
13.根据权利要求11所述的监视***，其中，设置通过摄像所生成的图像的视角，使得在所述监视区域中针对各单位长度所要分配的像素数落在预定范围内。
14.根据权利要求13所述的监视***，其中，所述单位长度是1米，并且所述预定范围是10至150个像素的范围。
15.一种使用监视***的监视方法，包括：
获得如下的图像，该图像是通过安装在能够对多个建筑物进行摄像且比所述多个建筑物中的至少一些建筑物高的位置的摄像单元对包括所述多个建筑物和与所述多个建筑物邻接的地面的监视区域进行摄像所生成的；
设置多个检测对象区域，其中所述检测对象区域至少包括所述图像中的所述地面的区域、并且至少排除所述图像中的包含在与所述建筑物相对应的区域中且不与所述地面的区域相接的区域；以及
对所述图像中的各检测对象区域内的人物进行计数。
16.根据权利要求15所述的监视方法，还包括：响应于所述检测对象区域中计数得到的人数超过针对该检测对象区域所设置的阈值，输出通知。
17.根据权利要求16所述的监视方法，其中，所述通知包括通过放大所述图像中的所述检测对象区域所获得的放大图像。
18.根据权利要求17所述的监视方法，还包括对以下至少之一进行掩模处理：所述放大图像中所包含的人物；以及所述放大图像中所包含的建筑物的至少部分区域。
19.根据权利要求18所述的监视方法，其中，响应于所述放大图像的放大率超过预定值，进行所述掩模处理。
20.根据权利要求18所述的监视方法，其中，响应于所述放大图像中所显示的人物的大小超过预定大小，进行所述掩模处理。
21.根据权利要求15至20中任一项所述的监视方法，其中，在设置所述多个检测对象区域时，设置所述检测对象区域，使得包括了包含在与所述建筑物相对应的区域中且与所述地面的区域相接的部分区域，并且排除了与所述建筑物相对应的区域中所包含的除所述部分区域以外的区域。
22.根据权利要求15至20中任一项所述的监视方法，其中，在设置所述多个检测对象区域时，基于通过使用通过对所述监视区域进行摄像所获得的图像而接受的对所述地面的区域的指定，来设置所述检测对象区域。
23.根据权利要求15至20中任一项所述的监视方法，其中，在设置所述多个检测对象区域时，通过从通过对所述监视区域进行摄像所获得的图像中提取与所述建筑物相对应的区域，来设置所述检测对象区域。
24.根据权利要求15至20中任一项所述的监视方法，其中，在设置所述多个检测对象区域时，通过在所述监视区域的地图上指定所述建筑物的区域的位置和所述地面的区域的位置、并且将在所述地图上指定的位置转换成通过对所述监视区域进行摄像所获得的图像上的位置，来设置所述检测对象区域。
25.根据权利要求15至20中任一项所述的监视方法，其中，在对所述监视区域进行摄像时，使所述摄像单元的视角固定，并且进行摄像，使得所述视角包括整个所述监视区域。
26.根据权利要求15至20中任一项所述的监视方法，其中，在对所述监视区域进行摄像时，所述摄像单元生成各自通过控制平摇、俯仰和变焦来对所述监视区域的至少一部分进行摄像所获得的不同摄像区域的多个图像，并且与所述多个图像相对应的摄像区域覆盖全部所述多个检测对象区域。
27.根据权利要求25所述的监视方法，其中，设置通过摄像所生成的图像的视角，使得在所述监视区域中针对各单位长度所要分配的像素数落在预定范围内。
28.根据权利要求27所述的监视方法，其中，所述单位长度是1米，并且所述预定范围是10至150个像素的范围。
29.一种非暂时性计算机可读存储介质，其存储程序，所述程序在由监视***中的信息处理设备的处理器执行时，使所述处理器进行以下操作：
获得如下的图像，该图像是通过安装在能够对多个建筑物进行摄像且比所述多个建筑物中的至少一些建筑物高的位置的摄像单元对包括所述多个建筑物和与所述多个建筑物邻接的地面的监视区域进行摄像所生成的；
设置多个检测对象区域，其中所述检测对象区域至少包括所述图像中的所述地面的区域、并且至少排除所述图像中的包含在与所述建筑物相对应的区域中且不与所述地面的区域相接的区域；以及
对所述图像中的各检测对象区域内的人物进行计数。
CN201910235207.XA 2018-03-28 2019-03-27 监视***、监视方法和非暂时性计算机可读存储介质 Active CN110324572B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111367386.6A CN114040169A (zh) 2018-03-28 2019-03-27 信息处理装置、信息处理方法和存储介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-062266 2018-03-28
JP2018062266A JP2019176306A (ja) 2018-03-28 2018-03-28 監視システム、監視システムの制御方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202111367386.6A Division CN114040169A (zh) 2018-03-28 2019-03-27 信息处理装置、信息处理方法和存储介质

Publications (2)

Publication Number Publication Date
CN110324572A true CN110324572A (zh) 2019-10-11
CN110324572B CN110324572B (zh) 2021-11-30

Family

ID=65817774

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202111367386.6A Pending CN114040169A (zh) 2018-03-28 2019-03-27 信息处理装置、信息处理方法和存储介质
CN201910235207.XA Active CN110324572B (zh) 2018-03-28 2019-03-27 监视***、监视方法和非暂时性计算机可读存储介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202111367386.6A Pending CN114040169A (zh) 2018-03-28 2019-03-27 信息处理装置、信息处理方法和存储介质

Country Status (4)

Country Link
US (1) US10755109B2 (zh)
EP (1) EP3547679A1 (zh)
JP (1) JP2019176306A (zh)
CN (2) CN114040169A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110933455A (zh) * 2019-12-16 2020-03-27 云粒智慧科技有限公司 一种视频筛选方法、装置、电子设备及存储介质
CN112949375A (zh) * 2019-12-11 2021-06-11 株式会社东芝 计算***、计算方法及存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10832043B2 (en) * 2018-02-06 2020-11-10 Disney Enterprises, Inc. Variable resolution recognition
US11545024B1 (en) * 2020-09-24 2023-01-03 Amazon Technologies, Inc. Detection and alerting based on room occupancy
CN118020292A (zh) * 2021-09-30 2024-05-10 松下知识产权经营株式会社 图像处理方法、图像处理***、图像处理装置以及服务器
CN117288269B (zh) * 2023-11-27 2024-01-30 四川交通职业技术学院 一种城市道路景观质量智慧监测***及方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060067456A1 (en) * 2004-09-27 2006-03-30 Point Grey Research Inc. People counting systems and methods
CN101727573A (zh) * 2008-10-13 2010-06-09 汉王科技股份有限公司 一种视频图像中人群密度估计的方法和装置
CN102982598A (zh) * 2012-11-14 2013-03-20 三峡大学 基于单个摄像头场景配置的视频人数统计方法和***
CN103297672A (zh) * 2012-02-24 2013-09-11 索尼公司 客户终端、服务器和程序
CN103676829A (zh) * 2013-09-11 2014-03-26 无锡加视诚智能科技有限公司 基于视频的智能城市综合管理***及其方法
CN105681768A (zh) * 2016-03-29 2016-06-15 浪潮通信信息***有限公司 一种通过通信数据实现人流实时监控的方法
US20160379049A1 (en) * 2015-04-29 2016-12-29 Beijing Kuangshi Technology Co., Ltd. Video monitoring method, video monitoring system and computer program product
CN106295790A (zh) * 2016-08-25 2017-01-04 浙江宇视科技有限公司 一种通过摄像机进行目标数量统计的方法及装置
CN106412507A (zh) * 2016-09-30 2017-02-15 北京中星微电子有限公司 人员流量的智能监控方法和***
CN106454228A (zh) * 2016-09-20 2017-02-22 朱海燕 一种基于人脸识别的视频监控智能化天网***

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62136991A (ja) * 1985-12-10 1987-06-19 Matsushita Electric Works Ltd 異常監視装置
JPH04200084A (ja) * 1990-11-29 1992-07-21 Toshiba Corp 画像監視装置
JPH0535993A (ja) 1991-07-25 1993-02-12 Matsushita Electric Ind Co Ltd 監視カメラ装置
JP3933016B2 (ja) 2002-09-06 2007-06-20 株式会社日立製作所 監視システム
JP2005135188A (ja) * 2003-10-30 2005-05-26 Konica Minolta Holdings Inc 監視方法、監視システム、およびコンピュータプログラム
US7903141B1 (en) * 2005-02-15 2011-03-08 Videomining Corporation Method and system for event detection by multi-scale image invariant analysis
JP2007201556A (ja) 2006-01-23 2007-08-09 Fujifilm Corp 混雑情報提供システム及び方法
GB0709329D0 (en) * 2007-05-15 2007-06-20 Ipsotek Ltd Data processing apparatus
JP5142825B2 (ja) * 2008-05-28 2013-02-13 キヤノン株式会社 画像表示装置及び画像表示方法
JP4707735B2 (ja) * 2008-07-23 2011-06-22 キヤノンソフトウェア株式会社 情報処理装置、撮像装置、画像表示方法、記憶媒体、並びにプログラム
US9165190B2 (en) * 2012-09-12 2015-10-20 Avigilon Fortress Corporation 3D human pose and shape modeling
JP2014106585A (ja) * 2012-11-26 2014-06-09 Sony Corp 情報処理装置、端末装置、情報処理方法及びプログラム
JP5597781B1 (ja) * 2014-03-26 2014-10-01 パナソニック株式会社 滞留状況分析装置、滞留状況分析システムおよび滞留状況分析方法
JP6619927B2 (ja) * 2014-10-24 2019-12-11 株式会社日立製作所 キャリブレーション装置
US20170053172A1 (en) * 2015-08-20 2017-02-23 Kabushiki Kaisha Toshiba Image processing apparatus, and image processing method
US9989965B2 (en) * 2015-08-20 2018-06-05 Motionloft, Inc. Object detection and analysis via unmanned aerial vehicle
WO2017038160A1 (ja) * 2015-09-01 2017-03-09 日本電気株式会社 監視情報生成装置、撮影方向推定装置、監視情報生成方法、撮影方向推定方法、及びプログラム
US20190251367A1 (en) * 2015-12-28 2019-08-15 Nec Corporation Surveillance apparatus, control method, and program
WO2017135310A1 (ja) * 2016-02-04 2017-08-10 シャープ株式会社 通過数カウント装置、通過数カウント方法、プログラムおよび記憶媒体
JP2017152964A (ja) 2016-02-25 2017-08-31 株式会社東芝 監視装置および監視装置用プログラム
JP6679349B2 (ja) * 2016-03-08 2020-04-15 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP6666796B2 (ja) 2016-06-07 2020-03-18 株式会社Ｎｔｔドコモ 人口推計システムおよび人口推計方法
JP2018022343A (ja) * 2016-08-03 2018-02-08 株式会社東芝 画像処理装置、および画像処理方法
JP6843557B2 (ja) * 2016-08-30 2021-03-17 キヤノン株式会社 システム、情報処理装置、情報処理方法及びプログラム
US10599929B2 (en) * 2018-01-04 2020-03-24 Motionloft, Inc. Event monitoring with object detection systems

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060067456A1 (en) * 2004-09-27 2006-03-30 Point Grey Research Inc. People counting systems and methods
CN101727573A (zh) * 2008-10-13 2010-06-09 汉王科技股份有限公司 一种视频图像中人群密度估计的方法和装置
CN103297672A (zh) * 2012-02-24 2013-09-11 索尼公司 客户终端、服务器和程序
CN102982598A (zh) * 2012-11-14 2013-03-20 三峡大学 基于单个摄像头场景配置的视频人数统计方法和***
CN103676829A (zh) * 2013-09-11 2014-03-26 无锡加视诚智能科技有限公司 基于视频的智能城市综合管理***及其方法
US20160379049A1 (en) * 2015-04-29 2016-12-29 Beijing Kuangshi Technology Co., Ltd. Video monitoring method, video monitoring system and computer program product
CN105681768A (zh) * 2016-03-29 2016-06-15 浪潮通信信息***有限公司 一种通过通信数据实现人流实时监控的方法
CN106295790A (zh) * 2016-08-25 2017-01-04 浙江宇视科技有限公司 一种通过摄像机进行目标数量统计的方法及装置
CN106454228A (zh) * 2016-09-20 2017-02-22 朱海燕 一种基于人脸识别的视频监控智能化天网***
CN106412507A (zh) * 2016-09-30 2017-02-15 北京中星微电子有限公司 人员流量的智能监控方法和***

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949375A (zh) * 2019-12-11 2021-06-11 株式会社东芝 计算***、计算方法及存储介质
CN110933455A (zh) * 2019-12-16 2020-03-27 云粒智慧科技有限公司 一种视频筛选方法、装置、电子设备及存储介质
CN110933455B (zh) * 2019-12-16 2023-03-14 云粒智慧科技有限公司 一种视频筛选方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US20190303685A1 (en) 2019-10-03
EP3547679A1 (en) 2019-10-02
CN114040169A (zh) 2022-02-11
US10755109B2 (en) 2020-08-25
CN110324572B (zh) 2021-11-30
JP2019176306A (ja) 2019-10-10

Similar Documents

Publication Publication Date Title
CN110324572A (zh) 监视***、监视方法和非暂时性计算机可读存储介质
US10630899B2 (en) Imaging system for immersive surveillance
US7522186B2 (en) Method and apparatus for providing immersive surveillance
US10235574B2 (en) Image-capturing device, recording device, and video output control device
EP1696398B1 (en) Information processing system, information processing apparatus and information processing method , program, and recording medium
US7684591B2 (en) Information processing system, information processing apparatus and information processing method, program, and recording medium
CN106131499A (zh) 基于红外热像仪的同监测位多区域监控方法、装置及***
CN102244715B (zh) 图像处理装置、用于图像处理装置的设置装置及其方法
CN105554440A (zh) 监控方法和设备
US20100245584A1 (en) Method and apparatus for creating a zone of interest in a video display
CN106534780A (zh) 三维全景视频监控装置及其视频图像处理方法
KR20180038241A (ko) 영상 제공 장치 및 방법
KR102249498B1 (ko) 이벤트 검색 장치 및 시스템
JP2014042160A (ja) 表示端末、動体検知の対象領域の設定方法及びプログラム
JP2008176768A (ja) 画像処理装置
JP2017162432A (ja) 画像処理システム、情報処理装置、情報端末、プログラム
KR100585822B1 (ko) 실시간 파노라마 비디오 영상을 이용한 감시 시스템 및 그시스템의 제어방법
CN108362382A (zh) 一种热成像监控方法及其监控***
US11195295B2 (en) Control system, method of performing analysis and storage medium
KR102057845B1 (ko) 단말기와의 연계를 통한 영상 관제 방법 및 이를 이용한 영상 관제 시스템
CN111726569A (zh) 监控内容替换检测***及方法
JP2018152688A (ja) 映像監視装置、映像監視方法及び映像監視プログラム
JP2021165982A (ja) 情報処理システム、情報処理方法、及びプログラム
CN116977882A (zh) 一种三维手势数据采集***及方法
TWI530888B (zh) 物體軌跡追蹤系統和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant