CN100393122C - 可改变物体检测条件的物体检测方法和物体检测装置 - Google Patents

可改变物体检测条件的物体检测方法和物体检测装置 Download PDF

Info

Publication number
CN100393122C
CN100393122C CNB031278884A CN03127888A CN100393122C CN 100393122 C CN100393122 C CN 100393122C CN B031278884 A CNB031278884 A CN B031278884A CN 03127888 A CN03127888 A CN 03127888A CN 100393122 C CN100393122 C CN 100393122C
Authority
CN
China
Prior art keywords
mentioned
monitor message
picture signal
image
tape deck
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB031278884A
Other languages
English (en)
Other versions
CN1484444A (zh
Inventor
伊藤渡
上田博唯
小仓慎矢
平间利昭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Kokusai Electric Inc
Original Assignee
Hitachi Kokusai Electric Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Kokusai Electric Inc filed Critical Hitachi Kokusai Electric Inc
Publication of CN1484444A publication Critical patent/CN1484444A/zh
Application granted granted Critical
Publication of CN100393122C publication Critical patent/CN100393122C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19606Discriminating between target movement or movement in an area of interest and other non-signicative movements, e.g. target movements induced by camera shake or movements of pets, falling leaves, rotating fan
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665Details related to the storage of video surveillance data
    • G08B13/19671Addition of non-video data, i.e. metadata, to video stream
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678User interface
    • G08B13/1968Interfaces for setting up or customising the system
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678User interface
    • G08B13/19682Graphic User Interface [GUI] presenting system data to the user, e.g. information on a screen helping a user interacting with an alarm system
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678User interface
    • G08B13/19691Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Library & Information Science (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Burglar Alarm Systems (AREA)

Abstract

一种物体检测装置,包括进行对象区域的摄像的摄像部分、将来自上述摄像部分的图像信号作为基准图像存储的第1记录装置、对确定上述图像信号的监视信息的表进行存储的第2记录装置、根据来自上述摄像部分的图像信号和来自上述第1记录装置的基准图像检测出成为对象的物体的物体检测处理部分、及存储上述物体检测处理部分的处理结果的存储表和显示部分,来自上述摄像部分的图像信号根据存储于上述第2记录装置的用于确定监视信息的上述表而被保存,在上述显示部分显示保存于上述存储表的上述物体检测处理部分的结果。根据显示于上述显示部分的上述物体检测处理部分的处理结果的显示而改变上述第2记录装置的存储的上述表的监视信息。

Description

可改变物体检测条件的物体检测方法和物体检测装置
技术领域
本发明涉及一种使用摄像装置的物体检测***,特别是涉及可通过图像信号的处理自动地检测出侵入到检测对象区域内的物体的侵入物体检测方法和侵入物体检测装置。
背景技术
使用电视摄像机等摄像装置的远程监视方式的监视***过去已得到广泛应用,但大多为监视人员一边观看显示于监视器的图像一边进行监视的所谓有人监视方式的监视***。
然而,在该有人监视方式的监视***中,需要监视人员时常看着显示于监视器的图像,实时地识别进入到监视对象区域内的人或机动车等侵入物体,因此,对监视人员产生了很大的负担,而且人的集中力有限,所以,不能无视漏看的发生,在可靠性方面存在问题。
因此,近年来,对所谓的自动检测方式的监视***的要求很强烈,该自动检测方式的监视***不为这样的由人进行的监视,而是根据TV摄像机获得的图像通过信号处理自动地检测出侵入物体,获得预定的通报和报警处置。
可是,为了实现这样的***,需要使用预定的监视方式根据图像信号检测出应看成侵入物体的监视对象物体的功能,作为此时的监视方式的一例具有在例如记载于日本特开平7-79429号公报等记载的被称为差分法的方法,该方法过去得到广泛应用。
该差分法在由电视摄像机获得的图像中预先将不存在应检测的侵入物体的图像选定为基准背景图像加以存储,使输入图像(从电视摄像机输出的图像)与该基准背景图像进行对比,对各像素求出辉度值的差分,在根据预定的值(记为阈值)对该差分值进行判别处理而生成的二进制化图像中出现超过预定大小的区域时,将其看成侵入物体。
可是,在差分法的场合,为了提高侵入物体的检测精度,存在几个应考虑为参数的条件,在其具有代表性的条件中具有上述阈值和后述的掩蔽区域。
首先,说明阈值。在图4A的例子中,设定的阈值适当,对输入图像401与基准背景图像的差分进行阈值处理后,可正确地检测出存在于输入图像401中的人物为侵入物体401a。
另一方面,图4B为阈值比适当的值小的场合的例子,在该例子中,由于阈值小,所以在输入图像与基准背景图像之间应不产生差别的草木的部分也作为侵入物体被检测出,看成在输入图像402中存在3种侵入物体402a、402b、402c。
相反,图4C为阈值比适当值大的场合的例子,在该场合,由于阈值大,所以,在应检测出的物体存在的区域中不能检测出输入图像403与基准背景图像的差较小的部分,本来如图4A所示那样应作为侵入物体401a检测出的1个人被检测为***的多个物体403a、403b。
由以上说明可容易理解,在差分法中,阈值的设定为决定物体检测性能、决定检测精度的重要因素之一,而且,正确地设定阈值需要高度熟练。
下面,说明掩蔽区域。在这里,首先,图5A为可与图4A同样地正确进行物体501a的检测的场合的输入图像501的例,图5B为本来在图像内应成为背景的物体例如存在于输入图像502内的草木由于某种原因移动的场合例如由风吹动的场合的例子。
在该图5B的场合,即使除物体(人物)502a以外不存在侵入物体,但在草木的部分也使输入图像502与基准背景图像产生差别,看成在输入图像502中存在3种物体502a、502b、502c。
因此,在这样的场合,需要掩蔽处理,该掩蔽处理如图5C所示那样在输入图像503中对例如树和草木那样由风吹动的物体存在的区域设定掩蔽区域503b,将该掩蔽区域内作为不***(不进行物体存在判定的区域)处理。例如,美国专利申请序列No.10/387,433涉及掩蔽处理法。
该掩蔽处理不限于差分法,可适用于各种各样的物体检测方法,对提高物体检测性能也有效。
然而,在该掩蔽处理的场合,当不适当地设定掩蔽区域时,不能获得充分的性能。例如在图5C的输入图像503的场合,必须除去应出现侵入物体503a的区域,仅正确地掩蔽由风等原因产生移动、存在误检测为侵入物体的危险的草木等物体地设定掩蔽区域。
因此,可容易理解,在差分法中,掩蔽区域的设定也为决定物体检测性能、决定检测精度的重要因素之一,而且,正确地设定掩蔽区域也需要高度熟练。
以上举例说明了差分法,但不限于差分法,对于其它物体检测方法,为了保持物体的检测性能,也需要阈值、掩蔽区域等参数,需要其正确的设定。
因此,在已有技术的自动检测方式的监视***中,当开始运用该监视***时,当然由操作者对这些参数进行适当的设定,在***运行过程中,也根据需要由操作者适当地反复调整,时常通过适当的参数设定按技术要求保持监视***的性能。然而,这需要使操作者常驻于监视***所在场所,当这一点变得困难时,监视***的性能保持困难,侵入物体的检测精度和可靠性存在问题。
即,如物体的误检测实际出现时操作者正好不在,则该参数的设定是否适当的判断较困难。
因此,为了通过进行适当的参数设定时常适当地保持监视***的性能,需要等候误检测的发生并由操作者进行参数再设定。
为此,过去,操作者必须时常在监视***的设置现场等候(常驻),等候不知何时会发生的监视***对侵入物体的检测,因此,如上述那样,监视***的性能保持困难,侵入物体的检测精度和可靠性存在问题。
发明内容
本发明的目的在于提供一种物体检测容易的物体检测方法和物体检测装置。
本发明的另一目的在于提供一种可容易地修正物体检测的检测条件的物体检测方法和物体检测装置。
本发明的另一目的在于提供一种可在远距离位置进行监视信息的参数的调整的监视***和其维护方法。
本发明的一种物体检测装置,包括进行对象区域的摄像的摄像部分、将来自上述摄像部分的图像信号作为基准图像存储的第1记录装置、对确定上述图像信号的监视信息的表进行存储的第2记录装置、根据来自上述摄像部分的图像信号和来自上述第1记录装置的基准图像检测出成为对象的物体的物体检测处理部分、及存储上述物体检测处理部分的处理结果的存储表和显示部分,来自上述摄像部分的图像信号根据存储于上述第2记录装置的用于确定监视信息的上述表加以保存,在上述显示部分显示保存于上述存储表的上述物体检测处理部分的结果。
最好根据显示于上述显示部分的上述物体检测处理部分的处理结果的显示改变在上述第2记录装置存储的上述表的监视信息。
本发明的另一种监视***的维护方法,该监视***包括多个监视装置和通过传输路径接合于上述监视装置的操作器;其中:上述多个监视装置分别包括进行对象区域的摄像的摄像部分、将来自上述摄像部分的图像信号作为基准图像存储的第1记录装置、对确定上述图像信号的监视信息的表进行存储的第2记录装置、根据来自上述摄像部分的图像信号和来自上述第1记录装置的基准图像检测出成为对象的物体的物体检测处理部分、及存储上述物体检测处理部分的处理结果的第1存储表和显示部分,由上述操作器选择上述多个监视装置的任一个,将上述选择的监视装置的存储表的内容显示于上述操作器的显示部分,根据上述显示内容改变记录于上述第2记录装置的监视信息。
附图说明
图1为用于说明本发明第1实施例的处理流程的流程图。
图2A、2B为用于说明本发明的第2实施例的处理流程的流程图。
图3为示出适用本发明实施例的监视***的一例的图。
图4A~4C为采用差分法的物体检测动作的说明图。
图5A~5C为采用差分法的物体检测动作的另一说明图。
图6A、6B分别为示出本发明的一实施例的监视信息的参数和监视信息的记录的图。
图7为用于说明本发明的一实施例的信息的移动状况的图。
图8A、8B、8C、8D为用于说明输入图像异常的判定方法的一例的图。
图9为用于说明本发明一实施例的监视结果的信息的记录形式的一例的图。
图10为用于说明本发明的一实施例的信息的移动状况的图。
图11A、11B为用于说明本发明的第3实施例的处理流程的流程图。
图12A、12B为示出本发明的一实施例的操作者的参数设定操作的例的图。
图13、14为分别示出本发明第4实施例的处理的流程图和硬件构成的图。
图15为示出在第4实施例中使用的远程操作器的硬件构成的图。
图16为用于说明本发明一实施例的监视信息的参数的调整内容的记录形式的一例的图。
具体实施方式
下面,参照附图详细说明本发明的物体检测方法和物体检测装置的实施例。对同样的构件采用同样的参照符号。
图3示出适用本发明实施例的监视装置E00的框构成的一例。在该图中,符号E01为摄像装置,由电视摄像机E01a、变焦透镜E01b、及包含图中未示出的电动摄像机旋转台的摄像机云台(摄像机移动和倾斜头)E01c构成。
符号E02为处理装置,由图像输入部分E02a、云台控制部分E02b、透镜控制部分E02c、操作输入部分E02d、图像存储器E02e、MPU(微处理单元)E02f、工作存储器E02g、外部输入输出部分E02h、图像输出部分E02i、报警输出部分E02j、及数据总线E02k构成,并将操作器E03、由硬盘驱动器等构成的外部存储装置E04、图像监视器E05、及报警灯E06与其组合。
电视摄像机E01a的输出通过图像输入部分E02a连接到数据总线E02k,变焦透镜E01b的控制部分通过透镜控制部分E02c连接到数据总线E02k,摄像机云台E01c的电动旋转台通过云台控制部分E02b连接到数据总线E02k,由操纵杆等构成的操作器E03的输出通过操作输入部分E02d连接到数据总线E02k。
另外,外部存储装置E04通过外部输入输出部分E02h连接到数据总线E02k,监视用的监视器E05通过图像输出部分E02i连接到数据总线E02k,报警灯E06通过报警输出部分E02j连接到数据总线E02k。另一方面,MPUE02f与工作存储器E02g仍然连接于数据总线E02k。
在这里电视摄像机E01a将监视对象捕捉到预定的视野内,对监视对象进行摄像,输出视频信号。为此,具有变焦透镜E01b,搭载于摄像机云台E01c。然后,摄像的视频信号从图像输入部分E02a通过数据总线E02k存储到图像存储器E02e。
外部存储装置E04起到存储程序数据等的作用,该程序等的数据根据需要读入到工作存储器E02g,相反,从工作存储器E02g保存于外部存储装置E04。
MPUE02f保存于外部存储装置E04,开始动作时根据加载到工作存储器E02g的程序进行处理,在工作存储器E02g内进行存储于图像存储器E02e的图像的解析。
相应于该处理结果,MPUE02f控制变焦透镜E01b,控制摄像机云台E01c,改变电视摄像机E01a的摄像视野,同时,根据需要在监视器E05显示侵入物体检测结果的图像,起到使报警灯E06亮灯的作用。而且,也可使用摄像装置E01、处理装置E02、外部存储装置E04等功能一体化的装置,构成不限于图3所示形式。
下面,说明物体检测方法的实施例。在这里,以下说明的实施例都根据图3说明的监视装置E00的框构成动作,首先,根据图1说明本发明的第1实施例的动作。在这里,该图1由流程图示出本发明的第1实施例的处理过程。
该图1的处理过程首先从初始化处理步骤101开始,在这里,在物体检测处理中使用的在图像存储器E02e内确保的图像记录用的图像存储区域、确保于工作存储器E02g内的变量、监视信息的参数(后述)等存储区域的初始化。
下面,在图像输入步骤102中,通过图像输入部分E02a输入由电视摄像机E01a摄像获得的图像信号,例如按宽度方向的像素320、高度方向的像素240、每个像素的数据位数8即各像素为0~255的256级的任一像素值的输入图像。
在随后的再现要求判定步骤103中,判定操作者的再现要求的有无。为此,考察通过图像存储器E02e从操作器E03输入的信号,例如判定是否存在设于操作器E03的按钮是否按下。在图3中,作为操作器E03的例子示出操纵杆,但也可为键盘和其它输入装置。
当存在再现要求时,前进到监视信息退避步骤104,当没有再现要求时,分支到差分处理步骤109a,监视信息退避步骤104和随后的监视信息读入步骤106跳过。
在这里,“存在再现要求”指为了在经过预定时间后再现后述的图6B的监视信息操作者将该监视信息一时存储于存储器。因此,当“存在再现要求”(是)时,前进到监视信息退避步骤104,为了进行后述的预定期间后的图像处理一时记录监视信息。另一方面,当“没有监视要求”(否)时,监视信息直接输入到物体检测处理步骤109。
在监视信息退避步骤104中,将在步骤109和111中的处理过程所需要的现在的监视信息存储(记录)保存于外部存储装置E04。此时的监视信息存储示于图6A的表601中那样的例如保存时刻、保存条件、输入图像、基准背景图像、掩蔽图像、阈值、物体检测条件等参数,另外,还根据需要存储其它各种参数。关于步骤104将在后面详细说明。
在这里,保存时刻为保存该监视信息时的时刻,按年、月、日、时、分、秒各单位记录,并记录摄像获得的图像的帧编号。
保存条件指保存该监视信息的条件,在这里,如后述的那样,例如记录与定期保存的场合、由物体检测进行保存的场合、为异常输入图像的场合的保存等各保存条件一致的监视信息。
图6B示出在外部存储装置E04按例如表形式记录的监视信息的一例。
即,保存时刻示出在2003年5月23日13时00分06秒记录帧No.100的图像这一状态。保存条件为定期保存,例如示出每1小时记录1帧的状态。
输入图像示出由图像输入步骤102从电视摄像机E01a获得的输入图像(例如320×240pix、8bit/pix的图像)。基准背景图像为在后述的差分处理步骤109a使用的基准背景图像(例如320×240pix、8bit/pix的图像)。掩蔽图像指在后述的掩蔽处理步骤109c使用的掩蔽图像(例如320×240pix、8bit/pix的图像)。阈值(20)为在二进制化处理步骤109b使用的二进制化阈值(后述)。物体检测条件为在后述的物体存在判定步骤111中使用的物体的最小面积、最大面积、大小的范围等,在这里,还可附加对监视信息的备注等。
最小面积指由例如50像素构成的面积,最大面积例如指由5000像素构成的面积,大小的范围指物体的外接矩形例如横×纵为5×10~50×100像素的范围(参照图6B)。物体检测条件的单位为像素。
在该监视信息退避步骤104退避现在的监视信息的原因在于,由于在接下来的监视信息读入步骤106中读入现在的监视信息之外的监视信息而一时存储现在的监视信息。
在随后的监视信息读入步骤106中,读入记录于外部存储装置E04的过去的监视信息,将读入的监视信息写入到工作存储器E02g。
在上述实施例中,说明了将监视信息保存于外部存储装置E04的场合,监视信息也可分开存储于工作存储器E02g和图像存储器E02e。例如,在后述的图7中,参数“输入图像”、“背景图像”、“掩蔽图像”的数据存储于工作存储器E02g,但也可将例如“背景图像”和“掩蔽图像”的数据存储到图像存储器E02e。
随后的步骤109(由虚线围成的部分)为用于检测应进行监视处理的物体的处理,由差分处理步骤109a、二进制化处理步骤109b、掩蔽处理步骤109c、及标注处理步骤109d构成。
在差分处理步骤109a中,对各像素比较记录于图像存储器E02e的图像与基准背景图像,计算其差分获得差分图像。在再现要求判定步骤103的判定结果为没有再现要求的场合,差分处理步骤109以下的处理可相对在图像输入步骤102中从电视摄像机E01a获得的输入图像进行。
在二进制化处理步骤109b中,对现在获得的差分图像的各像素进行阈值处理,相应于保持于工作存储器E02g的二进制化阈值,当像素值不到阈值(6以上、不到255的范围内的由实验决定的值,例如20)时像素值为“0”、当在阈值以上时像素值为“255”地获得二进制化图像。这样,此时获得的二进制化图像表示输入图像的变化区域。
然后,掩蔽处理步骤109c进行图5C说明的掩蔽处理。具体地说,在该掩蔽处理步骤109c中,在记录于图像存储器E02e内的掩蔽图像内,将作为二进制化图像检测到的变化区域的像素值从“255”修正为“0”。
这样,可削除在由二进制化图像检测出的变化区域内的、例如存在草木的区域内检测出的、检测对象物以外的变化的变化区域。
在接下来的标注处理步骤109d中,检测出二进制化图像内的“255”的群,可对各群的区域标注编号加以区别。例如,在图4B中,对区域402a标注1,对区域402b标注2,对区域402c标注3。
因此,该物体检测步骤109在再现要求判定步骤103不需要监视结果的再现的场合,由图像输入步骤102相对输入的输入图像实施物体检测处理,由再现要求判定步骤103要求监视结果的再现的场合,根据存储于外部存储装置E04的过去的监视信息的参数实施处理。
结果,操作者可适当地切换判断由关于现在的输入图像的物体检测处理获得的监视结果和通过对操作器E03进行操作根据记录于外部存储装置E04的过去的监视信息获得的监视结果。
然后,在物体检测结果显示步骤110中,例如在输入图像重叠由物体检测步骤109检测出的侵入物体,通过图像输出部分E02i供给到监视器E05进行显示。如在步骤109获得的侵入物体的二进制化图像本身或其外接矩形或侵入物体为人,则重叠于输入图像的侵入物体的表示形式可能为在其头上标注三角标记或进行彩色显示等多种形式。
在随后的物体存在判定步骤111中,调查在由上述标注处理步骤109d标注了编号的二进制化图像内的“255”的像素值的像素群中是否存在根据预定的物体检测条件可判断为应检测出的物体的群,如存在,则前进到输入图像异常的判定处理步骤1112,如不存在,则分支到监视信息记录判定步骤113,输入图像异常的判定处理1112、报警/监视器显示步骤112跳过。
此时,在物体存在判定步骤111中,作为可判断为应检测出的物体的上述的物体检测条件,将二进制化图像内的“255”的像素值的像素群与监视信息的参数“最小面积”、“最大面积”、“大小的范围”等相比较,例如在面积(像素数)在最小面积(例如50像素)以上、不到最大面积(例如5000像素)或像素的群的外接矩形的大小在预定的范围内(例如宽度为5像素、高度在10像素以上而且宽度在50像素、高度不到100像素)的场合,判断存在应检测的物体即侵入物体。
然后,在步骤1112中,在二进制化图像内的“255”的像素值的像素群的面积根据记录于监视信息的参数在最大面积以上、大小在大小范围以上的场合,判断输入图像异常(输入图像与基准背景图像差别较大)。
输入图像的异常/正常判定也可根据二进制化图像内的“255”的像素值的像素群的面积相对输入图像的检测对象区域的面积的比进行。这将在图8A~8D中说明。
图8A为输入图像的一例,在输入图像801中显示出房子和树,在由虚线围住的树的叶子部分802设定掩蔽区域。即,掩蔽区域以外的区域成为检测对象区域。输入图像801的面积为S0。图8B示出掩蔽区域802和此外的加了影线的区域即检测对象区域803。设检测对象区域803的面积为S1,掩蔽区域S02的面积为S2。图8C示出从输入图像801检测的二进制化图像的例,阴影区域804为二进制化图像内的“255”的像素值的像素群即检测物体。设区域804的面积为S4。图8D为用于说明输入图像的正常/异常的判定的图。
在图8D中,如输入图像801为横320像素、纵240像素的图像,则其面积S0如下。
S0=320(像素)×240(像素)
检测对象区域803的面积S1如以下那样求出。
S1=S0-S2
设检测对象区域的面积的预定比例例如10%的区域的面积为A。即
A=0.1×S1
输入图像的异常/正常的判定根据检测物体的面积S4与A的比较结果进行判定。即
S4>A……输入图像异常
S4=A或S4<A……输入图像正常
通过设置这样的判定步骤1112,可判定输入图像的异常。
在报警/监视器显示步骤112中,例如在监视器E05显示检测出的物体的图像,使报警灯E06亮灯,进行表示存在侵入物体的通报。另外,也可一并进行表示输入图像异常的通报。
然后,在监视信息记录判定步骤113中,判定是否需要监视信息的记录。此时,当出现检测侵入物体的场合、输入图像不同的场合、及在通常监视中例如成为1小时间隔等预定时刻的场合中的至少1个事件时,判定需要进行监视信息的记录。
在判定需要监视信息的记录的场合,前进到监视信息记录步骤114,在判定不需要监视信息的记录的场合,分支到监视信息恢复判定步骤115,监视信息记录步骤114跳过。
在由步骤103判定存在再现要求的场合的处理也处于进行过程中的场合,不需要对由步骤106读入的监视信息的外部存储装置E04的再记录。
在监视信息记录步骤114中,将记录于工作存储器E02g和图像存储器E02e的监视信息按例如存储表的形式记录于外部存储装置E04。
然后,在监视信息恢复判定步骤115中,如在监视信息退避步骤104中将监视信息退避到外部存储装置E04,则前进到监视信息恢复步骤116,如未退避,则分支到图像输入步骤102,监视信息恢复步骤116跳过。
在监视信息恢复步骤116中,读入在步骤104中退避到外部存储装置E04的监视信息,写入到工作存储器E02g。
如监视信息恢复步骤116结束,则返回到图像输入步骤102,反复进行相同的处理。
下面以监视信息的退避步骤104、监视信息的读入步骤106、监视信息的恢复步骤116为中心由图7进一步说明在步骤103存在再现要求的场合的第1实施例的处理。图7示出例如工作存储器502g和外部存储装置E04之间的信息流动。
当步骤103存在再现要求时,此时的(在图7的例中为2003年5月26日10时05分23秒帧编号15的1组监视信息1100a在步骤104退避(存储)到外部存储装置E04。该1组的监视信息包含“输入图像”、“背景图像”、“掩蔽图像”、二进制化阈值等1组数据。该1组信息在图7中受到简化地示出,更详细的内容如图6B所示。由步骤104将信息100a存储到外部存储装置E04后,在步骤106将存储于外部存储装置E04的过去的1组监视信息1100b从外部存储装置E04读出,写入到工作存储器E02g,相对写入的信息1100b,实施物体检测步骤109、物体检测结果显示步骤110、物体存在判定步骤111、报警/监视器显示步骤112、监视信息恢复判定步骤115、监视信息恢复步骤116。在监视信息恢复判定步骤115中,由于在步骤104使监视信息退避到外部存储装置E04,所以,处理前进到监视信息恢复步骤116。在步骤116中,读出在步骤104退避到外部存储装置E04的例如2003年5月26日10时10分10秒、帧编号100的1组监视信息,再次存储到工作存储器E02g,对存储的监视信息继续进行步骤102以下的处理,所以,将处理返回到图像输入步骤102。这样,可重新开始为了进行再现要求的处理而中断了的通常的监视。
这样,可根据记录于外部存储装置E04的监视信息再现监视结果,在预定的时刻再现此前的监视结果。
即,按照图1的实施例,实际出现物体的误检测时的监视结果在以后的预定时刻可简单地再现出来,结果,操作者在预定时刻对操作器E03进行操作,即可使用再现的物体的误检测结果(例如即使存在侵入者也未检测出等)准确地判断监视信息的参数的设定是否适当。
因此,按照该图1的实施形式,不需要操作者常驻,即可时常调查监视***是否适当地工作。
下面,根据图2A、2B说明本发明的第2实施形式。图2A、2B为说明本发明第2实施形式的处理过程的流程图。
图2A、2B所示实施例在图1所示实施例的流程图的监视信息的退避步骤104与监视信息读入步骤106之间追加检索条件输入结束判定步骤1050和监视信息检索步骤105,而且在监视信息读入步骤106与物体检测步骤109内的差分处理步骤109a间追加监视信息修正判定步骤107和监视信息修正步骤108,在步骤114与步骤115间追加处理结果记录判定步骤1141和处理结果记录步骤1142,另外,在监视信息恢复步骤116后追加监视信息反映判定步骤117和监视信息反映步骤118。
此外的步骤与图1说明的第1实施例相同,所以,对追加的步骤进行重点说明,省略其它步骤的说明。
首先,在检索条件输入结束判定步骤1050中,判定操作者是否结束监视信息的检索条件的输入。操作者例如可由操作器E03的操作相对监视***进行保存时间和保存条件等的检索。另外,可由预定的按钮在监视***中指示检索条件输入结束。在检索条件输入结束判定步骤1050中,当监视信息的检索条件的输入未结束时,再次返回到检索条件输入结束判定步骤1050(即在输入结束之前循环),在检索条件的输入结束的场合,前进到监视信息检索步骤105。在监视信息检索步骤105,从记录于外部存储装置E04的多个监视信息检索与预定的保存时刻(例如从现在时刻到1周前的时间范围、帧编号等)、保存条件(物体检测时的保存等)中的至少1个条件一致的监视信息。此时的检索条件通过如上述那样由操作者适当选择后,使用操作器E03输入。
在多个监视信息与输入的检索条件一致而检索到的场合,例如也可选择最新记录的监视信息。另外,当相对输入的检索条件没有一致的监视信息时,也可选择最接近该条件的监视信息。
检索不限于上述形式,例如也可在监视器E05显示记录于外部存储装置E04的多个监视信息的一览表,操作者从该一览表选择所期望的监视信息。
接着,在监视信息读入步骤106中,从外部存储装置E04读出由监视信息检索步骤105检索到的监视信息,并将读入的监视信息的内容写入到工作存储器E02g。
随后,在监视信息修正判定步骤107中,对保持于工作存储器E02g的监视信息中的参数判定是否操作者要求修正。操作者例如可由操作器E03相对处理装置E02指示是否进行修正,在判断存在修正要求的场合前进到监视信息修正步骤108,但在没有修正要求的场合,分支到差分处理步骤109a,监视信息修正判定步骤107和监视信息修正步骤108跳过。
此时的监视信息修正判定步骤107的判断由操作者进行,判断结果例如从操作器E03输入。
在监视信息修正步骤108中,根据由操作者从操作器E03输入的值,进行使图6A所示监视信息的参数的例如“二进制化阈值”的值增加5个点等的修正。由步骤108修正后的监视信息的参数为了进行后述的监视信息反映步骤118的处理,另行记录到工作存储器E02g。
结果,由从物体检测步骤109到监视信息恢复步骤116的步骤进行的物体检测处理根据修正后的监视信息的参数实施。在监视信息恢复步骤116中,如对第1实施例进行的说明那样,读入在步骤104中退避到外部存储装置E04的监视信息,写入到工作存储器E02g中。
随后,在监视信息反映判定步骤117中,判断操作者是否要求使监视信息修正步骤108的修正结果反映到以后的通常的监视处理的监视信息。例如,在监视器E05上显示用于选择是否要反映的输入框,操作者可由操作器E03的操作相对处理装置E02指示是否需要反映。如存在修正后的监视信息的参数的反映要求,则在监视信息反映步骤118进行监视信息的参数的反映。即,在现在的监视信息的参数中反映另行记录于工作存储器E02g的步骤108的修正结果。此后,处理返回到图像输入步骤102,相对输入的图像由修正后的参数实施图像输入步骤102以下的一连串的处理。在没有要求的场合,由以前的参数实施图像输入步骤102以下的处理。因此,可在由操作者设定适当的二进制化的阈值等参数的基础上进行可靠的侵入物体的检测。在监视信息修正步骤108不进行监视信息的参数(例如掩蔽区域和二进制化值等)的修正的场合,跳过步骤117和步骤118的处理。
下面,说明处理结果记录判定步骤1141和处理结果记录步骤1142。在处理结果记录判定步骤1141中,判定是否记录处理结果。在这里,处理结果指例如在物体存在判定步骤111中是否判断存在检测物体、在输入图像异常的判定处理1112中是否判定输入图像为异常等信息。例如,在对每5帧记录处理结果的设定的场合,在步骤1141中,根据输入图像的帧编号判断现在的帧是否为记录处理结果的帧。在记录处理结果的场合,前进到步骤1142,在不记录的场合前进到步骤115。在由步骤103判定为存在再现要求的场合的处理过程中,跳过步骤1141和步骤1142。不限于对每5帧等定期记录处理结果的设定,例如也可为仅在判定存在检测物体的场合进行记录处理结果这样的设定。
然后,在处理结果记录步骤1142中,根据记录于工作存储器E02g和图像存储器E02e的监视信息和上述处理步骤的处理结果例如制作图9所示的记录901,可通过外部输入输出部分E02h存储到外部存储装置E04,根据需要显示于监视器E05。在图9中,记录901按5帧的间隔记录了输入图像的帧编号和该输入图像中的侵入者的有无(在步骤111判定)。在帧编号5、10、15、20、35、40中,示出检测到侵入者这一状态,在帧编号25、30中,示出没有侵入者这一状态。操作者可在任意的时刻在监视器E05上参照存储于记录901的信息,可根据记录901认识到侵入者的检测条件不完备、或许存在进行参数调整的必要性这样的信息。例如,操作者参照图9所示记录901,进行确认在侵入者从“有”变化到“无”的帧编号25、30中侵入者的检测条件是否不完备、如需要则调整参数这样的作业。在该场合,当进行上述步骤1050时,操作者作为检索条件输入“帧编号25、30”即可。这样,操作者通过参照记录901可得知是否需要调整例如二进制化阈值级别等。记录不限于侵入检测,对于输入图像异常也可同样制作,记录到外部存储装置E04。另外,在处理结果记录步骤1142中,作为处理结果,也可记录在上述物体检测结果显示步骤110中显示的、例如在输入图像重叠检测到的侵入物体的图像。在记录由物体检测结果显示步骤110显示的图像的场合,不根据记录于外部存储装置E04的过去的监视信息进行上述步骤109、110、111的处理即可在监视器E05上显示过去的处理结果图像(例如在输入图像重叠检测出的侵入物体的图像)。
下面以步骤104、106、108、116、117、118为中心在图10中进一步说明第2实施例的处理。图10示出工作存储器E02g与外部存储装置E04间的监视信息的移动状况。
当步骤103中存在再现要求时,在该时刻(在图10的例子中为2003年5月26日10时10分10秒、帧编号25)的1组监视信息1200a在步骤104退避(存储)到外部存储装置E04。此后,从在步骤106存储于外部存储装置E04的过去的监视信息中读出操作者所期望的1组监视信息1200b,写入到工作存储器E02g。此时,如操作者要求监视信息的修正,则改写修正对象的监视信息的参数。相对写入到工作存储器E02g的信息1200b实施物体检测步骤109、物体检测结果显示步骤110、物体存在判定步骤111、输入图像异常的判定处理步骤1112、报警/监视器显示步骤112、监视信息记录判定步骤113、监视信息的记录步骤114、监视信息恢复判定步骤115、监视信息恢复步骤116。在监视信息恢复判定步骤115中,由于监视信息退避到外部存储装置E04,所以,处理前进到监视信息恢复步骤116。在步骤116,读出在步骤104退避到外部存储装置E04的1组监视信息1200a,再次存储到工作存储器E02g。此时,由是否反映修正后的监视信息的判定步骤117判定操作者是否要求按在步骤108修正后的参数实施以后的侵入物体监视。如要求,则由对修正的监视信息的反映步骤118将监视信息的参数改写成由步骤108修正后的值。然后,为了存储于工作存储器E02g的监视信息1200a继续步骤102以下的处理,使处理返回到输入步骤102。这样,可重新开始为了再现要求的处理而中断了的通常的监视。
结果,操作者可在任意的时刻任意地从记录于外部存储装置E04的多个监视信息中检索需要的适当的监视信息,可在调整监视信息的参数的同时获得监视结果,可容易地进行准确的参数的调整作业。
因此,按照该图2A、2B的实施形式,不需要操作者常驻,通过适当的参数的设定,可时常保持监视***的性能,可容易地构筑高可靠性的监视***。
下面根据图12A和图12B说明第2实施形式的操作者的参数设定操作。图12A示出显示于监视器E05的阈值设定画面的一例,图12B示出掩蔽区域设定图像的一例。
在图12A中,设定画面S01包括显示重叠处理装置E02的输入图像、掩蔽图像、及处理结果的图像等的显示画面S02、设定监视信息的参数的突舌菜单S06、用于读入记录于外部存储装置E04的监视信息的参数的检索条件的列表框(下拉菜单)S11a、按由列表框S11a选择的检索条件进行监视信息的检索的检索执行按钮S11c、选择图9所示记录的种类(例如侵入检测、输入图像异常等)的列表框S12a、显示由列表框S12a选择的记录的显示执行按钮S12c、及结束监视信息的参数设定操作的设定结束按钮S13构成。在设定画面S01中,在突舌菜单S06例如存在用于显示阈值、掩蔽区域、面积设定、大小设定等设定项目的突舌,例如,当由操作器E03指定阈值设定突舌S07时,显示阈值设定项目(后述),指定掩蔽区域突舌S08时,显示掩蔽区域设定项目(后述)。在这里,当由选择用于读入记录于外部存储装置E04的监视信息的参数的检索条件的列表框S11a选择检索条件时,被选择的检索条件的名称显示于文本区S11b,同时,显示输入检索条件的详细内容的输入框(未在图中示出),操作者输入检索条件、用操作器E03指定检索执行按钮S11c时,将记录于外部存储装置E04的监视信息的参数(与检索条件一致的参数)读入到工作存储器E02g,可由显示画面S02和突舌菜单S06确认参数的详细内容。另外,当由选择了记录901的种类的列表框S12a选择记录种类时,在文本区S12b显示被选择的记录的种类的名称,当由操作器E03指定显示执行按钮S12c时,存储于外部存储装置E04的记录显示于监视器E05(未图示)。另外,当设定结束按钮S13被指定时,结束监视信息的参数的设定操作。
图12A为在突舌菜单S06中由操作器E03指定阈值设定突舌S07的场合的设定画面。在该设定画面例如可设定高灵敏度、低灵敏度这样2种阈值。在这里,高灵敏度一般指为了检测更小的图像变化而将阈值设定得较小的状态。例如,在对小图像变化也希望检测的场合,使用高灵敏度的阈值,在相反的场合,使用低灵敏度的阈值。高灵敏度的阈值设定使用滑条S07a、滑动标记S07b、滑条增减按钮S07c和S07d、及输入区S07e,在由操作器E03使滑动标记S07b朝左右移动的场合,相应于移动量使阈值增减,由该操作将阈值显示到输入区S07e。另外,在由操作器E03指定阈值增减按钮S07c的场合,阈值例如每次减少1,由该操作将滑动标记S07b绘到与阈值对应的位置,将阈值的值显示到输入区S07e。另外,在同样由操作器E03指定滑条增减按钮S07d的场合,阈值例如每次增加1,由该操作结果将滑动标记S07b绘到与阈值对应的位置,将阈值的值显示到输入区S07e。另外,在预先知道指定的阈值的值的场合,可也直接将值输入到输入区S07e。在该场合,滑动标记S07b被绘到与阈值对应的位置。对于低灵敏度的阈值,也与上述操作同样,可使用滑动标记S07g、滑条增减按钮S07h和S07i、输入区S07j进行阈值的设定。这样,可修正工作存储器E02g的监视信息的阈值的参数。
图12B为在突舌(tab)菜单S06由操作器E03指定掩蔽区域突舌S08的场合的设定画面。在这里,对采用与图12A相同符号的部分由于与上述功能同样,所以省略说明。在图12B中,掩蔽区域的设定操作例如相对由操作器E03显示输入图像的显示画面S02进行。掩蔽区域由掩蔽区域S08a那样的多边形表示,通过由操作器E03指定多边形的顶点,将顶点的座标存储到工作存储器E02g。掩蔽区域如图12B那样在输入图像上重叠地显示,所以,可容易地把握输入图像(监视区域)与掩蔽区域的位置关系。另外,在结束掩蔽区域的设定的场合,由操作器E03指定结束按钮S08b。此时,从存储于工作存储器E02g的项点座标计算出多边形,该区域作为掩蔽区域设定到工作存储器E02g。
在上述实施例中,说明了根据记录于外部存储装置E04的过去的监视信息再现过去的监视结果的场合,但作为另一例,也可根据过去的监视信息和存储于处理装置E02的现在的监视信息进行物体检测处理,进行参数的调整作业。例如,也可相对记录于外部存储装置E04的过去的输入图像由设定于再现工作存储器的阈值值、掩蔽图像等进行物体检测处理。
下面,在图11A、11B说明第3实施例。
本实施例为将通常的侵入物体检测处理和监视信息的参数调整处理分离地独立处理的侵入物体监视方法,图11A示出通常的侵入物体检测处理流程,图11B示出参数调整时的处理流程。
通常的侵入物体监视时根据图11A的顺序进行侵入物体的监视。各步骤的处理内容与在第1和2实施形式中根据图1和2说明的内容相同,所以省略说明。
图11B的处理通过在所期望的时刻由操作者对操作器E03进行操作发出参数的调整作业指令而起动。在监视信息的检索条件的输入结束的场合(步骤100),从外部存储装置E04检索并读出操作者期望的监视信息(步骤105、106)。读出的监视信息例如包含图6B所示那样的信息(过去的输入图像和其检测参数等)。在步骤109中,相对读出的过去的输入图像进行物体检测,由步骤110在监视器E05上再现过去的输入图像和检测结果。如上述那样,在监视器E05将检测到的侵入物体重叠到输入图像地显示。在操作者希望检测参数(例如二进制化阈值、掩蔽图像等)的修正的场合,根据操作者从操作器E03输入的值进行参数的修正(步骤107′、108′),相对显示于监视器E05上的输入图像根据修正后的参数再次进行物体检测,将物体检测结果显示到监视器E05上(步骤109、110)。在随后的物体存在判定步骤111中,调查在由上述标注处理步骤109d标注了编号的二进制化图像内的“255”的像素值的像素群中是否存在根据预定的物体检测条件可判断为应检测出的物体的群,如存在,则前进到输入图像异常的判定处理步骤1112,如不存在,则分支到监视信息修正判定步骤107′,输入图像异常的判定处理1112、报警/监视器显示步骤112跳过。在物体存在判定步骤111的处理中使用的、是否为应检测的物体的判定基准或判定条件与在图1的实施例中说明的情况相同。然后,在步骤1112中使用二进制化图像内的“255”的像素值的像素群的面积判断输入图像是否异常。如输入图像正常,则起动报警/监视器显示步骤112。接着,当存在来自操作器E03的、可由修正后的参数满足这一由操作者发出的指示输入时(在步骤107′为否的场合),由该修正后的参数改写初期值(步骤1140)。因此,当此后图11A的通常的侵入物体监视处理起动时,读出由初始化处理步骤101修正后的参数,根据其实施以后的侵入物体的检测。
按照该实施例,操作者可一边观看监视器一边反复进行参数的调整作业。而且,也可作为新的保存条件设置“调整作业”这样的项目以代替作为初期值存储,在外部存储装置E04记录修正后的监视信息。另外,在上述实施例中,图6A所示监视信息的“输入图像”为以1帧量的图像(静止图像)的场合为例进行了说明,但“输入图像”也可作为时间上连续的多个帧构成的动画图像记录。因此,也可一边在监视器E05上再现动画图像一边进行参数的调整。
在上述实施形式中,以将差分法用于物体检测法的场合为例进行了说明,但作为物体检测法,尽管差分法以外的场合下构成监视信息的参数的种类不同,但当然也可进行同样的监视信息的记录、检索、读入、参数的修正。另外,在上述实施例中,以检测出侵入者的场合为例进行了说明,但作为检测对象,也可使用各种的检测对象,例如也可为用于静止物体的检测、外观检查的异物检测等。
按照上述实施例,可在任意的时刻再现此前的监视结果,可不受到参数的调整不足产生的物体误检测的发生时刻的限制地再现监视结果,所以,适当的参数的调整容易,可容易地提供可靠性高的物体检测方法和物体检测装置。
下面,根据图13、14、15、16说明第4实施例。在第4实施例中,设置与可在远距离地点进行监视信息的参数的调整的远程操作器(后述)的通常设备,即使在远离监视装置E00的场所也可调整监视信息的参数。例如,远程操作器设置于运用监视装置E00(用户)的维护公司的办公室。
图14和图15示出本发明实施例的监视装置E00的硬件构成的一例。在图14中,E01~E06与图3所示硬件构成的一例相同。但是,对于处理装置E02′,在使用上述图3说明的处理装置E02追加通信部分E02m,使得可与摄像装置E01进行通信,该摄像装置E01可在远距离地点进行监视信息的参数的调整。
通信部分E02m根据MPUE02f的控制例如IP(因特网协议)等通信协议通过例如LAN或因特网等外部网络E09与远程操作器E10进行通信。为了处理装置E02′与远程操作器E10的通信,例如设置进行通信数据的路径选择的路由器E07、进行外部网络E09与通信数据的交换的网关E08,从处理装置E02′送到远程操作器E10的通信数据通过通信部分E02m由路由器E07选择到与外部网络E09相连的网关E08的路径,由网关E08发送到外部网络E09。发送到外部网络E09的通信数据由网关E08选择通往路由器E07的路径,通过路由器E07到达远程操作器E10。
相反,从远程操作器E10发送到处理装置E02′的通信数据由路由器E07选择送往与外部网络E09相连的网关E08的路径,由网关E08发送到外部网络E09,发送到外部网络E09的通信数据由网关E08选择送往路由器E07的路径,通过路由器E07到达处理装置E02′。
图15示出远程操作器E10的硬件构成的一例。对与图14同样的功能的部分采用相同符号。即,在图15中,远程操作器E10包括处理装置E12、操作器E03、外部存储装置E04、监视器E05、报警灯E06,处理装置E12从图14所示处理装置E02′除去了图像输入部分E02a、云台控制部分E02b、透镜控制部分E02c。这是因为,远程操作器E10为用于进行记录于监视装置E00的监视信息的参数调整的装置,不需要进行图像输入、云台控制、透镜控制等监视区域的装置。此外的设备由于与图3和图14说明的内容相同,所以省略说明。
处理装置E12通过通信部分E02m进行与监视装置E00的通信。通信路径与使用上述图14说明一样,由路由器E07、网关E08、外部网络E09等构成,处理装置E12与监视装置E00的通信根据其构成例如通过外部网络E09与监视装置E00a、监视装置E00b、监视装置E00c进行通信或不通过外部网络E09而是通过路由器E07与监视装置E00d进行通信。即,处理装置E12由构成通信路径的设备可与至少1个以上的监视装置E00进行通信。
下面根据图13说明远程操作器E10的处理装置E12的处理过程的一例。在图13中,对与图2同样的处理步骤采用相同的符号。图13在图2所示第2实施例追加监视装置设定步骤701、监视装置选择步骤702、监视装置切换步骤703,取消了图像输入步骤102、再现要求判定步骤103、监视信息退避步骤104、监视信息恢复判定步骤115、监视信息恢复步骤116。另外,监视信息检索步骤105′、监视信息读入步骤106′、监视信息修正步骤108′、监视信息记录判定步骤113′、监视信息记录步骤114′分别进行利用图2说明的监视信息检索步骤105、监视信息读入步骤106、监视信息修正步骤108、监视信息记录步骤114的功能扩展,远程操作器E10可通过通信部分E02m与预定的监视装置E00通信,对记录于该监视装置内的监视信息进行检索和读入、修正、记录。在这里,以新追加的步骤为中心进行了说明,关于此外的步骤,由于与图2相同,所以省略说明。
在图13中,监视装置设定步骤701在起动远程操作器E10时决定最初连接的监视装置E00。例如,选择最接近处理装置E12(通信数据通过的设备数量最少)的监视装置E00d,或选择远程操作器E10最后通信的监视装置。
然后,监视装置选择步骤702判定是否存在从远程操作器E10由操作者进行的、对调整监视信息的参数的监视装置E00实施切换的指示的输入。操作者可由例如操作器E03的操作向远程操作器E10的处理装置E12指示监视装置E00的切换。在进行监视装置E00的切换的场合,分支到监视装置切换步骤703,在不进行监视装置E00的切换的场合,分支到监视信息检索步骤105′。
在监视装置切换步骤703,进行调整监视信息的参数的监视装置E00的切换。监视装置E00例如根据IP地址(在IP通信协议中分配给进行通信数据的收发的设备的唯一的32位地址数据)进行管理,监视装置E00的切换可通过将监视装置E00的IP地址的一览表显示于远程操作器E10的监视器E05、由远程操作器E10的操作者从其中选择1个而进行。操作者例如可由操作器E03的操作选择进行参数调整的监视装置E00。当切换监视装置E00时,处理装置E12的通信部分E02m在接下来进行监视装置E00的切换之前进行与选择的监视装置E00的通信。在监视装置E00的选择中,除了显示IP地址的一览表的方法之外,也可一览地显示域名(由DNS(域名服务器)进行管理,通信时从域名自动地变换成IP地址)、监视装置E00的名称等。另外,在通信路径上,为了防止监视信息的盗听和窜改,也可在网关E08上设置VPN(虚拟专用网)或进行加密的功能。另外,也可显示要求监视信息的参数的调整的监视装置E00的一览表或一定期间以上不进行参数的调整的监视装置E00的一览表等,使操作者进行监视装置E00的选择。
如以上那样,在远程操作器E10中,选择进行监视信息的参数的调整的监视装置E00,在监视信息检索步骤105′中,进行记录于所选择的监视装置E00的外部存储装置E04的监视信息的检索。在监视信息读入步骤106′中,通过通信部分E02m从监视装置E00接收检索的所期望的监视信息,将收到的监视信息写入到处理装置E12的工作存储器E02g。
在监视信息修正步骤108′中,根据远程操作器E10的来自操作者的指示进行参数的修正。然后,由处理装置E12进行物体检测处理等(步骤109~111),根据由步骤112修正后的参数获得的检测处理的结果显示于远程操作器E10的监视器E05。
然后,当存在远程操作器E10的由操作者从操作器E03输入的可由修正的参数满足的指示时(在监视信息记录判定步骤113′中判定为是),在监视信息记录步骤114′中,远程操作器E10通过通信部分E02m将修正后的参数发送到监视装置E00,监视装置E00将接收到的参数记录到监视装置E00的工作存储器E02g。
另外,在监视信息记录步骤114′中(在监视信息记录判定步骤113′中判定为是的场合),例如将进行监视信息的参数的调整的监视装置E00的ID编号、调整日期和时间、调整内容、服务点等记录到远程操作器E10的外部存储装置E04。图16为仅由步骤114′的处理示出存储于外部存储装置E04的表1601的内容的一实施例的图。在这里,服务点为相应于维护(调整)内容预先确定的点,在图16的例中,调整阈值的场合取1点、进行基准背景图像的更新的场合取2点地确定服务点。维护公司根据表1601的记录内容例如每月1次从各监视装置E00的用户征收与服务点相应的费用。费用也可相应于维护的次数等确定,或形成为每月定额的费用体系。
如以上那样,通过使用远程操作器E10,对设置于远距离地点的监视装置E00的监视信息进行检索、读入、修正、记录,可进行监视信息的参数的调整。即,进行监视信息的参数调整的操作者即使不到设置监视装置E00的场所也可通过远程操作器E10进行监视装置E00的监视信息的参数的调整。另外,通过记录参数的调整作业的内容,可从各监视装置E00的用户征收与调整作业相应的费用。即,按照第4实施例,运用监视装置E00的维护公司可相对作为顾客的监视装置E00的用户提供监视信息的参数调整服务。这样,可将监视装置E00的侵入物体检测性能维持在较高的水平。
监视装置E00的监视信息和由监视信息修正步骤108′进行修正后的监视信息的参数也可记录到远程操作器E10的外部存储装置E04。另外,也可参照从远程操作器E10记录到各监视装置E00的外部存储装置E04的图9的表901。另外,使修正作业时的物体检测步骤109等在监视装置E00侧的处理装置E02′进行,远程操作器E10仅接收检测结果的图像。作为从远程操作器E10到监视装置E00的参数调整服务,不限于上述形式,例如也可根据从监视装置E00a接收的监视信息将在远程操作器E10内修正后的参数发送到其它监视装置即监视装置00b、监视装置00c、监视装置00c。另外,例如也可相对预定的监视装置E00定期地发送与时间带、季节、气候等相应的参数。

Claims (17)

1.一种物体检测装置,其特征在于:包括进行监视对象区域的摄像的摄像部分、将来自上述摄像部分的图像信号作为基准图像存储的第1记录装置、对上述图像信号的监视信息的表进行存储的第2记录装置、根据来自上述摄像部分的图像信号和来自上述第1记录装置的基准图像而检测出成为侵入监视对象的物体的物体检测处理部分、及把上述物体检测处理部分的处理结果与此时的上述监视信息一起存储的存储表和显示部分,
上述监视信息至少具有表示上述物体的检测条件的参数信息,
将来自上述摄像部分的图像信号与存储于上述第2记录装置的上述表对应起来保存,把保存于上述存储表的上述物体检测处理部分的处理结果与上述参数信息一起显示在上述显示部分上。
2.根据权利要求1所述的物体检测装置,其特征在于:根据显示于上述显示部分的上述物体检测处理部分的处理结果的显示而改变存储在上述第2记录装置的上述表的监视信息。
3.根据权利要求2所述的物体检测装置,其特征在于:还具有记录来自上述摄像部分的预定图像信号的第3记录装置,上述物体检测处理部分还具有根据来自上述第3记录装置的图像信号和来自上述第1记录装置的基准图像而检测出成为侵入监视对象的物体的功能。
4.根据权利要求2或3所述的物体检测装置,其特征在于:上述第2记录装置存储与存储在上述第2记录装置的上述表的预定监视信息和存储在上述第1记录装置的基准图像相关的信息。
5.根据权利要求4所述的物体检测装置,其特征在于:上述第1记录装置还存储对上述摄像部分的监视对象区域的预定部分进行掩蔽的掩蔽图像。
6.根据权利要求1或2所述的物体检测装置,其特征在于:存储于上述第2记录装置的上述表中的监视信息至少为来自上述摄像部分的图像信号的保存时刻和上述物体的检测条件。
7.根据权利要求3所述的物体检测装置,其特征在于:还具有检索部分,上述检索部分检索记录于上述第3记录装置的预定监视信息。
8.根据权利要求1所述的物体检测装置,其特征在于:保存上述处理结果的上述存储表设于上述第2记录装置。
9.根据权利要求6所述的物体检测装置,其特征在于:在上述物体检测处理部分的处理结果超过上述物体的检测条件的场合,判断为来自上述摄像部分的图像信号异常。
10.根据权利要求1所述的物体检测装置,其特征在于:上述第1和第2记录装置至少由一体的记录装置构成。
11.一种物体检测方法,其特征在于:包括由摄像部分进行监视对象区域的摄像而获得图像信号的步骤、根据上述图像信号而更新被记录的基准图像的步骤、根据来自上述摄像部分的图像信号和上述被记录的基准图像而检测出成为侵入监视对象的物体的步骤、把上述物体检测步骤的检测结果与此时的上述图像信号的监视信息一起记录的步骤、及显示上述被记录的检测结果的步骤,
上述监视信息至少具有表示上述物体的检测条件的参数信息,
将来自上述摄像部分的图像信号与上述图像信号的监视信息的表对应起来输出。
12.根据权利要求11所述的物体检测方法,其特征在于:根据上述物体检测结果的显示而改变上述表的监视信息。
13.根据权利要求12所述的物体检测方法,其特征在于:还具有记录由上述摄像部分对监视对象区域进行摄像而获得的上述图像信号的步骤,上述物体检测步骤还包含根据上述被记录的图像信号和上述被记录的基准图像而检测出成为侵入监视对象的物体的步骤。
14.根据权利要求11所述的物体检测方法,其特征在于:根据上述图像信号和上述基准图像而检测出成为侵入监视对象的物体的步骤包含掩蔽上述监视对象区域的预定部分的步骤。
15.根据权利要求11所述的物体检测方法,其特征在于:存储于上述表中的监视信息至少为来自上述摄像部分的图像信号的保存时刻和上述物体的检测条件。
16.根据权利要求13所述的物体检测方法,其特征在于:还具有对被记录的图像信号进行检索的步骤和根据上述通过检索获得的图像信号和上述基准图像而检测出成为侵入监视对象的物体的步骤。
17.根据权利要求15所述的物体检测方法,其特征在于:还具有在上述物体检测结果超过上述物体的检测条件的场合,判断为来自上述摄像部分的图像信号异常的步骤。
CNB031278884A 2002-08-13 2003-08-13 可改变物体检测条件的物体检测方法和物体检测装置 Expired - Fee Related CN100393122C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP235685/2002 2002-08-13
JP2002235685 2002-08-13

Publications (2)

Publication Number Publication Date
CN1484444A CN1484444A (zh) 2004-03-24
CN100393122C true CN100393122C (zh) 2008-06-04

Family

ID=31711973

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB031278884A Expired - Fee Related CN100393122C (zh) 2002-08-13 2003-08-13 可改变物体检测条件的物体检测方法和物体检测装置

Country Status (2)

Country Link
US (1) US7382896B2 (zh)
CN (1) CN100393122C (zh)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100580184B1 (ko) * 2004-01-15 2006-05-16 삼성전자주식회사 1회 스캐닝에 의한 복수 이미지 파일들의 생성방법 및 장치
JP3882005B2 (ja) * 2005-03-02 2007-02-14 松下電器産業株式会社 画像生成方法、物体検出方法、物体検出装置および画像生成プログラム
EP1897075B1 (en) * 2005-06-20 2013-01-02 Rotatech Pty Ltd. Directional surveillance camera with ring of directional detectors
US20070047834A1 (en) * 2005-08-31 2007-03-01 International Business Machines Corporation Method and apparatus for visual background subtraction with one or more preprocessing modules
KR101187756B1 (ko) * 2005-11-07 2012-10-08 엘지전자 주식회사 감시용 카메라의 프라이버시 마스크 표시 제어방법
KR101198157B1 (ko) * 2005-12-22 2012-11-12 엘지전자 주식회사 디지털 비디오 레코더에서의 녹화 프레임 레이트 변경방법및 재생방법
JP2007249722A (ja) * 2006-03-17 2007-09-27 Hitachi Ltd 物体検知装置
WO2008100537A2 (en) * 2007-02-12 2008-08-21 Sorensen Associates Inc. Still image shopping event monitoring and analysis system and method
JP4522423B2 (ja) * 2007-02-23 2010-08-11 三菱電機株式会社 プラントの監視操作画像統合システムおよび監視操作画像統合方法
JP5284599B2 (ja) * 2007-03-30 2013-09-11 株式会社日立国際電気 画像処理装置
AT506051B1 (de) * 2007-11-09 2013-02-15 Hopf Richard Verfahren zum erfassen und/oder auswerten von bewegungsabläufen
JP5213105B2 (ja) * 2008-01-17 2013-06-19 株式会社日立製作所 映像ネットワークシステム及び映像データ管理方法
DE102008007199A1 (de) * 2008-02-01 2009-08-06 Robert Bosch Gmbh Maskierungsmodul für ein Videoüberwachungssystem, Verfahren zur Maskierung von selektierten Objekten sowie Computerprogramm
JP5141317B2 (ja) 2008-03-14 2013-02-13 オムロン株式会社 対象画像検出デバイス、制御プログラム、および該プログラムを記録した記録媒体、ならびに対象画像検出デバイスを備えた電子機器
WO2009128884A1 (en) 2008-04-14 2009-10-22 Thomson Licensing Technique for automatically tracking an object
EP2230629A3 (en) * 2008-07-16 2012-11-21 Verint Systems Inc. A system and method for capturing, storing, analyzing and displaying data relating to the movements of objects
JP5202551B2 (ja) * 2009-01-23 2013-06-05 株式会社日立国際電気 パラメータ設定方法及び該方法を用いた監視装置
KR101172747B1 (ko) * 2010-08-16 2012-08-14 한국표준과학연구원 열화상 좌표를 이용한 보안용 카메라 추적 감시 시스템 및 방법
JP5267617B2 (ja) * 2011-06-23 2013-08-21 ウシオ電機株式会社 分析装置および分析方法
CN103389042A (zh) * 2013-07-11 2013-11-13 夏东 基于深度图像的地面自动检测以及场景高度计算的方法
US10140827B2 (en) 2014-07-07 2018-11-27 Google Llc Method and system for processing motion event notifications
US9544636B2 (en) 2014-07-07 2017-01-10 Google Inc. Method and system for editing event categories
US9501915B1 (en) * 2014-07-07 2016-11-22 Google Inc. Systems and methods for analyzing a video stream
US10127783B2 (en) * 2014-07-07 2018-11-13 Google Llc Method and device for processing motion events
US9354794B2 (en) 2014-07-07 2016-05-31 Google Inc. Method and system for performing client-side zooming of a remote video feed
USD782495S1 (en) 2014-10-07 2017-03-28 Google Inc. Display screen or portion thereof with graphical user interface
US9361011B1 (en) 2015-06-14 2016-06-07 Google Inc. Methods and systems for presenting multiple live video feeds in a user interface
US10506237B1 (en) 2016-05-27 2019-12-10 Google Llc Methods and devices for dynamic adaptation of encoding bitrate for video streaming
US10380429B2 (en) 2016-07-11 2019-08-13 Google Llc Methods and systems for person detection in a video feed
US11545013B2 (en) 2016-10-26 2023-01-03 A9.Com, Inc. Customizable intrusion zones for audio/video recording and communication devices
US10891839B2 (en) * 2016-10-26 2021-01-12 Amazon Technologies, Inc. Customizable intrusion zones associated with security systems
US11783010B2 (en) 2017-05-30 2023-10-10 Google Llc Systems and methods of person recognition in video streams
US10664688B2 (en) 2017-09-20 2020-05-26 Google Llc Systems and methods of detecting and responding to a visitor to a smart home environment
US11012683B1 (en) 2017-09-28 2021-05-18 Alarm.Com Incorporated Dynamic calibration of surveillance devices
US10636173B1 (en) 2017-09-28 2020-04-28 Alarm.Com Incorporated Dynamic calibration of surveillance devices
JP7297463B2 (ja) * 2019-02-22 2023-06-26 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
CN109951740A (zh) * 2019-04-03 2019-06-28 北京市商汤科技开发有限公司 视频处理方法及装置、电子设备和存储介质
US11232327B2 (en) * 2019-06-19 2022-01-25 Western Digital Technologies, Inc. Smart video surveillance system using a neural network engine
CN114821978B (zh) * 2022-06-27 2022-11-15 杭州觅睿科技股份有限公司 一种误报警的消除方法、装置以及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0779429A (ja) * 1993-09-08 1995-03-20 Toshiba Corp 画像監視装置
CN1199304A (zh) * 1997-05-08 1998-11-18 株式会社东芝 附加信息嵌入和将其再生的装置、方法及记录媒体
JP2000032438A (ja) * 1998-07-09 2000-01-28 Matsushita Electric Ind Co Ltd 監視カメラ装置
US6061055A (en) * 1997-03-21 2000-05-09 Autodesk, Inc. Method of tracking objects with an imaging device
EP1161837A1 (en) * 1999-03-16 2001-12-12 Central Research Laboratories Limited Closed circuit television (cctv) camera and system

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3689447B2 (ja) 1995-03-20 2005-08-31 キヤノン株式会社 カメラ制御システム及び方法
JP3423620B2 (ja) 1998-07-30 2003-07-07 キヤノン株式会社 撮像装置及び制御装置及び撮像装置制御システム及びその制御方法及び記憶媒体
JP3506934B2 (ja) 1998-12-11 2004-03-15 株式会社メガチップス 監視装置及び監視システム
JP3675334B2 (ja) 2000-11-15 2005-07-27 Jfeスチール株式会社 表面検査装置
JP4244113B2 (ja) 2001-08-21 2009-03-25 株式会社日立国際電気 画像表示プログラム
KR100541037B1 (ko) * 2002-03-15 2006-01-10 가부시키가이샤 히다치 고쿠사이 덴키 검출마스크영역의 설정이 용이한 촬상장치를 사용한물체검출방법 및 동 방법을 사용한 물체검출장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0779429A (ja) * 1993-09-08 1995-03-20 Toshiba Corp 画像監視装置
US6061055A (en) * 1997-03-21 2000-05-09 Autodesk, Inc. Method of tracking objects with an imaging device
CN1199304A (zh) * 1997-05-08 1998-11-18 株式会社东芝 附加信息嵌入和将其再生的装置、方法及记录媒体
JP2000032438A (ja) * 1998-07-09 2000-01-28 Matsushita Electric Ind Co Ltd 監視カメラ装置
EP1161837A1 (en) * 1999-03-16 2001-12-12 Central Research Laboratories Limited Closed circuit television (cctv) camera and system

Also Published As

Publication number Publication date
CN1484444A (zh) 2004-03-24
US20040032494A1 (en) 2004-02-19
US7382896B2 (en) 2008-06-03

Similar Documents

Publication Publication Date Title
CN100393122C (zh) 可改变物体检测条件的物体检测方法和物体检测装置
US7123820B2 (en) Digital recording/reproducing apparatus for surveillance
AU765857C (en) Digital video logging system
US5689442A (en) Event surveillance system
US7403116B2 (en) Central monitoring/managed surveillance system and method
US7236690B2 (en) Event management system
EP1279150B1 (en) Surveillance system with camera
US20160042621A1 (en) Video Motion Detection Method and Alert Management
JP2000083241A (ja) ネットワークカメラ監視システム
US5584554A (en) Projector signage and control system
JP4084263B2 (ja) パラメータ設定方法
US20230334976A1 (en) Digital video alarm situational monitoring computer system
US8312489B2 (en) CM searching method and apparatus, and CM-appendant information supplying method and apparatus
US7636104B2 (en) Video surveillance system
CA2654046A1 (en) Video verification system and method for central station alarm monitoring
CN117184814A (zh) 输送机无人值守***
CN111131780A (zh) 一种视频播放***及其管理方法、智慧杆管理***
JP4365383B2 (ja) 物体検出システムのメンテナンス方法
CN112437270B (zh) 一种监控视频播放方法、装置和可读存储介质
EP3672233A1 (en) Method for carrying out a health check of cameras and a camera system
CN111212309A (zh) 一种视频播放***及其管理方法、智慧杆管理***
EP1396149B1 (en) Digital video recording
JPH09238307A (ja) 監視映像の記録/再生装置
RU47546U1 (ru) Устройство автоматизированного контроля обстановки в зрительных залах
US20220335806A1 (en) Digital video alarm loitering monitoring computer system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20080604

Termination date: 20150813

EXPY Termination of patent right or utility model