JP6365906B1 - ３次元侵入検知システムおよび３次元侵入検知方法 - Google Patents

３次元侵入検知システムおよび３次元侵入検知方法 Download PDF

Info

Publication number
JP6365906B1
JP6365906B1 JP2017038136A JP2017038136A JP6365906B1 JP 6365906 B1 JP6365906 B1 JP 6365906B1 JP 2017038136 A JP2017038136 A JP 2017038136A JP 2017038136 A JP2017038136 A JP 2017038136A JP 6365906 B1 JP6365906 B1 JP 6365906B1
Authority
JP
Japan
Prior art keywords
area
image
monitoring
dimensional
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017038136A
Other languages
English (en)
Other versions
JP2018147015A (ja
Inventor
坪田　一広
一広 坪田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2017038136A priority Critical patent/JP6365906B1/ja
Priority to US16/488,640 priority patent/US20210142636A1/en
Priority to GB1911226.7A priority patent/GB2572933B/en
Priority to PCT/JP2018/001492 priority patent/WO2018159144A1/ja
Application granted granted Critical
Publication of JP6365906B1 publication Critical patent/JP6365906B1/ja
Publication of JP2018147015A publication Critical patent/JP2018147015A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19691—Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound
    • G08B13/19693—Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound using multiple video sources viewed on a single or compound screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19641—Multiple cameras having overlapping views on a single scene
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)
  • Image Processing (AREA)
  • Burglar Alarm Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】誤検知でないか否かの確認や、侵入検知が正常であるか否かの確認などの作業を、必要に応じて監視者が簡便に行い、監視者が監視業務を効率よく実施できるようにする。
【解決手段】離間配置された少なくとも２つのカメラで監視エリアを撮影し、複数のカメラ画像を取得し、このカメラ画像に基づいて、監視エリア内の物体の３次元位置を計測する３次元計測を行って、監視エリアの３次元情報を生成し、この３次元情報の変化に基づいて、監視エリアに侵入した物体を検知し、３次元情報を可視化したマップ画像、および監視エリアに侵入した物体を示す枠画像を生成して、カメラ画像およびマップ画像のうち、ユーザの入力操作により選択された画像と、マーク画像とを表示した監視画面を出力する。
【選択図】図３

Description

本発明は、離間配置された少なくとも２つのカメラで監視エリアを撮影した複数のカメラ画像から、監視エリアの３次元情報を取得して、その３次元情報に基づいて、監視エリアに侵入した物体を検知する３次元侵入検知システムおよび３次元侵入検知方法に関するものである。
監視エリアを撮影するカメラを設置して、カメラ画像の画像処理により、監視エリアに侵入する人物などの物体を検知する侵入検知システムが広く普及している。このような侵入検知システムでは、明るさなどの環境が変化することで、誤検知が頻繁に発生することから、環境変化の影響を受けにくい頑強な侵入検知が可能な技術が望まれる。
このような侵入検知に関する技術として、従来、左右のカメラ画像に基づいて、監視エリア内の物体の３次元位置を計測する３次元計測を行って、監視エリアの３次元情報を取得して、その３次元情報に基づいて、監視エリアに侵入した物体を検知する技術が知られている（特許文献１参照）。
特許第３３８８０８７号公報
さて、このような侵入検知では、ある程度の誤検知が避けられない。このため、監視エリアに侵入した物体が検知された場合に、誤検知でないかを監視者が確認することが望まれる。さらに、誤検知が頻発する場合には、侵入検知が正常に行われているかを監視者が確認することが望まれる。このような要望に対して、監視エリアの実際の状況を映したカメラ画像を監視画面に表示し、さらに、侵入検知に用いられる３次元情報を可視化した画像を監視画面に表示することが考えられる。
しかしながら、前記従来の技術では、監視エリアに侵入した物体が検知された場合に、単に警報を発するだけであり、左右のカメラ画像や、３次元情報を可視化した画像を、どのように監視画面に表示するかに関する考慮は一切されておらず、監視者が監視業務を効率よく実施することができず、監視者の負担が増大するといった問題があった。
そこで、本発明は、誤検知でないか否かの確認や、侵入検知が正常であるか否かの確認などの作業を、必要に応じて監視者が簡便に行い、監視者が監視業務を効率よく実施することができる３次元侵入検知システムおよび３次元侵入検知方法を提供することを主な目的とする。
本発明の３次元侵入検知システムは、離間配置された少なくとも２つのカメラで監視エリアを撮影した複数のカメラ画像から、監視エリアの３次元情報を取得して、その３次元情報に基づいて、監視エリアに侵入した物体を検知する３次元侵入検知システムであって、複数の前記カメラ画像を取得する画像取得部と、複数の前記カメラ画像に基づいて、監視エリア内の物体の３次元位置を計測する３次元計測を行って、監視エリアの３次元情報を出力する３次元計測部と、前記３次元情報の変化状況に基づいて、監視エリアに侵入した物体を検知する侵入検知部と、ユーザの入力操作に応じて、前記カメラ画像上に注視領域を設定する領域設定部と、前記３次元情報を可視化したマップ画像、および監視エリアに侵入した物体を示すマーク画像を生成して、ユーザの入力操作により選択された前記カメラ画像および前記マップ画像の少なくとも１つの画像と前記マーク画像とを表示した監視画面を生成する画面生成部と、を備え、前記領域設定部は、前記３次元計測の対象となる計測領域を、侵入検知の対象となる検知領域を含み、かつ前記注視領域と同一の範囲に設定し、前記画面生成部は、表示範囲を前記注視領域に限定した状態で、前記マップ画像および前記カメラ画像の少なくとも１つの画像を前記監視画面に表示する構成とする。
また、本発明の３次元侵入検知方法は、離間配置された少なくとも２つのカメラで監視エリアを撮影した複数のカメラ画像から、監視エリアの３次元情報を取得して、その３次元情報に基づいて、監視エリアに侵入した物体を検知する処理を情報処理装置に行わせる３次元侵入検知方法であって、複数の前記カメラ画像を取得し、複数の前記カメラ画像に基づいて、監視エリア内の物体の３次元位置を計測する３次元計測を行って、監視エリアの３次元情報を生成し、前記３次元情報の変化状況に基づいて、監視エリアに侵入した物体を検知し、ユーザの入力操作に応じて、前記カメラ画像上に注視領域を設定し、前記３次元計測の対象となる計測領域を、侵入検知の対象となる検知領域を含み、かつ前記注視領域と同一の範囲に設定し、前記３次元情報を可視化したマップ画像、および監視エリアに侵入した物体を示すマーク画像を生成して、ユーザの入力操作により選択された前記カメラ画像および前記マップ画像の少なくとも１つの画像と前記マーク画像とを表示した監視画面を生成し、表示範囲を前記注視領域に限定した状態で、前記マップ画像および前記カメラ画像の少なくとも１つの画像を前記監視画面に表示する構成とする。
本発明によれば、監視業務で重要となる注視領域に限定した監視エリアの実際の状況を写したカメラ画像により、誤検知でないか否かの確認を監視者が行うことができ、また、３次元情報を可視化したマップ画像により、３次元情報に基づく侵入検知が正常であるか否かの確認を監視者が行うことができ、監視業務を効率よく実施することができる。特に、計測領域が検知領域を含むように設定されるため、３次元計測で生成する３次元情報に基づいて侵入検知を適切に行うことができ、また、計測領域が注視領域と同一の範囲に設定されるため、注視領域のマップ画像のみを計算・表示すればよいために、３次元情報処理の負荷を軽減することができ、画面表示処理の高速化および装置の低コスト化を図ることができる。
本実施形態に係る３次元侵入検知システムの全体構成図 カメラ画像上に設定される検知領域および注視領域の一例を示す説明図 サーバ２で行われる処理の概要を示す説明図 サーバ２の概略構成を示すブロック図 ２分割表示モードの監視画面を示す説明図 単一画像表示モードの監視画面を示す説明図 ４分割表示モードの監視画面を示す説明図
前記課題を解決するためになされた第１の発明は、離間配置された少なくとも２つのカメラで監視エリアを撮影した複数のカメラ画像から、監視エリアの３次元情報を取得して、その３次元情報に基づいて、監視エリアに侵入した物体を検知する３次元侵入検知システムであって、複数の前記カメラ画像を取得する画像取得部と、複数の前記カメラ画像に基づいて、監視エリア内の物体の３次元位置を計測する３次元計測を行って、監視エリアの３次元情報を出力する３次元計測部と、前記３次元情報の変化状況に基づいて、監視エリアに侵入した物体を検知する侵入検知部と、ユーザの入力操作に応じて、前記カメラ画像上に注視領域を設定する領域設定部と、前記３次元情報を可視化したマップ画像、および監視エリアに侵入した物体を示すマーク画像を生成して、ユーザの入力操作により選択された前記カメラ画像および前記マップ画像の少なくとも１つの画像と前記マーク画像とを表示した監視画面を出力する画面生成部と、を備え、前記領域設定部は、前記３次元計測の対象となる計測領域を、侵入検知の対象となる検知領域を含み、かつ前記注視領域と同一の範囲に設定し、前記画面生成部は、表示範囲を前記注視領域に限定した状態で、前記マップ画像および前記カメラ画像の少なくとも１つの画像を前記監視画面に表示する構成とする。
これによると、監視業務で重要となる注視領域に限定した監視エリアの実際の状況を写したカメラ画像により、誤検知でないか否かの確認を監視者が行うことができ、また、３次元情報を可視化したマップ画像により、３次元情報に基づく侵入検知が正常であるか否かの確認を監視者が行うことができ、監視業務を効率よく実施することができる。特に、計測領域が検知領域を含むように設定されるため、３次元計測で生成する３次元情報に基づいて侵入検知を適切に行うことができ、また、計測領域が注視領域と同一の範囲に設定されるため、注視領域のマップ画像のみを計算・表示すればよいために、３次元情報処理の負荷を軽減することができ、画面表示処理の高速化および装置の低コスト化を図ることができる。
また、第２の発明は、前記画面生成部は、前記監視画面として、複数の前記カメラ画像のいずれかと前記マップ画像とを並べて表示した２分割表示状態の画面を出力する構成とする。
これによると、監視画面に表示させる画像数を少なくして、カメラ画像およびマップ画像を大きく表示することができるため、カメラ画像およびマップ画像の視認性が向上し、監視業務を効率よく実施することができる。
また、第３の発明は、前記画面生成部は、前記監視画面を切り替える操作部を前記監視画面に表示し、この操作部をユーザが操作するのに応じて、単一の前記カメラ画像のみを表示する画面と、前記マップ画像のみを表示する画面と、前記２分割表示状態の画面とを切り替える構成とする。
これによると、監視者が用途に応じて監視画面を切り替えることができる。
また、第４の発明は、離間配置された少なくとも２つのカメラで監視エリアを撮影した複数のカメラ画像から、監視エリアの３次元情報を取得して、その３次元情報に基づいて、監視エリアに侵入した物体を検知する処理を情報処理装置に行わせる３次元侵入検知方法であって、複数の前記カメラ画像を取得し、複数の前記カメラ画像に基づいて、監視エリア内の物体の３次元位置を計測する３次元計測を行って、監視エリアの３次元情報を生成し、前記３次元情報の変化状況に基づいて、監視エリアに侵入した物体を検知し、ユーザの入力操作に応じて、前記カメラ画像上に注視領域を設定し、前記３次元計測の対象となる計測領域を、侵入検知の対象となる検知領域を含み、かつ前記注視領域と同一の範囲に設定し、前記３次元情報を可視化したマップ画像、および監視エリアに侵入した物体を示すマーク画像を生成して、ユーザの入力操作により選択された前記カメラ画像および前記マップ画像の少なくとも１つの画像と前記マーク画像とを表示した監視画面を生成し、表示範囲を前記注視領域に限定した状態で、前記マップ画像および前記カメラ画像の少なくとも１つの画像を前記監視画面に表示する構成とする。
これによると、第１の発明と同様に、監視業務で重要となる注視領域に限定した監視エリアの実際の状況を写したカメラ画像により、誤検知でないか否かの確認を監視者が行うことができ、また、３次元情報を可視化したマップ画像により、３次元情報に基づく侵入検知が正常であるか否かの確認を監視者が行うことができ、監視業務を効率よく実施することができる。
以下、本発明の実施の形態を、図面を参照しながら説明する。
図１は、本実施形態に係る３次元侵入検知システムの全体構成図である。
３次元侵入検知システムは、左右一対のカメラ１と、サーバ２（３次元侵入検知装置、情報処理装置）と、を備えている。
カメラ１は、監視エリアを撮影する。また、左右のカメラ１が同一のタイミングで撮影を行うための同期信号が、一方のカメラ１から他方のカメラ１に出力される。
サーバ２は、左右のカメラ１から出力される左右のカメラ画像に基づいて、カメラ画像に写る物体の３次元位置を計測する３次元計測を行い、この３次元計測で取得した監視エリアの３次元情報に基づいて、監視エリアに侵入した人物などの物体を検知する。
カメラ１は、単眼カメラであり、所定の距離をおいて左右に離間して設置される。このような構成により、２つのカメラ１の間隔を大きく確保できるため、奥行きのある３次元情報を取得することができ、広域の監視に適している。
一方、このような構成では、１つの筐体内に２つのカメラを収容したステレオカメラ（２眼カメラ）と異なり、現場に設置された状態で、正確な３次元情報を生成するためのキャリブレーション（較正）を行う。また、振動や強風などの影響により、２つのカメラ１の位置関係がずれやすいため、設置後の適宜なタイミングでキャリブレーションを行う。
なお、サーバ２を、ネットワークを介してカメラ１に接続されるようにしてもよく、これにより、遠隔地に設置されたサーバ２で侵入検知を行うことができる。また、ここでは、カメラ１として左右一対のカメラによる構成を例示しているが、カメラ１を３台以上で構成することもできる。その場合、監視エリアに対して、より精度の高い３次元情報を取得することができる。
次に、カメラ画像上に設定される検知領域および注視領域について説明する。図２は、検知領域および注視領域の一例を示す説明図である。
本実施形態では、左右のカメラ１から出力される左右のカメラ画像に基づいて、カメラ画像に写る物体の３次元位置を計測する３次元計測を行い、この３次元計測で取得した３次元情報を用いて侵入検知を行う。
そこで、カメラ画像上に、侵入検知の対象となる検知領域が設定される。この検知領域は、検知対象となる人物などの物体が存在する３次元空間であり、地面などの底面（床面）と高さとで規定される箱状（多面体）の空間となる。
また、撮影領域（カメラ画像に写る全領域）の中で、特に監視業務で重要となる領域、すなわち監視者が注視すべき注視領域が設定される。この注視領域は、監視画面に表示させるカメラ画像の範囲となる。この注視領域は、検知領域を含むように設定される。
また、３次元計測の対象となる計測領域が設定される。本実施形態では、計測領域が注視領域と同一の範囲に設定される。
この検知領域および注視領域は、各々の範囲を指定するユーザの入力操作に応じて設定される。なお、検知領域の範囲をユーザが指定することで、その検知領域を含むように、および注視領域（計測領域）が自動で設定されるようにしてもよい。
なお、図２に示す例では、矩形の注視領域が、カメラ画像の左右の辺を共有するように設定されているが、この注視領域は、カメラ画像上の任意の位置に設定することができる。また、注視領域の形状も矩形に限定されるものではなく、任意の形状に注視領域を設定することができる。
次に、サーバ２で行われる処理について説明する。図３は、サーバ２で行われる処理の概要を示す説明図である。
サーバ２では、まず、左右のカメラ１から出力される左右のカメラ画像（フレーム）を取得して、この左右のカメラ画像から注視領域（計測領域）を切り出して部分カメラ画像を取得する。そして、この部分カメラ画像を用いて３次元計測を行い、フレームに対応する各時刻の３次元情報を生成する。なお、適宜にフレームを間引いて３次元情報を生成するようにしてもよい。
次に、各時刻の３次元情報の変化状況に基づいて、検知領域内に侵入した物体を検知する侵入検知を行う。ここでは、各時刻の３次元情報を、侵入した物体が存在しない状態で取得した背景の３次元情報と比較することで、侵入物体の領域を検出し、侵入物体の位置情報（３次元位置）を取得する。なお、この侵入検知は、各カメラ１が備える撮像画像からの検知機能と組み合わせて実行するようにしてもよい。
次に、３次元計測で取得した３次元情報に基づいて、注視領域の３次元情報を可視化した部分デプスマップ（マップ画像）を生成する。また、侵入検知で取得した侵入物体の位置情報に基づいて、侵入物体を取り囲む枠画像（マーク画像）を生成して、その枠画像を部分カメラ画像における侵入物体の位置に重畳する画像合成を行う。そして、画像合成後の部分カメラ画像と部分デプスマップとを並べて表示した監視画面を生成する。
なお、図３に示す例では、左側の部分カメラ画像を監視画面に表示するようにしているが、右側の部分カメラ画像を監視画面に表示するようにしてもよい。
このように本実施形態では、侵入検知が、３次元計測で取得した３次元情報を用いて行われるため、図２に示したように、注視領域（計測領域）は検知領域を含むように設定される。また、注視領域（計測領域）が大きくなると、３次元計測などでの演算量が増えるため、注視領域（計測領域）を、検知領域に外接する矩形とするとよい。
なお、本実施形態では、計測領域を注視領域と同一の範囲に設定するようにしたが、計測領域を注視領域と異なる範囲に設定するようにしてもよい。この場合、注視領域を、検知領域を含むように設定するとともに、計測領域を、注視領域を含むように設定するとよい。これにより、侵入検知の検知結果である枠画像を漏れなく監視画面に表示させることができ、また、監視画面に部分デプスマップを表示する際に、３次元計測をやり直す必要がなくなる。
次に、サーバ２の概略構成について説明する。図４は、サーバ２の概略構成を示すブロック図である。
サーバ２は、画像入力部１１（画像取得部）と、制御部１２と、記憶部１３と、表示部１４（表示装置）と、操作入力部１５と、を備えている。
画像入力部１１には、左右のカメラ１から出力される左右のカメラ画像が入力される。
記憶部１３は、画像入力部１１に入力されたカメラ画像や、制御部１２で生成したデプスマップなどを記憶する。また、記憶部１３は、制御部１２で実行するプログラムを記憶する。
表示部１４は、液晶ディスプレイなどの表示デバイスからなる。操作入力部１５は、キーボードやマウスなどの入力デバイスからなる。
制御部１２は、領域設定部２１と、３次元計測部２２と、侵入検知部２３と、画面生成部２４と、を備えている。この制御部１２は、プロセッサで構成され、制御部１２の各部は、記憶部１３に記憶されたプログラムを実行することで実現される。
領域設定部２１は、操作入力部１５でのユーザの入力操作に応じて、検知領域および注視領域を設定する。ここで、検知領域および注視領域の範囲をユーザが個別に指定するようにしてもよいが、検知領域の範囲をユーザが指定し、この検知領域の範囲に基づいて、注視領域の範囲を領域設定部２１で設定するようにしてもよい。
３次元計測部２２は、画像入力部１１に入力された左右のカメラ画像に基づいて、領域設定部２１で設定された注視領域（計測領域）における物体の３次元位置を計測する３次元計測を行い、注視領域の３次元情報を生成する。
侵入検知部２３は、３次元計測部２２で取得した３次元情報に基づいて、領域設定部２１で設定された検知領域に侵入した侵入物体を検知する。
画面生成部２４は、３次元計測部２２で取得した３次元情報、侵入検知部２３での検知結果、および領域設定部２１で設定された注視領域に基づいて、表示部１４に表示させる監視画面を生成する。また、操作入力部１５でのユーザの入力操作に応じて、監視画面の表示モードを切り替えて、表示モードに応じた監視画面を生成する。
次に、表示部１４に表示される監視画面について説明する。図５は、２分割表示モードの監視画面を示す説明図である。図６は、単一画像表示モード（カメラ画像表示モードおよびデプスマップ表示モード）の監視画面を示す説明図である。図７は、４分割表示モードの監視画面を示す説明図である。
図５〜図７に示すように、監視画面には、「２分割」、「カメラ」、「デプス」、「４分割」の各タブ３１〜３４（操作部）が設けられている。
「２分割」のタブ３１を操作すると、図５に示す２分割表示モードの監視画面が表示される。
この２分割表示モードの監視画面では、画像表示部３５に、部分カメラ画像４１と部分デプスマップ４２（マップ画像）とが並べて表示される。部分カメラ画像４１は、カメラ１から取得したカメラ画像から注視領域を切り出したものである。この部分カメラ画像４１には、監視エリアに侵入した侵入物体が写り、また、侵入検知の検知結果に基づいて侵入物体を示す枠画像４３（マーク画像）が表示される。部分デプスマップ４２は、３次元計測部２２で生成した注視領域の３次元情報を可視化したものであり、部分カメラ画像４１と同様に、注視領域に限定した状態で表示される。
なお、撮影時刻や撮影場所などの侵入検知に関する情報（検知情報）などを監視画面に表示するようにしてもよい。この場合、必要な情報を余白部分に表示するようにしてもよいが、部分カメラ画像４１や部分デプスマップ４２に重畳して表示するようにしてもよい。
このように２分割表示モードでは、部分カメラ画像４１と部分デプスマップ４２とが同時に表示される。ここで、部分カメラ画像４１を観察することで、侵入物体を監視者が目視で確認することができる。これにより、検知対象外の物体を検知する誤検知が発生しているか否かを監視者が判断することができる。例えば、部分カメラ画像４１に鳥が写り、この鳥に枠画像４３が表示されている場合には、鳥を人物と誤検知したものと監視者が判断することができる。
また、部分デプスマップ４２を観察することで、侵入検知が正常に行われているか否かを目視で確認することができる。部分デプスマップ４２が異常であれば、その元になる３次元情報に基づいて行われる侵入検知も異常となる。また、部分カメラ画像４１と部分デプスマップ４２とを目視で比較することで、誤検知が発生した要因を監視者が推測することができる。
また、「カメラ」のタブ３２を操作すると、図６（Ａ）に示すカメラ画像表示モードの監視画面が表示される。
このカメラ画像表示モードの監視画面では、画像表示部３５に、カメラ画像４４のみが表示される。図５に示した２分割表示モードでは、注視領域に限定した部分カメラ画像４１が表示されるが、このカメラ画像表示モードでは、カメラ１から取得したカメラ画像がそのまま表示され、撮影領域の全体を観察することができる。また、２分割表示モードと同様に、侵入物体を示す枠画像４３が表示される。
また、「デプス」のタブ３３を操作すると、図６（Ｂ）に示すデプスマップ表示モードの監視画面が表示される。
このデプスマップ表示モードの監視画面では、画像表示部３５に、部分デプスマップ４２のみが表示される。この部分デプスマップ４２は、図５に示した２分割表示モードと同様に、注視領域に限定した状態で表示される。また、部分デプスマップ４２の周囲には、撮影領域における注視領域外の領域がグレーアウトで表示される。これにより、撮影領域の中の注視領域の位置を監視者が確認することができる。また、部分デプスマップ４２には、侵入物体を示す枠画像４３が表示される。
また、「４分割」のタブ３４を操作すると、図７に示す４分割表示モードの監視画面が表示される。
この４分割表示モードの監視画面では、画像表示部３５に、左側のカメラ画像４４と、右側のカメラ画像４５と、デプスマップ４６（マップ画像）と、情報表示欄４７と、が表示される。
左側のカメラ画像４４および右側のカメラ画像４５は、左右のカメラ１から取得したものである。デプスマップ４６は、撮影領域の全体を対象にした３次元計測で取得した３次元情報に基づいて生成したものである。情報表示欄４７には、撮影時刻や撮影場所などの侵入検知に関係する情報（検知情報）などに関する文字情報が表示される。
また、図５〜図７に示すように、監視画面には、「設定」のボタン３６が設けられている。この「設定」のボタン３６を操作すると、設定画面（図示せず）に遷移する。この設定画面では、各種の設定項目に関する指定をユーザが行うことができ、例えば、検知領域および注視領域の範囲をユーザが指定することができる（図２参照）。
このように本実施形態では、「２分割」、「カメラ」、「デプス」、「４分割」の各タブ３１〜３４を操作することで、用途に応じて、監視画面の表示モードを切り替えることができる。なお、監視画面の初期状態では、図５に示す２分割表示モードの監視画面が表示されるようにするとよい。
また、図５に示す２分割表示モードでは、注視領域に限定した部分カメラ画像４１および部分デプスマップ４２が表示され、図７に示す４分割表示モードと比較して、表示される画像数が少なくなり、また、画像が大きく表示されるため、監視エリアの状況を詳細に且つ手際よく観察することができ、監視業務を効率よく実施することができる。
また、図５に示す２分割表示モードや、図６（Ｂ）に示すデプスマップ表示モードでは、注視領域に限定した部分デプスマップ４２が表示されるが、検知領域を含むように注視領域（計測領域）が設定されることで、部分デプスマップ４２を画面表示させる際に、改めて３次元計測の処理を行う必要がないため、処理の負荷を軽減することができる。
なお、図７に示す４分割表示モードでは、撮影領域の全体のデプスマップ４６を表示させるため、４分割表示モードに切り替える際に、撮影領域の全体を対象にして３次元計測の処理をやり直すことになる。そのため、図６（Ｂ）と同様に注視領域に限定した部分デプスマップでもよい。
また、本実施形態では、２分割表示モードやカメラ画像表示モードの監視画面で、左側のカメラ画像を表示するようにしたが、右側のカメラ画像を表示するようにしてもよい。また、監視画面に、カメラ画像を切り替えるボタンなどの操作部を設けて、左側のカメラ画像と右側のカメラ画像とを切り替えることができるようにしてもよい。
また、３次元情報が異常であることを検知して、カメラ１のキャリブレーションを促すメッセージを監視画面に表示するようにしてもよい。この場合、各種のパラメータをユーザが指定する手動キャリブレーションの他に、各種のパラメータを制御部１２が設定する自動キャリブレーションも可能である。
また、本実施形態では、図５などに示したように、侵入検知で検知された侵入物体を示す枠画像４３をカメラ画像上に表示するようにしたが、デプスマップ上に枠画像を表示するようにしてもよい。また、カメラ画像およびデプスマップの両方に枠画像を表示するようにしてもよい。
また、本実施形態では、図６（Ｂ）に示したように、デプスマップ表示モードで、注視領域に限定した部分デプスマップ４２を表示するようにしたが、撮影領域の全体を対象にしたデプスマップを表示するようにしてもよい。この場合、表示モードを切り替える際に、撮影領域の全体を対象にして３次元計測の処理をやり直す。
また、本実施形態では、監視画面に表示されたタブ３１〜３４（操作部）を操作することで、表示モードが切り替えられるようにしたが、このような画面操作によらずに、操作キーなどの入力デバイスを用いて表示モードを切り替えるようにしてもよい。
以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。
例えば、前記の実施形態では、左右一対のカメラ１を設置したが、カメラの台数はこれに限定されるものではなく、少なくとも２つ（複数）のカメラがあればよい。すなわち、３台以上のカメラを設置して、３つ以上のカメラ画像から３次元情報を生成することも可能であり、これにより、３次元情報の精度を向上させることができる。
また、前記の実施形態では、監視画面に侵入物体を示すマーク画像として、侵入物体を取り囲む矩形の枠画像４３を表示するようにしたが、マーク画像は、矩形に限定されるものではなく、円形などの種々の形状としてもよい。また、マーク画像は、侵入物体を取り囲む形態に限定されるものではなく、矢印の画像などで侵入物体を指し示すようにしてもよい。
本発明に係る３次元侵入検知システムおよび３次元侵入検知方法は、誤検知でないか否かの確認や、侵入検知が正常であるか否かの確認などの作業を、必要に応じて監視者が簡便に行い、監視者が監視業務を効率よく実施することができる効果を有し、離間配置された少なくとも２つのカメラで監視エリアを撮影した複数のカメラ画像から、監視エリアの３次元情報を取得して、その３次元情報に基づいて、監視エリアに侵入した物体を検知する３次元侵入検知システムおよび３次元侵入検知方法などとして有用である。
１ カメラ
２ サーバ（情報処理装置）
１１ 画像入力部（画像取得部）
１２ 制御部
１３ 記憶部
１４ 表示部
１５ 操作入力部
２１ 領域設定部
２２ 次元計測部
２３ 侵入検知部
２４ 画面生成部
４１ 部分カメラ画像
４２ 部分デプスマップ
４３ 枠画像（マーク画像）
４４ カメラ画像
４５ カメラ画像
４６ デプスマップ
４７ 情報表示欄

Claims (4)

  1. 離間配置された少なくとも２つのカメラで監視エリアを撮影した複数のカメラ画像から、監視エリアの３次元情報を取得して、その３次元情報に基づいて、監視エリアに侵入した物体を検知する３次元侵入検知システムであって、
    複数の前記カメラ画像を取得する画像取得部と、
    複数の前記カメラ画像に基づいて、監視エリア内の物体の３次元位置を計測する３次元計測を行って、監視エリアの３次元情報を出力する３次元計測部と、
    前記３次元情報の変化状況に基づいて、監視エリアに侵入した物体を検知する侵入検知部と、
    ユーザの入力操作に応じて、前記カメラ画像上に注視領域を設定する領域設定部と、
    前記３次元情報を可視化したマップ画像、および監視エリアに侵入した物体を示すマーク画像を生成して、ユーザの入力操作により選択された前記カメラ画像および前記マップ画像の少なくとも１つの画像と前記マーク画像とを表示した監視画面を生成する画面生成部と、を備え、
    前記領域設定部は、前記３次元計測の対象となる計測領域を、侵入検知の対象となる検知領域を含み、かつ前記注視領域と同一の範囲に設定し、
    前記画面生成部は、表示範囲を前記注視領域に限定した状態で、前記マップ画像および前記カメラ画像の少なくとも１つの画像を前記監視画面に表示することを特徴とする３次元侵入検知システム。
  2. 前記画面生成部は、前記監視画面として、複数の前記カメラ画像のいずれかと前記マップ画像とを並べて表示した２分割表示状態の画面を出力することを特徴とする請求項１に記載の３次元侵入検知システム。
  3. 前記画面生成部は、前記監視画面を切り替える操作部を前記監視画面に表示し、この操作部をユーザが操作するのに応じて、単一の前記カメラ画像のみを表示する画面と、前記マップ画像のみを表示する画面と、前記２分割表示状態の画面とを切り替えることを特徴とする請求項２に記載の３次元侵入検知システム。
  4. 離間配置された少なくとも２つのカメラで監視エリアを撮影した複数のカメラ画像から、監視エリアの３次元情報を取得して、その３次元情報に基づいて、監視エリアに侵入した物体を検知する処理を情報処理装置に行わせる３次元侵入検知方法であって、
    複数の前記カメラ画像を取得し、
    複数の前記カメラ画像に基づいて、監視エリア内の物体の３次元位置を計測する３次元計測を行って、監視エリアの３次元情報を生成し、
    前記３次元情報の変化状況に基づいて、監視エリアに侵入した物体を検知し、
    ユーザの入力操作に応じて、前記カメラ画像上に注視領域を設定し、
    前記３次元計測の対象となる計測領域を、侵入検知の対象となる検知領域を含み、かつ前記注視領域と同一の範囲に設定し、
    前記３次元情報を可視化したマップ画像、および監視エリアに侵入した物体を示すマーク画像を生成して、ユーザの入力操作により選択された前記カメラ画像および前記マップ画像の少なくとも１つの画像と前記マーク画像とを表示した監視画面を生成し、
    表示範囲を前記注視領域に限定した状態で、前記マップ画像および前記カメラ画像の少なくとも１つの画像を前記監視画面に表示することを特徴とする３次元侵入検知方法。
JP2017038136A 2017-03-01 2017-03-01 ３次元侵入検知システムおよび３次元侵入検知方法 Active JP6365906B1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017038136A JP6365906B1 (ja) 2017-03-01 2017-03-01 ３次元侵入検知システムおよび３次元侵入検知方法
US16/488,640 US20210142636A1 (en) 2017-03-01 2018-01-19 Three-dimensional intrusion detection system and three-dimensional intrusion detection method
GB1911226.7A GB2572933B (en) 2017-03-01 2018-01-19 Three-dimensional intrusion detection system and three-dimensional intrusion detection method
PCT/JP2018/001492 WO2018159144A1 (ja) 2017-03-01 2018-01-19 ３次元侵入検知システムおよび３次元侵入検知方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017038136A JP6365906B1 (ja) 2017-03-01 2017-03-01 ３次元侵入検知システムおよび３次元侵入検知方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018116744A Division JP6620846B2 (ja) 2018-06-20 2018-06-20 ３次元侵入検知システムおよび３次元侵入検知方法

Publications (2)

Publication Number Publication Date
JP6365906B1 true JP6365906B1 (ja) 2018-08-01
JP2018147015A JP2018147015A (ja) 2018-09-20

Family

ID=63036761

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017038136A Active JP6365906B1 (ja) 2017-03-01 2017-03-01 ３次元侵入検知システムおよび３次元侵入検知方法

Country Status (4)

Country Link
US (1) US20210142636A1 (ja)
JP (1) JP6365906B1 (ja)
GB (1) GB2572933B (ja)
WO (1) WO2018159144A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220230440A1 (en) * 2019-06-14 2022-07-21 Omron Corporation Information processing device, information processing method, and recording medium

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020054110A1 (ja) * 2018-09-12 2020-03-19 コニカミノルタ株式会社 物体検出システム、および物体検出方法
CN113287148A (zh) * 2018-11-22 2021-08-20 普雷西恩私人有限公司 用于识别定义对象并警告用户的***和方法
CN110398199A (zh) * 2019-07-05 2019-11-01 内蒙古能建数字信息科技有限公司 一种建筑限界检测方法
JP7405395B2 (ja) * 2019-10-07 2023-12-26 日本電気通信システム株式会社 物体検知装置、システム、方法、及びプログラム
CN113724478A (zh) * 2021-08-31 2021-11-30 上海中通吉网络技术有限公司 基于边缘计算的智能安检***

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3388087B2 (ja) * 1996-04-18 2003-03-17 松下電器産業株式会社 物体検出装置
JP4140159B2 (ja) * 2000-01-19 2008-08-27 株式会社明電舎 監視カメラの監視エリア設定装置及びその方法
JP2005080156A (ja) * 2003-09-03 2005-03-24 Hitachi Kokusai Electric Inc 映像監視システム
JP2005269397A (ja) * 2004-03-19 2005-09-29 D & M Holdings Inc 遠隔監視システム
JP4188394B2 (ja) * 2005-09-20 2008-11-26 フジノン株式会社 監視カメラ装置及び監視カメラシステム
JP4617269B2 (ja) * 2006-03-22 2011-01-19 株式会社日立国際電気 監視システム
US20080192118A1 (en) * 2006-09-22 2008-08-14 Rimbold Robert K Three-Dimensional Surveillance Toolkit
US20090322874A1 (en) * 2007-04-23 2009-12-31 Mark Knutson System and method for remote surveillance
JP5267330B2 (ja) * 2009-05-27 2013-08-21 コニカミノルタ株式会社 画像処理装置および方法
JP2012175631A (ja) * 2011-02-24 2012-09-10 Mitsubishi Electric Corp 映像監視装置
JP6573361B2 (ja) * 2015-03-16 2019-09-11 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法及びコンピュータプログラム
KR20170059760A (ko) * 2015-11-23 2017-05-31 엘지전자 주식회사 이동단말기 및 그 제어방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220230440A1 (en) * 2019-06-14 2022-07-21 Omron Corporation Information processing device, information processing method, and recording medium

Also Published As

Publication number Publication date
US20210142636A1 (en) 2021-05-13
JP2018147015A (ja) 2018-09-20
GB2572933B (en) 2022-05-18
GB2572933A (en) 2019-10-16
WO2018159144A1 (ja) 2018-09-07
GB201911226D0 (en) 2019-09-18

Similar Documents

Publication Publication Date Title
JP6365906B1 (ja) ３次元侵入検知システムおよび３次元侵入検知方法
US9684169B2 (en) Image processing apparatus and image processing method for viewpoint determination
JP2007249722A (ja) 物体検知装置
JP6732522B2 (ja) 画像処理装置、画像処理方法およびプログラム
US9696543B2 (en) Information processing apparatus and information processing method
JP6226538B2 (ja) 表示制御装置、表示制御方法、およびプログラム
JP2015079444A5 (ja)
JP7005224B2 (ja) 情報処理装置、システム、画像処理方法、コンピュータプログラム、及び記憶媒体
KR20160046733A (ko) 사람 검지 시스템 및 방법
JP2019071578A (ja) 物体検知装置、物体検知システムおよび物体検知方法
JP2015050693A (ja) カメラ設置シミュレータ及びそのコンピュータプログラム
JPWO2016151950A1 (ja) 監視システム、監視方法および監視プログラム
KR101764849B1 (ko) 문화재 구조물 모니터링 시스템
JP5574551B2 (ja) 画像処理装置および画像処理方法
KR101256894B1 (ko) 3d이미지 및 사진이미지를 이용한 실시간 설비 모니터링 장치
US11423622B2 (en) Apparatus for generating feature positions in a virtual world, information processing method, and storage medium
JP6620846B2 (ja) ３次元侵入検知システムおよび３次元侵入検知方法
CN114726978A (zh) 信息处理装置、信息处理方法以及程序
US20220076399A1 (en) Photographing guide device
JP6581280B1 (ja) 監視装置、監視システム、監視方法、監視プログラム
JP2019032713A (ja) 情報処理装置、情報処理方法及びプログラム
KR101265224B1 (ko) 카메라 영상을 이용한 회전체의 진단방법
JP7395137B2 (ja) ヘッドマウント型温度分布認識装置
JP2020128908A (ja) ガス漏れ位置特定システム及びガス漏れ位置特定プログラム
JP2016058043A (ja) 情報処理装置、情報処理方法、プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180517

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180529

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180620

R151 Written notification of patent or utility model registration

Ref document number: 6365906

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151