JP6675076B2 - 検知対象物の検知システム及び検知方法 - Google Patents

検知対象物の検知システム及び検知方法 Download PDF

Info

Publication number
JP6675076B2
JP6675076B2 JP2016014856A JP2016014856A JP6675076B2 JP 6675076 B2 JP6675076 B2 JP 6675076B2 JP 2016014856 A JP2016014856 A JP 2016014856A JP 2016014856 A JP2016014856 A JP 2016014856A JP 6675076 B2 JP6675076 B2 JP 6675076B2
Authority
JP
Japan
Prior art keywords
detection
thermal image
image sensor
information
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016014856A
Other languages
English (en)
Other versions
JP2017106880A (ja
Inventor
田中　聡明
聡明 田中
山岡　勝
勝 山岡
増田　健司
健司 増田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JP2017106880A publication Critical patent/JP2017106880A/ja
Application granted granted Critical
Publication of JP6675076B2 publication Critical patent/JP6675076B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/04—Systems determining presence of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V3/00—Electric or magnetic prospecting or detecting; Measuring magnetic field characteristics of the earth, e.g. declination, deviation
    • G01V3/12—Electric or magnetic prospecting or detecting; Measuring magnetic field characteristics of the earth, e.g. declination, deviation operating with electromagnetic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/0022—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
    • G01J5/0025—Living bodies
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/886—Radar or analogous systems specially adapted for specific applications for alarm systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077—Imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G01S13/32—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S13/36—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G01S13/38—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal wherein more than one modulation frequency is used
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/52—Discriminating between fixed and moving objects or between objects moving at different speeds
    • G01S13/56—Discriminating between fixed and moving objects or between objects moving at different speeds for presence detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/62—Sense-of-movement determination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/69—Spread spectrum techniques
    • H04B1/707—Spread spectrum techniques using direct sequence modulation
    • H04B1/7073—Synchronisation aspects
    • H04B1/7075—Synchronisation aspects with code phase acquisition
    • H04B1/70751—Synchronisation aspects with code phase acquisition using partial detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Geology (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Emergency Alarm Devices (AREA)
  • Alarm Systems (AREA)

Description

本開示は、検知対象物を検知するための検知システム及び検知方法に関する。
現在、検知対象物である物体又は生物（例えば、人間）を検知するシステムが製品化されている。例えば、人体感知センサが、ドアの入り口付近に人が近づいたことを検知すると、自動的に照明を点灯させるシステムが製品化されている。
人体感知センサには様々な種類のものがある。例えば、熱を検知する熱センサとして、赤外線センサ、熱画像センサがある。また、電波を放出して反射された電波を検知する電波センサがある。
また、部屋に配置した人感センサが人体を検知すると、空調の温度を自動的に調整する技術が、特許文献１に開示されている。
特開２０１２−２２０１１４号公報
しかしながら、特許文献１に記載の技術では、熱源の変化を検知する赤外線センサを利用しているため、床に照射された太陽光の熱も検知してしまう。このため、日当たりの良い部屋では、人間が存在しないにもかかわらず熱を検知する可能性がある。
一方、電波センサを部屋に配置した場合、電波の回折等により隣の部屋の人間まで検知してしまうため、限られた範囲の人間を正確に検知できない可能性がある。
本開示は、検知対象物を適切に検知する検知システムを提供する。
本開示の一態様に係る検知システムは、発信した電波の反射波を検知する電波センサと、検知対象物が発生する熱を検知する熱センサと、電波センサと熱センサの検知結果に基づいて、検知対象物が存在するか否かを判定する情報収集部と、を有する。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本開示によれば、検知方式の異なる複数のセンサを利用して検知対象物を適切に検知し得ることが可能である。
図１は、実施の形態１における検知システムを示す図である。 図２は、実施の形態１におけるシステムブロック図である。 図３は、実施の形態１における検知範囲を示す図である。 図４は、実施の形態１における検知方法を示すフロー図である。 図５は、実施の形態２におけるシステムブロック図である。 図６は、実施の形態２における検知方法を示すフロー図である。 図７は、実施の形態３における検知方法を示すフロー図である。 図８は、実施の形態４における検知方法を示すフロー図である。 図９は、実施の形態５における検知方法を示すフロー図である。 図１０は、実施の形態５における検知方法を説明するための図である。 図１１は、実施の形態５における検知方法を示すフロー図である。 図１２は、実施の形態５における検知方法を説明するための画像を示す図である。 図１３は、実施の形態６におけるシステムブロック図である。
本開示は、検知対象物を適切に検知する検知システムを提供する。
本開示の一態様に係る検知システムは、発信した電波の反射波を検知する電波センサと、検知対象物が発生する熱を検知する熱センサと、電波センサと熱センサの検知結果に基づいて、検知対象物が存在するか否かを判定する情報収集部と、を有する。
また、情報収集部は、電波センサが検知対象物を検知したと判定すると共に、熱センサが検知対象物を検知したと判定すると、検知対象物が存在すると判定する、検知対象物の検知システムである。
また、熱センサは熱画像センサである、検知対象物の検知システムである。
本開示の一態様に係る検知システムは、発信した電波の反射波を検知する電波センサと、検知対象物が発生する熱を検知する熱画像センサと、電波センサ又は熱画像センサの検知情報に基づいて、検知対象物が存在するか否かを判定する情報収集部と、を有し、情報収集部は、電波センサが、検知対象物を検知しないと判定すると、熱画像センサを起動させる、検知対象物の検知システムである。
また、情報収集部は、熱画像センサを起動させた後に、熱画像センサが、検知対象物が発生する熱を検知したと判定すると、検知対象物が存在すると判定する、検知対象物の検知システムである。
また、本開示の一態様に係る検知対象物の検知方法は、発信した電波の反射波を検知する電波センサが検知情報を出力するステップと、検知対象物が発生する熱を検知する熱センサが検知情報を出力するステップと、情報収集部が、電波センサと熱センサの検知情報に基づいて、検知対象物が存在するか否かを判定するステップと、を実行するものである。
また、本開示の一態様に係る検知対象物の検知方法は、発信した電波の反射波を検知する電波センサが検知情報を出力するステップと、検知対象物が発生する熱を検知する熱センサが検知情報を出力するステップと、情報収集部が、電波センサの検知情報と熱センサの検知情報に基づいて、電波センサと熱センサの両方が検知対象物を検知したと判定すると、検知対象物が存在すると判定するステップと、を実行するものである。
また、本開示の一態様に係る検知対象物の検知方法は、発信した電波の反射波を検知する電波センサが検知情報を出力するステップと、情報収集部が、電波センサの検知情報に基づいて、電波センサが検知対象物を検知していないと判定すると、熱画像センサを起動するステップと、情報収集部が、熱画像センサからの検知情報に基づいて、検知対象物が存在しているか否かを判定するステップと、を実行するものである。
本開示によれば、検知方式の異なる複数のセンサを利用して検知対象物を適切に検知し得ることが可能である。
以下、本開示の実施の形態について、図面を参照しながら説明する。なお、この実施の形態によって本開示が限定されるものではない。
（実施の形態１）
図１は、実施の形態１における検知対象物である物体又は生物（例えば、人間）の検知システムを示す図である。
図１に示す通信システム１００は、検知システム１１０、閲覧装置１２０を有する。さらに、検知システム１１０は、検知装置１０１、情報収集装置１０２を有する。
検知装置１０１は、検知対象物を検知するセンサを有する。例えば、電波を放出し反射した電波を検知する電波センサ、赤外線センサや熱画像センサ等の熱センサ等を有する。
情報収集装置１０２は、サーバ或いはパーソナルコンピュータである。
検知装置１０１と情報収集装置１０２は、有線或いは無線で接続されている。
検知装置１０１と情報収集装置１０２間の通信形態は、機器間で互いに情報の送受信ができれば良く、シリアル通信や、Ｗｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｅｒ）等の通信方式を用いても良い。
検知装置１０１と情報収集装置１０２の間では、温度、湿度、在室情報、家電情報などの検知情報が送受信される。尚、検知情報は複数あっても良いし、在室情報だけでも良い。
在室情報とは、人間が部屋に存在するか否かを示す情報であり、特に本実施の形態では、センサが人間を検知したか否かを示す情報である。
家電情報は、家電が現在どのような状態かを示す情報である。例えば、エアコンが現在冷房運転を行っており、温度設定が何度であるか、等の情報である。
情報収集装置１０２と閲覧装置１２０は無線接続或いは有線接続されており、コンテンツなどを通信する。
以上のようなシステム構成によって、検知装置１０１は、検知情報を情報収集装置１０２に送信し、情報収集装置１０２は、受信した検知情報に基づいて作成したコンテンツを閲覧装置１２０に送信する。これにより、使用者は、閲覧装置１２０で人間が部屋に存在するか否かの情報や、気温などを閲覧することができる。
次に、検知装置１０１について詳細に説明する。
図２は検知装置１０１のブロック図を示している。
図２で示すように検知装置１０１は、第１の検知装置２１０と第２の検知装置２２０を有する。
第１の検知装置２１０は、第１の検知部２１１と第１の送信部２１２を有する。
第１の検知部２１１は、例えば電波センサである。
第１の送信部２１２は、第１の検知部２１１が検知した情報を情報収集装置１０２に無線或いは有線で送信する。例えば、第１の送信部２１２は、第１の検知部２１１が検知対象物を検知した或いは検知していない、といった情報を情報収集装置１０２に送信する。
第２の検知装置２２０は、第２の検知部２２１と第２の送信部２２２を有する。
第２の検知部は、例えば赤外線センサ、熱画像センサのような熱センサである。
第２の送信部２２２は、第２の検知部２２１が検知した情報を情報収集装置１０２に無線或いは有線で送信する。例えば、第２の送信部２２２は、第２の検知部２２１が検知対象物を検知した或いは検知していない、といった情報を情報収集装置１０２に送信する。
次に、第１の検知装置２１０と第２の検知装置２２０の検知対象物の検知例について図３を用いて説明する。
図３は、第１の検知装置２１０と第２の検知装置２２０の検知範囲を示す図である。
第１の検知装置２１０は電波を発信し、検知対象物からの反射波を受信することで、周囲の検知対象物を検知する電波センサである。
第２の検知装置２２０は、検知対象物の発する熱を検知する赤外線センサである。
赤外線センサは熱源の変化を検知するため、例えば、太陽光などによる熱源変化も検知する。一方、電波センサは赤外線センサよりも細かな動きも検知することができるが、所望の検知範囲以外の動きも検知することがある。
図３において、範囲３１０、３２０及び３３０は壁等で囲われた各部屋を示している。第１の検知装置２１０は電波センサのため、回折等により壁を回りこんで人間を検知する。このため、範囲３１０を超えて人間を検知することが可能である。
一方、第２の検知装置２２０は赤外線センサであり、赤外線は見通し内でのみ伝搬するため、範囲３１０を超えて検知することはできない。
図４は、人間の検知方法を示すフロー図である。
以下に実施の形態１における人間の検知方法を説明する。
尚、本実施の形態では検知する対象の一例として人間を挙げている。検知対象は人間に限定されるものではなく、動物等の生物又は、物体等でも良い。
情報収集装置１０２は第１の検知装置２１０から第１の検知情報を取得する（ステップ４１０）。
続いて、情報収集装置１０２は第２の検知装置２２０から第２の検知情報を取得する（ステップ４２０）。
情報収集装置１０２は、第１の検知情報と第２の検知情報との両方で人間を検知したか否かを判定する（ステップ４３０）。
情報収集装置１０２は、ステップ４３０において第１の検知情報と第２の検知情報双方で人間を検知したと判定すると、人間が所望の範囲に存在すると判定し（ステップ４４０）、そうでない場合には、人間が所望の範囲に存在しないと判断する（ステップ４５０）。
このように、実施の形態１では、情報収集装置１０２は、第１の検知装置２１０と第２の検知装置２２０の両方が人間を検知したと判定すると、人間が所望の範囲に存在すると判定するため、従来のセンサを１種類用いた検知方法に比べて検知精度を高めることが可能となる。
（実施の形態２）
次に、実施の形態２について説明する。
実施の形態１と異なる点は、実施の形態１では赤外線センサを用いているのに対し、実施の形態２では熱画像センサを用いている点にある。
また、情報収集装置１０２は、第２の送信部５２２を介して熱画像センサ５２１からの検知情報を受信し、どの部分の温度が低いか、或いはどの部分が高いかを判定する機能も有している。
他、全体のシステムとしては実施の形態１と同じであるため説明を省略する。
尚、本実施の形態では検知する対象の一例として人間を挙げている。検知対象は人間に限定されるものではなく、動物等の生物又は、物体等でも良い。
図５は、実施の形態２における検知装置１０１と情報収集装置１０２のシステムブロック図を示している。
図５に示すように検知装置１０１は、例えば電波センサ５１１等を有する第１の検知装置５１０と、熱画像センサ５２１等を有する第２の検知装置５２０を備える。
熱画像センサ５２１は、検知範囲を複数範囲に分割し、その各範囲の温度を検知するセンサである。
情報収集装置１０２は、熱画像センサ５２１の検知情報から、どの範囲の温度を検知したかを自動的に認識することができる。このため、例えば、日光が照射される範囲を除いた部分で熱が検知されたと判定すると、人間が存在すると判定することができる。
或いは、人間が毎日寝る布団の範囲だけを検知する構成としても良い。
図６は、実施の形態２における人間の検知方法を示すフロー図である。
次に図５と図６を用いて実施の形態２のシステムの動作を説明する。
まず、ステップ６１０において、情報収集装置１０２は、第１の検知装置５１０で検知した電波センサ５１１の検知情報を取得する。具体的には、第１の送信部５１２は、電波センサ５１１が検知した検知情報、例えば、電波センサ５１１が検知対象物（例えば、人間）を検知した或いは検知していないことを示す情報を情報収集装置１０２に送信する。
次に、ステップ６２０において、情報収集装置１０２は、第２の検知装置５２０で検知した熱画像センサ５２１の検知情報を取得する。具体的には、第２の送信部５２２が、熱画像センサ５２１が熱を検知した或いは検知していない、ことを示す情報を情報収集装置１０２に送信する。
ステップ６３０において、情報収集装置１０２は、ステップ６１０で受信した電波センサ５１１の検知結果から電波センサ５１１が人間を検知したと判定すると、人間が存在すると判定する（ステップ６５０）、一方、電波センサ５１１が人間を検知していないと判定すると、ステップ６４０へ処理を進める。
次に、ステップ６４０において、情報収集装置１０２は、ステップ６２０で受信した熱画像センサ５２１の検知結果から熱画像センサ５２１が熱を検知したと判定すると、人間が存在すると判定する（ステップ６５０）、一方、熱画像センサ５２１が熱を検知していない判定すると、ステップ６６０で人間が存在していないと判定する。
より具体的には、ステップ６４０において、情報収集装置１０２は、ステップ６２０で受信した熱画像センサ５２１の検知結果から所定の範囲を除いた範囲で熱を検知したと判定すると、熱画像センサ５２１が人間を検知したと判定する。
尚、所定の範囲とは、日光が照射される範囲や、ベッドや布団を除いた範囲である。
実施の形態２では、人間が寝ている状態であるために、ステップ６３０で電波センサが人間を検知できない場合、ステップ６４０で熱画像センサ５２１が、日光が照射される範囲を除いた範囲で熱を検知すると、情報収集装置１０２が、人間が存在すると判定する。
或いは、ステップ６４０で熱画像センサ５２１が、ベッドや布団等人間が寝ている際に存在する範囲で熱を検知すると、情報収集装置１０２が、人間が存在すると判定する。
このように実施の形態２では、人間が寝ている等の状況にあるため電波センサ５１１が人間を検知できない場合でも、熱画像センサを用いて人間を検知することができる。
また、熱画像センサを用いているため、熱を検知したいエリアを限定して検知することが可能となり、人間が寝ている状態でも正確に人間を検知することができる。
尚、実施の形態２では、ステップ６１０とステップ６２０で情報収集装置１０２が各センサからの検知結果を取得しているが、この動作は定期的に行われても良く、使用者が何らかの操作を行った際に行っても良い。
この熱画像センサ５２１からの検知情報は、例えば閲覧装置１２０の表示部等で表示することが可能であり、温度の高いところは赤色等で、一方温度の低いところは緑色や青色等で、それぞれ表示される。このため、使用者は一目でどの部分の温度が低いか、或いは高いかを認識することが可能である。
（実施の形態３）
図７は、実施の形態３における人間の検知方法を示すフロー図である。
実施の形態３では、２つのセンサの内少なくとも熱画像センサは常時起動しておらず、電波センサ５１１が人間を検知しなかった際に熱画像センサ５２１を起動する。これにより、熱画像センサ５２１での消費電力を抑えることができる。
実施の形態３のシステム構成は実施の形態２と同じであるため説明を省略する。
実施の形態３のシステムの動作について、図７を用いて説明する。
ステップ７１０において、情報収集装置１０２は、第１の検知装置５１０で検知した電波センサ５１１の検知情報を取得する。具体的には、情報収集装置１０２は、電波センサ５１１が検知した検知情報を第１の送信部５１２から受信する。尚、このとき熱画像センサ５２１は起動していない状態にある。
ステップ７２０において、情報収集装置１０２は、電波センサ５１１が人間を検知したと判定すると、人間が存在すると判定する（ステップ７５０）。一方、ステップ７２０において、電波センサ５１１が人間を検知していないと判定すると、ステップ７３０において、第２の検知装置５２０を起動し熱画像センサ５２１の検知情報を取得する。
具体的には、情報収集装置１０２は、第２の送信部５２２を介して熱画像センサ５２１に対して起動を指示する信号を送信することにより、熱画像センサ５２１が起動を開始する。熱画像センサ５２１は、検知情報を第２の送信部５２２を介して情報収集装置１０２に送信する。
次にステップ７４０において、情報収集装置１０２は、第２の検知装置５２０で検知した熱画像センサ５２１が熱源を検知したと判定した場合、人間が存在すると判定する（ステップ７５０）。
また、ステップ７４０において、情報収集装置１０２は、熱画像センサ５２１が熱源を検知していないと判定すると、人間が存在していないと判定する（ステップ７６０）。
具体的には、情報収集装置１０２は、第２の送信部５２２を介して熱画像センサ５２１から熱源を検知していないことを示す検知情報を受信すると人間が存在していないと判定する。
或いは、情報収集装置１０２は、第２の送信部５２２を介して熱画像センサ５２１から検知情報を受信しないと、人間が存在していないと判定する構成としても良い。
尚、ステップ７１０における電波センサ５１１からの検知情報の取得は、定期的に行っても良いし、使用者の指示操作に基づいて行っても良い。
実施の形態３では、電波センサ５１１が人間を検知しない場合に限って、熱画像センサ５２１を起動させているため、熱画像センサ５２１を常時起動させた場合よりも消費電力を抑えることができる。
（実施の形態４）
次に、実施の形態４について説明する。
実施の形態４では、電波センサ５１１と熱画像センサ５２１の両方が人間を検知すると、情報収集装置１０２が、人間が存在すると判定する。
図８は、実施の形態４における人間の検知方法を示すフロー図である。
実施の形態４のシステム構成は実施の形態３と同じであるため説明を省略する。
まず、図８のステップ８１０において、情報収集装置１０２は、第１の検知装置５１０で検知した電波センサ５１１の検知情報を取得する。具体的には、第１の送信部５１２が、電波センサ５１１が検知した検知情報、即ち、人間を検知したか或いは検知していないかを示す情報を情報収集装置１０２に送信する。
次に、ステップ８２０において、情報収集装置１０２は、第２の検知装置５２０で検知した熱画像センサ５２１の検知情報を取得する。具体的には、第２の送信部５２２が、熱画像センサ５２１が検知した検知情報、即ち、熱を検知したか或いは検知していないかを示す情報を情報収集装置１０２に送信する。
ステップ８３０において、情報収集装置１０２は、電波センサ５１１の検知情報と熱画像センサ５２１の検知情報の双方で人間を検知したと判定すると、人間が存在すると判定する（ステップ８５０）。
一方、ステップ８３０において、情報収集装置１０２が、電波センサ５１１の検知情報と熱画像センサ５２１の検知情報双方で人間が検知されないと判定すると、人間が存在しないと判定する（ステップ８４０）。
このように実施の形態４では、電波センサ５１１と熱画像センサ５２１の両方が人間を検知すると、情報収集装置１０２が、人間が存在すると判定するため、１種類のセンサを用いた場合よりも誤検知する可能性が少なく、より確実に人間が存在することを検知することができる。
（実施の形態５）
次に、実施の形態５について説明する。
実施の形態５では、実施の形態４における、熱画像センサ５２１の検知対象物（例えば、人間）のあり、なしの判定アルゴリズムを変更することができる。
図９は、実施の形態５のシステムの動作を示すフロー図である。
まず、ステップ９１０では、情報収集装置１０２は、電波センサ５１１の検知情報を取得する。具体的には、情報収集装置１０２は、電波センサ５１１が検知した検知情報を第１の送信部５１２から受信する。
次に、ステップ９２０では、情報収集装置１０２は、電波センサ５１１の検知情報に基づいて、人間が睡眠状態であるか否かを判定する。
具体的には、情報収集装置１０２は、電波センサ５１１の検知情報に基づいて、人間が動いていると判定すると、人間が睡眠状態ではないと判定し、一方、人間が動いていないと判定すると、人間が睡眠状態であると判定する。
ここで、電波センサ５１１は、受信した電波の変化に基づいて人間を検知したことを示す検知情報を出力しても良いし、受信した電波の変化を示す情報を出力し、第１の送信部５１２が情報収集装置１０２に人間を検知したことを示す検知情報を出力しても良い。
ステップ９３０では、情報収集装置１０２は、第２の検知装置５２０で検知した熱画像センサ５２１の検知情報を取得する。具体的には、情報収集装置１０２は、熱画像センサ５２１が検知した検知情報を第２の送信部５２２から受信する。
次に、ステップ９４０において、情報収集装置１０２は、ステップ９３０で取得した検知情報から人間を検知するアルゴリズムを変更する。
次に、図９のステップ９４０におけるアルゴリズムの変更の一例を、図１０を用いて説明する。
ここでいうアルゴリズムの変更とは、例えば図１０に示す通り、起床時と睡眠時で検知対象物の検知範囲を変更することである。
例えば、人間を検知する場合、起床時は人間が布団から出るために、熱画像センサ５２１は人間の身体全体の温度をセンシングすることが可能である。このため、図１０に点線で囲っているように人間の大きさの熱源を検知することが可能である。
このような理由から、情報収集装置１０２は、人間の大きさの熱源を検知すると、人間が存在していると判定することが可能である。
一方、睡眠時に布団などをかぶっている場合は頭部のみの温度をセンシングできるため、頭部の大きさの熱源を検知した場合に、情報収集装置１０２は、人間が存在すると判定する。
このように、熱画像センサ５２１は人間の身体全体の温度をセンシングすることが可能な状態では、熱画像センサ５２１の検知範囲を広げ、熱画像センサ５２１が頭部の大きさの熱源を検知した場合には、熱画像センサ５２１の検知範囲を狭めるように、検知対象物を検知するアルゴリズムを変更する。
尚、睡眠時に熱画像センサ５２１の検知アルゴリズムを変更しても良いし、起床時に検知アルゴリズムを変更してもよい。
次に、起床時に検知アルゴリズムを変更する場合の例を説明する。
図１１は、起床時に検知アルゴリズムを変更する場合の動作を示すフロー図である。
まず、ステップ１２１０では、情報収集装置１０２は、第１の検知装置５１０が検知した電波センサ５１１の検知情報を取得する。具体的には、情報収集装置１０２は、電波センサ５１１が検知した検知情報を第１の送信部５１２から受信する。
次に、ステップ１２２０では、情報収集装置１０２は、電波センサ５１１の検知情報に基づいて、人間が起床状態であるか否かを検知する。
ここで、情報収集装置１０２は、電波センサ５１１の検知情報に基づいて、人間が動いていると判定すると、人間が睡眠状態ではないと判定し、一方、人間が動いていないと判定すると、人間が睡眠状態であると判定する。
ステップ１２３０では、情報収集装置１０２は、第２の検知装置５２０で検知した熱画像センサ５２１の検知情報を取得する。具体的には、情報収集装置１０２は、熱画像センサ５２１が検知した検知情報を第２の送信部５２２から受信する。
ステップ１２４０では、情報収集装置１０２は、ステップ１２３０で取得した検知情報から検知対象物を検知するアルゴリズムを変更する。
なお、睡眠状態、起床状態の判定は単に人間が動いているか動いていないかという限りではない。例えば、睡眠状態を判定するアルゴリズムで判定してもよい。例えば、Ｃｏｌｅ式やＡＷ２式などがある。
例えば、熱画像センサ５２１によりベッド上にいることを判定した上で、電波センサ５１１により一定の動きしか検知しない状態が一定時間続いた場合に睡眠と判定してもよい。
例えば、電波センサ５１１により呼吸数や脈拍数などから睡眠状態を判定してもよい。
例えば、電波センサ５１１により一定の動きを、一定期間検知したら起床と判定してもよい。
次に、熱画像センサ５２１による物体検知方法について説明する。
図１２は熱画像センサ５２１による物体検知方法を説明するための図である。
熱画像センサ５２１は検知したい熱源がない静的状態を背景画像（１３１０）として、保持しセンシングした絶対温度情報（１３３０）から背景画像の温度情報を減算することにより熱源検知画像（１３２０）を生成し、熱源の有無を判断する。
背景画像は一定時間ごとに更新され、熱源の静的状態を更新する。
しかしながら、人が寝ている時など熱源が一定時間動かない場合、背景画像として判定され、検知した物体も背景画像と扱われてしまう。
そこで、電波センサ５１１で物体が検知された場合は、検知された物体の熱源は背景画像としないように制御する。
例えば、電波センサ５１１を含む第１の検知装置５１０からの検知情報には物体の位置範囲を含め、情報収集装置１０２がその物体の位置範囲に基づいて背景画像としない位置範囲を決定し、その位置範囲に基づいて熱画像センサ５２１を制御することとしてもよい。
これにより、人などの動く検知対象物は背景画像とならないが、窓からの日光による熱源の変化は背景画像とすることができる。
尚、熱画像センサ５２１の背景画像に溶けこむかどうかを電波センサ５１１で補正する構成としても良い。
以上説明したように、実施の形態５では、人間を検知する際に最適な検知アルゴリズムを用いて検知することが可能であるため、検知アルゴリズムが固定の場合に比べて人間を検知する精度を向上させることができる。
（実施の形態６）
実施の形態６では、焦電センサを用いた場合の例について説明する。
尚、本実施の形態では検知する対象の一例として人間を挙げている。検知対象は人間に限定されるものではなく、動物等の生物又は、物体等でも良い。
図１３で示すように検知装置１０１は、例えば焦電センサ１１１１等を有する第１の検知装置１１１０と、熱画像センサ１１２１等を有する第２の検知装置１１２０を有している。
第１の検知装置１１１０は焦電センサ１１１１と第１の送信部１１１２を有している。また、第２の検知装置１１２０は熱画像センサ１１２１と第２の送信部１１２２を有している。
焦電センサ１１１１で検知された検知結果は第１の送信部１１１２を介して、情報収集装置１０２へ送信される。
熱画像センサ１１２１で検知された検知結果は第２の送信部１１２２を介して、情報収集装置１０２へ送信される。
このように、実施の形態６では、焦電センサ１１１１と熱画像センサ１１２１の２つのセンサを用いて人間を検知するため、人間が存在することを誤って検知する可能性を低減させることができる。
以上説明したように、本実施の形態では、センシング方式の異なる２つのセンサを用いて人間を検知するため、１種類のセンサを用いる場合に比べて確実に人間が存在するか否かを検知することができる。
尚、本実施の形態を以下の構成としても良い。
本実施の形態では、情報収集装置１０２と検知装置１０１は別のブロックで構成しているが、情報収集装置１０２と検知装置１０１が一体となるように構成しても良い。
また、検知装置１０１は赤外線センサと電波センサで説明しているが、センサの種類は問わない。
また、センサを２つ用いて説明しているが、３つ以上でもよい。
また、第２の検知部２２１は検知対象物を撮像することで検知するセンサであってもよい。このとき、第２の検知部２２１で第１の検知部２１１の検知対象が存在すると判断された場合、 第１の検知部２１１の判断結果によらず、第１の検知装置２１０の検知範囲には検知対象がいると判定する構成にしても良い。
また、情報収集装置１０２が、検知対象物が存在しないと判断した場合に、閲覧装置１２０にその旨を報知する構成としても良い。
また、情報収集装置１０２が、検知対象物が存在しないと判断した場合に、ドアなどを施錠する構成としても良い。
また、情報収集装置１０２が、各センサの検知結果に基づいて人が寝ていると判断した場合には、隣の部屋のテレビの音量を下げる制御や、自室のテレビの電源をオフする制御等を行う構成としても良い。
本開示によれば、検知方式の異なる複数のセンサを利用して検知対象物を適切に検知し得ることが可能である。
本発明にかかる検知システムは、物体や生物を検知しその検知情報に基づき、高齢者の見守りや家電機器を制御すシステム等に有用である。
１００ 通信システム
１０１ 検知装置
１０２ 情報収集装置
１１０ 検知システム
１２０ 閲覧装置
２１０、５１０、１１１０ 第１の検知装置
２１１ 第１の検知部
２１２、５１２、１１１２ 第１の送信部
２２０、５２０、１１２０ 第２の検知装置
２２１ 第２の検知部
２２２、５２２、１１２２ 第２の送信部
５１１ 電波センサ
５２１、１１２１ 熱画像センサ
１１１１ 焦電センサ

Claims (3)

  1. 発信した電波の反射波を検知する電波センサと、
    検知対象物が発生する熱を検知する熱画像センサと、
    前記電波センサ又は前記熱画像センサの検知情報に基づいて、前記電波センサと前記熱画像センサの両方が検知対象物を検知したと判定すると、検知対象物が存在すると判定する情報収集部と、を有し、
    前記検知対象物は、人間の身体であり、
    前記情報収集部は、
    （ａ）前記熱画像センサが人間の身体全体をセンシングすることが可能である状態では、前記熱画像センサの検知範囲を広げ、
    （ｂ）前記熱画像センサが人間の頭部の大きさの熱源を検知した場合には、前記熱画像センサの検知範囲を狭める
    検知対象物の検知システム。
  2. 請求項１に記載の検知対象物の検知システムであり、
    前記情報収集部は、前記熱画像センサを起動させた後に、前記熱画像センサが、検知対象物が発生する熱を検知したと判定すると、検知対象物が存在すると判定する、検知対象物の検知システム。
  3. 発信した電波の反射波を検知する電波センサが検知情報を出力するステップと、
    検知対象物が発生する熱を検知する熱画像センサが検知情報を出力するステップと、
    前記電波センサ又は前記熱画像センサの検知情報に基づいて、前記電波センサと前記熱画像センサの両方が検知対象物を検知したと判定すると、検知対象物が存在すると判定するステップと、を実行し、
    前記検知対象物は、人間の身体であり、
    前記検知対象物が存在すると判定する前記ステップでは、
    （ａ）前記熱画像センサが人間の身体全体をセンシングすることが可能である状態では、前記熱画像センサの検知範囲を広げ、
    （ｂ）前記熱画像センサが人間の頭部の大きさの熱源を検知した場合には、前記熱画像センサの検知範囲を狭める
    検知対象物の検知方法。
JP2016014856A 2015-06-24 2016-01-28 検知対象物の検知システム及び検知方法 Active JP6675076B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2015127099 2015-06-24
JP2015127099 2015-06-24
JP2015240532 2015-12-09
JP2015240532 2015-12-09

Publications (2)

Publication Number Publication Date
JP2017106880A JP2017106880A (ja) 2017-06-15
JP6675076B2 true JP6675076B2 (ja) 2020-04-01

Family

ID=56296495

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016014856A Active JP6675076B2 (ja) 2015-06-24 2016-01-28 検知対象物の検知システム及び検知方法

Country Status (4)

Country Link
US (1) US10353061B2 (ja)
EP (1) EP3109666B1 (ja)
JP (1) JP6675076B2 (ja)
CN (1) CN106291721B (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101659939B1 (ko) * 2016-03-15 2016-09-26 (주)하이디어 솔루션즈 이원화된 파라미터를 이용한 보호객체 관리시스템
CN110248593B (zh) * 2017-02-14 2022-07-08 松下知识产权经营株式会社 通信装置、异常通知***及生成体温的履历数据的方法
US11141096B2 (en) * 2017-08-28 2021-10-12 Panasonic Intellectual Property Corporation Of America Method for predicting future change in physical condition of person from sleep-state history
JP6958182B2 (ja) * 2017-09-27 2021-11-02 株式会社富士通ゼネラル 空調機システム
US11520028B2 (en) 2018-01-10 2022-12-06 Richwave Technology Corp. Occupancy detection using multiple antenna motion sensing
US11457875B2 (en) * 2018-03-08 2022-10-04 Panasonic Intellectual Property Corporation Of America Event prediction system, sensor signal processing system, event prediction method, and non-transitory storage medium
US11346938B2 (en) 2019-03-15 2022-05-31 Msa Technology, Llc Safety device for providing output to an individual associated with a hazardous environment
JP7216469B2 (ja) * 2019-06-17 2023-02-01 株式会社Fuji 周辺監視装置
US20220171045A1 (en) * 2020-12-01 2022-06-02 Energous Corporation Systems and methods for using one or more sensors to detect and classify objects in a keep-out zone of a wireless-power transmission field, and antennas with integrated sensor arrangements
JP7100326B1 (ja) * 2021-03-30 2022-07-13 長瀬産業株式会社 検知システム及び空間利用システム

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4882567A (en) 1988-09-29 1989-11-21 C & K Systems, Inc. Intrusion detection system and a method therefor
US5331308A (en) * 1992-07-30 1994-07-19 Napco Security Systems, Inc. Automatically adjustable and self-testing dual technology intrusion detection system for minimizing false alarms
JP2999345B2 (ja) * 1993-07-07 2000-01-17 オプテックス株式会社 人体検知装置
CN2179611Y (zh) * 1993-12-30 1994-10-12 陈建文 微波红外线双信号检测报警装置
US6239736B1 (en) * 1999-04-21 2001-05-29 Interlogix, Inc. Range-gated radar motion detector
US6351234B1 (en) * 2000-05-15 2002-02-26 Digital Security Controls Ltd. Combination microwave passive infrared motion detector with anti-masking evaluation
US6791458B2 (en) * 2001-05-22 2004-09-14 Hubbell Incorporated Dual technology occupancy sensor and method for using the same
DE60216329T2 (de) * 2002-05-12 2007-06-14 Risco Ltd. Eindringlingsalarm mit zwei sensoren
JP3894122B2 (ja) * 2003-01-14 2007-03-14 ソニー株式会社 物体検知装置および方法
JP4250697B2 (ja) * 2003-09-04 2009-04-08 オプテックス株式会社 組合せセンサ
JP2005249707A (ja) * 2004-03-08 2005-09-15 Optex Co Ltd センサシステム及びそのセンサシステムに使用されるセンサ装置並びに受信装置
JP2006023239A (ja) * 2004-07-09 2006-01-26 Optex Co Ltd マイクロウエーブセンサ
DE602006006159D1 (de) * 2005-03-10 2009-05-20 Pyronix Ltd Detektor und optisches system
JP3845749B2 (ja) * 2005-04-26 2006-11-15 オプテックス株式会社 マイクロウエーブセンサ
CN100426330C (zh) * 2006-12-29 2008-10-15 黄尚南 一种红外微波报警装置
US7671739B2 (en) * 2007-03-07 2010-03-02 Robert Bosch Gmbh System and method for implementing ranging microwave for detector range reduction
US8063375B2 (en) * 2007-06-22 2011-11-22 Intel-Ge Care Innovations Llc Sensible motion detector
US7777624B2 (en) * 2007-09-26 2010-08-17 Honeywell International Inc. Direction of travel motion sensor
US7760089B2 (en) * 2007-09-26 2010-07-20 Honeywell International Inc. Microwave direction of travel detector by parallel sampling
US7679547B2 (en) * 2007-09-26 2010-03-16 Honeywell International Inc. Direction of travel motion detector with automatic gain control
CN201936411U (zh) * 2011-02-16 2011-08-17 中国舰船研究设计中心 防盗报警***
CN103493112B (zh) * 2011-02-22 2016-09-21 菲力尔***公司 红外传感器***及方法
CN102681643B (zh) * 2011-03-08 2015-11-25 联想(北京)有限公司 检测装置、计算机和检测方法
JP5538289B2 (ja) 2011-04-11 2014-07-02 三菱電機株式会社 空気調和システム及び空気調和方法
EP2530442A1 (en) * 2011-05-30 2012-12-05 Axis AB Methods and apparatus for thermographic measurements.
US9666063B2 (en) * 2015-04-09 2017-05-30 Google Inc. Motion sensor adjustment

Also Published As

Publication number Publication date
JP2017106880A (ja) 2017-06-15
US20160377710A1 (en) 2016-12-29
EP3109666A1 (en) 2016-12-28
US10353061B2 (en) 2019-07-16
EP3109666B1 (en) 2022-09-21
CN106291721B (zh) 2019-12-20
CN106291721A (zh) 2017-01-04

Similar Documents

Publication Publication Date Title
JP6675076B2 (ja) 検知対象物の検知システム及び検知方法
US11960264B2 (en) Load control system responsive to sensors and mobile devices
US10868693B2 (en) Home device control device and operation method thereof
CN111886633B (zh) 基于所分析的视频流的利用智能音频提示的婴儿监视
US20200196915A1 (en) Using active ir sensor to monitor sleep
US9841202B2 (en) Sensor mounting device
WO2018151003A1 (ja) 通信装置、異常通知システム、および異常通知方法
KR20170057038A (ko) 수면 단계 분석 장치 및 그 동작 방법
CN203810634U (zh) 室内舒适性状态获取装置、空调器和移动终端
JP2007120815A (ja) 空調システム
JP2014161580A (ja) 通信装置、通信装置の制御方法、被制御装置、通信システム、制御プログラム、および記録媒体
JP2008128582A (ja) 空気調和機
EP2696146B1 (en) Air conditioning system
WO2018051461A1 (ja) 機器制御装置、機器制御システム、機器制御方法及びプログラム
KR20170114753A (ko) 수면관리장치를 이용한 온수매트
KR20120051122A (ko) 유비쿼터스 센서 네트워크에서 수면환경 제공 시스템 및 그 방법
JP6552711B2 (ja) 空気調和機および空気調和システム
KR20180063990A (ko) 전자기기를 제어하는 적외선 리모컨
KR20180003890A (ko) 이동 로봇 및 그 제어방법
JP2011117627A5 (ja)
KR20090056008A (ko) 유비쿼터스를 이용한 수면 환경 제공 시스템 및 방법
KR102464768B1 (ko) 지능형 영유아 케어 서비스 제공 시스템 및 방법
JP5865679B2 (ja) 監視システム及びプログラム
KR20170071787A (ko) 지능형 콘센트 시스템
KR20180107373A (ko) 생체 정보 측정 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190917

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191028

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200220

R151 Written notification of patent or utility model registration

Ref document number: 6675076

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151