JP7127592B2 - 報知システム - Google Patents

報知システム Download PDF

Info

Publication number
JP7127592B2
JP7127592B2 JP2019061728A JP2019061728A JP7127592B2 JP 7127592 B2 JP7127592 B2 JP 7127592B2 JP 2019061728 A JP2019061728 A JP 2019061728A JP 2019061728 A JP2019061728 A JP 2019061728A JP 7127592 B2 JP7127592 B2 JP 7127592B2
Authority
JP
Japan
Prior art keywords
control unit
proximity sensor
ultrasonic irradiation
ultrasonic
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019061728A
Other languages
English (en)
Other versions
JP2020160988A (ja
Inventor
大輔 ▲高▼橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2019061728A priority Critical patent/JP7127592B2/ja
Priority to US17/437,410 priority patent/US11967183B2/en
Priority to PCT/JP2020/009905 priority patent/WO2020195731A1/ja
Priority to CN202080019846.3A priority patent/CN113544754A/zh
Priority to EP20779432.2A priority patent/EP3951734A4/en
Publication of JP2020160988A publication Critical patent/JP2020160988A/ja
Application granted granted Critical
Publication of JP7127592B2 publication Critical patent/JP7127592B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/22—Status alarms responsive to presence or absence of persons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/181—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using active radiation detection systems
    • G08B13/183—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using active radiation detection systems by interruption of a radiation beam or barrier
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19652—Systems using zones in a single scene defined for different treatment, e.g. outer zone gives pre-alarm, inner zone gives alarm

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Emergency Alarm Devices (AREA)

Description

本発明は報知システム、及び、報知装置に関する。
工場内、作業現場等において、作業ロボットその他の機械設備が稼働し、人が進入すると危険の及ぶ恐れのある領域を危険領域として他の領域と区別することが行われる。危険領域への人の接近を防止するために、看板、標識等の視覚的手段による危険領域の表示がなされる。また、プロジェクタにより安全標識の投影を行う従来技術が特許文献１に開示されている。
更に、人が危険領域に進入した場合に、機械設備を緊急停止させる監視システムも知られている。
一方、特許文献２には、空気を発射する手段による触覚的な刺激で歩行者に警告を与える車両用警告装置が提案されている。
特許第６３６４５６８号公報 特開２００８－１８８９６号公報
人が危険領域に不用意に進入してしまった際に、機械設備を監視システムにより緊急停止させることは、安全性を高める一方、装置の稼働率及び工場の生産性の低下と、場合によっては仕掛品の損害をもたらす。
そこでこのような事態を避けるため、人が危険領域に接近しつつあることを検知すると、その者（接近者）に警告を発し、危険領域への進入を未然に抑止するシステムを構築することが考えられる。工場内における警告の報知の方法としては、通常、警告灯の点灯などの視覚的手段か、若しくは警報音等の鳴動などによる聴覚的手段が用いられる。
しかし、工場内において、様々な機械設備が、作業者に工程の終了を知らせる合図や、原料の補充を促すための報知、その他種々の事象の報知のための、警告灯の点灯や、警報音等の鳴動といった手段を用いている。よって、危険領域に接近していることの警告を、視覚的手段、若しくは聴覚的手段で行った場合には、作業者に気付かれない怖れがある。
また、作業者が荷物を運搬している場合等で視界が遮られていると視覚的手段は有効ではないし、工場内の騒音が大きい場合には聴覚的手段は有効ではない。作業者の注意力が低下している場合においてもこれらの手段は有効ではない。
逆に、危険領域への接近者に気付かれるようにするために、視覚的手段、若しくは聴覚的手段の刺激のレベルを強くすると、接近者やその他の作業者を驚かせてしまい、作業ミスの発生や保持物を落としてしまうなどのトラブル発生の原因にもなりかねない。
そこで本発明者は、視覚的手段や聴覚的手段ではなく、触覚的な刺激によって、警告を与える方法を検討した。しかしながら、特許文献２に開示されたような、空気を発射する手段による方法は、シートや微小部品など、特に軽量の部材、あるいは工具を取り扱っている場合に、部材や工具が吹き飛ばされてしまうという問題があり、工場内において採用するには適切でない。
本発明は、一側面では、このような実情を鑑みてなされたものであり、その目的は、工場内等において、人が危険領域に接近した場合に、接近者に適切かつ効果的に警告を認知させることができる報知システムを実現することにある。
本発明は、上述の課題を解決するために、以下の構成を採用する。
本発明の一側面に係る報知システムは、所定の領域への物体の接近を検知する接近センサと、画像を撮影する画像センサと、触感を生じさせることが可能な超音波を、遠隔から人の体の部位に照射する超音波照射装置と、接近センサ制御部、画像センサ制御部、人検出部と超音波照射制御部とが設けられた報知装置と、を備え、前記接近センサ制御部は、前記接近センサから、前記物体への距離情報を取得し、前記画像センサ制御部は、前記画像センサから、前記物体の画像情報を取得し、前記人検出部は、前記距離情報と、前記画像情報とから、前記所定の領域へ所定の範囲内に接近した前記物体が人である場合に、当該人の体の部位を検出し、前記超音波照射制御部は、前記超音波照射装置に、前記人検出部が検出した人の体の部位に対して、前記超音波を照射させる構成を備えている。
上記構成によれば、人が危険領域等の所要の領域に接近していることの警告を、視覚的手段若しくは聴覚的手段とは別途の、触覚的手段により行うことが可能となる。よって、視覚的手段及び聴覚的手段のみを用いていた場合のように、接近者に警告が見過ごされることなく、効果的に警告を認知させることができる。
特に工場内において、様々な機械設備が、種々の事象の報知のために、警告灯の点灯や、警報音等の鳴動といった様々な視覚的手段、聴覚的手段を実行しているような場合においても、接近者に効果的に警告を認知させることができる。
また、接近者が荷物を運搬している場合などで視界が遮られている場合や、注意力が低下している場合においても効果的に警告を認知させることができる。
警告を与えるに当たり、接近者を必要以上に驚かせることや、工程中の部材や工具を吹き飛ばすような怖れもなく、生産工程に不適切な影響を生じさせることもない。
上記一側面に係る報知システムにおいて、前記報知装置には、照射部位選択部が更に設けられ、前記照射部位選択部は、前記人検出部が検出した複数の当該人の体の部位から、あらかじめ定められた優先順位に従って、前記超音波照射装置に前記超音波を照射させる人の体の部位を選択する構成を備えていてもよい。
上記構成によれば、接近者の体の一部が障害物により隠されていた場合においても、適切かつ効果的に警告を認知させることができるような体の部位を、より望ましいものから選択することができる。
上記一側面に係る報知システムにおいて、前記超音波照射制御部は、前記超音波照射装置に、前記超音波を断続的に発生させることにより、前記人の体の部位に触感を断続的に生成させる構成を備えていてもよい。
上記構成によれば、接近者を驚かせてしまう可能性を抑制し、接近者により適切かつ効果的に警告を認知させることができる。
上記一側面に係る報知システムにおいて、前記超音波照射制御部は、前記距離情報に応じて、前記超音波を断続的に発生させる間隔、前記超音波の強度、前記超音波を照射させる位置のうちの少なくともいずれか一つを調整する構成を備えていてもよい。
上記構成によれば、接近者に対し、危険領域等の所定の領域に接近するほど、より強い警告を与えるように動作させ、もって所定の領域への進入を効果的に抑制させることができるようになる。
上記一側面に係る報知システムにおいて、前記接近センサと、前記画像センサとを兼用するＴｏＦカメラを備える構成としてもよい。
上記構成によれば、前記接近センサと、前記画像センサとを１つのセンサで実現することができ、構成及び設置がより簡易になる。
上記一側面に係る報知システムにおいて、前記接近センサは、ライトカーテンである構成としてもよい。
上記構成によれば、ライトカーテンを用いた報知システムにおいても、触覚により、接近者に適切かつ効果的に認知させることができる警告をあたえることが実現できるようになる。
上記一側面に係る報知システムにおいて、前記接近センサと前記画像センサの少なくともいずれかと、前記超音波照射装置とは、それぞれが基準面上に３個以上のマーカを備え、それぞれの前記基準面上の３個以上のマーカを撮影した画像から、少なくとも前記接近センサまたは前記画像センサと、前記超音波照射装置の位置関係を判定可能とした構成としてもよい。
上記構成によれば、センサと超音波照射装置との位置関係を把握することができるようになり、接近者の身体の部位に正確に超音波を照射させることができるようになる。
本発明の一側面に係る報知装置は、接近センサ制御部、画像センサ制御部、人検出部と超音波照射制御部とを備え、前記接近センサ制御部は、所定の領域への物体の接近を検知する接近センサから、前記物体への距離情報を取得し、前記画像センサ制御部は、画像を撮影する画像センサから、前記物体の画像情報を取得し、前記人検出部は、前記距離情報と、前記画像情報とから、前記所定の領域へ所定の範囲内に接近した前記物体が人である場合に、当該人の体の部位を検出し、前記超音波照射制御部は、触感を生じさせることが可能な超音波を、遠隔から人の体の部位に照射する超音波照射装置に、前記人検出部が検出した人の体の部位に対して、前記超音波を照射させる構成を備える。
上記構成によれば、工場内等において、人が危険領域等の所定の領域に接近した場合に、接近者に適切かつ効果的に警告を認知させることができる報知システムを実現させることができる。
上記一側面に係る報知装置において、照射部位選択部が更に設けられ、前記照射部位選択部は、前記人検出部が検出した複数の当該人の体の部位から、あらかじめ定められた優先順位に従って、前記超音波照射制御部に前記超音波を照射させる人の体の部位を選択する構成とすることができる。
上記構成によれば、接近者の体の一部が障害物により隠されていた場合においても、接近者に適切かつ効果的に警告を認知させることができるための体の部位を、より望ましいものから選択することができる。
本発明の一側面に係る報知システム若しくは報知装置によれば、工場内等において、人が危険領域等の所定の領域に接近した場合に、接近者に適切かつ効果的に警告を認知させることができる報知システムを実現することができる。
本発明の実施形態１に係る報知システムを示す概略図である。 本発明の実施形態１に係る報知装置の構成を示す図である。 本発明の実施形態１に係る報知装置の動作を説明するためのフローチャートである。 本発明の実施形態１に係る報知システム及び報知装置の動作の例を説明するための概略図である。 本発明の実施形態２に係る報知システムを示す概略図である。 本発明の実施形態３に係る報知システムを示す概略図である。 本発明の実施形態３に係る報知システムの設置方法を説明するための図である。（ａ）は、超音波照射アレイを示し、（ｂ）はそれを赤外線カメラで撮影した画像である。
〔実施形態１〕
以下、本発明の一側面に係る実施の形態（以下、「本実施形態」とも表記する）が、図面に基づいて説明される。
§１ 適用例
図１を用いて、本発明が適用される場面の一例が説明される。
図１は、本実施形態に係る報知システム１０の全体の機器構成を示す概略図である。報知システム１０は、本実施形態に係る報知装置１００、接近センサ１１０、画像センサ１２０と、超音波照射装置１３０とを備える。
本実施形態において、報知システム１０が一式の接近センサ１１０と、一式の画像センサ１２０を備える例が説明される。しかし、報知システム１０は、接近センサ１１０または画像センサ１２０を、それぞれ単数若しくは複数備えていてもよい。
接近センサ１１０及び画像センサ１２０は、危険領域等の所定の領域を区画する境界１近傍の領域であり、当該所定の領域外の領域である警戒領域を少なくとも監視する。
接近センサ１１０は、危険領域等の所定の領域への物体の接近（距離）を検出するセンサである。画像センサ１２０は、警戒領域を撮影するセンサである。
報知装置１００には、接近センサ制御部、画像センサ制御部、人検出部と超音波照射制御部とが設けられる。
接近センサ制御部は、危険領域等の所定の領域への物体の接近を検知する接近センサ１１０から、少なくとも前記物体への距離情報を取得する。
画像センサ制御部は、画像を撮影する画像センサ１２０から、通常画像データ（画像情報）を取得する。
人検出部は、距離情報と、画像情報とから、危険領域等の所定の領域へ所定の範囲内に接近した前記物体が人である場合に、当該人の体の部位を検出する。
超音波照射装置１３０は、触感を生じさせることが可能な超音波を、遠隔から人の体の部位に照射することができる。
超音波照射制御部は、超音波照射装置１３０に、人検出部が検出した上記人の体の部位に対して、上記超音波を照射させる。
以上の構成により、工場内等において、人が危険領域に接近した場合に、接近者に適切かつ効果的に警告を認知させることができる報知システムを実現することができる。
§２ 構成例
図１から図３を参照し、報知システム１０若しくは報知装置１００の具体的な構成例と動作が説明される。
図２は、実施形態１に係る報知装置１００の、内部構成を機能ブロックで表した図である。
報知装置１００には、機能ブロックとしての、接近センサ制御部１０１、画像センサ制御部１０２、人検出部１０３と超音波照射制御部１０５とが設けられる。好ましくは、報知装置１００には、更に照射部位選択部１０４が設けられる。
接近センサ１１０は、危険領域外の領域である安全領域のうち、人の接近を警戒すべき危険領域近傍の警戒領域を、少なくとも監視する。画像センサ１２０も同様に、少なくとも警戒領域を監視する。
接近センサ１１０は、赤外線その他の光による三角測量の方式、赤外線その他の光の飛行時間（Time of flight：ＴｏＦ）を用いる方式、超音波の反射時間を用いて物体までの距離を測定する方式などの距離センサであってよい。超音波を利用する場合には、気温による距離の測定誤差を補正する構成と、人の体の部位に触感を生じさせるために用いる超音波と混信しない構成を備えていることが望ましい。
また、接近センサ１１０は、距離画像データを取得できる方式のセンサであってよい。ここで、距離画像データとは、センサ視野中の各点を、その方向に存在する物体への距離を示す画像として表したデータである。
距離画像データを取得できる方式のセンサの例示として、ＴｏＦカメラ、ステレオカメラが挙げられる。また、色によるぼけの違いから距離を推定する単眼カメラを用いて距離画像データを取得できるセンサ（例として、「単眼カメラで撮影した１枚の画像から精度よく距離計測できるカラー開口撮像技術：三島直、佐々木貴之、東芝レビュー、７３巻、１号、３９～４３ページ」）も挙げられる。この場合、赤外画像も用いて色収差を大きくすることにより精度を更に向上させることが好ましい。
画像センサ１２０は、カメラやムービーを用いることができる。ここで、通常画像データとは、カメラやムービーで撮影された、物体の形状が認識できる画像データ全般のことを称している。通常画像データはＲＧＢ画像であることが好ましいが、白黒画像や赤外線画像であってもよい。物体の形状が認識できる画像であれば、色彩や明度以外の情報が物体の表面に重畳されたような画像であってもよい。
接近センサ１１０が通常画像データも取得することもできる形式のセンサである場合には、画像センサ１２０は、接近センサ１１０と兼用でもよい。例えば、ＴｏＦカメラの中には、通常画像データ（特にＲＧＢ画像）と距離画像データの両方を出力できるものがある。また、ステレオカメラも多くは、通常画像データ（特にＲＧＢ画像）と距離画像データの両方を出力できる。
この場合、センサとしては一体のものであるが、センサ自体に、接近センサ１１０と画像センサ１２０の機能を有している。よって、接近センサ制御部１０１は、統合されたセンサの接近センサ１１０としての機能部から上記物体への距離情報を取得する。画像センサ制御部１０２は、統合されたセンサの画像センサ１２０としての機能部から画像情報を取得する。
またあるいは、接近センサは、ライトカーテンであってもよい。
本構成例における具体的な例示として、接近センサ１１０は距離画像データの取得が可能なＴｏＦカメラである。
図１に示されるように、超音波照射装置１３０は、超音波発生素子１３２を多数２次元配列した超音波照射アレイ１３１と、超音波照射アレイ１３１が発生した超音波の伝搬方向の向きを変える反射板１３５とを備えている。なお、超音波照射装置１３０は必ずしも反射板１３５備えているものでなく、超音波照射アレイ１３１から対象物に直接超音波を照射するものであってもよい。
人の体の部位に触感を感じさせることができる超音波を所定の位置に照射する超音波照射装置１３０は、公知の技術（例えば、特開２０１２－４８３７８号公報）で構成することができる。
超音波照射装置１３０では、超音波照射アレイ１３１が、多数の超音波発生素子１３２からなるフェーズドアレイを構成している。超音波照射装置１３０は、個々の超音波発生素子１３２の発生する超音波の位相を調整することで、所望の遠隔位置に、超音波を集中させて照射することができる。また、超音波の集中する位置を、所望の方向にスキャンすることも可能である。
超音波の集中する位置に、人の皮膚があると、皮膚の触覚受容器が刺激され、照射位置に触感が誘起される。超音波照射装置１３０は、超音波の強さを継時的に変化させることで、様々な触感を与えることも可能である。
図３は、報知装置１００の動作を示すフローチャートである。以下に報知装置１００の動作を示しつつ、報知システム１０若しくは報知装置１００の構成がより詳細に説明される。
（ステップＳ１）
ステップＳ１で接近センサ制御部１０１は、接近センサ１１０（ＴｏＦカメラ）から、距離画像データを取得する。
（ステップＳ２）
続いてステップＳ２で接近センサ制御部１０１は、距離画像データから、警戒領域より更に外側の領域に対応する所定距離以遠の部分を不必要な情報としてフィルタし、取り除く。
また、距離画像データに動きが全くない部分である定常画像の部分（固定された什器や機械設備等）を、背景の画像であるとしてフィルタし、取り除く。
このようにフィルタすることで、警戒領域内で動きのある物体の画像のみを抽出し、不要な情報を取り除く。
（ステップＳ３）
続いてステップＳ３で接近センサ制御部１０１は、フィルタされた距離画像データに、危険領域に接近する（継時的に距離が小さくなる）物体があるか否かを判断する。あると判断された場合（ステップＳ３でＹＥＳ）、次のステップＳ４に進み、否と判断された場合（ステップＳ３でＮＯ）、フローは終了する。
（ステップＳ４）
ステップＳ４で画像センサ制御部１０２は、画像センサ１２０から、通常画像データを取得する。
（ステップＳ５）
続いてステップＳ５で人検出部１０３は、接近センサ制御部１０１からフィルタされた距離画像データを取得し、画像センサ制御部１０２から通常画像データを取得する。
次いで、人検出部１０３は、距離画像データにおいて上記フィルタされた領域に対応する、通常画像データの領域をフィルタする。不要な情報を取り除き、画像処理の負担を軽減するためである。
（ステップＳ６）
続いてステップＳ６で人検出部１０３は、フィルタされた通常画像データから、人の体の各部（部位）を抽出する。部位とは、例えば、頭部、顔面部、頸部、上腕部、下腕部、手部、肩部、背中部、胸部、腹部、腰部、膝部等である。しかし、更に細かく区分するものであってもよい。
通常画像データ等から、人の体の各部を抽出する方法については、公知の手法を用いることができる。
具体的には、画像情報から人の体の部位を検出する手法として、ヒストグラム・オブ・オリエンテッド・グラディエンツ（Histogram of Oriented Gradients：ＨＯＧ）を用いた検出法（例えば、「ぺデストリアン・ディテクション・オープン・シー・ヴィー（Pedestrian Detection OpenCV）：https://www.pyimagesearch.com/2015/11/09/pedestrian-detection-opencv/」を参照）を用いることができる。
あるいは、画像情報から人の体の部位を検出する手法として、キネマティック・スケルトン・フィッティング（kinematic skeleton fitting）を用いた検出法（例えば、「ＡＣＭトランジションズ・オン・グラフィクス、３６巻、４号、４４番（Real-time 3D Human Pose Estimation with a Single RGB：Dushyant Mehta et al., ACM Transactions on Graphics, Vol. 36, No. 4, Article 44）」を参照）を用いることができる。
また、距離画像データから人の体の部位を検出する手法（例えば、「単一の距離画像からのリアルタイムな姿勢推定（Real-Time Human Pose Recognition in Parts from Single Depth Images：Jamie Shotton et al., https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/BodyPartRecognition.pdf）」を参照）を用いてもよい。
更に、人の体の部位を検出するに当たり、脈拍の変化による皮膚の色変化を利用した手や顔面等の露出部位の検出（例えば、「映像脈波抽出技術（https://www.cac.co.jp/product/rhythmiru/）」を参照）を補助的に利用してもよく、上記手法を組み合わせて利用してもよい。
本構成例では、ＲＧＢ画像である通常画像データからの、ＨＯＧを用いた検出法を適用した。
（ステップＳ７）
続いてステップＳ７で人検出部１０３は、人の体の部位が抽出されたか否かを判断する。抽出されたと判断された場合（ステップＳ７でＹＥＳ）、次のステップＳ８に進み、否と判断された場合（ステップＳ７でＮＯ）、フローは終了する。
（ステップＳ８）
ステップＳ８で照射部位選択部１０４は、人検出部１０３から抽出された人の部位とその位置（方向、距離）を取得する。
次いで、照射部位選択部１０４は、あらかじめ定められた優先順位に従って、抽出された人の部位から、超音波を実際に照射する部位（照射部位）を選択する。
例えば、手は物を運搬していたり、作業をしている場合に触感を感じると適当でないことが考えられるため、優先順位を下げる若しくは照射はしないことが考えられる。また、顔面も、目をつぶる、顔をそむけるなどの回避行動を招来することが考えられるため、優先順位を下げる若しくは照射はしないことが考えられる。
本構成例では、優先順位の高い順に、腰部、肩部、肘部、膝部、頭部とした。
（ステップＳ９）
続いてステップＳ９で超音波照射制御部１０５は、照射部位選択部１０４から、選択した照射部位及びその位置（方向、距離）の情報を取得する。
次いで、超音波照射制御部１０５は、超音波照射装置１３０を制御して、照射部位に向けて、触感を感じさせることが可能な超音波を照射させる。
例えば、照射部位として腰部が選択された場合には、超音波照射制御部１０５は取得した位置の情報に従い、図１に模式的に示されるように、超音波照射装置１３０に、危険領域への接近者２の腰部２Ａに超音波が集中するように照射させる。そうして、報知システム１０は、接近者２の腰部２Ａに触感を生じせしめる。このようにして、報知システム１０が、危険領域への接近者に対し、警告を実行する。
以上の一連のフローを、報知装置１００は、定められた監視間隔で繰り返し実行する。
§３ 作用、効果
本実施形態に係る報知システム１０若しくは報知装置１００によれば、人が危険領域等の所要の領域に接近していることの警告を、視覚的手段若しくは聴覚的手段とは別途の、触覚的手段により行うことが可能となる。よって、視覚的手段及び聴覚的手段のみを用いていた場合のように、接近者２に警告が見過ごされることなく、効果的に警告を認知させることができる。
特に工場内において、様々な機械設備が、種々の事象の報知のために、警告灯の点灯や、警報音等の鳴動といった様々な視覚的手段、聴覚的手段を実行しているような場合においても、接近者２に効果的に警告を認知させることができる。
また、接近者が荷物を運搬している場合などで視界が遮られている場合や、注意力が低下している場合においても効果的に警告を認知させることができる。
警告を与えるに当たり、接近者を必要以上に驚かせることや、工程中の部材や工具を吹き飛ばすような怖れもなく、生産工程に不適切な影響を生じさせることもない。
遠隔から接近者２の体の部位に触感を生じさせるに当たり、報知システム１０は、接近センサ１１０及び画像センサ１２０で、体の部位の位置（距離と方向）をセンシングしている。また報知システム１０は、超音波照射アレイ１３１を用いた超音波照射装置１３０によって、触感を生じさせることが可能な超音波の照射を行っている。そのため、移動している接近者２の体の部位に、超音波の集中する領域を的確に追随させて、触感を生じさせることができる。
§４ 照射方法の具体例
以下では、動作のより具体的な適用例について示される。
接近者２を無用に驚かせることが無いように、特に当初は軽い力で断続的に叩かれるような触感を生じさせることが望ましい。
例えば、１００～３００ｇ重程度の力を、体表上の直径２～５ｃｍの範囲に０．１秒間程度作用させる。これを適切な周期で繰り返す。
接近者２が、危険領域に近づくほど、より強い力で叩かれるような触感とする、あるいは、触感を生じさせる部位を一定の領域内で連続的または離散的に移動させることも望ましい。また、断続の周期についても、危険領域に近づくほどそれを短縮することが望ましい。危険領域に近づくほど、刺激の度合いを高めることで、接近者に警告をより強く認知させ、危険領域への進入をより効果的に抑制するためである。
例示として、危険領域までの残り距離に反比例させて周期を調整することが考えられる。当初、危険領域へ１ｍに接近したときに０．２５秒周期の刺激を与え、残り距離が８０ｃｍであれば０．２秒周期、６０ｃｍであれば０．１５秒周期に短くする、といった具合である。
接近者２が、危険領域に非常に近づいた場合に、断続照射（断続的な触感）から、連続照射（連続的な触感）に移行し、より強く警告することも、選択としてあり得る。
〔実施形態２〕
本発明の他の実施形態が、以下に説明される。なお、説明の便宜上、上記実施形態にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付記し、その説明を繰り返さない。
実施形態２に係る報知システム及び報知装置は、実施形態１と同一の構成である。実施形態２では、荷物を運搬する作業者が危険領域に接近してきた場合の動作について示される。
図４は、実施形態２における報知システム１０の概略構成と、危険領域への接近者２とを示す図である。図示されるように接近者２は、荷物を搭載した台車３を押しながら危険領域に接近する状況にある。
報知システム１０（接近センサ１１０及び画像センサ１２０）側からは、荷物を搭載した台車３に隠れて、接近者２の腰部は見えない。すると、図３のステップＳ６において、接近者２の腰部は、体の部位として抽出されない。しかし、肩部等の他の部位は抽出される。
すると、ステップＳ８において、腰部の次に優先度の高い肩部が選択部位として選択される。
そうして、ステップＳ９において、接近者２の肩部２Ｂに触覚を生じさせることが可能な超音波が照射される。
本実施形態に示されたように、作業者が荷物を運搬している状況等で、ある体の部位が隠れて超音波を照射できないような場合にあっても、報知装置１００は、体の各部を認識するように動作している。よって、報知システム１０及び報知装置１００では、そのような場合でも確実に危険領域への接近者２に対して、警告を認知させることができる。
〔実施形態３〕
実施形態２に係る報知システム及び報知装置は、実施形態１と同一の構成であるが、実施形態１において構成例では具体的にＴｏＦカメラであった接近センサ１１０が、ライトカーテンに置き換えられているものである。
図５は、実施形態３に係る報知システム２０の概略構成と、危険領域への接近者２とを示す図である。
報知システム２０では、警戒領域と警戒領域以外の安全領域との境界を物体が通過したときに検知するライトカーテンが設置されている。
ライトカーテンは、送光器２１１と受光器２１２との一式で構成される。境界の一方の側に送光器２１１を配置し、もう一方の側に受光器２１２を配置して、送光器２１１から受光器２１２に向う光線２１３が遮られて受光器２１２に届かなくなったときに（図５において遮られた光線の部分を点線２１４で示す）、当該境界を通過する物体の存在を検知する。
報知システム２０の報知装置２００では、ライトカーテンが警戒領域への進入を検知すると直ちに、危険領域に接近する物体があるとみなす。また、実施形態１における距離画像データによるフィルタリングが行えないために、通常画像データからの体の各部の抽出の処理の負担軽減が行えないが、実施形態１の報知装置１００と同様にして、接近者２に警告を報知することができる。
実施形態３によれば、ライトカーテンによる危険領域への接近の検知が行われている既存の設備に対して、触感による警告の報知の機能を付け加えることができる。
〔実施形態４〕
実施形態４に係る報知システムは、実施形態１の報知システム１０と同様の構成であるが、報知システムを現場に設置する際の、特別の機能を有している点が報知システム１０とは異なる。
図６は、実施形態４に係る報知システム３０の構成を示す概略図である。報知システム３０は、報知装置３００を備えている。
報知システム３０の接近センサ３１０、画像センサ３２０、超音波照射装置３３０の超音波照射アレイ３３１、その反射板３３５は、それぞれマーカ３５１を有している。
マーカ３５１は、これら各装置または部品の基準面にそれぞれ少なくとも３点備えられている。マーカ３５１は赤外光を再帰的に反射する再帰性部材からなっている。再帰性部材は具体的には、コーナーキューブや、再帰性反射シートであり得る。
更に、報知システム３０は、赤外線発光素子を有した赤外カメラ３６０を備えている。赤外カメラ３６０は、自ら放出した赤外線の反射光による赤外線画像を得ることができるカメラである。
図７は、報知システム３０を現場に設置する方法を説明するための図である。図７（ａ）は、超音波照射アレイ３３１を示す図であり、図面の簡略化のため超音波発生素子１３２の図示は略されている。
図７（ａ）において、超音波照射アレイ３３１のパネル面には、４点のマーカ３５１が配置されている。また、装置の種類を識別するための情報が印刷された２次元コードもパネル面に貼付されている。前記２次元コードに最も近いマーカを基準マーカとし、基準マーカから、予め定めた基準マーカ以外の相異なる２つのマーカへのベクトルをそれぞれベクトルｖ１、ベクトルｖ２とする。
図７（ｂ）は、超音波照射アレイ３３１のパネル面を赤外カメラ３６０で撮影した赤外線画像である。マーカ３５１は再帰性部材からなるため、マーカの位置が明確に明るい点となって撮影されている。また、２次元コードの情報も読み取り可能である。
図７（ｂ）には、上述のベクトルｖ１及びベクトルｖ２に対応する赤外線画像上のベクトルｖ’１とベクトルｖ’２が図示されている。このように、赤外線画像上において、明確にベクトルｖ’１とベクトルｖ’２とが判別できる。
ここで、ベクトルｖ’１及びベクトルｖ’２の位置と傾きと大きさより、赤外カメラ３６０から見たパネル面の位置と姿勢が算出できる。
より具体的には、マーカ３５１の設置位置を装置（ここではパネル面）の座標系において同次座標で表したＱ、装置の座標系を赤外カメラ３６０の座標系に移す剛体変換をＲ、赤外カメラ３６０の画角から得られる透視投影変換をＰとして、Ｑ’＝Ｒ・Ａ・Ｑとなる。これを１つの装置について３つ以上のマーカ３５１に対して適用した式を連立させ、かつ、剛体変換Ｒによって、マーカ３５１の設置点間の距離と角度が不変であることを考慮すると、剛体変換Ｒが得られる。
上述の計算に用いるマーカが全て同一平面上にある場合、単一の画像からは一般に２通りの解が得られるので、２通りの解のうちどちらを採用すべきかは、他の制約条件から判定する。例えば、マーカはパネル面の表面からしか観察できないとの制約条件、あるいは、異なる箇所からの複数の赤外線画像により特定する、同一平面上にない４つ以上のマーカの組を利用する等である。
超音波照射アレイ３３１以外の他の装置または部品についても、同様にして、赤外カメラ３６０に対する位置と設置の角度が算出できる。こうして、複数の装置について赤外カメラ３６０との相対位置を比較することにより、複数の装置間の位置関係を算出できる。
以上の方法により、報知システム３０においては、接近センサ３１０、画像センサ３２０、超音波照射装置３３０の超音波照射アレイ３３１、その反射板３３５の設置位置と設置角度を、正確に赤外カメラ３６０の撮影画像から知ることができる。従って、これらの情報に基づいて、超音波照射装置３３０が触覚を発生させるために超音波を照射する位置を、容易に定めることができるようになる。
更に、図６に示されるように、報知システム３０は、危険領域と安全領域（警戒領域）との境界をも赤外カメラ３６０の撮影により把握するために、マーカ板３５０を複数備えていてもよい。マーカ板３５０は、上記マーカ３５１を少なくとも３点以上平面上に備えた板状もしくはシート状の部材である。危険領域と安全領域（警戒領域）との境界にマーカ板３５０を設置することで、上記同様の手法にて、報知システム３０に対する当該境界の位置を容易に算出することができるようになる。
上述の各実施形態において、接近センサ、画像センサ及び超音波照射装置は各１式である場合を例示として説明された。しかし、本発明の適用はこれに限られるものではなく、それぞれ複数用いてもよい。特に、警戒すべき領域が広範囲である場合や、複雑な形状である場合に、複数台とすることは有効である。
その際、特に超音波照射装置による触感の生成については、超音波照射制御部により、１照射対象に対しては、１台の超音波照射装置からの超音波の照射となるように制御されることが好ましい。１照射対象に対し所定以上の刺激を生成させないためである。
〔ソフトウェアによる実現例〕
報知装置１００、２００、３００の機能ブロック（特に、接近センサ制御部１０１、画像センサ制御部１０２、人検出部１０３、照射部位選択部１０４、超音波照射制御部１０５）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
後者の場合、報知装置１００、２００、３００は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などを更に備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
１０、２０、３０ 報知システム
１００、２００、３００ 報知装置
１０１ 接近センサ制御部
１０２ 画像センサ制御部
１０３ 人検出部
１０４ 照射部位選択部
１０５ 超音波照射制御部
１１０、３１０ 接近センサ
１２０、３２０ 画像センサ
１３０、３３０ 超音波照射装置
１３１、３３１ 超音波照射アレイ
１３２ 超音波発生素子
１３５、３３５ 反射板
２１１ ライトカーテンの送光器
２１２ ライトカーテンの受光器
２１３ 光線
３５０ マーカ板
３５１ マーカ
３６０ 赤外カメラ

Claims (6)

  1. 所定の領域への物体の接近を検知する接近センサと、
    画像を撮影する画像センサと、
    触感を生じさせることが可能な超音波を、遠隔から人の体の部位に照射する超音波照射装置と、
    接近センサ制御部、画像センサ制御部、人検出部と超音波照射制御部とが設けられた報知装置と、を備え、
    前記接近センサ制御部は、前記接近センサから、前記物体への距離情報を取得し、
    前記画像センサ制御部は、前記画像センサから、前記物体の画像情報を取得し、
    前記人検出部は、前記距離情報と、前記画像情報とから、前記所定の領域へ所定の範囲内に接近した前記物体が人である場合に、当該人の体の部位を検出し、
    前記超音波照射制御部は、前記超音波照射装置に、前記人検出部が検出した人の体の部位に対して、前記超音波を照射させる、報知システムであって、
    前記接近センサと前記画像センサの少なくともいずれかと、前記超音波照射装置とは、それぞれが基準面上に３個以上のマーカを備え、
    それぞれの前記基準面上の３個以上のマーカを撮影した画像から、少なくとも前記接近センサまたは前記画像センサと、前記超音波照射装置の位置関係を判定可能とした、報知システム。
  2. 所定の領域への物体の接近を検知する接近センサと、
    画像を撮影する画像センサと、
    触感を生じさせることが可能な超音波を、遠隔から人の体の部位に照射する超音波照射装置と、
    接近センサ制御部、画像センサ制御部、人検出部、照射部位選択部と超音波照射制御部とが設けられた報知装置と、を備え、
    前記接近センサ制御部は、前記接近センサから、前記物体への距離情報を取得し、
    前記画像センサ制御部は、前記画像センサから、前記物体の画像情報を取得し、
    前記人検出部は、前記距離情報と、前記画像情報とから、前記所定の領域へ所定の範囲内に接近した前記物体が人である場合に、当該人の体の各部位を区分して抽出し、
    前記照射部位選択部は、前記人検出部が抽出した当該人の体の各部位のうちから、あらかじめ定められた優先順位に従って、前記超音波照射装置に前記超音波を照射させる人の体の部位を選択し、
    前記超音波照射制御部は、前記超音波照射装置に、前記照射部位選択部が選択した人の体の部位に対して、前記超音波を照射させる、報知システムであって、
    前記接近センサと前記画像センサの少なくともいずれかと、前記超音波照射装置とは、それぞれが基準面上に３個以上のマーカを備え、
    それぞれの前記基準面上の３個以上のマーカを撮影した画像から、少なくとも前記接近センサまたは前記画像センサと、前記超音波照射装置の位置関係を判定可能とした、報知システム。
  3. 前記超音波照射制御部は、前記超音波照射装置に、前記超音波を断続的に発生させることにより、前記人の体の部位に触感を断続的に生成させる、請求項１または２に記載の報知システム。
  4. 前記超音波照射制御部は、前記距離情報に応じて、前記超音波を断続的に発生させる間隔、前記超音波の強度、前記超音波を照射させる位置のうちの少なくともいずれか一つを調整する、請求項３に記載の報知システム。
  5. 前記接近センサと、前記画像センサとを兼用するＴｏＦカメラを備えた請求項１から４のいずれか１項に記載の報知システム。
  6. 前記接近センサは、ライトカーテンである、請求項１から５のいずれか１項に記載の報知システム。
JP2019061728A 2019-03-27 2019-03-27 報知システム Active JP7127592B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019061728A JP7127592B2 (ja) 2019-03-27 2019-03-27 報知システム
US17/437,410 US11967183B2 (en) 2019-03-27 2020-03-09 Notification system and notification device
PCT/JP2020/009905 WO2020195731A1 (ja) 2019-03-27 2020-03-09 報知システム、報知装置
CN202080019846.3A CN113544754A (zh) 2019-03-27 2020-03-09 告知***以及告知装置
EP20779432.2A EP3951734A4 (en) 2019-03-27 2020-03-09 NOTIFICATION SYSTEM AND NOTIFICATION DEVICE

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019061728A JP7127592B2 (ja) 2019-03-27 2019-03-27 報知システム

Publications (2)

Publication Number Publication Date
JP2020160988A JP2020160988A (ja) 2020-10-01
JP7127592B2 true JP7127592B2 (ja) 2022-08-30

Family

ID=72611393

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019061728A Active JP7127592B2 (ja) 2019-03-27 2019-03-27 報知システム

Country Status (5)

Country Link
US (1) US11967183B2 (ja)
EP (1) EP3951734A4 (ja)
JP (1) JP7127592B2 (ja)
CN (1) CN113544754A (ja)
WO (1) WO2020195731A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7127592B2 (ja) * 2019-03-27 2022-08-30 オムロン株式会社 報知システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007088630A1 (ja) 2006-02-03 2007-08-09 Fujitsu Limited 検証装置、検証方法及び検証プログラム
WO2017155126A1 (ja) 2016-03-08 2017-09-14 一般社団法人 日本画像認識協会 情報伝送システム、情報送信装置、情報受信装置、およびコンピュータプログラム
WO2017203937A1 (ja) 2016-05-26 2017-11-30 三菱電機株式会社 ロボット制御装置
WO2018084082A1 (ja) 2016-11-02 2018-05-11 パナソニックＩｐマネジメント株式会社 ジェスチャ入力システム及びジェスチャ入力方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59161511A (ja) 1983-03-03 1984-09-12 Raito Kogyo Kk グラウト注入装置
JPH0414301Y2 (ja) 1986-10-20 1992-03-31
FR2770317B1 (fr) * 1997-10-24 2000-12-08 Commissariat Energie Atomique Procede d'etalonnage de la position et de l'orientation d'origine d'une ou plusieurs cameras mobiles et son application a la mesure de position tridimentionnelle d'objets fixes
US6250255B1 (en) 1998-08-06 2001-06-26 Virginia Commonwealth University Methods and apparatus for alerting and/or repelling birds and other animals
US20070093709A1 (en) * 2005-10-26 2007-04-26 Abernathie Dennis L Surgical navigation markers
JP2008018896A (ja) 2006-07-14 2008-01-31 Toyota Motor Corp 歩行者警告装置
JP2010025759A (ja) * 2008-07-18 2010-02-04 Fuji Xerox Co Ltd 位置計測システム
JP5540583B2 (ja) * 2009-06-24 2014-07-02 富士ゼロックス株式会社 位置計測システム、位置計測用演算装置およびプログラム
US20130278631A1 (en) * 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
JP5343946B2 (ja) 2010-08-25 2013-11-13 株式会社デンソー 触覚提示装置
CN101995219B (zh) * 2010-11-05 2012-11-14 天津工业大学 一种基于三点编码标记点的车架的关键点测量方法
EP2518709B1 (de) * 2011-04-28 2013-06-12 Sick Ag Diebstahlabsicherungsvorrichtung und Verfahren zur Erkennung von unberechtigten Eingriffen und Zutritten
JP2015090547A (ja) * 2013-11-05 2015-05-11 ソニー株式会社 情報入力装置及び情報入力方法、並びにコンピューター・プログラム
FR3014571B1 (fr) * 2013-12-11 2021-04-09 Dav Dispositif de commande a retour sensoriel
WO2017104835A1 (ja) * 2015-12-16 2017-06-22 日本電気株式会社 侵入検出装置、設定支援装置、侵入検出方法、設定支援方法及びプログラム記録媒体
KR102424296B1 (ko) * 2016-02-19 2022-07-25 삼성전자주식회사 복수의 영상들을 제공하기 위한 방법, 저장 매체 및 전자 장치
CN107179826B (zh) * 2016-03-11 2021-08-31 松下知识产权经营株式会社 姿势输入***和姿势输入方法
WO2018088146A1 (ja) * 2016-11-08 2018-05-17 国立大学法人九州大学 施術支援システム、施術支援方法及び施術支援プログラム
WO2018215047A1 (en) * 2017-05-22 2018-11-29 Abb Schweiz Ag Robot-conveyor calibration method, robot system and control system
US10740617B2 (en) * 2017-12-19 2020-08-11 Intel Corporation Protection and recovery of identities in surveillance camera environments
JP6364568B1 (ja) 2018-03-19 2018-07-25 株式会社片岡商店 工場内安全標識投影装置
JP7127592B2 (ja) * 2019-03-27 2022-08-30 オムロン株式会社 報知システム
KR20210101920A (ko) * 2020-02-11 2021-08-19 삼성전자주식회사 서버 장치 및 그의 제어 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007088630A1 (ja) 2006-02-03 2007-08-09 Fujitsu Limited 検証装置、検証方法及び検証プログラム
WO2017155126A1 (ja) 2016-03-08 2017-09-14 一般社団法人 日本画像認識協会 情報伝送システム、情報送信装置、情報受信装置、およびコンピュータプログラム
WO2017203937A1 (ja) 2016-05-26 2017-11-30 三菱電機株式会社 ロボット制御装置
WO2018084082A1 (ja) 2016-11-02 2018-05-11 パナソニックＩｐマネジメント株式会社 ジェスチャ入力システム及びジェスチャ入力方法

Also Published As

Publication number Publication date
WO2020195731A1 (ja) 2020-10-01
US20220165093A1 (en) 2022-05-26
US11967183B2 (en) 2024-04-23
CN113544754A (zh) 2021-10-22
EP3951734A1 (en) 2022-02-09
JP2020160988A (ja) 2020-10-01
EP3951734A4 (en) 2022-11-30

Similar Documents

Publication Publication Date Title
KR102648812B1 (ko) 차량 및 그의 보행자 감지 알림 방법
US9747802B2 (en) Collision avoidance system and method for an underground mine environment
KR20200051529A (ko) 단순한 2d 카메라를 기반으로 하여 자율주행 자동차와 통신하기 위한 거동 제어
JP5748920B2 (ja) 車両周辺の表示方法
US9369680B2 (en) Protecting roadside personnel using a camera and a projection system
CN108536142B (zh) 基于数字光栅投影的工业机器人防撞预警***及方法
JP2021500668A (ja) 監視装置、産業用設備、監視方法及びコンピュータプログラム
JP6824622B2 (ja) ロボットの制御装置、制御方法およびシステム
JP2016062368A (ja) 車両用周辺情報表示システム及び表示装置
JP2007147414A (ja) 船舶用障害物警報装置
JP7127592B2 (ja) 報知システム
JP6068527B2 (ja) 照射装置及びプログラム
JP2010191793A (ja) 警告表示装置及び警告表示方法
JP2011195288A (ja) マンコンベア画像処理装置
CN113557713A (zh) 情景感知监测
WO2022244747A1 (ja) 作業現場管理システム、作業現場管理方法、及び作業現場管理プログラム
JP2018036920A (ja) 視野外障害物検知システム
JP2016100019A (ja) 障害物警告システム及びその動作方法
JP6694746B2 (ja) 物体検出センサ
JP2019179527A (ja) 管制装置
KR20180106704A (ko) 보행자와 동물에 대한 차량의 경보 시스템 및 그를 이용한 보행자와 동물에 대한 차량의 경보 방법
JP2021106327A (ja) 映像表示装置
US20220144302A1 (en) Driving assistance apparatus, driving assistance method, and medium
JP2020069572A (ja) ロボットシステム
JP2016118919A (ja) 監視装置、監視方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220329

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220616

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220719

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220801

R150 Certificate of patent or registration of utility model

Ref document number: 7127592

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150