JP7416253B2 - Conversation monitoring device, control method, and program - Google Patents
Conversation monitoring device, control method, and program Download PDFInfo
- Publication number
- JP7416253B2 JP7416253B2 JP2022534569A JP2022534569A JP7416253B2 JP 7416253 B2 JP7416253 B2 JP 7416253B2 JP 2022534569 A JP2022534569 A JP 2022534569A JP 2022534569 A JP2022534569 A JP 2022534569A JP 7416253 B2 JP7416253 B2 JP 7416253B2
- Authority
- JP
- Japan
- Prior art keywords
- conversation
- video data
- mobile robot
- people
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012806 monitoring device Methods 0.000 title claims description 83
- 238000000034 method Methods 0.000 title claims description 74
- 238000012544 monitoring process Methods 0.000 claims description 34
- 230000008569 process Effects 0.000 description 41
- 238000012545 processing Methods 0.000 description 19
- 238000003384 imaging method Methods 0.000 description 12
- 208000035473 Communicable disease Diseases 0.000 description 10
- 238000001514 detection method Methods 0.000 description 10
- 210000000887 face Anatomy 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 208000015181 infectious disease Diseases 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 4
- 230000010485 coping Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006806 disease prevention Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
Landscapes
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Manipulator (AREA)
- Alarm Systems (AREA)
Description
本発明は、複数の人物による会話を検出する技術に関する。 The present invention relates to a technique for detecting conversations between multiple people.
感染症の感染拡大を予防する観点などから、近距離で長時間の会話が行われることを避けることが好ましい状況が存在する。そこで、近距離で長時間会話が行われている状況を検出するシステムが開発されている。例えば特許文献1は、施設に設置されたカメラから得られる画像を利用して、居住者と来訪者が所定時間以上会話を行ったことを検出し、当該検出に応じて、感染症に感染する危険性が高いことを通知する技術を開示している。ここで、特許文献1では、近距離で向かい合っている状態が、会話をしている状態として検出される。 From the perspective of preventing the spread of infectious diseases, there are situations in which it is preferable to avoid long conversations at close range. Therefore, systems have been developed to detect situations where long-term conversations are taking place at close range. For example, Patent Document 1 uses images obtained from a camera installed in a facility to detect that a resident and a visitor have had a conversation for a predetermined period of time or more, and depending on the detection, it is possible to detect an infectious disease. Discloses technology to notify of high risk. Here, in Patent Document 1, a state in which the two people are facing each other at a short distance is detected as a state in which they are having a conversation.
特許文献1のシステムでは、施設に固定で設置されたカメラから得られる画像を利用して、居住者と来訪者が向き合っていることを検出する。しかしながら、固定で設置されたカメラを利用する場合、居住者や来訪者がカメラの死角に入ってしまうなどの理由により、居住者や来訪者の顔をカメラの画像から検出できない恐れがある。その結果、居住者と来訪者が会話をしていても、そのことを検出できない恐れがある。 The system disclosed in Patent Document 1 uses images obtained from a camera fixedly installed in a facility to detect that a resident and a visitor are facing each other. However, when using a fixed camera, there is a possibility that the face of a resident or visitor cannot be detected from the camera image due to reasons such as the resident or visitor entering the camera's blind spot. As a result, even if a resident and a visitor are having a conversation, this may not be detected.
本発明は上記の課題に鑑みてなされたものであり、その目的の一つは、会話が行われている状況を精度良く検出する技術を提供することである。 The present invention has been made in view of the above-mentioned problems, and one of its purposes is to provide a technique for accurately detecting a conversation situation.
本開示の会話監視装置は、監視領域内において互いに第1所定距離以内に位置する複数の人物が検出された第1ビデオデータを取得し、前記第1ビデオデータを解析して、前記複数の人物が会話をしているか否かを判定する第1判定部と、前記第1ビデオデータを解析しても、前記複数の人物が会話をしているか否かを判別できない場合に、第1カメラが設けられている移動型ロボットを前記複数の人物の顔を撮像可能な位置まで移動させるか、又は、マイクロフォンが設けられている移動型ロボットを前記複数の人物から第2所定距離以内の場所まで移動させる移動制御部と、前記移動型ロボットを移動させた後に、前記第1カメラから得られる第2ビデオデータ又は前記マイクロフォンから得られる音声データを解析して、前記複数の人物が会話をしているか否かを判定する第2判定部と、を有する。 The conversation monitoring device of the present disclosure acquires first video data in which a plurality of people located within a first predetermined distance from each other are detected in a monitoring area, analyzes the first video data, a first determination unit that determines whether or not the plurality of people are having a conversation; Move the provided mobile robot to a position where the faces of the plurality of people can be imaged, or move the mobile robot provided with the microphone to a location within a second predetermined distance from the plurality of persons. and a movement control unit that analyzes second video data obtained from the first camera or audio data obtained from the microphone after moving the mobile robot to determine whether the plurality of people are having a conversation. and a second determination unit that determines whether or not.
本開示の制御方法は、コンピュータによって実行される。当該制御方法は、監視領域内において互いに第1所定距離以内に位置する複数の人物が検出された第1ビデオデータを取得し、前記第1ビデオデータを解析して、前記複数の人物が会話をしているか否かを判定する第1判定ステップと、前記第1ビデオデータを解析しても、前記複数の人物が会話をしているか否かを判別できない場合に、第1カメラが設けられている移動型ロボットを前記複数の人物の顔を撮像可能な位置まで移動させるか、又は、マイクロフォンが設けられている移動型ロボットを前記複数の人物から第2所定距離以内の場所まで移動させる移動制御ステップと、前記移動型ロボットを移動させた後に、前記第1カメラから得られる第2ビデオデータ又は前記マイクロフォンから得られる音声データを解析して、前記複数の人物が会話をしているか否かを判定する第2判定ステップと、を有する。 The control method of the present disclosure is executed by a computer. The control method includes acquiring first video data in which a plurality of persons located within a first predetermined distance from each other within a monitoring area are detected, analyzing the first video data, and determining whether the plurality of persons are having a conversation. a first determination step of determining whether the plurality of people are having a conversation; movement control for moving a mobile robot equipped with a microphone to a position where it can image the faces of the plurality of people, or moving a mobile robot equipped with a microphone to a location within a second predetermined distance from the plurality of people; and after moving the mobile robot, analyzing second video data obtained from the first camera or audio data obtained from the microphone to determine whether the plurality of people are having a conversation. and a second determination step.
本開示のコンピュータ可読媒体は、本開示の制御方法をコンピュータに実行させるプログラムを格納している。 The computer-readable medium of the present disclosure stores a program that causes a computer to execute the control method of the present disclosure.
本発明によれば、会話が行われている状況を精度良く検出する技術が提供される。 According to the present invention, a technique is provided that accurately detects a situation in which a conversation is taking place.
以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。 Embodiments of the present disclosure will be described in detail below with reference to the drawings. In each drawing, the same or corresponding elements are denoted by the same reference numerals, and for clarity of explanation, redundant explanation will be omitted as necessary.
図1は、実施形態1の会話監視装置(後述する図2の会話監視装置2000)の概要を例示する図である。なお、図1を参照して行う以下の説明は、実施形態1の会話監視装置2000についての理解を容易にするためのものであり、実施形態1の会話監視装置2000の動作は以下で説明するものに限定されない。
FIG. 1 is a diagram illustrating an overview of a conversation monitoring device according to a first embodiment (
会話監視装置2000は、所定の監視領域において、複数の人物10が会話している状況を検出する。監視領域は、オフィスなどといった任意の場所とすることができる。また、監視領域は、屋外であってもよい。
まず会話監視装置2000は、カメラ30によって生成されたビデオデータ32を解析して、複数の人物10において会話が行われているか否かの判定(以下、会話判定)を試みる。ここで、カメラ30は、後述する移動型ロボット20に搭載されているカメラ22であってもよいし、カメラ22以外のカメラ(例えば、壁や天井などに設けられている監視カメラ)であってもよい。前者の場合、移動型ロボット20に搭載されているカメラ22が、ビデオデータ32と後述するビデオデータ23の双方を生成する。以下、会話が行われているか否かの判定対象である複数の人物10の組みを、人物グループ40と呼ぶ。ビデオデータ32には、人物グループ40が複数含まれていてもよい。
First, the
ここで、ビデオデータ32において、人物グループ40に含まれる複数の人物10は、互いからの距離が所定距離 L1 以下となっている。言い換えれば、互いからの距離が所定距離 L1 以下である複数の人物10が含まれるビデオデータが、ビデオデータ32として扱われる。なお、人物グループ40に三人以上の人物10が含まれる場合、「複数の人物10は、互いからの距離が所定距離 L1 以下である」とは、例えば、「全ての人物10が直径 L1 の円の中に含まれる」という状況である。
Here, in the
所定距離 L1 には任意の値を採用できる。例えば所定距離 L1 は、感染症予防のために空けるべき人と人の間の距離(いわゆるソーシャルディスタンス)に基づいて決定される。具体的には、所定距離 L1 として、ソーシャルディスタンスとして定義されている値や、その値に所定のマージンを加えた値を利用できる。 Any value can be adopted for the predetermined distance L1. For example, the predetermined distance L1 is determined based on the distance between people (so-called social distance) that should be kept apart to prevent infectious diseases. Specifically, as the predetermined distance L1, a value defined as a social distance or a value obtained by adding a predetermined margin to that value can be used.
会話監視装置2000は、ビデオデータ32を解析しても人物グループ40において会話が行われているか否かを判別できなかった場合に、移動型ロボット20を利用して、人物グループ40についての会話判定をさらに行う。具体的には、会話監視装置2000は、ビデオデータ32を利用した会話判定により、1)人物グループ40において会話が行われている、2)人物グループ40において会話が行われていない、及び3)人物グループ40において会話が行われているか否かを判別できない(例えば、会話をしている確率と、会話をしていない確率とのいずれもが、十分に高くない)という3つのうちのいずれかの判定結果を得る。そして、会話監視装置2000は、判定結果が3)である場合に、移動型ロボット20を利用してさらに会話判定を行う。
The
会話監視装置2000は、移動型ロボット20に搭載されているカメラ22から得られるビデオデータ23、又は移動型ロボット20に搭載されているマイクロフォン24から得られる音声データ25を利用する。なお、カメラ22とマイクロフォン24は、いずれか一方が設けられていてもよいし、双方が設けられていてもよい。この際、会話監視装置2000は、人物グループ40において会話が行われているか否かを判別できるように、移動型ロボット20を適切な位置(以下、目的地)へ移動させる。
The
例えば、会話判定にビデオデータ23を利用するとする。この場合、例えば会話監視装置2000は、人物グループ40に含まれる各人物10の顔を撮像できる位置まで移動型ロボット20を移動させ、移動後に得られるビデオデータ23を用いて、人物グループ40についての会話判定を行う。
For example, assume that the
一方、会話判定に音声データ25を利用するとする。この場合、例えば会話監視装置2000は、人物グループ40からの距離が所定距離 L2 の位置まで移動型ロボット20を移動させ、移動後に得られる音声データ25を用いて、人物グループ40について会話判定を行う。
On the other hand, it is assumed that the
人物グループ40において会話が行われていると判定された場合、会話監視装置2000は、所定の対処処理(例えば、警告処理)を行う。
If it is determined that a conversation is taking place in the
<作用効果の例>
本実施形態の会話監視装置2000は、互いからの距離が所定距離 L1 以下である複数の人物10(人物グループ40)が検出されたビデオデータ32を用いても、これら複数の人物10が会話をしているか否かを判別できない場合に、移動型ロボット20を利用する。具体的には、会話監視装置2000は、移動型ロボット20を適切な位置に移動させ、移動型ロボット20から得られるビデオデータ23又は音声データ25を利用して、人物グループ40についての会話判定を行う。このように、本実施形態の会話監視装置2000によれば、互いに特定の距離以内に位置している複数の人物10が会話を行っているか否かを判別できない場合に、移動型ロボット20を制御することで、当該判別が可能なビデオデータ23や音声データ25を得ることができる。そのため、特定の距離以内に位置する複数の人物10が会話をしているか否かを、より高い精度で判定することができる。<Example of effects>
The
以下、本実施形態の会話監視装置2000について、より詳細に説明する。
The
<機能構成の例>
図2は、会話監視装置2000の機能構成を例示する図である。会話監視装置2000は、第1判定部2020、移動制御部2040、及び第2判定部2060を有する。第1判定部2020は、ビデオデータ32を解析して、人物グループ40において会話が行われているか否かを判定する。移動制御部2040は、ビデオデータ32を利用した判定では、人物グループ40において会話が行われているか否かを判別できない場合に、カメラ22が設けられている移動型ロボット20を、人物グループ40に含まれる各人物10の顔を撮像可能な位置まで移動させるか、又は、マイクロフォン24が設けられている移動型ロボット20を、人物グループ40からの距離が所定距離 L2 以下の位置まで移動させる。第2判定部2060は、移動型ロボット20の移動後に、カメラ22から得られるビデオデータ23、又はマイクロフォン24から得られる音声データ25を解析して、人物グループ40において会話が行われているか否かを判定する。<Example of functional configuration>
FIG. 2 is a diagram illustrating the functional configuration of the
<ハードウエア構成の例>
会話監視装置2000の各機能構成部は、各機能構成部を実現するハードウエア(例:ハードワイヤードされた電子回路など)で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ(例:電子回路とそれを制御するプログラムの組み合わせなど)で実現されてもよい。以下、会話監視装置2000の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。<Example of hardware configuration>
Each functional component of the
図3は、会話監視装置2000を実現するコンピュータ500のハードウエア構成を例示するブロック図である。コンピュータ500は、任意のコンピュータである。例えばコンピュータ500は、PC(Personal Computer)やサーバマシンなどといった、据え置き型のコンピュータである。その他にも例えば、コンピュータ500は、スマートフォンやタブレット端末などといった可搬型のコンピュータである。その他にも例えば、コンピュータ500は、移動型ロボット20に内蔵されているコントローラ(後述するコントローラ600)であってもよい。この場合、会話監視装置2000が移動型ロボット20として実現されることとなる(すなわち、移動型ロボット20が会話監視装置2000としての機能も兼ね備えることとなる)。コンピュータ500は、会話監視装置2000を実現するために設計された専用のコンピュータであってもよいし、汎用のコンピュータであってもよい。
FIG. 3 is a block diagram illustrating the hardware configuration of
例えば、コンピュータ500に対して所定のアプリケーションをインストールすることにより、コンピュータ500で、会話監視装置2000の各機能が実現される。上記アプリケーションは、会話監視装置2000の機能構成部を実現するためのプログラムで構成される。
For example, by installing a predetermined application on the
コンピュータ500は、バス502、プロセッサ504、メモリ506、ストレージデバイス508、入出力インタフェース510、及びネットワークインタフェース512を有する。バス502は、プロセッサ504、メモリ506、ストレージデバイス508、入出力インタフェース510、及びネットワークインタフェース512が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ504などを互いに接続する方法は、バス接続に限定されない。
プロセッサ504は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、又は FPGA(Field-Programmable Gate Array)などの種々のプロセッサである。メモリ506は、RAM(Random Access Memory)などを用いて実現される主記憶装置である。ストレージデバイス508は、ハードディスク、SSD(Solid State Drive)、メモリカード、又は ROM(Read Only Memory)などを用いて実現される補助記憶装置である。
The
入出力インタフェース510は、コンピュータ500と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース510には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。
The input/
ネットワークインタフェース512は、コンピュータ500を無線ネットワークに接続するためのインタフェースである。このネットワークは、LAN(Local Area Network)であってもよいし、WAN(Wide Area Network)であってもよい。例えばコンピュータ500は、ネットワークインタフェース512及び無線ネットワークを介して、移動型ロボット20と通信可能に接続されている。
ストレージデバイス508は、会話監視装置2000の各機能構成部を実現するプログラム(前述したアプリケーションを実現するプログラム)を記憶している。プロセッサ504は、このプログラムをメモリ506に読み出して実行することで、会話監視装置2000の各機能構成部を実現する。
The
会話監視装置2000は、1つのコンピュータ500で実現されてもよいし、複数のコンピュータ500で実現されてもよい。後者の場合において、各コンピュータ500の構成は同一である必要はなく、それぞれ異なるものとすることができる。
<移動型ロボット20のハードウエア構成の例>
図4は、移動型ロボット20のハードウエア構成を例示するブロック図である。移動型ロボット20は、カメラ22、マイクロフォン24、アクチュエータ26、移動手段27、及びコントローラ600を有する。移動型ロボット20は、アクチュエータ26の出力に応じて移動手段27が動作することによって移動する。例えば移動手段27は、車輪などのような、走行を実現する手段である。この場合、移動型ロボット20は、監視領域内を走行して移動する。その他にも例えば、移動手段27は、プロペラのように、飛行を実現する手段でもよい。この場合、移動型ロボット20は、監視領域内を飛行して移動する。アクチュエータ26の出力は、コントローラ600によって制御される。<Example of hardware configuration of
FIG. 4 is a block diagram illustrating the hardware configuration of the
コントローラ600は任意のコンピュータであり、例えば SoC(System on a Chip)や SiP(System in a Package)などの集積回路で実現される。その他にも例えば、コントローラ600は、スマートフォンなどの携帯端末で実現されてもよい。コントローラ600は、バス602、プロセッサ604、メモリ606、ストレージデバイス608、入出力インタフェース610、及びネットワークインタフェース612を有する。バス602、プロセッサ604、メモリ606、ストレージデバイス608、入出力インタフェース610、及びネットワークインタフェース612はそれぞれ、バス502、プロセッサ504、メモリ506、ストレージデバイス508、入出力インタフェース510、及びネットワークインタフェース512と同様の機能を有する。
The
<処理の流れ>
図5は、実施形態1の会話監視装置2000によって実行される処理の流れを例示するフローチャートである。第1判定部2020は、人物グループ40が含まれるビデオデータ32を取得し、ビデオデータ32を解析して、人物グループ40についての会話判定を行う(S102)。人物グループ40において会話が行われていると判定された場合(S102:会話あり)、会話監視装置2000は所定の対処処理を実行する(S104)。人物グループ40において会話が行われていないと判定された場合(S102:会話なし)、図5の処理は終了する。<Processing flow>
FIG. 5 is a flowchart illustrating the flow of processing executed by the
人物グループ40において会話が行われているか否かを判別できないと判定された場合(S102:判別できない)、ループ処理Aが実行される。ループ処理Aは、S106からS112で構成される。移動制御部2040は、移動型ロボット20を移動させる(S108)。第2判定部2060は、移動後の移動型ロボット20から得られたビデオデータ23又は音声データ25を用いて、会話判定を行う(S110)。
If it is determined that it is not possible to determine whether or not a conversation is taking place in the person group 40 (S102: cannot be determined), loop processing A is executed. Loop processing A is comprised of S106 to S112. The
人物グループ40において会話が行われていると判定された場合(S110:会話あり)、会話監視装置2000は対処処理を実行する(S104)。人物グループ40において会話が行われていないと判定された場合(S110:会話なし)、図5の処理は終了する。人物グループ40において会話が行われているかどうかを判別できないと判定された場合(S110:判別できない)、ステップS106に戻って再度ループ処理Aが実行される。こうすることで、会話の有無を判別できるまで、移動型ロボット20を移動させながら会話判定が行われる。
If it is determined that a conversation is taking place in the person group 40 (S110: conversation exists), the
なお、図5のフローチャートでは、人物グループ40における会話の有無が判別できない間、ループ処理Aが実行され続ける。しかしながら、会話の有無が判別できない場合でも、所定の終了条件が満たされたら、ループ処理Aを終了して、図5の処理を終了してもよい。例えば会話監視装置2000は、S106において、所定の終了条件が満たされているか否かを判定し、終了条件が満たされている場合には、ループ処理Aを終了する。一方、所定の終了条件が満たされている場合、図5の処理は終了する。
Note that in the flowchart of FIG. 5, loop processing A continues to be executed while it is not possible to determine whether there is a conversation in the
所定の終了条件には、任意の条件を採用できる。例えば所定の終了条件は、「人物グループ40について最初に会話判定(S102)を行ってから所定時間が経過した」という条件である。その他にも例えば、所定の終了条件は、「人物グループ40に含まれる人物10同士の距離が所定距離 L1 よりも大きくなった」という条件でもよい。こうすることで、互いからの距離が所定の距離よりも大きくなった複数の人物10については、会話判定の対象から除外することができる。
Any condition can be adopted as the predetermined termination condition. For example, the predetermined end condition is that "a predetermined time has elapsed since the conversation determination (S102) was first performed for the
<ビデオデータ32について>
ビデオデータ32は、カメラ30によって生成されるビデオデータであり、人物グループ40(互いからの距離が所定距離 L1 以下である複数の人物10)が検出されたものである。ここで、ビデオデータから人物グループ40を検出する処理を行う装置を、人物グループ検出装置と呼ぶ。人物グループ検出装置は、会話監視装置2000であってもよい(すなわち、会話監視装置2000が人物グループ検出装置の機能を兼ね備えてもよい)し、会話監視装置2000以外の装置であってもよい。<About
The
人物グループ検出装置は、カメラ30によって生成されるビデオデータから複数の人物10を検出し、これらの人物10同士の距離が所定距離 L1 以下であることを特定することにより、これらの人物10を人物グループ40として検出する。なお、カメラ30は、複数設けられていてもよい。
The person group detection device detects a plurality of
ここで、人物10同士の距離が所定距離 L1 以下であることを特定する方法は様々である。例えば、人物グループ検出装置は、カメラ30によって生成されたビデオデータを解析し、当該ビデオデータから複数の人物10を検出する。複数の人物10が検出されたら、人物グループ検出装置は、プロジェクタを制御して、特定の距離を表す画像(以下、距離画像)を地面に投射させる。ここで、距離画像は、検出した複数の人物10と距離画像の双方をカメラ30の撮像範囲に含めることができる位置に投射される。距離画像が表す距離は、例えば、前述した所定距離 L1 である。なお、プロジェクタは、移動型ロボット20に搭載されていてもよいし、その他の場所(例えば天井)に設置されていてもよい。
Here, there are various methods for specifying that the distance between the
人物グループ検出装置は、カメラ30によって生成されるビデオデータから複数の人物10と距離画像を検出し、人物10同士の距離を距離画像のサイズ(すなわち、画像上の所定距離 L1)と比較する。人物10同士の距離が距離画像のサイズより小さい場合、人物グループ検出装置は、これらの人物10を人物グループ40として検出する。そして、人物グループ検出装置は、人物グループ40が検出されたビデオデータや、当該ビデオデータよりも後にカメラ30によって生成されるビデオデータを、ビデオデータ32として会話監視装置2000に提供する。
The person group detection device detects a plurality of
なお、人物10同士の距離が所定距離 L1 以下であることを特定する方法は、上述の方法に限定されず、その他の既存の技術を利用してもよい。
Note that the method for specifying that the distance between the
会話監視装置2000には、ビデオデータ32に加え、人物グループ40の位置を特定可能な情報が提供されることが好ましい。人物グループ40の位置を特定可能な情報は、例えば、監視領域の地図を表す地図データにおける、人物グループ40の位置を表す情報である。なお、カメラによって撮像された物体の地図データ上の位置を特定する技術には、既存の技術を利用することができる。
In addition to the
<第1判定部2020による判定:S102>
第1判定部2020は、ビデオデータ32に含まれる人物グループ40について、会話判定を行う(S102)。具体的には、第1判定部2020は、人物グループ40に含まれる各人物10の顔の状態に基づいて、会話判定を行う。以下、ビデオデータを用いた会話判定の方法について例示する。<Determination by first determination unit 2020: S102>
The
<<口の動きに基づく判定>>
例えば第1判定部2020は、人物グループ40に含まれる各人物10が口を動かしているか否かを判定することで、会話の有無を判定する。例えば第1判定部2020は、人物グループ40に含まれる複数の人物10のうち、誰か一人でも口を動かしていたら、人物グループ40に含まれる人物10全員で会話をしていると判定する(すなわち、人物グループ40で会話が行われていると判定する)。また、人物グループ40に含まれる人物が誰も口を動かしていなかったら、第1判定部2020は、人物グループ40で会話が行われていないと判定する。さらに、第1判定部2020は、口を動かしている人物10が検出されず、なおかつ、口を動かしているか否かを判別できない人物10が検出された場合、会話の有無を判別できないと判定する。<<Judgment based on mouth movements>>
For example, the
第1判定部2020は、人物グループ40に含まれる複数の人物10のうち、口を動かしている人物10のみによって会話が行われていると判定してもよい。この場合、第1判定部2020は、口を動かしていないと判定された人物10を、人物グループ40から除外する。第1判定部2020は、ビデオデータ32から、口を動かしているか否かを判別できない人物10が検出されず、なおかつ、口を動かしている人物10が二人以上検出されたら、口を動かしていない人物10を人物グループ40から除外した上で、人物グループ40で会話が行われていると判定する。一方、第1判定部2020は、ビデオデータ32から、口を動かしているか否かを判別できない人物10が検出されず、なおかつ、口を動かしている人物10が一人以下である場合、人物グループ40で会話が行われていないと判定する。さらに、第1判定部2020は、ビデオデータ32から、口を動かしているか否かを判別できない人物10が検出されたら、口を動かしていないと判定された人物10を人物グループ40から除外した上で、会話の有無を判別できないと判定する。
The
ここで、口を動かしているか否かを判別できない人物10は、例えば、その口の部分がビデオデータ32に含まれていない(例えば、ビデオデータ32を生成するカメラに対して背を向けていたり、障害物に遮られて口の部分が撮像されていない)人物や、口の動きの有無についての判別結果の確度が低い人物である。
Here, for example, the
例えば第1判定部2020は、人物の口やその周辺を表す画像領域の時系列データから、その人物について、口を動かしている確率と口を動かしていない確率の双方を算出するように構成される。そして、第1判定部2020は、これらの確率に基づいて、その人物の状態として、1)口を動かしている、2)口を動かしていない、及び3)口を動かしているか否かを判別できない、のうちのいずれか1つを特定する。
For example, the
例えば、上記確率についての閾値として、所定の値 T1 を予め設定しておく。この場合、口を動かしている確率が T1 以上である場合、当該人物が口を動かしていると判定される。一方、口を動かしていない確率が T1 以上である場合、当該人物が口を動かしていないと判定される。さらに、口を動かしている確率と口を動かしていない確率の双方が閾値 T1 未満である場合、
当該人物が口を動かしているか否かを判別できないと判定される。例えば、閾値 T1=0.7 とした場合において、「口を動かしている確率=0.6、口を動かしていない確率=0.4」が算出されたら、「口を動かしているか否かを判別できない」という判定結果となる。For example, a predetermined value T1 is set in advance as a threshold value for the above probability. In this case, if the probability that the person is moving their mouth is T1 or higher, it is determined that the person is moving their mouth. On the other hand, if the probability that the person is not moving their mouth is greater than or equal to T1, it is determined that the person is not moving their mouth. Furthermore, if both the probability of moving the mouth and the probability of not moving the mouth are less than the threshold T1,
It is determined that it is not possible to determine whether the person in question is moving his or her mouth. For example, when the threshold T1 is set to 0.7, if "probability of mouth moving = 0.6, probability of not moving the mouth = 0.4" is calculated, the judgment result will be "it is not possible to determine whether the mouth is moving or not". becomes.
<<顔又は視線の向きに基づく判定>>
例えば第1判定部2020は、人物グループ40に含まれる各人物10の顔又は視線の向きに基づいて、会話の有無を判定する。以下、顔の向きを利用するケースについて、より具体的に説明する。視線の向きを利用するケースについての説明は、特に説明しない限り、以下の説明において「顔」を「視線」に置き換えたものとなる。<<Judgment based on face or direction of line of sight>>
For example, the
例えば第1判定部2020は、人物グループ40に含まれる各人物10の顔が、人物グループ40に含まれる他のいずれかの人物10の方を向いている場合に、人物グループ40に含まれる人物10全員で会話をしていると判定する(すなわち、人物グループ40で会話が行われていると判定する)。また、人物グループ40に含まれる各人物の顔がいずれも、人物グループ40に含まれる他の人物10の方を向いていない場合、第1判定部2020は、人物グループ40で会話が行われていないと判定する。さらに、第1判定部2020は、人物グループ40の中から、顔の向きを判別できない人物10が検出された場合、会話の有無を判別できないと判定する。
For example, if the face of each
第1判定部2020は、人物グループ40に含まれる複数の人物10のうち、人物グループ40に含まれる他の人物10の方へ顔が向いている人物10のみによって会話が行われていると判定してもよい。この場合、第1判定部2020は、人物グループ40に含まれる他の人物10の方へ顔が向いていないと判定された人物10を、人物グループ40から除外する。第1判定部2020は、ビデオデータ32から、顔の向きを判別できない人物10が検出されず、なおかつ、他の人物10の方へ顔が向いている人物10が二人以上検出されたら、他の人物10の方へ顔が向いていない人物10を人物グループ40から除外した上で、人物グループ40で会話が行われていると判定する。一方、第1判定部2020は、ビデオデータ32から、顔の向きを判別できない人物10が検出されず、なおかつ、他の人物10の方へ顔が向いている人物10が一人以下である場合、人物グループ40で会話が行われていないと判定する。さらに、第1判定部2020は、ビデオデータ32から、顔の向きが判別できない人物10が検出されたら、他の人物10の方へ顔が向いていない人物10を人物グループ40から除外した上で、会話の有無を判別できないと判定する。
The
顔の向きを判別できない人物10は、例えば、その顔の部分がビデオデータ32に含まれていない(例えば、ビデオデータ32を生成するカメラに対して背を向けていたり、障害物に遮られて顔の部分が撮像されていない)人物や、顔の向きについての判別結果の確度が低い人物である。なお、顔の向きの代わりに視線の向きを利用する場合、顔の部分を解析する代わりに、目の部分の解析が行われる。
For example, a
例えば第1判定部2020は、人物の顔を表す画像領域の時系列データから、その人物について、複数の向き(例えば、所定の4方向や8方向など)それぞれについて、顔がその向きを向いている確率を算出するように構成される。第1判定部2020は、算出した確率が閾値以上である向きが存在する場合、その向きを人物10の顔の向きとして特定する。一方、各向きについて算出した確率がいずれも閾値未満である場合、第1判定部2020は、人物10の顔の向きが判別できないと判定する。
For example, the
<<モデルを利用する方法>>
第1判定部2020は、複数の人物10の顔が含まれるビデオデータが入力されたことに応じて、複数の人物10が会話をしているか否かを識別する学習済みモデルを有していてもよい。当該モデルは、例えば、複数の人物10の顔が含まれるビデオデータが入力されたことに応じて、それら複数の人物10について、1)会話が行われている、2)会話が行われていない、3)会話が行われているか否かの判別ができないという3つのうちのいずれかの判定結果を出力する。このようなモデルは、例えば、リカレントニューラルネットワーク(RNN: Recurrent neural network)などで実現することができる。<<How to use the model>>
The
例えばモデルは、会話が行われている確率と会話が行われない確率の双方を算出し、これらの確率を閾値と比較する。会話が行われている確率が閾値以上である場合、会話が行われているという判定結果が出力される。会話が行われていない確率が閾値以上である場合、会話が行われていないという判定結果が出力される。会話が行われている確率と会話が行われていない確率の双方が閾値未満である場合、会話が行われているか否かを判別できないという判定結果が出力される。 For example, the model calculates both the probability that a conversation is occurring and the probability that a conversation is not occurring, and compares these probabilities to thresholds. If the probability that a conversation is occurring is greater than or equal to the threshold, a determination result that a conversation is occurring is output. If the probability that a conversation is not occurring is greater than or equal to the threshold, a determination result that a conversation is not occurring is output. If both the probability that a conversation is occurring and the probability that a conversation is not occurring are less than the threshold, a determination result that it is not possible to determine whether or not a conversation is occurring is output.
なお、上記モデルは、「ビデオデータ、正解のラベル(会話が行われているか否かを示すラベル)」という組み合わせで構成される学習データを用いて、予め学習しておく。ここで、入力データと正解のラベルの組み合わせで構成される学習データを用いてモデルを学習する技術には、既存の技術を利用することができる。 Note that the above model is trained in advance using learning data composed of a combination of "video data and a correct label (label indicating whether or not a conversation is occurring)." Here, existing techniques can be used to learn a model using learning data consisting of a combination of input data and correct labels.
<移動型ロボット20の制御と第2判定部2060による判定:S108、S110>
移動制御部2040は、人物グループ40における会話の有無を判別可能なビデオデータ23又は音声データ25が得られる位置に向けて、移動型ロボット20を移動させる(S108)。そして、第2判定部2060は、移動中又は移動後に移動型ロボット20から得られるビデオデータ23又は音声データ25を利用して、人物グループ40についての会話判定を行う。以下、会話判定にビデオデータ23を使うケースと音声データ25を使うケースに分けて、移動型ロボット20の移動を制御する方法と会話判定の方法について説明する。<Control of
The
<<ビデオデータ23を利用するケース>>
ビデオデータ23を利用した会話判定の方法は、前述したビデオデータ32を利用した会話判定と同じである。そのため、ビデオデータ23を利用した会話判定には、各人物10の顔の口の動き、顔の向き、又は視線の向きなどが利用される。そこで、移動制御部2040は、人物グループ40に含まれる各人物10について、口の動き、顔の向き、又は視線の向きを特定するために必要な情報が得られる位置に向けて、移動型ロボット20を移動させる。口の動き、顔の向き、及び視線の向きを特定するために必要な情報はそれぞれ、口を含む画像領域、顔を含む画像領域、及び目を含む画像領域である。<<Case using
The method of conversation determination using
例えば移動制御部2040は、移動型ロボット20を、人物グループ40へ近づくように移動させる。その他にも例えば、移動制御部2040は、人物グループ40に含まれる人物10と移動型ロボット20との間に障害物が無くなる位置へ、移動型ロボット20を移動させる。なお、移動型ロボットに搭載されているカメラから得られるビデオデータに含まれる特定の物体へ近づくように当該移動型ロボットを移動させたり、当該特定の物体との間に障害物がなくなる位置へ当該移動型ロボットを移動させる技術自体には、既存の技術を利用することができる。
For example, the
なお、人物10の口や目がビデオデータ23に含まれるようにするためには、人物10の顔の正面へ移動型ロボット20を移動させることが好ましい。そこで例えば、移動制御部2040は、人物グループ40に含まれる複数の人物10の顔の向きをそれぞれ算出し、複数の人物10の顔の正面へ順次移動型ロボット20を移動させる。こうすることで、移動制御部2040は、各人物10について順次口の動きや視線の向きを特定していく。
Note that in order to include the mouth and eyes of the
その他にも例えば、移動制御部2040は、一カ所から複数の人物10の口や目を撮像できるように、移動型ロボット20を移動させてもよい。例えば移動制御部2040は、ビデオデータ32やビデオデータ23から、各人物10の顔の向きの平均方向を算出し、その方向上の位置へ移動型ロボット20を移動させる。
In addition, for example, the
なお、このように移動型ロボット20を人物10の顔の正面へ移動させた場合において、ビデオデータ23から人物10の顔の向きを特定できなかったとする。この場合、移動制御部2040が、移動型ロボット20を人物グループ40に近づけたり、人物グループ40の周囲を廻るようにして移動型ロボット20を移動させたりしながら、第2判定部2060が、ビデオデータ23から人物10の顔の向きの特定を試みる。そして、人物10の顔の向きが特定できたら、移動制御部2040は、人物10の顔の正面へ移動型ロボット20を移動させる。
Assume that when the
<<音声データ25を利用するケース>>
音声データ25を利用する場合、第2判定部2060は、音声データ25に含まれる音声の大きさと、人物グループ40までの距離との関係に基づいて、人物グループ40についての会話判定を行う。ここで、人物グループ40で会話が行われていたとしても、移動型ロボット20の位置が人物グループ40から遠いと、マイクロフォン24で人物グループ40の会話の音声を検出することが難しい。そこで移動制御部2040は、移動型ロボット20を、人物グループ40からの距離が所定距離 L3 以下の位置まで移動させる。この所定距離 L3 は、人物グループ40で会話が行われていた場合に、マイクロフォン24でその会話の音声を検出することが可能な距離として、予め設定される。そして、第2判定部2060は、人物グループ40からの距離が所定距離 L3 以下である位置に移動した移動型ロボット20のマイクロフォン24から音声データ25を取得し、その音声データ25によって表される音声の大きさが閾値以上であるか否かを判定する。音声データ25によって表される音声の大きさが閾値以上である場合、第2判定部2060は、人物グループ40で会話が行われていると判定する。一方、音声データ25によって表される音声の大きさが閾値未満である場合、第2判定部2060は、人物グループ40で会話が行われていないと判定する。<<Case using
When using the
なお、上記閾値は、固定の値であってもよいし、移動型ロボット20から人物グループ40までの距離に応じて動的に設定されてもよい。後者の場合、例えば、距離と閾値との関係を定めた関数を予め定めておく。第2判定部2060は、マイクロフォン24から音声データ25を得た時点について、移動型ロボット20から人物グループ40までの距離を特定し、上記関数にその距離を入力することで閾値を特定し、音声データ25によって表される音声の大きさと特定した閾値とを比較する。
Note that the threshold value may be a fixed value or may be dynamically set depending on the distance from the
また、第2判定部2060は、音声データ25を解析して、人の声が含まれているか否かを判定してもよい。この場合、第2判定部2060は、音声データ25によって表される音声の大きさが閾値以上であり、なおかつ、当該音声に人の声が含まれる場合に、人物グループ40で会話が行われていると判定する。一方、当該音声の大きさが閾値未満であるか、又は、当該音声に人の声が含まれていない場合に、人物グループ40で会話が行われていないと判定する。こうすることで、例えば、人の声以外の音が発生している状況を、人物グループ40が会話をしている状況として誤検出してしまうことを防ぐことができる。
Further, the
なお、第2判定部2060は、音声データ25に声が含まれる人の数を考慮してもよい。例えば第2判定部2060は、音声データ25によって表される音声の大きさが閾値以上であり、なおかつ、当該音声に複数の人物の声が含まれる場合に、人物グループ40で会話が行われていると判定する。一方、当該音声の大きさが閾値未満であるか、又は、当該音声に声が含まれる人の声が一人以下である場合に、人物グループ40で会話が行われていないと判定する。こうすることで、例えば、一人の人物が独り言を言っている状況を、人物グループ40が会話をしている状況として誤検出してしまうことを防ぐことができる。
Note that the
また、第2判定部2060は、音声データ25に人の声が含まれているか否かの判定結果の確度や、音声データ25に声が含まれるに人の数についての算出結果の確度が低い場合に、会話の有無を判別できないと判定してもよい。例えば、音声データ25に人の声が含まれている確率と、人の声が含まれていない確率のいずれもが、所定の閾値未満である場合に、会話の有無を判別できないと判定される。
In addition, the
さらに、第2判定部2060は、音声データが入力されたことに応じて、当該音声データに会話をしている複数の人物10の音声が含まれているか否かを識別する学習済みモデルを有していてもよい。当該モデルは、例えば、音声データが入力されたことに応じて、1)会話が行われている、2)会話が行われていない、3)会話が行われているか否かを判別ができないという3つのうちのいずれかの判定結果を出力する。このようなモデルは、例えば、リカレントニューラルネットワーク(RNN: Recurrent neural network)などで実現することができる。
Furthermore, the
例えばモデルは、会話が行われている確率と会話が行われない確率の双方を算出し、これらの確率を閾値と比較する。会話が行われている確率が閾値以上である場合、会話が行われているという判定結果が出力される。会話が行われていない確率が閾値以上である場合、会話が行われていないという判定結果が出力される。会話が行われている確率と会話が行われていない確率の双方が閾値未満である場合、会話が行われているか否かを判別できないという判定結果が出力される。 For example, the model calculates both the probability that a conversation is occurring and the probability that a conversation is not occurring, and compares these probabilities to thresholds. If the probability that a conversation is occurring is greater than or equal to the threshold, a determination result that a conversation is occurring is output. If the probability that a conversation is not occurring is greater than or equal to the threshold, a determination result that a conversation is not occurring is output. If both the probability that a conversation is occurring and the probability that a conversation is not occurring are less than the threshold, a determination result that it is not possible to determine whether or not a conversation is occurring is output.
なお、上記モデルは、「音声データ、正解のラベル(会話が行われているか否かを示すラベル)」という組み合わせで構成される学習データを用いて、予め学習しておく。 Note that the above model is trained in advance using learning data composed of a combination of "audio data and a correct label (label indicating whether or not a conversation is occurring)".
<<移動経路の算出について>>
移動型ロボット20を特定の目的地へ移動させるためには、移動型ロボット20が参照可能な地図データを用いて、当該目的地までの移動経路を設定する。ここで、地図データを用いて目的地への移動経路を算出し、算出した移動経路を移動型ロボット20に設定する処理を行う装置を、経路設定装置と呼ぶ。経路設定装置は、移動型ロボット20であってもよいし、会話監視装置2000であってもよいし、これら以外の装置であってもよい。<<About calculation of travel route>>
In order to move the
経路設定装置は、地図データを取得し、当該地図データと、前述した種々の方法で決定した目的地(移動型ロボット20を移動させるべき位置)とに基づいて、移動型ロボット20の移動経路を算出する。そして、経路設定装置は、算出した移動経路を移動型ロボット20に設定する。移動型ロボット20は、設定された移動経路に従って移動する。なお、経路設定装置が会話監視装置2000以外の装置である場合、移動制御部2040は、経路設定装置に対し、移動型ロボット20に設定すべき目的地を示す情報を提供する。
The route setting device acquires map data and determines the movement route of the
なお、地図データと目的地の情報とに基づいて移動経路を算出する技術には、既存の技術を利用することができる。 Note that existing technology can be used to calculate the travel route based on map data and destination information.
<<移動の制御に関するその他の事項>>
移動型ロボット20は、監視領域にいる人の行動の妨げとならないように移動することが好ましい。例えば移動型ロボット20は、ビデオデータ32やビデオデータ23を用いて、監視領域にいる各人物の動きを把握し、各人物と接触しないように移動する。なお、人との接触を避けて移動型ロボット20を移動させる技術には、既存の技術(例えば、自動運転車を他の自動車や通行人などとぶつからないように移動させる技術など)を採用することができる。<<Other matters related to movement control>>
It is preferable that the
その他にも例えば、移動型ロボット20は、人物グループ40に含まれない人物の視界に移動型ロボット20が入らないように移動することが好適である。そこで例えば、経路設定装置は、ビデオデータ23から人物グループ40に含まれない人物10が検出されたら、その人物10の顔の方向又は視線方向を特定する。そして、経路設定装置は、特定した顔の方向又は視線方向と、移動型ロボット20の目的地とに基づいて、人物10の視界に入らずに当該目的地へ移動型ロボット20が到達するための移動経路を算出し、当該移動経路を移動型ロボット20に設定する。
In addition, for example, it is preferable for the
ただし、人物10の顔の方向や視線方向が繰り返し大きく変化する場合などには、人物10の視界に入らないように移動型ロボット20を移動させることは難しいこともありうる。そこで例えば、経路設定装置は、顔の方向や視線方向が大きく変化する蓋然性が低い人物(例えば、立ち止まっている人物や椅子に座っている人物)のみをビデオデータから検出し、検出された人物の視界に入らないように移動型ロボット20の移動経路を設定してもよい。
However, if the direction of the face or line of sight of the
移動型ロボット20は、移動制御部2040による制御を受け付けるまでの間、停止していてもよいし、移動していてもよい。後者の場合、例えば移動型ロボット20に対し、監視領域内の一部又は全部を巡回するように移動経路を設定しておく。特に、ビデオデータ23を利用して人物グループ40の検出が行われる場合(すなわち、カメラ22がカメラ30としても利用される場合)、監視領域内を移動型ロボット20に巡回させることで、監視領域内の様々な場所で人物グループ40を検出できるようにすることが好適である。以下、巡回用に移動型ロボット20に設定されている移動経路のことを、巡回経路とも表記する。
The
巡回経路には、監視領域のうち、人の分布の密度が高い(すなわち、人が多い)領域が含まれることが好ましい。例えば、巡回経路には、監視領域のうち、人の分布の密度が高い領域のみが含まれるようにする。その他にも例えば、巡回経路は、人の分布の密度が高い領域を巡回する頻度が、人の密度が低い領域を巡回する頻度よりも高くなるように設定される。 It is preferable that the patrol route includes an area of the monitoring area where the distribution of people is high (that is, there are many people). For example, the patrol route includes only areas in the monitoring area where the distribution of people is high. In addition, for example, the patrol route is set so that the frequency of patrolling areas with a high density of people is higher than the frequency of patrolling areas with a low density of people.
また、カメラ30が、監視カメラなど、移動型ロボット20以外の場所に固定で設定されているカメラである場合、移動型ロボット20の巡回経路には、カメラ30の撮像範囲に含まれない領域(以下、撮像範囲外領域)が含まれることが好ましい。このようにすることで、固定カメラで撮像することが難しい領域を移動型ロボット20に撮像させることができるため、監視領域内を幅広く監視することができるようになる。
Furthermore, if the
巡回経路は、人手で設定されてもよいし、経路設定装置によって自動的に設定されてもよい。後者の場合、例えば経路設置装置は、カメラ30によって生成されるビデオデータを解析することで、カメラ30について撮像範囲外領域を特定し、当該撮像範囲外領域を含む巡回経路を生成する。より具体的には、経路設定装置は、監視領域の地図データと、カメラ30によって生成されるビデオデータとを用いて、カメラ30の撮像範囲内の領域を特定し、当該特定した領域以外の領域を、撮像範囲外領域として特定する。
The patrol route may be set manually or automatically by a route setting device. In the latter case, for example, the route setting device analyzes video data generated by the
例えば、撮像範囲外領域が、1つの閉じた領域であるとする。この場合、経路設定装置は、撮像範囲外領域の中を巡回するように、巡回経路を生成する。一方、撮像範囲外領域が、互いに繋がっていない複数の領域であるとする。この場合、例えば経路設定装置は、これら複数の撮像範囲外領域を順次巡回するように、巡回経路を生成する。なお、監視領域に移動型ロボット20が複数設けられている場合、各移動型ロボット20に対して、それぞれ異なる巡回経路が設定されてもよい。この場合、各巡回経路には、互いに異なる撮像範囲外領域が含まれるようにすることが好ましい。
For example, assume that the area outside the imaging range is one closed area. In this case, the route setting device generates a patrol route so as to travel through the area outside the imaging range. On the other hand, it is assumed that the regions outside the imaging range are a plurality of regions that are not connected to each other. In this case, for example, the route setting device generates a tour route so as to sequentially tour the plurality of areas outside the imaging range. Note that when a plurality of
<対処処理:S104>
人物グループ40で会話が行われていると判定されたら、会話監視装置2000は、所定の対処処理を実行する(S104)。対処処理には、任意の処理を採用できる。例えば対処処理は、人物グループ40に対して警告を発する処理(以下、警告処理)である。例えば警告処理は、移動型ロボット20に設けられているディスプレイ装置に警告を表す画面を表示させたり、移動型ロボット20に設けられているプロジェクタに警告を表す画像を照射させたりする処理である。その他にも例えば、警告処理は、移動型ロボット20に設けられているスピーカーから、警告を表す音声を出力する処理である。<Countermeasure processing: S104>
If it is determined that a conversation is taking place in the
ここで、移動型ロボット20は、人物グループ40に対してある程度近づいた上で警告を行うようにしてもよい。例えば会話監視装置2000は、人物グループ40からの距離が所定の閾値以下である位置まで移動型ロボット20を移動させ、その後に前述した種々の警告が移動型ロボット20から出力されるようにしてもよい。
Here, the
その他にも例えば、会話監視装置2000は、人物グループ40に含まれる各人物に対して、警告を表す通知を送信してもよい。この場合、人物10の識別情報と、当該人物に対する通知の送信先(例えば、メールアドレスなど)とを対応づけた情報を、会話監視装置2000からアクセス可能な記憶装置に予め格納しておく。会話監視装置2000は、ビデオデータ32、ビデオデータ23、又は音声データ25を利用して、人物グループ40に含まれる各人物の識別情報を特定し、当該識別情報に対応する送信先へ、前述した通知を送信する。ビデオデータを利用して人物10の識別情報を特定する場合、例えば人物10の識別情報は、人物10の画像上の特徴量(例えば、顔の特徴量など)である。会話監視装置2000は、人物グループ40に含まれる人物10の特徴量をビデオデータ32やビデオデータ23から抽出し、当該特徴量とマッチする特徴量(例えば、類似度が閾値以上の特徴量)に対応づけられている送信先へ、通知を送信する。一方、音声データ25を利用する場合、人物10の識別情報として、人物10の声の特徴量を利用する。
In addition, for example, the
また、人物グループ40で会話が行われていることが検出された場合に、会話監視装置2000は、人物グループ40のみに対象を絞らず、その他の人々に対しても注意を促すような警告を行ってもよい。例えば、会話監視装置2000は、放送を行う装置を制御して、近距離での会話を避けることを促す放送(室内放送、館内放送、屋外放送など)を行わせたり、所定の警告音を流させたりする。
Furthermore, when it is detected that a conversation is occurring in the
対処処理は、警告処理に限定されない。例えば会話監視装置2000は、会話を行っていた人物グループ40についての情報(識別情報や、人物グループ40が撮像されたビデオデータ32やビデオデータ23)を、記憶装置に格納してもよい。こうすることで、例えば、人物グループ40の中の一人が感染症にかかったことが判明した場合に、人物グループ40に含まれる他の人物を、感染症の疑いがある人物として特定することができる。
Corrective processing is not limited to warning processing. For example, the
また、会話監視装置2000は、人物グループ40で会話が行われていることが検出されてもすぐに対処処理を行わず、当該会話が所定時間継続した場合のみ、対処処理を行ってもよい。その他にも例えば、会話監視装置2000は、会話の継続時間に応じて、多段階に対処処理を行ってもよい。この場合、複数の警告レベルそれぞれに対し、それぞれ異なる警告処理を対応づけた情報を、予め会話監視装置2000からアクセス可能な記憶装置に格納しておく。例えば、より高い警告レベルには、より目立つ(警告の効果が大きい)警告が対応づけられる。
Further, the
会話監視装置2000は、会話の継続時間が長いほど、レベルの高い警告を行うようにする。例えば会話監視装置2000は、会話の継続時間が P1 以上となった場合に、「人物グループ40から所定の距離以内の位置まで移動する」という第1レベルの警告処理を行う。次に、会話の継続時間が P2(>P1)以上となった場合に、「警告画面をディスプレイ装置に表示する、又は警告画像を地面に投射する」という第2レベルの警告処理を行う。そして、会話の継続時間が P3(>P2)以上となった場合に、「警告の音声をスピーカーから出力する」という第3レベルの警告処理を行う。
The
このように会話の継続時間に応じた多段階の警告を行うことで、会話の継続時間が短いうちは控えめな警告を行い、会話の継続時間が長くなるにつれてより目立つ警告を行う、といった運用が可能となる。これにより、警告の効果の大きさと、警告が人の活動の妨げになる度合いとのバランスを取ることができる。すなわち、会話の継続時間が短いうちは、会話を止めさせる効果が小さくてもよいから、できる限り会話の妨げにならないように配慮した警告を行い、継続時間が長くなったら、ある程度会話の妨げになってもよいから、会話を止めさせる効果が大きい警告を行う、といった運用が可能となる。 By issuing multi-level warnings according to the duration of the conversation in this way, it is possible to issue a modest warning while the duration of the conversation is short, and issue a more noticeable warning as the duration of the conversation becomes longer. It becomes possible. This allows a balance to be struck between the magnitude of the warning's effectiveness and the degree to which the warning interferes with people's activities. In other words, as long as the duration of the conversation is short, the effect of stopping the conversation may be small, so the warning should be given in a way that does not interfere with the conversation as much as possible, and once the duration of the conversation is long, the effect of stopping the conversation may be small. This makes it possible to issue a warning that is highly effective in stopping conversations.
<会話の有無以外の条件を考慮した対処処理>
会話監視装置2000は、人物グループ40が特定の条件を満たしている場合、その人物グループ40については対処処理を行わないようにしてもよい。例えば特定の条件は、「感染症予防のための適切な対処が行われている」という条件である。より具体的な例としては、「人物グループ40に含まれる全ての人物10がマスクをしている」という条件や、「人物グループ40に含まれている複数の人物10が、仕切りで仕切られている」という条件などが挙げられる。ここで、監視領域における会話を制限する際のポリシーとして、「感染症予防のための適切な対処が行われていれば近距離で会話をしてもよい」というポリシーを採用することが考えられる。前述した感染症予防に関する条件を採用することにより、このようなポリシーの運用が可能となる。なお、上述した特定の条件が満たされているか否かを判定するタイミングは、人物グループ40について会話判定を行う前と後のいずれであってもよい。<Countermeasures that take into account conditions other than the presence or absence of conversation>
If the
また、前述した特定の条件が満たされているか否かに応じて、前述した警告レベルを変えてもよい。すなわち、特定の条件が満たされている場合の警告レベルを、特定の条件が満たされていない場合の警告レベルよりも低くする。こうすることで、例えば、感染症予防のための適切な対処が行われている場合には、より控えめな警告を行うようにし、感染症予防のための適切な対処が行われていない場合には、より目立つ警告を行うといった運用が可能となる。 Further, the above-mentioned warning level may be changed depending on whether or not the above-mentioned specific condition is satisfied. That is, the warning level when a specific condition is met is set lower than the warning level when the specific condition is not met. By doing this, for example, if appropriate measures are being taken to prevent an infectious disease, a more modest warning will be issued, and if appropriate measures are not being taken to prevent an infectious disease, a more modest warning will be issued. This enables operations such as issuing more conspicuous warnings.
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。 Although the present invention has been described above with reference to the embodiments, the present invention is not limited to the above embodiments. The configuration and details of the present invention can be modified in various ways that can be understood by those skilled in the art within the scope of the present invention.
なお、上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに提供することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば、光磁気ディスク)、CD-ROM、CD-R、CD-R/W、半導体メモリ(例えば、マスク ROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM)を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに提供されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。 Note that in the above examples, programs can be stored and provided to a computer using various types of non-transitory computer readable media. Non-transitory computer-readable media includes various types of tangible storage media. Examples of non-transitory computer-readable media are magnetic recording media (e.g., flexible disks, magnetic tape, hard disk drives), magneto-optical recording media (e.g., magneto-optical disks), CD-ROMs, CD-Rs, CD-Rs. /W, including semiconductor memory (e.g. mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM). The program may also be provided to a computer on various types of transitory computer readable media. Examples of transitory computer-readable media include electrical signals, optical signals, and electromagnetic waves. The temporary computer-readable medium can provide the program to the computer via wired communication channels, such as electrical wires and fiber optics, or wireless communication channels.
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
監視領域内において互いに第1所定距離以内に位置する複数の人物が検出された第1ビデオデータを取得し、前記第1ビデオデータを解析して、前記複数の人物が会話をしているか否かを判定する第1判定部と、
前記第1ビデオデータを解析しても、前記複数の人物が会話をしているか否かを判別できない場合に、第1カメラが設けられている移動型ロボットを前記複数の人物の顔を撮像可能な位置まで移動させるか、又は、マイクロフォンが設けられている移動型ロボットを前記複数の人物から第2所定距離以内の場所まで移動させる移動制御部と、
前記移動型ロボットを移動させた後に、前記第1カメラから得られる第2ビデオデータ又は前記マイクロフォンから得られる音声データを解析して、前記複数の人物が会話をしているか否かを判定する第2判定部と、を有する会話監視装置。
(付記2)
前記第1判定部は、
前記第1ビデオデータに含まれる前記複数の人物それぞれの口の動き、顔の向き、又は視線の向きに基づいて、前記複数の人物が会話をしているか否かを判定し、
前記複数の人物の中に、口の動き、顔の向き、又は視線の向きを特定できない人物が存在する場合に、前記複数の人物が会話をしているか否かを判別できないと判定する、付記1に記載の会話監視装置。
(付記3)
前記第1判定部は、前記第1ビデオデータに含まれる前記複数の人物について、会話が行われている確率と会話が行われていない確率の双方を算出し、会話が行われている確率と会話が行われていない確率の双方が閾値未満である場合に、前記複数の人物が会話をしているか否かを判別できないと判定する、付記1に記載の会話監視装置。
(付記4)
前記第2判定部は、前記第2ビデオデータに含まれる前記複数の人物それぞれの口の動き、顔の向き、又は視線の向きに基づいて、前記複数の人物が会話をしているか否かを判定する、付記1から3いずれか一項に記載の会話監視装置。
(付記5)
前記第2判定部は、前記音声データによって表される音声の大きさ、及びその音声データが得られた時の前記移動型ロボットと前記複数の人物との間の距離に基づいて、前記複数の人物が会話をしているか否かを判定する、付記1から3いずれか一項に記載の会話監視装置。
(付記6)
前記移動型ロボットにはプロジェクタが搭載されており、
前記移動型ロボットは、前記移動制御部による制御を受け付ける前に、前記第1所定距離の大きさを表す距離画像を前記プロジェクタから地面に投影しつつ、前記監視領域内を移動し、
前記第2ビデオデータから前記距離画像及び複数の人物を検出し、検出された各人物の間の距離と前記距離画像の大きさとを比較することで、互いに前記第1所定距離以内に位置する前記複数の人物を検出し、
前記第1判定部は、当該複数の人物が検出された前記第2ビデオデータを、前記第1ビデオデータとして取得する、付記1から5いずれか一項に記載の会話監視装置。
(付記7)
前記移動制御部は、前記第2ビデオデータを解析することで、前記移動型ロボットの周囲の人物の顔の方向又は視線方向を特定し、当該特定した顔の方向又は視線方向に位置する領域を通過しないように、前記移動型ロボットを移動させる、付記1から6いずれか一項に記載の会話監視装置。
(付記8)
前記監視領域の一部を撮像する第2カメラが設けられており、
前記移動型ロボットは、前記移動制御部による制御を受け付ける前に、前記第2カメラで撮像できない領域を移動し、
前記第1ビデオデータは、前記第1カメラ又は前記第2カメラによって生成されるビデオデータである、付記1から7いずれか一項に記載の会話監視装置。
(付記9)
前記第2カメラによって生成されるビデオデータと、前記監視領域の地図データとを利用して、前記第2カメラで撮像できない領域を特定する、付記8に記載の会話監視装置。
(付記10)
前記第1判定部又は前記第2判定部によって、前記複数の人物が会話をしていると判定された場合、前記複数の人物に対して所定の対処処理を行い、
前記所定の対処処理には、前記複数の人物に前記移動型ロボットを近づける処理、前記移動型ロボットに設けられているディスプレイ装置又はプロジェクタに警告を表す情報を出力させる処理、前記移動型ロボットに設けられているスピーカーに警告音を出力させる処理のうち、いずれか1つ以上が含まれる、付記1から9いずれか一項に記載の会話監視装置。
(付記11)
コンピュータによって実行される制御方法であって、
監視領域内において互いに第1所定距離以内に位置する複数の人物が検出された第1ビデオデータを取得し、前記第1ビデオデータを解析して、前記複数の人物が会話をしているか否かを判定する第1判定ステップと、
前記第1ビデオデータを解析しても、前記複数の人物が会話をしているか否かを判別できない場合に、第1カメラが設けられている移動型ロボットを前記複数の人物の顔を撮像可能な位置まで移動させるか、又は、マイクロフォンが設けられている移動型ロボットを前記複数の人物から第2所定距離以内の場所まで移動させる移動制御ステップと、
前記移動型ロボットを移動させた後に、前記第1カメラから得られる第2ビデオデータ又は前記マイクロフォンから得られる音声データを解析して、前記複数の人物が会話をしているか否かを判定する第2判定ステップと、を有する制御方法。
(付記12)
前記第1判定ステップにおいて、
前記第1ビデオデータに含まれる前記複数の人物それぞれの口の動き、顔の向き、又は視線の向きに基づいて、前記複数の人物が会話をしているか否かを判定し、
前記複数の人物の中に、口の動き、顔の向き、又は視線の向きを特定できない人物が存在する場合に、前記複数の人物が会話をしているか否かを判別できないと判定する、付記11に記載の制御方法。
(付記13)
前記第1判定ステップにおいて、前記第1ビデオデータに含まれる前記複数の人物について、会話が行われている確率と会話が行われていない確率の双方を算出し、会話が行われている確率と会話が行われていない確率の双方が閾値未満である場合に、前記複数の人物が会話をしているか否かを判別できないと判定する、付記11に記載の制御方法。
(付記14)
前記第2判定ステップにおいて、前記第2ビデオデータに含まれる前記複数の人物それぞれの口の動き、顔の向き、又は視線の向きに基づいて、前記複数の人物が会話をしているか否かを判定する、付記11から13いずれか一項に記載の制御方法。
(付記15)
前記第2判定ステップにおいて、前記音声データによって表される音声の大きさ、及びその音声データが得られた時の前記移動型ロボットと前記複数の人物との間の距離に基づいて、前記複数の人物が会話をしているか否かを判定する、付記11から13いずれか一項に記載の制御方法。
(付記16)
前記移動型ロボットにはプロジェクタが搭載されており、
前記移動型ロボットは、前記移動制御ステップによる制御を受け付ける前に、前記第1所定距離の大きさを表す距離画像を前記プロジェクタから地面に投影しつつ、前記監視領域内を移動し、
前記第2ビデオデータから前記距離画像及び複数の人物を検出し、検出された各人物の間の距離と前記距離画像の大きさとを比較することで、互いに前記第1所定距離以内に位置する前記複数の人物を検出し、
前記第1判定ステップにおいて、当該複数の人物が検出された前記第2ビデオデータを、前記第1ビデオデータとして取得する、付記11から15いずれか一項に記載の制御方法。
(付記17)
前記移動制御ステップにおいて、前記第2ビデオデータを解析することで、前記移動型ロボットの周囲の人物の顔の方向又は視線方向を特定し、当該特定した顔の方向又は視線方向に位置する領域を通過しないように、前記移動型ロボットを移動させる、付記11から16いずれか一項に記載の制御方法。
(付記18)
前記監視領域の一部を撮像する第2カメラが設けられており、
前記移動型ロボットは、前記移動制御ステップによる制御を受け付ける前に、前記第2カメラで撮像できない領域を移動し、
前記第1ビデオデータは、前記第1カメラ又は前記第2カメラによって生成されるビデオデータである、付記11から17いずれか一項に記載の制御方法。
(付記19)
前記第2カメラによって生成されるビデオデータと、前記監視領域の地図データとを利用して、前記第2カメラで撮像できない領域を特定する、付記18に記載の制御方法。
(付記20)
前記第1判定ステップ又は前記第2判定ステップによって、前記複数の人物が会話をしていると判定された場合、前記複数の人物に対して所定の対処処理を行い、
前記所定の対処処理には、前記複数の人物に前記移動型ロボットを近づける処理、前記移動型ロボットに設けられているディスプレイ装置又はプロジェクタに警告を表す情報を出力させる処理、前記移動型ロボットに設けられているスピーカーに警告音を出力させる処理のうち、いずれか1つ以上が含まれる、付記11から19いずれか一項に記載の制御方法。
(付記21)
プログラムを記憶しているコンピュータ可読媒体であって、
前記プログラムは、
監視領域内において互いに第1所定距離以内に位置する複数の人物が検出された第1ビデオデータを取得し、前記第1ビデオデータを解析して、前記複数の人物が会話をしているか否かを判定する第1判定ステップと、
前記第1ビデオデータを解析しても、前記複数の人物が会話をしているか否かを判別できない場合に、第1カメラが設けられている移動型ロボットを前記複数の人物の顔を撮像可能な位置まで移動させるか、又は、マイクロフォンが設けられている移動型ロボットを前記複数の人物から第2所定距離以内の場所まで移動させる移動制御ステップと、
前記移動型ロボットを移動させた後に、前記第1カメラから得られる第2ビデオデータ又は前記マイクロフォンから得られる音声データを解析して、前記複数の人物が会話をしているか否かを判定する第2判定ステップと、をコンピュータに実行させる、コンピュータ可読媒体。
(付記22)
前記第1判定ステップにおいて、
前記第1ビデオデータに含まれる前記複数の人物それぞれの口の動き、顔の向き、又は視線の向きに基づいて、前記複数の人物が会話をしているか否かを判定し、
前記複数の人物の中に、口の動き、顔の向き、又は視線の向きを特定できない人物が存在する場合に、前記複数の人物が会話をしているか否かを判別できないと判定する、付記21に記載のコンピュータ可読媒体。
(付記23)
前記第1判定ステップにおいて、前記第1ビデオデータに含まれる前記複数の人物について、会話が行われている確率と会話が行われていない確率の双方を算出し、会話が行われている確率と会話が行われていない確率の双方が閾値未満である場合に、前記複数の人物が会話をしているか否かを判別できないと判定する、付記21に記載のコンピュータ可読媒体。
(付記24)
前記第2判定ステップにおいて、前記第2ビデオデータに含まれる前記複数の人物それぞれの口の動き、顔の向き、又は視線の向きに基づいて、前記複数の人物が会話をしているか否かを判定する、付記21から23いずれか一項に記載のコンピュータ可読媒体。
(付記25)
前記第2判定ステップにおいて、前記音声データによって表される音声の大きさ、及びその音声データが得られた時の前記移動型ロボットと前記複数の人物との間の距離に基づいて、前記複数の人物が会話をしているか否かを判定する、付記21から23いずれか一項に記載のコンピュータ可読媒体。
(付記26)
前記移動型ロボットにはプロジェクタが搭載されており、
前記移動型ロボットは、前記移動制御ステップによる制御を受け付ける前に、前記第1所定距離の大きさを表す距離画像を前記プロジェクタから地面に投影しつつ、前記監視領域内を移動し、
前記第2ビデオデータから前記距離画像及び複数の人物を検出し、検出された各人物の間の距離と前記距離画像の大きさとを比較することで、互いに前記第1所定距離以内に位置する前記複数の人物を検出し、
前記第1判定ステップにおいて、当該複数の人物が検出された前記第2ビデオデータを、前記第1ビデオデータとして取得する、付記21から25いずれか一項に記載のコンピュータ可読媒体。
(付記27)
前記移動制御ステップにおいて、前記第2ビデオデータを解析することで、前記移動型ロボットの周囲の人物の顔の方向又は視線方向を特定し、当該特定した顔の方向又は視線方向に位置する領域を通過しないように、前記移動型ロボットを移動させる、付記21から26いずれか一項に記載のコンピュータ可読媒体。
(付記28)
前記監視領域の一部を撮像する第2カメラが設けられており、
前記移動型ロボットは、前記移動制御ステップによる制御を受け付ける前に、前記第2カメラで撮像できない領域を移動し、
前記第1ビデオデータは、前記第1カメラ又は前記第2カメラによって生成されるビデオデータである、付記21から27いずれか一項に記載のコンピュータ可読媒体。
(付記29)
前記第2カメラによって生成されるビデオデータと、前記監視領域の地図データとを利用して、前記第2カメラで撮像できない領域を特定する、付記28に記載のコンピュータ可読媒体。
(付記30)
前記第1判定ステップ又は前記第2判定ステップによって、前記複数の人物が会話をしていると判定された場合、前記複数の人物に対して所定の対処処理を行い、
前記所定の対処処理には、前記複数の人物に前記移動型ロボットを近づける処理、前記移動型ロボットに設けられているディスプレイ装置又はプロジェクタに警告を表す情報を出力させる処理、前記移動型ロボットに設けられているスピーカーに警告音を出力させる処理のうち、いずれか1つ以上が含まれる、付記21から29いずれか一項に記載のコンピュータ可読媒体。Part or all of the above embodiments may be described as in the following additional notes, but are not limited to the following.
(Additional note 1)
Obtaining first video data in which a plurality of persons located within a first predetermined distance from each other within a monitoring area are detected, and analyzing the first video data to determine whether or not the plurality of persons are having a conversation. a first determination unit that determines;
If it is not possible to determine whether or not the plurality of persons are having a conversation even after analyzing the first video data, the mobile robot provided with the first camera is capable of capturing images of the faces of the plurality of persons. a movement control unit that moves a mobile robot equipped with a microphone to a position within a second predetermined distance from the plurality of people;
After moving the mobile robot, analyzing second video data obtained from the first camera or audio data obtained from the microphone to determine whether or not the plurality of people are having a conversation. 2. A conversation monitoring device comprising: 2 determination units.
(Additional note 2)
The first determination unit includes:
Determining whether or not the plurality of persons are having a conversation based on the mouth movement, face direction, or line of sight direction of each of the plurality of persons included in the first video data;
A supplementary note that determines that it is impossible to determine whether or not the plurality of people are having a conversation when there is a person whose mouth movement, face direction, or gaze direction cannot be specified among the plurality of people. 1. The conversation monitoring device according to 1.
(Additional note 3)
The first determination unit calculates both the probability that a conversation is occurring and the probability that a conversation is not occurring for the plurality of people included in the first video data, and determines the probability that a conversation is occurring and the probability that a conversation is occurring. The conversation monitoring device according to supplementary note 1, which determines that it is impossible to determine whether or not the plurality of people are having a conversation when both of the probabilities that the conversation is not occurring are less than a threshold value.
(Additional note 4)
The second determination unit determines whether or not the plurality of persons are having a conversation based on the mouth movement, face direction, or gaze direction of each of the plurality of persons included in the second video data. The conversation monitoring device according to any one of Supplementary Notes 1 to 3, which makes a determination.
(Appendix 5)
The second determination unit determines whether the plurality of people The conversation monitoring device according to any one of Supplementary Notes 1 to 3, which determines whether a person is having a conversation.
(Appendix 6)
The mobile robot is equipped with a projector,
The mobile robot moves within the monitoring area while projecting a distance image representing the size of the first predetermined distance from the projector onto the ground before receiving control from the movement control unit;
By detecting the distance image and a plurality of people from the second video data and comparing the distance between each detected person and the size of the distance image, Detect multiple people,
The conversation monitoring device according to any one of Supplementary Notes 1 to 5, wherein the first determination unit acquires the second video data in which the plurality of people are detected as the first video data.
(Appendix 7)
The movement control unit specifies the face direction or line-of-sight direction of people around the mobile robot by analyzing the second video data, and determines the area located in the specified face direction or line-of-sight direction. The conversation monitoring device according to any one of Supplementary Notes 1 to 6, wherein the mobile robot is moved so as not to pass through.
(Appendix 8)
A second camera is provided for capturing an image of a part of the monitoring area,
The mobile robot moves in an area that cannot be imaged by the second camera before receiving control from the movement control unit,
8. The conversation monitoring device according to any one of Supplementary Notes 1 to 7, wherein the first video data is video data generated by the first camera or the second camera.
(Appendix 9)
The conversation monitoring device according to appendix 8, wherein an area that cannot be imaged by the second camera is identified by using video data generated by the second camera and map data of the monitoring area.
(Appendix 10)
If the first determining unit or the second determining unit determines that the plurality of people are having a conversation, performing a predetermined coping process on the plurality of people;
The predetermined countermeasure processing includes a process of bringing the mobile robot closer to the plurality of people, a process of causing a display device or a projector installed in the mobile robot to output information indicating a warning, and a process installed in the mobile robot. 9. The conversation monitoring device according to any one of Supplementary Notes 1 to 9, which includes any one or more of the processes of causing a speaker to output an alarm sound.
(Appendix 11)
A control method performed by a computer, comprising:
Obtaining first video data in which a plurality of persons located within a first predetermined distance from each other within a monitoring area are detected, and analyzing the first video data to determine whether or not the plurality of persons are having a conversation. a first determination step of determining;
If it is not possible to determine whether or not the plurality of persons are having a conversation even after analyzing the first video data, the mobile robot provided with the first camera is capable of capturing images of the faces of the plurality of persons. a movement control step of moving a mobile robot equipped with a microphone to a position within a second predetermined distance from the plurality of people;
After moving the mobile robot, analyzing second video data obtained from the first camera or audio data obtained from the microphone to determine whether or not the plurality of people are having a conversation. A control method comprising: two determination steps.
(Appendix 12)
In the first determination step,
Determining whether or not the plurality of persons are having a conversation based on the mouth movement, face direction, or line of sight direction of each of the plurality of persons included in the first video data;
A supplementary note that determines that it is impossible to determine whether or not the plurality of people are having a conversation when there is a person whose mouth movement, face direction, or gaze direction cannot be specified among the plurality of people. 12. The control method according to 11.
(Appendix 13)
In the first determination step, both the probability that a conversation is occurring and the probability that a conversation is not occurring are calculated for the plurality of people included in the first video data, and the probability that a conversation is occurring and the probability that a conversation is occurring are calculated. The control method according to appendix 11, wherein it is determined that it is not possible to determine whether or not the plurality of people are having a conversation when both of the probabilities that the conversation is not occurring are less than a threshold value.
(Appendix 14)
In the second determination step, it is determined whether or not the plurality of persons are having a conversation based on the mouth movement, face direction, or line of sight direction of each of the plurality of persons included in the second video data. The control method according to any one of Supplementary Notes 11 to 13, wherein the control method is determined.
(Appendix 15)
In the second determination step, based on the loudness of the voice represented by the voice data and the distance between the mobile robot and the plurality of people when the voice data was obtained, The control method according to any one of appendices 11 to 13, which determines whether a person is having a conversation.
(Appendix 16)
The mobile robot is equipped with a projector,
The mobile robot moves within the monitoring area while projecting a distance image representing the size of the first predetermined distance from the projector onto the ground before receiving control by the movement control step;
By detecting the distance image and a plurality of people from the second video data and comparing the distance between each detected person and the size of the distance image, Detect multiple people,
16. The control method according to any one of appendices 11 to 15, wherein in the first determination step, the second video data in which the plurality of people are detected is acquired as the first video data.
(Appendix 17)
In the movement control step, by analyzing the second video data, the direction of the face or line of sight of people around the mobile robot is specified, and the area located in the direction of the specified face or line of sight is determined. 17. The control method according to any one of appendices 11 to 16, wherein the mobile robot is moved so as not to pass through the robot.
(Appendix 18)
A second camera is provided for capturing an image of a part of the monitoring area,
The mobile robot moves in an area that cannot be imaged by the second camera before receiving control by the movement control step,
18. The control method according to any one of appendices 11 to 17, wherein the first video data is video data generated by the first camera or the second camera.
(Appendix 19)
19. The control method according to appendix 18, wherein an area that cannot be imaged by the second camera is identified by using video data generated by the second camera and map data of the monitoring area.
(Additional note 20)
If it is determined in the first determination step or the second determination step that the plurality of people are having a conversation, performing a predetermined coping process on the plurality of people;
The predetermined countermeasure processing includes a process of bringing the mobile robot closer to the plurality of people, a process of causing a display device or a projector installed in the mobile robot to output information indicating a warning, and a process installed in the mobile robot. 20. The control method according to any one of Supplementary Notes 11 to 19, which includes any one or more of the processes of causing a speaker that is set to output a warning sound.
(Additional note 21)
A computer readable medium storing a program,
The program is
Obtaining first video data in which a plurality of persons located within a first predetermined distance from each other within a monitoring area are detected, and analyzing the first video data to determine whether or not the plurality of persons are having a conversation. a first determination step of determining;
If it is not possible to determine whether or not the plurality of people are having a conversation even after analyzing the first video data, the mobile robot provided with the first camera can image the faces of the plurality of people. a movement control step of moving a mobile robot equipped with a microphone to a position within a second predetermined distance from the plurality of people;
After moving the mobile robot, analyzing second video data obtained from the first camera or audio data obtained from the microphone to determine whether or not the plurality of people are having a conversation. 2 determining step.
(Additional note 22)
In the first determination step,
Determining whether or not the plurality of persons are having a conversation based on the mouth movement, face direction, or line of sight direction of each of the plurality of persons included in the first video data;
A supplementary note that determines that it is impossible to determine whether or not the plurality of people are having a conversation when there is a person whose mouth movement, face direction, or gaze direction cannot be specified among the plurality of people. 22. The computer readable medium according to item 21.
(Additional note 23)
In the first determination step, both the probability that a conversation is occurring and the probability that a conversation is not occurring are calculated for the plurality of people included in the first video data, and the probability that a conversation is occurring and the probability that a conversation is occurring are calculated. The computer-readable medium according to appendix 21, wherein it is determined that it is impossible to determine whether or not the plurality of people are having a conversation when both of the probabilities that the conversation is not occurring are less than a threshold value.
(Additional note 24)
In the second determination step, it is determined whether or not the plurality of persons are having a conversation based on the mouth movement, face direction, or line of sight direction of each of the plurality of persons included in the second video data. The computer-readable medium according to any one of appendices 21 to 23, for determining.
(Additional note 25)
In the second determination step, based on the loudness of the voice represented by the voice data and the distance between the mobile robot and the plurality of people when the voice data was obtained, The computer-readable medium according to any one of appendices 21 to 23, which determines whether a person is having a conversation.
(Additional note 26)
The mobile robot is equipped with a projector,
The mobile robot moves within the monitoring area while projecting a distance image representing the size of the first predetermined distance from the projector onto the ground before receiving control by the movement control step;
By detecting the distance image and a plurality of people from the second video data and comparing the distance between each detected person and the size of the distance image, Detect multiple people,
26. The computer-readable medium according to any one of appendices 21 to 25, wherein in the first determination step, the second video data in which the plurality of people are detected is acquired as the first video data.
(Additional note 27)
In the movement control step, by analyzing the second video data, the direction of the face or line of sight of people around the mobile robot is specified, and the area located in the direction of the specified face or line of sight is determined. 27. The computer-readable medium according to any one of appendices 21 to 26, for moving the mobile robot so as not to pass through the computer.
(Additional note 28)
A second camera is provided for capturing an image of a part of the monitoring area,
The mobile robot moves in an area that cannot be imaged by the second camera before receiving control by the movement control step,
28. The computer-readable medium according to any one of appendices 21 to 27, wherein the first video data is video data generated by the first camera or the second camera.
(Additional note 29)
29. The computer-readable medium of claim 28, wherein an area that cannot be imaged by the second camera is identified using video data generated by the second camera and map data of the monitoring area.
(Additional note 30)
If it is determined in the first determination step or the second determination step that the plurality of people are having a conversation, performing a predetermined response process on the plurality of people;
The predetermined countermeasure processing includes a process of bringing the mobile robot closer to the plurality of people, a process of causing a display device or a projector installed in the mobile robot to output information indicating a warning, and a process installed in the mobile robot. 30. The computer-readable medium according to any one of Supplementary Notes 21 to 29, which includes any one or more of the processes of causing a speaker that has been set to output a warning sound.
10 人物
20 移動型ロボット
22 カメラ
23 ビデオデータ
24 マイクロフォン
25 音声データ
26 アクチュエータ
27 移動手段
30 カメラ
32 ビデオデータ
40 人物グループ
500 コンピュータ
502 バス
504 プロセッサ
506 メモリ
508 ストレージデバイス
510 入出力インタフェース
512 ネットワークインタフェース
600 コントローラ
602 バス
604 プロセッサ
606 メモリ
608 ストレージデバイス
610 入出力インタフェース
612 ネットワークインタフェース
2000 会話監視装置
2020 第1判定部
2040 移動制御部
2060 第2判定部10
Claims (10)
前記第1ビデオデータを解析しても、前記複数の人物が会話をしているか否かを判別できない場合に、第1カメラが設けられている移動型ロボットを前記複数の人物の顔を撮像可能な位置まで移動させるか、又は、マイクロフォンが設けられている移動型ロボットを前記複数の人物から第2所定距離以内の場所まで移動させる移動制御部と、
前記移動型ロボットを移動させた後に、前記第1カメラから得られる第2ビデオデータ又は前記マイクロフォンから得られる音声データを解析して、前記複数の人物が会話をしているか否かを判定する第2判定部と、を有する会話監視装置。 Obtaining first video data in which a plurality of persons located within a first predetermined distance from each other within a monitoring area are detected, and analyzing the first video data to determine whether or not the plurality of persons are having a conversation. a first determination unit that determines;
If it is not possible to determine whether or not the plurality of persons are having a conversation even after analyzing the first video data, the mobile robot provided with the first camera is capable of capturing images of the faces of the plurality of persons. a movement control unit that moves a mobile robot equipped with a microphone to a position within a second predetermined distance from the plurality of people;
After moving the mobile robot, analyzing second video data obtained from the first camera or audio data obtained from the microphone to determine whether or not the plurality of people are having a conversation. 2. A conversation monitoring device comprising: 2 determination units.
前記第1ビデオデータに含まれる前記複数の人物それぞれの口の動き、顔の向き、又は視線の向きに基づいて、前記複数の人物が会話をしているか否かを判定し、
前記複数の人物の中に、口の動き、顔の向き、又は視線の向きを特定できない人物が存在する場合に、前記複数の人物が会話をしているか否かを判別できないと判定する、請求項1に記載の会話監視装置。 The first determination unit includes:
Determining whether or not the plurality of persons are having a conversation based on the mouth movement, face direction, or line of sight direction of each of the plurality of persons included in the first video data;
A claim in which it is determined that it is impossible to determine whether or not the plurality of people are having a conversation when there is a person whose mouth movements, face direction, or gaze direction cannot be specified among the plurality of persons. The conversation monitoring device according to item 1.
前記移動型ロボットは、前記移動制御部による制御を受け付ける前に、前記第1所定距離の大きさを表す距離画像を前記プロジェクタから地面に投影しつつ、前記監視領域内を移動し、
前記第2ビデオデータから前記距離画像及び複数の人物を検出し、検出された各人物の間の距離と前記距離画像の大きさとを比較することで、互いに前記第1所定距離以内に位置する前記複数の人物を検出し、
前記第1判定部は、当該複数の人物が検出された前記第2ビデオデータを、前記第1ビデオデータとして取得する、請求項1から5いずれか一項に記載の会話監視装置。 The mobile robot is equipped with a projector,
The mobile robot moves within the monitoring area while projecting a distance image representing the size of the first predetermined distance from the projector onto the ground before receiving control from the movement control unit;
By detecting the distance image and a plurality of people from the second video data and comparing the distance between each detected person and the size of the distance image, Detect multiple people,
The conversation monitoring device according to any one of claims 1 to 5, wherein the first determination unit acquires the second video data in which the plurality of people are detected as the first video data.
前記移動型ロボットは、前記移動制御部による制御を受け付ける前に、前記第2カメラで撮像できない領域を移動し、
前記第1ビデオデータは、前記第1カメラ又は前記第2カメラによって生成されるビデオデータである、請求項1から7いずれか一項に記載の会話監視装置。 A second camera is provided for capturing an image of a part of the monitoring area,
The mobile robot moves in an area that cannot be imaged by the second camera before receiving control from the movement control unit,
The conversation monitoring device according to any one of claims 1 to 7, wherein the first video data is video data generated by the first camera or the second camera.
監視領域内において互いに第1所定距離以内に位置する複数の人物が検出された第1ビデオデータを取得し、前記第1ビデオデータを解析して、前記複数の人物が会話をしているか否かを判定する第1判定ステップと、
前記第1ビデオデータを解析しても、前記複数の人物が会話をしているか否かを判別できない場合に、第1カメラが設けられている移動型ロボットを前記複数の人物の顔を撮像可能な位置まで移動させるか、又は、マイクロフォンが設けられている移動型ロボットを前記複数の人物から第2所定距離以内の場所まで移動させる移動制御ステップと、
前記移動型ロボットを移動させた後に、前記第1カメラから得られる第2ビデオデータ又は前記マイクロフォンから得られる音声データを解析して、前記複数の人物が会話をしているか否かを判定する第2判定ステップと、を有する制御方法。 A control method performed by a computer, comprising:
Obtaining first video data in which a plurality of persons located within a first predetermined distance from each other within a monitoring area are detected, and analyzing the first video data to determine whether or not the plurality of persons are having a conversation. a first determination step of determining;
If it is not possible to determine whether or not the plurality of persons are having a conversation even after analyzing the first video data, the mobile robot provided with the first camera is capable of capturing images of the faces of the plurality of persons. a movement control step of moving a mobile robot equipped with a microphone to a position within a second predetermined distance from the plurality of people;
After moving the mobile robot, analyzing second video data obtained from the first camera or audio data obtained from the microphone to determine whether or not the plurality of people are having a conversation. A control method comprising: two determination steps.
前記第1ビデオデータを解析しても、前記複数の人物が会話をしているか否かを判別できない場合に、第1カメラが設けられている移動型ロボットを前記複数の人物の顔を撮像可能な位置まで移動させるか、又は、マイクロフォンが設けられている移動型ロボットを前記複数の人物から第2所定距離以内の場所まで移動させる移動制御ステップと、
前記移動型ロボットを移動させた後に、前記第1カメラから得られる第2ビデオデータ又は前記マイクロフォンから得られる音声データを解析して、前記複数の人物が会話をしているか否かを判定する第2判定ステップと、をコンピュータに実行させるプログラム。 Obtaining first video data in which a plurality of persons located within a first predetermined distance from each other within a monitoring area are detected, and analyzing the first video data to determine whether or not the plurality of persons are having a conversation. a first determination step of determining;
If it is not possible to determine whether or not the plurality of persons are having a conversation even after analyzing the first video data, the mobile robot provided with the first camera is capable of capturing images of the faces of the plurality of persons. a movement control step of moving a mobile robot equipped with a microphone to a position within a second predetermined distance from the plurality of people;
After moving the mobile robot, analyzing second video data obtained from the first camera or audio data obtained from the microphone to determine whether or not the plurality of people are having a conversation. 2. A program that causes a computer to execute the following determination steps.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/026745 WO2022009349A1 (en) | 2020-07-08 | 2020-07-08 | Conversation monitoring device, control method, and computer readable medium |
Publications (3)
Publication Number | Publication Date |
---|---|
JPWO2022009349A1 JPWO2022009349A1 (en) | 2022-01-13 |
JPWO2022009349A5 JPWO2022009349A5 (en) | 2023-03-17 |
JP7416253B2 true JP7416253B2 (en) | 2024-01-17 |
Family
ID=79552401
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022534569A Active JP7416253B2 (en) | 2020-07-08 | 2020-07-08 | Conversation monitoring device, control method, and program |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7416253B2 (en) |
WO (1) | WO2022009349A1 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010238182A (en) | 2009-03-31 | 2010-10-21 | Sogo Keibi Hosho Co Ltd | Autonomous mobile object and suspicious person detecting method |
JP2019084628A (en) | 2017-11-07 | 2019-06-06 | 富士ゼロックス株式会社 | Autonomous mobile robot |
WO2019239813A1 (en) | 2018-06-14 | 2019-12-19 | パナソニックIpマネジメント株式会社 | Information processing method, information processing program, and information processing system |
-
2020
- 2020-07-08 JP JP2022534569A patent/JP7416253B2/en active Active
- 2020-07-08 WO PCT/JP2020/026745 patent/WO2022009349A1/en active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010238182A (en) | 2009-03-31 | 2010-10-21 | Sogo Keibi Hosho Co Ltd | Autonomous mobile object and suspicious person detecting method |
JP2019084628A (en) | 2017-11-07 | 2019-06-06 | 富士ゼロックス株式会社 | Autonomous mobile robot |
WO2019239813A1 (en) | 2018-06-14 | 2019-12-19 | パナソニックIpマネジメント株式会社 | Information processing method, information processing program, and information processing system |
Also Published As
Publication number | Publication date |
---|---|
WO2022009349A1 (en) | 2022-01-13 |
JPWO2022009349A1 (en) | 2022-01-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11776274B2 (en) | Information processing apparatus, control method, and program | |
US11375245B2 (en) | Live video streaming based on an environment-related trigger | |
CN109492571B (en) | Method and device for identifying human age and electronic equipment | |
CN112149615A (en) | Face living body detection method, device, medium and electronic equipment | |
WO2021057790A1 (en) | Method and device for determining smoke | |
WO2020137193A1 (en) | Human detection device and human detection method | |
KR20160104953A (en) | Mode changing robot and control method thereof | |
JP2020170247A (en) | Person detection device and person detection method | |
JPWO2017115586A1 (en) | Monitoring device, control method, and program | |
US20200372779A1 (en) | Terminal device, risk prediction method, and recording medium | |
JP7416253B2 (en) | Conversation monitoring device, control method, and program | |
JP7517422B2 (en) | Conversation monitoring device, control method, and program | |
Yang et al. | Automatic aggression detection inside trains | |
JP7476965B2 (en) | Notification control device, control method, and program | |
CN111985309A (en) | Alarm method, camera device and storage device | |
US20220413518A1 (en) | Movable object, information processing method, program, and information processing system | |
JP2014229015A (en) | Face recognition device, face recognition method, and computer program | |
JP7401968B2 (en) | Shooting control device, shooting system, and shooting control method | |
US20240038403A1 (en) | Image display apparatus, image display system, image display method, and non-transitory computer readable medium | |
JP2020140520A (en) | Image processing device and image processing method | |
JP7458303B2 (en) | Information processing device, information processing method, and program | |
KR102406487B1 (en) | AI image processing camera and camera system for multi-event analysis and control | |
CN112578909B (en) | Method and device for equipment interaction | |
JP6954416B2 (en) | Information processing equipment, information processing methods, and programs | |
WO2023286152A1 (en) | Detection device, detection method, and non-transitory computer-readable medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230105 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230105 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231205 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231218 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7416253 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |