JP7471911B2 - Person Relationship Extraction System - Google Patents
Person Relationship Extraction System Download PDFInfo
- Publication number
- JP7471911B2 JP7471911B2 JP2020087783A JP2020087783A JP7471911B2 JP 7471911 B2 JP7471911 B2 JP 7471911B2 JP 2020087783 A JP2020087783 A JP 2020087783A JP 2020087783 A JP2020087783 A JP 2020087783A JP 7471911 B2 JP7471911 B2 JP 7471911B2
- Authority
- JP
- Japan
- Prior art keywords
- person
- unit
- extraction system
- coordinates
- conversation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims description 66
- 238000004891 communication Methods 0.000 claims description 22
- 230000004807 localization Effects 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 10
- 238000000034 method Methods 0.000 description 49
- 238000010586 diagram Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 6
- 238000013500 data storage Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000005192 partition Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Description
本発明は、例えば、オフィス内において会話が発生したか否かを認識し、会話を行った人を特定し記録していくことで、人と人との関係性を抽出する人物関係抽出システムに関する。 The present invention relates to a personal relationship extraction system that extracts relationships between people by, for example, recognizing whether a conversation has occurred in an office and identifying and recording the people who have had the conversation.
建物空間内で発生する会話は人々のコミュニケーション量や知的生産性を測る指標として重要である。ある空間内に人が居るかコミュニケーションが活発に行われているかを判定する手段として、音声を検知することは有効な方法である。このような音声検知方法が確立されていれば、例えば、オフィス内のコミュニケーション活性度の計測を行ったり、或いは、公共施設などの交流ペースの活用度を計測したり、といったことが可能となる。 Conversations that occur within a building space are important as an indicator of the amount of communication and intellectual productivity among people. Detecting voice is an effective way to determine whether people are present in a space and whether active communication is taking place. If such a voice detection method were established, it would be possible to measure, for example, the level of communication activity within an office or the utilization rate of interaction in public facilities.
特許文献１（特開２０１９－１９１８７８号公報）では、複数の区画に分割された空間のそれぞれで会話が発生したか否かを認識し、会話を行った人を特定することで、人と人との関係性を抽出する人物関係抽出システムが開示されている。
しかしながら、特許文献１記載の従来技術においては、区画を跨って交わされる会話が抽出できないといった課題や、区画内の会話に参加していない人物も抽出されてしまうといった課題があった。
However, the conventional technology described in
例えば、前記従来技術では、間仕切りのないオープンフロア・オフィスにおいては、区画の境界が曖昧であるため、人と人との会話を正しく検知できなかった。 For example, the conventional technology mentioned above was unable to correctly detect conversations between people in an open-floor office without partitions because the boundaries between the sections are unclear.
また、前記従来技術によれば、電話やテレビ会議で話している人がいる場合もその人と周りの人が会話していると検知されてしまうようなことがあった。 In addition, with the above-mentioned conventional technology, even if a person was talking on the phone or in a video conference, it could be detected as if that person was also talking to people around them.
この発明は、上記課題を解決するものであって、本発明に係る人物関係抽出システムは、所定の空間で会話が発生したか否かを認識し、会話を行った人を特定することで、人と人との関係性を抽出する人物関係抽出システムにおいて、前記空間内で発生した音の発生位置の座標を特定する音源定位部と、前記空間内に存在する人物と、その座標を特定する人物・位置特定部と、前記音源定位部で特定された座標と、前記人物・位置特定部で特定された座標とに基づいて、音を発した人物を特定する発話人物特定部と、前記発話人物特定部で特定された人物から、設定距離内の人物を抽出する人物抽出部と、前記人物抽出部で抽出された人物との間に遮蔽物が存在せず、コミュニケーションが可能である人物を抽出するコミュニケーション可能人物抽出部と、前記人物・位置特定部で特定された人物と、前記コミュニケーション可能人物抽出部で抽出された人物との間で会話がなされたものとして会話記録を作成する会話記録作成部と、を有することを特徴とする。
The present invention is adapted to solve the above-mentioned problems, and the personal relationship extraction system of the present invention extracts relationships between people by recognizing whether a conversation has occurred in a specified space and identifying the people who conducted the conversation, and is characterized in having: a sound source localization unit that identifies the coordinates of a position where a sound has occurred within the space, a person and position identification unit that identifies people present in the space and their coordinates, a speaker person identification unit that identifies the person who made the sound based on the coordinates identified by the sound source localization unit and the coordinates identified by the person and position identification unit, a person extraction unit that extracts people within a set distance from the people identified by the speaker person identification unit, a communicative person extraction unit that extracts people with whom communication is possible as there is no obstruction between them and the person extracted by the person extraction unit, and a conversation record creation unit that creates a conversation record assuming that a conversation has taken place between the person identified by the person and position identification unit and the person extracted by the communicative person extraction unit .
また、本発明に係る人物関係抽出システムは、前記コミュニケーション可能人物抽出部が、オフィスレイアウトデータベースを参照することで、前記人物抽出部で抽出された人物との間における遮蔽物の存否を判断することを特徴とする。
In addition, the person relationship extraction system of the present invention is characterized in that the communicative person extraction unit determines whether or not there is an obstruction between the person extracted by the person extraction unit and the communicative person extraction unit by referring to an office layout database.
また、本発明に係る人物関係抽出システムは、前記オフィスレイアウトデータベースには、オフィス空間内のオフィス什器の配置が記録されることを特徴とする。 In addition, the personal relationship extraction system according to the present invention is characterized in that the office layout database records an arrangement of office furniture within the office space.
また、本発明に係る人物関係抽出システムは、前記空間内で発信されるビーコン信号を受信する無線通信部を有しており、前記人物・位置特定部が、前記無線通信部で受信されるビーコン信号に基づいて、人物の座標を特定することを特徴とする。 The person relationship extraction system according to the present invention is also characterized in that it has a wireless communication unit that receives a beacon signal transmitted within the space, and the person/position identification unit identifies the coordinates of the person based on the beacon signal received by the wireless communication unit.
また、本発明に係る人物関係抽出システムは、前記空間内に対してビーコン信号を発信する無線通信部を有しており、前記人物・位置特定部が、前記無線通信部で発信されるビーコン信号に基づいて、人物の座標を特定することを特徴とする。 The person relationship extraction system according to the present invention is also characterized in that it has a wireless communication unit that transmits a beacon signal into the space, and the person/position identification unit identifies the coordinates of the person based on the beacon signal transmitted by the wireless communication unit.
本発明に係る人物関係抽出システムは、発話人物特定部で特定された音声を発した人物から、設定距離内の人物を抽出し、これらの人物の間で会話がなされたものとして会話記録を作成するので、本発明に係る人物関係抽出システムによれば、特定の区画に拘束されることなく、会話記録を作成することができ、区画を跨って交わされる会話の抽出が可能となるし、また、区画内の会話に参加していない人物が抽出されてしまう確率を低減できる。 The person relationship extraction system of the present invention extracts people within a set distance from the person who made the sound identified by the speaker identification unit, and creates a conversation record as if a conversation had taken place between these people. Therefore, the person relationship extraction system of the present invention can create a conversation record without being restricted to a specific section, making it possible to extract conversations that take place across sections, and also reducing the probability of extracting a person who did not participate in the conversation within the section.
以下、本発明の実施の形態を図面を参照しつつ説明する。図１は本発明の第１実施形態に係る人物関係抽出システム１が適用されるオフィス空間の一例を示す図である。また、図２は本発明の第１実施形態に係る人物関係抽出システム１のブロック図である。なお、以下の例では、図１はオフィスにおける空間を模式的に示すものとするが、本発明の適用対象はオフィスに限らず、任意の空間とすることができる。
Embodiments of the present invention will now be described with reference to the drawings. FIG. 1 is a diagram showing an example of an office space to which a personal
本発明に係る人物関係抽出システム１は、人と人との関係性を抽出するために、図１に示すようなオフィス内において会話が発生したか否かを認識し、会話を行った人を特定し記録していく。そこで、本発明に係る人物関係抽出システム１では、人物と人物との間で会話がなされたことを検知・特定する仕組みを有しており、さらに人物と人物との間で会話がなされたことを会話記録として作成する仕組みを有するものである。
The personal
オフィス空間においては、例えば（ｘ，ｙ）座標が設定されており、この（ｘ，ｙ）座標により人物の位置を表すようにする。また、オフィス空間においては、仮想的に区画分けがされている。図１の例では、第１区画、第２区画、・・・第Ｎ区画が設定されている。本実施形態では、それぞれの区画は面積がほぼ等しくなるように設定されている。また、本実施形態では、区画は矩形とされているが、区画の形状をこのように設定することは必須ではない。 In the office space, for example, (x, y) coordinates are set, and the position of a person is represented by these (x, y) coordinates. The office space is also virtually divided into sections. In the example of FIG. 1, a first section, a second section, ..., an Nth section are set. In this embodiment, each section is set to have approximately the same area. In this embodiment, the sections are rectangular, but it is not necessary to set the shape of the sections in this way.
それぞれの区画で発生した音は、それぞれの区画専用の区画用マイクロフォン１１０で集音することができるようになっている。本実施形態では、第１区画、第２区画、・・・第Ｎ区画それぞれで発生した音を集音する区画用マイクロフォン１１０１、１１０２、・・・１１０Ｎが設けられている。
Sound generated in each section can be collected by a
区画用マイクロフォン１１０１、１１０２、・・・１１０Ｎで集音された音は、不図示の変換部によりデジタル信号に変換されて、制御部１００に送信される。制御部１００は、例えば、ＣＰＵとＣＰＵ上で動作するプログラムを保持するＲＯＭとＣＰＵのワークエリアであるＲＡＭなどからなる汎用のマイクロコンピューターなどの情報処理装置を用いることができる。このような制御部１００は、図２で接続される各構成とデータ通信を行い、各構成から所定のデータを受信して演算を行ったり、所定のデータを指令などとして出力したりすることができるようになっている。
The sounds collected by the
制御部１００は、区画用マイクロフォン１１０１、１１０２、・・・１１０Ｎから送信されるデジタルデータに人の声（音声）が含まれているかが判定される。
The
オフィス空間を撮像し、画像データを取得する撮像部は本実施形態では、撮像部１２０１及撮像部１２０２の２つであるが、設ける撮像部の数は任意である。これら、撮像部１２０１及撮像部１２０２で取得された画像データは、制御部１００に送信される。制御部１００では、送信された画像データを画像解析することで、画像データに写っている人物の特定、及びその座標を求める処理が行われる。
In this embodiment, there are two imaging units, imaging unit 120-1 and imaging unit 120-2 , which capture images of the office space and acquire image data, but the number of imaging units to be provided is arbitrary. The image data acquired by imaging unit 120-1 and imaging unit 120-2 is transmitted to
第１人物データベース２１０においては、オフィス空間に勤務する人物それぞれのデータが記憶されている。このような第１人物データベース２１０には、それぞれの人物を特定する氏名データや、ＩＤデータなどの他に、画像データで個人を特定するための顔や体格などの特徴量データも含まれている。このような第１人物データベース２１０に記憶されているデータは、制御部１００によって参照される。
The
本発明に係る人物関係抽出システム１では、制御部１００によって、人物と人物との間で会話がなされたことを検知・特定されると、人物関係データ記憶部２８０に、人物と人物との間で会話がなされたことを会話記録が作成される。このような人物関係データ記憶部２８０に蓄積された会話記録に基づいて、人と人との関係性を図表化することなどで、人物関係を顕在化させることができる。
In the personal
次に、以上のように構成される本発明に係る人物関係抽出システム１の主要な処理について説明する。図３は本発明の第１実施形態に係る人物関係抽出システム１による処理のフローチャートを示す図である。また、図４は本発明の第１実施形態に係る人物関係抽出システム１に基づく処理例を説明する図であり、図４の具体例を参照しつつ前記フローチャートの説明を行う。
Next, the main processing of the personal
図３において、ステップＳ１００で、処理を開始すると、続いて、ステップＳ１０１に進み、音声判定サブルーチンを実行する。この音声判定サブルーチンは、区画用マイクロフォン１１０ｎ（ｎは１～Ｎ）で集音された音に、人の声（音声）が含まれているか否かを判定する。以下、オクターブバンド等価音圧レベルを用いて、音声の有無を判定する方法を例に説明するが、音に人の声（音声）が含まれているか否かを判定することができれば、その他の方法を用いても良い。 3, when processing is started in step S100, the process proceeds to step S101, where a voice determination subroutine is executed. This voice determination subroutine determines whether or not a human voice (speech) is included in the sound collected by the partition microphone 110 n (n is 1 to N). Below, a method of determining the presence or absence of a voice using an octave band equivalent sound pressure level will be described as an example, but other methods may be used as long as they can determine whether or not a human voice (speech) is included in the sound.
図５に示すフローチャートにおいて、ステップＳ２００で処理が開始されると、続いてステップＳ２０１に進み、第Ｎ区画として、第１区画がセットされる。ここで、ｎは１ずつインクリメントされる変数である。 In the flowchart shown in FIG. 5, when processing starts in step S200, the process proceeds to step S201, where the first section is set as the Nth section. Here, n is a variable that is incremented by one.
続いて、ステップＳ２０２に進み、区画用マイクロフォン１１０ｎ（ｎは１～Ｎ）によって取得された音データのうち、第ｎ区画における、予め設定されている所定時間間隔幅の音データを取得する。 Next, the process proceeds to step S202, where sound data of a predetermined time interval width set in advance in the nth section is acquired from the sound data acquired by the section microphone 110 n (n is 1 to N).
ステップＳ２０３では、取得された集音データに対して設定された時間間隔幅の中心周波数５００Ｈｚのオクターブバンド等価音圧レベル（Ｌ５００ｅｑ）を算出する。 In step S203, an octave band equivalent sound pressure level (L 500eq ) with a center frequency of 500 Hz for the time interval width set for the acquired sound collection data is calculated.
ここで、本明細書においては、予め設定された時間間隔幅（タイムスロット）における中心周波数５００Ｈｚのオクターブバンド等価音圧レベルをＬ５００ｅｑといい、Ａ特性等価音圧レベルをＬＡｅｑという。 In this specification, the octave band equivalent sound pressure level at a center frequency of 500 Hz in a preset time interval width (time slot) is referred to as L 500eq , and the A-weighted equivalent sound pressure level is referred to as L Aeq .
次のステップＳ２０４では、音データに対して、Ａ特性重み付け補正を実行する。このようなＡ特性重み付け補正については、周知の方法によって実行され得るものである。 In the next step S204, A-weighting correction is performed on the sound data. Such A-weighting correction can be performed by a well-known method.
ステップＳ２０５では、ステップＳ２０３でＡ特性重み付け補正された集音データに対して設定時間間隔幅のＡ特性等価音圧レベル（ＬＡｅｑ）を算出する。 In step S205, an A-weighted equivalent sound pressure level ( LAeq ) for a set time interval is calculated for the collected sound data corrected by the A-weighting in step S203.
続いて、情報処理装置２０がＡ特性等価音圧レベル（ＬＡｅｑ）と中心周波数５００Ｈｚのオクターブバンド等価音圧レベル（Ｌ５００ｅｑ）を受信すると、ステップＳ２０６では、
Ｌｄｉｆｆ＝Ｌ５００ｅｑ－ＬＡｅｑ （１）
の演算が実行され、ステップＳ２０６では、
Ｌｄｉｆｆ≧ ＬＴ （２）
の真否が判定される。
Next, when the information processing device 20 receives the A-weighted equivalent sound pressure level (L Aeq ) and the octave band equivalent sound pressure level with a center frequency of 500 Hz (L 500eq ), in step S206,
L diff = L 500 eq - L A eq (1)
The calculation is performed, and in step S206,
L diff ≧ L T (2)
The truth or otherwise of the statement is determined.
ステップＳ２０７の判定結果がＹＥＳであるときには、ステップＳ２０８に進み、当該時間間隔幅における検知結果は「音声検知」とし、ステップＳ２１０で第ｎ区画では「音声検知」の結果を履歴として記録する。 If the determination result in step S207 is YES, the process proceeds to step S208, where the detection result for that time interval is determined to be "voice detection," and in step S210, the result of "voice detection" for the nth section is recorded as history.
一方、ステップＳ２０７の判定結果がＮＯであるときには、ステップＳ２０９に進み、当該時間間隔幅における検知結果は「音声非検知」とし、ステップＳ２１０で第ｎ区画では「音声非検知」の結果を履歴として記録する。 On the other hand, if the determination result in step S207 is NO, the process proceeds to step S209, where the detection result for that time interval is determined to be "voice not detected," and in step S210, the result of "voice not detected" for the nth section is recorded as history.
ステップＳ２１１では、全区画が終了したか否か（本例では、ｎ＝Ｎであるか否か）が判定される。ステップＳ２１１の判定結果がＮＯであれば、ステップＳ２１２に進み、ｎを「１」インクリメントして、次の区画に進み、ステップＳ２０２に進む。一方、ステップＳ２１１の判定結果がＹＥＳであれば、ステップＳ２１３に進み、元のメインルーチンにリターンする。 In step S211, it is determined whether all sections have been completed (in this example, whether n=N). If the determination result in step S211 is NO, the process proceeds to step S212, n is incremented by "1", the process proceeds to the next section, and the process proceeds to step S202. On the other hand, if the determination result in step S211 is YES, the process proceeds to step S213, and the process returns to the original main routine.
さて、図３の元のフローチャートに戻り、続いて、ステップＳ１０２では、第１人物・位置特定サブルーチンが実行される。図６は本発明の第１実施形態に係る人物関係抽出システム１における第１人物・位置特定サブルーチンのフローチャートを示す図である。なお、本実施形態では、第１人物・位置特定サブルーチンにより、人物を特定しその位置を算出するが、このサブルーチンでは撮像部１２０で取得される画像データが用いられることが特徴となる。
Returning to the original flowchart of FIG. 3, next, in step S102, a first person and position identification subroutine is executed. FIG. 6 is a diagram showing a flowchart of the first person and position identification subroutine in the person
図６において、ステップＳ３００で第１人物・位置特定サブルーチンが開始されると、続いて、ステップＳ３０１に進み、撮像部１２０１及撮像部１２０２から画像データを取得する。 In FIG. 6, when the first person/position identification subroutine is started in step S300, the process proceeds to step S301, where image data is acquired from the image capture units 1201 and 1202 .
ステップＳ３０２では、前の時刻の画像データとの間の差分を算出し、ステップＳ３０３では、当該差分領域を抽出する。このステップＳ３０３で抽出される差分領域が、静止している背景の中で移動する人物であるものと推定される。 In step S302, the difference between the image data from the previous time is calculated, and in step S303, the difference area is extracted. The difference area extracted in step S303 is estimated to be a person moving in a stationary background.
ステップＳ３０４では、当該差分領域における特徴量（顔、体格の動き）を画像処理技術により抽出し、ステップＳ３０５では、当該特徴量と第１人物データベース２１０とから、当該差分領域における人物を推定する。
In step S304, features (face and physique movement) in the difference region are extracted using image processing technology, and in step S305, the person in the difference region is estimated from the features and the
また、ステップＳ３０６では、推定した人物の位置座標（ｘ，ｙ）を算出して、ステップＳ３０７でリターンし、元のフローチャートに戻る。 In step S306, the estimated position coordinates (x, y) of the person are calculated, and the process returns to step S307, returning to the original flowchart.
以上のような第１人物・位置特定サブルーチンにより、例えば、人物（０）が誰であるかの特定と、その人物（０）の位置座標（ｘｏ，ｙｏ）の算出を行うことが可能となる。 By the above-described first person/position identification subroutine, for example, it becomes possible to identify who person (0) is and calculate the position coordinates (x o , y o ) of that person (0).
図３に戻り、まずステップＳ１０３では、変数ｎにｎ＝１がセットされる。続いて、ステップＳ１０４では、第ｎ区画で音声が検知されたか否かが判定される。ステップＳ１０４における判定がＮＯであると、ステップＳ１１１に進み、必要に応じて次の区画の処理を行う。 Returning to FIG. 3, first, in step S103, variable n is set to n=1. Next, in step S104, it is determined whether or not a voice has been detected in the nth section. If the determination in step S104 is NO, the process proceeds to step S111, and the next section is processed as necessary.
一方、ステップＳ１０４における判定がＹＥＳであると、ステップＳ１０５に進み、第１人物・位置特定サブルーチンで取得された情報に基づいて、第ｎ区画の人物Ｘを取得する。このようなステップで行われる処理を、発話人物を特定する発話人物特定処理と称する。この処理で特定された人物Ｘを、図４の例では、（０）が付された人物であると仮定する。 On the other hand, if the determination in step S104 is YES, the process proceeds to step S105, where person X in the nth section is acquired based on the information acquired in the first person/position identification subroutine. The process performed in this step is referred to as a speaker identification process for identifying the speaker. In the example of FIG. 4, the person X identified by this process is assumed to be the person marked with (0).
続くステップＳ１０６では、人物Ｘから設定距離内に存在する人物Ｙを抽出する。図４の例では、当該設定距離がＲであり、ステップＳ１０６では、人物Ｙとして（１）、（２）が付された人物が抽出され、（４）、（５）付された人物は除外されたものと仮定する。なお、当該設定距離Ｒについては、（Ａ）に示す「対人距離閾値設定情報」を入力することで、ユーザー設定処理が適宜可能とされている。これにより、オフィス事情に応じた人物関係の抽出を行うことが可能となる。 In the next step S106, person Y that exists within a set distance from person X is extracted. In the example of FIG. 4, the set distance is R, and in step S106, it is assumed that people marked with (1) and (2) are extracted as person Y, and people marked with (4) and (5) are excluded. Note that the set distance R can be appropriately set by the user by inputting the "interpersonal distance threshold setting information" shown in (A). This makes it possible to extract person relationships according to the office circumstances.
ステップＳ１０７では、人物Ｙが１人以上であるか否かが判定される。ステップＳ１０７の判定がＮＯであると、ステップＳ１０８に進み、人物Ｘと人物Ｙとの間の会話記録を作成すべく会話記録作成サブルーチンが実行される。 In step S107, it is determined whether there is one or more persons Y. If the determination in step S107 is NO, the process proceeds to step S108, where a conversation record creation subroutine is executed to create a conversation record between persons X and Y.
この会話記録作成サブルーチンについて説明する。図７は本発明の第１実施形態に係る人物関係抽出システム１における会話記録作成サブルーチンのフローチャートを示す図である。
The conversation record creation subroutine will now be described. Figure 7 is a diagram showing a flowchart of the conversation record creation subroutine in the person
ステップＳ４００で会話記録作成サブルーチンが開始されると、続いて、ステップＳ４０１に進み、人物Ｘと人物Ｙの関係にあると判定された時間帯（不図示の計時手段による）を取得する。次に、ステップＳ４０２で、人物Ｘと人物Ｙと当該時間帯に係る情報を、人物関係データ記憶部２８０に会話記録ログとして記憶する。ステップＳ４０３では、元のルーチンにリターンする。
When the conversation record creation subroutine is started in step S400, the process proceeds to step S401, where the time period during which it is determined that person X and person Y are in a relationship (by a timing means, not shown) is obtained. Next, in step S402, information relating to person X, person Y, and the time period is stored as a conversation record log in the person relationship
さて、ステップＳ１０７の判定がＹＥＳであると、ステップＳ１０９に進み、全ての人物Ｙが抽出されるまで、ステップＳ１１２→ステップＳ１０８をループする。一方、ステップＳ１０９で全ての人物Ｙについての抽出が終了されたものと判定されると、続いて、ステップＳ１１０に進む。 Now, if the determination in step S107 is YES, the process proceeds to step S109, and steps S112 → S108 are looped until all persons Y have been extracted. On the other hand, if it is determined in step S109 that extraction of all persons Y has been completed, the process proceeds to step S110.
ステップＳ１１０では、全てのＸについて抽出されたかが判定される。ステップＳ１１０の判定がＮＯであると、ステップＳ１１３→ステップＳ１０６→・・の順でループし、ステップＳ１１０の判定がＹＥＳであると、ステップＳ１１１に進む。 In step S110, it is determined whether all Xs have been extracted. If the determination in step S110 is NO, the process loops in the order of step S113 → step S106 → ..., and if the determination in step S110 is YES, the process proceeds to step S111.
ステップＳ１１１では、全ての区画について取得されたかが判定される。ステップＳ１１１の判定がＮＯであると、ステップＳ１１４→ステップＳ１０４→・・の順でループし、ステップＳ１１１の判定がＹＥＳであると、ステップＳ１１５に進み、処理が終了となる。 In step S111, it is determined whether the data has been acquired for all sections. If the determination in step S111 is NO, the process loops in the order of step S114 → step S104 → ..., and if the determination in step S111 is YES, the process proceeds to step S115 and ends.
以上のように、本発明に係る人物関係抽出システム１は、発話人物特定部で特定された音声を発した人物Ｘから、設定距離Ｒ内の人物を抽出し、これらの人物の間で会話がなされたものとして人物関係データ記憶部２８０に会話記録を作成するので、本発明に係る人物関係抽出システム１によれば、特定の区画に拘束されることなく、会話記録を作成することができ、区画を跨って交わされる会話の抽出が可能となるし、また、区画内の会話に参加していない人物が抽出されてしまう確率を低減できる。
As described above, the person
次に、本発明の他の実施形態について説明する。図８は本発明の第２実施形態に係る人物関係抽出システム１が適用されるオフィス空間の一例を示す図である。また、図９は本発明の第２実施形態に係る人物関係抽出システム１のブロック図である。なお、第１実施形態と同様の参照符号が付された構成については同様のものであるので説明を省略する。
Next, another embodiment of the present invention will be described. FIG. 8 is a diagram showing an example of an office space to which a personal
第１実施形態に係る人物関係抽出システム１では、人物の特定と、その位置の把握は撮像部で取得される画像データに基づいて行われていたが、オフィス空間において、それぞれの人が携行することが想定されるビーコン発信源１５０によって実現される。ビーコン発信源１５０は、例えば所定のアプリケーションをインストールしたスマートフォンに実現することができる。また、それぞれの人が携行するビーコン発信源１５０は、それぞれ唯一無二のＩＤ情報を含むビーコン信号が発信される。
In the personal
無線通信部１３０は、オフィス空間に対して複数設けられて、ビーコン発信源１５０から送信されるビーコン信号を受信すると共に、受信したビーコン信号の到来角を検出する。複数の無線通信部１３０それぞれは、ビーコン信号と到来角を、制御部１００に転送する。制御部１００では、ビーコン信号の到来角から、ビーコン発信源１５０の位置を求めることができるように構成されている。
Multiple wireless communication units 130 are provided in the office space to receive beacon signals transmitted from the beacon transmission source 150 and detect the angle of arrival of the received beacon signal. Each of the multiple wireless communication units 130 transfers the beacon signal and the angle of arrival to the
なお、本実施形態では、移動体である人がビーコン発信源を携帯し、空間側に設置した無線通信部でビーコン信号を受信し、ビーコン信号の到来角から位置を求めるAngle of Arrival方式が採用されているが、本発明では他の方式を用いるようにすることもできる。 In this embodiment, an Angle of Arrival method is adopted in which a mobile person carries a beacon source, receives the beacon signal with a wireless communication unit installed in the space, and determines the position from the angle of arrival of the beacon signal, but other methods can also be used in the present invention.
例えば、空間側に、発信角度情報を含めたビーコン信号を送信する無線通信部を複数設置しておき、当該無線通信部からのビーコン信号を受信可能な端末を移動体である人に携行させ、当該端末側で受信した複数のビーコン信号に基づいて、当該端末の位置情報を算出するAngle of Departure方式を採用することもできる。 For example, a method can be adopted in which multiple wireless communication units that transmit beacon signals including transmission angle information are installed in the space, a terminal capable of receiving beacon signals from the wireless communication units is carried by a mobile person, and the position information of the terminal is calculated based on the multiple beacon signals received by the terminal.
第２人物データベース２２０においては、オフィス空間に勤務する人物それぞれのデータが記憶されている。このような第２人物データベース２２０には、それぞれの人物を特定する氏名データや、ＩＤデータなどの他に、それぞれの人物が携行するビーコン発信源１５０に含まれる固有のＩＤ情報も含まれている。このような第２人物データベース２２０に記憶されているデータは、制御部１００によって参照される。
The
マイクロフォンアレイ１１５は、複数の単位マイクロフォンの集合であり、個々の単位マイクロフォンがオフィス空間で発生する音を集音する。このようなマイクロフォンアレイ１１５は、オフィス空間の周囲に複数設けておくことができる。マイクロフォンアレイ１１５を構成する複数の単位マイクロフォンで集音された音はデジタルデータに変換され全て制御部１００に送信される。制御部１００では、マイクロフォンアレイ１１５で得られた音のデジタルデータから音源定位技術を用いて、音の発生位置座標を算出する。
The microphone array 115 is a collection of multiple unit microphones, and each unit microphone collects sounds generated in the office space. Multiple such microphone arrays 115 can be installed around the office space. The sounds collected by the multiple unit microphones that make up the microphone array 115 are converted into digital data and all are sent to the
第２実施形態に係る人物関係抽出システム１は、オフィスレイアウトデータベース２５０を有しており、オフィス空間内におけるオフィス什器の配置などが記録されている。このようなオフィスレイアウトデータベース２５０に記憶されているデータは、制御部１００によって参照される。オフィスレイアウトデータベース２５０を制御部１００が参照することで、人物（１）と人物（２）との間にオフィス什器がなく、会話が可能であることが分かり、人物（１）と人物（３）との間にオフィス什器１があり、会話が不可能であることが分かる。
The person
次に、以上のように構成される第２実施形態に係る人物関係抽出システム１の主要な処理について説明する。図１０は本発明の第２実施形態に係る人物関係抽出システム１による処理のフローチャートを示す図である。
Next, the main processing of the personal
図１０において、ステップＳ５００で処理が開始されると、続いて、ステップＳ５０１に進み、音声音源定位サブルーチンが実行される。図１１は本発明の第２実施形態に係る人物関係抽出システム１における音声音源定位サブルーチンのフローチャートを示す図である。
In FIG. 10, when processing starts in step S500, the process proceeds to step S501, where a voice source localization subroutine is executed. FIG. 11 is a diagram showing a flowchart of the voice source localization subroutine in the person
図１１のステップＳ６００で、音声音源定位サブルーチンが開示されると、ステップＳ６０１に進み、音声判定サブルーチンが実行される。このような音声判定サブルーチンとしては、第１実施形態と同様のものを用い得るが、人の声が音に含まれているかを判定することができれば他のアルゴリズムを用いることもできる。 When the voice source localization subroutine is started in step S600 in FIG. 11, the process proceeds to step S601, where the voice determination subroutine is executed. As such a voice determination subroutine, the same one as in the first embodiment can be used, but other algorithms can also be used as long as they can determine whether a human voice is included in the sound.
ステップＳ６０２では、マイクロフォンアレイ１１５の単位マイクロフォンで得られるデータから到来時間差により音源の座標を算出する。このような座標の算出には、公知となっている音源定位技術を適宜用いることができる。ステップＳ６０３で、元のルーチンにリターンする。 In step S602, the coordinates of the sound source are calculated based on the arrival time difference from the data obtained from the unit microphones of the microphone array 115. For calculating such coordinates, any publicly known sound source localization technique can be used as appropriate. In step S603, the process returns to the original routine.
図１０に戻り、ステップＳ５０２では、第２人物・位置特定サブルーチンが実行される。図１２は本発明の第２実施形態に係る人物関係抽出システム１における第２人物・位置特定サブルーチンのフローチャートを示す図である。
Returning to FIG. 10, in step S502, a second person/position identification subroutine is executed. FIG. 12 is a diagram showing a flowchart of the second person/position identification subroutine in the person
図１２のステップＳ７００で、第２人物・位置特定サブルーチンが開始されると、続いて、ステップＳ７０１に進み、無線通信部１３０からデータを取得する。 In step S700 of FIG. 12, the second person/position identification subroutine is started, and then the process proceeds to step S701, where data is acquired from the wireless communication unit 130.
続く、ステップＳ７０２では、ビーコン信号に含まれるＩＤ情報と、第２人物データベース２２０とから、ビーコン発信源１５０を携行する人物を特定する。次に、ステップＳ７０３では、ビーコン信号の受信方向から座標を算出する。（Angle of Arrival方式）
ステップＳ７０４では、全てのＩＤ情報について終了したか否かが判定され、当該判定がＮＯであれば、ステップＳ７０５に進み、次のＩＤについて、ステップＳ７０２を実行する。一方、該判定がＹＥＳであれば、ステップＳ７０６に進み、元のルーチンにリターンする。
In the next step S702, the person carrying the beacon source 150 is identified based on the ID information included in the beacon signal and the
In step S704, it is determined whether or not all ID information has been processed, and if the determination is NO, the process proceeds to step S705, where step S702 is executed for the next ID, whereas if the determination is YES, the process proceeds to step S706, where the process returns to the original routine.
さて図１０に戻り、ステップＳ５０３では、着目する人物Ｘのビーコン信号に基づく座標と、音源定位に基づく座標との距離は閾値内であるか否かが判定される。この判定がＹＥＳである場合、人物Ｘが会話を行い、音声を発しているものと判定する。 Returning to FIG. 10, in step S503, it is determined whether the distance between the coordinates of the person X of interest based on the beacon signal and the coordinates based on the sound source localization is within a threshold. If the determination is YES, it is determined that person X is having a conversation and emitting sound.
このことを、図８を参照して説明する。例えば、人物（１）のビーコン信号に基づく座標を（ｘ１，ｙ１）として、音源定位技術に基づく座標を（ｘ’１，ｙ’１）とすると、これらの座標間の距離が先の閾値（例えば、Ｄとする）以下であるとすると、人物（１）が音声を発したものと、ステップＳ５０３では判定するようにしている。 This will be described with reference to Fig. 8. For example, if the coordinates of person (1) based on the beacon signal are ( x1 , y1 ) and the coordinates based on the sound source localization technology are ( x'1 , y'1 ), and the distance between these coordinates is equal to or less than the threshold value (e.g., D), then in step S503 it is determined that person (1) has made a sound.
なお、当該設定距離Ｄについては、（Ｂ）に示す「音源距離閾値設定情報」を入力することで、ユーザー設定処理が適宜可能とされている。これにより、音声を発した人物の判定精度を調整することが可能となる。 The set distance D can be appropriately set by the user by inputting the "sound source distance threshold setting information" shown in (B). This makes it possible to adjust the accuracy of determining the person who made the sound.
続くステップＳ５０４では、人物Ｘから設定距離内に存在する人物Ｙを抽出する。図４の例では、当該設定距離がＲであり、ステップＳ５０４では、人物Ｘとして（１）が付された人物が抽出され、人物Ｙとして（２）、（３）が付された人物が抽出されたものと仮定する。なお、当該設定距離Ｒについては、（Ａ）に示す「対人距離閾値設定情報」を入力することで、ユーザー設定処理が適宜可能とされている。これにより、オフィス事情に応じた人物関係の抽出を行うことが可能となる。 In the next step S504, person Y that exists within a set distance from person X is extracted. In the example of FIG. 4, the set distance is R, and in step S504, it is assumed that a person marked with (1) is extracted as person X, and people marked with (2) and (3) are extracted as person Y. Note that the set distance R can be appropriately set by the user by inputting the "interpersonal distance threshold setting information" shown in (A). This makes it possible to extract person relationships according to the office circumstances.
ステップＳ５０５では、人物Ｙが１人以上であるか否かが判定される。ステップＳ５０５の判定がＮＯであると、ステップＳ５０６に進み、オフィスレイアウトデータベース２５０が参照され、続いてステップＳ５０７では、人物Ｘと人物Ｙとの間に遮蔽物が存在しないかが判定される。
In step S505, it is determined whether there is one or more persons Y. If the determination in step S505 is NO, the process proceeds to step S506, where the
ステップＳ５０７の判定がＮＯである場合には、人物Ｘと人物Ｙとの間にオフィス什器などの遮蔽物が存在し、コミュニケーションを行うことが不可能であるものと判断し、ステップＳ５０８の会話記録作成サブルーチンはスキップして、ステップＳ５０９に進む。図８の例では、人物Ｘが（１）で、人物Ｙが（３）であるようなケースである。 If the determination in step S507 is NO, it is determined that an obstruction such as office furniture exists between person X and person Y and communication is impossible, and the conversation record creation subroutine in step S508 is skipped and the process proceeds to step S509. In the example in FIG. 8, this is the case where person X is (1) and person Y is (3).
一方、ステップＳ５０７の判定がＹＥＳである場合には、人物Ｘと人物Ｙとの間にオフィス什器などの遮蔽物が存在せず、コミュニケーションが可能であるものと判断し、ステップＳ５０８の会話記録作成サブルーチンを実行する。図８の例では、人物Ｘが（１）で、人物Ｙが（２）であるようなケースである。ここで、ステップＳ５０８の会話記録作成サブルーチンについては、第１実施形態と同様のものを用いることができる。 On the other hand, if the determination in step S507 is YES, it is determined that there are no obstructions, such as office furniture, between person X and person Y and that communication is possible, and the conversation record creation subroutine in step S508 is executed. In the example of FIG. 8, this is the case where person X is (1) and person Y is (2). Here, the conversation record creation subroutine in step S508 can be the same as that in the first embodiment.
さて、ステップＳ５０５の判定がＹＥＳであると、ステップＳ５０９に進み、全ての人物Ｙが抽出されるまで、ステップＳ５１１→ステップＳ５０６をループする。一方、ステップＳ５０９で全ての人物Ｙについての抽出が終了されたものと判定されると、続いて、ステップＳ５１０に進む。 Now, if the determination in step S505 is YES, the process proceeds to step S509, and steps S511 → S506 are looped until all persons Y have been extracted. On the other hand, if it is determined in step S509 that extraction of all persons Y has been completed, the process proceeds to step S510.
ステップＳ５１０では、全てのＸについて抽出されたかが判定される。ステップＳ５１０の判定がＮＯであると、ステップＳ５１２→ステップＳ５０３→・・の順でループし、ステップＳ５１０の判定がＹＥＳであると、ステップＳ５１３に進み、処理を終了する。 In step S510, it is determined whether all Xs have been extracted. If the determination in step S510 is NO, the process loops in the order of step S512 → step S503 → ..., and if the determination in step S510 is YES, the process proceeds to step S513 and ends.
以上のような第２実施形態に係る人物関係抽出システム１は、音源定位部で特定された座標（ステップＳ５０１）と人物・位置特定部で特定された座標（ステップＳ５０３）とに基づいて、音を発した人物を特定し（ステップＳ５０３）、特定された音を発した人物から、設定距離内の人物を抽出し（ステップＳ５０４）、これらの人物の間で会話がなされたものとして会話記録を作成する（ステップＳ５０８）ので、第２実施形態に係る人物関係抽出システム１によれば、特定の区画に拘束されることなく、会話記録を作成することができ、区画を跨って交わされる会話の抽出が可能となるし、また、区画内の会話に参加していない人物が抽出されてしまう確率を低減できる。
The person
１・・・人物関係抽出システム
１００・・・制御部
１１０、１１０ｎ（ｎは自然数）・・・区画用マイクロフォン
１１５、１１５ｍ（ｍは自然数）・・・マイクロフォンアレイ
１２０、１２０ｐ（ｐは自然数）・・・撮像部
１３０、１３０ｑ（ｑは自然数）・・・無線通信部
１５０、１５０ｒ（ｒは自然数）・・・ビーコン発信源（スマートフォン）
２１０・・・第１人物データベース
２２０・・・第２人物データベース
２５０・・・オフィスレイアウトデータベース
２８０・・・人物関係データ記憶部
1: Person relationship extraction system 100:
210: First person database 220: Second person database 250: Office layout database 280: Person relationship data storage unit
Claims (5)
前記空間内で発生した音の発生位置の座標を特定する音源定位部と、
前記空間内に存在する人物と、その座標を特定する人物・位置特定部と、
前記音源定位部で特定された座標と、前記人物・位置特定部で特定された座標とに基づいて、音を発した人物を特定する発話人物特定部と、
前記発話人物特定部で特定された人物から、設定距離内の人物を抽出する人物抽出部と、
前記人物抽出部で抽出された人物との間に遮蔽物が存在せず、コミュニケーションが可能である人物を抽出するコミュニケーション可能人物抽出部と、
前記人物・位置特定部で特定された人物と、前記コミュニケーション可能人物抽出部で抽出された人物との間で会話がなされたものとして会話記録を作成する会話記録作成部と、を有することを特徴とする人物関係抽出システム。 A personal relationship extraction system that extracts relationships between people by recognizing whether a conversation has occurred in a specified space and identifying the people who have had the conversation,
a sound source localization unit that identifies the coordinates of a position where a sound generated in the space is generated;
A person/position identification unit that identifies a person present in the space and the coordinates of the person;
a speaker identification unit that identifies a person who has emitted a sound based on the coordinates identified by the sound source localization unit and the coordinates identified by the person/position identification unit;
a person extraction unit that extracts a person within a set distance from the person identified by the speaker identification unit;
a communicable person extraction unit that extracts a person with whom communication is possible because there is no obstruction between the person extracted by the person extraction unit and the person;
and a conversation record creation unit that creates a conversation record assuming that a conversation has taken place between the person identified by the person/position identification unit and the person extracted by the communicable person extraction unit .
前記人物・位置特定部が、前記無線通信部で受信されるビーコン信号に基づいて、人物の座標を特定することを特徴とする請求項３に記載の人物関係抽出システム。 A wireless communication unit that receives a beacon signal transmitted within the space,
4. The person relationship extraction system according to claim 3, wherein the person/position specifying unit specifies the coordinates of a person based on a beacon signal received by the wireless communication unit.
前記人物・位置特定部が、前記無線通信部で発信されるビーコン信号に基づいて、人物の座標を特定することを特徴とする請求項３に記載の人物関係抽出システム。 A wireless communication unit that transmits a beacon signal into the space,
4. The person relationship extraction system according to claim 3, wherein the person/position specifying unit specifies the coordinates of a person based on a beacon signal transmitted by the wireless communication unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020087783A JP7471911B2 (en) | 2020-05-20 | 2020-05-20 | Person Relationship Extraction System |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020087783A JP7471911B2 (en) | 2020-05-20 | 2020-05-20 | Person Relationship Extraction System |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021182089A JP2021182089A (en) | 2021-11-25 |
| JP7471911B2 true JP7471911B2 (en) | 2024-04-22 |
Family
ID=78607035
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020087783A Active JP7471911B2 (en) | 2020-05-20 | 2020-05-20 | Person Relationship Extraction System |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7471911B2 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019139101A1 (en) | 2018-01-12 | 2019-07-18 | ソニー株式会社 | Information processing device, information processing method, and program |
| WO2019155629A1 (en) | 2018-02-09 | 2019-08-15 | 三井デザインテック株式会社 | Communication evaluation system and communication evaluation method |
| JP2019191878A (en) | 2018-04-24 | 2019-10-31 | 清水建設株式会社 | Personal relation extracting system |
-
2020
- 2020-05-20 JP JP2020087783A patent/JP7471911B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019139101A1 (en) | 2018-01-12 | 2019-07-18 | ソニー株式会社 | Information processing device, information processing method, and program |
| WO2019155629A1 (en) | 2018-02-09 | 2019-08-15 | 三井デザインテック株式会社 | Communication evaluation system and communication evaluation method |
| JP2019191878A (en) | 2018-04-24 | 2019-10-31 | 清水建設株式会社 | Personal relation extracting system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021182089A (en) | 2021-11-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8581700B2 (en) | Wearable device | |
| CN102474681B (en) | Conversation detection device, hearing aid and conversation detection method | |
| US7522736B2 (en) | Systems and methods for microphone localization | |
| US8208664B2 (en) | Audio transmission system and communication conference device | |
| US7586513B2 (en) | Arrangement and method for audio source tracking | |
| US9026437B2 (en) | Location determination system and mobile terminal | |
| JP6820664B2 (en) | Reception system and reception method | |
| EP0947161A2 (en) | Measurement and validation of interaction and communication | |
| JPWO2017150103A1 (en) | Audio processing apparatus, image processing apparatus, microphone array system, and audio processing method | |
| WO2016198132A1 (en) | Communication system, audio server, and method for operating a communication system | |
| EP1257146A2 (en) | Method and system of sound processing | |
| JP7471911B2 (en) | Person Relationship Extraction System | |
| KR20150066883A (en) | Image processing method and device | |
| JP2007034238A (en) | On-site operation support system | |
| JP5045938B2 (en) | Sound source direction detection method, apparatus and program | |
| US20200349949A1 (en) | Distributed Device Meeting Initiation | |
| US20050180582A1 (en) | A System and Method for Utilizing Disjoint Audio Devices | |
| JP7426631B2 (en) | Unmanned mobile object and information processing method | |
| KR20210078056A (en) | Noise source tracking system and noise source tracking method using relative position and time synchronization between personnel | |
| JP2002034092A (en) | Sound-absorbing device | |
| JP2007172423A (en) | Speech state detecting device and method | |
| CN113939871A (en) | Speaking section detection device, speaking section detection method, and speaking section detection program | |
| JP4168539B2 (en) | Dialog information distribution system and dialog information distribution apparatus | |
| JP6994922B2 (en) | Conversation recognition recording system | |
| JP7107732B2 (en) | Human relationship extraction system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230309 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231228 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240124 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240214 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240327 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240410 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7471911 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |