JP2021105688A - Conference support device - Google Patents

Conference support device Download PDF

Info

Publication number
JP2021105688A
JP2021105688A JP2019237702A JP2019237702A JP2021105688A JP 2021105688 A JP2021105688 A JP 2021105688A JP 2019237702 A JP2019237702 A JP 2019237702A JP 2019237702 A JP2019237702 A JP 2019237702A JP 2021105688 A JP2021105688 A JP 2021105688A
Authority
JP
Japan
Prior art keywords
conference
support device
unit
photographing
participant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019237702A
Other languages
Japanese (ja)
Inventor
政行 西川
Masayuki Nishikawa
政行 西川
諒 岡林
Ryo Okabayashi
諒 岡林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Itoki Corp
Original Assignee
Itoki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Itoki Corp filed Critical Itoki Corp
Priority to JP2019237702A priority Critical patent/JP2021105688A/en
Publication of JP2021105688A publication Critical patent/JP2021105688A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

To provide a conference support device and a program which can identify a speaker at a conference without need for preparations such as prior registration.SOLUTION: A conference support device 1 provided with a photographing device 2 and a sound collecting device 3 installed on a desk 12 of a conference room 11 identifies a direction of a participant's speech which a sound collecting unit 5 collects with the sound collecting device 3 by a speaker direction identification unit 6, and a speaker identification unit 7 associates the participant whom a photographing unit 4 photographs with the photographing device 2.SELECTED DRAWING: Figure 3

Description

この発明は会議支援装置に関する。 The present invention relates to a conference support device.

会議の議事録をＩＴ技術で支援するものとして、例えば特許文献１の会議支援システムが知られている。この会議支援システムは、予め登録された会議参加者の音声の特徴情報に基づいて発言者を特定することができる。 As a device that supports the minutes of a meeting with IT technology, for example, the meeting support system of Patent Document 1 is known. This conference support system can identify the speaker based on the voice feature information of the conference participants registered in advance.

特開２０１９−６１５９４号公報Japanese Unexamined Patent Publication No. 2019-61594

従来の会議支援システムでは、会議中の発言者を特定するに際して、会議開始時、或いは、会議開始前に発言者を特定する情報の登録を要するものであった。 In the conventional conference support system, when identifying a speaker during a conference, it is necessary to register information for identifying the speaker at the start of the conference or before the start of the conference.

しかしながら、現実の会議では参加者が予め確定しているとは限らず、また、会議の途中から参加者が増える等の状況が発生する。発言者を特定するための情報を事前に登録する従来の技術では、このような状況において十分に会議を支援することができないという問題があった。 However, in an actual meeting, the number of participants is not always fixed in advance, and the number of participants increases in the middle of the meeting. The conventional technique of pre-registering information for identifying a speaker has a problem that it cannot sufficiently support a meeting in such a situation.

本発明は前述の問題に鑑み、事前の登録等準備を要さずに、会議における発言者を特定することができる会議支援装置及びプログラムを提供することを、その目的とするものである。 In view of the above problems, an object of the present invention is to provide a conference support device and a program capable of identifying a speaker at a conference without requiring preparations such as prior registration.

本発明に係る会議支援装置は、撮影装置と集音装置を備える会議支援装置であって、前記撮影装置により会議における参加者の各々を撮影する撮影部と、前記集音装置により前記参加者の発言を集音する集音部と、前記集音した発言の、所定の基準位置からの方向を特定する、発言方向特定部と、前記発言方向特定部によって特定された方向と、前記撮影部によって撮影された前記参加者の位置と、 に基づいて、前記発言を前記参加者のいずれかと紐付ける、発言者特定部と、を備えることを特徴とする。 The conference support device according to the present invention is a conference support device including a photographing device and a sound collecting device, and a photographing unit that photographs each of the participants in the conference by the photographing device and the sound collecting device of the participants. A sound collecting unit that collects remarks, a remarking direction specifying unit that specifies the direction of the collected remarks from a predetermined reference position, a direction specified by the remarking direction specifying unit, and the photographing unit. It is characterized by including a speaker identification unit that associates the statement with any of the participants based on the photographed position of the participant.

本発明に係る会議支援装置は、さらに、前記発言を前記特定した参加者を示す情報とともに記録する発言記録部を備えるようにしてもよい。 The conference support device according to the present invention may further include a speech recording unit that records the speech together with information indicating the specified participant.

本発明に係る会議支援装置は、前記参加者を示す情報が、前記参加者が前記発言をした時点における前記参加者を撮影した映像を含む、ようにしてもよい。 In the conference support device according to the present invention, the information indicating the participant may include a video image of the participant at the time when the participant makes the remark.

本発明に係る会議支援装置は、さらに、前記発言記録部の記録内容に基づいて、前記会議の議事録を出力する前記議事録出力部を備え、前記議事録は、前記発言に関し、テキスト情報若しくは音声情報と、発言者の画像情報と、を含むようにしてもよい。 The conference support device according to the present invention further includes the minutes output unit that outputs the minutes of the conference based on the recorded contents of the remark recording unit, and the minutes are text information or text information regarding the remarks. The voice information and the image information of the speaker may be included.

本発明に係る会議支援装置は、前記撮影装置は３６０度全周囲を撮影可能な撮影装置であり、前記集音装置は３６０度全周囲を集音可能な集音装置であるようにしてもよい。 In the conference support device according to the present invention, the photographing device may be a photographing device capable of photographing the entire circumference of 360 degrees, and the sound collecting device may be a sound collecting device capable of collecting sound in the entire circumference of 360 degrees. ..

本発明の構成によれば、集音部が集音装置により集音した発言は、発言方向特定部により所定の基準位置からの方向を特定した上で、当該特定した方向と、撮影部が撮影装置により撮影した参加者の各々の位置に基づいて、発言を行った参加者と紐づけられる。この構成により、事前の登録等準備を要さずに、会議における発言者を特定することができる。 According to the configuration of the present invention, the speech collected by the sound collecting unit by the sound collecting device is photographed by the photographing unit and the specified direction after the direction from the predetermined reference position is specified by the speaking direction specifying unit. Based on each position of the participant photographed by the device, it is associated with the participant who made a statement. With this configuration, it is possible to identify the speaker at the meeting without the need for preparations such as prior registration.

本実施形態の一例における、会議支援装置の構成を示す図である。It is a figure which shows the structure of the conference support apparatus in one example of this embodiment. 同実施形態の一例における、会議支援装置を備える会議室の配置を示す平面図である。It is a top view which shows the arrangement of the meeting room provided with the meeting support device in one example of the same embodiment. 同実施形態の一例における、処理の流れを示すフロー図である。It is a flow chart which shows the flow of processing in one example of the same embodiment. 同実施形態の一例における、議事録画面の構成を示す図である。It is a figure which shows the structure of the proceedings recording surface in one example of the same embodiment.

以下、本発明の実施形態の一例について、図面を参照して説明する。図１は、本発明の実施形態の一例における、会議支援装置１の構成を模式的に示した図であり、図２は、本実施形態の会議支援装置１を備える会議室の配置の例を示した図である。図１で示すように、本実施形態おける会議支援装置１は、撮影装置２、集音装置３、撮影部４、集音部５、発言方向特定部６、発言者特定部７、発言記録部８、議事録出力部９、及びデータストア１０を備えている。また、会議支援装置１を備える会議室１１は、机１２の周囲に椅子１３ａ〜１３ｆが配置され、当該椅子１３ａ〜１３ｆに６人の会議参加者１４ａ〜１４ｆが着座することができる６人用の会議室である。また、会議室１１の一方の壁面にはディスプレイ１５が配置されている。 Hereinafter, an example of the embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a diagram schematically showing a configuration of a conference support device 1 in an example of an embodiment of the present invention, and FIG. 2 is an example of an arrangement of a conference room provided with the conference support device 1 of the present embodiment. It is a figure shown. As shown in FIG. 1, the conference support device 1 in the present embodiment includes a photographing device 2, a sound collecting device 3, a photographing unit 4, a sound collecting unit 5, a speaking direction specifying unit 6, a speaker specifying unit 7, and a speaking recording unit. 8. The minutes output unit 9 and the data store 10 are provided. Further, in the conference room 11 provided with the conference support device 1, chairs 13a to 13f are arranged around the desk 12, and six conference participants 14a to 14f can be seated on the chairs 13a to 13f for six people. Meeting room. A display 15 is arranged on one wall surface of the conference room 11.

なお、本実施形態において、会議支援装置１は周知のコンピュータを用いて構成されている。コンピュータのＨＤＤ（ハードディスクドライブ）等の記憶装置に後述する処理を実行するためのプログラムをあらかじめ記録しておき、当該記録したプログラムをＣＰＵ（中央演算装置）が実行することにより、コンピュータを会議支援装置１として機能させるものである。本実施形態では、会議支援装置１は、ソフトウェアおよびハードウェアの協働によって各機能部が実現されている。なお、会議支援装置１はスタンドアロン構成のコンピュータであってもよいし、二台以上のコンピュータで構成するようにしてもよいし、また、インターネットやＬＡＮ（ローカル・エリア・ネットワーク）等の周知のネットワークに接続するように構成してもよい。換言すると、会議支援装置１に含まれる各部のいずれか／全ては、必ずしも物理的に一体に構成される必要はなく、離散して配置されて通信ネットワークを介して実現されてもよい。 In the present embodiment, the conference support device 1 is configured by using a well-known computer. A program for executing a process described later is recorded in advance in a storage device such as a computer's HDD (hard disk drive), and the CPU (central processing unit) executes the recorded program to make the computer a conference support device. It functions as 1. In the present embodiment, each functional unit of the conference support device 1 is realized by the cooperation of software and hardware. The conference support device 1 may be a stand-alone computer, may be composed of two or more computers, or may be a well-known network such as the Internet or a LAN (local area network). It may be configured to connect to. In other words, any / all of the parts included in the conference support device 1 do not necessarily have to be physically integrally configured, and may be arranged discretely and realized via a communication network.

図２で示すように、本実施形態では、会議支援装置１は机１２及び机周囲に配置された椅子１３ａ〜１３ｆを備える会議室１１に設置され、当該会議室１１で行われる会議の内容を議事録として記録し、任意のタイミングで出力するものである。 As shown in FIG. 2, in the present embodiment, the conference support device 1 is installed in the conference room 11 provided with the desk 12 and the chairs 13a to 13f arranged around the desk, and the contents of the conference held in the conference room 11 are displayed. It is recorded as minutes and output at any time.

撮影装置２は、会議室１１で行われる打合せ、ミーティングその他の会議を撮影する装置である。本実施形態における撮影部４は３６０°全周囲を撮影可能な装置であり、会議室１１に設置された机１２の中央に、後述する集音装置３と共に配置されている。 The photographing device 2 is a device for photographing a meeting, a meeting, or other meetings held in the conference room 11. The photographing unit 4 in the present embodiment is a device capable of photographing the entire circumference of 360 °, and is arranged in the center of the desk 12 installed in the conference room 11 together with the sound collecting device 3 described later.

集音装置３は、会議室１１で行われる打合せ、ミーティングその他の会議における音声を集音する装置である。本実施形態において、集音装置３は指向性マイクを環状に並べた指向性マイクアレイであり、３６０°全周囲を集音可能である。本実施形態では、前述の撮影装置２と同様に、集音装置３を机１２の中央に配置する。なお、本実施形態において撮影装置２及び集音装置３は会議支援装置１の本体に内蔵された構成ではなく、通信ケーブルその他により会議支援装置１に接続されている。 The sound collecting device 3 is a device that collects sound in meetings, meetings, and other meetings held in the conference room 11. In the present embodiment, the sound collecting device 3 is a directional microphone array in which directional microphones are arranged in a ring shape, and can collect sound all around 360 °. In the present embodiment, the sound collecting device 3 is arranged in the center of the desk 12 as in the above-described photographing device 2. In the present embodiment, the photographing device 2 and the sound collecting device 3 are not built in the main body of the conference support device 1, but are connected to the conference support device 1 by a communication cable or the like.

撮影部４は、前述の撮影装置２を操作して、会議室１１で行われる会議の参加者の各々を撮影する。前述した通り、本実施形態における撮影装置２は３６０°全周囲を撮影可能な装置であり、当該撮影装置２が会議室１１の机１２中央に配置されている。机１１の周囲には椅子１３ａ〜１３ｆが配置され、当該椅子１３ａ〜１３ｆに会議の参加者１４ａ〜１４ｆが着座した状態において、撮影装置２は全ての上記着座した参加者１４ａ〜１４ｆを撮影することができる。撮影部４は当該撮影した映像から、周知の画像認識方法を用いて上記参加者１４ａ〜１４ｆの各々を認識し、参加者の各々の映像としてデータストア１０に記録する。 The photographing unit 4 operates the above-mentioned photographing device 2 to photograph each of the participants of the conference held in the conference room 11. As described above, the photographing device 2 in the present embodiment is a device capable of photographing the entire circumference of 360 °, and the photographing device 2 is arranged in the center of the desk 12 of the conference room 11. Chairs 13a to 13f are arranged around the desk 11, and in a state where the conference participants 14a to 14f are seated on the chairs 13a to 13f, the photographing device 2 photographs all the seated participants 14a to 14f. be able to. The photographing unit 4 recognizes each of the participants 14a to 14f from the captured image using a well-known image recognition method, and records each of the participants' images in the data store 10.

集音部５は、集音装置３を操作して、会議室１１で行われる会議の参加者の発言を集音する。集音部５が集音した発言は、後述するデータストア１０に記録される。 The sound collecting unit 5 operates the sound collecting device 3 to collect the remarks of the participants of the conference held in the conference room 11. The remarks collected by the sound collecting unit 5 are recorded in the data store 10 described later.

発言方向特定部６は、前述の集音部５が集音しデータストア１０に記録された発言の、所定の基準位置からの方向を特定する。本実施形態では前述の通り机１２の中央に集音装置３が配置されており、上記所定の基準位置は机１２の中央、すなわち、机１２に着座する会議の参加者１４ａ〜１４ｆの中央である。また、前述の通り、本実施形態における集音装置３は３６０°全周囲を集音可能な指向性マイクアレイであり、当該指向性マイクアレイを構成する複数のマイクの各々が集音した音声を解析することにより、当該発言が方向１５ａ〜１５ｆのいずれの方向から発せられたかを特定する。 The speaking direction specifying unit 6 specifies the direction of the speech collected by the sound collecting unit 5 and recorded in the data store 10 from a predetermined reference position. In the present embodiment, as described above, the sound collecting device 3 is arranged at the center of the desk 12, and the predetermined reference position is at the center of the desk 12, that is, at the center of the conference participants 14a to 14f seated on the desk 12. be. Further, as described above, the sound collecting device 3 in the present embodiment is a directional microphone array capable of collecting sound all around 360 °, and collects sound from each of the plurality of microphones constituting the directional microphone array. By analyzing, it is specified from which direction the remark is made from the directions 15a to 15f.

発言者特定部７は、前述の発言方向特定部６が特定した発言の方向と、前述の撮影部４が撮影した参加者の位置に基づいて発言と参加者を紐付ける。 The speaker identification unit 7 associates the speaker with the participant based on the direction of the speech specified by the speech direction identification unit 6 and the position of the participant photographed by the photographing unit 4.

発言記録部８は、前述の集音部５が集音した発言を、前述の発言者特定部７により紐づけた参加者を示す情報とともに後述するストレージ１０に記録する。なお、本実施形態では、参加者を示す情報に、当該参加者が発言した時点における当該参加者を撮影装置２により撮影した映像を含む。 The remark recording unit 8 records the remarks collected by the sound collecting unit 5 described above in the storage 10 described later together with the information indicating the participants linked by the speaker specifying unit 7 described above. In the present embodiment, the information indicating the participant includes an image of the participant taken by the photographing device 2 at the time when the participant speaks.

議事録出力部９は、前述の発言記録部８によりストレージ１０に記録された内容に基づいて会議の議事録を作成し、所定の出力装置に出力する。また、本実施形態では、当該作成される議事録は、集音部５が集音した参加者の発言又は、当該発言を周知の音声認識方法によりテキスト化したテキスト情報と、当該発言と紐づけられた参加者すなわち発言者の映像が含まれる。 The minutes output unit 9 creates the minutes of the meeting based on the contents recorded in the storage 10 by the remark recording unit 8 described above, and outputs the minutes to a predetermined output device. Further, in the present embodiment, the minutes to be created are associated with the remarks of the participants collected by the sound collecting unit 5 or the text information obtained by converting the remarks into text by a well-known voice recognition method and the remarks. Includes footage of the participants or speakers.

データストア１０は、会議支援システム１を機能させる上で必要な情報を記録する媒体である。本実施形態では、会議支援システム１を構成するコンピュータ上に構築したＲＤＢＭＳ（リレーショナルデータベースシステム）と、当該コンピュータが備える二次記憶装置内の所定の領域を用いてデータストア１０を構成している。情報の形式や記録の方法等は任意に選択してよく、例えば、撮影装置２が撮影した映像及び集音装置３が集音した音声は二次記憶装置の所定の領域に配置し、当該配置した情報に関するメタデータ、例えば、撮影した映像がいずれの参加者を撮影したものかを示す情報等をＲＤＢＭＳに記録するようにしてよい。 The data store 10 is a medium for recording information necessary for the conference support system 1 to function. In the present embodiment, the data store 10 is configured by using an RDBMS (relational database system) constructed on a computer constituting the conference support system 1 and a predetermined area in a secondary storage device included in the computer. The format of the information, the recording method, and the like may be arbitrarily selected. For example, the video captured by the photographing device 2 and the sound collected by the sound collecting device 3 are arranged in a predetermined area of the secondary storage device, and the arrangement thereof. Metadata related to the information obtained, for example, information indicating which participant the captured video was captured, and the like may be recorded in the RDBMS.

以上が、本実施形態における会議支援装置１の構成である。次いで、本実施形態における会議支援装置１の処理の流れについて説明する。図３は、図３は、本実施形態における会議支援装置１の処理の流れを示したフロー図である。 The above is the configuration of the conference support device 1 in the present embodiment. Next, the processing flow of the conference support device 1 in the present embodiment will be described. FIG. 3 is a flow chart showing a processing flow of the conference support device 1 in the present embodiment.

前述のように、本実施形態の会議支援装置１を配置した会議室１１の中央には、机１２が配置されている。机１２の周囲には６脚の椅子１３ａ〜１３ｂが設けられており、６人の参加者１４ａ〜１４ｆが着座することができる。また、会議室１１の一の壁面にはディスプレイ１５が設置されている。 As described above, the desk 12 is arranged in the center of the conference room 11 in which the conference support device 1 of the present embodiment is arranged. Six chairs 13a to 13b are provided around the desk 12, and six participants 14a to 14f can be seated. A display 15 is installed on one wall surface of the conference room 11.

また、机１２の中央には撮影装置２及び集音装置３が配置されている。本実施形態の会議支援装置１は、当該撮影装置２及び集音装置３を用いて、会議における参加者１４ａ〜１４ｆの発言を、当該発言を行った参加者を撮影した映像と紐づけて記録するものである。 Further, a photographing device 2 and a sound collecting device 3 are arranged in the center of the desk 12. The conference support device 1 of the present embodiment uses the photographing device 2 and the sound collecting device 3 to record the remarks of the participants 14a to 14f in the conference in association with the images of the participants who made the remarks. Is what you do.

会議が開始され、会議支援装置１が機能した状態において、会議支援装置１は、撮影部４により撮影装置２を操作して参加者１４ａ〜１４ｆの各々を撮影する（ステップＳ１０１）。 When the conference is started and the conference support device 1 is functioning, the conference support device 1 operates the photographing device 2 by the photographing unit 4 to photograph each of the participants 14a to 14f (step S101).

具体的には、本実施形態の撮影装置２は前述のように３６０度全周囲を撮影可能な装置である。撮影装置２が机１２の中央に配置されることにより、当該撮影装置２は机１２周辺の椅子１３ａ〜１３ｆのそれぞれに着座する参加者１４ａ〜１４ｆを正面から撮影することができる。ステップＳ１０１では、撮影装置２が撮影した映像から、周知の画像認識方法により参加者１４ａ〜１４ｆの各々の映像を抽出する。また、当該抽出した際には、撮影部４は、参加者１４ａ〜１４ｆのそれぞれが、撮影装置２が撮影した映像、すなわち、会議室１１を机１２の中央から撮影した映像の何れの位置から抽出したかを記録する。なお、当該記録は、データストア１０に記録してもよいし、或いは、会議支援装置１の一次記憶装置に記憶してもよい。 Specifically, the photographing device 2 of the present embodiment is a device capable of photographing the entire circumference of 360 degrees as described above. By arranging the photographing device 2 in the center of the desk 12, the photographing device 2 can photograph the participants 14a to 14f seated on the chairs 13a to 13f around the desk 12 from the front. In step S101, each of the images of the participants 14a to 14f is extracted from the image captured by the photographing device 2 by a well-known image recognition method. Further, at the time of the extraction, the photographing unit 4 takes the image taken by the photographing device 2 by each of the participants 14a to 14f, that is, from any position of the image taken from the center of the desk 12 in the conference room 11. Record whether it was extracted. The record may be recorded in the data store 10 or may be stored in the primary storage device of the conference support device 1.

また、会議支援装置１は、前述のステップＳ１０１と平行して、集音部５により集音装置３を操作して参加者１４ａ〜１４ｆの発言を集音する（ステップＳ１０２）。 Further, the conference support device 1 operates the sound collecting device 3 by the sound collecting unit 5 in parallel with the above-mentioned step S101 to collect the remarks of the participants 14a to 14f (step S102).

次いで、本実施形態の会議支援装置１は、前述のステップＳ１０２により集音した参加者の発言について、発言方向特定部６により当該発言の所定の基準位置からの方向を特定する（ステップＳ１０３）。 Next, the conference support device 1 of the present embodiment specifies the direction of the participant's speech collected in step S102 from the predetermined reference position by the speech direction specifying unit 6 (step S103).

前述の通り、本実施形態の集音装置３は机１２の中央に配置され３６０度全周囲を集音可能な装置であり、具体的には、複数の指向性マイクを環状に並べた指向性マイクアレイである。ステップＳ１０３は、前述のステップ１０２において当該集音装置３により集音した発言、具体的には、集音装置３を構成する指向性マイクが集音した発言に基づいて、当該発言が、図２で示す方向１６ａ〜１６ｆの何れの方向からの発言であるかを特定する。なお、当該方向１６ａ〜１６ｆは、机１２の中央を所定の基準位置１７とした方向である。 As described above, the sound collecting device 3 of the present embodiment is a device that is arranged in the center of the desk 12 and is capable of collecting sound 360 degrees all around, and specifically, a directivity in which a plurality of directional microphones are arranged in a ring shape. It is a microphone array. In step S103, the remark is based on the remark collected by the sound collecting device 3 in the above-mentioned step 102, specifically, the remark collected by the directional microphone constituting the sound collecting device 3, FIG. It is specified from which of the directions 16a to 16f indicated by the above. The directions 16a to 16f are directions in which the center of the desk 12 is set as a predetermined reference position 17.

ステップＳ１０３により発言の方向が特定されると、会議支援装置１は、発言者特定部７により、ステップＳ１０２で集音した発言を、ステップＳ１０１で撮影した参加者１４ａ〜１４ｆのいずれかを紐づける（ステップＳ１０４）。このステップＳ１０３により、会議中の発言の各々が、参加者１４ａ〜１４ｆの何れの参加者の発言であるかを特定することができる。 When the direction of the speech is specified in step S103, the conference support device 1 associates the speech collected in step S102 with any of the participants 14a to 14f photographed in step S101 by the speaker identification unit 7. (Step S104). By this step S103, it is possible to specify which of the participants 14a to 14f is the remark of each of the remarks during the meeting.

ステップＳ１０４により発言と参加者が紐づけられると、会議支援装置１は、発言記録部８により、ステップＳ１０２で集音した発言を、ステップＳ１０４で特定した参加者を示す情報と共にデータストア１０に記録する（ステップＳ１０５）。記録の形式や方法は任意に選択してよく、例えば、本実施形態におけるデータストア１０はＲＤＢＭＳと二次記憶領域内の所定の領域から構成されているが、ステップＳ１０２で集音した発言を音声ファイル、ステップＳ１０１で撮影した参加者の当該発言を行った時点における映像ファイルをそれぞれ二次記憶領域内の所定の領域に記録すると共に、音声ファイルと映像ファイルを紐づける情報をＲＤＢＭＳに記録するようにして良い。なお、ステップＳ１０１〜Ｓ１０５の処理は、会議が行われている間、繰り返し実行される。 When the remark and the participant are associated with each other in step S104, the conference support device 1 records the remark collected in step S102 in the data store 10 together with the information indicating the participant identified in step S104 by the remark recording unit 8. (Step S105). The recording format and method may be arbitrarily selected. For example, the data store 10 in the present embodiment is composed of an RDBMS and a predetermined area in the secondary storage area, and the remarks collected in step S102 are voiced. The file and the video file at the time when the participant made the remark taken in step S101 are recorded in a predetermined area in the secondary storage area, and the information linking the audio file and the video file is recorded in RDBMS. You can do it. The processes of steps S101 to S105 are repeatedly executed while the meeting is being held.

会議が終了した後、或いは、会議中の任意のタイミングにおいて、会議支援装置１は、議事録出力部９により、データストア１０に記録された内容、すなわち、会議における発言と当該発言を行った参加者を紐づけた情報に基づいて、会議の議事録を作成し、所定の出力装置に出力する（ステップＳ１０６）。なお、本実施形態では、議事録は会議室１３が備えるディスプレイ１５に表示される。 After the meeting is over, or at any time during the meeting, the meeting support device 1 uses the minutes output unit 9 to record the contents recorded in the data store 10, that is, the remarks made in the meeting and the participation in which the remarks are made. Based on the information associated with the persons, the minutes of the meeting are created and output to a predetermined output device (step S106). In the present embodiment, the minutes are displayed on the display 15 provided in the conference room 13.

図４は、ディスプレイ１５に表示される議事録画面の構成を模式的に示した図である。図５で示すように、議事録画面Ｗ１００は、参加者領域Ｗ１１０と、発言履歴領域Ｗ１２０から構成される。 FIG. 4 is a diagram schematically showing the configuration of the proceedings recording surface displayed on the display 15. As shown in FIG. 5, the proceedings recording surface W100 is composed of a participant area W110 and a remark history area W120.

参加者領域Ｗ１１０は、会議室１１における会議の参加者を表示する領域であり、参加者１４ａ〜１４ｆを撮影部４で撮影した映像Ｗ１１１ａ〜Ｗ１１１ｆが表示されている。なお、映像Ｗ１１１ａ〜Ｗ１１１ｆは静止画であってもよいし、動画であってもよい。 The participant area W110 is an area for displaying the participants of the conference in the conference room 11, and the images W111a to W111f obtained by shooting the participants 14a to 14f by the photographing unit 4 are displayed. The images W111a to W111f may be still images or moving images.

発言履歴領域Ｗ１２０は、会議室１１における会議の議事録を、発言ごとに時系列順に並べて表示する領域であり、各発言は、発言者Ｗ１２１と、発言内容Ｗ１２２から構成されている。 The remark history area W120 is an area for displaying the minutes of the meeting in the conference room 11 in chronological order for each remark, and each remark is composed of the speaker W121 and the remark content W122.

発言者Ｗ１２１及び発言内容Ｗ１２２、ステップＳ１０４でデータストア１０に記録された情報に基づいて表示された映像及びテキスト情報である。本実施形態では、発言ごとに、当該発言を行った時点における発言者の映像を発言者Ｗ１２１に表示するとともに、当該発言を周知の音声認識方法によりテキスト化した情報を発言内容Ｗ１２２に表示する。 The video and text information displayed based on the information recorded in the data store 10 in the speaker W121, the content of the statement W122, and step S104. In the present embodiment, for each remark, the video of the speaker at the time of making the remark is displayed on the speaker W121, and the information obtained by converting the remark into a text by a well-known voice recognition method is displayed on the remark content W122.

本実施形態の説明は以上である。なお、本発明の実施の形態は前述の例に限られない。例えば、本実施形態では、３６０度全周囲を撮影可能な撮影装置２を机１２の中央に配置する構成としたが、会議の参加者の各々を撮影可能であれば、例えば会議室１１の一の壁面に画角の広い撮影装置を複数設置して撮影装置２としてもよい。また、撮影装置２を複数配置して３６０度全周囲を撮影してもよい。 This is the end of the description of this embodiment. The embodiment of the present invention is not limited to the above-mentioned example. For example, in the present embodiment, the photographing device 2 capable of photographing the entire circumference of 360 degrees is arranged in the center of the desk 12, but if each of the participants of the conference can be photographed, for example, one of the conference rooms 11 A plurality of photographing devices having a wide angle of view may be installed on the wall surface of the camera to serve as the photographing device 2. Further, a plurality of photographing devices 2 may be arranged to photograph the entire 360-degree surroundings.

また、集音装置３についても、本実施形態では複数の指向性マイクを環状に配した指向性マイクアレイを用いたが、例えば会議室１１の一の壁面に指向性マイクを直線状に配して集音装置３としてもよい。 Further, as for the sound collecting device 3, in the present embodiment, a directional microphone array in which a plurality of directional microphones are arranged in a ring shape is used, but for example, the directional microphones are arranged linearly on one wall surface of the conference room 11. The sound collecting device 3 may be used.

また、上記実施形態では、本会議支援装置１が６人で構成される会議において用いられる例について説明しているが、本会議支援装置１を適用可能な会議の構成人数、使用される什器については、特に限定されず、適宜変更が可能である。 Further, in the above embodiment, an example in which the plenary session support device 1 is used in a conference composed of six people is described, but the number of members of the conference to which the plenary session support device 1 can be applied and the fixtures used are described. Is not particularly limited and can be changed as appropriate.

その他の構成についても、本発明の趣旨を逸脱しない範囲において様々な変更が可能である。 Various changes can be made to other configurations as long as the gist of the present invention is not deviated.

１ 会議支援装置
２ 撮影装置
３ 集音装置
４ 撮影部
５ 集音部
６ 発言方向特定部
７ 発言者特定部
８ 発言記録部
９ 議事録出力部
１０ データストア

1 Conference support device 2 Shooting device 3 Sound collecting device 4 Shooting section 5 Sound collecting section 6 Speaking direction specifying section 7 Speaker specifying section 8 Speaking recording section 9 Minutes output section 10 Data store

Claims (6)

撮影装置と集音装置を備える会議支援装置であって、
前記撮影装置により会議における参加者の各々を撮影する撮影部と、
前記集音装置により前記参加者の発言を集音する集音部と、
前記集音した発言の、所定の基準位置からの方向を特定する、発言方向特定部と、
前記発言方向特定部によって特定された方向と、前記撮影部によって撮影された前記参加者の位置と、 に基づいて、前記発言を前記参加者のいずれかと紐付ける、発言者特定部と、
を備える会議支援装置。 It is a conference support device equipped with a shooting device and a sound collecting device.
A shooting unit that shoots each of the participants in the conference with the shooting device,
A sound collecting unit that collects the remarks of the participants by the sound collecting device, and
A speech direction specifying unit that specifies the direction of the collected speech from a predetermined reference position, and
A speaker identification unit that associates the statement with any of the participants based on the direction specified by the speech direction specifying unit and the position of the participant photographed by the photographing unit.
Meeting support device equipped with. 前記会議支援装置は、さらに、前記発言を前記特定した参加者を示す情報とともに記録する発言記録部を備える、
請求項１記載の会議支援装置。 The conference support device further includes a speech recording unit that records the speech together with information indicating the identified participant.
The conference support device according to claim 1. 前記参加者を示す情報が、前記参加者が前記発言をした時点における前記参加者を撮影した映像を含む、
請求項２記載の会議支援装置。 The information indicating the participant includes a video of the participant at the time when the participant makes the statement.
The conference support device according to claim 2. 前記会議支援装置は、さらに、前記発言記録部の記録内容に基づいて、前記会議の議事録を出力する前記議事録出力部を備え、
前記議事録は、前記発言に関し、テキスト情報若しくは音声情報と、発言者の画像情報と、を含む
請求項２又は３に記載の会議支援装置。 The conference support device further includes the minutes output unit that outputs the minutes of the conference based on the recorded contents of the remark recording unit.
The meeting support device according to claim 2 or 3, wherein the minutes include text information or voice information and image information of the speaker in relation to the remark. 前記撮影装置は３６０度全周囲を撮影可能な撮影装置であり、
前記集音装置は３６０度全周囲を集音可能な集音装置である、
請求項１〜４のいずれかに記載の会議支援装置。 The photographing device is a photographing device capable of photographing the entire circumference of 360 degrees.
The sound collector is a sound collector capable of collecting sound 360 degrees all around.
The conference support device according to any one of claims 1 to 4. コンピュータを請求項１〜５のいずれかに記載の会議支援装置として機能させるプログラム。

A program that causes a computer to function as the conference support device according to any one of claims 1 to 5.
JP2019237702A 2019-12-27 2019-12-27 Conference support device Pending JP2021105688A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019237702A JP2021105688A (en) 2019-12-27 2019-12-27 Conference support device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019237702A JP2021105688A (en) 2019-12-27 2019-12-27 Conference support device

Publications (1)

Publication Number Publication Date
JP2021105688A true JP2021105688A (en) 2021-07-26

Family

ID=76919613

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019237702A Pending JP2021105688A (en) 2019-12-27 2019-12-27 Conference support device

Country Status (1)

Country Link
JP (1) JP2021105688A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4231632A1 (en) 2022-02-17 2023-08-23 Ricoh Company, Ltd. Display system, display method, and carrier medium

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005197867A (en) * 2004-01-05 2005-07-21 Fuji Photo Film Co Ltd System and method for conference progress support and utterance input apparatus
JP2005274707A (en) * 2004-03-23 2005-10-06 Sony Corp Information processing apparatus and method, program, and recording medium
JP2010081644A (en) * 2009-12-07 2010-04-08 Ricoh Co Ltd Image output device, and image output method
JP2016051081A (en) * 2014-08-29 2016-04-11 本田技研工業株式会社 Device and method of sound source separation
JP2017108240A (en) * 2015-12-08 2017-06-15 シャープ株式会社 Information processing apparatus and information processing method
JP2018049080A (en) * 2016-09-20 2018-03-29 株式会社リコー Communication system, information processing device, program, communication method
JP2018169473A (en) * 2017-03-29 2018-11-01 本田技研工業株式会社 Voice processing device, voice processing method and program
JP2019176375A (en) * 2018-03-29 2019-10-10 株式会社アドバンスト・メディア Moving image output apparatus, moving image output method, and moving image output program

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005197867A (en) * 2004-01-05 2005-07-21 Fuji Photo Film Co Ltd System and method for conference progress support and utterance input apparatus
JP2005274707A (en) * 2004-03-23 2005-10-06 Sony Corp Information processing apparatus and method, program, and recording medium
JP2010081644A (en) * 2009-12-07 2010-04-08 Ricoh Co Ltd Image output device, and image output method
JP2016051081A (en) * 2014-08-29 2016-04-11 本田技研工業株式会社 Device and method of sound source separation
JP2017108240A (en) * 2015-12-08 2017-06-15 シャープ株式会社 Information processing apparatus and information processing method
JP2018049080A (en) * 2016-09-20 2018-03-29 株式会社リコー Communication system, information processing device, program, communication method
JP2018169473A (en) * 2017-03-29 2018-11-01 本田技研工業株式会社 Voice processing device, voice processing method and program
JP2019176375A (en) * 2018-03-29 2019-10-10 株式会社アドバンスト・メディア Moving image output apparatus, moving image output method, and moving image output program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4231632A1 (en) 2022-02-17 2023-08-23 Ricoh Company, Ltd. Display system, display method, and carrier medium

Similar Documents

Publication Publication Date Title
KR101238586B1 (en) Automatic face extraction for use in recorded meetings timelines
US9628908B2 (en) Sound collection method and electronic device
WO2019184650A1 (en) Subtitle generation method and terminal
WO2020119032A1 (en) Biometric feature-based sound source tracking method, apparatus, device, and storage medium
JP2000125274A (en) Method and system to index contents of conference
KR101508092B1 (en) Method and system for supporting video conference
JP7427408B2 (en) Information processing device, information processing method, and information processing program
JP5930276B2 (en) Image processing apparatus, image processing method, image processing system, and program
TWM594323U (en) Intelligent meeting record system
US20230231973A1 (en) Streaming data processing for hybrid online meetings
KR101077267B1 (en) Stenography Input System And Method For Conference Using Face Recognition
JP2021105688A (en) Conference support device
JP2016010010A (en) Imaging apparatus with voice input and output function and video conference system
CN114666454A (en) Intelligent conference system
JP2005197867A (en) System and method for conference progress support and utterance input apparatus
JP5573402B2 (en) CONFERENCE SUPPORT DEVICE, CONFERENCE SUPPORT METHOD, CONFERENCE SUPPORT PROGRAM, AND RECORDING MEDIUM
KR20190029999A (en) System for generating documents of minutes by using multi-connection and the method thereof
JP7361460B2 (en) Communication devices, communication programs, and communication methods
JP2017163466A (en) Information processor and conference system
JP2008160667A (en) Communication conference device
JP7353057B2 (en) Recording systems and programs
JP6860178B1 (en) Video processing equipment and video processing method
JP2001266148A (en) Public performance evaluation system
TW201939483A (en) Voice system and voice detection method
KR20230005641A (en) Automatic meeting minutes generation system with multi-connection settings

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230815

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231016

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240312

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240425