JP2005295015A - Video meeting system - Google Patents
Video meeting system Download PDFInfo
- Publication number
- JP2005295015A JP2005295015A JP2004104326A JP2004104326A JP2005295015A JP 2005295015 A JP2005295015 A JP 2005295015A JP 2004104326 A JP2004104326 A JP 2004104326A JP 2004104326 A JP2004104326 A JP 2004104326A JP 2005295015 A JP2005295015 A JP 2005295015A
- Authority
- JP
- Japan
- Prior art keywords
- conference
- data
- video
- terminal
- minutes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Telephonic Communication Services (AREA)
Abstract
Description
本発明は、映像会議システムに関し、特に通信回線を介して接続されるカメラと表示装置を用いた映像会議システムに関するものである。 The present invention relates to a video conference system, and more particularly to a video conference system using a camera and a display device connected via a communication line.
近年、カメラ映像を用いた会議システムについては、各種のシステムが提案、構築されている。
例えば、特開平１０−１７８６２４号「テレビ会議システム」には、回線で接続された複数の端末装置間で音声及び画像を含む多重化データを送受信して、一方の端末装置で入力した画像及び音声を他の端末装置で出力するテレビ会議システムが提案されている。
In recent years, various types of conference systems using camera images have been proposed and constructed.
For example, in Japanese Patent Laid-Open No. 10-178624 “video conference system”, multiplexed data including audio and images is transmitted / received between a plurality of terminal devices connected by a line, and images and audio input from one terminal device are transmitted. There has been proposed a video conference system that outputs the video on other terminal devices.
また例えば、特開２００３−２５５９７９号「データ編集方法、データ編集装置、データ編集プログラム」には、会議中の会議音声及び映像情報を入力する会議音声・映像入力部と、この会議音声・映像入力部から入力された会議音声および映像情報を蓄積する会議音声・映像データベースと、入力された音声情報及び映像情報から音声議事録と、テキスト議事録と、映像インデクシングとを作成する会議録作成部とによって構成したデータ編集装置等が提案されている。 Also, for example, Japanese Patent Laid-Open No. 2003-255879 “Data Editing Method, Data Editing Device, Data Editing Program” includes a conference audio / video input unit for inputting conference audio and video information during a conference, and the conference audio / video input. A conference audio / video database for storing conference audio and video information input from the unit, a conference minutes generating unit for generating audio minutes, text minutes, and video indexing from the input audio information and video information; There has been proposed a data editing device or the like constituted by the above.
また例えば、特開平１０−１３６３２７号「ディスクトップ会議システム」には、会議出席者の音声を通信システムを介して受信し、この出席者の音声信号に対応した受信者が理解できる言語の文字データを音声理解装置に得、この文字データを受信者が理解できる言語の文字または音声で受け取るかを切換モード部で設定し、この設定に応じて翻訳変換処理部により文字データを各言語の文字データまたは音声データに翻訳し、翻訳した文字または音声データを各言語の文章又は音声に変換して受信映像と共にディスプレイに字幕表示又はエディタに記録表示、さらには音声合成装置で合成して音声で出力する会議システムが提案されている。 Further, for example, Japanese Patent Laid-Open No. 10-136327 “Desktop Conference System” receives character data of a conference attendee via a communication system, and character data in a language that can be understood by the recipient corresponding to the voice signal of the attendee. Is set in the switching mode section to determine whether the character data is received in a language or voice in a language that can be understood by the receiver, and according to this setting, the character data is converted into the character data in each language by the translation conversion processing section. Or translated into speech data, translated text or speech data is converted into text or speech in each language and displayed with captions on the display or recorded on the editor together with the received video, and further synthesized with a speech synthesizer and output as speech A conference system has been proposed.
上述したように従来の映像会議システムに関する技術として、例えば特許文献１〜３等がある。 As described above, there are, for example, Patent Documents 1 to 3 as techniques related to the conventional video conference system.
上述した従来の各種会議システムにおいては、カメラが撮像した映像データを通信回線に接続された複数の端末の少なくとも１つに表示し、マイクに入力された音声をテキストデータに変換し、このテキストデータを所定の議事録に記録し、この記録した議事録を通信回線に接続された複数の端末に表示可能とすることができないという問題点があった。 In the conventional various conference systems described above, video data captured by a camera is displayed on at least one of a plurality of terminals connected to a communication line, and voice input to a microphone is converted into text data. Is recorded in a predetermined minutes, and the recorded minutes cannot be displayed on a plurality of terminals connected to the communication line.
また、上述した従来の各種会議システムにおいては、所定の会議項目と会議時間を設定した議事録フォーマットを有し、カメラが撮像した映像データと共に議事録フォーマットを通信回線に接続された端末の少なくとも１つに表示し、且つ、計時手段に基づいて議事の進行に伴う時間の経過を示すタイマ表示を議事録フォーマットに行うことができないという問題点があった。 In addition, the conventional various conference systems described above have a minutes format in which predetermined meeting items and a meeting time are set, and at least one terminal connected to the communication line with the minutes format together with video data captured by the camera. In addition, there is a problem that it is not possible to display the timer format in the minutes format indicating the passage of time as the proceedings proceed based on the timekeeping means.
さらに、上述した従来の各種会議システムにおいては、カメラが撮像した映像データを通信回線に接続された複数の端末の少なくとも１つに表示し、マイクに入力された音声をテキストデータに変換し、このテキストデータを所定の言語に翻訳し、この翻訳データとテキストデータとをリンクして所定の議事録フォーマットに記録し、この記録された議事録フォーマットを通信回線に接続された複数の端末に表示可能とすることができないという問題点があった。
本発明は上記従来技術に鑑みて為されたもので、上記の問題点を解決することを目的とする。
Furthermore, in the conventional various conference systems described above, video data captured by the camera is displayed on at least one of a plurality of terminals connected to the communication line, and voice input to the microphone is converted into text data. Text data is translated into a predetermined language, the translation data and text data are linked and recorded in a predetermined minutes format, and the recorded minutes format can be displayed on multiple terminals connected to a communication line There was a problem that could not be.
The present invention has been made in view of the above prior art, and aims to solve the above-described problems.
上記従来の問題点を解決するため請求項１に記載の発明は、音声入力手段と、表示部とを備えた会議端末と、少なくとも１つの撮像手段と、前記会議端末が通信回線を介して複数接続された映像会議システムにおいて、前記撮像手段が撮像した映像データを前記接続された会議端末の少なくとも１つの会議端末の表示部に表示する映像表示手段と、前記音声入力手段に入力された音声をテキストデータに変換する音声変換手段と、該変換されたテキストデータを所定の言語に翻訳する翻訳手段と、該翻訳された翻訳データと前記テキストデータとリンクして議事録フォーマットに記録する音声テキスト記録手段と、該記録された議事録フォーマットを前記接続された複数の会議端末の表示部に表示可能とする議事録表示手段と、より構成されることを特徴とする。 In order to solve the above-mentioned conventional problems, the invention according to claim 1 is a conference terminal including voice input means, a display unit, at least one imaging means, and a plurality of the conference terminals via a communication line. In a connected video conference system, video display means for displaying video data picked up by the image pickup means on a display unit of at least one conference terminal of the connected conference terminal, and audio input to the audio input means Voice conversion means for converting into text data, translation means for translating the converted text data into a predetermined language, and voice text recording linked to the translated data and the text data and recorded in a minutes format And a minutes display means for displaying the recorded minutes format on the display units of the plurality of connected conference terminals. It is characterized in.
また、上記従来の問題点を解決するため請求項２に記載の発明は、前記請求項１に記載の映像会議システムであって、前記会議端末は音声出力手段を有し、前記音声入力手段に入力された音声、若しくは前記翻訳された翻訳データに基づいて音声変換された翻訳音声の何れかを前記音声出力手段より出力することを特徴とする。 Further, in order to solve the above-described conventional problems, the invention according to claim 2 is the video conference system according to claim 1, wherein the conference terminal includes voice output means, and the voice input means includes Either the input speech or the translated speech converted into speech based on the translated translation data is output from the speech output means.
また、上記従来の問題点を解決するため請求項３に記載の発明は、前記請求項２に記載の映像会議システムであって、前記撮像手段が撮像した映像データ及び前記音声入力手段に基づいて音声の発生があったことを検出する動き検出手段を有し、当該動き検出手段の動き出しのタイミングに合致させて前記通信回線に接続された複数の会議端末の表示部及び音声出力手段に各々映像データ及び入力音声若しくは翻訳音声を出力することを特徴とする。 In order to solve the above-described conventional problems, the invention according to claim 3 is the video conference system according to claim 2, wherein the video data captured by the imaging unit and the audio input unit are used. A motion detection means for detecting the occurrence of sound, and a video on each of the display units and the sound output means of a plurality of conference terminals connected to the communication line in accordance with the start timing of the motion detection means; Data and input speech or translated speech are output.
また、上記従来の問題点を解決するため請求項４に記載の発明は、前記請求項２または請求項３に記載の映像会議システムであって、前記会議端末は、会議参加者の登録を行うことにより当該会議端末の音声入力手段及び撮像手段を有効と判断する参加者登録手段を有し、該参加者登録手段は、少なくとも当該会議端末にて使用する言語を登録する言語登録手段を有し、該言語登録手段により登録された言語を前記所定の言語に翻訳する前記音声変換手段と、前記所定の言語を当該会議端末にて使用する言語に翻訳する前記音声出力手段と、を備えたことを特徴とする。 In order to solve the above-mentioned conventional problems, the invention described in claim 4 is the video conference system according to claim 2 or 3, wherein the conference terminal registers a conference participant. A participant registration unit that determines that the voice input unit and the imaging unit of the conference terminal are valid, and the participant registration unit includes a language registration unit that registers at least a language used in the conference terminal. The voice conversion means for translating the language registered by the language registration means into the predetermined language; and the voice output means for translating the predetermined language into a language used in the conference terminal. It is characterized by.
また、上記従来の問題点を解決するため請求項５に記載の発明は、前記請求項４に記載の映像会議システムであって、前記音声テキスト記録手段は、当該音声が入力された会議端末の固有情報、若しくは当該会議端末に登録された会議参加者の固有情報と共に記録することを特徴とする。 Further, in order to solve the above-mentioned conventional problems, the invention according to claim 5 is the video conference system according to claim 4, wherein the voice text recording means is provided for a conference terminal to which the voice is input. It is recorded together with unique information or unique information of conference participants registered in the conference terminal.
また、上記従来の問題点を解決するため請求項６に記載の発明は、前記請求項１乃至請求項５に記載の映像会議システムであって、前記議事録フォーマットを予め設定された情報端末または所定の手続により設定した情報端末に送信する議事録送信手段と、該送信された議事録フォーマットを受信した前記情報端末は、当該議事録フォーマットにアクセスして当該情報端末の固有データを記録することにより当該議事録フォーマットを承認する議事録承認手段とを備えたことを特徴とする。 In order to solve the above-mentioned conventional problems, the invention according to claim 6 is the video conference system according to claim 1 to claim 5, wherein the minutes format is set in advance. The minutes transmitting means for transmitting to the information terminal set by a predetermined procedure, and the information terminal receiving the transmitted minutes format accesses the minutes format and records the unique data of the information terminal. And a minutes approval means for approving the minutes format.
本発明により、カメラが撮像した映像データを通信回線に接続された複数の会議端末の少なくとも１つに表示し、マイクに入力された音声をテキストデータに変換し、このテキストデータを所定の議事録に記録し、この記録した議事録を通信回線に接続された複数の会議端末に表示可能とする映像会議システムを提供することができる。 According to the present invention, video data captured by a camera is displayed on at least one of a plurality of conference terminals connected to a communication line, voice input to a microphone is converted into text data, and the text data is converted into a predetermined minutes. It is possible to provide a video conference system in which the recorded minutes can be displayed on a plurality of conference terminals connected to a communication line.
また、本発明により、所定の会議項目と会議時間を設定した議事録フォーマットを有し、カメラが撮像した映像データと共に議事録フォーマットを通信回線に接続された複数の会議端末の少なくとも１つに表示し、且つ、計時手段に基づいて議事の進行に伴う時間の経過を示すタイマ表示を議事録フォーマットに行う映像会議システムを提供することができる。 Further, according to the present invention, there is a minutes format in which a predetermined meeting item and a meeting time are set, and the minutes format is displayed on at least one of a plurality of meeting terminals connected to a communication line together with video data captured by the camera. In addition, it is possible to provide a video conference system that displays a timer display indicating the passage of time along with the proceeding of the proceedings in the minutes format based on the time measuring means.
さらに、本発明により、カメラが撮像した映像データを通信回線に接続された複数の会議端末の少なくとも１つに表示し、マイクに入力された音声をテキストデータに変換し、このテキストデータを所定の言語に翻訳し、この翻訳データとテキストデータとをリンクして所定の議事録フォーマットに記録し、この記録された議事録フォーマットを通信回線に接続された複数の会議端末に表示可能とする映像会議システムを提供することができる。 Further, according to the present invention, the video data captured by the camera is displayed on at least one of a plurality of conference terminals connected to the communication line, the voice input to the microphone is converted into text data, and the text data is converted into predetermined data. Video conference that translates into language, links this translation data and text data, records it in a predetermined minutes format, and displays the recorded minutes format on multiple conference terminals connected to the communication line A system can be provided.
本発明の実施の形態について図面を参照しながら説明する。
図１は、本発明の実施の形態である映像会議システムのブロック図の第１実施例を示す。
会議室１０には、会議室全体を撮影するカメラ１３と、このカメラ１３で撮影した映像を表示する大型の表示装置１２が備えられ、また、会議への参加者毎に会議端末１１（１１−１、１１−２、１１−３、・・・、１１−ｎ）が備えられる。
そして、これらはネットワーク１８としてサーバ１４に接続される。
また、ネットワーク１８は他のネットワーク１９に接続された承認端末１５や他の会議端末１６に接続することで、これらのネットワーク１９に接続された情報端末も映像会議に参加することができる。
サーバ１４には、会議のための各種のデータベース（メモリテーブル）が記憶されており、会議が開催されると、議事録の作成、及び、議事進行の時間管理を行う。
Embodiments of the present invention will be described with reference to the drawings.
FIG. 1 shows a first example of a block diagram of a video conference system according to an embodiment of the present invention.
The conference room 10 includes a camera 13 that captures the entire conference room, and a large display device 12 that displays video captured by the camera 13, and a conference terminal 11 (11-) for each participant in the conference. 1, 11-2, 11-3,..., 11-n).
These are connected to the server 14 as a network 18.
Further, by connecting the network 18 to the approval terminal 15 or the other conference terminal 16 connected to the other network 19, the information terminal connected to the network 19 can also participate in the video conference.
The server 14 stores various databases (memory tables) for the conference. When the conference is held, the minutes are created and the proceeding time is managed.
会議が開催される場合、会議室１０内の各参加者に対して会議端末１１がそれぞれ設置され、各参加者全体をカメラ１３にて撮影し、この撮影した映像を表示装置１２に表示する。
サーバ１４は、ネットワーク１８を介して会議端末１１、カメラ１３、表示装置１２を制御し、例えば会議に使用する資料を予め記憶しておき、必要に応じて、撮影している会議室の映像から切り替えて、若しくは会議室の映像と共に表示装置１２に表示する。
When a meeting is held, a conference terminal 11 is installed for each participant in the conference room 10, and each participant is photographed by the camera 13 and the photographed video is displayed on the display device 12.
The server 14 controls the conference terminal 11, the camera 13, and the display device 12 via the network 18, for example, stores in advance materials used for the conference, and if necessary, from the video of the conference room being photographed. Switching or displaying on the display device 12 together with the video of the conference room.
また、ネットワーク１８は他のネットワーク１９に接続された承認端末１５に接続されて会議の内容をメール機能等により送信し、承認端末１５より承認データを受信（返信）することで会議の承認を得ることができる。
さらに、他のネットワーク１９に接続された他の会議端末１６に接続することで、この他の会議端末１６も映像会議に参加することができる。
Further, the network 18 is connected to the approval terminal 15 connected to the other network 19, transmits the content of the conference by a mail function or the like, and receives (replies) the approval data from the approval terminal 15 to obtain the approval of the conference. be able to.
Further, by connecting to another conference terminal 16 connected to another network 19, this other conference terminal 16 can also participate in the video conference.
図１１は、本発明の実施の形態である会議システムの概略イメージを示す。
この図１１は前述した図１のシステムブロック図を実際の会議を行う場合のイメージ図とした場合の実施例を示す。
会議室には、各々の会議参加者毎に会議端末１１（１１−１、１１−２、１１−３、・・・、１１−ｎ）が備えられており、各会議端末１１はモニタを備えたパソコンとカメラやマイクが備えられている。
また、会議室には大型の表示装置１２が備えられ、また、会議室全体を撮影するカメラ１３が備えられている。
そして、各会議端末１１、表示装置１２、カメラ１３、は、サーバ１４にネットワーク接続されており、またサーバ１４は他のネットワーク等と接続され、例えば、携帯電話ネットワークと接続されて、所定の携帯電話に当該会議の各種情報をメール送信し、若しくは各種情報をメール受信するシステムである。
ここで、本実施例における表示装置１２の表示画面例は、会議室全体を表示しつつ、発言者をポップアップ表示した場合の表示の一例を示すものである。
FIG. 11 shows a schematic image of the conference system according to the embodiment of the present invention.
FIG. 11 shows an embodiment in which the above-described system block diagram of FIG. 1 is used as an image diagram when an actual meeting is performed.
In the conference room, a conference terminal 11 (11-1, 11-2, 11-3,..., 11-n) is provided for each conference participant, and each conference terminal 11 includes a monitor. A computer, camera and microphone are provided.
The conference room is provided with a large display device 12 and a camera 13 for photographing the entire conference room.
Each conference terminal 11, display device 12, and camera 13 are network-connected to a server 14, and the server 14 is connected to another network or the like, for example, connected to a mobile phone network and connected to a predetermined mobile phone. This is a system for sending various information of the conference to the telephone or receiving various information by mail.
Here, the display screen example of the display device 12 in the present embodiment shows an example of display when the speaker is displayed in a pop-up while displaying the entire conference room.
図８は、本発明の実施の形態である会議端末のブロック図の実施例を示し、図８（ａ）会議端末の第１実施例、図８（ｂ）会議端末の第２実施例、図８（ｃ）会議端末の第３実施例を示す。
図８（ａ）会議端末の第１実施例は、パソコンとカメラとスピーカとマイクと翻訳装置を備えた情報表示端末である。
会議に参加する場合は、カメラにて当該会議端末の操作者（すなわち会議の参加者）を撮影し、また、マイクにて当該参加者が発生する音声が入力される。
パソコンの表示部には、通常、サーバ１４を介して表示装置１２に表示される表示画面と同様の表示が為され、またパソコンのキー操作に応じて、会議のスケジュールや会議参加者の一覧を表示する。
例えば、会議端末１１−１の参加者が発言を行う場合、マイクに入力された音声が会議室に備えられたスピーカ（図７参照）や各会議端末のスピーカより出力され、また、当該会議端末１１−１の参加者の映像（すなわち会議端末１１−１のカメラが撮影している映像）を表示装置１２及び他の会議端末１１にポップアップ表示する。
翻訳装置は、例えば英和の機能を有する翻訳装置であり、参加者が英語により発言した場合に当該英語の音声を日本語の音声に翻訳した上で他の会議端末のスピーカなどより音声出力する装置である。
FIG. 8 shows an example of a block diagram of a conference terminal according to an embodiment of the present invention, FIG. 8 (a) a first example of the conference terminal, FIG. 8 (b) a second example of the conference terminal, FIG. 8 (c) shows a third embodiment of the conference terminal.
FIG. 8A shows a first embodiment of the conference terminal, which is an information display terminal including a personal computer, a camera, a speaker, a microphone, and a translation device.
When participating in a conference, an operator of the conference terminal (that is, a conference participant) is photographed with a camera, and voice generated by the participant is input with a microphone.
The display part of the personal computer is normally displayed in the same manner as the display screen displayed on the display device 12 via the server 14, and a conference schedule and a list of conference participants are displayed according to the key operation of the personal computer. indicate.
For example, when a participant of the conference terminal 11-1 speaks, the voice input to the microphone is output from a speaker (see FIG. 7) provided in the conference room or the speaker of each conference terminal, and the conference terminal A video of the participant 11-1 (that is, a video taken by the camera of the conference terminal 11-1) is pop-up displayed on the display device 12 and the other conference terminals 11.
The translation device is, for example, a translation device having an English-Japanese function, and when a participant speaks in English, the English speech is translated into Japanese speech and then output from a speaker of another conference terminal or the like It is.
図８（ｂ）会議端末の第２実施例は、パソコンとマイクとを備えた情報表示端末である。
会議に参加する場合は、マイクにて当該会議端末の参加者が発生する音声が入力される。
パソコンの表示部には、通常、サーバ１４を介して表示装置１２に表示される表示画面と同様の表示が為され、またパソコンのキー操作に応じて、会議のスケジュールや会議参加者の一覧を表示する。
例えば、会議端末７１−１の参加者が発言を行う場合、マイクに入力された音声が会議室に備えられたスピーカ（図７参照）より出力され、また、当該会議端末７１−１の参加者の映像を表示装置１２及び他の会議端末１１にポップアップ表示する。
この場合、図７のカメラ７３２に示すような可動カメラが撮影している映像を、当該会議端末７１−１を使用する参加者の方にその撮影方向を可動させた上で撮影する。
なお、図８（ｂ）の会議端末には必要に応じて、図８（ａ）に示す、カメラやスピーカ、翻訳装置、若しくは後述する図８（ｃ）に示す、ＩＣカード読取部、を組み込んだ会議端末としても良い。
FIG. 8B shows a conference terminal according to a second embodiment, which is an information display terminal provided with a personal computer and a microphone.
When participating in a conference, a voice generated by a participant of the conference terminal is input using a microphone.
The display part of the personal computer is normally displayed in the same manner as the display screen displayed on the display device 12 via the server 14, and a conference schedule and a list of conference participants are displayed according to the key operation of the personal computer. indicate.
For example, when a participant of the conference terminal 71-1 speaks, the voice input to the microphone is output from a speaker (see FIG. 7) provided in the conference room, and the participant of the conference terminal 71-1 Are displayed in a pop-up on the display device 12 and other conference terminals 11.
In this case, an image taken by a movable camera as shown by the camera 732 in FIG. 7 is taken while moving the shooting direction toward the participant who uses the conference terminal 71-1.
Note that the conference terminal shown in FIG. 8B incorporates a camera, a speaker, a translation device shown in FIG. 8A, or an IC card reader shown in FIG. It may be a conference terminal.
図８（ｃ）会議端末の第３実施例は、パソコンとマイクとＩＣカード読取部を備えた情報表示端末である。
この図８（ｃ）会議端末の第３実施例は、前述した図８（ｂ）の各機能の他、例えば図９の参加者９２に示すような参加者固有の情報を予めＩＣカードに記憶しておき、会議に参加する際に記憶している情報をダウンロードするものである。
なお、この図８（ｃ）の会議端末には必要に応じて、図８（ａ）に示す、カメラやスピーカ、翻訳装置、を組み込んだ会議端末としても良い。
FIG. 8C shows a conference terminal according to a third embodiment, which is an information display terminal including a personal computer, a microphone, and an IC card reader.
In this third embodiment of the conference terminal shown in FIG. 8 (c), in addition to the functions shown in FIG. 8 (b), information unique to the participant as shown by the participant 92 in FIG. 9, for example, is stored in the IC card in advance. In addition, the information stored when participating in the conference is downloaded.
The conference terminal shown in FIG. 8C may be a conference terminal incorporating a camera, a speaker, and a translation device shown in FIG.
図７は、本発明の実施の形態である映像会議システムのブロック図の第２実施例を示す。
会議室７０には、会議室全体を撮影するカメラ７３１と、会議室内の所望の場所を撮影するカメラ７３２と、これらのカメラ７３１、７３２で撮影した映像を表示する大型の表示装置７２が備えられ、また、会議への参加者毎に会議端末７１（７１−１、７１−２、７１−３、・・・、７１−ｎ）が備えられる。
そして、これらはネットワーク７８としてサーバ７４に接続される。
また、ネットワーク７８は他のネットワーク７９に接続された承認端末７５や他の会議端末７６に接続することで、これら他のネットワーク７９に接続された情報端末も映像会議に参加することができる。
サーバ７４には、会議のための各種のデータベース（メモリテーブル）が記憶されており、会議が開催されると、議事録の作成、及び、議事進行の時間管理を行う。
また、任意の会議端末７１のマイクより音声入力がされて、この音声を所定の言語に翻訳する場合の翻訳機能を備える。
FIG. 7 shows a second example of the block diagram of the video conference system according to the embodiment of the present invention.
The conference room 70 includes a camera 731 that captures the entire conference room, a camera 732 that captures a desired location in the conference room, and a large display device 72 that displays images captured by these cameras 731 and 732. In addition, a conference terminal 71 (71-1, 71-2, 71-3, ..., 71-n) is provided for each participant in the conference.
These are connected to the server 74 as a network 78.
Further, by connecting the network 78 to the approval terminal 75 or the other conference terminal 76 connected to the other network 79, the information terminal connected to the other network 79 can also participate in the video conference.
The server 74 stores various databases (memory tables) for meetings. When a meeting is held, the minutes are created and the proceeding time is managed.
In addition, a speech function is provided when speech is input from a microphone of an arbitrary conference terminal 71 and this speech is translated into a predetermined language.
会議が開催される場合、会議室７０内の各参加者に対して会議端末７１がそれぞれ設置され、各参加者全体をカメラ７３１にて撮影し、この撮影した映像を表示装置７２に表示する。
また、カメラ７３２は、任意の会議端末７１の参加者が発言を行う場合に当該参加者の方向を撮影するように可動して撮影し、この撮影した映像を表示装置７２に表示する。
なおカメラ７３２の可動は可動手段である雲台とカメラのズーム焦点機能等と組み合わせて可動する。
サーバ７４は、ネットワーク７８を介して会議端末７１、カメラ７３１、カメラ７３２、表示装置７２を制御し、例えば会議に使用する資料を予め記憶しておき、必要に応じて、撮影している会議室の映像から切り替えて、若しくは会議室の映像と共に表示装置７２に表示する。
When a meeting is held, a conference terminal 71 is installed for each participant in the conference room 70, and each participant is photographed by the camera 731, and the photographed video is displayed on the display device 72.
In addition, when a participant of an arbitrary conference terminal 71 speaks, the camera 732 is movably photographed so as to photograph the direction of the participant, and the photographed image is displayed on the display device 72.
Note that the camera 732 is movable in combination with a pan head which is a movable means and a zoom focus function of the camera.
The server 74 controls the conference terminal 71, the camera 731, the camera 732, and the display device 72 via the network 78, for example, stores in advance materials used for the conference, and captures the conference room as necessary. Are displayed on the display device 72 together with the conference room video.
また、ネットワーク７８は他のネットワーク７９に接続された承認端末７５に接続されて会議の内容をメール機能等により送信し、承認端末７５より承認データを受信（返信）することで会議の承認を得ることができる。
さらに、他のネットワーク７９に接続された他の会議端末７６に接続することで、この他の会議端末７６も映像会議に参加することができる。
The network 78 is connected to an approval terminal 75 connected to another network 79, transmits the content of the conference by an e-mail function or the like, and receives (replies) the approval data from the approval terminal 75, thereby obtaining approval of the conference. be able to.
Furthermore, by connecting to another conference terminal 76 connected to another network 79, this other conference terminal 76 can also participate in the video conference.
図４は、本発明の実施の形態であるサーバに記憶された議事録設定データベースの実施例を示す。
議事録Ｎｏ（ナンバー）４１、会議名４２、日時４３、場所４４、参加者一覧コード４５、承認者４６、より構成され、さらに、会議名４２は議題４２１と内容４２２、承認者４６は承認者アドレス４６１と承認者名前４６２と承認日時４６３、とより構成される。
FIG. 4 shows an example of the minutes setting database stored in the server according to the embodiment of the present invention.
It consists of minutes No. (number) 41, meeting name 42, date and time 43, place 44, participant list code 45, approver 46, meeting name 42 is agenda 421 and contents 422, approver 46 is approver An address 461, an approver name 462, and an approval date and time 463 are included.
図５は、本発明の実施の形態であるサーバに記憶されたアジェンダデータベースの実施例を示す。
議事録Ｎｏ（ナンバー）５１、スケジュール５２、時間管理５３、承認５４、より構成され、さらに、スケジュール５２はスケジュールＮｏ（ナンバー）５２１とスケジュール内容５２２、時間管理５３は設定時間５３１と実時間５３２と進捗５３３と警告有無５３４、承認５４は承認者アドレス５４１と承認日時５４２、とより構成される。
FIG. 5 shows an example of the agenda database stored in the server according to the embodiment of the present invention.
Minute No. 51, schedule 52, time management 53, approval 54, and schedule 52 includes schedule No. 521 and schedule contents 522, and time management 53 includes set time 531 and real time 532. The progress 533, warning presence / absence 534, and approval 54 are composed of an approver address 541 and an approval date / time 542.
図６は、本発明の実施の形態であるサーバに記憶された議事録内容データベースの実施例を示す。
議事録Ｎｏ（ナンバー）６１、スケジュールＮｏ（ナンバー）６２、議事内容コメント６３、発言者６４、責任者６５、期限６６、より構成され、さらに、発言者６４は参加者コード６４１とその要否６４２、責任者６５は参加者コード６５１とその要否６５２、とより構成される。
任意の議事内容コメント６３に対して、発言者６４は発言した参加者の参加者コード６４１とその発言者が発言したことを議事録に記載するか否かを要否６４２にて設定し、当該責任者６５は決定された責任者の参加者コード６５１とその責任そのものを要否６５２にて設定する。
FIG. 6 shows an example of the minutes content database stored in the server according to the embodiment of the present invention.
Minute number 61, schedule number 62, minutes content comment 63, speaker 64, person in charge 65, deadline 66, and speaker 64 has participant code 641 and its necessity 642. The responsible person 65 includes a participant code 651 and its necessity 652.
For any agenda content comment 63, the speaker 64 sets the participant code 641 of the participant who made the speech and whether or not to describe in the minutes the speech made by the speaker, in the necessity 642. The responsible person 65 sets the participant code 651 of the determined responsible person and the responsibility itself in the necessity 652.
図９は、本発明の実施の形態であるサーバに記憶された参加者データベースの実施例を示す。
参加者一覧９１、参加者９２、出欠席９３、より構成され、さらに、参加者一覧９１は参加者一覧コード９１１と議事録Ｎｏ（ナンバー）９１２、参加者９２は参加者コード９２１と参加者名前９２２と言語（国名）９２３と、出欠席９３は参加アドレス９３１と出欠席予定９３２と出欠席結果９３３と、とより構成される。
FIG. 9 shows an example of the participant database stored in the server according to the embodiment of the present invention.
The participant list 91 is composed of a participant list 91, a participant 92, and an attendance 93, and the participant list 91 is a participant list code 911 and a minutes number (number) 912, and the participant 92 is a participant code 921 and a participant name. 922, language (country name) 923, and attendance / absence seat 93 include a participation address 931, attendance / absence schedule 932, and attendance / absence result 933.
図４、図５、図６、図９の各データベースにおいて、会議までに少なくとも議事録Ｎｏ（４１、５１、６１、９１２）を予め設定（登録）しておく必要があり、設定の際には何れかのデータベースに対して設定を行うことで、各データベースにリンクされて各データベースのデータテーブルとして成立する。
またこれら各データベースにおいて、承認者アドレス４６１と承認者５４１と参加アドレス９３１はリンクしており、例えば、図４の承認者４６に設定する情報は図９の参加アドレス９３１のデータに基づいて、承認者４６２を参加者名前９２２より登録し、またその登録する際の時間をタイマ機能（図示せず）より取得して承認日時４６３を登録する。
またこれら各データベースにおいて、参加者コード６４１と９２１、参加者コード６５１と９２１、はそれぞれリンクしており、例えば任意の参加者が発言を行った場合に、当該参加者が使用する会議端末に設定されている図９の参加者コード９２１のデータに基づいて、図６の参加者コード６４１登録され、これを表示する場合には当該参加者コードに基づく参加者の名前９２２を表示させる。
なお、この参加者コード６４１と９２１、参加者コード６５１と９２１、でのそれぞれリンクは参加アドレス９３１に基づいてリンクされても良い。
またこれら各データベースにおいて、スケジュールＮｏ５２１と６２はリンクしている。
またこれら各データベースにおいて、参加者一覧コード４５と９１はリンクしている。
また、図４、図５、図６、図９の各データベースは、各々のメモリテーブル形式のリンクデータに基づいて、１つ、または、複数のデータベースとして各データを記憶することができる。
4, 5, 6, and 9, it is necessary to set (register) at least the minutes No (41, 51, 61, 912) in advance before the meeting. By setting for any of the databases, the database is linked to each database to form a data table for each database.
In each of these databases, the approver address 461, the approver 541, and the participation address 931 are linked. For example, the information set in the approver 46 in FIG. 4 is approved based on the data in the participation address 931 in FIG. The person 462 is registered from the participant name 922, and the time for the registration is acquired from a timer function (not shown), and the approval date 463 is registered.
In each of these databases, the participant codes 641 and 921 and the participant codes 651 and 921 are linked to each other. For example, when an arbitrary participant makes a speech, it is set as a conference terminal used by the participant. Based on the data of the participant code 921 shown in FIG. 9, the participant code 641 shown in FIG. 6 is registered. When this is displayed, the participant name 922 based on the participant code is displayed.
The links in the participant codes 641 and 921 and the participant codes 651 and 921 may be linked based on the participation address 931.
In each of these databases, schedule numbers 521 and 62 are linked.
In each of these databases, participant list codes 45 and 91 are linked.
In addition, each database in FIGS. 4, 5, 6, and 9 can store each data as one or a plurality of databases based on the link data in each memory table format.
図２は、本発明の実施の形態である議事録の表示画面の実施例を示す。
領域２１は、会議の基本的事項が表示される領域であり、議題、日時、場所、出席者、内容、について、図４の当該会議の議事録Ｎｏに基づいて各々、議題４２１、日時４３、場所４４、参加者一覧コード４５、内容４２２、より取得（図２の領域２１のアンダライン部分）して表示する。
領域２３は、会議のスケジュールの項目が表示される領域であり、図５のスケジュール５２より取得して、現在会議が進行中の該当するスケジュールＮｏとスケジュール内容を表示する。
FIG. 2 shows an example of the minutes display screen according to the embodiment of the present invention.
The area 21 is an area in which basic matters of the meeting are displayed. The agenda, date / time, place, attendees, and contents are agenda 421, date / time 43, respectively, based on the minutes of the meeting in FIG. It is acquired from the location 44, the participant list code 45, and the contents 422 (underline portion of the area 21 in FIG. 2) and displayed.
The area 23 is an area in which items of the conference schedule are displayed, and is acquired from the schedule 52 in FIG. 5 and displays the corresponding schedule No. and schedule contents in which the conference is currently in progress.
領域２４（２４−１、２４−２、・・・、２４−ｎ）は、会議での発言がされた場合の音声データをテキストデータに変換して図６の議事内容コメント６３に記憶し、この記憶されたテキストデータを取得して表示する。
ここで、議事内容コメント６３は、会議の議長や書記を行う会議端末からの操作により必要に応じてテキストデータの修正や変更等を行う。
The area 24 (24-1, 24-2,..., 24-n) converts voice data when a speech is given at the meeting into text data and stores it in the agenda content comment 63 of FIG. The stored text data is acquired and displayed.
Here, the agenda content comment 63 corrects or changes the text data as required by an operation from the conference terminal that chairs or clerks the conference.
領域２５（２５−１、２５−２、・・・、２５−ｎ）は、領域２４（２４−１、２４−２、・・・、２４−ｎ）と対を為しており、発言者を特定する表示を図６の参加者コード６４１に基づいて行う。
なお、図２では発言者の名前を表示するように、図６の参加者コード６４１にリンクした図９の参加者コード９２１に基づいて、参加者名前９２２を取得して表示している。
ここで領域２５は、会議の議長や書記を行う会議端末からの操作により発言者２５の表示を行うか否かを図６の要否６４２により設定することができる。
これは例えば、「鈴木二郎」が「では、中国進出について検討しましょう。」といった発言を行った場合、図６のスケジュールＮｏ６２「２．」に対応する議事内容コメント６３に発言した音声データをテキストデータに変換した「では、中国進出について検討しましょう」が記憶され、また発言した会議端末の特定により当該発言者の参加者コード６４「ａｂｃ００５５」が記憶される。
そして、会議の議長や書記を行う参加者による会議端末からの操作により、記憶したテキストデータを「中国進出について検討する。」と修正し、さらに、当該発言者６４の要否６４２欄を「否」と設定する。
したがって、図２においては、領域２４−２「中国進出について検討する。」、領域２５−２は表示無し（図２ではカッコ書きにて「（鈴木）」と記載）とすることができる。
The region 25 (25-1, 25-2,..., 25-n) is paired with the region 24 (24-1, 24-2,..., 24-n), and the speaker Is displayed based on the participant code 641 in FIG.
In FIG. 2, the participant name 922 is acquired and displayed based on the participant code 921 of FIG. 9 linked to the participant code 641 of FIG. 6 so as to display the name of the speaker.
Here, in the area 25, whether or not to display the speaker 25 by an operation from the conference terminal that performs the chairperson or clerk of the conference can be set by the necessity 642 in FIG.
For example, when “Jiro Suzuki” made a statement such as “Let's consider expanding into China”, the voice data made in the agenda content comment 63 corresponding to schedule No. 62 “2.” in FIG. “Let's consider expanding into China” converted to data is stored, and the participant code 64 “abc0055” of the speaker is stored by specifying the conference terminal that has made a speech.
Then, the stored text data is corrected to “consider China advancement” by the operation of the conference terminal by the conference chairperson or the clerk participant, and further, the necessity 642 column of the speaker 64 is set to “No”. "Is set.
Therefore, in FIG. 2, the area 24-2 “Considering China advancement” and the area 25-2 may be displayed without being displayed (in FIG. 2, written in parentheses “(Suzuki)”).
領域２６は、会議の議長や書記を行う参加者による会議端末からの操作により、当該領域２４（すなわち、議事内容コメント６３）に対して、必要に応じて責任者や期限を入力することで、図６の責任者６５や期限６６を設定する。 The area 26 can be input to the area 24 (that is, the agenda content comment 63) as necessary by inputting the person in charge and the deadline as needed by the operation from the conference terminal by the conference chairman or the secretary. The person in charge 65 and the time limit 66 in FIG. 6 are set.
領域２４−ｘ、及び、領域２５−ｘについては、前述した領域２４、及び、領域２５とほぼ同様に記憶登録や表示がされるが、領域２５−ｘの発言者欄に当該領域２４−ｘが「結論」であることを示す予め設定した所定のコードを入力することで、その所定のコードが図６の参加者コード６４１に登録されて、予め設定されたフォーマットである「結論：」と共に議事の内容の表示を行いつつ、図６の議事内容コメント６３にその内容が登録される。 The area 24-x and the area 25-x are stored and registered and displayed in substantially the same manner as the area 24 and the area 25 described above, but the area 24-x is displayed in the speaker column of the area 25-x. 6 is entered in the participant code 641 in FIG. 6 together with “Conclusion:” which is a preset format. While displaying the contents of the proceedings, the contents are registered in the proceedings contents comment 63 in FIG.
領域２７は、会議の議事進行のスケジュールを簡易的に示す表示領域であり、図５のアジェンダデータベースより必要なデータを取得して表示する。
本実施例（図２の領域２７）による表示の場合、図５のスケジュールＮｏ５２１とスケジュール内容５２２と進捗５３３が表示されている場合を示す。
なお、現状の会議進行がスケジュールＮｏ５２１「２．」である場合は、その表示の行について、反転表示や点滅表示等の強調表示を行うことができる。
The area 27 is a display area that simply shows a schedule of proceedings of the conference, and acquires and displays necessary data from the agenda database of FIG.
In the case of display according to the present embodiment (area 27 in FIG. 2), a case in which schedule No. 521, schedule contents 522, and progress 533 in FIG. 5 are displayed is shown.
When the current conference progress is schedule No. 521 “2.”, highlighted display such as reverse display or blinking display can be performed on the display line.
領域２９は、会議の議事進行の時間的な状況を簡易的に示す表示領域であり、図５のアジェンダデータベースの時間管理５３に基づいて表示される。
なお、領域２７や領域２９は、詳細な表示については図３に示すアジェンダの表示画面にて表示されるものであり、図２の議事録の表示画面においては必要に応じて表示されるようにしても良い。
The area 29 is a display area that simply shows the time situation of the proceedings of the meeting, and is displayed based on the time management 53 of the agenda database in FIG.
The area 27 and the area 29 are displayed on the agenda display screen shown in FIG. 3 for detailed display, and are displayed as necessary on the minutes display screen of FIG. May be.
領域２８−１は、承認者が承認端末１５（７５）より会議の途中にメール機能などによって指示内容（アドバイス）を送信した場合に、これをサーバ１４（７４）が受信し、図６の議事録内容データベースに記憶して、これを表示する。
この記憶を行う場合、図９の参加者アドレス９３１と送信された（受信した）メールのアドレスとを比較して、承認端末からの送信であることを認識し、図６の参加者コード６５１に当該参加アドレス９３１に対応する参加者コード９２１を記憶し、スケジュールＮｏ６２にはメール受信である旨を示すデータを記憶し、送信されたメールの内容を議事内容コメント６３に記憶する。
In the area 28-1, when the approver transmits an instruction content (advice) by the mail function or the like from the approval terminal 15 (75) during the meeting, the server 14 (74) receives the instruction content (advice). Store it in the database and display it.
When this storage is performed, the participant address 931 in FIG. 9 is compared with the address of the transmitted (received) mail to recognize that the transmission is from the approval terminal, and the participant code 651 in FIG. The participant code 921 corresponding to the participation address 931 is stored, the data indicating that the mail is received is stored in the schedule No 62, and the content of the transmitted mail is stored in the agenda content comment 63.
領域２８−２は、他のネットワーク１９（７９）に接続された会議端末１６（７６）より会議に参加している参加者が、会議の途中にメール機能などによってコメント等（アドバイス）を送信した場合に、これをサーバ１４（７４）が受信し、図６の議事録内容データベースに記憶して、これを表示する。
この記憶を行う場合、図９の参加者アドレス９３１と送信された（受信した）メールのアドレスとを比較して、他のネットワークを介した会議端末からの送信であることを認識し、図６の参加者コード６４１に当該参加アドレス９３１に対応する参加者コード９２１を記憶し、スケジュールＮｏ６２にはメール受信である旨を示すデータを記憶し、送信されたメールの内容を議事内容コメント６３に記憶する。
In the area 28-2, a participant participating in the conference from the conference terminal 16 (76) connected to the other network 19 (79) sends a comment or the like (advice) by the mail function or the like during the conference. In this case, this is received by the server 14 (74), stored in the minutes content database of FIG. 6, and displayed.
When this storage is performed, the participant address 931 in FIG. 9 is compared with the address of the transmitted (received) mail, and it is recognized that the transmission is from a conference terminal via another network. The participant code 921 corresponding to the participation address 931 is stored in the participant code 641, the data indicating that the mail is received is stored in the schedule No. 62, and the content of the transmitted mail is stored in the agenda content comment 63 To do.
領域２２は、承認者が承認端末１５（７５）より会議終了後にメール機能などによって指示や承認の旨を示すデータを送信した場合に、これをサーバ１４（７４）が受信し、図４の議事録設定データベースの承認者４６に記憶する。
そして当該議事録を発行する際にこれを表示記録した議事録データとして各参加者へ配信し、若しくは、プリントアウトを行う。
なお、会議進行の区切り、例えば、図５のスケジュールＮｏ５２１毎に承認することもできる。
In the area 22, when the approver transmits data indicating an instruction or approval from the approval terminal 15 (75) by the mail function or the like after the conference is finished, the server 14 (74) receives the data, and the agenda shown in FIG. It is stored in the approver 46 of the record setting database.
When the minutes are issued, they are distributed to each participant as minutes data displayed and recorded, or printed out.
In addition, it is also possible to approve the break of the conference progress, for example, for each schedule No. 521 in FIG.
なお、図２の各領域は、議事録が表示された状態にて、表示画面上のデータを会議の議長や書記を行う参加者による会議端末からの操作により、修正や変更、追加等を行うことで、各領域に該当する各データベースの記憶部分に記憶、設定が為される。 In each area of FIG. 2, the data on the display screen is corrected, changed, added, etc. by operation from the conference terminal by the conference chairperson or clerk participant with the minutes displayed. Thus, storage and setting are performed in the storage portion of each database corresponding to each region.
図３は、本発明の実施の形態であるアジェンダの表示画面の実施例を示す。
領域３１は、会議の基本的事項が表示される領域であり、議題、日時、場所、出席者、内容、について、図４の当該会議の議事録Ｎｏに基づいて各々、議題４２１、日時４３、場所４４、参加者一覧コード４５、内容４２２、より取得（図３の領域３１のアンダライン部分）して表示する。
FIG. 3 shows an example of an agenda display screen according to the embodiment of the present invention.
The area 31 is an area in which basic matters of the meeting are displayed. The agenda, date / time, place, attendees, and contents of the agenda 421, the date / time 43, Acquired from the location 44, the participant list code 45, and the contents 422 (underline portion of the area 31 in FIG. 3) and displayed.
領域３４（３４−１、３４−２、・・・、３４−ｎ）は、会議の議事進行のスケジュールを示す表示領域であり、図５のアジェンダデータベースより必要なデータを取得して表示し、本実施例ではスケジュールＮｏ５２１とスケジュール内容５２２が表示されている。
また、領域３５（３５−１、３５−２、・・・、３５−ｎ）と領域３３（３３−１、３３−２、・・・、３３−ｎ）は、領域３４（３４−１、３４−２、・・・、３４−ｎ）と対を為しており、それぞれ図５のアジェンダデータベースの設定時間５３１、進捗５３３よりデータを取得して表示される。
なお、領域３３については、会議の議長や書記を行う参加者による会議端末からの操作により、当該スケジュールの開始時にその旨を示す入力を行うことで、本実施例に示す「進行中」が表示され、また図５の進捗５３３に記憶される。
また、当該スケジュールの終了時にその旨を示す入力を行うことで、本実施例に示す「終了」が表示され、また図５の進捗５３３に記憶される。
また、議事を行っていないスケジュールについては、図５の進捗５３３に「未着手」が予め初期設定されており、当該領域３３にその旨が表示される。
An area 34 (34-1, 34-2, ..., 34-n) is a display area that shows a schedule of proceedings of the meeting, acquires necessary data from the agenda database of FIG. In this embodiment, schedule No. 521 and schedule contents 522 are displayed.
Further, the region 35 (35-1, 35-2,..., 35-n) and the region 33 (33-1, 33-2,. 34-2,..., 34-n), and data is acquired and displayed from the set time 531 and progress 533 of the agenda database in FIG.
In addition, about the area | region 33, "in progress" shown in a present Example is displayed by performing the input which shows that at the start of the said schedule by operation from the conference terminal by the chairperson of a meeting, or the participant who performs clerk. And stored in the progress 533 of FIG.
In addition, when the schedule is completed, an input to that effect is performed, so that “end” shown in the present embodiment is displayed and stored in the progress 533 of FIG.
For a schedule in which no proceedings are being made, “not started” is set in advance in the progress 533 of FIG. 5 and this is displayed in the area 33.
領域３６は、時計手段により現在の時刻を表示している。
ここで時計手段は、サーバ１４（７４）または任意の会議端末１１（７１）に備えられた時計機能、若しくは、ネットワーク１８（７８）に接続された時計機能等より現在の時刻を取得している。
なお、現状の会議進行のスケジュールＮｏ５２１に関する図５のデータベースの各データを表示する各領域、例えば、スケジュールＮｏ５２１「２．」である場合の各表示の領域３４−２、３３−２、３５−２について、反転表示や点滅表示等の強調表示を行うことができる。
The area 36 displays the current time by a clock means.
Here, the clock means obtains the current time from a clock function provided in the server 14 (74) or any conference terminal 11 (71), or a clock function connected to the network 18 (78). .
It should be noted that each area for displaying each data in the database of FIG. 5 relating to the current conference progress schedule No. 521, for example, each display area 34-2, 33-2, 35-2 in the case of schedule No. 521 “2.” Can be highlighted such as reversed display or blinking display.
領域３７−１、領域３７−２は設定した予定時間（すなわち図５の設定時間５３１）と、時計機能による実際の経過時間とに基づいて表示する。
本実施例においては、領域３７−１は時刻の表示、領域３７−２は進行状況をバー形式により表示している。
また、これら領域３７−１、３７−２は、会議全体の時間についての表示、若しくは、各スケジュール毎の時間についての表示、を切り替えて、または共に表示する。
会議全体の時間についての表示は、図５における当該会議の議事録Ｎｏ５１の各設定時間５３１の中より、開始時刻が一番早い時刻と終了時刻が一番遅い時刻を取得して、当該会議全体の予定された開始時刻及び終了時刻とする。
また、スケジュール毎の時間についての表示は、領域３４の中の該当するスケジュールを選択して所定の操作がされると、図５の該当する設定時間５３１の開始時刻と終了時刻が取得されて表示される。
なお、領域３７−１は、時刻の表示の他、設定時間帯を１００としたパーセント形式の表示やこれらを組合せ、または切り替えて表示しても良い。
なお、領域３７−２は、本実施例ではバー形式の表示により進行状況の視認性を良くしているが、さらに例えば、通常は灰色のバーにて表示し、終了予定５分前は青色のバー表示、終了予定５分経過後は黄色、終了予定１０分経過後は赤色の表示、というようにしても良い。
The areas 37-1 and 37-2 are displayed based on the set scheduled time (that is, the set time 531 in FIG. 5) and the actual elapsed time by the clock function.
In this embodiment, the area 37-1 displays the time, and the area 37-2 displays the progress in a bar format.
In addition, these areas 37-1 and 37-2 are switched or displayed together with the display of the entire meeting time or the display of the time for each schedule.
The display of the time of the entire conference is obtained by acquiring the earliest start time and the latest end time from among the set times 531 of the minutes No51 of the conference in FIG. Are scheduled start and end times.
Further, the display of the time for each schedule is obtained by selecting the corresponding schedule in the area 34 and performing a predetermined operation to obtain and display the start time and end time of the corresponding set time 531 in FIG. Is done.
In addition to the time display, the area 37-1 may be displayed in a percentage format with the set time zone set to 100, or a combination or switching of these.
In addition, the region 37-2 improves the visibility of the progress status by displaying the bar format in this embodiment, but, for example, it is normally displayed as a gray bar, and is blue for 5 minutes before the scheduled end. Bar display, yellow after the scheduled end of 5 minutes, and red after the scheduled end of 10 minutes may be displayed.
領域３９は、会議の議事進行の時間的な状況を簡易的に示す表示領域であり、図５のアジェンダデータベースの時間管理５３に基づいて表示される。 An area 39 is a display area that simply shows the time situation of the proceedings of the meeting, and is displayed based on the time management 53 of the agenda database in FIG.
そして、領域３３、領域３５、領域３７、領域３９は、領域３６に表示される現在の時刻に基づいて、それぞれ必要な処理が為される。
例えば、領域３４−２「２．特定地域促販について」が現在議事進行中である場合、領域３５−２「１４：００〜１５：００」の設定時間と、領域３６の現在の時刻「１５：１０」が比較され、設定時間より１０分超過していることを認識し、領域３９にその旨として「警告：１０分超過、・・・」という表示が為される。
また、領域３３−２「進行中」や領域３５−２の設定時間（すなわち、予め設定した設定時間５３１、領域３７について、反転表示や点滅表示等の強調表示をすることができる。
The area 33, the area 35, the area 37, and the area 39 are each subjected to necessary processing based on the current time displayed in the area 36.
For example, when the area 34-2 “2. Specific promotion promotion” is currently in progress, the set time of the area 35-2 “14: 0 to 15:00” and the current time “15: 10 ”is compared, and it is recognized that it exceeds 10 minutes from the set time, and“ Warning: Exceeding 10 minutes,... ”Is displayed in the area 39 to that effect.
In addition, the region 33-2 “in progress” and the set time of the region 35-2 (that is, the preset set time 531 and the region 37 can be highlighted, such as reverse display or blinking display).
また、領域３５は、アジェンダが表示された状態にて、表示画面上の設定時間を会議の議長や書記を行う参加者による会議端末からの操作により変更等を行うことで、会議時間の設定を変更することができ、その際、変更した設定時間が図５の設定時間５３１に更新登録される。
またこのような設定時間の変更を行ったことを示すデータを表示し、若しくは図５の時間管理５３に記憶することができる（図示せず）。
In addition, in the area 35, the conference time can be set by changing the set time on the display screen by an operation from the conference terminal by the conference chairman or the clerk participant while the agenda is displayed. In this case, the changed set time is updated and registered at the set time 531 in FIG.
Further, data indicating that the set time has been changed can be displayed or stored in the time management 53 of FIG. 5 (not shown).
領域３２は、承認者が承認端末１５（７５）よりメール機能などによって指示や承認の旨を示すデータを送信した場合に、これをサーバ１４（７４）が受信し、図４の議事録設定データベースの承認者４６に記憶し、これを表示している。
また、会議進行の区切りである領域３４毎（すなわち、図５のスケジュールＮｏ５２１毎）に対応する当該領域３３の「終了」の旨について承認することもできる。
これは例えば、当該スケジュールについての会議は終了した旨を当該スケジュールの議事録の内容（図６の該当するスケジュールＮｏ６２、議事内容コメント６３、発言者６４、責任者６５、期限６６）と共に承認端末１５（７５）へ送信し、これを承認者が承認する旨の返信を行うことで、図５の承認５４に承認した承認者アドレス５４１と承認日時５４２として記憶される。
In the area 32, when the approver transmits data indicating an instruction or approval from the approval terminal 15 (75) by the mail function or the like, the server 14 (74) receives the data, and the minutes setting database of FIG. Is stored in the approver 46 and displayed.
Further, it is possible to approve the “end” of the area 33 corresponding to each area 34 (that is, for each schedule No. 521 in FIG. 5) which is a break of the conference progress.
For example, the approval terminal 15 indicates that the meeting for the schedule has ended together with the contents of the minutes of the schedule (the corresponding schedule No 62, proceeding contents comment 63, speaker 64, responsible person 65, deadline 66 in FIG. 6). By transmitting to (75) and replying that the approver approves it, the approver address 541 and the approval date / time 542 approved by the approval 54 in FIG. 5 are stored.
領域３８−１は、承認者が承認端末１５（７５）より予め会議の前までにメール機能などによって指示内容（アドバイス）を送信した場合に、これをサーバ１４（７４）が受信し、図５のアジェンダデータベースに記憶して、これを表示する。
この記憶を行う場合、図９の参加者アドレス９３１と送信された（受信した）メールのアドレスとを比較して、承認端末からの送信であることを認識し、図５の承認者アドレス５４１に記憶し、スケジュールＮｏ５２１にはメール受信である旨を示すデータを記憶し、送信されたメールの内容をスケジュール内容５２２に記憶する。
In the area 38-1, the server 14 (74) receives an instruction content (advice) from the approval terminal 15 (75) in advance by the mail function or the like before the meeting, and the server 14 (74) receives this. Store it in the agenda database and display it.
When this storage is performed, the participant address 931 in FIG. 9 is compared with the address of the transmitted (received) mail to recognize that the transmission is from the approval terminal, and the approver address 541 in FIG. The data indicating that the mail is received is stored in the schedule No. 521, and the content of the transmitted mail is stored in the schedule content 522.
領域３８−２は、当該会議に参加することのできない参加者の会議端末１１（７１）や１６（７６）より、予め会議の前までにメール機能などによってコメント等（アドバイス）を送信した場合に、これをサーバ１４（７４）が受信し、図５のアジェンダデータベースに記憶して、これを表示する。
この記憶を行う場合、送信された（受信した）メールのアドレスを図５の承認者アドレス５４１に記憶し、スケジュールＮｏ５２１にはメール受信である旨を示すデータを記憶し、送信されたメールの内容をスケジュール内容５２２に記憶する。
The area 38-2 is used when a comment or the like (advice) is transmitted in advance by a mail function or the like from the conference terminal 11 (71) or 16 (76) of a participant who cannot participate in the conference before the conference. This is received by the server 14 (74), stored in the agenda database of FIG. 5, and displayed.
When this storage is performed, the address of the transmitted (received) mail is stored in the approver address 541 in FIG. 5, the data indicating that the mail is received is stored in the schedule No. 521, and the content of the transmitted mail Is stored in the schedule contents 522.
図１０は、本発明の実施の形態である各種の表示画面の実施例を示し、図１０（ａ）は全体映像の表示例、図１０（ｂ）は発言者のポップアップ映像の表示例、図１０（ｃ）は全体映像と議事録の表示例、図１０（ｄ）は参加者一覧の表示例、図１０（ｅ）はアジェンダと議事録の表示例、図１０（ｆ）は各種資料や映像を組み合わせて表示する場合の表示例、を示す。
例えば、会議中の通常は、図１０（ａ）全体映像を表示装置または会議端末１１またはこれらの両方に表示しておき、発言者があった場合には図１０（ｂ）の発言者のポップアップ映像を会議室の全体映像に重ねて表示する。
このポップアップ映像の場合、発言者の映像と共に発言者の情報として予め登録している図９の参加者９１の情報を表示する。
また各表示画面の下欄にある「Ｆ１」〜「Ｆ６」はファンクションキーを示す例であり、例えば「Ｆ１」には議事録をポップアップ表示する「議事録」が対応して設定してあり、「Ｆ１」キーを押下することで図１０（ｃ）に示すような議事録の表示が全体映像と共に表示される。
10A and 10B show examples of various display screens according to the embodiment of the present invention. FIG. 10A shows a display example of the entire video, FIG. 10B shows a display example of the pop-up video of the speaker, FIG. 10 (c) is a display example of an entire video and minutes, FIG. 10 (d) is a display example of a participant list, FIG. 10 (e) is a display example of an agenda and minutes, and FIG. The example of a display in the case of combining and displaying a video is shown.
For example, usually during a conference, the entire video in FIG. 10 (a) is displayed on the display device and / or the conference terminal 11, and if there is a speaker, the speaker pop-up in FIG. 10 (b) is displayed. Display the video superimposed on the entire video of the conference room.
In the case of this pop-up video, the information of the participant 91 in FIG. 9 registered in advance as the speaker information is displayed together with the video of the speaker.
In addition, “F1” to “F6” in the lower column of each display screen are examples of function keys. For example, “F1” is set corresponding to “minutes” that pops up the minutes. By pressing the “F1” key, a minutes display as shown in FIG. 10C is displayed together with the entire video.
ここで、ファンクションキー「Ｆ１」〜「Ｆ６」については、例えば現状表示している表示の形式により予め異なる機能を設定しておくことができ、さらに機能を示す名称（例えば「議事録」）をそのまま表示することができる。
これは例えば図１０（ａ）全体映像の場合には、「Ｆ１」を「議事録」（すなわち図１０（ｃ））、「Ｆ２」を「アジェンダ」、「Ｆ３」を「参加者一覧のサムネイル」（すなわち図１０（ｄ））、「Ｆ４」を「登録資料」、「Ｆ５」を「アジェンダと議事録」（すなわち図１０（ｅ））、「Ｆ６」を「リセット画面」というように設定する。
また、例えば図１０（ｄ）は参加者一覧の場合には、「Ｆ１」を「議事録」（すなわち図１０（ｃ））、「Ｆ２」を「アジェンダ」、「Ｆ３」を「参加者一覧の表」、「Ｆ４」を「サムネイルの拡大表示」、「Ｆ５」を「アジェンダと議事録」（すなわち図１０（ｅ））、「Ｆ６」を「リセット画面」というように設定する。
なお、ファンクションキーの表示は、各参加者個々に使用する会議端末１１の表示部には表示し、会議参加者全体に対する表示を行う表示装置１２には表示しなくとも良い。
この場合の表示装置１２は、例えば表示装置１２と連動した会議端末により、会議の議長や書記を担当する者が表示装置１２の表示切り替えを行うようにする。
また、各参加者個々に使用する会議端末１１は、各参加者の操作により各表示画面を適宜切り替えて各々表示し、前述した「Ｆ６」に対応する「リセット画面」によって、表示装置１２が現状表示している表示画面を表示する。
Here, for the function keys “F1” to “F6”, for example, different functions can be set in advance depending on the display format currently displayed, and a name indicating the function (for example, “minutes”) can be set. It can be displayed as it is.
For example, in the case of the whole image of FIG. 10A, “F1” is “minutes” (that is, FIG. 10C), “F2” is “Agenda”, and “F3” is “participant list thumbnail”. (Ie, FIG. 10 (d)), “F4” is set as “registered material”, “F5” is set as “Agenda and minutes” (ie, FIG. 10 (e)), and “F6” is set as “reset screen”. To do.
Further, for example, in the case of the participant list in FIG. 10D, “F1” is “minutes” (that is, FIG. 10C), “F2” is “Agenda”, and “F3” is “Participant List”. Table ”,“ F4 ”are set to“ enlarged thumbnail display ”,“ F5 ”is set to“ Agenda and Minutes ”(that is, FIG. 10E), and“ F6 ”is set to“ Reset screen ”.
The function keys are displayed on the display unit of the conference terminal 11 used for each participant, and may not be displayed on the display device 12 that displays the entire conference participants.
In this case, the display device 12 is configured such that a person in charge of the conference chairperson or clerk performs display switching of the display device 12 using a conference terminal linked to the display device 12, for example.
In addition, the conference terminal 11 used for each participant individually switches and displays each display screen according to the operation of each participant, and the display device 12 is currently displayed by the “reset screen” corresponding to “F6” described above. Display the current display screen.
図１０（ｂ）や図１０（ｆ）に示すような発言者のポップアップ映像を表示する場合には幾つかの手段がある。
例えば、図８（ａ）のマイクの入力（オンオフ）スイッチ（図示せず）を、当該会議端末１１を使用する参加者がオンすることにより、当該会議端末１１のカメラが撮影する映像すなわち当該参加者をポップアップ表示するものである。
また例えば、図８（ａ）のマイクへの音声入力による音声レベルを検知することで、当該会議端末１１を使用する参加者が発言を行ったことを認識して、当該会議端末１１のカメラが撮影する映像をポップアップ表示するものである。
また例えば、図８（ａ）の各会議端末のカメラが撮影する画像データを解析する画像認識により、発言を行ったことを撮影している参加者の口の動きに応じて判断し、当該会議端末１１のカメラが撮影する映像をポップアップ表示するものである。
またこれらのマイクへの音声入力と画像認識とを組み合わせることで、参加者が発言したことをより正確に判断することができる。
ここで、図８（ｂ）の会議端末７１の場合には、前述したマイクの入力（オンオフ）スイッチ、若しくは、マイクへの音声入力による音声レベルを検知することで、図９に示す予め登録してある参加者９２のデータがポップアップ表示される。
この場合、当該参加者の映像データが図９の参加者コード９２１とリンクして予め登録されている場合には、当該参加者の映像データを表示することができる。
There are several means for displaying the pop-up video of the speaker as shown in FIG. 10B or FIG.
For example, when the participant using the conference terminal 11 turns on the input (on / off) switch (not shown) of the microphone in FIG. 8A, the video captured by the camera of the conference terminal 11, that is, the participation The person who pops up is displayed.
Further, for example, by detecting the voice level by the voice input to the microphone of FIG. 8A, it is recognized that the participant using the conference terminal 11 has made a speech, and the camera of the conference terminal 11 The video to be shot is displayed in a pop-up.
Further, for example, the image recognition that analyzes the image data captured by the camera of each conference terminal in FIG. 8A determines that the speech has been made according to the movement of the participant's mouth, and the conference. The video captured by the camera of the terminal 11 is displayed in a pop-up manner.
Further, by combining voice input to these microphones and image recognition, it is possible to more accurately determine that the participant has spoken.
Here, in the case of the conference terminal 71 in FIG. 8B, the above-described microphone input (on / off) switch or the sound level by the sound input to the microphone is detected, thereby pre-registering as shown in FIG. The data of the participant 92 is popped up.
In this case, when the video data of the participant is registered in advance linked to the participant code 921 of FIG. 9, the video data of the participant can be displayed.
図１２は、本発明の実施の形態である議事進行の動作フローチャートの実施例を示す。
会議の議長や書記等、所定の権限を持つ会議参加者が任意の会議端末からの入力、または、会議に参加する者の各会議端末からの入力により、会議への参加者の登録を行う。（ステップｓ４０１）。
これは、所定の権限を持つ会議参加者が図４の参加者一覧コード４５に参加者に関するデータを入力するか、若しくは、この入力の際、図９の参加者データベースを参照すべき旨のデータを入力し、または、会議に参加する者が図９の参加者データベースに登録したデータを取得することによる。
次に、所定の権限を持つ会議参加者が任意の会議端末より、図２の議事録や図３のアジェンダを表示し、若しくは、表示できるように設定し、図３の領域３３により会議を開始する（ステップｓ４０２）。
その際、会議の議題または議題の詳細である領域３４のスケジュールの項目を表示する（ステップｓ４０３）。
会議が開催されると、図６の議事録内容データベースに基づく議事録の作成を行う機能が動作して発言内容を記録し（ステップｓ４０４〜ステップｓ４０９）、また発言内容を各会議端末にサーバ１４（７４）を介して配信し表示させる（ステップｓ４１０）。
FIG. 12 shows an example of an operational flowchart of proceedings proceeding as an embodiment of the present invention.
A conference participant having a predetermined authority, such as a conference chairperson or secretary, registers a participant in the conference by inputting from an arbitrary conference terminal or by inputting from each conference terminal of a participant who participates in the conference. (Step s401).
This is a data indicating that a conference participant having a predetermined authority inputs data related to the participant in the participant list code 45 in FIG. 4 or, at the time of this input, should refer to the participant database in FIG. Or by acquiring data registered in the participant database of FIG. 9 by a person who participates in the conference.
Next, a conference participant having a predetermined authority can display or set to display the minutes of FIG. 2 and the agenda of FIG. 3 from any conference terminal, and starts the conference in the area 33 of FIG. (Step s402).
At that time, the agenda of the meeting or the schedule item in the area 34 which is the details of the agenda is displayed (step s403).
When the meeting is held, the function for creating the minutes based on the minutes contents database of FIG. 6 operates to record the contents of the remarks (steps s404 to s409), and the remark contents are stored in each conference terminal on the server 14. (74) for distribution and display (step s410).
ここで、ステップｓ４０４〜ステップｓ４０９については、まず任意の会議端末より発言がされると（ステップｓ４０４）、当該会議端末のマイク入力等に基づいて発言した旨を認識し（ステップｓ４０５）、当該発言の音声データをテキストデータに変換して（ステップｓ４０６）、変換したテキストデータを図６の議事内容コメント６３に記録する（ステップｓ４０７）。
そして、記録した議事内容コメントに翻訳が必要な場合は翻訳動作を行い（ステップｓ４０８）、翻訳後の議事内容コメントを当該議事内容コメント６３に上書き、若しくは追加して記録する（ステップｓ４０９）。
また、前述のステップｓ４０４により任意の会議端末より発言がされると、ステップｓ４０５により当該会議端末のマイク入力等に基づいて発言した者を認識して特定し、翻訳が必要な場合には音声データの翻訳動作を行い（ステップｓ４０８）、翻訳後の音声データを配信して（ステップｓ４１０）スピーカ等より出力する。
なお、前述のステップｓ４０８の翻訳動作については、音声データの翻訳（図１４）とテキストデータの翻訳（図１３）があり、それぞれ後述する。
Here, in steps s404 to s409, when an utterance is first made from an arbitrary conference terminal (step s404), it is recognized that the utterance is made based on the microphone input of the conference terminal (step s405), Is converted into text data (step s406), and the converted text data is recorded in the agenda content comment 63 of FIG. 6 (step s407).
If the recorded agenda content comment requires translation, a translation operation is performed (step s408), and the translated agenda content comment is overwritten on or added to the agenda content comment 63 (step s409).
Further, when a speech is made from an arbitrary conference terminal in the above-described step s404, the person who speaks is recognized and specified based on the microphone input or the like of the conference terminal in step s405. Is translated (step s408), and the translated voice data is distributed (step s410) and output from a speaker or the like.
Note that the translation operation of step s408 described above includes translation of voice data (FIG. 14) and translation of text data (FIG. 13), which will be described later.
一方、前述したステップｓ４０９により記録している議事録の内容について、必要がある場合や予め設定した時間がある場合（ステップｓ４２１）、承認端末１５（７５）や他の会議端末１６（７６）に対して当該議事録の内容を送信する（ステップｓ４２２）。
承認端末１５（７５）や他の会議端末１６（７６）からの送信による受信、または、返信による受信がある場合は、その受信した内容を議事録へ記録する（ステップｓ４２３）。
このような動作により図２の領域２８に示すような表示を行うことができる。
On the other hand, when the minutes recorded in step s409 described above are necessary or have a preset time (step s421), the approval terminal 15 (75) or another conference terminal 16 (76) On the other hand, the contents of the minutes are transmitted (step s422).
If there is reception by transmission from the approval terminal 15 (75) or other conference terminal 16 (76) or reception by reply, the received content is recorded in the minutes (step s423).
By such an operation, a display as shown in a region 28 in FIG. 2 can be performed.
図１４は、本発明の実施の形態である音声データを翻訳する動作フローチャートの実施例を示す。
前述したステップｓ４０４の発言がされ、前述したステップｓ４０５により翻訳が必要な場合、当該会議端末またはサーバ１４（７４）に接続若しくは備えられた翻訳装置に音声入力が為される（ステップｓ６１１）。
翻訳装置では、予め記憶された音声パターンの候補を抽出し（ステップｓ６１２）、入力された音声データと比較する（ステップｓ６２１）。
比較した結果入力された音声データとその候補の音声データのパターンが一致すると（ステップｓ６２２のＯＫ）、当該候補データを所定の言語のテキストデータに変換し（ステップｓ６３０）、変換後のテキストデータを音声データに変換する（ステップｓ６３１）。
FIG. 14 shows an example of an operation flowchart for translating speech data according to the embodiment of the present invention.
If the above-mentioned step s404 is remarked and translation is necessary in the above-described step s405, the speech input is made to the conference terminal or the translation device connected to or provided in the server 14 (74) (step s611).
The translation apparatus extracts voice pattern candidates stored in advance (step s612) and compares them with the input voice data (step s621).
As a result of the comparison, if the input speech data matches the pattern of the candidate speech data (OK in step s622), the candidate data is converted into text data of a predetermined language (step s630), and the converted text data is converted into the converted text data. Conversion into audio data (step s631).
また、前述のステップｓ６２２によるパターンの一致でない場合（ステップｓ６２２のＮＧ）、前述したステップｓ６１２にて抽出しステップｓ６２１にて比較を行わなかった他の候補（すなわち、２番目以降の候補となったデータ）と比較し（ステップｓ６２３）、パターンが一致する場合（ステップｓ６２４のＯＫ）は前述のステップｓ６３０へ移行し、また、パターンが一致しない場合（ステップｓ６２４のＮＧ）は一致比率の最も高い語句を候補として選択する（ステップｓ６２５）。 If the pattern does not match in step s622 (NG in step s622), another candidate extracted in step s612 and not compared in step s621 (that is, the second and subsequent candidates). (Step s623), if the pattern matches (OK in step s624), the process proceeds to step s630 described above, and if the pattern does not match (NG in step s624), the word with the highest match ratio Is selected as a candidate (step s625).
前述のステップｓ６３０による当該候補データを所定の言語のテキストデータに変換したデータについては、前述した図１２のステップｓ４０９により議事録に登録されるが、その変換されて登録されたデータを当該発言者若しくは任意の会議参加者がチェックして正しくない場合にはその旨を入力する（ステップｓ６３２のＮＧ）。
また、正しい場合には（ステップｓ６３２のＯＫ）、パターンライブラリに当該候補データが登録されていなければ（ステップｓ６３３のＮ）登録される（ステップｓ６５１）。
また、前述したステップｓ６３２のＮＧの場合、修正方法を選択する（ステップｓ６３４）。
修正方法には前述したステップｓ６１２やステップｓ６２３やステップｓ６２５の各候補の全体のテキストデータか（ステップｓ６４１）、若しくは一部か（ステップｓ６３５）の何れかを選択し、前記各候補のテキストデータを会議端末のキーボード等によって修正等の入力を行う（ステップｓ６４３）。
なお、ステップｓ６３５により一部のテキストデータの場合は該当する部分を選択する（ステップｓ６３６）。
The data obtained by converting the candidate data in the above-described step s630 into text data in a predetermined language is registered in the minutes in the above-described step s409 in FIG. 12, but the converted and registered data is added to the speaker. Alternatively, if any conference participant checks and is not correct, the fact is input (NG in step s632).
If it is correct (OK in step s632), if the candidate data is not registered in the pattern library (N in step s633), it is registered (step s651).
In the case of NG in step s632 described above, a correction method is selected (step s634).
As the correction method, either the entire text data of each candidate in step s612, step s623, or step s625 (step s641) or a part (step s635) is selected, and the text data of each candidate is selected. Input such as correction is performed using the keyboard of the conference terminal (step s643).
In the case of some text data in step s635, the corresponding part is selected (step s636).
また、ステップｓ６４３によるテキストデータによる入力ではなく、マイクによる音声入力により修正等を行うこともできる（ステップｓ６３７）。
その場合、音声入力をパターンライブラリに登録し（ステップｓ６５１）、そして対応する翻訳データを当該音声入力の特徴としてパターン登録し（ステップｓ６０１）、登録したパターンが候補データとなるように設定される（ステップｓ６０２）。
Further, correction or the like can be performed not by inputting text data in step s643 but by voice input using a microphone (step s637).
In that case, the speech input is registered in the pattern library (step s651), the corresponding translation data is registered as a feature of the speech input (step s601), and the registered pattern is set to be candidate data (step s601). Step s602).
図１３は、本発明の実施の形態であるテキストデータを翻訳する動作フローチャートの実施例を示す。
前述したステップｓ６３０により候補データを所定の言語に翻訳する場合、前述のステップｓ４０５により認識した発言者が登録している言語が選択される（ステップｓ５０１〜ステップｓ５０２）。
予め登録している所定の言語による音声データの認識（ステップｓ５０２のＹ〜ステップｓ５０３）による場合は前述した図１４の動作に従って言語ライブラリが選択され（ステップｓ５０５）、予め登録している所定の言語以外の言語の場合（ステップｓ５０２のＮ）は該当する言語を入力し（ステップｓ５０４）、言語ライブラリを選択する（ステップｓ５０５）。
また、例えば、前述したステップｓ６４３のように、テキストデータの入力により言語ライブラリの選択を行うこともできる（ステップｓ５０６）。
FIG. 13 shows an example of an operation flowchart for translating text data according to the embodiment of the present invention.
When the candidate data is translated into a predetermined language in step s630 described above, the language registered by the speaker recognized in step s405 is selected (steps s501 to s502).
In the case of recognition of voice data in a predetermined language registered in advance (Y in step s502 to step s503), a language library is selected in accordance with the operation of FIG. 14 described above (step s505), and the predetermined language registered in advance. For other languages (N in step s502), the corresponding language is input (step s504), and a language library is selected (step s505).
For example, as in step s643 described above, a language library can be selected by inputting text data (step s506).
選択した言語ライブラリから、音声入力された音声データに対する候補データを絞り込み（すなわち抽出し）（ステップｓ５０７）、当該音声データとその候補データのパターンが一致すると（ステップｓ５０８のＹ）、当該候補データを所定の言語のテキストデータに変換する（ステップｓ５１２）。
また、ステップｓ５０８によるパターンの一致でない場合（ステップｓ５０８のＮ）、前述したステップｓ５０７にて抽出した他の候補（すなわち、２番目以降の候補となったデータ）と比較し（ステップｓ５０９）、パターンが一致する場合（ステップｓ５１０のＹ）はステップｓ５１２へ移行し、また、パターンが一致しない場合（ステップｓ５１０のＮ）は一致比率の最も高い語句を候補として選択する（ステップｓ５１１）。
From the selected language library, candidate data for the voice data inputted by voice is narrowed down (that is, extracted) (step s507). When the voice data and the pattern of the candidate data match (Y in step s508), the candidate data is selected. Conversion into text data of a predetermined language (step s512).
If the pattern does not match in step s508 (N in step s508), the pattern is compared with the other candidates extracted in step s507 described above (that is, data that has become the second and subsequent candidates) (step s509). If they match (Y in step s510), the process proceeds to step s512. If the patterns do not match (N in step s510), the word / phrase having the highest matching ratio is selected as a candidate (step s511).
前述のステップｓ５１２による当該候補データを所定の言語のテキストデータに変換したデータについては、前述した図１２のステップｓ４０９により議事録に登録されるが、その変換されて登録されたデータを当該発言者若しくは任意の会議参加者がチェックして正しくない場合にはその旨を入力する（ステップｓ５１４のＮＧ）。
また、正しい場合には（ステップｓ５１４のＹ）、パターンライブラリに当該候補データが登録されていなければ（ステップｓ５１５のＮ）登録される（ステップｓ５５１）。
また、前述したステップｓ５１４のＮの場合、修正方法を選択する（ステップｓ５１６）。
修正方法には各候補データの全体のテキストデータか（ステップｓ５４１）、若しくは一部か（ステップｓ５３１）の何れかを選択し、前記各候補データを会議端末のキーボード等によって修正等の入力を行う（ステップｓ５４３）。
なお、ステップｓ５３１により一部の候補データの場合は該当する任意の部分を選択する（ステップｓ５３２）。
The data obtained by converting the candidate data in step s512 to text data in a predetermined language is registered in the minutes in step s409 in FIG. 12 described above, but the converted and registered data is added to the speaker. Alternatively, if any conference participant checks and is not correct, the fact is input (NG in step s514).
If it is correct (Y in step s514), if the candidate data is not registered in the pattern library (N in step s515), it is registered (step s551).
In the case of N in step s514 described above, a correction method is selected (step s516).
As the correction method, either the entire text data of each candidate data (step s541) or a part (step s531) is selected, and each candidate data is input for correction or the like by using the keyboard of the conference terminal or the like. (Step s543).
Note that in the case of some candidate data in step s531, an appropriate arbitrary portion is selected (step s532).
また、ステップｓ５４３による候補データの入力ではなく、マイクによる音声入力により修正等を行うこともできる（ステップｓ５３３）。
その場合、音声入力をパターンライブラリに登録し、前述したステップｓ６３７、ステップｓ６０１、ステップｓ６０２、の動作を行う（ステップｓ５３４）。
Further, correction or the like can be performed not by inputting candidate data in step s543 but by voice input using a microphone (step s533).
In that case, the voice input is registered in the pattern library, and the above-described operations of Step s637, Step s601, and Step s602 are performed (Step s534).
以上、本発明の実施の形態により、カメラが撮像した映像データを通信回線に接続された複数の会議端末の少なくとも１つに表示し、マイクに入力された音声をテキストデータに変換し、このテキストデータを所定の議事録に記録し、この記録した議事録を通信回線に接続された複数の会議端末に表示可能とする映像会議システムを提供することができる。 As described above, according to the embodiment of the present invention, video data captured by a camera is displayed on at least one of a plurality of conference terminals connected to a communication line, voice input to a microphone is converted into text data, and this text It is possible to provide a video conference system that records data in a predetermined minutes and displays the recorded minutes on a plurality of conference terminals connected to a communication line.
また、本発明の実施の形態により、所定の会議項目と会議時間を設定した議事録フォーマットを有し、カメラが撮像した映像データと共に議事録フォーマットを通信回線に接続された複数の会議端末の少なくとも１つに表示し、且つ、計時手段に基づいて議事の進行に伴う時間の経過を示すタイマ表示を議事録フォーマットに行う映像会議システムを提供することができる。 Further, according to the embodiment of the present invention, at least one of a plurality of conference terminals having a minutes format in which a predetermined meeting item and a meeting time are set, and the minutes format together with video data captured by the camera is connected to the communication line. It is possible to provide a video conference system that displays in one and displays a timer format indicating the passage of time with the progress of the proceedings in the minutes format based on the time measuring means.
さらに、本発明の実施の形態により、カメラが撮像した映像データを通信回線に接続された複数の会議端末の少なくとも１つに表示し、マイクに入力された音声をテキストデータに変換し、このテキストデータを所定の言語に翻訳し、この翻訳データとテキストデータとをリンクして所定の議事録フォーマットに記録し、この記録された議事録フォーマットを通信回線に接続された複数の会議端末に表示可能とする映像会議システムを提供することができる。 Further, according to the embodiment of the present invention, the video data captured by the camera is displayed on at least one of the plurality of conference terminals connected to the communication line, the voice input to the microphone is converted into text data, and the text Data can be translated into a given language, the translation data and text data can be linked and recorded in a given minutes format, and the recorded minutes format can be displayed on multiple meeting terminals connected to a communication line A video conference system can be provided.
１０、７０：会議室、１９、７９：他ネットワーク、
１１（１１−１、１１−２、・・・、１１−ｎ）、７１（７１−１、７１−２、・・・、７１−ｎ）：会議端末、
１２、７２：表示装置、 １３、７３：カメラ、 ７３１：カメラ（全体）、 ７３２：カメラ（可動）、 １４、７４：サーバ、 ７７：スピーカ、
１５、７５：承認端末、 １６、７６：会議端末（他ネットワーク接続）。
10, 70: Conference room, 19, 79: Other network,
11 (11-1, 11-2, ..., 11-n), 71 (71-1, 71-2, ..., 71-n): Conference terminal,
12, 72: Display device, 13, 73: Camera, 731: Camera (whole), 732: Camera (movable), 14, 74: Server, 77: Speaker,
15, 75: Approval terminal 16, 76: Conference terminal (other network connection).
Claims (6)
前記会議端末が通信回線を介して複数接続された映像会議システムにおいて、
前記撮像手段が撮像した映像データを前記接続された会議端末の少なくとも１つの会議端末の表示部に表示する映像表示手段と、
前記音声入力手段に入力された音声をテキストデータに変換する音声変換手段と、
該変換されたテキストデータを所定の言語に翻訳する翻訳手段と、
該翻訳された翻訳データと前記テキストデータとリンクして議事録フォーマットに記録する音声テキスト記録手段と、
該記録された議事録フォーマットを前記接続された複数の会議端末の表示部に表示可能とする議事録表示手段と、
より構成されることを特徴とする映像会議システム。 A conference terminal including a voice input unit, a display unit, at least one imaging unit,
In the video conference system in which a plurality of the conference terminals are connected via a communication line,
Video display means for displaying video data captured by the imaging means on a display unit of at least one conference terminal of the connected conference terminals;
Voice conversion means for converting voice input to the voice input means into text data;
Translation means for translating the converted text data into a predetermined language;
Voice text recording means for linking the translated data and the text data to record in a minutes format;
Minutes display means for enabling the recorded minutes format to be displayed on the display unit of the connected conference terminals;
A video conference system characterized by comprising:
前記音声入力手段に入力された音声、若しくは前記翻訳された翻訳データに基づいて音声変換された翻訳音声の何れかを前記音声出力手段より出力することを特徴とする前記請求項１に記載の映像会議システム。 The conference terminal has voice output means,
2. The video according to claim 1, wherein either the voice input to the voice input unit or the translated voice converted based on the translated translation data is output from the voice output unit. 3. Conference system.
当該動き検出手段の動き出しのタイミングに合致させて前記通信回線に接続された複数の会議端末の表示部及び音声出力手段に各々映像データ及び入力音声若しくは翻訳音声を出力することを特徴とする前記請求項２に記載の映像会議システム。 Motion detection means for detecting the occurrence of sound based on the video data picked up by the image pickup means and the sound input means;
The video data and the input audio or the translated audio are respectively output to the display units and audio output means of the plurality of conference terminals connected to the communication line in accordance with the timing of starting the movement detecting means. Item 3. The video conference system according to Item 2.
該参加者登録手段は、少なくとも当該会議端末にて使用する言語を登録する言語登録手段を有し、
該言語登録手段により登録された言語を前記所定の言語に翻訳する前記音声変換手段と、
前記所定の言語を当該会議端末にて使用する言語に翻訳する前記音声出力手段と、
を備えたことを特徴とする前記請求項２または請求項３に記載の映像会議システム。 The conference terminal includes a participant registration unit that determines that the audio input unit and the imaging unit of the conference terminal are valid by registering the conference participant,
The participant registration means includes language registration means for registering at least a language used in the conference terminal,
The voice conversion means for translating the language registered by the language registration means into the predetermined language;
The voice output means for translating the predetermined language into a language used in the conference terminal;
The video conference system according to claim 2 or claim 3, further comprising:
該送信された議事録フォーマットを受信した前記情報端末は、当該議事録フォーマットにアクセスして当該情報端末の固有データを記録することにより当該議事録フォーマットを承認する議事録承認手段とを備えたことを特徴とする前記請求項１乃至請求項５に記載の映像会議システム。
Minutes transmitting means for transmitting the minutes format to a preset information terminal or an information terminal set by a predetermined procedure;
The information terminal that has received the transmitted minutes format has a minutes approval means for approving the minutes format by accessing the minutes format and recording the unique data of the information terminal. The video conference system according to claim 1, wherein the video conference system is a video conference system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004104326A JP2005295015A (en) | 2004-03-31 | 2004-03-31 | Video meeting system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004104326A JP2005295015A (en) | 2004-03-31 | 2004-03-31 | Video meeting system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2005295015A true JP2005295015A (en) | 2005-10-20 |
Family
ID=35327499
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004104326A Pending JP2005295015A (en) | 2004-03-31 | 2004-03-31 | Video meeting system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2005295015A (en) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008197650A (en) * | 2007-02-14 | 2008-08-28 | Honda Motor Co Ltd | Sound data recording and reproducing device and sound data recording and reproducing method |
| JP2011043716A (en) * | 2009-08-21 | 2011-03-03 | Sharp Corp | Information processing apparatus, conference system, information processing method and computer program |
| US8078449B2 (en) | 2006-09-27 | 2011-12-13 | Kabushiki Kaisha Toshiba | Apparatus, method and computer program product for translating speech, and terminal that outputs translated speech |
| JP2013009434A (en) * | 2011-05-24 | 2013-01-10 | Ntt Docomo Inc | Service server device, service provision method, and service provision program |
| JP2015070299A (en) * | 2013-09-26 | 2015-04-13 | 日本電気株式会社 | Minute book creation supporting device, electronic conference device and electronic conference system |
| JP2015088913A (en) * | 2013-10-30 | 2015-05-07 | 株式会社リコー | Conference support device, conference support system, and conference support method |
| US9110888B2 (en) | 2011-05-24 | 2015-08-18 | Ntt Docomo, Inc. | Service server apparatus, service providing method, and service providing program for providing a service other than a telephone call during the telephone call on a telephone |
| JP2016192599A (en) * | 2015-03-30 | 2016-11-10 | 株式会社エヌ・ティ・ティ・データ | Device and method combining video conference system and speech recognition technology |
| JP2017073794A (en) * | 2011-02-28 | 2017-04-13 | 株式会社リコー | Transmission system, transmission method by transmission system, transmission terminal, transmission terminal control method, transmission terminal control program, transmission management device, management method by transmission management device and transmission management program |
| US9883018B2 (en) | 2013-05-20 | 2018-01-30 | Samsung Electronics Co., Ltd. | Apparatus for recording conversation and method thereof |
| JP6710818B1 (en) * | 2020-01-24 | 2020-06-17 | 日本電気株式会社 | Translation device, translation method, program |
| US11652957B1 (en) * | 2016-12-15 | 2023-05-16 | Steelcase Inc. | Content amplification system and method |
-
2004
- 2004-03-31 JP JP2004104326A patent/JP2005295015A/en active Pending
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8078449B2 (en) | 2006-09-27 | 2011-12-13 | Kabushiki Kaisha Toshiba | Apparatus, method and computer program product for translating speech, and terminal that outputs translated speech |
| JP2008197650A (en) * | 2007-02-14 | 2008-08-28 | Honda Motor Co Ltd | Sound data recording and reproducing device and sound data recording and reproducing method |
| JP2011043716A (en) * | 2009-08-21 | 2011-03-03 | Sharp Corp | Information processing apparatus, conference system, information processing method and computer program |
| JP2017073794A (en) * | 2011-02-28 | 2017-04-13 | 株式会社リコー | Transmission system, transmission method by transmission system, transmission terminal, transmission terminal control method, transmission terminal control program, transmission management device, management method by transmission management device and transmission management program |
| JP7088257B2 (en) | 2011-02-28 | 2022-06-21 | 株式会社リコー | Transmission management device |
| JP2022133291A (en) * | 2011-02-28 | 2022-09-13 | 株式会社リコー | Transmission management device |
| JP2021040316A (en) * | 2011-02-28 | 2021-03-11 | 株式会社リコー | Transmission management device |
| JP7371726B2 (en) | 2011-02-28 | 2023-10-31 | 株式会社リコー | Transmission management device |
| JP2020005302A (en) * | 2011-02-28 | 2020-01-09 | 株式会社リコー | Transmission management device |
| JP2013009434A (en) * | 2011-05-24 | 2013-01-10 | Ntt Docomo Inc | Service server device, service provision method, and service provision program |
| US9110888B2 (en) | 2011-05-24 | 2015-08-18 | Ntt Docomo, Inc. | Service server apparatus, service providing method, and service providing program for providing a service other than a telephone call during the telephone call on a telephone |
| JP2013009433A (en) * | 2011-05-24 | 2013-01-10 | Ntt Docomo Inc | Service server device, service provision method, and service provision program |
| US9883018B2 (en) | 2013-05-20 | 2018-01-30 | Samsung Electronics Co., Ltd. | Apparatus for recording conversation and method thereof |
| JP2015070299A (en) * | 2013-09-26 | 2015-04-13 | 日本電気株式会社 | Minute book creation supporting device, electronic conference device and electronic conference system |
| JP2015088913A (en) * | 2013-10-30 | 2015-05-07 | 株式会社リコー | Conference support device, conference support system, and conference support method |
| JP2016192599A (en) * | 2015-03-30 | 2016-11-10 | 株式会社エヌ・ティ・ティ・データ | Device and method combining video conference system and speech recognition technology |
| US11652957B1 (en) * | 2016-12-15 | 2023-05-16 | Steelcase Inc. | Content amplification system and method |
| JP2021117676A (en) * | 2020-01-24 | 2021-08-10 | 日本電気株式会社 | Translator, translation method, and program |
| JP6710818B1 (en) * | 2020-01-24 | 2020-06-17 | 日本電気株式会社 | Translation device, translation method, program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5003125B2 (en) | Minutes creation device and program | |
| JP5120777B2 (en) | Electronic data editing apparatus, electronic data editing method and program | |
| US8527261B2 (en) | Portable electronic apparatus capable of multilingual display | |
| US20110096135A1 (en) | Automatic labeling of a video session | |
| JP2005295015A (en) | Video meeting system | |
| WO2010010736A1 (en) | Conference image creating method, conference system, server device, conference device, and so forth | |
| JP6664249B2 (en) | Minutes preparation system | |
| CN112672095A (en) | Teleconferencing system | |
| US11611600B1 (en) | Streaming data processing for hybrid online meetings | |
| JP2005065286A (en) | Apparatus and method for managing address book in portable terminal having camera | |
| JP6091690B1 (en) | Assembly management support system and assembly management support method | |
| JP2008269411A (en) | Image keyword editing system, image keyword provision server and image keyword editing device | |
| JP2005295017A (en) | Video conference system | |
| CN103119917B (en) | Mobile terminal device | |
| JP4572545B2 (en) | Information processing system, information processing method, and computer program | |
| JP2005295016A (en) | Video conference system | |
| JP2001318898A (en) | Device and method for exchanging name card, and recording medium | |
| JP5344587B2 (en) | Terminal device and program | |
| JP4850690B2 (en) | Teleconferencing equipment | |
| JP5023932B2 (en) | Imaging apparatus, image capturing method by scenario, and program | |
| JPH05252509A (en) | Multimedia device and electronic conference system | |
| KR100482730B1 (en) | Real time quick writing system of a room for meeting | |
| JPH09331385A (en) | Voice image communication system and image information retrieval system | |
| JP2010267174A (en) | Terminal device and program | |
| KR102523829B1 (en) | Visual presenter and method for producing contents using the same |