JPH11234640A - Communication control system - Google Patents
Communication control systemInfo
- Publication number
- JPH11234640A JPH11234640A JP10035062A JP3506298A JPH11234640A JP H11234640 A JPH11234640 A JP H11234640A JP 10035062 A JP10035062 A JP 10035062A JP 3506298 A JP3506298 A JP 3506298A JP H11234640 A JPH11234640 A JP H11234640A
- Authority
- JP
- Japan
- Prior art keywords
- studio
- speaker
- control system
- video
- communication control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】この発明は、テレビ会議のよ
うな複数のスタジオを結んで相互通信を行うようにした
通信制御システムに関する。詳しくは、複数のスタジオ
を結んで相互通信を行う場合に、話者の目線上にビデオ
カメラを設置して話者の映像を捉えることによって、対
話の違和感をなくすと共に、複数の対話者のうち、どの
対話者と会話中にあるかを特定し、特定から洩れた対話
者の音声を絞り込むことによって、話中にある対話者の
音声判読を容易に行えるようにしたものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a communication control system in which a plurality of studios such as a video conference are connected to perform mutual communication. In detail, when communicating with multiple studios, a video camera is installed on the eyes of the speaker to capture the image of the speaker, eliminating the discomfort of the dialogue and By identifying which interlocutor is in conversation, and narrowing down the voice of the interlocutor that has been omitted from the specification, the voice of the interlocutor during speech can be easily interpreted.
【０００２】[0002]
【従来の技術】テレビ会議などでは２つのスタジオだけ
でなく、それ以上のスタジオを結んで相互通信（多元ス
タジオ通信）を行う場合が考えられる。図１２はこのよ
うな場合を想定したＴＶ会議システム１０の一例を示す
要部の系統図である。2. Description of the Related Art In a video conference or the like, not only two studios but also more studios may be connected to perform mutual communication (multi-studio communication). FIG. 12 is a system diagram of a main part showing an example of the TV conference system 10 assuming such a case.
【０００３】同図においては、Ａスタジオに対して３つ
のスタジオＢ、Ｃ、Ｄを結んで多元通信を行うＴＶ会議
システムを示す。ここに、スタジオを区別するため、便
宜的にＡスタジオを話者を被写体としたスタジオＹと
し、Ｂ〜Ｄスタジオを対話者を被写体とするスタジオＸ
とする。FIG. 1 shows a TV conference system in which three studios B, C, and D are connected to studio A to perform multiple communication. Here, in order to distinguish the studios, the studio A is referred to as a studio Y whose subject is a speaker, and the studios X to B are studios whose subjects are dialogues.
And
【０００４】Ａスタジオには１台のビデオカメラ１４が
設置され、話者（被写体１２）が撮像されて映像信号Ｓ
ａが得られる。またＡスタジオ内に設置されたマイク１
６で集音されて音声信号Ａａが得られる。これら映像信
号Ｓａと音声信号ＡａがそれぞれＴＶ会議を行うべきＢ
スタジオ〜Ｄスタジオに送信される。A video camera 14 is installed in the studio A, and a speaker (subject 12) is imaged and a video signal S
a is obtained. Microphone 1 installed in Studio A
The sound is collected at 6 to obtain an audio signal Aa. Each of the video signal Sa and the audio signal Aa is used for a TV conference B
Studio to D studio.
【０００５】Ｂスタジオ〜Ｄスタジオで撮像した対話者
の映像信号Ｓｂ〜Ｓｄおよび集音した音声信号Ａｂ〜Ａ
ｄはそれぞれ同一若しくは別々の伝送路を経由してＡス
タジオに送られる。受信した映像信号Ｓｂ〜Ｓｄおよび
音声信号Ａｂ〜Ａｄは受信装置１８で分離され、受信装
置１８に内蔵された画像表示装置に映像信号Ｓｂ〜Ｓｄ
が供給されてスクリーン２０に投影、表示される。図示
のように３つのスタジオＸを結んだＴＶ会議の場合に
は、図１３に示すようにスクリーン２０にはそれぞれの
対話者が３分割されて同時表示される。また音声信号Ａ
ｂ〜Ａｄはスピーカ２２に供給される。[0005] The video signals Sb-Sd of the interlocutor imaged in the studios B-D and the audio signals Ab-A collected from the listener.
d is sent to Studio A via the same or different transmission paths. The received video signals Sb to Sd and the audio signals Ab to Ad are separated by the receiving device 18 and the video signals Sb to Sd are supplied to an image display device built in the receiving device 18.
Is supplied and projected and displayed on the screen 20. In the case of a TV conference in which three studios X are connected as shown in the figure, each interlocutor is divided into three parts and simultaneously displayed on the screen 20 as shown in FIG. Audio signal A
b to Ad are supplied to the speaker 22.
【０００６】Ｂスタジオ〜Ｄスタジオにおいても、内部
に設置されたスクリーンに対話者が分割表示されると共
に、それぞれの音声信号が出力される。In the studios B to D, the interlocutor is divided and displayed on a screen installed in the studio, and respective audio signals are output.
【０００７】[0007]
【発明が解決しようとする課題】ところで、このような
多元ＴＶ会議システムでは次のような問題を惹起する。
第１には、臨場感のあるＴＶ会議システムを構築できな
いことである。スタジオでは通常１台のビデオカメラ１
４で話者を撮像し、その映像信号を全てのスタジオＸに
送信するようにしている。そのため、例えばＡスタジオ
の話者１２がＢスタジオの対話者と対話していても、話
者１２の目線（視線）はＢスタジオの対話者の目線と一
致しているとは限らない。通常の場合Ａスタジオ内のビ
デオカメラ１４とスクリーン２０とは同一位置になく、
話者１２はスクリーン２０と対峙した状態で会話してい
るから、ビデオカメラ１４側には話者１２の目線がない
からである。そのため、同じ部屋で会議している実感が
わかない。つまり、臨場感が薄れ、違和感が残ってしま
う。このような場合、話者との目線を合うようにビデオ
カメラを設置すればよい。However, such a multiple TV conference system has the following problems.
First, a TV conference system with a sense of reality cannot be constructed. In the studio, usually one video camera 1
At 4 the speaker is imaged and the video signal is transmitted to all studios X. For this reason, for example, even if the speaker 12 in the A studio is interacting with the speaker in the B studio, the line of sight (the line of sight) of the speaker 12 does not always match the line of sight in the speaker in the B studio. Usually, the video camera 14 and the screen 20 in the studio A are not at the same position,
This is because the speaker 12 is conversing while facing the screen 20, and there is no line of sight of the speaker 12 on the video camera 14 side. For this reason, it is difficult to feel the actual meeting in the same room. That is, the sense of presence is weakened, and the sense of incongruity remains. In such a case, the video camera may be installed so as to match the eyes of the speaker.
【０００８】第２に、複数のスタジオＸと結んで会議を
行う場合、発言者が多いと、どの対話者が発言者である
か、特定するのが大変な場合がある。通常、１対１で対
話するのが普通であるから、同時に多数の人が発言する
と混乱してしまう。このようなときには、１対１で対話
している話者の音声を強調し、それ以外の発言者の音声
を絞り込むことによって、特定の者との対話をスムース
に違和感なく遂行できる。Second, when a conference is held with a plurality of studios X, if there are many speakers, it may be difficult to specify which interlocutor is the speaker. Usually, one-on-one dialogue is common, and confusion occurs when many people speak at the same time. In such a case, by emphasizing the voice of the speaker who is talking one-on-one and narrowing down the voices of the other speakers, it is possible to smoothly perform the dialogue with the specific person without feeling uncomfortable.
【０００９】そこで、この発明はこのような従来の課題
を解決したものであって、多元ＴＶ会議などを行う場合
でも、臨場感を維持しながら、特定話者の会話内容を容
易に判読できるようにした通信制御システムを提案する
ものである。Accordingly, the present invention has been made to solve such a conventional problem, and it is possible to easily read the conversation content of a specific speaker while maintaining a sense of realism even when performing a multiple TV conference or the like. A communication control system is proposed.
【００１０】[0010]
【課題を解決するための手段】上述の課題を解決するた
め、請求項１に記載したこの発明に係る通信制御システ
ムでは、複数のスタジオを結んでテレビ会議などの相互
通信を行う通信装置の通信制御システムにおいて、対話
中のスタジオＸの個数分の映像情報をそれぞれ個別に映
し出す複数のスクリーンと、スタジオＹ内の被写体を映
し出すビデオカメラと、上記スタジオＸからの音声を出
力するスピーカとを有し、上記ビデオカメラは上記被写
体の目線と同一視できる位置から撮像され、撮像された
映像信号が全ての対話者側に音声と共に送出されると共
に、この目線検知手段からの出力に基づいて上記被写体
が現在対話している相手側を特定し、特定された対話者
が居るスタジオＸより送出された音声は高めとなるよう
に上記スピーカに供給される音声信号が制御され、それ
以外のスタジオＸより送出された音声は低めとなるよう
に上記別のスピーカに供給される音声信号が制御される
ようになされたことを特徴とする。According to a first aspect of the present invention, there is provided a communication control system according to the present invention, wherein a plurality of studios are connected to each other to perform a mutual communication such as a video conference. The control system includes a plurality of screens for individually projecting video information corresponding to the number of studios X in conversation, a video camera for projecting a subject in the studio Y, and a speaker for outputting audio from the studio X. The video camera is imaged from a position that can be identified with the line of sight of the object, and the imaged video signal is sent together with the voice to all the interlocutors, and based on the output from the line of sight detection means, The other party who is currently interacting is specified, and the sound transmitted from Studio X where the specified interlocutor is located is set to the speaker so that the sound is higher. Controlled audio signal to be fed, characterized in that the other audio signal studio X audio sent from the fed to the further loudspeaker so that lower is adapted to be controlled.
【００１１】この発明では、多元中継を行うスタジオＸ
の数だけスタジオＹ内にスクリーンを設ける。そして、
そのスクリーンに対してスタジオＹ内の話者の目線の方
向にビデオカメラを設置する。例えば３つのスタジオ
Ｂ、Ｃ、ＤとスタジオＡとが結ばれているときには、３
つのスクリーンと３台のビデオカメラを設置する。それ
ぞれのスクリーンには対応するスタジオＢ、Ｃ、Ｄから
の映像を映し出す。According to the present invention, a studio X for performing multi-casting is provided.
Screens are provided in studio Y by the number of. And
A video camera is set in the direction of the line of sight of the speaker in studio Y with respect to the screen. For example, when three studios B, C and D are connected to studio A, 3
Install two screens and three video cameras. Images from the corresponding studios B, C, and D are projected on each screen.
【００１２】例えばスタジオＢの話者と会話していると
きには、Ａスタジオの話者はＢスタジオ用スクリーンに
映し出されたスタジオＢの話者の目線と一致させながら
対話することになるので、スタジオＢの話者と１対１で
会話している雰囲気を出すことができる。これによって
臨場感のあるＴＶ会議システムを構築できる。For example, when talking with the speaker in studio B, the speaker in studio A talks while matching the eyes of the speaker in studio B displayed on the screen for studio B. Can give an atmosphere of having a one-on-one conversation with a speaker. This makes it possible to construct a TV conference system with a sense of reality.
【００１３】Ｂスタジオ用スクリーンに関連したビデオ
カメラで撮像された映像信号はＢスタジオに送られるの
で、Ｂスタジオの話者も同じく臨場感溢れるＴＶ会議を
体験できる。[0013] Since the video signal picked up by the video camera associated with the screen for the B studio is sent to the B studio, the speaker of the B studio can also experience a TV conference full of a sense of reality.
【００１４】そして、このように特定の話者との会話を
しているときには、そのほかの話者からの音声を絞るこ
とによって会話内容の認識を確実に行うことができる。[0014] When a conversation with a specific speaker is being carried out as described above, it is possible to surely recognize the contents of the conversation by narrowing down the voices of the other speakers.
【００１５】[0015]
【発明の実施の形態】続いて、この発明に係る通信制御
システムを上述した多元ＴＶ会議システムに適用した場
合につき、その一実施形態を図面を参照して詳細に説明
する。説明の都合上４つのスタジオとの間で多元ＴＶ会
議を行う場合を説明する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Next, an embodiment in which a communication control system according to the present invention is applied to the above-described multiple TV conference system will be described in detail with reference to the drawings. For convenience of explanation, a case where a multi-source TV conference is performed with four studios will be described.
【００１６】この場合、Ａスタジオには図１に示すよう
な通信制御システム３０が設けられる。Ａスタジオには
３つのスクリーン４１，６１，８１が例えば図２に示す
ように放射状に配される。そして図２のようにスクリー
ン４１にはＢスタジオからの映像（対話者Ｂ）が映し出
され、スクリーン６１にはＣスタジオからの対話者Ｃの
映像が映し出され、そしてスクリーン８１にはＤスタジ
オからの対話者Ｄの映像が映し出される。In this case, the studio A is provided with a communication control system 30 as shown in FIG. In the studio A, three screens 41, 61 and 81 are arranged radially, for example, as shown in FIG. As shown in FIG. 2, a screen 41 displays an image from the B studio (interactor B), a screen 61 displays an image of the interlocutor C from the C studio, and a screen 81 displays an image from the D studio. An image of the interlocutor D is displayed.
【００１７】話者Ａがそれぞれのスクリーンと対峙して
いるとき、その話者Ａの映像が対応するビデオカメラ４
６，６６，８６で撮像される。これによって対話者Ｂと
会話しているときは対話者Ｂと話者Ａの目線Ｌｂがそれ
ぞれ一致する。同様に、対話者Ｃと会話しているときは
対話者Ｃと話者Ａの目線Ｌｃが一致し、また対話者Ｄと
会話しているときは対話者Ｄと話者Ａの目線Ｌｄが一致
することになる。したがって原則として、話者Ａの目線
の延長線上にビデオカメラ４６，６６，８６が設置され
る（図２参照）。このことから、スクリーン４１，６
１，８１としてはハーフミラーや透過型液晶スクリーン
などが好適である。When the speaker A faces each screen, the video of the speaker A corresponds to the video camera 4.
Images are taken at 6, 66, and 86. Thus, when talking with the interlocutor B, the eyes Lb of the interlocutor B and the speaker A coincide with each other. Similarly, when talking with the interlocutor C, the eyes Lc of the interlocutor C and the speaker A match, and when talking with the interlocutor D, the eyes Ld of the interlocutor D and the speaker A match. Will do. Therefore, in principle, the video cameras 46, 66, and 86 are installed on an extension of the line of sight of the speaker A (see FIG. 2). From this, the screens 41, 6
As 1 and 81, a half mirror, a transmission type liquid crystal screen, or the like is preferable.
【００１８】図１に示す通信制御システム３０におい
て、スタジオＢ〜Ｄに対応してそれぞれＴＶ会議装置４
０，６０，８０が設けられる。これらは同一構成である
ため、ＴＶ会議装置４０についてのみ説明すると、この
ＴＶ会議装置４０には上述したスクリーン４１の他に、
このスクリーン４１に対話者Ｂの映像を映し出すための
画像表示装置４２と、Ｂスタジオ内の音声を出力するス
ピーカ４５が設けられている。Ｂスタジオからの映像信
号Ｓｂおよび音声信号Ａｂは端子４３を介して供給され
る。さらに、話者Ａを撮像するビデオカメラ４６と話者
Ａの音声を集音するマイク４７が設けられ、ビデオカメ
ラ４６の映像信号Ｓａおよびマイク４７からの音声信号
Ａａは端子４４よりＴＶ会議用伝送路に送出される。In the communication control system 30 shown in FIG. 1, the TV conference devices 4 correspond to the studios B to D, respectively.
0, 60 and 80 are provided. Since these have the same configuration, only the TV conference device 40 will be described. In addition to the screen 41 described above, the TV conference device 40 includes
An image display device 42 for displaying an image of the interlocutor B on the screen 41 and a speaker 45 for outputting sound in the studio B are provided. The video signal Sb and the audio signal Ab from the studio B are supplied via a terminal 43. Further, a video camera 46 for imaging the speaker A and a microphone 47 for collecting the voice of the speaker A are provided, and the video signal Sa of the video camera 46 and the audio signal Aa from the microphone 47 are transmitted from the terminal 44 for the TV conference. Sent to the road.
【００１９】なお、３つのＴＶ会議装置４０，６０，８
０から得られる３つの映像信号Ｓａ（Ｓａｂ〜Ｓａｄ）
のうちの１つを、Ａスタジオから伝送すべき映像信号と
して利用している。例えば中央のＴＶ会議装置４０から
出力された映像信号ＳａｂがＢスタジオ〜Ｄスタジオに
向けて送出される。音声信号Ａａ（Ａａｂ〜Ａａｄ）も
同様に中央の音声信号Ａａｂが送出される。もちろん、
それぞれのＴＶ会議装置４０，６０，８０から得られた
映像信号Ｓａｂ〜Ｓａｄおよび音声信号Ａａｂ〜Ａａｄ
を対応するＢスタジオ〜Ｄスタジオに送るようにしても
よい。The three TV conference devices 40, 60, 8
Three video signals Sa obtained from 0 (Sab to Sad)
Is used as a video signal to be transmitted from Studio A. For example, a video signal Sab output from the central TV conference device 40 is transmitted to studios B to D. Similarly, the central audio signal Aab is transmitted as the audio signal Aa (Aab to Aad). of course,
Video signals Sab to Sad and audio signals Aab to Aad obtained from the respective TV conference devices 40, 60, and 80.
May be sent to the corresponding B studio to D studio.
【００２０】さて、この発明では話者Ａの目線上にビデ
オカメラを設置するため、スクリーン４１としては図３
に示すようなハーフミラー等が使用される。ハーフミラ
ー４１の下部には画像表示装置４２が位置し、画像表示
装置４２からの映像がこのハーフミラー４１に映し出さ
れるように構成されている。そして、ハーフミラー４１
の背面側であって、話者Ａと対向する目線の延長線上の
位置にはビデオカメラ４６が設置される。In the present invention, since the video camera is installed on the line of sight of the speaker A, the screen 41 shown in FIG.
A half mirror as shown in FIG. An image display device 42 is located below the half mirror 41, and the image from the image display device 42 is projected on the half mirror 41. And the half mirror 41
A video camera 46 is installed at a position on the back side of the camera and on an extension of the line of sight facing speaker A.
【００２１】これによって話者Ａがハーフミラー４１と
対峙しているときはハーフミラー４１に映し出された対
話者Ｂの目線が話者Ａと一致するから、話者Ａはあたか
も同じ部屋で対話者Ｂと向き合いながら会話しているの
と同じ雰囲気を作り出すことができる。そして、この話
者Ａの映像はビデオカメラ４６で撮像され、Ｂスタジオ
に送られるから、Ｂスタジオの対話者Ｂもまた話者Ａと
その目線が合った状態で会話を遂行できる。以上のよう
な処理によって多元ＴＶ会議システムであっても臨場感
溢れるシステムを構築できる。As a result, when the speaker A is facing the half mirror 41, the eyes of the talker B projected on the half mirror 41 match the talker A, so that the talker A is as if the talker A is in the same room. You can create the same atmosphere as if you were talking while facing B. Then, since the video of the speaker A is captured by the video camera 46 and sent to the studio B, the interlocutor B of the studio B can also have a conversation with the speaker A while keeping their eyes in line. With the above-described processing, it is possible to construct a system with a sense of realism even in a multi-source TV conference system.
【００２２】この発明ではさらに、話者Ａが会話中の対
話者を特定し、特定の対話者の音声を強調し、それ以外
の対話者の音声を絞り込むことによって、対話者の音声
を明瞭に把握できるようにする構成が採用されている。Further, in the present invention, the speaker A can identify the interlocutor in conversation, emphasize the voice of the specific interlocutor, and narrow down the voices of the other interlocutors, thereby clearing the voice of the interlocutor. A configuration that allows the user to grasp the information is adopted.
【００２３】話者Ａがどのスタジオの対話者と会話をし
ているかを特定するため、この発明では目線検知手段が
それぞれのＴＶ会議装置４０，６０，８０に設けられ
る。図３を参照して説明すると、この例では目線検知手
段として赤外光線を発光する赤外光源４９がビデオカメ
ラ４６の光学系の周りを挟むように配される。In the present invention, the eye-gaze detecting means is provided in each of the TV conference apparatuses 40, 60, and 80 in order to specify which studio in which the speaker A is conversing. Referring to FIG. 3, in this example, an infrared light source 49 that emits infrared light is disposed as an eye-gaze detecting unit so as to sandwich the optical system of the video camera 46 therebetween.
【００２４】図４の例では赤外光源４９として発光ダイ
オード（ＬＥＤ）などが使用され、トータル８個の赤外
光源４９ａ〜４９ｈが光学系４８の周りに等間隔で配さ
れ、これらより赤外光線が話者Ａに向けて照射される。
赤外光源４９の発光パワーが大きいときは使用する個数
を減らすことができる。In the example of FIG. 4, a light emitting diode (LED) or the like is used as the infrared light source 49, and a total of eight infrared light sources 49a to 49h are arranged around the optical system 48 at equal intervals. A light beam is directed toward speaker A.
When the light emission power of the infrared light source 49 is large, the number of used light sources can be reduced.
【００２５】目の瞳孔の奥には網膜があり、瞳孔から入
射した光は網膜で反射する。このとき入射光と同じ方向
からビデオカメラ４６で話者Ａを撮像しているので、話
者Ａがハーフミラー４１と対峙しているときには瞳孔が
明るく撮像されることはよく知られている。目線検知手
段ではこの原理を応用したもので、映像信号Ｓａｂ中よ
り瞳孔の明るさを検知し、瞳孔の存在が確認されたとき
には話者Ａがビデオカメラ４６と対峙し、対話者Ｂと会
話していると判断する。The retina is behind the pupil of the eye, and light incident from the pupil is reflected by the retina. At this time, since the speaker A is imaged by the video camera 46 from the same direction as the incident light, it is well known that the pupil is brightly imaged when the speaker A faces the half mirror 41. The eye-gaze detecting means applies this principle, detects the brightness of the pupil from the video signal Sab, and when the presence of the pupil is confirmed, the speaker A faces the video camera 46 and talks with the interlocutor B. Judge that
【００２６】したがって、赤外光源４９はできるだけビ
デオカメラ４６のカメラ光軸に近い方が検知精度が向上
することから、図４のように光学系４８の周りに赤外光
源４９を取り付けたものである。そして、図５のように
赤外光線は間欠的に照射される。図の例では４フレーム
に１回の割合で１フレームの期間にわたり赤外光線が照
射され、赤外光線を照射している期間に撮像された映像
信号Ｓａｂは目線検知用の映像信号として使用され、そ
れ以外の期間に撮像された映像信号Ｓａｂが通常の映像
信号として使用される。Therefore, as the infrared light source 49 is closer to the camera optical axis of the video camera 46 as much as possible, the detection accuracy is improved, so that the infrared light source 49 is mounted around the optical system 48 as shown in FIG. is there. Then, as shown in FIG. 5, the infrared rays are applied intermittently. In the example shown in the figure, infrared rays are irradiated once per four frames over a period of one frame, and a video signal Sab captured during the period of irradiating the infrared rays is used as a video signal for eye-gaze detection. The video signal Sab captured during the other periods is used as a normal video signal.
【００２７】目線が検知されたＴＶ会議装置４０では、
これに内蔵されたスピーカ４５に加えるＢスタジオから
の音声信号Ａｂの音量の調整が行われる。そのため、図
１に示すようにこの通信制御システム３０には中央制御
装置１００が設けられ、ＴＶ会議装置４０からの映像信
号Ｓｂが供給され、話者Ａの目線がハーフミラー４１を
向いているのかの検知が行われる。目線検知結果は再び
ＴＶ会議装置４０側に戻されて、対応するスピーカ４５
の音量が調整される。つまり目線が検知されたときには
その音量を大きくし、目線が検知されないときはその音
量を絞り込むような調整が中央制御装置１００からの指
令によって行われる。In the TV conference apparatus 40 whose eyes are detected,
The volume of the audio signal Ab from the studio B to be added to the built-in speaker 45 is adjusted. Therefore, as shown in FIG. 1, the communication control system 30 is provided with the central control device 100, the video signal Sb is supplied from the TV conference device 40, and the speaker A is looking at the half mirror 41. Is detected. The gaze detection result is returned to the TV conference device 40 again, and the corresponding speaker 45 is returned.
Is adjusted. That is, when the eyes are detected, the volume is increased, and when the eyes are not detected, the adjustment is performed by the instruction from the central control device 100 to narrow down the volume.
【００２８】まず、ＴＶ会議装置４０から図６を参照し
て説明する。ビデオカメラ４６で撮像された映像信号は
アンプなどで構成された入力装置５０を介してＡ／Ｄ変
換器５１に供給されてディジタル信号に変換される。デ
ィジタル信号は後述する信号処理回路７７を介して符号
化回路５２に供給されてコーディック処理が行われる。First, the TV conference apparatus 40 will be described with reference to FIG. A video signal captured by the video camera 46 is supplied to an A / D converter 51 via an input device 50 composed of an amplifier or the like, and is converted into a digital signal. The digital signal is supplied to the encoding circuit 52 via a signal processing circuit 77 described later, and is subjected to codec processing.
【００２９】また、マイク４７で集音された音声信号は
アンプなどで構成された入力装置５４を介してＡ／Ｄ変
換器５５に供給されてディジタル信号に変換される。デ
ィジタル信号は符号化回路５６で符号化される。符号化
された映像信号Ｓａ（Ｓａｂ）および音声信号Ａａ（Ａ
ａｂ）は送受信装置５３に供給され、伝送に適した形態
に変換されたのち端子４４を経て伝送路に送出される。The audio signal collected by the microphone 47 is supplied to an A / D converter 55 via an input device 54 composed of an amplifier or the like, and is converted into a digital signal. The digital signal is encoded by the encoding circuit 56. The encoded video signal Sa (Sab) and audio signal Aa (A
ab) is supplied to the transmission / reception device 53, converted into a form suitable for transmission, and then transmitted to the transmission path via the terminal 44.
【００３０】一方、端子４３を介して供給されたＢスタ
ジオに関する映像信号Ｓｂおよび音声信号Ａｂは送受信
装置５３で分離され、その後映像信号ＳｂはＤ／Ａ変換
器７１でアナログ信号に戻され、このアナログ映像信号
が画像表示装置４２に供給されることによってスクリー
ンとして機能するハーフミラー４１にＢスタジオの映像
が表示される。同様に、受信された音声信号ＡｂはＤ／
Ａ変換器７３においてアナログ化され、このアナログ音
声信号がアンプ７４を経てスピーカ４５に供給される。
アンプ７４のゲインを調整することで音量調整が行われ
る。音量調整信号ＳＣｂは中央制御装置１００から供給
される。On the other hand, the video signal Sb and the audio signal Ab concerning the B studio supplied via the terminal 43 are separated by the transmitting / receiving device 53, and thereafter the video signal Sb is returned to the analog signal by the D / A converter 71. When the analog video signal is supplied to the image display device 42, the video of the B studio is displayed on the half mirror 41 functioning as a screen. Similarly, the received audio signal Ab is D /
The analog audio signal is converted into an analog signal by the A converter 73 and supplied to the speaker 45 via the amplifier 74.
The sound volume is adjusted by adjusting the gain of the amplifier 74. Volume control signal SCb is supplied from central control device 100.
【００３１】このＴＶ会議装置４０にはさらに赤外光源
４９に対する点灯パターン発生回路７５が設けられ、こ
こで図５に示すような点灯パターン信号が生成され、こ
れがドライバ７６を介して赤外光源４９に供給される。
この点灯パターン信号に基づいて赤外光源４９が駆動さ
れる。The TV conference apparatus 40 is further provided with a lighting pattern generation circuit 75 for the infrared light source 49, which generates a lighting pattern signal as shown in FIG. Supplied to
The infrared light source 49 is driven based on the lighting pattern signal.
【００３２】点灯パターン信号は映像信号系に設けられ
た信号処理回路７７に供給され、点灯パターン信号が得
られている期間は例えば映像信号Ｓａ（Ｓａｂ）として
送信しないように制御される。その代わり、この期間中
に得られる映像信号は目線検知信号として中央制御装置
１００に供給される。The lighting pattern signal is supplied to a signal processing circuit 77 provided in the video signal system, and is controlled so as not to be transmitted as a video signal Sa (Sab) during a period in which the lighting pattern signal is obtained. Instead, the video signal obtained during this period is supplied to the central control device 100 as a line-of-sight detection signal.
【００３３】なお、Ａスタジオで撮像した話者Ａの姿
は、このＡスタジオ内に設けられたハーフミラー４１に
対話者Ｂと一緒に映し出すこともできる。これは話者Ａ
自身がどのような姿で写されているかの確認を込めた意
味もある。そのため、ディジタル化された映像信号の一
部が加算器７８に供給されて受信したＢスタジオの映像
信号Ｓｂと混合される。その出力はスイッチ７９を介し
て画像表示装置４２に供給される。The image of the speaker A captured in the studio A can be displayed together with the interlocutor B on the half mirror 41 provided in the studio A. This is speaker A
There is also a meaning with confirmation of how the person is captured. Therefore, a part of the digitized video signal is supplied to the adder 78 and mixed with the received video signal Sb of the B studio. The output is supplied to the image display device 42 via the switch 79.
【００３４】加算器７８およびスイッチ７９の代わり
に、ビデオミキサー（ビデオスイッチャー、図示はしな
い）を用意し、このビデオミキサを話者Ａがコントロー
ルするようにしてもよい。Instead of the adder 78 and the switch 79, a video mixer (video switcher, not shown) may be prepared, and the video mixer may be controlled by the speaker A.
【００３５】映像混合の一例を図８、図９、図１０およ
び図１１に示す。図８は右下の一部にＡスタジオの映像
をはめ込んだ場合であり、図９はそのはめ込み映像を拡
大できるようにした例である。図１０は上下に２分割し
て映し出した場合であり、図１１は左右に２分割して映
し出した場合である。はめ込み処理を行うかどうか、つ
まりスイッチ７９に対する制御やはめ込み映像のサイズ
変更などは、何れもＴＶ会議装置４０内に設けられたマ
イコン（図示はしない）に与える話者Ａからの指令に基
づいて行われることになる。An example of video mixing is shown in FIGS. 8, 9, 10 and 11. FIG. 8 shows a case where an image of Studio A is fitted into a part of the lower right, and FIG. 9 shows an example in which the fitted image can be enlarged. FIG. 10 shows a case where the image is projected into two parts vertically, and FIG. 11 shows a case where the image is divided into two parts left and right. Whether to perform the fitting process, that is, the control of the switch 79 and the change of the size of the fitted video are performed based on a command from the speaker A given to a microcomputer (not shown) provided in the TV conference apparatus 40. Will be
【００３６】他のＴＶ会議装置６０，８０も同じように
構成されているので、対応する箇所には対応する符号を
付して示す。Since the other TV conference devices 60 and 80 have the same configuration, corresponding portions are denoted by corresponding reference numerals.
【００３７】さて、上述した中央制御装置１００では目
線検知用の映像信号に基づいて目線が存在するかどうか
の検知処理が行われる。この検知処理はソフトウエアに
よって行うもので、この目線検知は３つのＴＶ会議装置
４０，６０，８０からの映像信号Ｓａｂ〜Ｓａｄを利用
して行われる。The above-described central control device 100 performs a process of detecting whether or not a line of sight exists based on a video signal for line of sight detection. This detection processing is performed by software, and this line-of-sight detection is performed using the video signals Sab to Sad from the three TV conference devices 40, 60, and 80.
【００３８】図７はその一例を示すもので、目線検知か
ら最終的に音量を調整するまでのフローチャートの一例
である。まず、各目線検知用の映像信号Ｓａｂ〜Ｓａｄ
を利用して瞳孔と思われる領域が２つあるかどうかを判
断する（ステップ１１０〜１１２）。顔面の領域内での
輝度レベルに基づいて瞳孔と思われる領域の有無を判断
する。それぞれにおいて瞳孔が２つあると判断されたと
きは、検出された瞳孔の重心間距離を算出する（ステッ
プ１１３）。そして、そのうちの最も距離の長い瞳孔領
域である映像信号がスクリーン４１，６１，８１に対し
て正対しているときの映像信号つまり正面画像であると
判断する。FIG. 7 shows an example of this, and is an example of a flowchart from the detection of the eyes to the final adjustment of the volume. First, the video signals Sab to Sad for each line of sight detection
It is determined whether or not there are two regions that are considered to be pupils (steps 110 to 112). The presence or absence of a region considered to be a pupil is determined based on the luminance level in the region of the face. When it is determined that there are two pupils in each case, the distance between the centers of gravity of the detected pupils is calculated (step 113). Then, it is determined that the video signal which is the pupil region having the longest distance among them is the video signal when facing the screens 41, 61, 81, that is, the front image.
【００３９】例えば、図２において話者Ａがスクリーン
４１と正対しているときは、映像信号Ｓａｂでの瞳孔重
心間距離が最も大きな値となる。これは他のスクリーン
６１，８１に対しては話者Ａが横向きとなっているか
ら、そのときの瞳孔重心間距離は正対時よりも短くなる
からである。For example, when the speaker A faces the screen 41 in FIG. 2, the distance between the pupil centers of gravity in the video signal Sab becomes the largest value. This is because the speaker A is oriented sideways with respect to the other screens 61 and 81, and the pupil center-of-gravity distance at that time is shorter than when facing directly.
【００４０】このようにして正対しているＴＶ会議装置
（端末）を特定する。特定されたＴＶ会議装置に対して
は音量を上げ、正対していないＴＶ会議装置に対しては
音量を下げるような音量調整信号ＳＣｂ〜ＳＣｄが生成
される（ステップ１１４）。例えば上述したように話者
Ａがスクリーン４１と正対しているときには、ＴＶ会議
装置４０に設けられたスピーカ４５からの音量を大きく
し、他のＴＶ会議装置６０，８０に設けられたスピーカ
６５，８５からの音量は絞られる。これによって、会話
中の対話者を特定でき、その内容を明瞭に把握すること
ができる。In this way, the directly facing TV conference apparatus (terminal) is specified. Volume adjustment signals SCb to SCd are generated such that the volume is increased for the specified TV conference device and the volume is reduced for the TV conference device not facing directly (step 114). For example, when the speaker A faces the screen 41 as described above, the volume from the speaker 45 provided in the TV conference device 40 is increased, and the speakers 65 and 65 provided in the other TV conference devices 60 and 80 are increased. The volume from 85 is reduced. As a result, it is possible to identify the interlocutor during the conversation, and to grasp the contents thereof clearly.
【００４１】人間の特性として同じところを注視し続け
ることは負担になるため、無意識のうちに人間は目を一
瞬対話者からはずしたりするので、このような場合を想
定して、点灯パターン信号を複数回継続させたときに得
られる瞳孔重心間距離（平均値）から対話者を特定する
ようにしてもよい。Since it is a burden to keep an eye on the same place as a human characteristic, the human may unconsciously remove his / her eyes from the interlocutor for a moment. The interlocutor may be specified from the pupil center-of-gravity distance (average value) obtained when the pupil is continued a plurality of times.
【００４２】何れの映像信号Ｓａｂ〜Ｓａｄから瞳孔が
１つあるいは全く見つからなかったときには、瞳孔によ
る正面画像の検知をあきらめる。その代わり音圧レベル
を参考にして正面画像が検知される。そのため、それぞ
れのＴＶ会議装置４０，６０，８０から得られる音声信
号Ａａｂ〜Ａａｄの音圧レベルがチェックされる（ステ
ップ１１５〜１１７）。一定値以上の音圧レベルである
ときには、そのうちの最大の音圧レベルとなる音声信号
Ａａｂ〜Ａａｄが検知される（ステップ１１８）。そし
て、最大音圧レベルが得られたマイクが置かれたスクリ
ーンに対して話者Ａが正対していると考えられるので、
そのスクリーンに関連するスピーカの音量が大きくなる
ように、その他のスクリーンに関連するスピーカの音量
が小さくなるように制御される（ステップ１１９）。If one or no pupil is found from any of the video signals Sab to Sad, the detection of the front image by the pupil is abandoned. Instead, the front image is detected with reference to the sound pressure level. Therefore, the sound pressure levels of the audio signals Aab to Aad obtained from the respective TV conference devices 40, 60, and 80 are checked (steps 115 to 117). If the sound pressure level is equal to or higher than a certain value, the sound signals Aab to Aad having the maximum sound pressure level are detected (step 118). Then, since it is considered that the speaker A is directly facing the screen on which the microphone having the maximum sound pressure level is obtained,
Control is performed so that the volume of the speaker associated with the screen is increased and the volume of the speaker associated with the other screen is decreased (step 119).
【００４３】例えば上述したように話者Ａがスクリーン
４１と正対しているときには、これからの音声信号Ａａ
ｂが最も大きいので、この場合にはＴＶ会議装置４０に
設けられたスピーカ４５からの音量を大きくし、他のＴ
Ｖ会議装置６０，８０に設けられたスピーカ６５，８５
からの音量は絞られる。これによって、特定した対話者
の音声内容を明瞭に把握することができる。For example, when the speaker A is directly facing the screen 41 as described above, the audio signal Aa
b is the largest, in this case, the volume from the speaker 45 provided in the TV conference device 40 is increased,
Speakers 65 and 85 provided in V conference devices 60 and 80
The volume from is reduced. Thus, the voice content of the specified interlocutor can be clearly grasped.
【００４４】音圧レベルが一定値に満たないときには、
現状の音量レベルがそのまま維持される（ステップ１２
０）。When the sound pressure level is below a certain value,
The current volume level is maintained (step 12
0).
【００４５】音圧レベルは音声信号のレベルであって、
一定時間に入力された音声信号に対しての絶対値をと
り、一定時間内の平均値に基づいて一定値以上か否かが
判定されることになる。The sound pressure level is the level of the audio signal,
The absolute value of the audio signal input during a certain time is taken, and it is determined whether or not the absolute value is equal to or more than a certain value based on the average value within the certain time.
【００４６】上述した例では点灯パターン信号を生成し
て目線検知信号として用いるときはこれを映像信号とし
ては用いないようにしているが、目線検知信号をスクリ
ーンに映し出す映像信号として用いることもできる。In the above-described example, when the lighting pattern signal is generated and used as the eye-gaze detection signal, it is not used as a video signal. However, the eye-gaze detection signal can be used as a video signal to be projected on a screen.
【００４７】この場合には瞳孔の部分が明るく撮像され
るため不自然な画像となるから、この不自然な瞳孔部分
を補正する必要がある。そのため、瞳孔と思われる領域
の相関を前後のフレーム間で調べ、最も相関のありそう
な部分を前後のフレームで検出し、その平均値で置換す
ることによって、瞳孔の光った部分を自然な画像に変換
することができる。In this case, the image of the pupil is picked up brightly, resulting in an unnatural image. Therefore, it is necessary to correct the unnatural pupil. For this reason, the correlation of the region considered to be the pupil is examined between the preceding and succeeding frames, the most likely correlated portion is detected in the preceding and succeeding frames, and the average value thereof is replaced. Can be converted to
【００４８】[0048]
【発明の効果】以上説明したようにこの発明では対話中
のスタジオＸの個数分の映像情報を個別に映し出す複数
のスクリーンを設け、このスクリーンに関して設けられ
たビデオカメラはスタジオＹ内の被写体の目線と同一視
できる位置から撮像されるようにしたものである。ま
た、目線検知手段からの出力に基づいて被写体が現在対
話している相手側を特定し、特定された対話者が居るス
タジオＸより送出された音声は高めとなるようにスピー
カに供給される音声信号を制御し、それ以外のスタジオ
Ｘより送出された音声は低めとなるように音声信号を制
御するようにしたものである。As described above, according to the present invention, a plurality of screens for individually displaying video information corresponding to the number of studios X during a conversation are provided. In this case, the image is taken from a position that can be identified. Also, based on the output from the eye-gaze detecting means, the other party with which the subject is currently interacting is identified, and the audio sent from the studio X where the identified interlocutor is located is supplied to the speaker so as to be higher. The signal is controlled, and the audio signal transmitted from the other studios X is controlled to be lower.
【００４９】これによれば、例えばＢスタジオの話者と
会話しているときには、Ａスタジオの話者はＢスタジオ
用スクリーンに映し出されたＢスタジオの話者の目線と
一致させながら対話することになるので、Ｂスタジオの
話者と１対１で会話している雰囲気を出すことができ
る。これによって臨場感のあるＴＶ会議システムを構築
できる。According to this, for example, when talking with the speaker of the studio B, the speaker of the studio A can talk while matching the eyes of the speaker of the studio B displayed on the screen for the studio B. Therefore, it is possible to create an atmosphere of a one-on-one conversation with a speaker at Studio B. This makes it possible to construct a TV conference system with a sense of reality.
【００５０】Ｂスタジオ用スクリーンに関連したビデオ
カメラで撮像された映像信号はＢスタジオに送られるの
で、Ｂスタジオの話者も同じく臨場感溢れるＴＶ会議を
体験できる。The video signal picked up by the video camera associated with the screen for the B studio is sent to the B studio, so that the speaker of the B studio can also experience a TV conference full of presence.
【００５１】そして、このように特定の話者との会話を
しているときには、そのほかの話者からの音声を絞るこ
とによって、特定話者の会話内容の判読を容易になるな
どの特徴を有する。したがってこの発明は多元ＴＶ会議
システムなどに適用して極めて好適である。When a conversation with a specific speaker is being performed, the speech of the other speaker is narrowed down so that the conversation contents of the specific speaker can be easily read. . Therefore, the present invention is very suitable for application to a multiple TV conference system and the like.
【図１】この発明に係る通信制御システムの一実施形態
を示す要部の系統図である。FIG. 1 is a system diagram of a main part showing an embodiment of a communication control system according to the present invention.
【図２】ＴＶ会議スタジオ（Ａスタジオ）の構成図であ
る。FIG. 2 is a configuration diagram of a TV conference studio (A studio).
【図３】ＴＶ会議装置の一実施形態を示す構成図であ
る。FIG. 3 is a configuration diagram illustrating an embodiment of a TV conference device.
【図４】ビデオカメラと赤外光源との関係を示す図であ
る。FIG. 4 is a diagram showing a relationship between a video camera and an infrared light source.
【図５】点灯パターンを示す図である。FIG. 5 is a diagram showing a lighting pattern.
【図６】ＴＶ会議装置の一実施形態を示す系統図であ
る。FIG. 6 is a system diagram showing an embodiment of a TV conference device.
【図７】音量制御のためのフローチャートを示す図であ
る。FIG. 7 is a diagram showing a flowchart for volume control.
【図８】はめ込み映像の図（その１）である。FIG. 8 is a diagram (part 1) of an inlay image.
【図９】はめ込み映像の図（その２）である。FIG. 9 is a diagram (part 2) of the inlaid video.
【図１０】はめ込み映像の図（その３）である。FIG. 10 is a diagram (part 3) of an inlay image.
【図１１】はめ込み映像の図（その４）である。FIG. 11 is a diagram (No. 4) of an inlay image.
【図１２】ＴＶ会議システムの構成図である。FIG. 12 is a configuration diagram of a TV conference system.
【図１３】分割表示例を示す図である。FIG. 13 is a diagram illustrating a divided display example.
１０・・・ＴＶ会議システム、４０，６０，８０・・・
ＴＶ会議装置、４１，６１，８１・・・スクリーン（ハ
ーフミラー）、４２，６２，８２・・・画像表示装置、
４５、６５、８５・・・スピーカ、４７，６７，８７・
・・マイク、４６，６６，８６・・・ビデオカメラ、１
００・・・中央制御装置10 ... TV conference system, 40, 60, 80 ...
TV conference device, 41, 61, 81 ... screen (half mirror), 42, 62, 82 ... image display device,
45, 65, 85 ... speakers, 47, 67, 87
..Microphones, 46, 66, 86 ... video cameras, 1
00 central control unit
Claims (7)
の相互通信を行う通信装置の通信制御システムにおい
て、 対話中のスタジオＸの個数分の映像情報をそれぞれ個別
に映し出す複数のスクリーンと、スタジオＹ内の被写体
を映し出すビデオカメラと、上記スタジオＸからの音声
を出力するスピーカとを有し、 上記ビデオカメラは上記被写体の目線と同一視できる位
置から撮像され、 撮像された映像信号が全ての対話者側に音声と共に送出
されると共に、 この目線検知手段からの出力に基づいて上記被写体が現
在対話している相手側を特定し、 特定された対話者が居るスタジオＸより送出された音声
は高めとなるように上記スピーカに供給される音声信号
が制御され、それ以外のスタジオＸより送出された音声
は低めとなるように上記別のスピーカに供給される音声
信号が制御されるようになされたことを特徴とする通信
制御システム。1. A communication control system for a communication device that connects a plurality of studios and performs a mutual communication such as a video conference, comprising: a plurality of screens for individually displaying video information corresponding to the number of studios X during a conversation; And a speaker for outputting sound from the studio X. The video camera is imaged from a position that can be identified with the line of sight of the object. Is transmitted to the user together with the voice, and based on the output from the eye-gaze detecting means, the other party with which the subject is currently interacting is specified, and the voice transmitted from Studio X where the specified interlocutor is located is increased. The audio signal supplied to the loudspeaker is controlled so that the sound transmitted from the other studios X is lower. A communication control system, wherein the audio signal supplied to the speaker adapted to be controlled.
され、 上記被写体の瞳孔より反射した瞳孔検知信号に基づいて
目線が検知されるようになされたことを特徴とする請求
項１記載の通信制御システム。2. The communication according to claim 1, wherein an infrared ray is used as said line of sight detecting means, and the line of sight is detected based on a pupil detection signal reflected from a pupil of said subject. Control system.
と、この発光手段に対する点灯パターン発生手段とで構
成されたことを特徴とする請求項１記載の通信制御シス
テム。3. The communication control system according to claim 1, wherein said line-of-sight detecting means comprises infrared light emitting means and lighting pattern generating means for said light emitting means.
メラに取り付けられて使用されることを特徴とする請求
項３記載の通信制御システム。4. The communication control system according to claim 3, wherein said infrared light emitting means is used by being attached to said video camera.
知信号を得ると共に、上記赤外光線の非送出期間に得ら
れる上記スタジオＹ内に設置されたそれぞれのビデオカ
メラからの撮像信号が上記対話者側に送出されるように
したことを特徴とする請求項２記載の通信制御システ
ム。5. An intermittent transmission of the infrared light to obtain a pupil detection signal, and an imaging signal from each video camera installed in the studio Y obtained during a non-transmission period of the infrared light. 3. The communication control system according to claim 2, wherein the control information is transmitted to the interlocutor.
は、上記スタジオＹ内に設けられたそれぞれのスクリー
ン側に対応するスピーカへの音声入力レベルの大小によ
って、上記被写体と対話中にある対話者を特定するよう
にしたことを特徴とする請求項１記載の通信制御システ
ム。6. When the presence of the eyes cannot be detected, the dialogue during the dialogue with the subject is determined according to the level of the sound input level to the speaker corresponding to each screen provided in the studio Y. The communication control system according to claim 1, wherein the communication control system is configured to specify a person.
声入力レベルが比較され、 最も大きな音声入力レベルである話者を対話者として特
定し、それ以外の対話者に関連した上記スピーカから放
音される音量を絞り込むようにしたことを特徴とする請
求項６記載の通信制御システム。7. A sound input level given to each of the speakers is compared, a speaker having the highest sound input level is specified as a talker, and sound is emitted from the speakers associated with other talkers. 7. The communication control system according to claim 6, wherein the volume is reduced.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03506298A JP4501037B2 (en) | 1998-02-17 | 1998-02-17 | COMMUNICATION CONTROL SYSTEM, COMMUNICATION DEVICE, AND COMMUNICATION METHOD |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03506298A JP4501037B2 (en) | 1998-02-17 | 1998-02-17 | COMMUNICATION CONTROL SYSTEM, COMMUNICATION DEVICE, AND COMMUNICATION METHOD |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11234640A true JPH11234640A (en) | 1999-08-27 |
| JP4501037B2 JP4501037B2 (en) | 2010-07-14 |
Family
ID=12431545
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP03506298A Expired - Fee Related JP4501037B2 (en) | 1998-02-17 | 1998-02-17 | COMMUNICATION CONTROL SYSTEM, COMMUNICATION DEVICE, AND COMMUNICATION METHOD |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4501037B2 (en) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001039479A1 (en) * | 1999-11-24 | 2001-05-31 | Sony Corporation | Communication system |
| US6608644B1 (en) | 1999-11-24 | 2003-08-19 | Sony Corporation | Communication system |
| WO2004062257A3 (en) * | 2002-12-30 | 2004-12-23 | Motorola Inc | A method, system and apparatus for telepresence communications |
| US7154526B2 (en) * | 2003-07-11 | 2006-12-26 | Fuji Xerox Co., Ltd. | Telepresence system and method for video teleconferencing |
| US7342601B2 (en) * | 2000-10-06 | 2008-03-11 | Sony Corporation | Communication system, communication device, seating-order determination device, communication method, recording medium, group-determination-table generating method, and group-determination-table generating device |
| US8264519B2 (en) | 2007-03-16 | 2012-09-11 | Cisco Technology, Inc. | Telepresence system, method and computer program product |
| JP2015070472A (en) * | 2013-09-30 | 2015-04-13 | 株式会社Ｊｖｃケンウッド | Communication terminal, and method and program for output control of the same |
| JP2017103801A (en) * | 2017-01-19 | 2017-06-08 | 株式会社Ｊｖｃケンウッド | Communication terminal, communication terminal control method, and communication terminal control program |
| CN114092992A (en) * | 2021-10-11 | 2022-02-25 | 中国核电工程有限公司 | Rapid face positioning method and device for multi-screen monitoring system |
| KR20220046773A (en) * | 2020-10-08 | 2022-04-15 | 주식회사 살린 | Meeting system in virtual reality |
| KR102510595B1 (en) * | 2022-10-07 | 2023-03-16 | 주식회사 플링크 | Method for managing communication channel for each of a plurality of participants of online meeting room and system using the same |
| JP2023047956A (en) * | 2021-09-27 | 2023-04-06 | ソフトバンク株式会社 | Information processing device, information processing method, and information processing program |
Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01298900A (en) * | 1988-05-26 | 1989-12-01 | Nippon Telegr & Teleph Corp <Ntt> | Sound image location control system |
| JPH0250691A (en) * | 1988-08-12 | 1990-02-20 | Nippon Telegr & Teleph Corp <Ntt> | Line-of-sight coincidence picture communication system |
| JPH0258484A (en) * | 1988-08-24 | 1990-02-27 | Nippon Telegr & Teleph Corp <Ntt> | Video telephone system |
| JPH02138673A (en) * | 1988-07-14 | 1990-05-28 | A T R Tsushin Syst Kenkyusho:Kk | Image pickup device |
| JPH0379191A (en) * | 1989-08-23 | 1991-04-04 | Nippon Telegr & Teleph Corp <Ntt> | Input/output device for image communication |
| JPH03293883A (en) * | 1990-04-11 | 1991-12-25 | Hitachi Ltd | Speaking method and speaking equipment using same |
| JPH04237288A (en) * | 1991-01-21 | 1992-08-25 | Nippon Telegr & Teleph Corp <Ntt> | Audio signal output method for plural-picture window display |
| JPH05205030A (en) * | 1992-01-27 | 1993-08-13 | Nippon Telegr & Teleph Corp <Ntt> | Display device for coincidence of eyes of photographed human figure |
| JPH06343174A (en) * | 1993-06-02 | 1994-12-13 | Canon Inc | Video communications equipment |
| JPH0730877A (en) * | 1993-07-12 | 1995-01-31 | Oki Electric Ind Co Ltd | Inter-multi location multimedia communications conference system |
| JPH07162532A (en) * | 1993-12-07 | 1995-06-23 | Nippon Telegr & Teleph Corp <Ntt> | Inter-multi-point communication conference support equipment |
| JPH07162827A (en) * | 1993-12-06 | 1995-06-23 | Hitachi Ltd | Multi-spot communication method and communication terminal |
| JPH07226800A (en) * | 1994-02-15 | 1995-08-22 | Oki Electric Ind Co Ltd | Inter-multi-spot conference equipment |
| JPH07333690A (en) * | 1994-06-02 | 1995-12-22 | Canon Inc | Optical device provided with visibility correcting means |
| JPH0832948A (en) * | 1994-07-18 | 1996-02-02 | Atsushi Matsushita | Line of sight coincidental video conference system |
| JPH0876289A (en) * | 1994-08-31 | 1996-03-22 | Canon Inc | Picture display device provided with line-of-sight detecting function |
| JPH09168058A (en) * | 1995-12-15 | 1997-06-24 | Ricoh Co Ltd | Multi-point controller |
| JPH09224228A (en) * | 1996-02-16 | 1997-08-26 | Konica Corp | Image communication equipment |
| JPH09275533A (en) * | 1996-04-08 | 1997-10-21 | Sony Corp | Signal processor |
| JPH09327009A (en) * | 1996-04-05 | 1997-12-16 | Sony Corp | Video conference system and method and communication center |
-
1998
- 1998-02-17 JP JP03506298A patent/JP4501037B2/en not_active Expired - Fee Related
Patent Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01298900A (en) * | 1988-05-26 | 1989-12-01 | Nippon Telegr & Teleph Corp <Ntt> | Sound image location control system |
| JPH02138673A (en) * | 1988-07-14 | 1990-05-28 | A T R Tsushin Syst Kenkyusho:Kk | Image pickup device |
| JPH0250691A (en) * | 1988-08-12 | 1990-02-20 | Nippon Telegr & Teleph Corp <Ntt> | Line-of-sight coincidence picture communication system |
| JPH0258484A (en) * | 1988-08-24 | 1990-02-27 | Nippon Telegr & Teleph Corp <Ntt> | Video telephone system |
| JPH0379191A (en) * | 1989-08-23 | 1991-04-04 | Nippon Telegr & Teleph Corp <Ntt> | Input/output device for image communication |
| JPH03293883A (en) * | 1990-04-11 | 1991-12-25 | Hitachi Ltd | Speaking method and speaking equipment using same |
| JPH04237288A (en) * | 1991-01-21 | 1992-08-25 | Nippon Telegr & Teleph Corp <Ntt> | Audio signal output method for plural-picture window display |
| JPH05205030A (en) * | 1992-01-27 | 1993-08-13 | Nippon Telegr & Teleph Corp <Ntt> | Display device for coincidence of eyes of photographed human figure |
| JPH06343174A (en) * | 1993-06-02 | 1994-12-13 | Canon Inc | Video communications equipment |
| JPH0730877A (en) * | 1993-07-12 | 1995-01-31 | Oki Electric Ind Co Ltd | Inter-multi location multimedia communications conference system |
| JPH07162827A (en) * | 1993-12-06 | 1995-06-23 | Hitachi Ltd | Multi-spot communication method and communication terminal |
| JPH07162532A (en) * | 1993-12-07 | 1995-06-23 | Nippon Telegr & Teleph Corp <Ntt> | Inter-multi-point communication conference support equipment |
| JPH07226800A (en) * | 1994-02-15 | 1995-08-22 | Oki Electric Ind Co Ltd | Inter-multi-spot conference equipment |
| JPH07333690A (en) * | 1994-06-02 | 1995-12-22 | Canon Inc | Optical device provided with visibility correcting means |
| JPH0832948A (en) * | 1994-07-18 | 1996-02-02 | Atsushi Matsushita | Line of sight coincidental video conference system |
| JPH0876289A (en) * | 1994-08-31 | 1996-03-22 | Canon Inc | Picture display device provided with line-of-sight detecting function |
| JPH09168058A (en) * | 1995-12-15 | 1997-06-24 | Ricoh Co Ltd | Multi-point controller |
| JPH09224228A (en) * | 1996-02-16 | 1997-08-26 | Konica Corp | Image communication equipment |
| JPH09327009A (en) * | 1996-04-05 | 1997-12-16 | Sony Corp | Video conference system and method and communication center |
| JPH09275533A (en) * | 1996-04-08 | 1997-10-21 | Sony Corp | Signal processor |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6608644B1 (en) | 1999-11-24 | 2003-08-19 | Sony Corporation | Communication system |
| WO2001039479A1 (en) * | 1999-11-24 | 2001-05-31 | Sony Corporation | Communication system |
| KR100697757B1 (en) * | 1999-11-24 | 2007-03-21 | 소니 가부시끼 가이샤 | Communication system |
| US7342601B2 (en) * | 2000-10-06 | 2008-03-11 | Sony Corporation | Communication system, communication device, seating-order determination device, communication method, recording medium, group-determination-table generating method, and group-determination-table generating device |
| US7756675B2 (en) | 2000-10-06 | 2010-07-13 | Sony Corporation | Group-determination-table generating device and method |
| US8072479B2 (en) * | 2002-12-30 | 2011-12-06 | Motorola Mobility, Inc. | Method system and apparatus for telepresence communications utilizing video avatars |
| WO2004062257A3 (en) * | 2002-12-30 | 2004-12-23 | Motorola Inc | A method, system and apparatus for telepresence communications |
| US7154526B2 (en) * | 2003-07-11 | 2006-12-26 | Fuji Xerox Co., Ltd. | Telepresence system and method for video teleconferencing |
| US8264519B2 (en) | 2007-03-16 | 2012-09-11 | Cisco Technology, Inc. | Telepresence system, method and computer program product |
| JP2015070472A (en) * | 2013-09-30 | 2015-04-13 | 株式会社Ｊｖｃケンウッド | Communication terminal, and method and program for output control of the same |
| JP2017103801A (en) * | 2017-01-19 | 2017-06-08 | 株式会社Ｊｖｃケンウッド | Communication terminal, communication terminal control method, and communication terminal control program |
| KR20220046773A (en) * | 2020-10-08 | 2022-04-15 | 주식회사 살린 | Meeting system in virtual reality |
| JP2023047956A (en) * | 2021-09-27 | 2023-04-06 | ソフトバンク株式会社 | Information processing device, information processing method, and information processing program |
| CN114092992A (en) * | 2021-10-11 | 2022-02-25 | 中国核电工程有限公司 | Rapid face positioning method and device for multi-screen monitoring system |
| KR102510595B1 (en) * | 2022-10-07 | 2023-03-16 | 주식회사 플링크 | Method for managing communication channel for each of a plurality of participants of online meeting room and system using the same |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4501037B2 (en) | 2010-07-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6275258B1 (en) | Voice responsive image tracking system | |
| US6208373B1 (en) | Method and apparatus for enabling a videoconferencing participant to appear focused on camera to corresponding users | |
| CA2157613C (en) | Video conference system and method of providing parallax correction and a sense of presence | |
| JP4501037B2 (en) | COMMUNICATION CONTROL SYSTEM, COMMUNICATION DEVICE, AND COMMUNICATION METHOD | |
| EP1705911A1 (en) | Video conference system | |
| US10979666B2 (en) | Asymmetric video conferencing system and method | |
| JP2022054192A (en) | Remote conference system, server, photography device, audio output method, and program | |
| JPH1056626A (en) | Video conference system | |
| JP4244416B2 (en) | Information processing apparatus and method, and recording medium | |
| KR101252762B1 (en) | Apparatus and method for image synthesis in image conference terminal | |
| JPH09307870A (en) | Camera automatic direction controller in video conference system | |
| JP3952870B2 (en) | Audio transmission apparatus, audio transmission method and program | |
| JP2007251355A (en) | Relaying apparatus for interactive system, interactive system, and interactive method | |
| JPH08256316A (en) | Communication conference system | |
| KR100697757B1 (en) | Communication system | |
| JPH11266443A (en) | Picture and sound transmission-reception equipment | |
| JP2003244669A (en) | Video conference system having sight line detecting function | |
| JPH09327006A (en) | Two-way interactive system | |
| JPS62209985A (en) | Video conference equipment | |
| JPH01206765A (en) | Video conference system | |
| JPH07162827A (en) | Multi-spot communication method and communication terminal | |
| WO2023100594A1 (en) | Information processing device, information processing method, and program | |
| JPH0514884A (en) | Visual conference system | |
| JP2630041B2 (en) | Video conference image display control method | |
| JPS61137484A (en) | Television conference system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050214 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050214 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060414 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070213 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070227 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070501 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080902 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081104 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090818 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20090826 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20091028 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091106 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20091125 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100325 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100407 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130430 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140430 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |