JP2003067781A - Conversation information presentation method and device - Google Patents
Conversation information presentation method and deviceInfo
- Publication number
- JP2003067781A JP2003067781A JP2001257925A JP2001257925A JP2003067781A JP 2003067781 A JP2003067781 A JP 2003067781A JP 2001257925 A JP2001257925 A JP 2001257925A JP 2001257925 A JP2001257925 A JP 2001257925A JP 2003067781 A JP2003067781 A JP 2003067781A
- Authority
- JP
- Japan
- Prior art keywords
- user
- presentation
- space
- uttering
- receiving user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
Description
【0001】[0001]
【発明の属する技術分野】本発明は、没入型仮想コミュ
ニケーション環境システムにおける会話情報提示方法及
び装置に関し、特に、複数の表示装置がユーザを囲むよ
うに配置された没入型仮想環境において、聴覚障害者の
会話支援等を目的とし、ユーザの発話内容を文字画像提
示する会話情報提示に適用して有効な技術に関するもの
である。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method and apparatus for presenting conversation information in an immersive virtual communication environment system, and in particular, in an immersive virtual environment in which a plurality of display devices are arranged so as to surround a user, The present invention relates to a technique effectively applied to the presentation of conversation information for presenting a text image of a user's utterance for the purpose of supporting the conversation of the user.
【0002】[0002]
【従来の技術】従来、没入型仮想環境が体験できる没入
型多面ディスプレイシステムがある。この没入型多面デ
ィスプレイシステムは、本来、シミュレーション等の可
視化環境として開発されたものである。近年ではそれを
ネットワークで接続し、コミュニケーション環境として
利用する研究が盛んに行われている。没入型多面ディス
プレイシステムは複数のスクリーンを前後左右上下等に
配置し、ユーザを映像で囲むような構造になっており、
高い臨場感を得ることができる。2. Description of the Related Art Conventionally, there is an immersive multi-faceted display system in which an immersive virtual environment can be experienced. This immersive multi-sided display system was originally developed as a visualization environment for simulations and the like. In recent years, many studies have been conducted to connect it with a network and use it as a communication environment. The immersive multi-sided display system has a structure in which a plurality of screens are arranged in front, rear, left, right, up, and down, etc., and the user is surrounded by an image.
You can get a high sense of realism.
【0003】このような没入型仮想コミュニケーション
環境では、ユーザは立体的な仮想世界中を自由に歩き回
ることができ、前後上下左右方向を見ることができる。In such an immersive virtual communication environment, the user can freely roam in the three-dimensional virtual world and can see the front, rear, up, down, left and right directions.
【0004】他ユーザは仮想世界中でアバタとして表現
され、遭遇したときに会話の場を持つことができる。こ
のとき、発話しているユーザ(発話ユーザとする)の会
話情報は音声で提示される。Other users are represented as avatars in the virtual world and can have a place of conversation when they are encountered. At this time, the conversation information of the user who is speaking (speaking user) is presented by voice.
【0005】このような没入型仮想コミュニケーション
環境については、例えば、文献:信学技報、MVE99
−45、pp.1〜8、1999(河野隆志、鈴木由里
子、山本憲男、志和新一、石橋聡著、表題“没入型コミ
ュニケーション環境”)に記載されている。For such an immersive virtual communication environment, see, for example, Literature: Technical Report, MVE99.
-45, pp. 1-8, 1999 (Takashi Kono, Yuriko Suzuki, Norio Yamamoto, Shinichi Shiwa, Satoshi Ishibashi, titled "Immersive Communication Environment").
【0006】このような没入型仮想コミュニケーション
環境において、聴覚障害者の会話支援を主な目的とし
て、発話内容を吹き出しで表示させるシステムが開発さ
れている(特願2000−037462号、発明の名称
“会話情報提示方法及び没入型仮想コミュニケーション
環境システム”発明者“織田修平、八木貴史、石橋聡”
参照)これは、仮想空間上の発話ユーザが話を受ける立
場のユーザ(以下、受話ユーザと呼ぶ)から一定の距離
におり、かつ受話ユーザの視界内にいるときは、発話ユ
ーザ付近に吹き出しを表示させる。それ以外のときは発
話ユーザの視線方向に吹き出しを表示させ、一定時間ご
とにその視線方向へ移動させる。このシステムにより、
聴覚障害者がユーザとなったとき、相手ユーザの発話内
容が理解でき、会話の遷移も容易にできるようになって
いる。In such an immersive virtual communication environment, a system for displaying speech contents in a balloon has been developed mainly for the purpose of supporting the conversation of a hearing impaired person (Japanese Patent Application No. 2000-037462, entitled "Invention"). Conversation information presentation method and immersive virtual communication environment system "Inventor" Shuhei Oda, Takashi Yagi, Satoshi Ishibashi "
This is because when the uttering user in the virtual space is at a certain distance from the user who receives the talk (hereinafter referred to as the receiving user) and is in the sight of the receiving user, a speech bubble is generated near the uttering user. Display it. In other cases, the speech balloon is displayed in the line-of-sight direction of the uttering user and moved in the line-of-sight direction at regular intervals. With this system,
When a hearing-impaired person becomes a user, he / she can understand the utterance content of the other user and can easily transition the conversation.
【0007】[0007]
【発明が解決しようとする課題】しかしながら、前記シ
ステムでは、発話ユーザが仮想環境空間上で、特に、遠
くにいるユーザに呼びかけるとき、以下のような問題が
起こる。However, in the above system, the following problems occur when the uttering user calls a user who is far away in the virtual environment space.
【0008】発話ユーザは呼びかけを行なう時、受話ユ
ーザを見て、受話ユーザのいる位置にむかって発話を行
なう。このとき、呼びかけ吹き出しは、発話ユーザの視
線方向へ移動するが、この視線方向と受話ユーザの位置
が一致している場合でも受話ユーザの向きによって、呼
びかけ吹きだしが、受話ユーザの視界に入らないことが
ある。そのため、発話ユーザは、受話ユーザそのものに
対してではなく、受話ユーザの視線方向に対して発話を
行なわなければならないという問題が発生する。When making a call, the speaking user looks at the receiving user and speaks toward the position of the receiving user. At this time, the call-out balloon moves in the line-of-sight direction of the uttering user, but even if the line-of-sight direction and the position of the receiving user match, the call-out balloon should not be in the view of the receiving user depending on the orientation of the receiving user. There is. Therefore, there arises a problem that the uttering user has to utter not in the receiving user itself but in the line-of-sight direction of the receiving user.
【0009】また、発話ユーザが受話ユーザの視線方向
に対して呼びかけを行なった場合でも、受話ユーザが発
話ユーザの呼びかけ後に位置や向きを変えることがあ
り、受話ユーザの視界に呼びかけ吹きだしが入らないこ
とがある。そのため、発話ユーザは受話ユーザに対して
繰り返し呼びかけを行なうことを強いられるようになる
という問題が発生する。Further, even if the uttering user makes a call in the line-of-sight direction of the receiving user, the receiving user may change the position or the direction after the calling of the uttering user, and the calling out does not appear in the visual field of the receiving user. Sometimes. Therefore, a problem arises in that the speaking user is forced to repeatedly call the receiving user.
【0010】さらに、受話ユーザの向きは、発話ユーザ
から遠くなれば遠くなるほど、視覚的に正確に把握する
ことが困難になる。そのため必然的に、呼びかけ吹きだ
しが受話ユーザの視界に入ったかどうかを把握すること
が困難になるという問題が発生する。Furthermore, the farther away from the speaking user the direction of the receiving user becomes, the more difficult it becomes to visually grasp the direction accurately. Therefore, it is inevitable that it is difficult to know whether or not the call out has come into the visual field of the receiving user.
【0011】本発明の目的は、発話ユーザの視線が呼び
かけを意図する受話ユーザの位置から多少ずれている場
合にも、呼びかけ吹きだしが受話ユーザの視界に入るよ
うにすることが可能な技術を提供することにある。本発
明の前記ならびにその他の目的と新規な特徴は、本明細
書の記述及び添付図面によって明らかにする。An object of the present invention is to provide a technique capable of allowing a callout to be in the field of view of a receiving user even when the line of sight of the talking user is slightly displaced from the position of the receiving user who intends to make a call. To do. The above and other objects and novel features of the present invention will become apparent from the description of this specification and the accompanying drawings.
【0012】[0012]
【課題を解決するための手段】本願において開示される
発明の概要を簡単に説明すれば下記の通りである。第1
の発明は、複数の表示装置がユーザを囲むように配置さ
れた没入型仮想コミュニケーション環境において、発話
ユーザの発話内容を入力し、前記入力された発話内容か
ら文字情報を生成し、前記仮想コミュニケーション環境
における発話ユーザと受話ユーザの3次元位置と視線ベ
クトルを抽出し、前記受話ユーザの視線ベクトル及びあ
らかじめ決められた視界角に基づいて受話ユーザ視界を
抽出し、前記受話ユーザ視界とあらかじめ決められた受
話ユーザからの距離に基づいて文字表示画像提示位置を
判定するための第一空間を抽出し、前記発話ユーザの視
線ベクトル及びあらかじめ決められた視界角に基づいて
文字表示画像提示位置を判定するための第二空間を抽出
し、前記発話ユーザの3次元位置と前記第一空間の関係
に基づいて文字表示画像の第一提示位置を決定し、前記
受話ユーザの3次元位置と前記第二空間の関係に基づい
て文字表示画像の第二提示位置を決定し、前記生成され
た文字情報を前記第一提示位置及び第二提示位置で決定
された提示位置に基づいて出力する会話情報提示方法で
ある。The outline of the invention disclosed in the present application will be briefly described as follows. First
According to another aspect of the invention, in an immersive virtual communication environment in which a plurality of display devices are arranged so as to surround the user, the utterance content of the uttering user is input, character information is generated from the input utterance content, and the virtual communication environment is provided. The three-dimensional position and the line-of-sight vector of the uttering user and the receiving user are extracted, and the field of view of the receiving user is extracted based on the line-of-sight vector of the receiving user and a predetermined viewing angle. Extracting a first space for determining the character display image presentation position based on the distance from the user, for determining the character display image presentation position based on the sight line vector of the uttering user and a predetermined viewing angle A second space is extracted, and a character table is created based on the relationship between the three-dimensional position of the uttering user and the first space. The first presentation position of the image is determined, the second presentation position of the character display image is determined based on the relationship between the three-dimensional position of the receiving user and the second space, and the generated character information is first presented. A conversation information presentation method for outputting based on the presentation position determined by the position and the second presentation position.
【0013】第2の発明は、前記第1の発明の会話情報
提示方法であって、前記第一提示位置決定過程におい
て、前記発話ユーザの3次元位置が前記第一空間内にあ
る場合は、発話から一定時間、発話ユーザの周囲を文字
表示画像の提示位置とし、それ以外の場合は第二提示位
置決定過程において、前記受話ユーザの3次元位置が前
記第二空間内にある場合は、発話ユーザの周囲から、受
話ユーザの3次元位置から視線ベクトル方向へある一定
距離離れた位置へ向けて発話からの時間にともなって移
動する位置を提示位置とし、それ以外の場合は、発話ユ
ーザの周囲から発話ユーザの視線ベクトルの方向へ発話
からの時間にともなって移動する位置を提示位置とする
ものである。A second invention is the conversation information presentation method of the first invention, wherein, in the first presentation position determination step, when the three-dimensional position of the uttering user is in the first space, Around the uttering user for a certain time from the utterance, the presentation position of the character display image is set as the presentation position. Otherwise, in the second presentation position determination process, if the three-dimensional position of the receiving user is in the second space, the utterance is made. A position that moves with time from the utterance toward a position apart from the three-dimensional position of the receiving user in the line-of-sight vector direction from the surrounding of the user is set as the presentation position, and in other cases, the surroundings of the uttering user. The position to move from the direction of the utterance user to the direction of the line-of-sight vector with the time from the utterance is set as the presentation position.
【0014】第3の発明は、前記第1の発明の会話情報
提示方法であって、前記第一提示位置決定過程におい
て、前記発話ユーザの3次元位置が前記第一空間内にあ
る場合は、発話から一定時間、発話ユーザの周囲を文字
表示画像の提示位置とし、それ以外の場合は、第二提示
位置決定過程において、前記受話ユーザの3次元位置が
前記第二空間にある場合は、発話ユーザの周囲から、常
に発話ユーザの3次元位置と受話ユーザの3次元位置か
ら視線ベクトル方向へある一定距離離れた位置とを結ぶ
直線上を、発話からの時間にともなって移動する位置を
提示位置とし、それ以外の場合は、発話ユーザの周囲か
ら発話ユーザの視線ベクトルの方向へ発話からの時間に
ともなって移動する位置を提示位置とするものである。A third invention is the conversation information presentation method according to the first invention, wherein in the first presentation position determination step, when the three-dimensional position of the uttering user is in the first space, The surroundings of the uttering user are set as the presentation position of the character display image for a certain period of time after the utterance. Otherwise, in the second presentation position determining process, if the three-dimensional position of the receiving user is in the second space, the utterance is made. A position where the three-dimensional position of the uttering user and a position distant from the three-dimensional position of the receiving user by a certain distance in the line-of-sight vector direction from the surroundings of the user always move with time from the utterance is presented. In other cases, the position that moves from around the uttering user in the direction of the line-of-sight vector of the uttering user with the time from the utterance is set as the presentation position.
【0015】第4の発明は、複数の表示装置がユーザを
囲むように配置された没入型仮想コミュニケーション環
境システムにおける会話情報提示装置であって、発話ユ
ーザの発話内容を入力する発話入力手段と、前記入力さ
れた発話内容から文字情報を生成する文字情報生成手段
と、前記仮想コミュニケーション環境における発話ユー
ザと受話ユーザの3次元位置と視線ベクトルを抽出する
抽出手段と、前記受話ユーザの視線ベクトル及びあらか
じめ決められた視界角に基づいて受話ユーザ視界を抽出
し、前記受話ユーザ視界とあらかじめ決められた受話ユ
ーザからの距離に基づいて文字表示画像提示位置を判定
するための第一空間を抽出する第一空間抽出手段と、前
記発話ユーザの視線ベクトル及びあらかじめ決められた
視界角に基づいて文字表示画像提示位置を判定するため
の第二空間を抽出する第二空間抽出手段と、前記発話ユ
ーザの3次元位置と前記第一空間の関係に基づいて文字
表示画像の提示位置を決定する第一提示位置決定手段
と、前記受話ユーザの3次元位置と前記第二空間の関係
に基づいて文字表示画像の提示位置を決定する第二提示
位置決定手段と、前記生成された文字情報を前記第一提
示位置決定手段及び第二提示位置決定手段で決定された
提示位置に基づいて出力する出力手段とを具備するもの
である。A fourth invention is a conversation information presentation device in an immersive virtual communication environment system in which a plurality of display devices are arranged so as to surround the user, and a utterance input means for inputting the utterance content of the uttering user, Character information generation means for generating character information from the input utterance content, extraction means for extracting the three-dimensional position and line-of-sight vector of the uttering user and the receiving user in the virtual communication environment, and the line-of-sight vector of the receiving user and beforehand. A first space for extracting a visual field of a receiving user based on a determined visual field angle, and extracting a first space for determining a character display image presentation position based on the visual field of the receiving user and a predetermined distance from the receiving user. Space extraction means, based on the sight line vector of the uttering user and a predetermined viewing angle Second space extracting means for extracting a second space for determining the character display image presentation position, and determining the presentation position of the character display image based on the relationship between the three-dimensional position of the uttering user and the first space. One presenting position determining means, a second presenting position determining means for determining a presenting position of a character display image based on a relationship between the three-dimensional position of the receiving user and the second space; The present invention further comprises: an output unit that outputs based on the presentation position determined by the one presentation position determination unit and the second presentation position determination unit.
【0016】第5の発明は、前記第4の発明の会話情報
提示装置であって、前記第一提示位置決定手段におい
て、前記発話ユーザの3次元位置が前記第一空間内にあ
る場合は、発話から一定時間、発話ユーザの周囲を文字
表示画像の提示位置とし、それ以外の場合は第二提示位
置決定手段において、前記受話ユーザの3次元位置が前
記第二空間内にある場合は、発話ユーザの周囲から、受
話ユーザの3次元位置から視線ベクトル方向へある一定
距離離れた位置へ向けて発話からの時間にともなって移
動する位置を提示位置とし、それ以外の場合は、発話ユ
ーザの周囲から発話ユーザの視線ベクトルの方向へ発話
からの時間にともなって移動する位置を提示位置とする
ものである。A fifth aspect of the present invention is the conversation information presenting apparatus of the fourth aspect of the present invention, wherein in the first presenting position determining means, when the three-dimensional position of the uttering user is within the first space, Around the uttering user for a certain period of time after the utterance, the presentation position of the character display image is set as the presentation position. Otherwise, in the second presentation position determining means, if the three-dimensional position of the receiving user is in the second space, the utterance is made. A position that moves with time from the utterance toward a position apart from the three-dimensional position of the receiving user in the line-of-sight vector direction from the surrounding of the user is set as the presentation position, and in other cases, the surroundings of the uttering user. The position to move from the direction of the utterance user to the direction of the line-of-sight vector with the time from the utterance is set as the presentation position.
【0017】第6の発明は、前記第4の発明の会話情報
提示装置であって、前記第一提示位置決定手段におい
て、前記発話ユーザの3次元位置が前記第一空間内にあ
る場合は、発話から一定時間、発話ユーザの周囲を文字
表示画像の提示位置とし、それ以外の場合は、第二提示
位置決定手段において、前記受話ユーザの3次元位置が
前記第二空間にある場合は、発話ユーザの周囲から、常
に発話ユーザの3次元位置と受話ユーザの3次元位置か
ら視線ベクトル方向へある一定距離離れた位置とを結ぶ
直線上を、発話からの時間にともなって移動する位置を
提示位置とし、それ以外の場合は、発話ユーザの周囲か
ら発話ユーザの視線ベクトルの方向へ発話からの時間に
ともなって移動する位置を提示位置とするものである。A sixth invention is the conversation information presentation device according to the fourth invention, wherein in the first presentation position determining means, when the three-dimensional position of the uttering user is in the first space, The surroundings of the uttering user are set as the presentation position of the character display image for a certain period of time after the utterance, and in other cases, in the second presentation position determining means, when the three-dimensional position of the receiving user is in the second space, the utterance is made. A position where the three-dimensional position of the uttering user and a position distant from the three-dimensional position of the receiving user by a certain distance in the line-of-sight vector direction from the surroundings of the user always move with time from the utterance is presented. In other cases, the position that moves from around the uttering user in the direction of the line-of-sight vector of the uttering user with the time from the utterance is set as the presentation position.
【0018】前述の本発明の手段によれば、発話ユーザ
の視線が呼びかけを意図する受話ユーザの位置から多少
ずれている場合にも、発話内容が書かれた文字表示画像
を受話ユーザの視界に入るようにすることができる。According to the above-described means of the present invention, even when the line of sight of the uttering user is slightly displaced from the position of the receiving user who is intended to call, the character display image in which the utterance content is written is displayed in the visual field of the receiving user. You can get in.
【0019】[0019]
【発明の実施の形態】以下、本発明について、発明の実
施の形態(実施例)とともに図面を参照して詳細に説明
する。BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, the present invention will be described in detail with reference to the drawings together with an embodiment (example) of the invention.
【0020】図1は、本発明による一実施形態(実施
例)の会話提示装置の概略構成を示すブロック図であ
り、1は発話入力手段、2は文字生成手段、3-1、3-
2は抽出手段、4は文字表示画像提示位置判定用の第一
空間抽出手段、5は文字表示画像提示位置判定用の第二
空間抽出手段、6は第一提示位置決定手段、7は第二提
示位置決定手段、8は出力手段、100は発話ユーザ、
200は受話ユーザ、A,Bは3次元位置、a,bは視
線ベクトル、R,RRは視界角、αは第一空間、βは第
二空間、Dは距離である。FIG. 1 is a block diagram showing a schematic configuration of a conversation presenting apparatus according to an embodiment (embodiment) of the present invention, in which 1 is a speech input means, 2 is a character generating means, 3-1 and 3-.
Reference numeral 2 is extraction means, 4 is first space extraction means for character display image presentation position determination, 5 is second space extraction means for character display image presentation position determination, 6 is first presentation position determination means, and 7 is second. Presentation position determining means, 8 output means, 100 uttering user,
200 is a receiving user, A and B are three-dimensional positions, a and b are line-of-sight vectors, R and RR are viewing angles, α is a first space, β is a second space, and D is a distance.
【0021】本実施形態(実施例)の会話提示装置は、
図1に示すように、複数の表示装置がユーザを囲むよう
に配置された没入型仮想コミュニケーション環境システ
ムにおける会話情報提示装置であって、発話ユーザ10
0の発話内容を入力する発話入力手段1と、前記入力さ
れた発話内容から文字情報を生成する文字生成手段2
と、前記仮想コミュニケーション環境における発話ユー
ザ100と受話ユーザ200の3次元位置と視線ベクト
ルを抽出する抽出手段3-1、3-2とを備えている。The conversation presenting apparatus of the present embodiment (example) is
As shown in FIG. 1, a conversation information presentation device in an immersive virtual communication environment system in which a plurality of display devices are arranged so as to surround the user,
Utterance input means 1 for inputting the utterance content of 0 and character generation means 2 for generating character information from the input utterance content.
And extraction means 3-1 and 3-2 for extracting the three-dimensional position and the line-of-sight vector of the uttering user 100 and the receiving user 200 in the virtual communication environment.
【0022】さらに、前記受話ユーザ200の視線ベク
トル及びあらかじめ決められた視界角に基づいて受話ユ
ーザ200の視界を抽出し、前記受話ユーザ200の視
界とあらかじめ決められた受話ユーザ200からの距離
に基づいて文字表示画像提示位置を判定するための第一
空間を抽出する第一空間抽出手段4と、前記発話ユーザ
100の視線ベクトル及びあらかじめ決められた視界角
に基づいて文字表示画像提示位置を判定するための第二
空間を抽出する第二空間抽出手段5と、前記発話ユーザ
100の3次元位置と前記第一空間の関係に基づいて文
字表示画像の提示位置を決定する第一提示位置決定手段
6と、前記受話ユーザ200の3次元位置と前記第二空
間の関係に基づいて文字表示画像の提示位置を決定する
第二提示位置決定手段7と、前記生成された文字情報を
前記第一提示位置決定手段6及び第二提示位置決定手段
7で決定された提示位置に基づいて出力する出力手段8
とを備えている。Further, the visual field of the receiving user 200 is extracted based on the line-of-sight vector of the receiving user 200 and a predetermined viewing angle, and the visual field of the receiving user 200 and the distance from the predetermined receiving user 200 are extracted. First space extracting means 4 for extracting a first space for determining the character display image presentation position, and the character display image presentation position is determined based on the line-of-sight vector of the uttering user 100 and a predetermined viewing angle. Second space extracting means 5 for extracting a second space for determining the presentation position of the character display image based on the relationship between the three-dimensional position of the uttering user 100 and the first space. And a second presentation position determination for determining the presentation position of the character display image based on the relationship between the three-dimensional position of the receiving user 200 and the second space. A stage 7, output means for outputting on the basis of character information the generated to the determined presentation position in the first presentation position determining means 6 and the second presentation position determining means 7 8
It has and.
【0023】前記本実施形態(実施例)の会話提示装置
の動作は、複数の表示装置がユーザを囲むように配置さ
れた没入型仮想コミュニケーション環境において、発話
ユーザ100の発話内容を発話入力手段1により入力
し、前記入力された発話内容から文字情報を文字生成手
段2により生成する。前記仮想コミュニケーション環境
における発話ユーザ100と受話ユーザ200の3次元
位置と視線ベクトルを抽出手段3-1、3-2により抽出
する。The operation of the conversation presenting apparatus according to the present embodiment (embodiment) is that the utterance content of the uttering user 100 is uttered by the utterance input means 1 in an immersive virtual communication environment in which a plurality of display devices are arranged so as to surround the user. The character generation means 2 generates character information from the input utterance content. The three-dimensional positions and the line-of-sight vectors of the uttering user 100 and the receiving user 200 in the virtual communication environment are extracted by the extracting means 3-1 and 3-2.
【0024】前記受話ユーザ200の視線ベクトル及び
あらかじめ決められた視界角に基づいて受話ユーザ20
0視界を抽出し、前記受話ユーザ200の視界とあらか
じめ決められた受話ユーザ200からの距離に基づいて
文字表示画像提示位置を判定するための第一空間を第一
空間抽出手段4により抽出し、前記発話ユーザ100の
視線ベクトル及びあらかじめ決められた視界角に基づい
て文字表示画像提示位置を判定するための第二空間を第
二空間抽出手段5により抽出する。The receiving user 20 is based on the line-of-sight vector of the receiving user 200 and a predetermined viewing angle.
0 field of view is extracted, and the first space for determining the character display image presentation position based on the field of view of the receiving user 200 and a predetermined distance from the receiving user 200 is extracted by the first space extracting means 4, The second space extracting means 5 extracts the second space for determining the character display image presentation position based on the line-of-sight vector of the uttering user 100 and the predetermined viewing angle.
【0025】前記発話ユーザ100の3次元位置と前記
第一空間の関係に基づいて文字表示画像の提示位置を第
一提示位置決定手段6により決定し、前記受話ユーザ2
00の3次元位置と前記第二空間の関係に基づいて文字
表示画像の提示位置を第二提示位置決定手段7により決
定し、前記生成された文字情報を前記第一提示位置決定
手段6及び第二提示位置決定手段7で決定された提示位
置に基づいて出力手段8により出力する。The presentation position of the character display image is determined by the first presentation position determining means 6 based on the relationship between the three-dimensional position of the uttering user 100 and the first space, and the receiving user 2
00 based on the relationship between the three-dimensional position and the second space, the presentation position of the character display image is determined by the second presentation position determining means 7, and the generated character information is determined by the first presentation position determining means 6 and (2) Based on the presentation position determined by the presentation position determination means 7, the output means 8 outputs.
【0026】前記発話入力手段1は、発話ユーザ100
の発話内容を入力し発話内容をデータ化するものであ
る。この発話入力手段1としては、例えば、マイク等の
発話音声入力機器やジェスチャー発話に対するモーショ
ンキャプチャ動作入力機器を用いる。The utterance input means 1 is used by the uttering user 100.
The utterance content of is input and the utterance content is converted to data. As the speech input means 1, for example, a speech voice input device such as a microphone or a motion capture operation input device for gesture speech is used.
【0027】前記文字生成手段2は、発話入力手段1よ
り入力された発話内容データを認識して文字情報に変換
生成するものである。この文字生成手段2としては、例
えば、前記発話内容データが音声情報であれば音声認識
装置を使用し、発話内容データが動作情報であれば動作
認識装置を使用する。The character generation means 2 is for recognizing the utterance content data input from the utterance input means 1 and converting it into character information. As the character generating means 2, for example, a voice recognition device is used when the utterance content data is voice information, and a motion recognition device is used when the utterance content data is motion information.
【0028】ここで、音声認識用ソフトウェアは、例え
ば、音声認識エンジンVoiceRex(NTT)が知
られている。また、動作認識方法は、位置センサやLE
Dを使用した認識システムが市販されている。Here, as the voice recognition software, for example, a voice recognition engine VoiceRex (NTT) is known. In addition, the motion recognition method is a position sensor or LE.
Recognition systems using D are commercially available.
【0029】前記抽出手段3-1、3-2は、それぞれ発
話ユーザ100と受話ユーザ200の仮想環境内におけ
る3次元位置と視線ベクトルを抽出するものである。抽
出する方法例として、ユーザの身体に位置を検出する位
置センサをとりつけて仮想環境内における位置を抽出す
る方法がある。The extraction means 3-1 and 3-2 extract the three-dimensional position and the line-of-sight vector of the speaking user 100 and the receiving user 200 in the virtual environment, respectively. As an example of a method of extracting, there is a method of attaching a position sensor for detecting the position to the user's body and extracting the position in the virtual environment.
【0030】具体的には、三次元(3D)メガネに取り
付けられた磁気センサや3次元ワンド(磁気センサとス
イッチボタンとを備えた棒状のインタフェース装置)に
備えられた磁気センサによって、現実の位置、方向情報
処理用ワークステーション等による仮想環境空間におけ
るユーザの3次元位置(A、B)と視線ベクトル(a、
b)を抽出することが考えられる。特に、視線ベクトル
はユーザの見ている方向を忠実に抽出するためにもセン
サを頭部につけるのが良いと考えられる。位置センサ装
置にこだわる必要は無く、検出精度のよいものがいいの
はいうまでもない。Specifically, the actual position is determined by a magnetic sensor attached to three-dimensional (3D) glasses or a magnetic sensor provided in a three-dimensional wand (a rod-shaped interface device including a magnetic sensor and a switch button). , A user's three-dimensional position (A, B) and a line-of-sight vector (a,
It is possible to extract b). In particular, it is considered preferable to attach a sensor to the head of the line-of-sight vector in order to faithfully extract the direction in which the user is looking. Needless to say, it is not necessary to be particular about the position sensor device, and one with good detection accuracy is preferable.
【0031】ここで、抽出された仮想環境内における発
話ユーザ100の3次元位置をA、その位置Aでの視線
ベクトルをaとし、受話ユーザ200の3次元位置を
B、その位置での視線ベクトルをbとする。また、視線
ベクトルaはユーザの3次元位置Aを起点とした方向ベ
クトルとする。視線ベクトルbも同様に3次元位置Bを
起点とした方向ベクトルとする。Here, the three-dimensional position of the uttering user 100 in the extracted virtual environment is A, the line-of-sight vector at the position A is a, the three-dimensional position of the receiving user 200 is B, and the line-of-sight vector at that position is B. Be b. Further, the line-of-sight vector a is a direction vector starting from the three-dimensional position A of the user. Similarly, the line-of-sight vector b is also a direction vector starting from the three-dimensional position B.
【0032】前記第一空間抽出手段4は、前記抽出手段
3-2で得られた受話ユーザ200の3次元位置B及び
視線ベクトルbを入力する。前記視線ベクトルbを中心
軸として、図2に示すように、あらかじめ設定した視界
角Rの無限円錐状の視界Wを抽出する。The first space extracting means 4 inputs the three-dimensional position B and the line-of-sight vector b of the receiving user 200 obtained by the extracting means 3-2. With the line-of-sight vector b as the central axis, as shown in FIG. 2, an infinite conical field of view W having a preset field of view angle R is extracted.
【0033】次に、図3に示すように、3次元位置Bを
中心とし、あらかじめ設定した距離Dを半径とする球形
と前記視界Wが重なる空間を第一空間αとして抽出す
る。この第一空間αは、相手ユーザと意思伝達の会話を
する際の範囲と定義する。この範囲は、視界角Rと距離
Dにより自由自在に調整することが可能であり、視界角
Rもしくは距離Dが大きければ大きいほど範囲は広くな
る。Next, as shown in FIG. 3, a space in which the field of view W and a sphere having a three-dimensional position B as the center and a radius of a preset distance D overlap with each other is extracted as a first space α. This first space α is defined as a range in which a conversation for communicating with the other user is made. This range can be freely adjusted by the view angle R and the distance D, and the larger the view angle R or the distance D, the wider the range.
【0034】前記第二空間抽出手段5は、前記抽出手段
3-1で得られた発話ユーザの視線ベクトルaを入力
し、その視線ベクトルaを中心軸として、図4に示すよ
うに、あらかじめ設定した視界角RRの無限円錐状の空
間を第二空間βとして抽出する。The second space extracting means 5 inputs the line-of-sight vector a of the uttering user obtained by the extracting means 3-1 and preset as shown in FIG. 4 with the line-of-sight vector a as the central axis. The infinite conical space having the view angle RR is extracted as the second space β.
【0035】第二空間は、仮想環境上において発話ユー
ザ100が遠くにいるユーザ(アバタ)へ呼びかけると
きのずれの許容範囲と定義する。このずれの許容範囲は
あらかじめ決められる視界角度RRによって大きさを設
定することが可能であり、視界角RRが大きければ大き
いほど第二空間βは広くなる。また、前記第二空間β
は、図5に示すように、視線ベクトルa方向の直線を中
心とした無限円柱あるいは無限四方体の空間と前記無限
円錐状の空間とを重ねあわせた空間とすることも考えら
れる。The second space is defined as an allowable range of deviation when the uttering user 100 calls a user (avatar) who is far away in the virtual environment. It is possible to set the magnitude of the allowable range of this shift according to a predetermined visual field angle RR, and the larger the visual field angle RR, the wider the second space β. Also, the second space β
As shown in FIG. 5, it is conceivable that the space of an infinite cylinder or an infinite tetrahedron centered on a straight line in the direction of the line-of-sight vector a and the space of the infinite cone are overlapped.
【0036】前記第一提示位置決定手段6は、前記抽出
手段3-1で抽出された3次元位置A及び前記第一空間
抽出手段4で抽出された第一空間αを入力し、文字情報
の提示位置を決定するものである。The first presentation position determining means 6 inputs the three-dimensional position A extracted by the extracting means 3-1 and the first space α extracted by the first space extracting means 4 to obtain character information. The presentation position is determined.
【0037】前記第二提示位置決定手段7は、前記抽出
手段3-2で抽出された3次元位置B及び前記第二空間
抽出手段5で抽出された第二空間βを入力し、文字情報
の提示位置を決定するものである。The second presentation position determining means 7 inputs the three-dimensional position B extracted by the extracting means 3-2 and the second space β extracted by the second space extracting means 5 to obtain character information. The presentation position is determined.
【0038】前記出力手段8は、前記文字生成手段2で
生成された文字情報と第一提示位置決定手段6及び第二
提示位置決定手段7で決定された提示位置を入力し、文
字情報を提示位置に基づいて出力する出力手段である。The output means 8 inputs the character information generated by the character generation means 2 and the presentation positions determined by the first presentation position determination means 6 and the second presentation position determination means 7 to present the character information. The output means outputs based on the position.
【0039】図6は、前記第一提示決定手段6及び前記
第二提示位置決定手段7の処理手順を示すフローチャー
トである。FIG. 6 is a flowchart showing the processing procedure of the first presentation determination means 6 and the second presentation position determination means 7.
【0040】これらの2つの提示位置決定手段の処理手
順は、まず、第一提示位置決定手段6において、前記抽
出手段3-1から発話ユーザ100の3次元位置A及び
前記第一空間抽出手段4から第一空間αを入力する。そ
して発話ユーザ100の3次元位置Aが前記第一空間α
内にある場合とない場合をA⊂αの判断で分類する。In the processing procedure of these two presentation position determining means, first, in the first presentation position determining means 6, the three-dimensional position A of the uttering user 100 and the first space extracting means 4 are extracted from the extracting means 3-1. Input the first space α from. Then, the three-dimensional position A of the uttering user 100 is the first space α.
It is classified by the judgment of A ⊂ α when it is inside and outside.
【0041】A⊂αが成り立つときは、文字情報の提示
位置を、発話されてからあらかじめ決められた一定時間
Tの間、発話ユーザ100の3次元位置Aの周囲とす
る。A⊂αが成り立たないときは、第二提示位置決定手
段7において処理を行なう。When A⊂α holds, the presentation position of the character information is set around the three-dimensional position A of the uttering user 100 for a predetermined time T after the utterance. When A⊂α does not hold, the second presentation position determining means 7 performs processing.
【0042】第二提示位置決定手段7において、前記抽
出手段3-2から受話ユーザの3次元位置B及び前記第
二空間抽出手段5から第二空間βを入力する。そして受
話ユーザの3次元位置Bが前記第二空間β内にある場合
とない場合をB⊂βの判断で分類する。In the second presentation position determining means 7, the three-dimensional position B of the receiving user is input from the extracting means 3-2 and the second space β is input from the second space extracting means 5. Then, the case where the three-dimensional position B of the receiving user is within the second space β and the case where the three-dimensional position B is not included are classified by the determination of B⊂β.
【0043】B⊂βが成り立つときは、文字情報の初期
提示位置を発話ユーザ100の3次元位置Aの周囲と
し、ある一定の時間Tが経過すると、受話ユーザ200
の視線ベクトル方向にある一定の距離sの位置Sの方向
に文字情報の提示位置を移動させる。When B⊂β holds, the initial presentation position of the character information is set around the three-dimensional position A of the uttering user 100, and after a certain time T elapses, the receiving user 200.
The presentation position of the character information is moved in the direction of the position S at a constant distance s in the direction of the line-of-sight vector of S.
【0044】一方、B⊂βが成り立たないときは、文字
情報の初期提示位置を発話ユーザ100の周囲とし、あ
る一定の時間Tが経過すると発話ユーザ100の視線ベ
クトルaの方向に文字情報の提示位置を移動させる。On the other hand, when B⊂β does not hold, the initial presentation position of the character information is set around the uttering user 100, and the character information is presented in the direction of the line-of-sight vector a of the uttering user 100 after a lapse of a certain time T. Move the position.
【0045】移動にあたって、一定時間Tになったとき
に、前記初期提示位置から一定距離P先を提示位置とす
ると、時間Tの2倍の時間が経過すると前記初期提示位
置から距離Pの2倍の位置と、時間がn倍(nは自然
数)増えるごとに初期提示位置からn倍増えた先を提示
位置とする。時間Tと距離Pは自在に設定することがで
きるが吹きだし内の文字が読み取りやすいようにバラン
スをとる必要がある。また、文字情報の出力には吹きだ
しや球体、雲のような浮遊体等が考えられる。In the movement, when a predetermined time T is reached and a predetermined distance P ahead of the initial presentation position is set as the presentation position, when the time twice the time T elapses, the distance P is doubled from the initial presentation position. And the destination that has increased n times from the initial presentation position each time the time increases n times (n is a natural number). The time T and the distance P can be set freely, but they need to be balanced so that the characters in the balloon can be read easily. In addition, a balloon, a sphere, a floating body such as a cloud, or the like can be considered for outputting the character information.
【0046】図7、図8、図9及び10は、文字情報の
出力例を示す模式図であり、EPLは提示位置の軌道、
EPL1は旧提示位置の軌道、EPL2は新提示位置の
軌道である。7, FIG. 8, FIG. 9 and FIG. 10 are schematic diagrams showing examples of output of character information, where EPL is the trajectory of the presentation position,
EPL1 is the trajectory of the old presentation position, and EPL2 is the trajectory of the new presentation position.
【0047】図7はA⊂αが成り立つときの出力例であ
り、吹きだし画像が口元付近に出力され発話内容が吹き
だしの中に表示される。また、図8は、A⊂αが成り立
たず、かつB⊂βが成り立つときの出力例であり、吹き
だし画像が口元付近に出力され発話内容が吹きだしの中
に表示され、受話ユーザ200の視線ベクトル方向にあ
る一定の距離sの位置Sの方向に移動させる。これを変
則的提示位置とする。FIG. 7 shows an output example when A⊂α is established, and a speech image is output near the mouth and the utterance content is displayed in the speech. FIG. 8 is an output example when A⊂α does not hold and B⊂β holds, in which a balloon image is output near the mouth, the utterance content is displayed in the balloon, and the line-of-sight vector of the receiving user 200 is displayed. A certain distance s in the direction is moved toward the position S. This is an irregular presentation position.
【0048】この変則的提示位置は直線的に限らず、受
話ユーザ200が位置や向きを変えたとき、図9に示す
ように、蛇行することもある。さらに、図10は、A⊂
αが成り立たず、かつB⊂βが成り立たないときの出力
例であり、吹きだし画像が口元付近に出力され、発話ユ
ーザ100の視線ベクトルaの方向に移動させる。This irregular presentation position is not limited to a straight line, and when the receiving user 200 changes its position or orientation, it may meander as shown in FIG. Furthermore, FIG. 10 shows A⊂
This is an output example when α does not hold and B⊂β does not hold, and a blowout image is output near the mouth and moved in the direction of the sight line vector a of the uttering user 100.
【0049】前記変則的提示位置は、受話ユーザ200
が位置や向きを大きく変えたときも受話ユーザ200に
その文字情報が発話ユーザ100の方向から来たように
把握させることができるようにするため、常に発話ユー
ザ100の3次元位置Aと、受話ユーザ200の3次元
位置Bから視線ベクトルb方向にある一定の距離sの位
置Sを結ぶ直線上を提示位置とすることができる。The irregular presentation position is defined by the receiving user 200.
In order to allow the receiving user 200 to recognize that the character information comes from the direction of the uttering user 100 even when the position or orientation of the user is largely changed, the three-dimensional position A of the uttering user 100 and The presentation position can be a straight line that connects the position S of the user 200 at a certain distance s in the direction of the line-of-sight vector b from the three-dimensional position B.
【0050】また、図11に示すように、文字情報が提
示されてから、受話ユーザ200の3次元位置Bもしく
は視線ベクトルbに変動があった場合でも、常に最新の
発話ユーザ100の3次元位置Aと受話ユーザ200の
3次元位置Bから視線ベクトルb方向にある一定距離s
の位置Sをむすぶ直線上を文字情報の提示位置とするこ
とができる。さらに、文字情報が提示されてからの時間
もしくは距離を測定しておき、それぞれあらかじめ決め
られた時間もしくは距離に達した場合は、その時点での
前記発話ユーザ100の3次元位置Aと前記位置Sを結
ぶ直線上の位置を以降の提示位置としてもよい。Further, as shown in FIG. 11, even if the three-dimensional position B of the receiving user 200 or the line-of-sight vector b changes after the character information is presented, the latest three-dimensional position of the speaking user 100 is always displayed. A and a fixed distance s in the direction of the line-of-sight vector b from the three-dimensional position B of the receiving user 200
It is possible to set the position on which the character information is presented on a straight line. Furthermore, the time or distance from the time when the character information is presented is measured, and when the predetermined time or distance is reached, the three-dimensional position A and the position S of the uttering user 100 at that time are measured. The position on the straight line connecting the points may be the subsequent presentation position.
【0051】以上、本発明を、前記実施形態(実施例)
に基づき具体的に説明したが、本発明は、前記実施形態
に限定されるものではなく、その要旨を逸脱しない範囲
において種種変更可能であることはもちろんである。As described above, the present invention is implemented in the above-described embodiment (example).
However, the present invention is not limited to the above-described embodiment, and it is needless to say that the species can be changed without departing from the scope of the invention.
【0052】[0052]
【発明の効果】以上説明したように、本発明によれば、
発話ユーザの視線が呼びかけを意図する受話ユーザの位
置から多少ずれている場合にも、発話内容が書かれた文
字表示画像を受話ユーザの視界に入るようにすることが
できる。また、受話ユーザが移動した場合や方向転換を
した場合にも文字表示画像を受話ユーザの視界に入るよ
うにすることができる。そのため、発話ユーザは文字表
示画像が受話ユーザの視界に入ったかどうかを視覚的に
正確に確認する必要がなくなる。As described above, according to the present invention,
Even when the line of sight of the uttering user is slightly displaced from the position of the receiving user who is intended to make a call, the character display image in which the utterance content is written can be brought into the visual field of the receiving user. Further, the character display image can be brought into the view of the receiving user even when the receiving user moves or changes direction. Therefore, the uttering user does not need to visually and accurately confirm whether or not the character display image is within the visual field of the receiving user.
【図1】本発明による一実施形態(実施例)の会話提示
装置の概略構成を示すブロック図である。FIG. 1 is a block diagram showing a schematic configuration of a conversation presentation device according to an embodiment (example) of the present invention.
【図2】本実施例における視界Wの例を示す図である。FIG. 2 is a diagram showing an example of a field of view W in the present embodiment.
【図3】本実施例における第一空間αの例を示す図であ
る。FIG. 3 is a diagram showing an example of a first space α in the present embodiment.
【図4】本実施例における第二空間βの例を示す図であ
る。FIG. 4 is a diagram showing an example of a second space β in this embodiment.
【図5】本実施例における第二空間βの例を示す図であ
る。FIG. 5 is a diagram showing an example of a second space β in the present embodiment.
【図6】本実施例における第一提示位置決定手段及び第
二提示位置決定手段の処理手順を示すフローチャートで
ある。FIG. 6 is a flowchart showing a processing procedure of a first presentation position determination means and a second presentation position determination means in this embodiment.
【図7】本実施例における文字情報の出力例を示す図で
ある。FIG. 7 is a diagram showing an output example of character information in the present embodiment.
【図8】本実施例における文字情報の出力例を示す図で
ある。FIG. 8 is a diagram showing an output example of character information in the present embodiment.
【図9】本実施例における文字情報の出力例を示す図で
ある。FIG. 9 is a diagram showing an output example of character information in the present embodiment.
【図10】本実施例における文字情報の出力例を示す図
である。FIG. 10 is a diagram showing an output example of character information in the present embodiment.
【図11】本実施例における文字情報の出力例(遷移)
を示す図である。FIG. 11 is an output example (transition) of character information in the present embodiment.
FIG.
1…発話入力手段 2…文字生成手
段
3-1、3-2…抽出手段 4…第一空間抽
出手段
5…第二空間抽出手段 6…第一提示位
置決定手段
7…第二提示位置決定手段 8…出力手段
100…発話ユーザ 200…受話ユ
ーザ
A、B…3次元位置 a、b…視線ベ
クトル
R、RR…視界角 α…第一空間
β…第二空間 D…距離
EPL…提示位置の軌道 EPL1…旧提
示位置の軌道
EPL2…新提示位置の軌道DESCRIPTION OF SYMBOLS 1 ... Utterance input means 2 ... Character generation means 3-1 3-2 ... Extraction means 4 ... First space extraction means 5 ... Second space extraction means 6 ... First presentation position determination means 7 ... Second presentation position determination means 8 ... Output means 100 ... Speaking user 200 ... Receiving user A, B ... Three-dimensional position a, b ... Line-of-sight vector R, RR ... View angle α ... First space β ... Second space D ... Distance EPL ... Present position trajectory EPL1 ... orbit of old presentation position EPL2 ... orbit of new presentation position
フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G10L 15/24 G10L 3/00 571Q (72)発明者 小林 稔 東京都千代田区大手町二丁目3番1号 日 本電信電話株式会社内 (72)発明者 石橋 聡 東京都千代田区大手町二丁目3番1号 日 本電信電話株式会社内 Fターム(参考) 5B050 AA08 BA09 BA20 CA07 EA07 EA12 EA27 FA02 FA10 5D015 KK02 5E501 AA01 BA03 CC08 EB06 FA13 FB42 5L096 AA09 BA20 DA04 FA66 FA67 FA69 FA76 HA05 Front page continuation (51) Int.Cl. 7 Identification code FI theme code (reference) G10L 15/24 G10L 3/00 571Q (72) Inventor Minoru Kobayashi 2-3-3 Otemachi, Chiyoda-ku, Tokyo Nihonhon Telegraph and Telephone Corp. (72) Inventor Satoshi Ishibashi 2-3-1 Otemachi, Chiyoda-ku, Tokyo F-Term inside Nippon Telegraph and Telephone Corp. (reference) 5B050 AA08 BA09 BA20 CA07 EA07 EA12 EA27 FA02 FA10 5D015 KK02 5E501 AA01 BA03 CC08 EB06 FA13 FB42 5L096 AA09 BA20 DA04 FA66 FA67 FA69 FA76 HA05
Claims (6)
置された没入型仮想コミュニケーション環境において、
発話ユーザの発話内容を入力し、前記入力された発話内
容から文字情報を生成し、前記仮想コミュニケーション
環境における発話ユーザと受話ユーザの3次元位置と視
線ベクトルを抽出し、前記受話ユーザの視線ベクトル及
びあらかじめ決められた視界角に基づいて受話ユーザ視
界を抽出し、前記受話ユーザ視界とあらかじめ決められ
た受話ユーザからの距離に基づいて文字表示画像提示位
置を判定するための第一空間を抽出し、前記発話ユーザ
の視線ベクトル及びあらかじめ決められた視界角に基づ
いて文字表示画像提示位置を判定するための第二空間を
抽出し、前記発話ユーザの3次元位置と前記第一空間の
関係に基づいて文字表示画像の第一提示位置を決定し、
前記受話ユーザの3次元位置と前記第二空間の関係に基
づいて文字表示画像の第二提示位置を決定し、前記生成
された文字情報を前記第一提示位置及び第二提示位置で
決定された提示位置に基づいて出力することを特徴とす
る会話情報提示方法。1. An immersive virtual communication environment in which a plurality of display devices are arranged to surround a user,
The utterance content of the uttering user is input, character information is generated from the input utterance content, the three-dimensional position and the line-of-sight vector of the uttering user and the receiving user in the virtual communication environment are extracted, and the line-of-sight vector of the receiving user and Extracting the receiving user field of view based on a predetermined viewing angle, extracting the first space for determining the character display image presentation position based on the distance from the receiving user field of view and the predetermined receiving user, A second space for determining the character display image presentation position is extracted based on the line-of-sight vector of the uttering user and a predetermined viewing angle, and based on the relationship between the three-dimensional position of the uttering user and the first space. Determine the first presentation position of the character display image,
The second presentation position of the character display image is determined based on the relationship between the three-dimensional position of the receiving user and the second space, and the generated character information is determined at the first presentation position and the second presentation position. A method for presenting conversation information, which is characterized by outputting based on a presentation position.
記発話ユーザの3次元位置が前記第一空間内にある場合
は、発話から一定時間、発話ユーザの周囲を文字表示画
像の提示位置とし、それ以外の場合は第二提示位置決定
過程において、前記受話ユーザの3次元位置が前記第二
空間内にある場合は、発話ユーザの周囲から、受話ユー
ザの3次元位置から視線ベクトル方向へある一定距離離
れた位置へ向けて発話からの時間にともなって移動する
位置を提示位置とし、それ以外の場合は、発話ユーザの
周囲から発話ユーザの視線ベクトルの方向へ発話からの
時間にともなって移動する位置を提示位置とすることを
特徴とする請求項1記載の会話情報提示方法。2. In the step of determining the first presentation position, when the three-dimensional position of the uttering user is within the first space, the surroundings of the uttering user is set as the presentation position of the character display image for a certain period of time from the utterance, Otherwise, in the second presentation position determination process, if the three-dimensional position of the receiving user is in the second space, there is a certain distance from the surrounding of the speaking user to the line-of-sight vector direction from the three-dimensional position of the receiving user. The position that moves with distance from the utterance toward the utterance time is set as the presentation position. In other cases, the position moves from around the uttering user toward the uttering user's line-of-sight vector along with the utterance time. The conversation information presentation method according to claim 1, wherein the position is used as a presentation position.
記発話ユーザの3次元位置が前記第一空間内にある場合
は、発話から一定時間、発話ユーザの周囲を文字表示画
像の提示位置とし、それ以外の場合は、第二提示位置決
定過程において、前記受話ユーザの3次元位置が前記第
二空間にある場合は、発話ユーザの周囲から、常に発話
ユーザの3次元位置と受話ユーザの3次元位置から視線
ベクトル方向へある一定距離離れた位置とを結ぶ直線上
を、発話からの時間にともなって移動する位置を提示位
置とし、それ以外の場合は、発話ユーザの周囲から発話
ユーザの視線ベクトルの方向へ発話からの時間にともな
って移動する位置を提示位置とすることを特徴とする請
求項1記載の会話情報提示方法。3. In the step of determining the first presentation position, if the three-dimensional position of the uttering user is within the first space, the surroundings of the uttering user is set as the presentation position of the character display image for a certain period of time after the utterance. Otherwise, in the second presentation position determination process, when the three-dimensional position of the receiving user is in the second space, the three-dimensional position of the speaking user and the three-dimensional position of the receiving user are always located around the speaking user. The position that moves with time from the utterance is set as the presentation position on a straight line that connects the position with a certain distance from the position in the line-of-sight vector direction, and in other cases, the line-of-sight vector of the uttering user from around the uttering user. 2. The conversation information presenting method according to claim 1, wherein the presenting position is a position that moves in the direction of with the time from the utterance.
置された没入型仮想コミュニケーション環境システムに
おける会話情報提示装置であって、発話ユーザの発話内
容を入力する発話入力手段と、前記入力された発話内容
から文字情報を生成する文字情報生成手段と、前記仮想
コミュニケーション環境における発話ユーザと受話ユー
ザの3次元位置と視線ベクトルを抽出する抽出手段と、
前記受話ユーザの視線ベクトル及びあらかじめ決められ
た視界角に基づいて受話ユーザ視界を抽出し、前記受話
ユーザ視界とあらかじめ決められた受話ユーザからの距
離に基づいて文字表示画像提示位置を判定するための第
一空間を抽出する第一空間抽出手段と、前記発話ユーザ
の視線ベクトル及びあらかじめ決められた視界角に基づ
いて文字表示画像提示位置を判定するための第二空間を
抽出する第二空間抽出手段と、前記発話ユーザの3次元
位置と前記第一空間の関係に基づいて文字表示画像の提
示位置を決定する第一提示位置決定手段と、前記受話ユ
ーザの3次元位置と前記第二空間の関係に基づいて文字
表示画像の提示位置を決定する第二提示位置決定手段
と、前記生成された文字情報を前記第一提示位置決定手
段及び第二提示位置決定手段で決定された提示位置に基
づいて出力する出力手段とを具備することを特徴とする
会話情報提示装置。4. A conversation information presentation device in an immersive virtual communication environment system, wherein a plurality of display devices are arranged so as to surround a user, said utterance input means for inputting utterance content of a uttering user, and said input device. Character information generating means for generating character information from the utterance content; extracting means for extracting three-dimensional positions and line-of-sight vectors of the uttering user and the receiving user in the virtual communication environment;
A receiving user field of view is extracted based on the line-of-sight vector of the receiving user and a predetermined viewing angle, and a character display image presentation position is determined based on the receiving user field of view and a predetermined distance from the receiving user. First space extracting means for extracting a first space, and second space extracting means for extracting a second space for determining a character display image presentation position based on a line-of-sight vector of the uttering user and a predetermined viewing angle. A first presentation position determining means for determining a presentation position of the character display image based on a relationship between the three-dimensional position of the uttering user and the first space; and a relationship between the three-dimensional position of the receiving user and the second space. Second presentation position determining means for determining the presentation position of the character display image based on the above, and the first presentation position determining means and the second presentation position for the generated character information. Conversation information presentation apparatus characterized by comprising an output means for outputting, based on the presentation position determined by the constant section.
記発話ユーザの3次元位置が前記第一空間内にある場合
は、発話から一定時間、発話ユーザの周囲を文字表示画
像の提示位置とし、それ以外の場合は第二提示位置決定
手段において、前記受話ユーザの3次元位置が前記第二
空間内にある場合は、発話ユーザの周囲から、受話ユー
ザの3次元位置から視線ベクトル方向へある一定距離離
れた位置へ向けて発話からの時間にともなって移動する
位置を提示位置とし、それ以外の場合は、発話ユーザの
周囲から発話ユーザの視線ベクトルの方向へ発話からの
時間にともなって移動する位置を提示位置とすることを
特徴とする請求項4記載の会話情報提示装置。5. In the first presentation position determining means, when the three-dimensional position of the uttering user is in the first space, a surrounding area of the uttering user is set as a presentation position of the character display image for a certain period of time after the utterance. In other cases, in the second presentation position determining means, when the three-dimensional position of the receiving user is in the second space, there is a certain distance from the surrounding of the speaking user to the line-of-sight vector direction from the three-dimensional position of the receiving user. The position that moves with distance from the utterance toward the utterance time is set as the presentation position. In other cases, the position moves from around the uttering user toward the uttering user's line-of-sight vector along with the utterance time. The conversation information presentation device according to claim 4, wherein the position is a presentation position.
記発話ユーザの3次元位置が前記第一空間内にある場合
は、発話から一定時間、発話ユーザの周囲を文字表示画
像の提示位置とし、それ以外の場合は、第二提示位置決
定手段において、前記受話ユーザの3次元位置が前記第
二空間にある場合は、発話ユーザの周囲から、常に発話
ユーザの3次元位置と受話ユーザの3次元位置から視線
ベクトル方向へある一定距離離れた位置とを結ぶ直線上
を、発話からの時間にともなって移動する位置を提示位
置とし、それ以外の場合は、発話ユーザの周囲から発話
ユーザの視線ベクトルの方向へ発話からの時間にともな
って移動する位置を提示位置とすることを特徴とする請
求項4記載の会話情報提示装置。6. In the first presentation position determining means, when the three-dimensional position of the uttering user is in the first space, a surrounding area of the uttering user is set as a presentation position of the character display image for a certain period of time from the utterance, In other cases, in the second presentation position determination means, when the three-dimensional position of the receiving user is in the second space, the three-dimensional position of the talking user and the three-dimensional position of the receiving user are always located around the talking user. The position that moves with time from the utterance is set as the presentation position on a straight line that connects the position with a certain distance from the position in the line-of-sight vector direction, and in other cases, the line-of-sight vector of the uttering user from around the uttering user. 5. The conversation information presentation device according to claim 4, wherein a position that moves in the direction of with the time from the utterance is set as the presentation position.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001257925A JP2003067781A (en) | 2001-08-28 | 2001-08-28 | Conversation information presentation method and device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001257925A JP2003067781A (en) | 2001-08-28 | 2001-08-28 | Conversation information presentation method and device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2003067781A true JP2003067781A (en) | 2003-03-07 |
Family
ID=19085526
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001257925A Pending JP2003067781A (en) | 2001-08-28 | 2001-08-28 | Conversation information presentation method and device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2003067781A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013008031A (en) * | 2011-06-24 | 2013-01-10 | Honda Motor Co Ltd | Information processor, information processing system, information processing method and information processing program |
JP5864018B1 (en) * | 2015-06-11 | 2016-02-17 | 株式会社コロプラ | Computer program |
-
2001
- 2001-08-28 JP JP2001257925A patent/JP2003067781A/en active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013008031A (en) * | 2011-06-24 | 2013-01-10 | Honda Motor Co Ltd | Information processor, information processing system, information processing method and information processing program |
JP5864018B1 (en) * | 2015-06-11 | 2016-02-17 | 株式会社コロプラ | Computer program |
JP2017004297A (en) * | 2015-06-11 | 2017-01-05 | 株式会社コロプラ | Computer program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101777807B1 (en) | Sign language translator, system and method | |
US8676562B2 (en) | Communication support apparatus and method | |
US9949056B2 (en) | Method and apparatus for presenting to a user of a wearable apparatus additional information related to an audio scene | |
JP6594646B2 (en) | Robot, robot control method, and robot system | |
JP6017854B2 (en) | Information processing apparatus, information processing system, information processing method, and information processing program | |
CN111445583B (en) | Augmented reality processing method and device, storage medium and electronic equipment | |
CN104765444A (en) | In-vehicle gesture interactive spatial audio system | |
US20210318749A1 (en) | Information processing system, information processing method, and program | |
US20220224735A1 (en) | Information processing apparatus, non-transitory computer readable medium storing program, and method | |
CN110162598B (en) | Data processing method and device for data processing | |
JP2018036871A (en) | Information processing server, information processing system, terminal device, and program | |
JP2003248837A (en) | Device and system for image generation, device and system for sound generation, server for image generation, program, and recording medium | |
JP2019220848A (en) | Data processing apparatus, data processing method and program | |
KR20150128386A (en) | display apparatus and method for performing videotelephony using the same | |
US20190138117A1 (en) | Information processing device, information processing method, and program | |
CN111936964A (en) | Non-interruptive NUI command | |
JP2020060830A (en) | Agent device, agent presentation method, and program | |
JP2002312295A (en) | Virtual three-dimensional space conversation system | |
JP2003037826A (en) | Substitute image display and tv phone apparatus | |
JP2008299135A (en) | Speech synthesis device, speech synthesis method and program for speech synthesis | |
CN110178125B (en) | Information processing apparatus, information processing method, and program | |
CN111415421B (en) | Virtual object control method, device, storage medium and augmented reality equipment | |
JP2006065683A (en) | Avatar communication system | |
JP2003067781A (en) | Conversation information presentation method and device | |
US10129442B2 (en) | Information processing apparatus and information processing method |