JP2003067781A - Conversation information presentation method and device - Google Patents
Conversation information presentation method and deviceInfo
- Publication number
- JP2003067781A JP2003067781A JP2001257925A JP2001257925A JP2003067781A JP 2003067781 A JP2003067781 A JP 2003067781A JP 2001257925 A JP2001257925 A JP 2001257925A JP 2001257925 A JP2001257925 A JP 2001257925A JP 2003067781 A JP2003067781 A JP 2003067781A
- Authority
- JP
- Japan
- Prior art keywords
- user
- presentation
- space
- uttering
- receiving user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、没入型仮想コミュ
ニケーション環境システムにおける会話情報提示方法及
び装置に関し、特に、複数の表示装置がユーザを囲むよ
うに配置された没入型仮想環境において、聴覚障害者の
会話支援等を目的とし、ユーザの発話内容を文字画像提
示する会話情報提示に適用して有効な技術に関するもの
である。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method and apparatus for presenting conversation information in an immersive virtual communication environment system, and in particular, in an immersive virtual environment in which a plurality of display devices are arranged so as to surround a user, The present invention relates to a technique effectively applied to the presentation of conversation information for presenting a text image of a user's utterance for the purpose of supporting the conversation of the user.
【０００２】[0002]
【従来の技術】従来、没入型仮想環境が体験できる没入
型多面ディスプレイシステムがある。この没入型多面デ
ィスプレイシステムは、本来、シミュレーション等の可
視化環境として開発されたものである。近年ではそれを
ネットワークで接続し、コミュニケーション環境として
利用する研究が盛んに行われている。没入型多面ディス
プレイシステムは複数のスクリーンを前後左右上下等に
配置し、ユーザを映像で囲むような構造になっており、
高い臨場感を得ることができる。2. Description of the Related Art Conventionally, there is an immersive multi-faceted display system in which an immersive virtual environment can be experienced. This immersive multi-sided display system was originally developed as a visualization environment for simulations and the like. In recent years, many studies have been conducted to connect it with a network and use it as a communication environment. The immersive multi-sided display system has a structure in which a plurality of screens are arranged in front, rear, left, right, up, and down, etc., and the user is surrounded by an image.
You can get a high sense of realism.
【０００３】このような没入型仮想コミュニケーション
環境では、ユーザは立体的な仮想世界中を自由に歩き回
ることができ、前後上下左右方向を見ることができる。In such an immersive virtual communication environment, the user can freely roam in the three-dimensional virtual world and can see the front, rear, up, down, left and right directions.
【０００４】他ユーザは仮想世界中でアバタとして表現
され、遭遇したときに会話の場を持つことができる。こ
のとき、発話しているユーザ（発話ユーザとする）の会
話情報は音声で提示される。Other users are represented as avatars in the virtual world and can have a place of conversation when they are encountered. At this time, the conversation information of the user who is speaking (speaking user) is presented by voice.
【０００５】このような没入型仮想コミュニケーション
環境については、例えば、文献：信学技報、ＭＶＥ９９
−４５、ｐｐ．１〜８、１９９９（河野隆志、鈴木由里
子、山本憲男、志和新一、石橋聡著、表題“没入型コミ
ュニケーション環境”）に記載されている。For such an immersive virtual communication environment, see, for example, Literature: Technical Report, MVE99.
-45, pp. 1-8, 1999 (Takashi Kono, Yuriko Suzuki, Norio Yamamoto, Shinichi Shiwa, Satoshi Ishibashi, titled "Immersive Communication Environment").
【０００６】このような没入型仮想コミュニケーション
環境において、聴覚障害者の会話支援を主な目的とし
て、発話内容を吹き出しで表示させるシステムが開発さ
れている（特願２０００−０３７４６２号、発明の名称
“会話情報提示方法及び没入型仮想コミュニケーション
環境システム”発明者“織田修平、八木貴史、石橋聡”
参照）これは、仮想空間上の発話ユーザが話を受ける立
場のユーザ（以下、受話ユーザと呼ぶ）から一定の距離
におり、かつ受話ユーザの視界内にいるときは、発話ユ
ーザ付近に吹き出しを表示させる。それ以外のときは発
話ユーザの視線方向に吹き出しを表示させ、一定時間ご
とにその視線方向へ移動させる。このシステムにより、
聴覚障害者がユーザとなったとき、相手ユーザの発話内
容が理解でき、会話の遷移も容易にできるようになって
いる。In such an immersive virtual communication environment, a system for displaying speech contents in a balloon has been developed mainly for the purpose of supporting the conversation of a hearing impaired person (Japanese Patent Application No. 2000-037462, entitled "Invention"). Conversation information presentation method and immersive virtual communication environment system "Inventor" Shuhei Oda, Takashi Yagi, Satoshi Ishibashi "
This is because when the uttering user in the virtual space is at a certain distance from the user who receives the talk (hereinafter referred to as the receiving user) and is in the sight of the receiving user, a speech bubble is generated near the uttering user. Display it. In other cases, the speech balloon is displayed in the line-of-sight direction of the uttering user and moved in the line-of-sight direction at regular intervals. With this system,
When a hearing-impaired person becomes a user, he / she can understand the utterance content of the other user and can easily transition the conversation.
【０００７】[0007]
【発明が解決しようとする課題】しかしながら、前記シ
ステムでは、発話ユーザが仮想環境空間上で、特に、遠
くにいるユーザに呼びかけるとき、以下のような問題が
起こる。However, in the above system, the following problems occur when the uttering user calls a user who is far away in the virtual environment space.
【０００８】発話ユーザは呼びかけを行なう時、受話ユ
ーザを見て、受話ユーザのいる位置にむかって発話を行
なう。このとき、呼びかけ吹き出しは、発話ユーザの視
線方向へ移動するが、この視線方向と受話ユーザの位置
が一致している場合でも受話ユーザの向きによって、呼
びかけ吹きだしが、受話ユーザの視界に入らないことが
ある。そのため、発話ユーザは、受話ユーザそのものに
対してではなく、受話ユーザの視線方向に対して発話を
行なわなければならないという問題が発生する。When making a call, the speaking user looks at the receiving user and speaks toward the position of the receiving user. At this time, the call-out balloon moves in the line-of-sight direction of the uttering user, but even if the line-of-sight direction and the position of the receiving user match, the call-out balloon should not be in the view of the receiving user depending on the orientation of the receiving user. There is. Therefore, there arises a problem that the uttering user has to utter not in the receiving user itself but in the line-of-sight direction of the receiving user.
【０００９】また、発話ユーザが受話ユーザの視線方向
に対して呼びかけを行なった場合でも、受話ユーザが発
話ユーザの呼びかけ後に位置や向きを変えることがあ
り、受話ユーザの視界に呼びかけ吹きだしが入らないこ
とがある。そのため、発話ユーザは受話ユーザに対して
繰り返し呼びかけを行なうことを強いられるようになる
という問題が発生する。Further, even if the uttering user makes a call in the line-of-sight direction of the receiving user, the receiving user may change the position or the direction after the calling of the uttering user, and the calling out does not appear in the visual field of the receiving user. Sometimes. Therefore, a problem arises in that the speaking user is forced to repeatedly call the receiving user.
【００１０】さらに、受話ユーザの向きは、発話ユーザ
から遠くなれば遠くなるほど、視覚的に正確に把握する
ことが困難になる。そのため必然的に、呼びかけ吹きだ
しが受話ユーザの視界に入ったかどうかを把握すること
が困難になるという問題が発生する。Furthermore, the farther away from the speaking user the direction of the receiving user becomes, the more difficult it becomes to visually grasp the direction accurately. Therefore, it is inevitable that it is difficult to know whether or not the call out has come into the visual field of the receiving user.
【００１１】本発明の目的は、発話ユーザの視線が呼び
かけを意図する受話ユーザの位置から多少ずれている場
合にも、呼びかけ吹きだしが受話ユーザの視界に入るよ
うにすることが可能な技術を提供することにある。本発
明の前記ならびにその他の目的と新規な特徴は、本明細
書の記述及び添付図面によって明らかにする。An object of the present invention is to provide a technique capable of allowing a callout to be in the field of view of a receiving user even when the line of sight of the talking user is slightly displaced from the position of the receiving user who intends to make a call. To do. The above and other objects and novel features of the present invention will become apparent from the description of this specification and the accompanying drawings.
【００１２】[0012]
【課題を解決するための手段】本願において開示される
発明の概要を簡単に説明すれば下記の通りである。第１
の発明は、複数の表示装置がユーザを囲むように配置さ
れた没入型仮想コミュニケーション環境において、発話
ユーザの発話内容を入力し、前記入力された発話内容か
ら文字情報を生成し、前記仮想コミュニケーション環境
における発話ユーザと受話ユーザの３次元位置と視線ベ
クトルを抽出し、前記受話ユーザの視線ベクトル及びあ
らかじめ決められた視界角に基づいて受話ユーザ視界を
抽出し、前記受話ユーザ視界とあらかじめ決められた受
話ユーザからの距離に基づいて文字表示画像提示位置を
判定するための第一空間を抽出し、前記発話ユーザの視
線ベクトル及びあらかじめ決められた視界角に基づいて
文字表示画像提示位置を判定するための第二空間を抽出
し、前記発話ユーザの３次元位置と前記第一空間の関係
に基づいて文字表示画像の第一提示位置を決定し、前記
受話ユーザの３次元位置と前記第二空間の関係に基づい
て文字表示画像の第二提示位置を決定し、前記生成され
た文字情報を前記第一提示位置及び第二提示位置で決定
された提示位置に基づいて出力する会話情報提示方法で
ある。The outline of the invention disclosed in the present application will be briefly described as follows. First
According to another aspect of the invention, in an immersive virtual communication environment in which a plurality of display devices are arranged so as to surround the user, the utterance content of the uttering user is input, character information is generated from the input utterance content, and the virtual communication environment is provided. The three-dimensional position and the line-of-sight vector of the uttering user and the receiving user are extracted, and the field of view of the receiving user is extracted based on the line-of-sight vector of the receiving user and a predetermined viewing angle. Extracting a first space for determining the character display image presentation position based on the distance from the user, for determining the character display image presentation position based on the sight line vector of the uttering user and a predetermined viewing angle A second space is extracted, and a character table is created based on the relationship between the three-dimensional position of the uttering user and the first space. The first presentation position of the image is determined, the second presentation position of the character display image is determined based on the relationship between the three-dimensional position of the receiving user and the second space, and the generated character information is first presented. A conversation information presentation method for outputting based on the presentation position determined by the position and the second presentation position.
【００１３】第２の発明は、前記第１の発明の会話情報
提示方法であって、前記第一提示位置決定過程におい
て、前記発話ユーザの３次元位置が前記第一空間内にあ
る場合は、発話から一定時間、発話ユーザの周囲を文字
表示画像の提示位置とし、それ以外の場合は第二提示位
置決定過程において、前記受話ユーザの３次元位置が前
記第二空間内にある場合は、発話ユーザの周囲から、受
話ユーザの３次元位置から視線ベクトル方向へある一定
距離離れた位置へ向けて発話からの時間にともなって移
動する位置を提示位置とし、それ以外の場合は、発話ユ
ーザの周囲から発話ユーザの視線ベクトルの方向へ発話
からの時間にともなって移動する位置を提示位置とする
ものである。A second invention is the conversation information presentation method of the first invention, wherein, in the first presentation position determination step, when the three-dimensional position of the uttering user is in the first space, Around the uttering user for a certain time from the utterance, the presentation position of the character display image is set as the presentation position. Otherwise, in the second presentation position determination process, if the three-dimensional position of the receiving user is in the second space, the utterance is made. A position that moves with time from the utterance toward a position apart from the three-dimensional position of the receiving user in the line-of-sight vector direction from the surrounding of the user is set as the presentation position, and in other cases, the surroundings of the uttering user. The position to move from the direction of the utterance user to the direction of the line-of-sight vector with the time from the utterance is set as the presentation position.
【００１４】第３の発明は、前記第１の発明の会話情報
提示方法であって、前記第一提示位置決定過程におい
て、前記発話ユーザの３次元位置が前記第一空間内にあ
る場合は、発話から一定時間、発話ユーザの周囲を文字
表示画像の提示位置とし、それ以外の場合は、第二提示
位置決定過程において、前記受話ユーザの３次元位置が
前記第二空間にある場合は、発話ユーザの周囲から、常
に発話ユーザの３次元位置と受話ユーザの３次元位置か
ら視線ベクトル方向へある一定距離離れた位置とを結ぶ
直線上を、発話からの時間にともなって移動する位置を
提示位置とし、それ以外の場合は、発話ユーザの周囲か
ら発話ユーザの視線ベクトルの方向へ発話からの時間に
ともなって移動する位置を提示位置とするものである。A third invention is the conversation information presentation method according to the first invention, wherein in the first presentation position determination step, when the three-dimensional position of the uttering user is in the first space, The surroundings of the uttering user are set as the presentation position of the character display image for a certain period of time after the utterance. Otherwise, in the second presentation position determining process, if the three-dimensional position of the receiving user is in the second space, the utterance is made. A position where the three-dimensional position of the uttering user and a position distant from the three-dimensional position of the receiving user by a certain distance in the line-of-sight vector direction from the surroundings of the user always move with time from the utterance is presented. In other cases, the position that moves from around the uttering user in the direction of the line-of-sight vector of the uttering user with the time from the utterance is set as the presentation position.
【００１５】第４の発明は、複数の表示装置がユーザを
囲むように配置された没入型仮想コミュニケーション環
境システムにおける会話情報提示装置であって、発話ユ
ーザの発話内容を入力する発話入力手段と、前記入力さ
れた発話内容から文字情報を生成する文字情報生成手段
と、前記仮想コミュニケーション環境における発話ユー
ザと受話ユーザの３次元位置と視線ベクトルを抽出する
抽出手段と、前記受話ユーザの視線ベクトル及びあらか
じめ決められた視界角に基づいて受話ユーザ視界を抽出
し、前記受話ユーザ視界とあらかじめ決められた受話ユ
ーザからの距離に基づいて文字表示画像提示位置を判定
するための第一空間を抽出する第一空間抽出手段と、前
記発話ユーザの視線ベクトル及びあらかじめ決められた
視界角に基づいて文字表示画像提示位置を判定するため
の第二空間を抽出する第二空間抽出手段と、前記発話ユ
ーザの３次元位置と前記第一空間の関係に基づいて文字
表示画像の提示位置を決定する第一提示位置決定手段
と、前記受話ユーザの３次元位置と前記第二空間の関係
に基づいて文字表示画像の提示位置を決定する第二提示
位置決定手段と、前記生成された文字情報を前記第一提
示位置決定手段及び第二提示位置決定手段で決定された
提示位置に基づいて出力する出力手段とを具備するもの
である。A fourth invention is a conversation information presentation device in an immersive virtual communication environment system in which a plurality of display devices are arranged so as to surround the user, and a utterance input means for inputting the utterance content of the uttering user, Character information generation means for generating character information from the input utterance content, extraction means for extracting the three-dimensional position and line-of-sight vector of the uttering user and the receiving user in the virtual communication environment, and the line-of-sight vector of the receiving user and beforehand. A first space for extracting a visual field of a receiving user based on a determined visual field angle, and extracting a first space for determining a character display image presentation position based on the visual field of the receiving user and a predetermined distance from the receiving user. Space extraction means, based on the sight line vector of the uttering user and a predetermined viewing angle Second space extracting means for extracting a second space for determining the character display image presentation position, and determining the presentation position of the character display image based on the relationship between the three-dimensional position of the uttering user and the first space. One presenting position determining means, a second presenting position determining means for determining a presenting position of a character display image based on a relationship between the three-dimensional position of the receiving user and the second space; The present invention further comprises: an output unit that outputs based on the presentation position determined by the one presentation position determination unit and the second presentation position determination unit.
【００１６】第５の発明は、前記第４の発明の会話情報
提示装置であって、前記第一提示位置決定手段におい
て、前記発話ユーザの３次元位置が前記第一空間内にあ
る場合は、発話から一定時間、発話ユーザの周囲を文字
表示画像の提示位置とし、それ以外の場合は第二提示位
置決定手段において、前記受話ユーザの３次元位置が前
記第二空間内にある場合は、発話ユーザの周囲から、受
話ユーザの３次元位置から視線ベクトル方向へある一定
距離離れた位置へ向けて発話からの時間にともなって移
動する位置を提示位置とし、それ以外の場合は、発話ユ
ーザの周囲から発話ユーザの視線ベクトルの方向へ発話
からの時間にともなって移動する位置を提示位置とする
ものである。A fifth aspect of the present invention is the conversation information presenting apparatus of the fourth aspect of the present invention, wherein in the first presenting position determining means, when the three-dimensional position of the uttering user is within the first space, Around the uttering user for a certain period of time after the utterance, the presentation position of the character display image is set as the presentation position. Otherwise, in the second presentation position determining means, if the three-dimensional position of the receiving user is in the second space, the utterance is made. A position that moves with time from the utterance toward a position apart from the three-dimensional position of the receiving user in the line-of-sight vector direction from the surrounding of the user is set as the presentation position, and in other cases, the surroundings of the uttering user. The position to move from the direction of the utterance user to the direction of the line-of-sight vector with the time from the utterance is set as the presentation position.
【００１７】第６の発明は、前記第４の発明の会話情報
提示装置であって、前記第一提示位置決定手段におい
て、前記発話ユーザの３次元位置が前記第一空間内にあ
る場合は、発話から一定時間、発話ユーザの周囲を文字
表示画像の提示位置とし、それ以外の場合は、第二提示
位置決定手段において、前記受話ユーザの３次元位置が
前記第二空間にある場合は、発話ユーザの周囲から、常
に発話ユーザの３次元位置と受話ユーザの３次元位置か
ら視線ベクトル方向へある一定距離離れた位置とを結ぶ
直線上を、発話からの時間にともなって移動する位置を
提示位置とし、それ以外の場合は、発話ユーザの周囲か
ら発話ユーザの視線ベクトルの方向へ発話からの時間に
ともなって移動する位置を提示位置とするものである。A sixth invention is the conversation information presentation device according to the fourth invention, wherein in the first presentation position determining means, when the three-dimensional position of the uttering user is in the first space, The surroundings of the uttering user are set as the presentation position of the character display image for a certain period of time after the utterance, and in other cases, in the second presentation position determining means, when the three-dimensional position of the receiving user is in the second space, the utterance is made. A position where the three-dimensional position of the uttering user and a position distant from the three-dimensional position of the receiving user by a certain distance in the line-of-sight vector direction from the surroundings of the user always move with time from the utterance is presented. In other cases, the position that moves from around the uttering user in the direction of the line-of-sight vector of the uttering user with the time from the utterance is set as the presentation position.
【００１８】前述の本発明の手段によれば、発話ユーザ
の視線が呼びかけを意図する受話ユーザの位置から多少
ずれている場合にも、発話内容が書かれた文字表示画像
を受話ユーザの視界に入るようにすることができる。According to the above-described means of the present invention, even when the line of sight of the uttering user is slightly displaced from the position of the receiving user who is intended to call, the character display image in which the utterance content is written is displayed in the visual field of the receiving user. You can get in.
【００１９】[0019]
【発明の実施の形態】以下、本発明について、発明の実
施の形態（実施例）とともに図面を参照して詳細に説明
する。BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, the present invention will be described in detail with reference to the drawings together with an embodiment (example) of the invention.
【００２０】図１は、本発明による一実施形態（実施
例）の会話提示装置の概略構成を示すブロック図であ
り、１は発話入力手段、２は文字生成手段、３-１、３-
２は抽出手段、４は文字表示画像提示位置判定用の第一
空間抽出手段、５は文字表示画像提示位置判定用の第二
空間抽出手段、６は第一提示位置決定手段、７は第二提
示位置決定手段、８は出力手段、１００は発話ユーザ、
２００は受話ユーザ、Ａ，Ｂは３次元位置、ａ，ｂは視
線ベクトル、Ｒ，ＲＲは視界角、αは第一空間、βは第
二空間、Ｄは距離である。FIG. 1 is a block diagram showing a schematic configuration of a conversation presenting apparatus according to an embodiment (embodiment) of the present invention, in which 1 is a speech input means, 2 is a character generating means, 3-1 and 3-.
Reference numeral 2 is extraction means, 4 is first space extraction means for character display image presentation position determination, 5 is second space extraction means for character display image presentation position determination, 6 is first presentation position determination means, and 7 is second. Presentation position determining means, 8 output means, 100 uttering user,
200 is a receiving user, A and B are three-dimensional positions, a and b are line-of-sight vectors, R and RR are viewing angles, α is a first space, β is a second space, and D is a distance.
【００２１】本実施形態（実施例）の会話提示装置は、
図１に示すように、複数の表示装置がユーザを囲むよう
に配置された没入型仮想コミュニケーション環境システ
ムにおける会話情報提示装置であって、発話ユーザ１０
０の発話内容を入力する発話入力手段１と、前記入力さ
れた発話内容から文字情報を生成する文字生成手段２
と、前記仮想コミュニケーション環境における発話ユー
ザ１００と受話ユーザ２００の３次元位置と視線ベクト
ルを抽出する抽出手段３-１、３-２とを備えている。The conversation presenting apparatus of the present embodiment (example) is
As shown in FIG. 1, a conversation information presentation device in an immersive virtual communication environment system in which a plurality of display devices are arranged so as to surround the user,
Utterance input means 1 for inputting the utterance content of 0 and character generation means 2 for generating character information from the input utterance content.
And extraction means 3-1 and 3-2 for extracting the three-dimensional position and the line-of-sight vector of the uttering user 100 and the receiving user 200 in the virtual communication environment.
【００２２】さらに、前記受話ユーザ２００の視線ベク
トル及びあらかじめ決められた視界角に基づいて受話ユ
ーザ２００の視界を抽出し、前記受話ユーザ２００の視
界とあらかじめ決められた受話ユーザ２００からの距離
に基づいて文字表示画像提示位置を判定するための第一
空間を抽出する第一空間抽出手段４と、前記発話ユーザ
１００の視線ベクトル及びあらかじめ決められた視界角
に基づいて文字表示画像提示位置を判定するための第二
空間を抽出する第二空間抽出手段５と、前記発話ユーザ
１００の３次元位置と前記第一空間の関係に基づいて文
字表示画像の提示位置を決定する第一提示位置決定手段
６と、前記受話ユーザ２００の３次元位置と前記第二空
間の関係に基づいて文字表示画像の提示位置を決定する
第二提示位置決定手段７と、前記生成された文字情報を
前記第一提示位置決定手段６及び第二提示位置決定手段
７で決定された提示位置に基づいて出力する出力手段８
とを備えている。Further, the visual field of the receiving user 200 is extracted based on the line-of-sight vector of the receiving user 200 and a predetermined viewing angle, and the visual field of the receiving user 200 and the distance from the predetermined receiving user 200 are extracted. First space extracting means 4 for extracting a first space for determining the character display image presentation position, and the character display image presentation position is determined based on the line-of-sight vector of the uttering user 100 and a predetermined viewing angle. Second space extracting means 5 for extracting a second space for determining the presentation position of the character display image based on the relationship between the three-dimensional position of the uttering user 100 and the first space. And a second presentation position determination for determining the presentation position of the character display image based on the relationship between the three-dimensional position of the receiving user 200 and the second space. A stage 7, output means for outputting on the basis of character information the generated to the determined presentation position in the first presentation position determining means 6 and the second presentation position determining means 7 8
It has and.
【００２３】前記本実施形態（実施例）の会話提示装置
の動作は、複数の表示装置がユーザを囲むように配置さ
れた没入型仮想コミュニケーション環境において、発話
ユーザ１００の発話内容を発話入力手段１により入力
し、前記入力された発話内容から文字情報を文字生成手
段２により生成する。前記仮想コミュニケーション環境
における発話ユーザ１００と受話ユーザ２００の３次元
位置と視線ベクトルを抽出手段３-１、３-２により抽出
する。The operation of the conversation presenting apparatus according to the present embodiment (embodiment) is that the utterance content of the uttering user 100 is uttered by the utterance input means 1 in an immersive virtual communication environment in which a plurality of display devices are arranged so as to surround the user. The character generation means 2 generates character information from the input utterance content. The three-dimensional positions and the line-of-sight vectors of the uttering user 100 and the receiving user 200 in the virtual communication environment are extracted by the extracting means 3-1 and 3-2.
【００２４】前記受話ユーザ２００の視線ベクトル及び
あらかじめ決められた視界角に基づいて受話ユーザ２０
０視界を抽出し、前記受話ユーザ２００の視界とあらか
じめ決められた受話ユーザ２００からの距離に基づいて
文字表示画像提示位置を判定するための第一空間を第一
空間抽出手段４により抽出し、前記発話ユーザ１００の
視線ベクトル及びあらかじめ決められた視界角に基づい
て文字表示画像提示位置を判定するための第二空間を第
二空間抽出手段５により抽出する。The receiving user 20 is based on the line-of-sight vector of the receiving user 200 and a predetermined viewing angle.
0 field of view is extracted, and the first space for determining the character display image presentation position based on the field of view of the receiving user 200 and a predetermined distance from the receiving user 200 is extracted by the first space extracting means 4, The second space extracting means 5 extracts the second space for determining the character display image presentation position based on the line-of-sight vector of the uttering user 100 and the predetermined viewing angle.
【００２５】前記発話ユーザ１００の３次元位置と前記
第一空間の関係に基づいて文字表示画像の提示位置を第
一提示位置決定手段６により決定し、前記受話ユーザ２
００の３次元位置と前記第二空間の関係に基づいて文字
表示画像の提示位置を第二提示位置決定手段７により決
定し、前記生成された文字情報を前記第一提示位置決定
手段６及び第二提示位置決定手段７で決定された提示位
置に基づいて出力手段８により出力する。The presentation position of the character display image is determined by the first presentation position determining means 6 based on the relationship between the three-dimensional position of the uttering user 100 and the first space, and the receiving user 2
00 based on the relationship between the three-dimensional position and the second space, the presentation position of the character display image is determined by the second presentation position determining means 7, and the generated character information is determined by the first presentation position determining means 6 and (2) Based on the presentation position determined by the presentation position determination means 7, the output means 8 outputs.
【００２６】前記発話入力手段１は、発話ユーザ１００
の発話内容を入力し発話内容をデータ化するものであ
る。この発話入力手段１としては、例えば、マイク等の
発話音声入力機器やジェスチャー発話に対するモーショ
ンキャプチャ動作入力機器を用いる。The utterance input means 1 is used by the uttering user 100.
The utterance content of is input and the utterance content is converted to data. As the speech input means 1, for example, a speech voice input device such as a microphone or a motion capture operation input device for gesture speech is used.
【００２７】前記文字生成手段２は、発話入力手段１よ
り入力された発話内容データを認識して文字情報に変換
生成するものである。この文字生成手段２としては、例
えば、前記発話内容データが音声情報であれば音声認識
装置を使用し、発話内容データが動作情報であれば動作
認識装置を使用する。The character generation means 2 is for recognizing the utterance content data input from the utterance input means 1 and converting it into character information. As the character generating means 2, for example, a voice recognition device is used when the utterance content data is voice information, and a motion recognition device is used when the utterance content data is motion information.
【００２８】ここで、音声認識用ソフトウェアは、例え
ば、音声認識エンジンＶｏｉｃｅＲｅｘ（ＮＴＴ）が知
られている。また、動作認識方法は、位置センサやＬＥ
Ｄを使用した認識システムが市販されている。Here, as the voice recognition software, for example, a voice recognition engine VoiceRex (NTT) is known. In addition, the motion recognition method is a position sensor or LE.
Recognition systems using D are commercially available.
【００２９】前記抽出手段３-１、３-２は、それぞれ発
話ユーザ１００と受話ユーザ２００の仮想環境内におけ
る３次元位置と視線ベクトルを抽出するものである。抽
出する方法例として、ユーザの身体に位置を検出する位
置センサをとりつけて仮想環境内における位置を抽出す
る方法がある。The extraction means 3-1 and 3-2 extract the three-dimensional position and the line-of-sight vector of the speaking user 100 and the receiving user 200 in the virtual environment, respectively. As an example of a method of extracting, there is a method of attaching a position sensor for detecting the position to the user's body and extracting the position in the virtual environment.
【００３０】具体的には、三次元（３Ｄ）メガネに取り
付けられた磁気センサや３次元ワンド（磁気センサとス
イッチボタンとを備えた棒状のインタフェース装置）に
備えられた磁気センサによって、現実の位置、方向情報
処理用ワークステーション等による仮想環境空間におけ
るユーザの３次元位置(Ａ、Ｂ）と視線ベクトル（ａ、
ｂ）を抽出することが考えられる。特に、視線ベクトル
はユーザの見ている方向を忠実に抽出するためにもセン
サを頭部につけるのが良いと考えられる。位置センサ装
置にこだわる必要は無く、検出精度のよいものがいいの
はいうまでもない。Specifically, the actual position is determined by a magnetic sensor attached to three-dimensional (3D) glasses or a magnetic sensor provided in a three-dimensional wand (a rod-shaped interface device including a magnetic sensor and a switch button). , A user's three-dimensional position (A, B) and a line-of-sight vector (a,
It is possible to extract b). In particular, it is considered preferable to attach a sensor to the head of the line-of-sight vector in order to faithfully extract the direction in which the user is looking. Needless to say, it is not necessary to be particular about the position sensor device, and one with good detection accuracy is preferable.
【００３１】ここで、抽出された仮想環境内における発
話ユーザ１００の３次元位置をＡ、その位置Ａでの視線
ベクトルをａとし、受話ユーザ２００の３次元位置を
Ｂ、その位置での視線ベクトルをｂとする。また、視線
ベクトルａはユーザの３次元位置Ａを起点とした方向ベ
クトルとする。視線ベクトルｂも同様に３次元位置Ｂを
起点とした方向ベクトルとする。Here, the three-dimensional position of the uttering user 100 in the extracted virtual environment is A, the line-of-sight vector at the position A is a, the three-dimensional position of the receiving user 200 is B, and the line-of-sight vector at that position is B. Be b. Further, the line-of-sight vector a is a direction vector starting from the three-dimensional position A of the user. Similarly, the line-of-sight vector b is also a direction vector starting from the three-dimensional position B.
【００３２】前記第一空間抽出手段４は、前記抽出手段
３-２で得られた受話ユーザ２００の３次元位置Ｂ及び
視線ベクトルｂを入力する。前記視線ベクトルｂを中心
軸として、図２に示すように、あらかじめ設定した視界
角Ｒの無限円錐状の視界Ｗを抽出する。The first space extracting means 4 inputs the three-dimensional position B and the line-of-sight vector b of the receiving user 200 obtained by the extracting means 3-2. With the line-of-sight vector b as the central axis, as shown in FIG. 2, an infinite conical field of view W having a preset field of view angle R is extracted.
【００３３】次に、図３に示すように、３次元位置Ｂを
中心とし、あらかじめ設定した距離Ｄを半径とする球形
と前記視界Ｗが重なる空間を第一空間αとして抽出す
る。この第一空間αは、相手ユーザと意思伝達の会話を
する際の範囲と定義する。この範囲は、視界角Ｒと距離
Ｄにより自由自在に調整することが可能であり、視界角
Ｒもしくは距離Ｄが大きければ大きいほど範囲は広くな
る。Next, as shown in FIG. 3, a space in which the field of view W and a sphere having a three-dimensional position B as the center and a radius of a preset distance D overlap with each other is extracted as a first space α. This first space α is defined as a range in which a conversation for communicating with the other user is made. This range can be freely adjusted by the view angle R and the distance D, and the larger the view angle R or the distance D, the wider the range.
【００３４】前記第二空間抽出手段５は、前記抽出手段
３-１で得られた発話ユーザの視線ベクトルａを入力
し、その視線ベクトルａを中心軸として、図４に示すよ
うに、あらかじめ設定した視界角ＲＲの無限円錐状の空
間を第二空間βとして抽出する。The second space extracting means 5 inputs the line-of-sight vector a of the uttering user obtained by the extracting means 3-1 and preset as shown in FIG. 4 with the line-of-sight vector a as the central axis. The infinite conical space having the view angle RR is extracted as the second space β.
【００３５】第二空間は、仮想環境上において発話ユー
ザ１００が遠くにいるユーザ（アバタ）へ呼びかけると
きのずれの許容範囲と定義する。このずれの許容範囲は
あらかじめ決められる視界角度ＲＲによって大きさを設
定することが可能であり、視界角ＲＲが大きければ大き
いほど第二空間βは広くなる。また、前記第二空間β
は、図５に示すように、視線ベクトルａ方向の直線を中
心とした無限円柱あるいは無限四方体の空間と前記無限
円錐状の空間とを重ねあわせた空間とすることも考えら
れる。The second space is defined as an allowable range of deviation when the uttering user 100 calls a user (avatar) who is far away in the virtual environment. It is possible to set the magnitude of the allowable range of this shift according to a predetermined visual field angle RR, and the larger the visual field angle RR, the wider the second space β. Also, the second space β
As shown in FIG. 5, it is conceivable that the space of an infinite cylinder or an infinite tetrahedron centered on a straight line in the direction of the line-of-sight vector a and the space of the infinite cone are overlapped.
【００３６】前記第一提示位置決定手段６は、前記抽出
手段３-１で抽出された３次元位置Ａ及び前記第一空間
抽出手段４で抽出された第一空間αを入力し、文字情報
の提示位置を決定するものである。The first presentation position determining means 6 inputs the three-dimensional position A extracted by the extracting means 3-1 and the first space α extracted by the first space extracting means 4 to obtain character information. The presentation position is determined.
【００３７】前記第二提示位置決定手段７は、前記抽出
手段３-２で抽出された３次元位置Ｂ及び前記第二空間
抽出手段５で抽出された第二空間βを入力し、文字情報
の提示位置を決定するものである。The second presentation position determining means 7 inputs the three-dimensional position B extracted by the extracting means 3-2 and the second space β extracted by the second space extracting means 5 to obtain character information. The presentation position is determined.
【００３８】前記出力手段８は、前記文字生成手段２で
生成された文字情報と第一提示位置決定手段６及び第二
提示位置決定手段７で決定された提示位置を入力し、文
字情報を提示位置に基づいて出力する出力手段である。The output means 8 inputs the character information generated by the character generation means 2 and the presentation positions determined by the first presentation position determination means 6 and the second presentation position determination means 7 to present the character information. The output means outputs based on the position.
【００３９】図６は、前記第一提示決定手段６及び前記
第二提示位置決定手段７の処理手順を示すフローチャー
トである。FIG. 6 is a flowchart showing the processing procedure of the first presentation determination means 6 and the second presentation position determination means 7.
【００４０】これらの２つの提示位置決定手段の処理手
順は、まず、第一提示位置決定手段６において、前記抽
出手段３-１から発話ユーザ１００の３次元位置Ａ及び
前記第一空間抽出手段４から第一空間αを入力する。そ
して発話ユーザ１００の３次元位置Ａが前記第一空間α
内にある場合とない場合をＡ⊂αの判断で分類する。In the processing procedure of these two presentation position determining means, first, in the first presentation position determining means 6, the three-dimensional position A of the uttering user 100 and the first space extracting means 4 are extracted from the extracting means 3-1. Input the first space α from. Then, the three-dimensional position A of the uttering user 100 is the first space α.
It is classified by the judgment of A ⊂ α when it is inside and outside.
【００４１】Ａ⊂αが成り立つときは、文字情報の提示
位置を、発話されてからあらかじめ決められた一定時間
Ｔの間、発話ユーザ１００の３次元位置Ａの周囲とす
る。Ａ⊂αが成り立たないときは、第二提示位置決定手
段７において処理を行なう。When A⊂α holds, the presentation position of the character information is set around the three-dimensional position A of the uttering user 100 for a predetermined time T after the utterance. When A⊂α does not hold, the second presentation position determining means 7 performs processing.
【００４２】第二提示位置決定手段７において、前記抽
出手段３-２から受話ユーザの３次元位置Ｂ及び前記第
二空間抽出手段５から第二空間βを入力する。そして受
話ユーザの３次元位置Ｂが前記第二空間β内にある場合
とない場合をＢ⊂βの判断で分類する。In the second presentation position determining means 7, the three-dimensional position B of the receiving user is input from the extracting means 3-2 and the second space β is input from the second space extracting means 5. Then, the case where the three-dimensional position B of the receiving user is within the second space β and the case where the three-dimensional position B is not included are classified by the determination of B⊂β.
【００４３】Ｂ⊂βが成り立つときは、文字情報の初期
提示位置を発話ユーザ１００の３次元位置Ａの周囲と
し、ある一定の時間Ｔが経過すると、受話ユーザ２００
の視線ベクトル方向にある一定の距離ｓの位置Ｓの方向
に文字情報の提示位置を移動させる。When B⊂β holds, the initial presentation position of the character information is set around the three-dimensional position A of the uttering user 100, and after a certain time T elapses, the receiving user 200.
The presentation position of the character information is moved in the direction of the position S at a constant distance s in the direction of the line-of-sight vector of S.
【００４４】一方、Ｂ⊂βが成り立たないときは、文字
情報の初期提示位置を発話ユーザ１００の周囲とし、あ
る一定の時間Ｔが経過すると発話ユーザ１００の視線ベ
クトルａの方向に文字情報の提示位置を移動させる。On the other hand, when B⊂β does not hold, the initial presentation position of the character information is set around the uttering user 100, and the character information is presented in the direction of the line-of-sight vector a of the uttering user 100 after a lapse of a certain time T. Move the position.
【００４５】移動にあたって、一定時間Ｔになったとき
に、前記初期提示位置から一定距離Ｐ先を提示位置とす
ると、時間Ｔの２倍の時間が経過すると前記初期提示位
置から距離Ｐの２倍の位置と、時間がｎ倍（ｎは自然
数）増えるごとに初期提示位置からｎ倍増えた先を提示
位置とする。時間Ｔと距離Ｐは自在に設定することがで
きるが吹きだし内の文字が読み取りやすいようにバラン
スをとる必要がある。また、文字情報の出力には吹きだ
しや球体、雲のような浮遊体等が考えられる。In the movement, when a predetermined time T is reached and a predetermined distance P ahead of the initial presentation position is set as the presentation position, when the time twice the time T elapses, the distance P is doubled from the initial presentation position. And the destination that has increased n times from the initial presentation position each time the time increases n times (n is a natural number). The time T and the distance P can be set freely, but they need to be balanced so that the characters in the balloon can be read easily. In addition, a balloon, a sphere, a floating body such as a cloud, or the like can be considered for outputting the character information.
【００４６】図７、図８、図９及び１０は、文字情報の
出力例を示す模式図であり、ＥＰＬは提示位置の軌道、
ＥＰＬ１は旧提示位置の軌道、ＥＰＬ２は新提示位置の
軌道である。7, FIG. 8, FIG. 9 and FIG. 10 are schematic diagrams showing examples of output of character information, where EPL is the trajectory of the presentation position,
EPL1 is the trajectory of the old presentation position, and EPL2 is the trajectory of the new presentation position.
【００４７】図７はＡ⊂αが成り立つときの出力例であ
り、吹きだし画像が口元付近に出力され発話内容が吹き
だしの中に表示される。また、図８は、Ａ⊂αが成り立
たず、かつＢ⊂βが成り立つときの出力例であり、吹き
だし画像が口元付近に出力され発話内容が吹きだしの中
に表示され、受話ユーザ２００の視線ベクトル方向にあ
る一定の距離ｓの位置Ｓの方向に移動させる。これを変
則的提示位置とする。FIG. 7 shows an output example when A⊂α is established, and a speech image is output near the mouth and the utterance content is displayed in the speech. FIG. 8 is an output example when A⊂α does not hold and B⊂β holds, in which a balloon image is output near the mouth, the utterance content is displayed in the balloon, and the line-of-sight vector of the receiving user 200 is displayed. A certain distance s in the direction is moved toward the position S. This is an irregular presentation position.
【００４８】この変則的提示位置は直線的に限らず、受
話ユーザ２００が位置や向きを変えたとき、図９に示す
ように、蛇行することもある。さらに、図１０は、Ａ⊂
αが成り立たず、かつＢ⊂βが成り立たないときの出力
例であり、吹きだし画像が口元付近に出力され、発話ユ
ーザ１００の視線ベクトルａの方向に移動させる。This irregular presentation position is not limited to a straight line, and when the receiving user 200 changes its position or orientation, it may meander as shown in FIG. Furthermore, FIG. 10 shows A⊂
This is an output example when α does not hold and B⊂β does not hold, and a blowout image is output near the mouth and moved in the direction of the sight line vector a of the uttering user 100.
【００４９】前記変則的提示位置は、受話ユーザ２００
が位置や向きを大きく変えたときも受話ユーザ２００に
その文字情報が発話ユーザ１００の方向から来たように
把握させることができるようにするため、常に発話ユー
ザ１００の３次元位置Ａと、受話ユーザ２００の３次元
位置Ｂから視線ベクトルｂ方向にある一定の距離ｓの位
置Ｓを結ぶ直線上を提示位置とすることができる。The irregular presentation position is defined by the receiving user 200.
In order to allow the receiving user 200 to recognize that the character information comes from the direction of the uttering user 100 even when the position or orientation of the user is largely changed, the three-dimensional position A of the uttering user 100 and The presentation position can be a straight line that connects the position S of the user 200 at a certain distance s in the direction of the line-of-sight vector b from the three-dimensional position B.
【００５０】また、図１１に示すように、文字情報が提
示されてから、受話ユーザ２００の３次元位置Ｂもしく
は視線ベクトルｂに変動があった場合でも、常に最新の
発話ユーザ１００の３次元位置Ａと受話ユーザ２００の
３次元位置Ｂから視線ベクトルｂ方向にある一定距離ｓ
の位置Ｓをむすぶ直線上を文字情報の提示位置とするこ
とができる。さらに、文字情報が提示されてからの時間
もしくは距離を測定しておき、それぞれあらかじめ決め
られた時間もしくは距離に達した場合は、その時点での
前記発話ユーザ１００の３次元位置Ａと前記位置Ｓを結
ぶ直線上の位置を以降の提示位置としてもよい。Further, as shown in FIG. 11, even if the three-dimensional position B of the receiving user 200 or the line-of-sight vector b changes after the character information is presented, the latest three-dimensional position of the speaking user 100 is always displayed. A and a fixed distance s in the direction of the line-of-sight vector b from the three-dimensional position B of the receiving user 200
It is possible to set the position on which the character information is presented on a straight line. Furthermore, the time or distance from the time when the character information is presented is measured, and when the predetermined time or distance is reached, the three-dimensional position A and the position S of the uttering user 100 at that time are measured. The position on the straight line connecting the points may be the subsequent presentation position.
【００５１】以上、本発明を、前記実施形態（実施例）
に基づき具体的に説明したが、本発明は、前記実施形態
に限定されるものではなく、その要旨を逸脱しない範囲
において種種変更可能であることはもちろんである。As described above, the present invention is implemented in the above-described embodiment (example).
However, the present invention is not limited to the above-described embodiment, and it is needless to say that the species can be changed without departing from the scope of the invention.
【００５２】[0052]
【発明の効果】以上説明したように、本発明によれば、
発話ユーザの視線が呼びかけを意図する受話ユーザの位
置から多少ずれている場合にも、発話内容が書かれた文
字表示画像を受話ユーザの視界に入るようにすることが
できる。また、受話ユーザが移動した場合や方向転換を
した場合にも文字表示画像を受話ユーザの視界に入るよ
うにすることができる。そのため、発話ユーザは文字表
示画像が受話ユーザの視界に入ったかどうかを視覚的に
正確に確認する必要がなくなる。As described above, according to the present invention,
Even when the line of sight of the uttering user is slightly displaced from the position of the receiving user who is intended to make a call, the character display image in which the utterance content is written can be brought into the visual field of the receiving user. Further, the character display image can be brought into the view of the receiving user even when the receiving user moves or changes direction. Therefore, the uttering user does not need to visually and accurately confirm whether or not the character display image is within the visual field of the receiving user.
【図１】本発明による一実施形態（実施例）の会話提示
装置の概略構成を示すブロック図である。FIG. 1 is a block diagram showing a schematic configuration of a conversation presentation device according to an embodiment (example) of the present invention.
【図２】本実施例における視界Ｗの例を示す図である。FIG. 2 is a diagram showing an example of a field of view W in the present embodiment.
【図３】本実施例における第一空間αの例を示す図であ
る。FIG. 3 is a diagram showing an example of a first space α in the present embodiment.
【図４】本実施例における第二空間βの例を示す図であ
る。FIG. 4 is a diagram showing an example of a second space β in this embodiment.
【図５】本実施例における第二空間βの例を示す図であ
る。FIG. 5 is a diagram showing an example of a second space β in the present embodiment.
【図６】本実施例における第一提示位置決定手段及び第
二提示位置決定手段の処理手順を示すフローチャートで
ある。FIG. 6 is a flowchart showing a processing procedure of a first presentation position determination means and a second presentation position determination means in this embodiment.
【図７】本実施例における文字情報の出力例を示す図で
ある。FIG. 7 is a diagram showing an output example of character information in the present embodiment.
【図８】本実施例における文字情報の出力例を示す図で
ある。FIG. 8 is a diagram showing an output example of character information in the present embodiment.
【図９】本実施例における文字情報の出力例を示す図で
ある。FIG. 9 is a diagram showing an output example of character information in the present embodiment.
【図１０】本実施例における文字情報の出力例を示す図
である。FIG. 10 is a diagram showing an output example of character information in the present embodiment.
【図１１】本実施例における文字情報の出力例（遷移）
を示す図である。FIG. 11 is an output example (transition) of character information in the present embodiment.
FIG.
１…発話入力手段 ２…文字生成手
段
３-１、３-２…抽出手段 ４…第一空間抽
出手段
５…第二空間抽出手段 ６…第一提示位
置決定手段
７…第二提示位置決定手段 ８…出力手段
１００…発話ユーザ ２００…受話ユ
ーザ
Ａ、Ｂ…３次元位置 ａ、ｂ…視線ベ
クトル
Ｒ、ＲＲ…視界角 α…第一空間
β…第二空間 Ｄ…距離
ＥＰＬ…提示位置の軌道 ＥＰＬ１…旧提
示位置の軌道
ＥＰＬ２…新提示位置の軌道DESCRIPTION OF SYMBOLS 1 ... Utterance input means 2 ... Character generation means 3-1 3-2 ... Extraction means 4 ... First space extraction means 5 ... Second space extraction means 6 ... First presentation position determination means 7 ... Second presentation position determination means 8 ... Output means 100 ... Speaking user 200 ... Receiving user A, B ... Three-dimensional position a, b ... Line-of-sight vector R, RR ... View angle α ... First space β ... Second space D ... Distance EPL ... Present position trajectory EPL1 ... orbit of old presentation position EPL2 ... orbit of new presentation position
フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ１０Ｌ 15/24 Ｇ１０Ｌ 3/00 ５７１Ｑ (72)発明者 小林 稔 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 (72)発明者 石橋 聡 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 Ｆターム(参考） 5B050 AA08 BA09 BA20 CA07 EA07 EA12 EA27 FA02 FA10 5D015 KK02 5E501 AA01 BA03 CC08 EB06 FA13 FB42 5L096 AA09 BA20 DA04 FA66 FA67 FA69 FA76 HA05 Front page continuation (51) Int.Cl. 7 Identification code FI theme code (reference) G10L 15/24 G10L 3/00 571Q (72) Inventor Minoru Kobayashi 2-3-3 Otemachi, Chiyoda-ku, Tokyo Nihonhon Telegraph and Telephone Corp. (72) Inventor Satoshi Ishibashi 2-3-1 Otemachi, Chiyoda-ku, Tokyo F-Term inside Nippon Telegraph and Telephone Corp. (reference) 5B050 AA08 BA09 BA20 CA07 EA07 EA12 EA27 FA02 FA10 5D015 KK02 5E501 AA01 BA03 CC08 EB06 FA13 FB42 5L096 AA09 BA20 DA04 FA66 FA67 FA69 FA76 HA05
Claims (6)
置された没入型仮想コミュニケーション環境において、
発話ユーザの発話内容を入力し、前記入力された発話内
容から文字情報を生成し、前記仮想コミュニケーション
環境における発話ユーザと受話ユーザの３次元位置と視
線ベクトルを抽出し、前記受話ユーザの視線ベクトル及
びあらかじめ決められた視界角に基づいて受話ユーザ視
界を抽出し、前記受話ユーザ視界とあらかじめ決められ
た受話ユーザからの距離に基づいて文字表示画像提示位
置を判定するための第一空間を抽出し、前記発話ユーザ
の視線ベクトル及びあらかじめ決められた視界角に基づ
いて文字表示画像提示位置を判定するための第二空間を
抽出し、前記発話ユーザの３次元位置と前記第一空間の
関係に基づいて文字表示画像の第一提示位置を決定し、
前記受話ユーザの３次元位置と前記第二空間の関係に基
づいて文字表示画像の第二提示位置を決定し、前記生成
された文字情報を前記第一提示位置及び第二提示位置で
決定された提示位置に基づいて出力することを特徴とす
る会話情報提示方法。1. An immersive virtual communication environment in which a plurality of display devices are arranged to surround a user,
The utterance content of the uttering user is input, character information is generated from the input utterance content, the three-dimensional position and the line-of-sight vector of the uttering user and the receiving user in the virtual communication environment are extracted, and the line-of-sight vector of the receiving user and Extracting the receiving user field of view based on a predetermined viewing angle, extracting the first space for determining the character display image presentation position based on the distance from the receiving user field of view and the predetermined receiving user, A second space for determining the character display image presentation position is extracted based on the line-of-sight vector of the uttering user and a predetermined viewing angle, and based on the relationship between the three-dimensional position of the uttering user and the first space. Determine the first presentation position of the character display image,
The second presentation position of the character display image is determined based on the relationship between the three-dimensional position of the receiving user and the second space, and the generated character information is determined at the first presentation position and the second presentation position. A method for presenting conversation information, which is characterized by outputting based on a presentation position.
記発話ユーザの３次元位置が前記第一空間内にある場合
は、発話から一定時間、発話ユーザの周囲を文字表示画
像の提示位置とし、それ以外の場合は第二提示位置決定
過程において、前記受話ユーザの３次元位置が前記第二
空間内にある場合は、発話ユーザの周囲から、受話ユー
ザの３次元位置から視線ベクトル方向へある一定距離離
れた位置へ向けて発話からの時間にともなって移動する
位置を提示位置とし、それ以外の場合は、発話ユーザの
周囲から発話ユーザの視線ベクトルの方向へ発話からの
時間にともなって移動する位置を提示位置とすることを
特徴とする請求項１記載の会話情報提示方法。2. In the step of determining the first presentation position, when the three-dimensional position of the uttering user is within the first space, the surroundings of the uttering user is set as the presentation position of the character display image for a certain period of time from the utterance, Otherwise, in the second presentation position determination process, if the three-dimensional position of the receiving user is in the second space, there is a certain distance from the surrounding of the speaking user to the line-of-sight vector direction from the three-dimensional position of the receiving user. The position that moves with distance from the utterance toward the utterance time is set as the presentation position. In other cases, the position moves from around the uttering user toward the uttering user's line-of-sight vector along with the utterance time. The conversation information presentation method according to claim 1, wherein the position is used as a presentation position.
記発話ユーザの３次元位置が前記第一空間内にある場合
は、発話から一定時間、発話ユーザの周囲を文字表示画
像の提示位置とし、それ以外の場合は、第二提示位置決
定過程において、前記受話ユーザの３次元位置が前記第
二空間にある場合は、発話ユーザの周囲から、常に発話
ユーザの３次元位置と受話ユーザの３次元位置から視線
ベクトル方向へある一定距離離れた位置とを結ぶ直線上
を、発話からの時間にともなって移動する位置を提示位
置とし、それ以外の場合は、発話ユーザの周囲から発話
ユーザの視線ベクトルの方向へ発話からの時間にともな
って移動する位置を提示位置とすることを特徴とする請
求項１記載の会話情報提示方法。3. In the step of determining the first presentation position, if the three-dimensional position of the uttering user is within the first space, the surroundings of the uttering user is set as the presentation position of the character display image for a certain period of time after the utterance. Otherwise, in the second presentation position determination process, when the three-dimensional position of the receiving user is in the second space, the three-dimensional position of the speaking user and the three-dimensional position of the receiving user are always located around the speaking user. The position that moves with time from the utterance is set as the presentation position on a straight line that connects the position with a certain distance from the position in the line-of-sight vector direction, and in other cases, the line-of-sight vector of the uttering user from around the uttering user. 2. The conversation information presenting method according to claim 1, wherein the presenting position is a position that moves in the direction of with the time from the utterance.
置された没入型仮想コミュニケーション環境システムに
おける会話情報提示装置であって、発話ユーザの発話内
容を入力する発話入力手段と、前記入力された発話内容
から文字情報を生成する文字情報生成手段と、前記仮想
コミュニケーション環境における発話ユーザと受話ユー
ザの３次元位置と視線ベクトルを抽出する抽出手段と、
前記受話ユーザの視線ベクトル及びあらかじめ決められ
た視界角に基づいて受話ユーザ視界を抽出し、前記受話
ユーザ視界とあらかじめ決められた受話ユーザからの距
離に基づいて文字表示画像提示位置を判定するための第
一空間を抽出する第一空間抽出手段と、前記発話ユーザ
の視線ベクトル及びあらかじめ決められた視界角に基づ
いて文字表示画像提示位置を判定するための第二空間を
抽出する第二空間抽出手段と、前記発話ユーザの３次元
位置と前記第一空間の関係に基づいて文字表示画像の提
示位置を決定する第一提示位置決定手段と、前記受話ユ
ーザの３次元位置と前記第二空間の関係に基づいて文字
表示画像の提示位置を決定する第二提示位置決定手段
と、前記生成された文字情報を前記第一提示位置決定手
段及び第二提示位置決定手段で決定された提示位置に基
づいて出力する出力手段とを具備することを特徴とする
会話情報提示装置。4. A conversation information presentation device in an immersive virtual communication environment system, wherein a plurality of display devices are arranged so as to surround a user, said utterance input means for inputting utterance content of a uttering user, and said input device. Character information generating means for generating character information from the utterance content; extracting means for extracting three-dimensional positions and line-of-sight vectors of the uttering user and the receiving user in the virtual communication environment;
A receiving user field of view is extracted based on the line-of-sight vector of the receiving user and a predetermined viewing angle, and a character display image presentation position is determined based on the receiving user field of view and a predetermined distance from the receiving user. First space extracting means for extracting a first space, and second space extracting means for extracting a second space for determining a character display image presentation position based on a line-of-sight vector of the uttering user and a predetermined viewing angle. A first presentation position determining means for determining a presentation position of the character display image based on a relationship between the three-dimensional position of the uttering user and the first space; and a relationship between the three-dimensional position of the receiving user and the second space. Second presentation position determining means for determining the presentation position of the character display image based on the above, and the first presentation position determining means and the second presentation position for the generated character information. Conversation information presentation apparatus characterized by comprising an output means for outputting, based on the presentation position determined by the constant section.
記発話ユーザの３次元位置が前記第一空間内にある場合
は、発話から一定時間、発話ユーザの周囲を文字表示画
像の提示位置とし、それ以外の場合は第二提示位置決定
手段において、前記受話ユーザの３次元位置が前記第二
空間内にある場合は、発話ユーザの周囲から、受話ユー
ザの３次元位置から視線ベクトル方向へある一定距離離
れた位置へ向けて発話からの時間にともなって移動する
位置を提示位置とし、それ以外の場合は、発話ユーザの
周囲から発話ユーザの視線ベクトルの方向へ発話からの
時間にともなって移動する位置を提示位置とすることを
特徴とする請求項４記載の会話情報提示装置。5. In the first presentation position determining means, when the three-dimensional position of the uttering user is in the first space, a surrounding area of the uttering user is set as a presentation position of the character display image for a certain period of time after the utterance. In other cases, in the second presentation position determining means, when the three-dimensional position of the receiving user is in the second space, there is a certain distance from the surrounding of the speaking user to the line-of-sight vector direction from the three-dimensional position of the receiving user. The position that moves with distance from the utterance toward the utterance time is set as the presentation position. In other cases, the position moves from around the uttering user toward the uttering user's line-of-sight vector along with the utterance time. The conversation information presentation device according to claim 4, wherein the position is a presentation position.
記発話ユーザの３次元位置が前記第一空間内にある場合
は、発話から一定時間、発話ユーザの周囲を文字表示画
像の提示位置とし、それ以外の場合は、第二提示位置決
定手段において、前記受話ユーザの３次元位置が前記第
二空間にある場合は、発話ユーザの周囲から、常に発話
ユーザの３次元位置と受話ユーザの３次元位置から視線
ベクトル方向へある一定距離離れた位置とを結ぶ直線上
を、発話からの時間にともなって移動する位置を提示位
置とし、それ以外の場合は、発話ユーザの周囲から発話
ユーザの視線ベクトルの方向へ発話からの時間にともな
って移動する位置を提示位置とすることを特徴とする請
求項４記載の会話情報提示装置。6. In the first presentation position determining means, when the three-dimensional position of the uttering user is in the first space, a surrounding area of the uttering user is set as a presentation position of the character display image for a certain period of time from the utterance, In other cases, in the second presentation position determination means, when the three-dimensional position of the receiving user is in the second space, the three-dimensional position of the talking user and the three-dimensional position of the receiving user are always located around the talking user. The position that moves with time from the utterance is set as the presentation position on a straight line that connects the position with a certain distance from the position in the line-of-sight vector direction, and in other cases, the line-of-sight vector of the uttering user from around the uttering user. 5. The conversation information presentation device according to claim 4, wherein a position that moves in the direction of with the time from the utterance is set as the presentation position.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001257925A JP2003067781A (en) | 2001-08-28 | 2001-08-28 | Conversation information presentation method and device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001257925A JP2003067781A (en) | 2001-08-28 | 2001-08-28 | Conversation information presentation method and device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003067781A true JP2003067781A (en) | 2003-03-07 |
Family
ID=19085526
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001257925A Pending JP2003067781A (en) | 2001-08-28 | 2001-08-28 | Conversation information presentation method and device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2003067781A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013008031A (en) * | 2011-06-24 | 2013-01-10 | Honda Motor Co Ltd | Information processor, information processing system, information processing method and information processing program |
| JP5864018B1 (en) * | 2015-06-11 | 2016-02-17 | 株式会社コロプラ | Computer program |
-
2001
- 2001-08-28 JP JP2001257925A patent/JP2003067781A/en active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013008031A (en) * | 2011-06-24 | 2013-01-10 | Honda Motor Co Ltd | Information processor, information processing system, information processing method and information processing program |
| JP5864018B1 (en) * | 2015-06-11 | 2016-02-17 | 株式会社コロプラ | Computer program |
| JP2017004297A (en) * | 2015-06-11 | 2017-01-05 | 株式会社コロプラ | Computer program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101777807B1 (en) | Sign language translator, system and method | |
| US8676562B2 (en) | Communication support apparatus and method | |
| US9949056B2 (en) | Method and apparatus for presenting to a user of a wearable apparatus additional information related to an audio scene | |
| JP6594646B2 (en) | Robot, robot control method, and robot system | |
| JP6017854B2 (en) | Information processing apparatus, information processing system, information processing method, and information processing program | |
| CN111445583B (en) | Augmented reality processing method and device, storage medium and electronic equipment | |
| CN104765444A (en) | In-vehicle gesture interactive spatial audio system | |
| US20210318749A1 (en) | Information processing system, information processing method, and program | |
| US20220224735A1 (en) | Information processing apparatus, non-transitory computer readable medium storing program, and method | |
| CN110162598B (en) | Data processing method and device for data processing | |
| JP2018036871A (en) | Information processing server, information processing system, terminal device, and program | |
| JP2003248837A (en) | Device and system for image generation, device and system for sound generation, server for image generation, program, and recording medium | |
| JP2019220848A (en) | Data processing apparatus, data processing method and program | |
| KR20150128386A (en) | display apparatus and method for performing videotelephony using the same | |
| US20190138117A1 (en) | Information processing device, information processing method, and program | |
| CN111936964A (en) | Non-interruptive NUI command | |
| JP2020060830A (en) | Agent device, agent presentation method, and program | |
| JP2002312295A (en) | Virtual three-dimensional space conversation system | |
| JP2003037826A (en) | Substitute image display and tv phone apparatus | |
| JP2008299135A (en) | Speech synthesis device, speech synthesis method and program for speech synthesis | |
| CN110178125B (en) | Information processing apparatus, information processing method, and program | |
| CN111415421B (en) | Virtual object control method, device, storage medium and augmented reality equipment | |
| JP2006065683A (en) | Avatar communication system | |
| JP2003067781A (en) | Conversation information presentation method and device | |
| US10129442B2 (en) | Information processing apparatus and information processing method |