JP2013006232A - Motion controller for communication agent, motion control method for communication agent, and program for the same - Google Patents
Motion controller for communication agent, motion control method for communication agent, and program for the same Download PDFInfo
- Publication number
- JP2013006232A JP2013006232A JP2011139777A JP2011139777A JP2013006232A JP 2013006232 A JP2013006232 A JP 2013006232A JP 2011139777 A JP2011139777 A JP 2011139777A JP 2011139777 A JP2011139777 A JP 2011139777A JP 2013006232 A JP2013006232 A JP 2013006232A
- Authority
- JP
- Japan
- Prior art keywords
- gaze
- behavior
- trajectory
- change
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Manipulator (AREA)
Abstract
Description
本発明は、人間の行動、仕草に反応して、自らの視線の方向を変える行動によりそれを観察している人間に対して働きかけを実行する、コミュニケーションエージェントの動作制御装置、コミュニケーションエージェントの動作制御方法、及びそのプログラムに関する。 The present invention relates to a communication agent operation control device and a communication agent operation control that perform an action on a human who is observing a human action and behavior by changing the direction of his / her line of sight. The present invention relates to a method and a program thereof.
ロボットは、人間に代わり単純な作業を効率的に行うための主体（エージェント）として、１９８０年代、製造業を中心とする工場に導入されてきた。その一方、近年、エンターテインメント、あるいは介護支援、清掃等の生活支援やＱｏＬ(Quality-of-Life)の向上を目的とする機能を有する多様なサービスロボットが、一般の日常生活において普及し始めている。このようなサービスロボットに関しては、人間の社会生活、あるいは個人生活の環境に接近するに伴い、ユーザとしての人間の個性やその時の状況に合わせた、きめ細かい動作を求められたり、その仕草が人間に近い、あるいは人間の仕草を想起させることで当該ユーザ、およびそれを周囲で見守る人間のロボットに対する親近感を醸成したりすることも必要な状況になりつつある。そのため、人間とロボットとが明示的あるいは非明示的な手段で相互にコミュニケーションする環境下における研究開発やサービスの方向性として、大まかに次の２つに分けられる。１つは、新たな手法、およびインタフェースによるコミュニケーションの可能性を追求する方向であり、もう１つは、日常において人間−人間で行われるコミュニケーションを観察、解析することで、ロボットが備えるべき機能を追及する方向である。本発明は、後者の方向に向けたものである。 Robots have been introduced in factories such as the manufacturing industry in the 1980s as agents (agents) for efficiently performing simple tasks on behalf of humans. On the other hand, in recent years, various service robots having functions for the purpose of entertainment, life support such as care support and cleaning, and improvement of QoL (Quality-of-Life) have begun to spread in general daily life. With regard to such service robots, as they approach the environment of human social life or personal life, they are required to perform detailed actions according to the personality of the user as a user and the situation at that time. It is also becoming necessary to nurture a sense of closeness to the user and the human robot watching the surroundings by reminiscent of human gestures. Therefore, the direction of R & D and services in an environment where humans and robots communicate with each other by explicit or implicit means can be roughly divided into the following two. One is to pursue the possibility of communication through new methods and interfaces, and the other is to observe and analyze human-to-human communication in daily life, so that the functions that the robot should have are provided. It is the direction to pursue. The present invention is directed to the latter direction.
後者の方向に係る従来技術として、例えば、特許文献１の技術が挙げられる。特許文献１には、ディスプレイ上の擬人化エージェントが非言語的なコミュニケーション手段により人間に伝えるべき目的情報に従い、複数の注視点座標の中から１つを選択して、その時の人間、およびエージェントの状態に応じて注視点座標に補正を施して、補正後の注視点座標に基づき、画面上のキャラクタを動かして人間に働きかける、エージェントの制御方法、制御インタフェース、およびプログラムが記載されている。 As a conventional technique related to the latter direction, for example, the technique of Patent Document 1 can be cited. According to Patent Document 1, an anthropomorphic agent on a display selects one of a plurality of gazing point coordinates according to purpose information to be transmitted to a human by non-verbal communication means, and the human and the agent at that time An agent control method, a control interface, and a program are described in which a gaze point coordinate is corrected according to a state and a character on the screen is moved to work on a human based on the corrected gaze point coordinate.
特許文献１の方法では、人と相手とが対話する中で収集した、目的情報である相手の行動の変化（例えば、発話、視線方向の変化、顔向きの変化、表情の変化など）に対する人の注視点の座標を記録し、その座標分布をその状況における視線動作の確率分布に置き換えて、その確率分布図でコミュニケーションエージェントの視線移動動作を予め規定しておく。このような、目的情報に応じた注視点座標分布図をシステム側で複数用意しておき、コミュニケーションエージェントが、その中から相対する人間から生じる目的情報に相応しい注視点動作を選択して実行することにより、相対する人間への非言語的な動作による働きかけを実現している。 In the method of Patent Document 1, a person who responds to a change in the other party's behavior (for example, utterance, change in gaze direction, change in facial orientation, change in facial expression, etc.), which is target information collected during a conversation between the person and the other party. The coordinates of the gazing point are recorded, the coordinate distribution is replaced with the probability distribution of the eye movement in the situation, and the eye movement movement of the communication agent is defined in advance by the probability distribution diagram. A plurality of gazing point coordinate distribution maps corresponding to the purpose information are prepared on the system side, and the communication agent selects and executes a gazing point operation suitable for the purpose information generated from the opposite person. By doing so, we are working on non-linguistic actions on the opposite human.
しかし、実際の対話環境においては、人が相手の行動の変化を検知する際、検知と同時又はその直前に周囲で生じた事情により、注視点動作が影響を受ける場合が多い。この場
合、特許文献１の方法のように単に相手の行動の変化の検知時の視線動作を確率分布として捉えるだけでは、そのような影響が加味された自然な視線動作をコミュニケーションエージェントに十分に反映できない。
However, in an actual dialogue environment, when a person detects a change in the behavior of the other party, the gaze point movement is often affected by circumstances that occur in the surroundings at the same time as the detection or immediately before the detection. In this case, if the gaze movement at the time of detecting the change in the other party's action is simply grasped as a probability distribution as in the method of Patent Document 1, the natural gaze movement with such influence is sufficiently reflected in the communication agent. Can not.
本発明は、コミュニケーションエージェントが人間に対して視線動作により情報を伝達する場合に、対話時の周辺事情により生じる人間の視線動作への影響が考慮された自然な視線動作をコミュニケーションエージェントに反映することが可能な、コミュニケーションエージェントの動作制御装置、コミュニケーションエージェントの動作制御方法、及びそのプログラムを提供することにある。 The present invention reflects, when a communication agent transmits information to a human by a gaze movement, a natural gaze movement that takes into account the influence on the human gaze movement caused by the surrounding circumstances at the time of dialogue to the communication agent. An object of the present invention is to provide a communication agent operation control device, a communication agent operation control method, and a program thereof.
本発明のコミュニケーションエージェントの動作制御装置は、軌道集合記憶部と注視点情報記憶部と人間行動認識部と軌道選択決定部と行動実行部とを備える。 The operation control apparatus for a communication agent according to the present invention includes a trajectory set storage unit, a gaze point information storage unit, a human action recognition unit, a trajectory selection determination unit, and an action execution unit.
軌道集合記憶部は、人と相手との対話時に収集された、当該人の視線方向に延長した直線と仮想視野平面との交点である注視点の時系列集合である視線動作軌道が複数記憶される。 The trajectory set storage unit stores a plurality of line-of-sight motion trajectories, which are time series sets of gazing points, which are intersection points of a straight line extending in the direction of the person's line of sight and a virtual visual plane, collected during a conversation between the person and the opponent The
注視点情報記憶部は、人と相手との対話時に収集された、当該相手の所定の行動の変化と、その行動の変化が生じたときの前記注視点の座標と、の組である注視点情報が、当該所定の行動の変化ごとに記憶される。 The gazing point information storage unit is a gazing point that is a set of a predetermined behavior change of the partner and a coordinate of the gazing point when the behavior change is collected, which is collected during a conversation between the person and the partner. Information is stored for each change in the predetermined behavior.
人間行動認識部は、コミュニケーションエージェントと対話しているユーザの行動を監視し、前記所定の行動の変化を検出した場合に、検出した行動の変化に対応する前記注視点情報を注視点情報記憶部から検索し、得られた注視点情報に含まれる座標（以下、「仮想注視点」という。）と当該行動の変化が検出された時刻との組である仮想注視点データを軌道選択決定部に与える。 The human behavior recognition unit monitors the behavior of the user who is interacting with the communication agent, and detects the change in the predetermined behavior and detects the gaze point information corresponding to the detected change in the behavior as a gaze point information storage unit. To the trajectory selection determination unit using virtual gaze data that is a set of the coordinates (hereinafter referred to as “virtual gaze point”) included in the obtained gaze point information and the time when the change in the behavior is detected. give.
軌道選択決定部は、軌道集合記憶部から、所定のルールにより１つの視線動作軌道を選択し、人間行動認識部で前記所定の行動の変化が検出されたときには、前記行動の変化が検出された時刻における当該視線動作軌道上の注視点を前記仮想注視点の方向に移動補正して、補正された軌道を新たな視線動作軌道として行動実行部に与え、前記所定の行動の変化が検出されていない間は、選択した視線動作軌道を補正することなく行動実行部に与える。 The trajectory selection determination unit selects one gaze motion trajectory from the trajectory set storage unit according to a predetermined rule, and when the change of the predetermined behavior is detected by the human behavior recognition unit, the change of the behavior is detected. The gazing point on the gaze motion trajectory at the time is corrected for movement in the direction of the virtual gaze point, the corrected trajectory is given as a new gaze motion trajectory to the action execution unit, and the predetermined behavior change is detected During the absence, the selected gaze movement trajectory is given to the action execution unit without correction.
行動実行部は、軌道選択決定部から与えられた視線動作軌道に基づいて、前記コミュニケーションエージェントの視線方向を制御する。 The action execution unit controls the line-of-sight direction of the communication agent based on the line-of-sight movement trajectory given from the trajectory selection determination unit.
本発明のコミュニケーションエージェントの動作制御装置、コミュニケーションエージェントの動作制御方法、及びそのプログラムによれば、コミュニケーションエージェントが人間に対して視線動作により情報を伝達する際に、目的情報の入力が無い間は、通常の対話時における人の視線動作から予め生成された視線動作軌道を参照して視線動作を制御し、目的情報の入力があった時は、視線動作軌道をその目的情報に応じて補正することにより、対話時の周辺事情により生じる人の視線動作への影響が考慮された自然な視線動作をコミュニケーションエージェントに反映することができる。 According to the communication agent operation control device, the communication agent operation control method, and the program thereof according to the present invention, when the communication agent transmits information to the human by eye movement, while no objective information is input, Control the gaze movement by referring to the gaze movement trajectory generated in advance from the human gaze movement during normal dialogue, and correct the gaze movement trajectory according to the objective information when the objective information is input. Thus, it is possible to reflect the natural gaze movement in consideration of the influence on the human gaze movement caused by the surrounding circumstances at the time of the dialogue on the communication agent.
以下、本発明の実施形態について、詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail.
本発明のコミュニケーションエージェントの動作制御装置１００の構成例を図１に、その構成例における処理フローを図２に示す。コミュニケーションエージェントの動作制御装置１００は、軌道集合記憶部１１０、注視点情報記憶部１２０、人間行動認識部１３０、軌道選択決定部１４０、及び行動実行部１５０を備え、ユーザと対話するコンピュータで制御されるロボットやぬいぐるみ等のコミュニケーションエージェント１０の視線動作を制御する。 A configuration example of the operation control apparatus 100 for a communication agent according to the present invention is shown in FIG. 1, and a processing flow in the configuration example is shown in FIG. The communication agent motion control apparatus 100 includes a trajectory set storage unit 110, a gazing point information storage unit 120, a human action recognition unit 130, a trajectory selection determination unit 140, and an action execution unit 150, and is controlled by a computer that interacts with a user. Controls the line-of-sight movement of the communication agent 10 such as a robot or stuffed animal.
軌道集合記憶部１１０は、人と相手との対話時に収集された、当該人の視線方向に延長した直線と仮想視野平面（当該相手を含む所定の大きさの平面）との交点である注視点の時系列集合である視線動作軌道が複数記憶される。視線動作軌道は、予め収集しておいたものでもよいし、実施例２で説明する動作軌道収集部１６０により収集したものでもよい。 The trajectory set storage unit 110 is a gazing point that is an intersection of a straight line that is collected during a conversation between a person and the other person and extends in the direction of the person's line of sight and a virtual visual field plane (a plane having a predetermined size including the other person). A plurality of line-of-sight motion trajectories that are time series sets are stored. The line-of-sight motion trajectory may be collected in advance, or may be collected by the motion trajectory collection unit 160 described in the second embodiment.
注視点情報記憶部１２０は、人と相手との対話時に収集された、当該相手の所定の行動の変化（例えば、発話、視線方向の変化、顔向きの変化、表情の変化など）とその行動の変化が生じたときの当該人の注視点の座標（仮想視野平面上で正規化された直交座標系におけるＸ軸とＹ軸の座標値）との組である注視点情報が、当該所定の行動の変化ごとに記憶される。注視点情報は、予め収集しておいたものでもよいし、実施例３で説明する注視点情報収集部１７０により収集したものでもよい。 The gazing point information storage unit 120 collects a predetermined behavior change (for example, utterance, change in gaze direction, change in face direction, change in facial expression, etc.) and the behavior collected during the conversation between the person and the partner. Gaze point information that is a set of the coordinates of the gaze point of the person when the change occurs (the coordinate values of the X axis and the Y axis in the orthogonal coordinate system normalized on the virtual visual plane) is It is remembered for every change in behavior. The gazing point information may be collected in advance, or may be collected by the gazing point information collection unit 170 described in the third embodiment.
人間行動認識部１３０は、コミュニケーションエージェント１０と対話しているユーザの行動を監視し、所定の行動の変化を検出した場合に、検出した行動の変化に対応する注視点情報を注視点情報記憶部１２０から検索し、得られた注視点情報に含まれる座標（Ｘvi,Ｙvi）（以下、「仮想注視点」という。）と当該行動の変化が検出された時刻ｔiとの組である仮想注視点データ（ｔi,Ｘvi,Ｙvi）を軌道選択決定部１４０に与える（Ｓ１）。 The human behavior recognition unit 130 monitors the behavior of a user who is interacting with the communication agent 10 and detects gaze point information corresponding to the detected behavior change when a change in the predetermined behavior is detected. A set of coordinates (Xv i , Yv i ) (hereinafter referred to as “virtual gazing point”) included in the obtained gazing point information retrieved from 120 and the time t i when the change in the action is detected. The virtual gazing point data (t i , Xv i , Yv i ) is given to the trajectory selection determination unit 140 (S1).
軌道選択決定部１４０は、軌道集合記憶部１１０から所定のルールにより１つの視線動作軌道を選択し、人間行動認識部１３０で所定の行動の変化が検出されたときには、検出時刻ｔiにおける、選択した視線動作軌道上の注視点（Ｘi,Ｙi）を仮想注視点（Ｘvi,Ｙvi）の方向に移動補正して、補正された軌道を新たな視線動作軌道として行動実行部１５０に与える。一方、所定の行動の変化が検出されていない間は、選択した視線動作軌道を補正することなく行動実行部１５０に与える（Ｓ２）。 The trajectory selection determination unit 140 selects one gaze motion trajectory from the trajectory set storage unit 110 according to a predetermined rule, and when a change in predetermined behavior is detected by the human behavior recognition unit 130, the selection at the detection time t i The gazing point (X i , Y i ) on the line-of-sight movement trajectory is corrected for movement in the direction of the virtual gazing point (Xv i , Yv i ), and the corrected orbit is used as a new line-of-sight movement trajectory. give. On the other hand, while the change of the predetermined behavior is not detected, the selected gaze motion trajectory is given to the behavior execution unit 150 without correction (S2).
視線動作軌道の選択は、そのときのユーザの行動を考慮して予め定めたルール等により決定論的に選択してもよいし、非決定論的に任意に選択してもよい。 The line-of-sight motion trajectory may be selected deterministically according to a predetermined rule or the like in consideration of the user's behavior at that time, or may be arbitrarily selected nondeterministically.
行動実行部１５０は、軌道選択決定部１４０から与えられた視線動作軌道に基づいて、コミュニケーションエージェント１０の視線方向を制御する（Ｓ３）。具体的には、当該視線動作軌道が示す検出時刻ｔi以降の視線移動に必要なコミュニケーションエージェント１０の可動部分と必要な可動量の大きさと変化の方向を指示する命令を生成し、コミュニケーションエージェント１０の可動部分に対応する１個以上の駆動部へ命令を送る（図１では駆動部が３個の場合（駆動部１１〜１３）を示す）。 The action execution unit 150 controls the line-of-sight direction of the communication agent 10 based on the line-of-sight movement trajectory given from the trajectory selection determination unit 140 (S3). Specifically, the communication agent 10 generates a command for instructing the movable part of the communication agent 10 necessary for the line-of-sight movement after the detection time t i indicated by the line-of-sight movement trajectory, the magnitude of the necessary movable amount, and the direction of the change. A command is sent to one or more drive units corresponding to the movable parts (FIG. 1 shows a case where there are three drive units (drive units 11 to 13)).
以上説明した本発明のコミュニケーションエージェントの動作制御装置によれば、コミュニケーションエージェントがユーザに対して視線動作により情報を伝達する際に、目的情報の入力が無い間は、通常の対話時における人の視線動作から予め生成された視線動作軌道を参照して視線動作を制御し、目的情報の入力があった時は、視線動作軌道をその目的情報に応じて補正することにより、対話時の周辺事情により生じる人の視線動作への影響が考慮された自然な視線動作をコミュニケーションエージェントに反映することができる。 According to the communication agent operation control apparatus of the present invention described above, when the communication agent transmits information to the user by the line-of-sight operation, the line of sight of the person during normal conversation is as long as no objective information is input. By controlling the gaze movement with reference to the gaze movement trajectory generated in advance from the movement, and when the objective information is input, the gaze movement trajectory is corrected according to the objective information. It is possible to reflect the natural gaze movement in consideration of the effect on the gaze movement of the generated person on the communication agent.
本発明のコミュニケーションエージェントの動作制御装置１００において、軌道集合記憶部１１０に記憶する視線動作軌道を収集する動作軌道収集部１６０を、更に設けてもよい。 In the communication agent motion control apparatus 100 according to the present invention, the motion trajectory collection unit 160 that collects the line-of-sight motion trajectory stored in the trajectory set storage unit 110 may be further provided.
図３に動作軌道収集部１６０の構成例を、図４にその構成例における処理フローを示す。動作軌道収集部１６０は、視線検出手段１６１、視線データ記憶手段１６２、視線特徴抽出手段１６３、視線特徴記憶手段１６４、及び軌道生成手段１６５を備える。 FIG. 3 shows a configuration example of the motion trajectory collection unit 160, and FIG. 4 shows a processing flow in the configuration example. The motion trajectory collection unit 160 includes a line-of-sight detection unit 161, a line-of-sight data storage unit 162, a line-of-sight feature extraction unit 163, a line-of-sight feature storage unit 164, and a track generation unit 165.
視線検出手段１６１は、人と相手（人間又はコミュニケーションエージェント）の対話時に、当該人の注視点の座標（Ｘi,Ｙi）を所定の時間間隔の計測時刻ｔi（i＝1,2,・・・）ごとに検出する（Ｓ４−１）。当該相手はビデオ画面やプロジェクタスクリーン等の表示機器上に表示されていてもよいし、実空間上で当該人からある距離だけ離れた地点に相対していてもよい。 The line-of-sight detection means 161 uses the coordinates (X i , Y i ) of the person's gaze point at a predetermined time interval measurement time t i (i = 1, 2,) when the person and the other party (human or communication agent) interact. ...)) (S4-1). The partner may be displayed on a display device such as a video screen or a projector screen, or may be opposed to a point separated from the person by a certain distance in real space.
視線データ記憶手段１６２は、視線検出手段１６１で検出された時系列の注視点データ（ｔi,Ｘi,Ｙi）を記憶する（Ｓ４−２）。 The line-of-sight data storage unit 162 stores time-series gazing point data (t i , X i , Y i ) detected by the line-of-sight detection unit 161 (S4-2).
視線特徴抽出手段１６３は、視線検出手段１６１で検出された現時刻の注視点の座標と視線データ記憶手段１６２に記憶された過去の注視点の座標とを用いて、現時刻の注視点の座標における速度と加速度を求め、現時刻の注視点の座標と速度と加速度とからなる視線特徴量を生成する（Ｓ４−３）。 The line-of-sight feature extraction unit 163 uses the coordinates of the current point of interest detected by the line-of-sight detection unit 161 and the coordinates of the previous point of interest stored in the line-of-sight data storage unit 162 to coordinate the point of interest at the current time. The speed and acceleration are obtained, and a line-of-sight feature quantity including the coordinates of the gazing point, speed and acceleration at the current time is generated (S4-3).
具体的には、例えば現時刻をｔ3としたとき、視線検出手段１６１で検出された現時刻ｔ3における注視点データ（ｔ3,Ｘ3,Ｙ3）と、視線データ記憶手段１６２に記憶された現時刻ｔ3の直前の２時刻ｔ1、ｔ2（ｔ1＜ｔ2＜ｔ3）の注視点データ（ｔ2,Ｘ2,Ｙ2）及び（ｔ1,Ｘ1,Ｙ1）とから、時刻ｔ3とｔ2、及びｔ2とｔ1における注視点の変化量、すなわち仮想視野平面５０上のＸ軸方向とＹ軸方向の速度
ΔＸ3＝Ｘ3−Ｘ2
ΔＹ3＝Ｙ3−Ｙ2
ΔＸ2＝Ｘ2−Ｘ1
ΔＹ2＝Ｙ2−Ｙ1
及び加速度
Δ2Ｘ3＝ΔＸ3−ΔＸ2
Δ2Ｙ3＝ΔＹ3−ΔＹ2
を計算し、現時刻ｔ3における視線特徴量(ｔ3,Ｘ3,Ｙ3,ΔＸ3,ΔＹ3,Δ2Ｘ3,Δ2Ｙ3)を求める。なお、直前２時刻分の注視点データが、まだ視線データ記憶手段１６２に記憶されていない場合は、視線特徴量の算出処理は行わない。また、人の目の瞬きや顔の動き等の諸条件により、注視点データの値が取得できず、欠落した注視点データが存在する場合には、欠落した注視点データを補完するために、例えば、欠落が発生した時間の１つ前と２つ前の時間に計測された注視点データの平均値を採用する、あるいは線形予測から導かれる予測値を設定することにより、欠落した注視点データの補完を行うように構成してもよい。
Specifically, for example, when the current time is t 3 , the gazing point data (t 3 , X 3 , Y 3 ) at the current time t 3 detected by the line-of-sight detection means 161 and the line-of-sight data storage means 162 are stored. Gaze point data (t 2 , X 2 , Y 2 ) and (t 1 , X 1 , Y 1 ) at two times t 1 and t 2 (t 1 <t 2 <t 3 ) immediately before the current time t 3. ) from the time t 3 and t 2, and t 2 and the variation of the gazing point in t 1, that is, the X-axis direction and the Y-axis velocity ΔX on the virtual field plane 50 3 = X 3 -X 2
ΔY 3 = Y 3 −Y 2
ΔX 2 = X 2 −X 1
ΔY 2 = Y 2 −Y 1
And acceleration Δ 2 X 3 = ΔX 3 −ΔX 2
Δ 2 Y 3 = ΔY 3 −ΔY 2
And the line-of-sight feature quantities (t 3 , X 3 , Y 3 , ΔX 3 , ΔY 3 , Δ 2 X 3 , Δ 2 Y 3 ) at the current time t 3 are obtained. Note that when the gaze point data for the last two hours are not yet stored in the line-of-sight data storage unit 162, the line-of-sight feature value calculation process is not performed. In addition, due to various conditions such as blinking of eyes and movement of the face, the value of gazing point data cannot be acquired, and when missing gazing point data exists, in order to supplement the missing gazing point data, For example, missing gaze point data by adopting an average value of gaze point data measured at the time one and two times before the time when the omission occurred, or by setting a predicted value derived from linear prediction You may comprise so that complement may be performed.
このようにして得られた視線特徴量を用いることで、軌道選択決定部１４０における、選択した視線動作軌道上の注視点（Ｘi,Ｙi）の仮想注視点（Ｘvi,Ｙvi）の方向への移動補正を、例えば次のように行うことができる（図５参照）。注視点（Ｘi,Ｙi）における速度（ΔＸi,ΔＹi）は、大きさ√(ΔＸi 2＋ΔＹi 2)を持ち、当該視線動作軌道の接線方向を向くベクトルとして表現される。そして、仮想注視点（Ｘvi,Ｙvi）に対する補正量を、この速度ベクトルと当該注視点（Ｘi,Ｙi）から仮想注視点（Ｘvi,Ｙvi）に向かうベクトルとのベクトル内積と定義すれば、当該注視点（Ｘi,Ｙi）をベクトル内積値の大きさの分だけ仮想注視点（Ｘvi,Ｙvi）の方向への移動補正すればよい。 By using the gaze feature amount obtained in this way, the trajectory selection determining unit 140 uses the virtual gaze point (Xv i , Yv i ) of the gaze point (X i , Y i ) on the selected gaze motion trajectory. The movement correction in the direction can be performed, for example, as follows (see FIG. 5). The velocity (ΔX i , ΔY i ) at the gazing point (X i , Y i ) has a magnitude √ (ΔX i 2 + ΔY i 2 ) and is expressed as a vector that faces the tangential direction of the line-of-sight motion trajectory. The virtual gazing point (Xv i, Yv i) a correction amount for this velocity vector and the gazing point (X i, Y i) virtual gazing point from (Xv i, Yv i) and the vector inner product between the vector directed to If defined, the movement of the gaze point (X i , Y i ) in the direction of the virtual gaze point (Xv i , Yv i ) may be corrected by the magnitude of the vector inner product value.
視線特徴量記憶手段１６４は、視線特徴抽出手段１６３で検出された視線特徴量を時系列で記憶する（Ｓ４−４）。 The line-of-sight feature amount storage unit 164 stores the line-of-sight feature amount detected by the line-of-sight feature extraction unit 163 in time series (S4-4).
軌道生成手段１６５は、視線特徴記憶手段１６４に時系列で記憶された視線特徴量を用いて、視線動作軌道を複数生成し、軌道集合記憶部１１０に記憶させる（Ｓ４−５）。 The trajectory generation unit 165 generates a plurality of gaze movement trajectories using the gaze feature amount stored in time series in the gaze feature storage unit 164, and stores it in the trajectory set storage unit 110 (S4-5).
軌道生成手段１６５における、視線動作軌道の生成方法の例を図５を用いて説明する。図６(a)〜(h)は人と相手がビデオ画面を介して相対して会話している最中に、人が相手を含む画面上のどこを注視しているかを点で示した注視点の分布図である。図６(a)は計測された全注視点を示したものであり、図６(b)〜(h)は、図６(a)の全注視点を、任意の計測時間区間あるいは全計測時間に含まれる注視点の座標と、各注視点における速度成分及び加速度成分と、を合わせて統計手法により、ある特徴を持つ５０個のグループに分類して、グループに含まれる注視点の出現頻度が上位７番目までのグループを示したものである。分類する統計手法としては、周知の技術（隠れマルコフ過程(Hidden Markov Model)など）を用いることができる。軌道生成手段１６５では、注視点の出現頻度が上位所定数のグループ（図６の例では上位７個のグループ）から、各々複数個の注視点を選択し、仮想視野平面５０上に展開して、これらの注視点を組み合わせることにより複数の視線動作軌道を生成する。 An example of a method for generating a line-of-sight motion trajectory in the trajectory generating means 165 will be described with reference to FIG. 6 (a) to 6 (h) show the points where the person is gazing on the screen including the partner while the person and the partner are talking with each other through the video screen. It is a distribution map of a viewpoint. FIG. 6 (a) shows the measured total gazing point, and FIGS. 6 (b) to (h) show the entire gazing point in FIG. 6 (a) as an arbitrary measurement time interval or total measurement time. The coordinates of the gazing point included in each of the gazing points and the velocity component and the acceleration component at each gazing point are classified into 50 groups having certain characteristics by a statistical method, and the appearance frequency of the gazing point included in the group is determined. The top seven groups are shown. As a statistical method for classification, a well-known technique (such as a Hidden Markov Model) can be used. In the trajectory generation unit 165, a plurality of gazing points are selected from a predetermined number of groups with the highest gazing point appearance frequency (the upper seven groups in the example of FIG. 6), and developed on the virtual visual plane 50. A plurality of eye movement trajectories are generated by combining these gazing points.
また、視線動作軌道の生成方法の別の例を図７を用いて説明する。図６は、視聴対象として、ビデオ画面上の中空の円６０を表示させ、当該対象を見るよう指示を受けた人が注視した注視点の位置と注視の継続時間を計測して、その結果を表示した分布図である。図７(a)は円の中に記載された番号順にある注視点から他の注視点に移動している状態を、また、図７(b)は同一対象について、画面上で注視点が留まっている時間（注視時間、又は停留時間）の長さに応じて黒白の濃淡で示したものである。このような座標と時間に関する分布図をもとに、複数の注視点を選択して視線動作軌道を生成することも可能である。 Another example of a method for generating a line-of-sight motion trajectory will be described with reference to FIG. FIG. 6 shows a hollow circle 60 on the video screen as an object to be viewed, measures the position of the point of gazing point and the duration of the gazing point by the person who has been instructed to view the object, and displays the result. It is the displayed distribution map. Fig. 7 (a) shows a state in which the point of sight in the numerical order listed in the circle is moving to another point of sight, and Fig. 7 (b) shows that the gazing point remains on the screen for the same object. It is shown in shades of black and white according to the length of time (gaze time or stop time) during which it is held. It is also possible to generate a line-of-sight motion trajectory by selecting a plurality of gazing points based on such a distribution map regarding coordinates and time.
本発明のコミュニケーションエージェントの動作制御装置１００において、注視点情報記憶部１２０に記憶する注視点情報を収集する注視点情報収集部１７０を、更に設けてもよい。 In the operation control apparatus 100 of the communication agent of the present invention, a gazing point information collection unit 170 that collects gazing point information stored in the gazing point information storage unit 120 may be further provided.
図８に注視点情報収集部１７０の構成例を、図９にその構成例における処理フローを示す。注視点情報収集部１７０は、行動検出手段１７１と視線検出手段１７２とを備える。 FIG. 8 shows a configuration example of the gazing point information collection unit 170, and FIG. 9 shows a processing flow in the configuration example. The gazing point information collection unit 170 includes behavior detection means 171 and line-of-sight detection means 172.
行動検出手段１７１は、人と相手とが実空間上ある距離だけ離れて相対して対話する環境において、当該相手の行動を監視し、所定の行動の変化の発生及びその種別を検出する（Ｓ５−１）。検出する所定の行動としては、例えば(1)発話、(2)顔向き、(3)視線方向、(4)表情、のうち少なくとも１つ以上を使用することとする。(1)については、マイクロフォンと周知の音声認識技術により発話しているか否かを検出することができる。(2)〜(4)については、ビデオカメラで当該相手の様子を撮影し、周知の画像解析技術により撮影した画像から顔向きや視線や表情を認識することができる。 The behavior detection unit 171 monitors the behavior of the other party in an environment where the person and the other party interact with each other at a certain distance in the real space, and detects the occurrence of the predetermined behavior change and its type (S5). -1). For example, at least one of (1) utterance, (2) face orientation, (3) gaze direction, and (4) facial expression is used as the predetermined action to be detected. With regard to (1), it is possible to detect whether or not the user is speaking using a microphone and a well-known voice recognition technology. With regard to (2) to (4), the state of the other party can be photographed with a video camera, and the face orientation, line of sight, and facial expression can be recognized from an image photographed by a known image analysis technique.
視線検出手段１７２は、行動検出手段１７１で所定の行動の変化が検出されたときの当該人の注視点の座標を検出し、検出された所定の行動の変化とその行動の変化が生じたときの当該人の注視点の座標との組である注視点情報を、所定の行動の変化ごとに注視点情報記憶部１２０に記憶させる（Ｓ５−２）。 The line-of-sight detection means 172 detects the coordinates of the gaze point of the person when the action detection means 171 detects a change in the predetermined action, and when the detected change in the predetermined action and the change in the action occur The gazing point information, which is a set with the coordinates of the gazing point of the person, is stored in the gazing point information storage unit 120 for each change in predetermined behavior (S5-2).
以上説明した各実施例のコミュニケーションエージェントの制御装置及び制御方法における各処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本発明のコミュニケーションエージェントの制御装置の各機能は必要に応じ、併合・分割しても構わない。その他、本発明において表現されている技術的思想の範囲内で適宜変更が可能である。 Each processing in the communication agent control apparatus and control method of each embodiment described above is not only executed in time series according to the description, but also in parallel or individually according to the processing capability of the apparatus that executes the processing or as necessary. May be executed. Further, the functions of the communication agent control apparatus of the present invention may be merged and divided as necessary. Other modifications can be made as appropriate within the scope of the technical idea expressed in the present invention.
本発明のコミュニケーションエージェントの制御装置を構成する各部、各手段をコンピュータによって実現する場合、各部が担う機能の処理内容はプログラムによって記述される。そのプログラムは、例えば、ハードディスク装置に格納されており、実行時には、必要なプログラムやデータがＲＡＭ(Random Access Memory)に読み込まれて、そのプログラムがＣＰＵにより実行されることにより、コンピュータ上で各処理内容が実現される。 When each part and each means constituting the communication agent control device of the present invention are realized by a computer, the processing contents of the functions performed by each part are described by a program. The program is stored in, for example, a hard disk device, and at the time of execution, necessary programs and data are read into a RAM (Random Access Memory), and the program is executed by the CPU. The content is realized.
Claims (7)
人と相手との対話時に収集された、当該相手の所定の行動の変化と、その行動の変化が生じたときの前記注視点の座標と、の組である注視点情報が、当該所定の行動の変化ごとに記憶された注視点情報記憶部と、
コミュニケーションエージェントと対話しているユーザの行動を監視し、前記所定の行動の変化を検出した場合に、検出した行動の変化に対応する前記注視点情報を注視点情報記憶部から検索し、得られた注視点情報に含まれる座標（以下、「仮想注視点」という。）と当該行動の変化が検出された時刻との組である仮想注視点データを軌道選択決定部に与える人間行動認識部と、
軌道集合記憶部から所定のルールにより１つの視線動作軌道を選択し、人間行動認識部で前記所定の行動の変化が検出されたときには、前記行動の変化が検出された時刻における当該視線動作軌道上の注視点を前記仮想注視点の方向に移動補正して、補正された軌道を新たな視線動作軌道として行動実行部に与え、前記所定の行動の変化が検出されていない間は、選択した視線動作軌道を補正することなく行動実行部に与える軌道選択決定部と、
軌道選択決定部から与えられた視線動作軌道に基づいて、前記コミュニケーションエージェントの視線方向を制御する行動実行部と、
を備えるコミュニケーションエージェントの動作制御装置。 A trajectory set storage unit that stores a plurality of line-of-sight motion trajectories, which are time series sets of gazing points, which are intersection points of a straight line extending in the line-of-sight direction of a person and a virtual visual plane collected during a conversation between a person and a partner When,
Gaze point information, which is a set of a change in the predetermined behavior of the partner and the coordinates of the gaze point when the behavior change, collected during a conversation between the person and the partner, is the predetermined behavior A gazing point information storage unit stored for each change of
When the behavior of the user who is interacting with the communication agent is monitored and a change in the predetermined behavior is detected, the gaze information corresponding to the detected behavior change is retrieved from the gaze information storage unit and obtained. A human action recognizing unit that provides virtual trajectory data, which is a set of coordinates (hereinafter referred to as “virtual gaze point”) included in the gaze point information, and a time at which the change in the behavior is detected, to the trajectory selection determining unit; ,
When one gaze motion trajectory is selected from the trajectory set storage unit according to a predetermined rule and the change of the predetermined behavior is detected by the human behavior recognition unit, the gaze motion trajectory at the time when the change of the behavior is detected The gazing point is corrected in the direction of the virtual gazing point, the corrected trajectory is given to the action execution unit as a new gaze movement trajectory, and the selected gaze is selected while the change in the predetermined action is not detected. A trajectory selection determination unit that gives the action execution unit without correcting the motion trajectory;
An action execution unit that controls the line-of-sight direction of the communication agent based on the line-of-sight movement trajectory given from the trajectory selection determination unit;
An operation control device for a communication agent comprising:
更に動作軌道収集部を備え、
前記動作軌道収集部は、
人と相手の対話時に、当該人の前記注視点の座標を所定の時間間隔ごとに検出する視線検出手段と、
視線検出手段で検出された前記注視点の座標を時系列で記憶する視線データ記憶手段と、
視線検出手段で検出された現時刻の注視点の座標と視線データ記憶手段に記憶された過去の注視点の座標とを用いて、現時刻の注視点の座標における速度と加速度を求め、現時刻の注視点の座標と速度と加速度とからなる視線特徴量を生成する視線特徴抽出手段と、
視線特徴抽出手段で検出された前記視線特徴量を時系列で記憶する視線特徴記憶手段と、
視線特徴記憶手段に時系列で記憶された前記視線特徴量を用いて、前記視線動作軌道を複数生成し、前記軌道集合記憶部に記憶させる軌道生成手段と、
を備える
ことを特徴とするコミュニケーションエージェントの動作制御装置。 The operation control device for a communication agent according to claim 1,
Furthermore, it has a motion trajectory collection unit,
The motion trajectory collection unit is
Line-of-sight detecting means for detecting coordinates of the gaze point of the person at predetermined time intervals during dialogue between the person and the other party,
Line-of-sight data storage means for storing the coordinates of the gazing point detected by the line-of-sight detection means in time series;
Using the coordinates of the gaze point at the current time detected by the gaze detection means and the coordinates of the gaze point in the past stored in the gaze data storage means, the speed and acceleration at the coordinates of the gaze point at the current time are obtained, and the current time Gaze feature extraction means for generating a gaze feature amount consisting of coordinates, speed and acceleration of the gazing point of
Line-of-sight feature storage means for storing the line-of-sight feature amount detected by line-of-sight feature extraction means in time series;
Using the gaze feature quantity stored in time series in the gaze feature storage means, generating a plurality of gaze movement trajectories, and storing the trajectory set storage section in the trajectory set storage unit;
An operation control device for a communication agent, comprising:
更に注視点情報収集部を備え、
前記注視点情報収集部は、
人と相手の対話時に、当該相手の行動を監視し、前記所定の行動の変化の発生及びその種別を検出する行動検出手段と、
行動検出手段で前記所定の行動の変化が検出されたときの前記人の前記注視点の座標を検出し得られた前記注視点情報を、前記所定の行動の変化ごとに前記注視点情報記憶部に記憶させる視線検出手段と、
を備える
ことを特徴とするコミュニケーションエージェントの動作制御装置。 In the operation control apparatus of the communication agent according to claim 1 or 2,
In addition, a gaze point information collection unit
The gaze information collection unit
A behavior detecting means for monitoring the behavior of the other party during a conversation between the person and the other party, and detecting the occurrence of the predetermined behavior change and its type;
The gazing point information storage unit obtained by detecting the coordinates of the gazing point of the person when the change of the predetermined action is detected by the action detecting unit, for each change of the predetermined action. Eye gaze detection means for storing
An operation control device for a communication agent, comprising:
人と相手との対話時に収集された、当該相手の所定の行動の変化と、その行動の変化が生じたときの前記注視点の座標と、の組である注視点情報が、当該所定の行動の変化ごとに記憶された注視点情報記憶部と、
を用い、
コミュニケーションエージェントと対話しているユーザの行動を監視し、前記所定の行動の変化を検出した場合に、検出した行動の変化に対応する前記注視点情報を注視点情報記憶部から検索し、得られた注視点情報に含まれる座標（以下、「仮想注視点」という。）と当該行動の変化が検出された時刻との組である仮想注視点データを軌道選択決定ステップに与える人間行動認識ステップと、
軌道集合記憶部から所定のルールにより１つの視線動作軌道を選択し、人間行動認識ステップで前記所定の行動の変化が検出されたときには、前記行動の変化が検出された時刻における当該視線動作軌道上の注視点を前記仮想注視点の方向に移動補正して、補正された軌道を新たな視線動作軌道として出力し、前記所定の行動の変化が検出されていない間は、選択した視線動作軌道を補正することなく出力する軌道選択決定ステップと、
軌道選択決定ステップで得られた視線動作軌道に基づいて、前記コミュニケーションエージェントの視線方向を制御する行動実行ステップと、
を実行するコミュニケーションエージェントの動作制御方法。 A trajectory set storage unit that stores a plurality of line-of-sight motion trajectories, which are time series sets of gazing points, which are intersection points of a straight line extending in the line-of-sight direction of a person and a virtual visual plane collected during a conversation between a person and a partner When,
Gaze point information, which is a set of a change in the predetermined behavior of the partner and the coordinates of the gaze point when the behavior change, collected during a conversation between the person and the partner, is the predetermined behavior A gazing point information storage unit stored for each change of
Use
When the behavior of the user who is interacting with the communication agent is monitored and a change in the predetermined behavior is detected, the gaze information corresponding to the detected behavior change is retrieved from the gaze information storage unit and obtained. A human action recognition step that provides virtual trajectory data, which is a set of coordinates (hereinafter referred to as “virtual gaze point”) included in the gaze point information, and a time at which a change in the action is detected, to the trajectory selection determination step; ,
When one gaze motion trajectory is selected from the trajectory set storage unit according to a predetermined rule, and the change in the predetermined behavior is detected in the human behavior recognition step, the gaze motion trajectory at the time when the change in the behavior is detected The movement of the gazing point is corrected in the direction of the virtual gazing point, and the corrected trajectory is output as a new gazing motion trajectory, and the selected gazing motion trajectory is detected while no change in the predetermined behavior is detected. A trajectory selection determination step for outputting without correction;
Based on the line-of-sight movement trajectory obtained in the trajectory selection determination step, an action execution step for controlling the line-of-sight direction of the communication agent;
Control method of communication agent that executes
更に動作軌道収集ステップを実行し、
前記動作軌道収集ステップは、
人と相手の対話時に、当該人の前記注視点の座標を所定の時間間隔ごとに検出する視線検出サブステップと、
視線検出サブステップで検出された前記注視点の座標を視線データ記憶手段に時系列で記憶する視線データ記憶サブステップと、
視線検出サブステップで検出された現時刻の注視点の座標と視線データ記憶手段に記憶された過去の注視点の座標とを用いて、現時刻の注視点の座標における速度と加速度を求め、現時刻の注視点の座標と速度と加速度とからなる視線特徴量を生成する視線特徴抽出サブステップと、
視線特徴抽出サブステップで検出された前記視線特徴量を視線特徴記憶手段に時系列で記憶する視線特徴記憶サブステップと、
視線特徴記憶手段に時系列で記憶された前記視線特徴量を用いて、前記視線動作軌道を複数生成し、前記軌道集合記憶部に記憶させる軌道生成サブステップと、
を実行する
ことを特徴とするコミュニケーションエージェントの動作制御方法。 The operation control method of the communication agent according to claim 4,
Furthermore, the operation trajectory collection step is executed,
The motion trajectory collection step includes
A line-of-sight detection sub-step for detecting the coordinates of the gaze point of the person at predetermined time intervals during a conversation between the person and the person;
A line-of-sight data storage sub-step for storing the coordinates of the gazing point detected in the line-of-sight detection sub-step in time-series in the line-of-sight data storage means;
Using the current gaze point coordinates detected in the gaze detection substep and the past gaze point coordinates stored in the gaze data storage means, the speed and acceleration at the current gaze point coordinates are obtained, A line-of-sight feature extraction sub-step for generating a line-of-sight feature quantity consisting of the coordinates of the time of interest, speed and acceleration;
A line-of-sight feature storage sub-step for storing the line-of-sight feature quantity detected in the line-of-sight feature extraction sub-step in time series in the line-of-sight feature storage means;
A trajectory generation sub-step for generating a plurality of gaze motion trajectories using the gaze feature quantities stored in time series in the gaze feature storage means, and storing them in the trajectory set storage unit;
An operation control method for a communication agent, characterized in that
更に注視点情報収集ステップを実行し、
前記注視点情報収集ステップは、
人と相手の対話時に、当該相手の行動を監視し、前記所定の行動の変化の発生及びその種別を検出する行動検出サブステップと、
行動検出サブステップで前記所定の行動の変化が検出されたときの前記人の前記注視点の座標を検出し、得られた前記注視点情報を、前記所定の行動の変化ごとに前記注視点情報記憶部に記憶させる視線検出サブステップと、
を実行する
ことを特徴とするコミュニケーションエージェントの動作制御方法。 The operation control method for a communication agent according to claim 4 or 5,
In addition, the attention point information collection step is executed,
The gazing point information collecting step includes:
A behavior detection sub-step for monitoring the behavior of the partner during the conversation between the person and the partner and detecting the occurrence of the change in the predetermined behavior and its type;
The coordinates of the gazing point of the person when the change in the predetermined action is detected in the action detection sub-step are detected, and the obtained gazing point information is obtained for each change in the predetermined action. A line-of-sight detection sub-step to be stored in the storage unit;
An operation control method for a communication agent, characterized in that
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011139777A JP2013006232A (en) | 2011-06-23 | 2011-06-23 | Motion controller for communication agent, motion control method for communication agent, and program for the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011139777A JP2013006232A (en) | 2011-06-23 | 2011-06-23 | Motion controller for communication agent, motion control method for communication agent, and program for the same |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2013006232A true JP2013006232A (en) | 2013-01-10 |
Family
ID=47674055
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011139777A Withdrawn JP2013006232A (en) | 2011-06-23 | 2011-06-23 | Motion controller for communication agent, motion control method for communication agent, and program for the same |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2013006232A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101457947B1 (en) | 2013-06-27 | 2014-11-07 | 한국과학기술원 | Robot system and method for development and controlling of robot system through user-centric modularization |
| JP2017121680A (en) * | 2016-01-06 | 2017-07-13 | 日本電信電話株式会社 | Utterance control system, utterance control apparatus, and utterance control program |
| JP2018094645A (en) * | 2016-12-08 | 2018-06-21 | 株式会社国際電気通信基礎技術研究所 | Behavior command generation system, response system and behavior command generation method |
-
2011
- 2011-06-23 JP JP2011139777A patent/JP2013006232A/en not_active Withdrawn
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101457947B1 (en) | 2013-06-27 | 2014-11-07 | 한국과학기술원 | Robot system and method for development and controlling of robot system through user-centric modularization |
| JP2017121680A (en) * | 2016-01-06 | 2017-07-13 | 日本電信電話株式会社 | Utterance control system, utterance control apparatus, and utterance control program |
| JP2018094645A (en) * | 2016-12-08 | 2018-06-21 | 株式会社国際電気通信基礎技術研究所 | Behavior command generation system, response system and behavior command generation method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11568643B2 (en) | Automatic control of wearable display device based on external conditions | |
| US8022948B2 (en) | Image capture and buffering in a virtual world using situational measurement averages | |
| US8026913B2 (en) | Image capture and buffering in a virtual world | |
| JP6495331B2 (en) | System, method and computer program product for processing interaction between human and humanoid robot | |
| CN105122353B (en) | The method of speech recognition for the computing device of speech recognition and on computing device | |
| CN110785735A (en) | Apparatus and method for voice command scenario | |
| CN104023802B (en) | Use the control of the electronic installation of neural analysis | |
| CN107656505A (en) | Use the methods, devices and systems of augmented reality equipment control man-machine collaboration | |
| JP2019192237A (en) | System and method for providing dynamic haptic playback for augmented or virtual reality environment | |
| Eichner et al. | Attentive presentation agents | |
| JP6841232B2 (en) | Information processing equipment, information processing methods, and programs | |
| Koller et al. | Enhancing referential success by tracking hearer gaze | |
| Cavedon et al. | “C׳ Mon dude!”: Users adapt their behaviour to a robotic agent with an attention model | |
| JP2013006232A (en) | Motion controller for communication agent, motion control method for communication agent, and program for the same | |
| Wang et al. | Agent-based dynamic collaboration support in a smart office space | |
| KR101567154B1 (en) | Method for processing dialogue based on multiple user and apparatus for performing the same | |
| Miyake et al. | A spoken dialogue system using virtual conversational agent with augmented reality | |
| KR20200075773A (en) | Systems and methods for providing haptic effects based on a user's motion or environment | |
| US10719173B2 (en) | Transcribing augmented reality keyboard input based on hand poses for improved typing accuracy | |
| JP2008046802A (en) | Interaction information output device, interaction information output method and program | |
| Koseki et al. | Multimodal spoken dialog system using state estimation by body motion | |
| Le et al. | Multimodal smart interactive presentation system | |
| KR102606862B1 (en) | Metaverse server for processing interaction in metaverse space based on user emotion and method therefor | |
| US20230381645A1 (en) | Methods and systems to activate selective navigation or magnification of screen content | |
| Sachdeva et al. | A Novel Technique for Hand Gesture Recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140902 |