JP7425690B2 - Robot motion generation device, robot motion generation method, and program - Google Patents

Description

本発明は、ロボット動作生成装置、ロボット動作生成方法、およびプログラムに関する。 The present invention relates to a robot motion generation device, a robot motion generation method, and a program.

今日、スマートスピーカーやコミュニケーションロボットの開発が進められている。このようなシステムでは、指示に応じて、照明をオン状態またはオフ状態にする、カレンダーにアクセスする、メールを読む、予定を設定するなどの機能に焦点を当てられている。このようなシステムでは、指示の入力が、例えばタッチパネルによる選択、音声による定められているコマンド等に限られており、人との関係を構築することが困難である。 Today, smart speakers and communication robots are being developed. Such systems focus on functions such as turning lights on or off, accessing calendars, reading email, and setting appointments based on commands. In such a system, the input of instructions is limited to, for example, selection using a touch panel or predetermined voice commands, making it difficult to build relationships with people.

このため、人との関係を持てるシステムが望まれている。例えば特許文献１には、コンパニオンデバイスと人と対話に対して、人をデバイスとの対話や操作に関わらせるシステムが提案されている。特許文献１に記載の技術では、コンパニオンデバイスが、利用者との発話や行動を検出して、移動、グラフィック、音、光、芳香を通して表現し、親交的存在を提供する。 For this reason, a system that allows for relationships with people is desired. For example, Patent Document 1 proposes a system in which a companion device interacts with a person and a person is involved in interaction and operation with the device. In the technology described in Patent Document 1, a companion device detects the user's utterances and actions, expresses them through movement, graphics, sound, light, and fragrance, and provides a friendly presence.

また、人型ロボットの動きをパソコン等のアプリケーションを用いて生成することが行われている（例えば非特許文献１参照）。 Furthermore, the motion of a humanoid robot is generated using an application such as a personal computer (for example, see Non-Patent Document 1).

特表２０１９－５２１４４９号公報Special Publication No. 2019-521449

E. Pot, J. Monceaux, R. Gelin, and B. Maisonnier, “Choregraphe: a graphical tool for humanoid robot programming,” in RO-MAN 2009- The 18th IEEE International Symposium on Robot and Human Interactive Communication, Sep. 2009, pp. 46- 51.E. Pot, J. Monceaux, R. Gelin, and B. Maisonnier, “Choregraphe: a graphical tool for humanoid robot programming,” in RO-MAN 2009- The 18th IEEE International Symposium on Robot and Human Interactive Communication, Sep. 2009 , pp. 46-51.

近年、ロボットにアニメーションの様な動作をさせたいという要望がある。アニメーションは、異なる言語や文化を超えて広く受け入れられている。例えば、映画では、アニメーションのキャラクターの表現力を定義することに成功している。アニメーションのような動作をさせることで、ロボットの表現力をデザインできる可能性がある。
しかしながら、従来技術では、アニメーションからロボットの動作に変換したり、動作をデザインすることが出来なかった。 In recent years, there has been a demand for robots to perform animation-like movements. Animation is widely accepted across different languages and cultures. For example, movies have been successful in defining the expressiveness of animated characters. It is possible to design robots' expressiveness by making them behave in an animation-like manner.
However, with the conventional technology, it is not possible to convert animation into robot motion or to design motion.

本発明は、上記の問題点に鑑みてなされたものであって、アニメーションの動きを実際のロボットの動きへの変換を可能にするロボット動作生成装置、ロボット動作生成方法、およびプログラムを提供することを目的とする。 The present invention has been made in view of the above problems, and provides a robot motion generation device, a robot motion generation method, and a program that enable conversion of animation motions into actual robot motions. With the goal.

（１）上記目的を達成するため、本発明の一態様に係るロボット動作生成装置は、関節の動きのデータを含むアニメーションデータに対して、前記関節毎に前記関節の動きの軌道の速度と加速度とを算出し、算出した前記関節毎の前記関節の動きの軌道の加速度と時刻とのゼロ交差点を抽出し、抽出した前記ゼロ交差点毎に、アニメーション領域の前記関節の動きのデータを、ロボット領域のデータに変換する、変換部、を備える。 (1) In order to achieve the above object, the robot motion generation device according to one aspect of the present invention calculates, for each joint, the velocity and acceleration of the trajectory of the joint motion, for animation data including joint motion data. and extracts the zero intersection between the calculated acceleration of the trajectory of the movement of the joint for each joint and the time, and for each extracted zero intersection, the data of the movement of the joint in the animation area is transferred to the robot area. a conversion unit that converts the data into data.

（２）また、本発明の一態様に係るロボット動作生成装置において、前記変換部は、次式を用いて前記ゼロ交差点毎に、アニメーション領域の前記関節の動きのデータを、ロボット領域のデータに変換し、

θ_ｉ（ｔ）は前記関節軌道であり、θ_ｉ’（ｔ_ｋ）は時刻ｔ_ｋにおける前記ロボット領域の前記関節軌道の速度であり、θ_ｉ’’（ｔ_ｋ）は時刻ｔ_ｋにおける前記ロボット領域の前記関節軌道の加速度であり、ｖ_{ｉ，ｍａｘ}は前記アニメーション領域における速度の限界であり、ａ_{ｉ，ｍａｘ}は前記アニメーション領域における加速度の限界であり、Ｔは変換関数であり、η’_ｉ（ｔ）は前記ロボット領域の速度であり、η’’_ｉ（ｔ）は前記ロボット領域の加速度であり、∀ｔ_ｋ｜θ’_ｉ（ｔ）はスケーリングを表し、添字_ｉは各関節を表すようにしてもよい。 (2) Furthermore, in the robot motion generation device according to one aspect of the present invention, the conversion unit converts the movement data of the joints in the animation area into data in the robot area for each zero intersection using the following equation. Converted,

θ _i (t) is the joint trajectory, θ _i '(t _k ) is the velocity of the joint trajectory of the robot area at time t _k , and θ _i '' (t _k ) is the joint trajectory at time t _k . is the acceleration of the joint trajectory in the robot region, v _i,max is the velocity limit in the animation region, a _i,max is the acceleration limit in the animation region, T is a transformation function, and η′ _i (t) is the velocity of the robot area, η'' _i (t) is the acceleration of the robot area, ∀t _k | θ' _i (t) represents scaling, and the subscript _i represents each joint. It may also be expressed as

（３）また、本発明の一態様に係るロボット動作生成装置において、前記アニメーションデータは、目の動きのデータと、口の動きのデータと、音声信号とを備え、前記変換部は、前記目の動きのデータと、前記口の動きのデータ、および前記音声信号と、変換された前記ロボット領域のデータと、を前記ゼロ交差点のタイミングで関連付けて表現型ルーティンファイルを作成し、前記目の動きのデータと、前記口の動きのデータと、前記音声信号と、前記表現型ルーティンファイルとを関連付けて記憶部に格納するようにしてもよい。 (3) Furthermore, in the robot motion generation device according to one aspect of the present invention, the animation data includes eye movement data, mouth movement data, and an audio signal, and the conversion unit A phenotypic routine file is created by associating the movement data of the mouth movement data, the audio signal, and the converted data of the robot area at the timing of the zero intersection, and , the mouth movement data, the audio signal, and the phenotypic routine file may be stored in the storage unit in association with each other.

（４）また、本発明の一態様に係るロボット動作生成装置において、前記関節は、ロボットの基部と前記ロボットの筐体との接続部と、前記ロボットの前記筐体と前記ロボットの首との接続部と、前記ロボットの前記首と目との接続部のうち、すくなくとも１つであるようにしてもよい。 (4) Furthermore, in the robot motion generation device according to one aspect of the present invention, the joint includes a connecting portion between a base of the robot and a casing of the robot, and a connecting portion between the casing of the robot and a neck of the robot. The connecting portion may be at least one of a connecting portion and a connecting portion between the neck and the eyes of the robot.

（５）上記目的を達成するため、本発明の一態様に係るロボット動作生成方法は、ロボット動作生成装置が、関節の動きのデータを含むアニメーションデータに対して、前記関節毎に前記関節の動きの軌道の速度と加速度とを算出し、算出した前記関節毎の前記関節の動きの軌道の加速度と時刻とのゼロ交差点を抽出し、抽出した前記ゼロ交差点毎に、アニメーション領域の前記関節の動きのデータを、ロボット領域のデータに変換する。 (5) In order to achieve the above object, in a robot motion generation method according to one aspect of the present invention, a robot motion generation device generates motions of the joints for each joint with respect to animation data including joint motion data. calculate the velocity and acceleration of the trajectory of the joint, extract the zero intersection of the calculated acceleration of the trajectory of the movement of the joint for each joint, and time, and calculate the movement of the joint in the animation area for each of the extracted zero intersections. Convert the data into robot domain data.

（６）上記目的を達成するため、本発明の一態様に係るプログラムは、コンピュータに、関節の動きのデータを含むアニメーションデータに対して、前記関節毎に前記関節の動きの軌道の速度と加速度とを算出させ、算出された前記関節毎の前記関節の動きの軌道の加速度と時刻とのゼロ交差点を抽出させ、抽出した前記ゼロ交差点毎に、アニメーション領域の前記関節の動きのデータを、ロボット領域のデータに変換させる。 (6) In order to achieve the above object, a program according to one aspect of the present invention causes a computer to calculate, for each joint, the velocity and acceleration of the movement trajectory of the joint for animation data including joint movement data. and extract the zero intersection between the calculated acceleration of the trajectory of the movement of the joint for each joint and time, and for each of the extracted zero intersections, the data of the movement of the joint in the animation area is transferred to the robot. Convert to area data.

上述した（１）～（６）によれば、アニメーションの動きを実際のロボットの動きへの変換を可能にする。
（３）によれば、マルチメディア要素との動作の同期が失われない。 According to (1) to (6) above, it is possible to convert animation movements into actual robot movements.
According to (3), the synchronization of the operation with the multimedia element is not lost.

実施形態の概要を説明するための図である。FIG. 2 is a diagram for explaining an overview of an embodiment. 実施形態に係るロボットの構成例を示すブロック図である。FIG. 1 is a block diagram showing a configuration example of a robot according to an embodiment. 実施形態に係るロボットの外形例を示す図である。1 is a diagram showing an example of the external shape of a robot according to an embodiment. 実施形態に係るロボットの各可動部の動作例を示す図である。It is a figure showing an example of operation of each movable part of a robot concerning an embodiment. 実施形態に係るアニメーション領域のデータの条件と、ロボット領域のデータの条件を説明するための図である。FIG. 3 is a diagram for explaining conditions for data in an animation area and conditions for data in a robot area according to the embodiment. 実施形態に係るアニメーション領域のデータと、ロボット領域のデータを説明するための図である。FIG. 3 is a diagram for explaining data of an animation area and data of a robot area according to the embodiment. 実施形態に係る関節軌道と速度プロファイルと時刻毎のオーディオビジュアルの要素の時刻毎の変化例を示す図である。FIG. 3 is a diagram illustrating examples of changes in joint trajectories, velocity profiles, and audiovisual elements at each time according to the embodiment; 実施形態に係る生成装置が行う処理のフローチャートである。It is a flowchart of processing performed by the generation device according to the embodiment. アニメーション作成装置によるアニメーション作成の画面例を示す図である。It is a figure which shows the example of a screen of animation creation by an animation creation apparatus.

以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の説明に用いる図面では、各部材を認識可能な大きさとするため、各部材の縮尺を適宜変更している。 Embodiments of the present invention will be described below with reference to the drawings. Note that in the drawings used in the following explanation, the scale of each member is changed as appropriate in order to make each member a recognizable size.

＜概要＞
まず、本実施形態の概要を説明する。
図１は、本実施形態の概要を説明するための図である。本実施形態では、アニメーション領域のデータｇ１を、ロボットの動作に変換し（ｇ２）、変換したハードウェア領域（ロボット領域）のデータｇ３をロボットが実行することで、ロボットにアニメーションのような動作をさせる。なお、動作変換は、関節の形状を維持しながら関節の動きの軌道（以下、関節軌道という）を変換する。 <Summary>
First, an overview of this embodiment will be explained.
FIG. 1 is a diagram for explaining the outline of this embodiment. In this embodiment, the data g1 in the animation area is converted into robot movements (g2), and the robot executes the converted data g3 in the hardware area (robot area), thereby causing the robot to perform animation-like movements. let Note that the motion conversion converts the movement trajectory of the joint (hereinafter referred to as joint trajectory) while maintaining the shape of the joint.

＜ロボット１の構成例＞
次に、ロボット１の構成例を説明する。
図２は、本実施形態に係るロボット１の構成例を示すブロック図である。図２のように、ロボット１は、取得部１１、センサ１２、生成装置１３（ロボット動作生成装置）、記憶部１５、表示部１７、アクチュエータ１８、スピーカー１９、撮影部２０、収音部２１、音声処理部２２、および画像処理部２３を備えている。 <Configuration example of robot 1>
Next, a configuration example of the robot 1 will be explained.
FIG. 2 is a block diagram showing a configuration example of the robot 1 according to the present embodiment. As shown in FIG. 2, the robot 1 includes an acquisition unit 11, a sensor 12, a generation device 13 (robot motion generation device), a storage unit 15, a display unit 17, an actuator 18, a speaker 19, an imaging unit 20, a sound collection unit 21, It includes an audio processing section 22 and an image processing section 23.

生成装置１３は、変換部１４、および動作生成部１６を備えている。
変換部１４は、動作変換部１４１、およびファイル生成部１４２を備えている。
動作生成部１６は、画像生成部１６１、駆動部１６２、および音声生成部１６３を備えている。
画像生成部１６１は、第１画像生成部１６１１、および第２画像生成部１６１２を備えている。
駆動部１６２は、第１駆動部１６２１、第２駆動部１６２２、第３駆動部１６２３、および第４駆動部１６２４を備えている。 The generation device 13 includes a conversion section 14 and a motion generation section 16.
The conversion unit 14 includes a behavior conversion unit 141 and a file generation unit 142.
The motion generation section 16 includes an image generation section 161, a drive section 162, and a sound generation section 163.
The image generation section 161 includes a first image generation section 1611 and a second image generation section 1612.
The drive section 162 includes a first drive section 1621 , a second drive section 1622 , a third drive section 1623 , and a fourth drive section 1624 .

表示部１７は、第１表示部１７１、および第２表示部１７２を備えている。
アクチュエータ１８は、第１アクチュエータ１８１、第２アクチュエータ１８２、第３アクチュエータ１８３、および第４アクチュエータ１８４を備えている。 The display section 17 includes a first display section 171 and a second display section 172.
The actuator 18 includes a first actuator 181, a second actuator 182, a third actuator 183, and a fourth actuator 184.

＜ロボット１の機能、動作＞
次に、ロボット１の各機能部の機能、動作について、図２を参照して説明する。
アニメーション作成装置２は、作業者の操作に基づいてアニメーションデータを作成する。アニメーション作成装置２は、例えばパーソナルコンピュータである。 <Function and operation of robot 1>
Next, the functions and operations of each functional section of the robot 1 will be explained with reference to FIG. 2.
The animation creation device 2 creates animation data based on the operator's operations. The animation creation device 2 is, for example, a personal computer.

取得部１１は、アニメーション作成装置２から、ロボット１に対する動作指示であるアニメーションデータを取得する。なお、アニメーションデータには、後述するように動作データ、目の動きのデータ、口の動きのデータ、および音声信号が含まれる。取得部１１は、アニメーションデータを変換部１４に出力する。 The acquisition unit 11 acquires animation data, which is a movement instruction for the robot 1, from the animation creation device 2. Note that the animation data includes motion data, eye movement data, mouth movement data, and audio signals, as will be described later. The acquisition unit 11 outputs the animation data to the conversion unit 14.

センサ１２は、ロボット１の筐体の傾きを検出するジャイロセンサ、ロボット１の筐体の動きを検出する加速度センサ等である。センサ１２は、検出した検出値を動作生成部１６に出力する。 The sensor 12 is a gyro sensor that detects the inclination of the casing of the robot 1, an acceleration sensor that detects the movement of the casing of the robot 1, or the like. The sensor 12 outputs the detected value to the motion generation section 16.

撮影部２０は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ；相補性金属酸化膜半導体）撮影素子、またはＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ；電荷結合素子）撮影素子等である。撮影部２０は、目に相当し、左右に２つの撮影部２０ａ、２０ｂ（図３）を備えている。撮影部２０は、撮影した画像（静止画、連続した静止画、動画）を画像処理部２３に出力する。 The imaging unit 20 is, for example, a CMOS (Complementary Metal Oxide Semiconductor) imaging device, a CCD (Charge Coupled Device) imaging device, or the like. The imaging unit 20 corresponds to the eye, and includes two imaging units 20a and 20b (FIG. 3) on the left and right. The photographing section 20 outputs photographed images (still images, continuous still images, and moving images) to the image processing section 23.

収音部２１は、例えば複数のマイクロホンで構成されるマイクロホンアレイである。収音部２１は、複数のマイクロホンが収音した音響信号を音声処理部２２に出力する。収音部２１は、耳に相当する。なお、収音部２１は、マイクロホンが収音した音響信号それぞれを、同じサンプリング信号でサンプリングされて、アナログ信号からデジタル信号に変換した後、音声処理部２２に出力するようにしてもよい。 The sound collection unit 21 is, for example, a microphone array composed of a plurality of microphones. The sound collection unit 21 outputs the acoustic signals collected by the plurality of microphones to the audio processing unit 22. The sound collection section 21 corresponds to an ear. Note that the sound collection section 21 may output each of the acoustic signals picked up by the microphone to the audio processing section 22 after being sampled with the same sampling signal and converting the analog signal into a digital signal.

音声処理部２２は、収音部２１によって収音された音響信号に対して音声処理（例えば、音声区間検出処理、雑音抑圧処理、音源同定処理、音声認識処理、特徴量抽出等）を行う。音響信号に複数の音源が含まれている場合、音声処理部２２は、音源毎に音声処理を行う。音声処理部２２は、音声処理した結果（含む抽出された音源毎の音響信号）を動作生成部１６に出力する。 The audio processing unit 22 performs audio processing (for example, audio segment detection processing, noise suppression processing, sound source identification processing, speech recognition processing, feature amount extraction, etc.) on the acoustic signal collected by the sound collection unit 21 . When the acoustic signal includes multiple sound sources, the audio processing unit 22 performs audio processing for each sound source. The audio processing unit 22 outputs the audio processing result (including the extracted acoustic signal for each sound source) to the motion generation unit 16.

画像処理部２３は、撮影部２０によって撮影された画像に対して画像処理（例えば、二値化処理、エッジ検出処理、特徴量抽出処理、クラスタリング処理等）を行う。画像処理部２３は、画像処理した結果を動作生成部１６に出力する。 The image processing unit 23 performs image processing (for example, binarization processing, edge detection processing, feature extraction processing, clustering processing, etc.) on the image photographed by the photographing unit 20. The image processing unit 23 outputs the result of image processing to the motion generation unit 16.

生成装置１３は、取得したアニメーションデータをロボット１の動作に変換して、ロボット１の動作を生成する。 The generation device 13 converts the acquired animation data into a motion of the robot 1 and generates the motion of the robot 1.

変換部１４は、取得したアニメーションデータをロボット１の動作に変換し、ロボット領域のデータ（ファイル）を生成する。 The conversion unit 14 converts the acquired animation data into motion of the robot 1 and generates data (file) of the robot area.

動作変換部１４１は、アニメーションデータに含まれる動作データを、ロボット１の動作のデータに変換する。なお、アニメーションデータ、変換方法、出力データ等については後述する。 The motion conversion unit 141 converts motion data included in the animation data into motion data of the robot 1. Note that the animation data, conversion method, output data, etc. will be described later.

ファイル生成部１４２は、アニメーションデータに含まれる目の動きのデータと口の動きのデータおよび音声信号と、動作変換部１４１が変換したロボット１の動作のデータとを統合して、表現型ルーティンファイルを生成する。ファイル生成部１４２は、目の動きのデータと口の動きのデータおよび音声信号と、生成した表現型ルーティンファイルと、を記憶部１５に格納する。 The file generation unit 142 integrates the eye movement data, mouth movement data, and audio signals included in the animation data with the movement data of the robot 1 converted by the movement conversion unit 141, and generates an expression routine file. generate. The file generation unit 142 stores the eye movement data, the mouth movement data, the audio signal, and the generated phenotypic routine file in the storage unit 15.

第１画像生成部１６１１は、変換部１４が出力する第１画像データに基づいて、目の動作に対応する第１画像情報を生成する。 The first image generation unit 1611 generates first image information corresponding to eye movements based on the first image data output by the conversion unit 14.

第２画像生成部１６１２は、変換部１４が出力する第２画像データに基づいて、口の動作に対応する第２画像情報を生成する。 The second image generation unit 1612 generates second image information corresponding to mouth movements based on the second image data output by the conversion unit 14.

第１駆動部１６２１は、変換部１４が出力する第１駆動データに基づいて、ボディに相当する箇所の回転動作に対応する第１駆動信号を生成する。 The first drive unit 1621 generates a first drive signal corresponding to a rotational movement of a portion corresponding to the body, based on the first drive data output by the conversion unit 14.

第２駆動部１６２２は、変換部１４が出力する第２駆動データに基づいて、首に相当する箇所の傾き動作に対応する第２駆動信号を生成する。 The second drive unit 1622 generates a second drive signal corresponding to a tilting motion of a portion corresponding to the neck, based on the second drive data output by the conversion unit 14.

第３駆動部１６２３は、変換部１４が出力する第３駆動データに基づいて、目に相当する箇所の傾き動作に対応する第３駆動信号を生成する。 The third drive unit 1623 generates a third drive signal corresponding to the tilting motion of the portion corresponding to the eye, based on the third drive data output by the conversion unit 14.

第４駆動部１６２４は、変換部１４が出力する第４駆動データに基づいて、目に相当する箇所の回転動作に対応する第４駆動信号を生成する。 The fourth drive unit 1624 generates a fourth drive signal corresponding to a rotational movement of a portion corresponding to the eye, based on the fourth drive data output by the conversion unit 14.

音声生成部１６３は、変換部１４が出力する音声データに基づいて、出力音声信号を生成する。 The audio generation unit 163 generates an output audio signal based on the audio data output by the conversion unit 14.

記憶部１５は、変換に用いる変換式、しきい値、定数、ロボット１の制御に必要なプログラム等を記憶する。 The storage unit 15 stores conversion formulas, threshold values, constants, programs necessary for controlling the robot 1, and the like used for conversion.

第１表示部１７１は、目に相当する表示部であり、液晶画像表示装置または有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）画像表示装置等である。第１表示部１７１は、第１画像生成部１６１１が出力する第１画像情報に基づいて、目の動作に対応するように画像を表示する。なお、第１表示部１７１は、左右に２つの第１表示部１７１ａ、１７１ｂ（図３）を備えている。 The first display section 171 is a display section corresponding to the eye, and is a liquid crystal image display device, an organic EL (Electro Luminescence) image display device, or the like. The first display section 171 displays an image based on the first image information output by the first image generation section 1611 so as to correspond to the movement of the eyes. Note that the first display section 171 includes two first display sections 171a and 171b (FIG. 3) on the left and right sides.

第２表示部１７２は、口に相当する表示部であり、例えばＬＥＤ（発光ダイオード）、面発光ダイオード等である。第２表示部１７２は、第２画像生成部１６１２が出力する第２画像情報に基づいて、口の動作に対応するようにＬＥＤの点灯と消灯を行う。 The second display section 172 is a display section corresponding to the mouth, and is, for example, an LED (light emitting diode), a surface light emitting diode, or the like. The second display section 172 turns on and off the LEDs based on the second image information output by the second image generation section 1612 so as to correspond to the mouth movements.

第１アクチュエータ１８１は、第１駆動部１６２１が出力する第１駆動信号に応じて、ボディに相当する箇所（ブーム；図３参照）を基部を中心に、例えば回転させる。 The first actuator 181 rotates, for example, a portion corresponding to the body (boom; see FIG. 3) around the base in response to a first drive signal output by the first drive unit 1621.

第２アクチュエータ１８２は、第２駆動部１６２２が出力する第２駆動信号に応じて、首に相当する箇所を、例えば前後に傾ける。 The second actuator 182 tilts a portion corresponding to the neck forward or backward, for example, in accordance with the second drive signal output by the second drive unit 1622.

第３アクチュエータ１８３は、第３駆動部１６２３が出力する第３駆動信号に応じて、目に相当する箇所を、例えば上下に傾ける。 The third actuator 183 tilts, for example, a portion corresponding to the eye up or down in accordance with the third drive signal output by the third drive unit 1623.

第４アクチュエータ１８４は、第４駆動部１６２４が出力する第４駆動信号に応じて、目に相当する箇所を、例えば回転させる。 The fourth actuator 184 rotates, for example, a portion corresponding to the eye in response to a fourth drive signal output by the fourth drive unit 1624.

スピーカー１９は、音声生成部１６３が出力する出力音声信号を出力する。 The speaker 19 outputs the output audio signal output by the audio generator 163.

＜ロボット１の外形例＞
次に、ロボット１の外形例を説明する。
図３は、本実施形態に係るロボット１の外形例を示す図である。図３の正面図ｇ５、側面図ｇ７の例では、ロボット１は３つの表示部１７（第１表示部１７１ａ、第１表示部１７１ｂ、第２表示部１７２）を備えている。 <Example of external shape of robot 1>
Next, an example of the external shape of the robot 1 will be explained.
FIG. 3 is a diagram showing an example of the external shape of the robot 1 according to the present embodiment. In the example shown in the front view g5 and side view g7 of FIG. 3, the robot 1 includes three display sections 17 (first display section 171a, first display section 171b, and second display section 172).

また図３の例では、撮影部２０ａが第１表示部１７１ａの上部に取り付けられ、撮影部２０ｂが第１表示部１７１ｂの上部に取り付けられている。スピーカー１９は、筐体１２１の人の口に相当する画像を表示する第２表示部１７２の近傍に取り付けられている。収音部２１は、筐体１２１に取り付けられている。 Further, in the example of FIG. 3, the photographing section 20a is attached to the top of the first display section 171a, and the photographing section 20b is attached to the top of the first display section 171b. The speaker 19 is attached near the second display section 172 that displays an image corresponding to a human mouth on the housing 121. The sound collection section 21 is attached to the housing 121.

また、ロボット１は、基部１２０、ブーム１２２、および水平バー１２３を備える。筐体１２１は、基部１２０に可動部１９１（含む第１アクチュエータ１８１）を介して回転可能に取り付けられている。
ブーム１２２は、筐体１２１に可動部１９２（含む第２アクチュエータ１８２）を介して可動可能に取り付けられている。
水平バー１２３は、ブーム１２２に可動部１９３（含む第３アクチュエータ１８３）を介して回転可能に取り付けられている。
第１表示部１７１ａは、水平バー１２３に可動部１９４ａ（含む第４アクチュエータ１８４）を介して回転可能に取り付けられている。第１表示部１７１ｂは、水平バー１２３に可動部１９４ｂ（含む第４アクチュエータ１８４）を介して回転可能に取り付けられている。 The robot 1 also includes a base 120, a boom 122, and a horizontal bar 123. The housing 121 is rotatably attached to the base 120 via a movable part 191 (including the first actuator 181).
The boom 122 is movably attached to the housing 121 via a movable part 192 (including the second actuator 182).
The horizontal bar 123 is rotatably attached to the boom 122 via a movable part 193 (including the third actuator 183).
The first display section 171a is rotatably attached to the horizontal bar 123 via a movable section 194a (including the fourth actuator 184). The first display section 171b is rotatably attached to the horizontal bar 123 via a movable section 194b (including the fourth actuator 184).

なお、図３に示したロボット１の外形は一例であり、これに限らない。ロボット１は、例えば２つの動作可能な脚を有する二足歩行型ロボットであってもよい。 Note that the outer shape of the robot 1 shown in FIG. 3 is an example, and is not limited to this. The robot 1 may be a bipedal robot having two movable legs, for example.

次に、ロボット１の各可動部の動作例を説明する。
図４は、本実施形態に係るロボット１の各可動部の動作例を示す図である。
符号ｇ１０に示す領域の図は、ロボット１の例えば初期状態を表している。
基部１２０対する筐体１２１の可動範囲は、例えば３２０度である（ｇ１１）。
筐体１２１に対するブーム１２２の可動範囲は、例えば５７度である（ｇ１２）。ブーム１２２は、前方と後方に傾けることが可能である。
ブーム１２２に対する水平バー１２３の傾きの可動範囲は、例えば５７度である（ｇ１３）。水平バー１２３は、目に相当する第１表示部１７１を上方向に向ける、または下方向に向けるように傾けることが可能である。
水平バー１２３に対して第１表示部１７１は、回転可能である（ｇ１４）。第１表示部１７１（第１表示部１７１ａ、第１表示部１７１ｂ）は、内側に回転させる、または外側に回転させることが可能である。 Next, an example of the operation of each movable part of the robot 1 will be explained.
FIG. 4 is a diagram showing an example of the operation of each movable part of the robot 1 according to the present embodiment.
The diagram of the area indicated by reference numeral g10 represents, for example, the initial state of the robot 1.
The movable range of the housing 121 with respect to the base 120 is, for example, 320 degrees (g11).
The movable range of the boom 122 with respect to the housing 121 is, for example, 57 degrees (g12). Boom 122 can be tilted forward and backward.
The movable range of the inclination of the horizontal bar 123 with respect to the boom 122 is, for example, 57 degrees (g13). The horizontal bar 123 can be tilted so that the first display section 171 corresponding to the eyes is directed upward or downward.
The first display section 171 is rotatable with respect to the horizontal bar 123 (g14). The first display section 171 (first display section 171a, first display section 171b) can be rotated inward or outward.

さらに、第１表示部１７１は、第１の部位１７１１、第２の部位１７１２を備えていてもよい（ｇ１５）。この場合、ロボット１は、駆動部１６２が、さらに第５駆動部１６２５を備え、アクチュエータ１８が第５アクチュエータ１８５を備えるようにしてもよい（ｇ１５）。これにより、アニメーション特有の動作の一つである目が飛び出す動作を、第２の部位１７１２に対して第２の部位１７１２を繰り出すように制御して実現するようにしてもよい。あるいは、目が引っ込む動作を、第２の部位１７１２に対して第２の部位１７１２を引き込むように制御して実現するようにしてもよい。 Furthermore, the first display section 171 may include a first section 1711 and a second section 1712 (g15). In this case, in the robot 1, the drive unit 162 may further include a fifth drive unit 1625, and the actuator 18 may include a fifth actuator 185 (g15). As a result, the eye popping action, which is one of the actions unique to animation, may be achieved by controlling the second part 1712 to move out relative to the second part 1712. Alternatively, the action of retracting the eyes may be achieved by controlling the second region 1712 to retract the second region 1712.

＜アニメーション領域のデータ、変換、ロボット領域のデータ＞
次に、アニメーション領域のデータ、変換、ロボット領域のデータについて説明する。
本実施形態では、アニメーションの原理を、ロボット１の表現力を定義するために使用する。それぞれの表現は、ロボット１の目のための動きと動画、口のための音声と口の動きのためのＬＥＤのシーケンスの組み合わせである。アニメーションの領域とロボットの領域とは異なるため、ロボットの動きを中心に両者間の変換が必要である。アニメーションの原理と結果を、異なる動的および運動学的特性を持つ異なるロボット動作に適用する必要がある。ビュアル要素と動きの同期を維持する必要がある。 <Animation area data, conversion, robot area data>
Next, data in the animation area, conversion, and data in the robot area will be explained.
In this embodiment, the principles of animation are used to define the expressiveness of the robot 1. Each expression is a combination of motion and video for the eyes of the robot 1, audio for the mouth, and LED sequences for the mouth movement. Since the animation domain and the robot domain are different, it is necessary to convert between the two, centering on the robot's movement. Animation principles and results need to be applied to different robot movements with different dynamic and kinematic characteristics. Must maintain synchronization of visual elements and movement.

図５は、本実施形態に係るアニメーション領域のデータの条件ｇ２０と、ロボット領域のデータの条件ｇ３０を説明するための図である。 FIG. 5 is a diagram for explaining a condition g20 for animation area data and a condition g30 for robot area data according to the present embodiment.

まず、アニメーション領域のデータの条件ｇ２０について説明する。
作業者は、ロボット１の動作を、例えばパーソナルコンピュータを用いてアニメーション領域で作成する。作成されたアニメーションデータは、動作とオーディオビジュアル要素とで構成されている。また、アニメーションデータには、動作する部位と動作の軌道を示す情報が含まれている。
なお、作業者は、ロボットの運動学をある程度理解した上で動作を設計することが好ましいが、アニメーションを作成する際、ロボットの物理的な動作心配する必要はない。
また、視聴覚モダリティはロボット動作と無関係である。しかしながら、本実施形態では、「視聴覚要素が、動きの方向の変化の間で均一に保たれる」の制約を設けることで、両者の間に関連性を持たせるようにした。 First, the condition g20 for data in the animation area will be explained.
The operator creates the motion of the robot 1 in an animation area using, for example, a personal computer. The created animation data consists of motion and audiovisual elements. The animation data also includes information indicating the moving parts and the trajectory of the movement.
Although it is preferable that the operator designs the motion after understanding the kinematics of the robot to some extent, there is no need to worry about the physical motion of the robot when creating an animation.
Also, the audiovisual modality is independent of robot motion. However, in this embodiment, a relationship is established between the two by providing the constraint that "the audiovisual elements are kept uniform between changes in the direction of movement."

動作変換部１４１は、アニメーションデータを、ロボットの動作における全ての限界を満たし、オーディオビジュアル要素との同期を維持しながら、最終的なロボットの動作のデータに変換する。 The motion converter 141 converts the animation data into final robot motion data while satisfying all limitations in robot motion and maintaining synchronization with audiovisual elements.

ロボット領域のデータの条件ｇ４０は、動的および運動学的制限、各ロボットの特定の特性によって特徴づけられる。 The robot domain data conditions g40 are characterized by dynamic and kinematic constraints, specific characteristics of each robot.

図６は、本実施形態に係るアニメーション領域のデータと、ロボット領域のデータを説明するための図である。
アニメーション領域のデータ（アニメーションデータ）ｇ１００には、関節毎の動作ファイルｇ１０１、目のビデオファイルｇ１０２、ＬＥＤ（口）の画像ファイルｇ１０３、および音声ファイルｇ１０４が含まれている。なお、関節毎の動作ファイルｇ１０１には、ロボット１の仕様に基づく各部の動作データが含まれている。各部の動作データは、例えば、体の回転、首の傾き、眼球の運動、目の部分の傾斜、目の部分の前後の動き等である。 FIG. 6 is a diagram for explaining data of an animation area and data of a robot area according to this embodiment.
The animation area data (animation data) g100 includes a motion file g101 for each joint, an eye video file g102, an LED (mouth) image file g103, and an audio file g104. Note that the motion file g101 for each joint includes motion data for each part based on the specifications of the robot 1. The motion data of each part includes, for example, the rotation of the body, the tilt of the neck, the movement of the eyeballs, the inclination of the eye area, the back and forth movement of the eye area, and the like.

ロボット領域のデータｇ２００には、表現型ルーティンファイルｇ２０１（例えばＪＳＯＮ形式ファイル）、ルーティンＤＢ（データベース）ｇ２０２が含まれている。なお、表現型ルーティンファイルｇ２０１、ルーティンＤＢ（データベース）ｇ２０２は、記憶部１５（図２）に格納される。また、表現型ルーティンファイルｇ２０１には、アニメーションデータに含まれる目の動きのデータと口の動きのデータおよび音声信号と、動作変換されたロボットの動作のデータと、が含まれている。また、ルーティンＤＢｇ２０２には、アニメーションデータに含まれる目の動きのデータと口の動きのデータおよび音声信号と表現型ルーティンファイルｇ２０１と、が格納される。 The robot area data g200 includes an expression routine file g201 (for example, a JSON format file) and a routine DB (database) g202. Note that the phenotype routine file g201 and the routine DB (database) g202 are stored in the storage unit 15 (FIG. 2). Furthermore, the expression routine file g201 includes eye movement data, mouth movement data, and audio signals included in the animation data, and data on the robot's motion that has been converted into motion. Further, the routine DBg202 stores eye movement data, mouth movement data, audio signals, and expression routine file g201 included in the animation data.

なお、アニメーションデータに含まれる目の動きのデータと口の動きのデータおよび音声信号と、動作変換されたロボットの動作のデータとは、ゼロ交差点のタイミングで同期されている。これにより、本実施形態によれば、マルチメディア要素との動作の同期が失われない。 Note that the eye movement data, mouth movement data, and audio signal included in the animation data, and the motion-converted robot motion data are synchronized at the timing of the zero intersection. As a result, according to this embodiment, the synchronization of the operation with the multimedia element is not lost.

＜変換方法＞
次に、動作変換部１４１が行う変換方法例を説明する。
変換部１４は、アニメーション化された軌道が、ロボット１の実際の動力学（キャリブレーションによって得られた）に準拠しているか否かを確認する。
動作変換部１４１は、ロボット１の動的制約が満たされると同時に、マルチメディア要素（目および口のＬＥＤのための画像情報、およびスピーカーから出力するための音声信号）との動作の同期が失われないように、動作を変換する。動作変換部１４１は、変換において、関節の形状を維持したまま、関節軌道を変形させ、関節の方向の変化の時間的瞬間を維持する。これにより、マルチメディア要素との動作の同期が失われない。なお、方向の変化は、表現のための視聴覚部分の潜在的な変化に対応する軌道の部分である。 <Conversion method>
Next, an example of a conversion method performed by the motion conversion unit 141 will be described.
The conversion unit 14 checks whether the animated trajectory complies with the actual dynamics of the robot 1 (obtained through calibration).
The motion conversion unit 141 performs a motion conversion unit 141 to ensure that the dynamic constraints of the robot 1 are satisfied and at the same time synchronization of the motion with the multimedia elements (image information for the LEDs of the eyes and mouth, and audio signals to be output from the speakers) is lost. Convert the behavior so that it does not occur. In the conversion, the motion conversion unit 141 deforms the joint trajectory while maintaining the shape of the joint, and maintains the temporal instant of change in the direction of the joint. This ensures that the synchronization of the operation with the multimedia elements is not lost. Note that the change in direction is the part of the trajectory that corresponds to a potential change in the audiovisual part for representation.

図７は、本実施形態に係る関節軌道と速度プロファイルと時刻毎のオーディオビジュアルの要素の時刻毎の変化例を示す図である。
図７において、横軸は時刻である。曲線ｇ３００は、アニメーションにおける関節軌道θ（ｔ）である。曲線ｇ３１０は、関節軌道の速度θ’（ｔ）プロファイルである。変換において重要なのは、速度プロファイルにおける速度のゼロ交差点（例えば時刻ｔ_１の点ｇ３１１、時刻ｔ_２の点ｇ３１２）である。画像ｇ３２０は、アニメーションデータにおける時刻毎のオーディオビジュアルの要素である。なお、図７では、１つの関節軌道と速度プロファイルを示しているが、動作変換部１４１は、関節毎に処理を行う。 FIG. 7 is a diagram showing examples of changes in joint trajectories, velocity profiles, and audiovisual elements at each time according to the present embodiment.
In FIG. 7, the horizontal axis is time. The curve g300 is the joint trajectory θ(t) in the animation. Curve g310 is the velocity θ'(t) profile of the joint trajectory. What is important in the conversion are the zero intersections of the speed in the speed profile (for example, point g311 at time _t1 and point g312 at time _t2 ). The image g320 is an audiovisual element for each time in the animation data. Although FIG. 7 shows one joint trajectory and velocity profile, the motion conversion unit 141 performs processing for each joint.

動作変換部１４１は、取得したアニメーションデータの軌道を微分して速度プロファイルを生成する。そして、動作変換部１４１は、生成した速度プロファイルを用いて、関節の速度のゼロ交差点を検出する。この方法は、これらの時間的な瞬間を保つ。
動作変換部１４１は、ゼロ交差点を維持し、ロボット１の既知のプロファイルのロボット領域における速度ｖ_{ｉ，ｍａｘ}と加速度ａ_{ｉ，ｍａｘ}の限界が尊重されるように、スケーリングを、次式（１）を用いて行うことで、関節軌道θ_ｉ（ｔ）を修正し新しい軌道η_ｉ（ｔ）を変換する。 The motion conversion unit 141 generates a velocity profile by differentiating the trajectory of the acquired animation data. Then, the motion conversion unit 141 uses the generated velocity profile to detect the zero crossing point of the velocity of the joint. This method preserves these temporal moments.
The motion conversion unit 141 performs scaling according to the following equation (1) so that the zero crossing point is maintained and the limits of the velocity v _i,max and acceleration a _i,max in the robot area of the known profile of the robot 1 are respected. By using , the joint trajectory θ _i (t) is corrected and a new trajectory η _i (t) is transformed.

式（１）において、Ｔは変換関数であり、η’_ｉ（ｔ）はロボット領域における速度であり、η’’_ｉ（ｔ）はロボット領域における加速度である。また、式（１）において４行目の∀ｔ_ｋ｜θ’_ｉ（ｔ）の式は、スケーリングを表す。また、添字_ｉは、各関節を表す。 In equation (1), T is a transformation function, η′ _i (t) is the velocity in the robot region, and η″ _i (t) is the acceleration in the robot region. Further, in equation (1), the equation ∀t _k |θ' _i (t) on the fourth line represents scaling. Moreover, the subscript _i represents each joint.

アニメーションの作成において、作業者はキネマティクスの基本的な考え方を持っているが、完全に従う必要はなく、より創造的であることは自由である。スケーリングを使うことでアニメーションを変える必要はない。動作変換部１４１は、変換によってスケーリング結果をハードウェアに反映する。 In creating animations, workers have a basic idea of kinematics, but they don't have to follow it completely and are free to be more creative. By using scaling, there is no need to change the animation. The motion conversion unit 141 reflects the scaling result on the hardware by conversion.

初期の関節軌道θ_ｉ（ｔ）は時間的に離散化される。制約が満たされている部分は、ロボット１のハードウェアの物理的な限界を超えていないことを意味する。このため、変換部１４は、制約が満たされている部分に対して、アニメーションデータの指示通りに動作させる。そして、変換部１４は、制約が満たされない部分に対して、変換を適用する。このようにして、運動の方向の変化と運動全体の持続時間は、ロボット１の動作の残りの部分と同期した状態に保たれる。なお、関節ｉ毎に異なる変換関数Ｔが得られる。 The initial joint trajectory θ _i (t) is temporally discretized. A portion where the constraints are satisfied means that the physical limits of the hardware of the robot 1 are not exceeded. Therefore, the converting unit 14 causes the portion where the constraints are satisfied to operate as instructed by the animation data. Then, the conversion unit 14 applies the conversion to the portion where the constraints are not satisfied. In this way, the change in direction of movement and the duration of the overall movement are kept synchronized with the rest of the movement of the robot 1. Note that a different transformation function T is obtained for each joint i.

このように、本実施形態では、関節毎のゼロ交差点のデータを、アニメーション領域のデータからロボット領域のデータに変換するようにした。また、本実施形態では、変換の際、スケーリングを行うようにした。これにより本実施形態によれば、ゼロクロスポイントで動作を同期させたため、形状を維持させることを保証できる。この結果、本実施形態によれば、関節の形状を維持したまま関節軌道を変形させることで、関節の方向の変化の時間的瞬間を維持することができる。 In this manner, in this embodiment, the zero intersection data for each joint is converted from animation area data to robot area data. Furthermore, in this embodiment, scaling is performed during conversion. According to this embodiment, since the operations are synchronized at the zero-crossing point, it is possible to ensure that the shape is maintained. As a result, according to this embodiment, by deforming the joint trajectory while maintaining the shape of the joint, it is possible to maintain the temporal instant of change in the direction of the joint.

＜処理手順例＞
次に、生成装置１３が行う処理手順例を説明する。
図８は、本実施形態に係る生成装置１３が行う処理のフローチャートである。 <Processing procedure example>
Next, an example of a processing procedure performed by the generation device 13 will be described.
FIG. 8 is a flowchart of processing performed by the generation device 13 according to this embodiment.

（ステップＳ１１）変換部１４は、アニメーション作成装置２から、取得部１１を介してアニメーションデータを取得する。 (Step S11) The conversion unit 14 acquires animation data from the animation creation device 2 via the acquisition unit 11.

（ステップＳ１２）動作変換部１４１は、アニメーションデータに含まれる動作データを用いて、関節毎に速度と加速度を算出する。 (Step S12) The motion conversion unit 141 calculates velocity and acceleration for each joint using motion data included in the animation data.

（ステップＳ１３）動作変換部１４１は、関節毎に加速度のゼロ交差点を検出する。 (Step S13) The motion conversion unit 141 detects the zero intersection point of acceleration for each joint.

（ステップＳ１４）動作変換部１４１は、関節毎にゼロ交差点のデータを、式（１）を用いて変換する。 (Step S14) The motion conversion unit 141 converts the data of the zero intersection for each joint using equation (1).

（ステップＳ１５）ファイル生成部１４２は、アニメーションデータに含まれる目の動きのデータと口の動きのデータおよび音声信号と、動作変換されたロボットの動作のデータ（ロボット領域のデータ）と、をゼロ交差点のタイミングで同期して関連付けて表現型ルーティンファイルを作成する。 (Step S15) The file generation unit 142 zeroes out the eye movement data, mouth movement data, and audio signals included in the animation data, and the robot movement data (robot area data) that has been converted into movement. Create a phenotype routine file by synchronizing and associating at the timing of the intersection.

（ステップＳ１６）ファイル生成部１４２は、アニメーションデータに含まれる目の動きのデータと口の動きのデータおよび音声信号と表現型ルーティンファイルを関連付けてルーティンＤＢに格納する。 (Step S16) The file generation unit 142 associates the eye movement data, mouth movement data, and audio signal included in the animation data with the expression routine file and stores them in the routine DB.

＜アニメーション作成装置＞
次に、アニメーション作成装置２（図２）によるアニメーション作成の画面例を説明する。
図９は、アニメーション作成装置２によるアニメーション作成の画面例を示す図である。図９の例では、動作選択を行う領域ｇ４０１、動作を作成する領域ｇ４０２、現在の状態を表示する領域ｇ４０３、および作成したアニメーションを静止が状態で示す領域ｇ４０４を含んでいる。作業者（またはアニメーター）は、このような画面を操作して、ロボット１に動作させたいアニメーションを作成する。なお、図８に示した操作画面例は一例であり、これに限らない。他の選択画面や表示領域を含んでいてもよい。 <Animation creation device>
Next, an example of a screen for creating an animation by the animation creating device 2 (FIG. 2) will be described.
FIG. 9 is a diagram showing an example of a screen for animation creation by the animation creation device 2. As shown in FIG. The example in FIG. 9 includes an area g401 for selecting an action, an area g402 for creating an action, an area g403 for displaying the current state, and an area g404 for showing the created animation in a static state. A worker (or animator) operates such a screen to create an animation that he wants the robot 1 to perform. Note that the example of the operation screen shown in FIG. 8 is one example, and the present invention is not limited to this. It may also include other selection screens and display areas.

以上のように、本実施形態では、アニメーションの動きを実際のロボットの動きに変換するようにした。また、本実施形態では、関節の形状を維持しながら関節軌道を変換する。すなわち、関節の方向の変化の瞬間を保持するようにした。 As described above, in this embodiment, animation movements are converted into actual robot movements. Furthermore, in this embodiment, the joint trajectory is converted while maintaining the shape of the joint. In other words, the moment of change in the direction of the joint is maintained.

これにより、本実施形態によれば、関節の速度のゼロ交差点を探し、それらの時間を不変に保つことで実現できる。
また、本実施形態によれば、アニメのモーションを変換して、ロボットの動的な制約が満たされると同時に、アニメ的モーションとマルチメディア要素（つまり、目の動き、口（ＬＥＤ）の動き、および音声）は失われない。
また、本実施形態によれば、関節の形状を維持しながら関節軌道を変換することで関節の方向の変化の瞬間が保持される。
また、本実施形態によれば、アニメーションの動きを、運動学的および動的な制約を尊重するロボットの動きに変換すると同時に、表現力のある動きに適用したアニメーションの固有の原理と手法の整合性を維持することができる。 According to this embodiment, this can be achieved by searching for the zero crossing points of the joint velocities and keeping those times unchanged.
In addition, according to the present embodiment, the animated motion is converted so that the dynamic constraints of the robot are satisfied, and at the same time, the animated motion and multimedia elements (i.e., eye movements, mouth (LED) movements, and audio) are not lost.
Furthermore, according to the present embodiment, the moment of change in the direction of the joint is maintained by converting the joint trajectory while maintaining the shape of the joint.
Additionally, according to the present embodiment, animation movements can be converted into robot movements that respect kinematic and dynamic constraints, while at the same time aligning the inherent principles and techniques of animation applied to expressive movements. can maintain sex.

なお、本発明における生成装置１３の機能全てまたは一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより生成装置１３が行う処理の全てまたは一部を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。 Note that a program for realizing all or part of the functions of the generation device 13 in the present invention may be recorded on a computer-readable recording medium, and the program recorded on the recording medium may be read into a computer system and executed. All or a part of the processing performed by the generation device 13 may be performed by. Note that the "computer system" herein includes hardware such as an OS and peripheral devices. Furthermore, the term "computer system" includes a WWW system equipped with a home page providing environment (or display environment). Furthermore, the term "computer-readable recording medium" refers to portable media such as flexible disks, magneto-optical disks, ROMs, and CD-ROMs, and storage devices such as hard disks built into computer systems. Furthermore, "computer-readable recording medium" refers to volatile memory (RAM) inside a computer system that serves as a server or client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. This also includes programs that are retained for a certain period of time.

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。 Further, the program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the "transmission medium" that transmits the program refers to a medium that has a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line. Moreover, the above-mentioned program may be for realizing a part of the above-mentioned functions. Furthermore, it may be a so-called difference file (difference program) that can realize the above-described functions in combination with a program already recorded in the computer system.

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。 Although the mode for implementing the present invention has been described above using embodiments, the present invention is not limited to these embodiments in any way, and various modifications and substitutions can be made without departing from the gist of the present invention. can be added.

１…ロボット、１１…取得部、１２…センサ、１３…生成装置、１４…変換部、１５…記憶部、１６…動作生成部、１７…表示部、１８…アクチュエータ、１９…スピーカー、２０，２０ａ，２０ｂ…撮影部、２１…収音部、２２…音声処理部、２３…画像処理部、１４１…動作変換部、１４２…ファイル生成部、１６１…画像生成部、１６２…駆動部、１６３…音声生成部、１６１１…第１画像生成部、１６１２…第２画像生成部、１６２１…第１駆動部、１６２２…第２駆動部、１６２３…第３駆動部、１６２４…第４駆動部、１７１，１７１ａ，１７１ｂ…第１表示部、１７２…第２表示部、１８１…第１アクチュエータ、１８２…第２アクチュエータ、１８３…第３アクチュエータ、１８４…第４アクチュエータ、１２０…基部、１２１…筐体、１２２…ブーム、１２３…水平バー、１９１，１９２，１９３，１９４ａ，１９４ｂ…可動部 DESCRIPTION OF SYMBOLS 1... Robot, 11... Acquisition unit, 12... Sensor, 13... Generation device, 14... Conversion unit, 15... Storage unit, 16... Motion generation unit, 17... Display unit, 18... Actuator, 19... Speaker, 20, 20a , 20b... Photographing section, 21... Sound collection section, 22... Audio processing section, 23... Image processing section, 141... Motion conversion section, 142... File generation section, 161... Image generation section, 162... Drive section, 163... Audio Generation unit, 1611...First image generation unit, 1612...Second image generation unit, 1621...First drive unit, 1622...Second drive unit, 1623...Third drive unit, 1624...Fourth drive unit, 171, 171a , 171b...first display section, 172...second display section, 181...first actuator, 182...second actuator, 183...third actuator, 184...fourth actuator, 120...base, 121...housing, 122... Boom, 123...Horizontal bar, 191, 192, 193, 194a, 194b...Movable part

Claims (6)

関節の動きのデータを含むアニメーションデータに対して、前記関節毎に前記関節の動きの軌道の速度と加速度とを算出し、
算出した前記関節毎の前記関節の動きの軌道の加速度と時刻とのゼロ交差点を抽出し、
抽出した前記ゼロ交差点毎に、アニメーション領域の前記関節の動きのデータを、ロボット領域のデータに変換する、変換部、
を備え、
前記変換部は、算出した前記アニメーションデータの軌道の速度を用いて、関節速度のゼロ交差点を抽出し、前記ゼロ交差点を維持し、ロボット領域における速度と加速度の限界が尊重されるように、関節軌道を修正して新しい軌道に変換することで、抽出した前記ゼロ交差点毎に、アニメーション領域の前記関節の動きのデータを、ロボット領域のデータに変換する、ロボット動作生成装置。 Calculating the velocity and acceleration of the joint movement trajectory for each joint with respect to animation data including joint movement data,
extracting the zero intersection point between the calculated acceleration of the movement trajectory of the joint for each joint and time;
a conversion unit that converts data on the movement of the joints in the animation area to data in the robot area for each of the extracted zero intersections;
Equipped with
The conversion unit extracts a zero crossing point of the joint velocity using the calculated velocity of the trajectory of the animation data, maintains the zero crossing point, and transforms the joint so that the limits of velocity and acceleration in the robot area are respected. A robot motion generation device that converts joint movement data in an animation region into data in a robot region for each of the extracted zero intersections by correcting a trajectory and converting it into a new trajectory. 前記変換部は、次式を用いて前記ゼロ交差点毎に、アニメーション領域の前記関節の動きのデータを、ロボット領域のデータに変換し、

θ_ｉ（ｔ）は前記関節軌道であり、θ_ｉ’（ｔ_ｋ）は時刻ｔ_ｋにおける前記ロボット領域の前記関節軌道の速度であり、θ_ｉ’’（ｔ_ｋ）は時刻ｔ_ｋにおける前記ロボット領域の前記関節軌道の加速度であり、ｖ_{ｉ，ｍａｘ}は前記アニメーション領域における速度の限界であり、ａ_{ｉ，ｍａｘ}は前記アニメーション領域における加速度の限界であり、Ｔは変換関数であり、η’_ｉ（ｔ）は前記ロボット領域の速度であり、η’’_ｉ（ｔ）は前記ロ
ボット領域の加速度であり、∀ｔ_ｋ｜θ’_ｉ（ｔ）はスケーリングを表し、添字ｉは各関節を表す、
請求項１に記載のロボット動作生成装置。 The conversion unit converts the joint movement data in the animation area into data in the robot area for each zero intersection using the following equation,

θ _i (t) is the joint trajectory, θ _i '(t _k ) is the velocity of the joint trajectory of the robot area at time t _k , and θ _i '' (t _k ) is the joint trajectory at time t _k . is the acceleration of the joint trajectory in the robot region, v _i,max is the velocity limit in the animation region, a _i,max is the acceleration limit in the animation region, T is a transformation function, and η' _i (t) is the velocity of the robot area, η'' _i (t) is the acceleration of the robot area, ∀t _k | θ' _i (t) represents scaling, and the subscript i represents each joint. represent,
The robot motion generation device according to claim 1. 前記アニメーションデータは、目の動きのデータと、口の動きのデータと、音声信号とを備え、
前記変換部は、
前記目の動きのデータと、前記口の動きのデータ、および前記音声信号と、変換された前記ロボット領域のデータと、を前記ゼロ交差点のタイミングで関連付けて表現型ルーティンファイルを作成し、前記目の動きのデータと、前記口の動きのデータと、前記音声信号と、前記表現型ルーティンファイルとを関連付けて記憶部に格納する、
請求項２に記載のロボット動作生成装置。 The animation data includes eye movement data, mouth movement data, and an audio signal,
The conversion unit is
A phenotype routine file is created by associating the eye movement data, the mouth movement data, the audio signal, and the converted data of the robot area at the timing of the zero intersection, and storing in a storage unit the movement data, the mouth movement data, the audio signal, and the expression routine file in association with each other;
The robot motion generation device according to claim 2. 前記関節は、
ロボットの基部と前記ロボットの筐体との接続部と、前記ロボットの前記筐体と前記ロボットの首との接続部と、前記ロボットの前記首と目との接続部のうち、すくなくとも１つである、
請求項１から請求項３のいずれか１項に記載のロボット動作生成装置。 The joint is
At least one of a connection part between a base of the robot and a casing of the robot, a connection part between the casing of the robot and the neck of the robot, and a connection part between the neck of the robot and the eyes. be,
The robot motion generation device according to any one of claims 1 to 3. ロボット動作生成装置が、
関節の動きのデータを含むアニメーションデータに対して、前記関節毎に前記関節の動きの軌道の速度と加速度とを算出し、
算出した前記関節毎の前記関節の動きの軌道の加速度と時刻とのゼロ交差点を抽出し、前記ゼロ交差点を維持し、ロボット領域における速度と加速度の限界が尊重されるように、関節軌道を修正して新しい軌道に変換することで、抽出した前記ゼロ交差点毎に、アニメーション領域の前記関節の動きのデータを、ロボット領域のデータに変換する、
ロボット動作生成方法。 The robot motion generation device
Calculating the velocity and acceleration of the joint movement trajectory for each joint with respect to animation data including joint movement data,
Extract the zero intersection point between the calculated acceleration of the trajectory of the movement of the joint for each joint and time, maintain the zero intersection point, and correct the joint trajectory so that the limits of speed and acceleration in the robot domain are respected. converting data of the movement of the joints in the animation area to data in the robot area for each of the extracted zero intersections by converting to a new trajectory ;
Robot motion generation method. コンピュータに、
関節の動きのデータを含むアニメーションデータに対して、前記関節毎に前記関節の動きの軌道の速度と加速度とを算出させ、
算出された前記関節毎の前記関節の動きの軌道の加速度と時刻とのゼロ交差点を抽出させ、前記ゼロ交差点を維持し、ロボット領域における速度と加速度の限界が尊重されるように、関節軌道を修正して新しい軌道に変換することで、抽出した前記ゼロ交差点毎に、アニメーション領域の前記関節の動きのデータを、ロボット領域のデータに変換させる、
プログラム。 to the computer,
Calculating the velocity and acceleration of the movement trajectory of the joint for each joint with respect to animation data including joint movement data,
Extract the zero intersection between the calculated acceleration and time of the trajectory of the joint movement for each joint, maintain the zero intersection, and adjust the joint trajectory so that the limits of velocity and acceleration in the robot domain are respected. converting the movement data of the joints in the animation area into data in the robot area for each of the extracted zero intersections by correcting and converting to a new trajectory ;
program.

Images