JP7425690B2 - Robot motion generation device, robot motion generation method, and program - Google Patents
Robot motion generation device, robot motion generation method, and program Download PDFInfo
- Publication number
- JP7425690B2 JP7425690B2 JP2020122009A JP2020122009A JP7425690B2 JP 7425690 B2 JP7425690 B2 JP 7425690B2 JP 2020122009 A JP2020122009 A JP 2020122009A JP 2020122009 A JP2020122009 A JP 2020122009A JP 7425690 B2 JP7425690 B2 JP 7425690B2
- Authority
- JP
- Japan
- Prior art keywords
- robot
- joint
- data
- animation
- trajectory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000033001 locomotion Effects 0.000 title claims description 151
- 238000000034 method Methods 0.000 title claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 52
- 230000001133 acceleration Effects 0.000 claims description 26
- 210000001508 eye Anatomy 0.000 claims description 17
- 230000005236 sound signal Effects 0.000 claims description 17
- 230000004424 eye movement Effects 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 31
- 238000010586 diagram Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 10
- 230000008859 change Effects 0.000 description 8
- 230000009471 action Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 239000003205 fragrance Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Manipulator (AREA)
Description
本発明は、ロボット動作生成装置、ロボット動作生成方法、およびプログラムに関する。 The present invention relates to a robot motion generation device, a robot motion generation method, and a program.
今日、スマートスピーカーやコミュニケーションロボットの開発が進められている。このようなシステムでは、指示に応じて、照明をオン状態またはオフ状態にする、カレンダーにアクセスする、メールを読む、予定を設定するなどの機能に焦点を当てられている。このようなシステムでは、指示の入力が、例えばタッチパネルによる選択、音声による定められているコマンド等に限られており、人との関係を構築することが困難である。 Today, smart speakers and communication robots are being developed. Such systems focus on functions such as turning lights on or off, accessing calendars, reading email, and setting appointments based on commands. In such a system, the input of instructions is limited to, for example, selection using a touch panel or predetermined voice commands, making it difficult to build relationships with people.
このため、人との関係を持てるシステムが望まれている。例えば特許文献1には、コンパニオンデバイスと人と対話に対して、人をデバイスとの対話や操作に関わらせるシステムが提案されている。特許文献1に記載の技術では、コンパニオンデバイスが、利用者との発話や行動を検出して、移動、グラフィック、音、光、芳香を通して表現し、親交的存在を提供する。
For this reason, a system that allows for relationships with people is desired. For example,
また、人型ロボットの動きをパソコン等のアプリケーションを用いて生成することが行われている(例えば非特許文献1参照)。 Furthermore, the motion of a humanoid robot is generated using an application such as a personal computer (for example, see Non-Patent Document 1).
近年、ロボットにアニメーションの様な動作をさせたいという要望がある。アニメーションは、異なる言語や文化を超えて広く受け入れられている。例えば、映画では、アニメーションのキャラクターの表現力を定義することに成功している。アニメーションのような動作をさせることで、ロボットの表現力をデザインできる可能性がある。
しかしながら、従来技術では、アニメーションからロボットの動作に変換したり、動作をデザインすることが出来なかった。
In recent years, there has been a demand for robots to perform animation-like movements. Animation is widely accepted across different languages and cultures. For example, movies have been successful in defining the expressiveness of animated characters. It is possible to design robots' expressiveness by making them behave in an animation-like manner.
However, with the conventional technology, it is not possible to convert animation into robot motion or to design motion.
本発明は、上記の問題点に鑑みてなされたものであって、アニメーションの動きを実際のロボットの動きへの変換を可能にするロボット動作生成装置、ロボット動作生成方法、およびプログラムを提供することを目的とする。 The present invention has been made in view of the above problems, and provides a robot motion generation device, a robot motion generation method, and a program that enable conversion of animation motions into actual robot motions. With the goal.
(1)上記目的を達成するため、本発明の一態様に係るロボット動作生成装置は、関節の動きのデータを含むアニメーションデータに対して、前記関節毎に前記関節の動きの軌道の速度と加速度とを算出し、算出した前記関節毎の前記関節の動きの軌道の加速度と時刻とのゼロ交差点を抽出し、抽出した前記ゼロ交差点毎に、アニメーション領域の前記関節の動きのデータを、ロボット領域のデータに変換する、変換部、を備える。 (1) In order to achieve the above object, the robot motion generation device according to one aspect of the present invention calculates, for each joint, the velocity and acceleration of the trajectory of the joint motion, for animation data including joint motion data. and extracts the zero intersection between the calculated acceleration of the trajectory of the movement of the joint for each joint and the time, and for each extracted zero intersection, the data of the movement of the joint in the animation area is transferred to the robot area. a conversion unit that converts the data into data.
(2)また、本発明の一態様に係るロボット動作生成装置において、前記変換部は、次式を用いて前記ゼロ交差点毎に、アニメーション領域の前記関節の動きのデータを、ロボット領域のデータに変換し、
(3)また、本発明の一態様に係るロボット動作生成装置において、前記アニメーションデータは、目の動きのデータと、口の動きのデータと、音声信号とを備え、前記変換部は、前記目の動きのデータと、前記口の動きのデータ、および前記音声信号と、変換された前記ロボット領域のデータと、を前記ゼロ交差点のタイミングで関連付けて表現型ルーティンファイルを作成し、前記目の動きのデータと、前記口の動きのデータと、前記音声信号と、前記表現型ルーティンファイルとを関連付けて記憶部に格納するようにしてもよい。 (3) Furthermore, in the robot motion generation device according to one aspect of the present invention, the animation data includes eye movement data, mouth movement data, and an audio signal, and the conversion unit A phenotypic routine file is created by associating the movement data of the mouth movement data, the audio signal, and the converted data of the robot area at the timing of the zero intersection, and , the mouth movement data, the audio signal, and the phenotypic routine file may be stored in the storage unit in association with each other.
(4)また、本発明の一態様に係るロボット動作生成装置において、前記関節は、ロボットの基部と前記ロボットの筐体との接続部と、前記ロボットの前記筐体と前記ロボットの首との接続部と、前記ロボットの前記首と目との接続部のうち、すくなくとも1つであるようにしてもよい。 (4) Furthermore, in the robot motion generation device according to one aspect of the present invention, the joint includes a connecting portion between a base of the robot and a casing of the robot, and a connecting portion between the casing of the robot and a neck of the robot. The connecting portion may be at least one of a connecting portion and a connecting portion between the neck and the eyes of the robot.
(5)上記目的を達成するため、本発明の一態様に係るロボット動作生成方法は、ロボット動作生成装置が、関節の動きのデータを含むアニメーションデータに対して、前記関節毎に前記関節の動きの軌道の速度と加速度とを算出し、算出した前記関節毎の前記関節の動きの軌道の加速度と時刻とのゼロ交差点を抽出し、抽出した前記ゼロ交差点毎に、アニメーション領域の前記関節の動きのデータを、ロボット領域のデータに変換する。 (5) In order to achieve the above object, in a robot motion generation method according to one aspect of the present invention, a robot motion generation device generates motions of the joints for each joint with respect to animation data including joint motion data. calculate the velocity and acceleration of the trajectory of the joint, extract the zero intersection of the calculated acceleration of the trajectory of the movement of the joint for each joint, and time, and calculate the movement of the joint in the animation area for each of the extracted zero intersections. Convert the data into robot domain data.
(6)上記目的を達成するため、本発明の一態様に係るプログラムは、コンピュータに、関節の動きのデータを含むアニメーションデータに対して、前記関節毎に前記関節の動きの軌道の速度と加速度とを算出させ、算出された前記関節毎の前記関節の動きの軌道の加速度と時刻とのゼロ交差点を抽出させ、抽出した前記ゼロ交差点毎に、アニメーション領域の前記関節の動きのデータを、ロボット領域のデータに変換させる。 (6) In order to achieve the above object, a program according to one aspect of the present invention causes a computer to calculate, for each joint, the velocity and acceleration of the movement trajectory of the joint for animation data including joint movement data. and extract the zero intersection between the calculated acceleration of the trajectory of the movement of the joint for each joint and time, and for each of the extracted zero intersections, the data of the movement of the joint in the animation area is transferred to the robot. Convert to area data.
上述した(1)~(6)によれば、アニメーションの動きを実際のロボットの動きへの変換を可能にする。
(3)によれば、マルチメディア要素との動作の同期が失われない。
According to (1) to (6) above, it is possible to convert animation movements into actual robot movements.
According to (3), the synchronization of the operation with the multimedia element is not lost.
以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の説明に用いる図面では、各部材を認識可能な大きさとするため、各部材の縮尺を適宜変更している。 Embodiments of the present invention will be described below with reference to the drawings. Note that in the drawings used in the following explanation, the scale of each member is changed as appropriate in order to make each member a recognizable size.
<概要>
まず、本実施形態の概要を説明する。
図1は、本実施形態の概要を説明するための図である。本実施形態では、アニメーション領域のデータg1を、ロボットの動作に変換し(g2)、変換したハードウェア領域(ロボット領域)のデータg3をロボットが実行することで、ロボットにアニメーションのような動作をさせる。なお、動作変換は、関節の形状を維持しながら関節の動きの軌道(以下、関節軌道という)を変換する。
<Summary>
First, an overview of this embodiment will be explained.
FIG. 1 is a diagram for explaining the outline of this embodiment. In this embodiment, the data g1 in the animation area is converted into robot movements (g2), and the robot executes the converted data g3 in the hardware area (robot area), thereby causing the robot to perform animation-like movements. let Note that the motion conversion converts the movement trajectory of the joint (hereinafter referred to as joint trajectory) while maintaining the shape of the joint.
<ロボット1の構成例>
次に、ロボット1の構成例を説明する。
図2は、本実施形態に係るロボット1の構成例を示すブロック図である。図2のように、ロボット1は、取得部11、センサ12、生成装置13(ロボット動作生成装置)、記憶部15、表示部17、アクチュエータ18、スピーカー19、撮影部20、収音部21、音声処理部22、および画像処理部23を備えている。
<Configuration example of
Next, a configuration example of the
FIG. 2 is a block diagram showing a configuration example of the
生成装置13は、変換部14、および動作生成部16を備えている。
変換部14は、動作変換部141、およびファイル生成部142を備えている。
動作生成部16は、画像生成部161、駆動部162、および音声生成部163を備えている。
画像生成部161は、第1画像生成部1611、および第2画像生成部1612を備えている。
駆動部162は、第1駆動部1621、第2駆動部1622、第3駆動部1623、および第4駆動部1624を備えている。
The
The
The
The
The
表示部17は、第1表示部171、および第2表示部172を備えている。
アクチュエータ18は、第1アクチュエータ181、第2アクチュエータ182、第3アクチュエータ183、および第4アクチュエータ184を備えている。
The
The
<ロボット1の機能、動作>
次に、ロボット1の各機能部の機能、動作について、図2を参照して説明する。
アニメーション作成装置2は、作業者の操作に基づいてアニメーションデータを作成する。アニメーション作成装置2は、例えばパーソナルコンピュータである。
<Function and operation of
Next, the functions and operations of each functional section of the
The
取得部11は、アニメーション作成装置2から、ロボット1に対する動作指示であるアニメーションデータを取得する。なお、アニメーションデータには、後述するように動作データ、目の動きのデータ、口の動きのデータ、および音声信号が含まれる。取得部11は、アニメーションデータを変換部14に出力する。
The
センサ12は、ロボット1の筐体の傾きを検出するジャイロセンサ、ロボット1の筐体の動きを検出する加速度センサ等である。センサ12は、検出した検出値を動作生成部16に出力する。
The
撮影部20は、例えばCMOS(Complementary Metal Oxide Semiconductor;相補性金属酸化膜半導体)撮影素子、またはCCD(Charge Coupled Device;電荷結合素子)撮影素子等である。撮影部20は、目に相当し、左右に2つの撮影部20a、20b(図3)を備えている。撮影部20は、撮影した画像(静止画、連続した静止画、動画)を画像処理部23に出力する。
The
収音部21は、例えば複数のマイクロホンで構成されるマイクロホンアレイである。収音部21は、複数のマイクロホンが収音した音響信号を音声処理部22に出力する。収音部21は、耳に相当する。なお、収音部21は、マイクロホンが収音した音響信号それぞれを、同じサンプリング信号でサンプリングされて、アナログ信号からデジタル信号に変換した後、音声処理部22に出力するようにしてもよい。
The
音声処理部22は、収音部21によって収音された音響信号に対して音声処理(例えば、音声区間検出処理、雑音抑圧処理、音源同定処理、音声認識処理、特徴量抽出等)を行う。音響信号に複数の音源が含まれている場合、音声処理部22は、音源毎に音声処理を行う。音声処理部22は、音声処理した結果(含む抽出された音源毎の音響信号)を動作生成部16に出力する。
The
画像処理部23は、撮影部20によって撮影された画像に対して画像処理(例えば、二値化処理、エッジ検出処理、特徴量抽出処理、クラスタリング処理等)を行う。画像処理部23は、画像処理した結果を動作生成部16に出力する。
The
生成装置13は、取得したアニメーションデータをロボット1の動作に変換して、ロボット1の動作を生成する。
The
変換部14は、取得したアニメーションデータをロボット1の動作に変換し、ロボット領域のデータ(ファイル)を生成する。
The
動作変換部141は、アニメーションデータに含まれる動作データを、ロボット1の動作のデータに変換する。なお、アニメーションデータ、変換方法、出力データ等については後述する。
The
ファイル生成部142は、アニメーションデータに含まれる目の動きのデータと口の動きのデータおよび音声信号と、動作変換部141が変換したロボット1の動作のデータとを統合して、表現型ルーティンファイルを生成する。ファイル生成部142は、目の動きのデータと口の動きのデータおよび音声信号と、生成した表現型ルーティンファイルと、を記憶部15に格納する。
The
第1画像生成部1611は、変換部14が出力する第1画像データに基づいて、目の動作に対応する第1画像情報を生成する。
The first image generation unit 1611 generates first image information corresponding to eye movements based on the first image data output by the
第2画像生成部1612は、変換部14が出力する第2画像データに基づいて、口の動作に対応する第2画像情報を生成する。
The second
第1駆動部1621は、変換部14が出力する第1駆動データに基づいて、ボディに相当する箇所の回転動作に対応する第1駆動信号を生成する。
The
第2駆動部1622は、変換部14が出力する第2駆動データに基づいて、首に相当する箇所の傾き動作に対応する第2駆動信号を生成する。
The
第3駆動部1623は、変換部14が出力する第3駆動データに基づいて、目に相当する箇所の傾き動作に対応する第3駆動信号を生成する。
The
第4駆動部1624は、変換部14が出力する第4駆動データに基づいて、目に相当する箇所の回転動作に対応する第4駆動信号を生成する。
The
音声生成部163は、変換部14が出力する音声データに基づいて、出力音声信号を生成する。
The
記憶部15は、変換に用いる変換式、しきい値、定数、ロボット1の制御に必要なプログラム等を記憶する。
The
第1表示部171は、目に相当する表示部であり、液晶画像表示装置または有機EL(Electro Luminescence)画像表示装置等である。第1表示部171は、第1画像生成部1611が出力する第1画像情報に基づいて、目の動作に対応するように画像を表示する。なお、第1表示部171は、左右に2つの第1表示部171a、171b(図3)を備えている。
The
第2表示部172は、口に相当する表示部であり、例えばLED(発光ダイオード)、面発光ダイオード等である。第2表示部172は、第2画像生成部1612が出力する第2画像情報に基づいて、口の動作に対応するようにLEDの点灯と消灯を行う。
The
第1アクチュエータ181は、第1駆動部1621が出力する第1駆動信号に応じて、ボディに相当する箇所(ブーム;図3参照)を基部を中心に、例えば回転させる。
The
第2アクチュエータ182は、第2駆動部1622が出力する第2駆動信号に応じて、首に相当する箇所を、例えば前後に傾ける。
The
第3アクチュエータ183は、第3駆動部1623が出力する第3駆動信号に応じて、目に相当する箇所を、例えば上下に傾ける。
The third actuator 183 tilts, for example, a portion corresponding to the eye up or down in accordance with the third drive signal output by the
第4アクチュエータ184は、第4駆動部1624が出力する第4駆動信号に応じて、目に相当する箇所を、例えば回転させる。
The fourth actuator 184 rotates, for example, a portion corresponding to the eye in response to a fourth drive signal output by the
スピーカー19は、音声生成部163が出力する出力音声信号を出力する。
The
<ロボット1の外形例>
次に、ロボット1の外形例を説明する。
図3は、本実施形態に係るロボット1の外形例を示す図である。図3の正面図g5、側面図g7の例では、ロボット1は3つの表示部17(第1表示部171a、第1表示部171b、第2表示部172)を備えている。
<Example of external shape of
Next, an example of the external shape of the
FIG. 3 is a diagram showing an example of the external shape of the
また図3の例では、撮影部20aが第1表示部171aの上部に取り付けられ、撮影部20bが第1表示部171bの上部に取り付けられている。スピーカー19は、筐体121の人の口に相当する画像を表示する第2表示部172の近傍に取り付けられている。収音部21は、筐体121に取り付けられている。
Further, in the example of FIG. 3, the photographing
また、ロボット1は、基部120、ブーム122、および水平バー123を備える。筐体121は、基部120に可動部191(含む第1アクチュエータ181)を介して回転可能に取り付けられている。
ブーム122は、筐体121に可動部192(含む第2アクチュエータ182)を介して可動可能に取り付けられている。
水平バー123は、ブーム122に可動部193(含む第3アクチュエータ183)を介して回転可能に取り付けられている。
第1表示部171aは、水平バー123に可動部194a(含む第4アクチュエータ184)を介して回転可能に取り付けられている。第1表示部171bは、水平バー123に可動部194b(含む第4アクチュエータ184)を介して回転可能に取り付けられている。
The
The
The
The
なお、図3に示したロボット1の外形は一例であり、これに限らない。ロボット1は、例えば2つの動作可能な脚を有する二足歩行型ロボットであってもよい。
Note that the outer shape of the
次に、ロボット1の各可動部の動作例を説明する。
図4は、本実施形態に係るロボット1の各可動部の動作例を示す図である。
符号g10に示す領域の図は、ロボット1の例えば初期状態を表している。
基部120対する筐体121の可動範囲は、例えば320度である(g11)。
筐体121に対するブーム122の可動範囲は、例えば57度である(g12)。ブーム122は、前方と後方に傾けることが可能である。
ブーム122に対する水平バー123の傾きの可動範囲は、例えば57度である(g13)。水平バー123は、目に相当する第1表示部171を上方向に向ける、または下方向に向けるように傾けることが可能である。
水平バー123に対して第1表示部171は、回転可能である(g14)。第1表示部171(第1表示部171a、第1表示部171b)は、内側に回転させる、または外側に回転させることが可能である。
Next, an example of the operation of each movable part of the
FIG. 4 is a diagram showing an example of the operation of each movable part of the
The diagram of the area indicated by reference numeral g10 represents, for example, the initial state of the
The movable range of the
The movable range of the
The movable range of the inclination of the
The
さらに、第1表示部171は、第1の部位1711、第2の部位1712を備えていてもよい(g15)。この場合、ロボット1は、駆動部162が、さらに第5駆動部1625を備え、アクチュエータ18が第5アクチュエータ185を備えるようにしてもよい(g15)。これにより、アニメーション特有の動作の一つである目が飛び出す動作を、第2の部位1712に対して第2の部位1712を繰り出すように制御して実現するようにしてもよい。あるいは、目が引っ込む動作を、第2の部位1712に対して第2の部位1712を引き込むように制御して実現するようにしてもよい。
Furthermore, the
<アニメーション領域のデータ、変換、ロボット領域のデータ>
次に、アニメーション領域のデータ、変換、ロボット領域のデータについて説明する。
本実施形態では、アニメーションの原理を、ロボット1の表現力を定義するために使用する。それぞれの表現は、ロボット1の目のための動きと動画、口のための音声と口の動きのためのLEDのシーケンスの組み合わせである。アニメーションの領域とロボットの領域とは異なるため、ロボットの動きを中心に両者間の変換が必要である。アニメーションの原理と結果を、異なる動的および運動学的特性を持つ異なるロボット動作に適用する必要がある。ビュアル要素と動きの同期を維持する必要がある。
<Animation area data, conversion, robot area data>
Next, data in the animation area, conversion, and data in the robot area will be explained.
In this embodiment, the principles of animation are used to define the expressiveness of the
図5は、本実施形態に係るアニメーション領域のデータの条件g20と、ロボット領域のデータの条件g30を説明するための図である。 FIG. 5 is a diagram for explaining a condition g20 for animation area data and a condition g30 for robot area data according to the present embodiment.
まず、アニメーション領域のデータの条件g20について説明する。
作業者は、ロボット1の動作を、例えばパーソナルコンピュータを用いてアニメーション領域で作成する。作成されたアニメーションデータは、動作とオーディオビジュアル要素とで構成されている。また、アニメーションデータには、動作する部位と動作の軌道を示す情報が含まれている。
なお、作業者は、ロボットの運動学をある程度理解した上で動作を設計することが好ましいが、アニメーションを作成する際、ロボットの物理的な動作心配する必要はない。
また、視聴覚モダリティはロボット動作と無関係である。しかしながら、本実施形態では、「視聴覚要素が、動きの方向の変化の間で均一に保たれる」の制約を設けることで、両者の間に関連性を持たせるようにした。
First, the condition g20 for data in the animation area will be explained.
The operator creates the motion of the
Although it is preferable that the operator designs the motion after understanding the kinematics of the robot to some extent, there is no need to worry about the physical motion of the robot when creating an animation.
Also, the audiovisual modality is independent of robot motion. However, in this embodiment, a relationship is established between the two by providing the constraint that "the audiovisual elements are kept uniform between changes in the direction of movement."
動作変換部141は、アニメーションデータを、ロボットの動作における全ての限界を満たし、オーディオビジュアル要素との同期を維持しながら、最終的なロボットの動作のデータに変換する。
The
ロボット領域のデータの条件g40は、動的および運動学的制限、各ロボットの特定の特性によって特徴づけられる。 The robot domain data conditions g40 are characterized by dynamic and kinematic constraints, specific characteristics of each robot.
図6は、本実施形態に係るアニメーション領域のデータと、ロボット領域のデータを説明するための図である。
アニメーション領域のデータ(アニメーションデータ)g100には、関節毎の動作ファイルg101、目のビデオファイルg102、LED(口)の画像ファイルg103、および音声ファイルg104が含まれている。なお、関節毎の動作ファイルg101には、ロボット1の仕様に基づく各部の動作データが含まれている。各部の動作データは、例えば、体の回転、首の傾き、眼球の運動、目の部分の傾斜、目の部分の前後の動き等である。
FIG. 6 is a diagram for explaining data of an animation area and data of a robot area according to this embodiment.
The animation area data (animation data) g100 includes a motion file g101 for each joint, an eye video file g102, an LED (mouth) image file g103, and an audio file g104. Note that the motion file g101 for each joint includes motion data for each part based on the specifications of the
ロボット領域のデータg200には、表現型ルーティンファイルg201(例えばJSON形式ファイル)、ルーティンDB(データベース)g202が含まれている。なお、表現型ルーティンファイルg201、ルーティンDB(データベース)g202は、記憶部15(図2)に格納される。また、表現型ルーティンファイルg201には、アニメーションデータに含まれる目の動きのデータと口の動きのデータおよび音声信号と、動作変換されたロボットの動作のデータと、が含まれている。また、ルーティンDBg202には、アニメーションデータに含まれる目の動きのデータと口の動きのデータおよび音声信号と表現型ルーティンファイルg201と、が格納される。 The robot area data g200 includes an expression routine file g201 (for example, a JSON format file) and a routine DB (database) g202. Note that the phenotype routine file g201 and the routine DB (database) g202 are stored in the storage unit 15 (FIG. 2). Furthermore, the expression routine file g201 includes eye movement data, mouth movement data, and audio signals included in the animation data, and data on the robot's motion that has been converted into motion. Further, the routine DBg202 stores eye movement data, mouth movement data, audio signals, and expression routine file g201 included in the animation data.
なお、アニメーションデータに含まれる目の動きのデータと口の動きのデータおよび音声信号と、動作変換されたロボットの動作のデータとは、ゼロ交差点のタイミングで同期されている。これにより、本実施形態によれば、マルチメディア要素との動作の同期が失われない。 Note that the eye movement data, mouth movement data, and audio signal included in the animation data, and the motion-converted robot motion data are synchronized at the timing of the zero intersection. As a result, according to this embodiment, the synchronization of the operation with the multimedia element is not lost.
<変換方法>
次に、動作変換部141が行う変換方法例を説明する。
変換部14は、アニメーション化された軌道が、ロボット1の実際の動力学(キャリブレーションによって得られた)に準拠しているか否かを確認する。
動作変換部141は、ロボット1の動的制約が満たされると同時に、マルチメディア要素(目および口のLEDのための画像情報、およびスピーカーから出力するための音声信号)との動作の同期が失われないように、動作を変換する。動作変換部141は、変換において、関節の形状を維持したまま、関節軌道を変形させ、関節の方向の変化の時間的瞬間を維持する。これにより、マルチメディア要素との動作の同期が失われない。なお、方向の変化は、表現のための視聴覚部分の潜在的な変化に対応する軌道の部分である。
<Conversion method>
Next, an example of a conversion method performed by the
The
The
図7は、本実施形態に係る関節軌道と速度プロファイルと時刻毎のオーディオビジュアルの要素の時刻毎の変化例を示す図である。
図7において、横軸は時刻である。曲線g300は、アニメーションにおける関節軌道θ(t)である。曲線g310は、関節軌道の速度θ’(t)プロファイルである。変換において重要なのは、速度プロファイルにおける速度のゼロ交差点(例えば時刻t1の点g311、時刻t2の点g312)である。画像g320は、アニメーションデータにおける時刻毎のオーディオビジュアルの要素である。なお、図7では、1つの関節軌道と速度プロファイルを示しているが、動作変換部141は、関節毎に処理を行う。
FIG. 7 is a diagram showing examples of changes in joint trajectories, velocity profiles, and audiovisual elements at each time according to the present embodiment.
In FIG. 7, the horizontal axis is time. The curve g300 is the joint trajectory θ(t) in the animation. Curve g310 is the velocity θ'(t) profile of the joint trajectory. What is important in the conversion are the zero intersections of the speed in the speed profile (for example, point g311 at time t1 and point g312 at time t2 ). The image g320 is an audiovisual element for each time in the animation data. Although FIG. 7 shows one joint trajectory and velocity profile, the
動作変換部141は、取得したアニメーションデータの軌道を微分して速度プロファイルを生成する。そして、動作変換部141は、生成した速度プロファイルを用いて、関節の速度のゼロ交差点を検出する。この方法は、これらの時間的な瞬間を保つ。
動作変換部141は、ゼロ交差点を維持し、ロボット1の既知のプロファイルのロボット領域における速度vi,maxと加速度ai,maxの限界が尊重されるように、スケーリングを、次式(1)を用いて行うことで、関節軌道θi(t)を修正し新しい軌道ηi(t)を変換する。
The
The
式(1)において、Tは変換関数であり、η’i(t)はロボット領域における速度であり、η’’i(t)はロボット領域における加速度である。また、式(1)において4行目の∀tk|θ’i(t)の式は、スケーリングを表す。また、添字iは、各関節を表す。 In equation (1), T is a transformation function, η′ i (t) is the velocity in the robot region, and η″ i (t) is the acceleration in the robot region. Further, in equation (1), the equation ∀t k |θ' i (t) on the fourth line represents scaling. Moreover, the subscript i represents each joint.
アニメーションの作成において、作業者はキネマティクスの基本的な考え方を持っているが、完全に従う必要はなく、より創造的であることは自由である。スケーリングを使うことでアニメーションを変える必要はない。動作変換部141は、変換によってスケーリング結果をハードウェアに反映する。
In creating animations, workers have a basic idea of kinematics, but they don't have to follow it completely and are free to be more creative. By using scaling, there is no need to change the animation. The
初期の関節軌道θi(t)は時間的に離散化される。制約が満たされている部分は、ロボット1のハードウェアの物理的な限界を超えていないことを意味する。このため、変換部14は、制約が満たされている部分に対して、アニメーションデータの指示通りに動作させる。そして、変換部14は、制約が満たされない部分に対して、変換を適用する。このようにして、運動の方向の変化と運動全体の持続時間は、ロボット1の動作の残りの部分と同期した状態に保たれる。なお、関節i毎に異なる変換関数Tが得られる。
The initial joint trajectory θ i (t) is temporally discretized. A portion where the constraints are satisfied means that the physical limits of the hardware of the
このように、本実施形態では、関節毎のゼロ交差点のデータを、アニメーション領域のデータからロボット領域のデータに変換するようにした。また、本実施形態では、変換の際、スケーリングを行うようにした。これにより本実施形態によれば、ゼロクロスポイントで動作を同期させたため、形状を維持させることを保証できる。この結果、本実施形態によれば、関節の形状を維持したまま関節軌道を変形させることで、関節の方向の変化の時間的瞬間を維持することができる。 In this manner, in this embodiment, the zero intersection data for each joint is converted from animation area data to robot area data. Furthermore, in this embodiment, scaling is performed during conversion. According to this embodiment, since the operations are synchronized at the zero-crossing point, it is possible to ensure that the shape is maintained. As a result, according to this embodiment, by deforming the joint trajectory while maintaining the shape of the joint, it is possible to maintain the temporal instant of change in the direction of the joint.
<処理手順例>
次に、生成装置13が行う処理手順例を説明する。
図8は、本実施形態に係る生成装置13が行う処理のフローチャートである。
<Processing procedure example>
Next, an example of a processing procedure performed by the
FIG. 8 is a flowchart of processing performed by the
(ステップS11)変換部14は、アニメーション作成装置2から、取得部11を介してアニメーションデータを取得する。
(Step S11) The
(ステップS12)動作変換部141は、アニメーションデータに含まれる動作データを用いて、関節毎に速度と加速度を算出する。
(Step S12) The
(ステップS13)動作変換部141は、関節毎に加速度のゼロ交差点を検出する。
(Step S13) The
(ステップS14)動作変換部141は、関節毎にゼロ交差点のデータを、式(1)を用いて変換する。
(Step S14) The
(ステップS15)ファイル生成部142は、アニメーションデータに含まれる目の動きのデータと口の動きのデータおよび音声信号と、動作変換されたロボットの動作のデータ(ロボット領域のデータ)と、をゼロ交差点のタイミングで同期して関連付けて表現型ルーティンファイルを作成する。
(Step S15) The
(ステップS16)ファイル生成部142は、アニメーションデータに含まれる目の動きのデータと口の動きのデータおよび音声信号と表現型ルーティンファイルを関連付けてルーティンDBに格納する。
(Step S16) The
<アニメーション作成装置>
次に、アニメーション作成装置2(図2)によるアニメーション作成の画面例を説明する。
図9は、アニメーション作成装置2によるアニメーション作成の画面例を示す図である。図9の例では、動作選択を行う領域g401、動作を作成する領域g402、現在の状態を表示する領域g403、および作成したアニメーションを静止が状態で示す領域g404を含んでいる。作業者(またはアニメーター)は、このような画面を操作して、ロボット1に動作させたいアニメーションを作成する。なお、図8に示した操作画面例は一例であり、これに限らない。他の選択画面や表示領域を含んでいてもよい。
<Animation creation device>
Next, an example of a screen for creating an animation by the animation creating device 2 (FIG. 2) will be described.
FIG. 9 is a diagram showing an example of a screen for animation creation by the
以上のように、本実施形態では、アニメーションの動きを実際のロボットの動きに変換するようにした。また、本実施形態では、関節の形状を維持しながら関節軌道を変換する。すなわち、関節の方向の変化の瞬間を保持するようにした。 As described above, in this embodiment, animation movements are converted into actual robot movements. Furthermore, in this embodiment, the joint trajectory is converted while maintaining the shape of the joint. In other words, the moment of change in the direction of the joint is maintained.
これにより、本実施形態によれば、関節の速度のゼロ交差点を探し、それらの時間を不変に保つことで実現できる。
また、本実施形態によれば、アニメのモーションを変換して、ロボットの動的な制約が満たされると同時に、アニメ的モーションとマルチメディア要素(つまり、目の動き、口(LED)の動き、および音声)は失われない。
また、本実施形態によれば、関節の形状を維持しながら関節軌道を変換することで関節の方向の変化の瞬間が保持される。
また、本実施形態によれば、アニメーションの動きを、運動学的および動的な制約を尊重するロボットの動きに変換すると同時に、表現力のある動きに適用したアニメーションの固有の原理と手法の整合性を維持することができる。
According to this embodiment, this can be achieved by searching for the zero crossing points of the joint velocities and keeping those times unchanged.
In addition, according to the present embodiment, the animated motion is converted so that the dynamic constraints of the robot are satisfied, and at the same time, the animated motion and multimedia elements (i.e., eye movements, mouth (LED) movements, and audio) are not lost.
Furthermore, according to the present embodiment, the moment of change in the direction of the joint is maintained by converting the joint trajectory while maintaining the shape of the joint.
Additionally, according to the present embodiment, animation movements can be converted into robot movements that respect kinematic and dynamic constraints, while at the same time aligning the inherent principles and techniques of animation applied to expressive movements. can maintain sex.
なお、本発明における生成装置13の機能全てまたは一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより生成装置13が行う処理の全てまたは一部を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境(あるいは表示環境)を備えたWWWシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。
Note that a program for realizing all or part of the functions of the
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。 Further, the program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the "transmission medium" that transmits the program refers to a medium that has a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line. Moreover, the above-mentioned program may be for realizing a part of the above-mentioned functions. Furthermore, it may be a so-called difference file (difference program) that can realize the above-described functions in combination with a program already recorded in the computer system.
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。 Although the mode for implementing the present invention has been described above using embodiments, the present invention is not limited to these embodiments in any way, and various modifications and substitutions can be made without departing from the gist of the present invention. can be added.
1…ロボット、11…取得部、12…センサ、13…生成装置、14…変換部、15…記憶部、16…動作生成部、17…表示部、18…アクチュエータ、19…スピーカー、20,20a,20b…撮影部、21…収音部、22…音声処理部、23…画像処理部、141…動作変換部、142…ファイル生成部、161…画像生成部、162…駆動部、163…音声生成部、1611…第1画像生成部、1612…第2画像生成部、1621…第1駆動部、1622…第2駆動部、1623…第3駆動部、1624…第4駆動部、171,171a,171b…第1表示部、172…第2表示部、181…第1アクチュエータ、182…第2アクチュエータ、183…第3アクチュエータ、184…第4アクチュエータ、120…基部、121…筐体、122…ブーム、123…水平バー、191,192,193,194a,194b…可動部
DESCRIPTION OF
Claims (6)
算出した前記関節毎の前記関節の動きの軌道の加速度と時刻とのゼロ交差点を抽出し、
抽出した前記ゼロ交差点毎に、アニメーション領域の前記関節の動きのデータを、ロボット領域のデータに変換する、変換部、
を備え、
前記変換部は、算出した前記アニメーションデータの軌道の速度を用いて、関節速度のゼロ交差点を抽出し、前記ゼロ交差点を維持し、ロボット領域における速度と加速度の限界が尊重されるように、関節軌道を修正して新しい軌道に変換することで、抽出した前記ゼロ交差点毎に、アニメーション領域の前記関節の動きのデータを、ロボット領域のデータに変換する、ロボット動作生成装置。 Calculating the velocity and acceleration of the joint movement trajectory for each joint with respect to animation data including joint movement data,
extracting the zero intersection point between the calculated acceleration of the movement trajectory of the joint for each joint and time;
a conversion unit that converts data on the movement of the joints in the animation area to data in the robot area for each of the extracted zero intersections;
Equipped with
The conversion unit extracts a zero crossing point of the joint velocity using the calculated velocity of the trajectory of the animation data, maintains the zero crossing point, and transforms the joint so that the limits of velocity and acceleration in the robot area are respected. A robot motion generation device that converts joint movement data in an animation region into data in a robot region for each of the extracted zero intersections by correcting a trajectory and converting it into a new trajectory.
ボット領域の加速度であり、∀tk|θ’i(t)はスケーリングを表し、添字iは各関節を表す、
請求項1に記載のロボット動作生成装置。 The conversion unit converts the joint movement data in the animation area into data in the robot area for each zero intersection using the following equation,
The robot motion generation device according to claim 1.
前記変換部は、
前記目の動きのデータと、前記口の動きのデータ、および前記音声信号と、変換された前記ロボット領域のデータと、を前記ゼロ交差点のタイミングで関連付けて表現型ルーティンファイルを作成し、前記目の動きのデータと、前記口の動きのデータと、前記音声信号と、前記表現型ルーティンファイルとを関連付けて記憶部に格納する、
請求項2に記載のロボット動作生成装置。 The animation data includes eye movement data, mouth movement data, and an audio signal,
The conversion unit is
A phenotype routine file is created by associating the eye movement data, the mouth movement data, the audio signal, and the converted data of the robot area at the timing of the zero intersection, and storing in a storage unit the movement data, the mouth movement data, the audio signal, and the expression routine file in association with each other;
The robot motion generation device according to claim 2.
ロボットの基部と前記ロボットの筐体との接続部と、前記ロボットの前記筐体と前記ロボットの首との接続部と、前記ロボットの前記首と目との接続部のうち、すくなくとも1つである、
請求項1から請求項3のいずれか1項に記載のロボット動作生成装置。 The joint is
At least one of a connection part between a base of the robot and a casing of the robot, a connection part between the casing of the robot and the neck of the robot, and a connection part between the neck of the robot and the eyes. be,
The robot motion generation device according to any one of claims 1 to 3.
関節の動きのデータを含むアニメーションデータに対して、前記関節毎に前記関節の動きの軌道の速度と加速度とを算出し、
算出した前記関節毎の前記関節の動きの軌道の加速度と時刻とのゼロ交差点を抽出し、前記ゼロ交差点を維持し、ロボット領域における速度と加速度の限界が尊重されるように、関節軌道を修正して新しい軌道に変換することで、抽出した前記ゼロ交差点毎に、アニメーション領域の前記関節の動きのデータを、ロボット領域のデータに変換する、
ロボット動作生成方法。 The robot motion generation device
Calculating the velocity and acceleration of the joint movement trajectory for each joint with respect to animation data including joint movement data,
Extract the zero intersection point between the calculated acceleration of the trajectory of the movement of the joint for each joint and time, maintain the zero intersection point, and correct the joint trajectory so that the limits of speed and acceleration in the robot domain are respected. converting data of the movement of the joints in the animation area to data in the robot area for each of the extracted zero intersections by converting to a new trajectory ;
Robot motion generation method.
関節の動きのデータを含むアニメーションデータに対して、前記関節毎に前記関節の動きの軌道の速度と加速度とを算出させ、
算出された前記関節毎の前記関節の動きの軌道の加速度と時刻とのゼロ交差点を抽出させ、前記ゼロ交差点を維持し、ロボット領域における速度と加速度の限界が尊重されるように、関節軌道を修正して新しい軌道に変換することで、抽出した前記ゼロ交差点毎に、アニメーション領域の前記関節の動きのデータを、ロボット領域のデータに変換させる、
プログラム。 to the computer,
Calculating the velocity and acceleration of the movement trajectory of the joint for each joint with respect to animation data including joint movement data,
Extract the zero intersection between the calculated acceleration and time of the trajectory of the joint movement for each joint, maintain the zero intersection, and adjust the joint trajectory so that the limits of velocity and acceleration in the robot domain are respected. converting the movement data of the joints in the animation area into data in the robot area for each of the extracted zero intersections by correcting and converting to a new trajectory ;
program.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020122009A JP7425690B2 (en) | 2020-07-16 | 2020-07-16 | Robot motion generation device, robot motion generation method, and program |
EP21829758.8A EP4144425A4 (en) | 2020-06-24 | 2021-06-22 | Behavior control device, behavior control method, and program |
PCT/JP2021/023545 WO2021261474A1 (en) | 2020-06-24 | 2021-06-22 | Behavior control device, behavior control method, and program |
US17/923,921 US20230173683A1 (en) | 2020-06-24 | 2021-06-22 | Behavior control device, behavior control method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020122009A JP7425690B2 (en) | 2020-07-16 | 2020-07-16 | Robot motion generation device, robot motion generation method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022018703A JP2022018703A (en) | 2022-01-27 |
JP7425690B2 true JP7425690B2 (en) | 2024-01-31 |
Family
ID=80203943
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020122009A Active JP7425690B2 (en) | 2020-06-24 | 2020-07-16 | Robot motion generation device, robot motion generation method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7425690B2 (en) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007125645A (en) | 2005-11-04 | 2007-05-24 | Hitachi Ltd | Robot movement editing system |
JP2013225192A (en) | 2012-04-20 | 2013-10-31 | Nippon Telegr & Teleph Corp <Ntt> | Reward function estimation apparatus, reward function estimation method and program |
JP2018030185A (en) | 2016-08-23 | 2018-03-01 | ファナック株式会社 | Machine learning device, robot system, and machine learning method for learning motion of robot engaged in task performed by human and robot in cooperation with each other |
US20180117762A1 (en) | 2015-08-14 | 2018-05-03 | Sphero, Inc. | Data exchange system |
US20200009739A1 (en) | 2019-08-08 | 2020-01-09 | Lg Electronics Inc. | Robot and method of recognizing mood using the same |
JP2020089947A (en) | 2018-12-06 | 2020-06-11 | ソニー株式会社 | Information processing device, information processing method, and program |
-
2020
- 2020-07-16 JP JP2020122009A patent/JP7425690B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007125645A (en) | 2005-11-04 | 2007-05-24 | Hitachi Ltd | Robot movement editing system |
JP2013225192A (en) | 2012-04-20 | 2013-10-31 | Nippon Telegr & Teleph Corp <Ntt> | Reward function estimation apparatus, reward function estimation method and program |
US20180117762A1 (en) | 2015-08-14 | 2018-05-03 | Sphero, Inc. | Data exchange system |
JP2018030185A (en) | 2016-08-23 | 2018-03-01 | ファナック株式会社 | Machine learning device, robot system, and machine learning method for learning motion of robot engaged in task performed by human and robot in cooperation with each other |
JP2020089947A (en) | 2018-12-06 | 2020-06-11 | ソニー株式会社 | Information processing device, information processing method, and program |
US20200009739A1 (en) | 2019-08-08 | 2020-01-09 | Lg Electronics Inc. | Robot and method of recognizing mood using the same |
Also Published As
Publication number | Publication date |
---|---|
JP2022018703A (en) | 2022-01-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8730231B2 (en) | Systems and methods for creating personalized media content having multiple content layers | |
US9939887B2 (en) | Avatar control system | |
JP5468047B2 (en) | System and method for animating a digital face model | |
JP3664474B2 (en) | Language-transparent synthesis of visual speech | |
US20160110922A1 (en) | Method and system for enhancing communication by using augmented reality | |
JPH0721606B2 (en) | Change of face display of movie work | |
JP4078677B2 (en) | Method for computerized automatic audiovisual dubbing of movies | |
JP2019535059A (en) | Sensory eyewear | |
KR101681096B1 (en) | System and method of face animation | |
TWI255141B (en) | Method and system for real-time interactive video | |
JP2004519787A (en) | Text visualization system and method incorporating facial emotions | |
KR20120059994A (en) | Apparatus and method for control avatar using expression control point | |
WO2021261474A1 (en) | Behavior control device, behavior control method, and program | |
KR102186607B1 (en) | System and method for ballet performance via augumented reality | |
US20030085901A1 (en) | Method and system for the automatic computerized audio visual dubbing of movies | |
JP6424050B2 (en) | Articulated skeleton model processing apparatus and program | |
JP2005518581A (en) | Method and system for generating a cartoonized talking head | |
JP7425690B2 (en) | Robot motion generation device, robot motion generation method, and program | |
Nirme et al. | Motion capture-based animated characters for the study of speech–gesture integration | |
US11869150B1 (en) | Avatar modeling and generation | |
TW202301277A (en) | Real-time 3d facial animation from binocular video | |
KR101815995B1 (en) | Apparatus and method for control avatar using expression control point | |
US11024071B2 (en) | Method of converting phoneme transcription data into lip sync animation data for 3D animation software | |
JP5983159B2 (en) | Gaze control device, gaze control method, gaze control program, and terminal device | |
KR20160010810A (en) | Realistic character creation method and creating system capable of providing real voice |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240119 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7425690 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |