JP6326167B1 - 学習装置、学習方法、学習プログラム、動画配信装置、活動装置、活動プログラムおよび動画生成装置 - Google Patents
学習装置、学習方法、学習プログラム、動画配信装置、活動装置、活動プログラムおよび動画生成装置 Download PDFInfo
- Publication number
- JP6326167B1 JP6326167B1 JP2017071117A JP2017071117A JP6326167B1 JP 6326167 B1 JP6326167 B1 JP 6326167B1 JP 2017071117 A JP2017071117 A JP 2017071117A JP 2017071117 A JP2017071117 A JP 2017071117A JP 6326167 B1 JP6326167 B1 JP 6326167B1
- Authority
- JP
- Japan
- Prior art keywords
- learning
- motion
- data
- action
- identifier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
【課題】オブジェクトの動作を学習する。【解決手段】 学習装置1は、オブジェクトOに行わせるアクションの識別子と、アクションを行わせるための動作部の動きの組み合わせの目標とを対応づけたモーションデータ16を生成するモーション生成部22と、モーションデータ16に従って、オブジェクトOの動作部の動きを試みて、アクションに対する評価値を出力し、アクションの識別子とモーションデータと評価値とを対応づけて学習データTに記憶する更新部23とを備える。モーション生成部22は、オブジェクトに行わせるアクションの識別子に対応づけられた学習データTを参照して、新たなモーションデータを生成する。【選択図】 図3
Description
本発明は、仮想領域で、動作部を備えるオブジェクトが学習する学習装置、学習方法、学習プログラム、動画配信装置、活動装置、活動プログラムおよび動画生成装置に関する。
近年、機械学習が広く普及しており、ロボットなどの思考ルーチンや様々なゲームに登場する非プレイヤキャラクタ(NPC)の思考ルーチンを自動構築する技術が知られている(例えば特許文献1参照)。この特許文献1において、所定の状況において、エージェントが取る行動を決定する思考ルーチンを自動構築する方法が、開示されている。
人工生命体と称されるオブジェクトの学習においては、取るべき行動を決定する意思決定の学習段階と、行動を行うための一連の動作を学習する学習段階の2段階に分かれることが知られている。しかしながら、特許文献1に記載の技術において、一連の動作の学習については、何ら触れられていない。
従って本発明の目的は、オブジェクトが動作を学習する学習装置、学習方法、学習プログラム、動画配信装置、活動装置、活動プログラムおよび動画生成装置を提供することである。
上記課題を解決するために、本発明の第1の特徴は、動作部を備えるオブジェクトが学習する学習装置に関する。第1の特徴に係る学習装置は、オブジェクトに行わせるアクションの識別子と、アクションを行わせるための動作部の動きの組み合わせの目標とを対応づけたモーションデータを生成するモーション生成部と、モーションデータに従って、オブジェクトの動作部の動きを試みて、アクションに対する評価値を出力し、アクションの識別子とモーションデータと評価値とを対応づけて学習データに記憶する更新部とを備え、モーション生成部は、オブジェクトに行わせるアクションの識別子に対応づけられた学習データを参照して、新たなモーションデータを生成する。
オブジェクトは仮想領域で活動し、仮想領域は、複数の部分領域を備え、各部分領域に、当該部分領域の環境値識別子が対応づけられ、学習データは、アクションの識別子とモーションデータと評価値にさらに、部分領域の環境値識別子を対応づけて記憶し、モーション生成部は、オブジェクトが位置する部分領域の環境値識別子に対応づけられた学習データを参照して、新たなモーションデータを生成しても良い。
モーションデータは、動作部について、動作部の動きと、動きを試みる時間とが対応づけられたペアを複数備え、更新部は、モーションデータで生成された複数のペアに基づいて動きを試みた後に、評価値を出力しても良い。
オブジェクトが、モーションデータに従って動作部の動きを試みる状態を示す動画データを逐次生成して配信する配信部をさらに備えても良い。
本発明の第2の特徴は、動作部を備えるオブジェクトが学習する学習方法に関する。本発明の第2の特徴に係る学習方法は、コンピュータが、オブジェクトに行わせるアクションの識別子と、アクションを行わせるための動作部の動きの組み合わせの目標とを対応づけたモーションデータを生成するステップと、コンピュータが、モーションデータに従って、オブジェクトの動作部の動きを試みて、アクションに対する評価値を出力し、アクションの識別子とモーションデータと評価値とを対応づけて学習データに記憶するステップと、コンピュータが、オブジェクトに行わせるアクションの識別子に対応づけられた学習データを参照して、新たなモーションデータを生成するステップを備える。
本発明の第3の特徴は、動作部を備えるオブジェクトが学習する学習プログラムに関する。本発明の第3の特徴に係る学習プログラムは、コンピュータを、オブジェクトに行わせるアクションの識別子と、アクションを行わせるための動作部の動きの組み合わせの目標とを対応づけたモーションデータを生成するモーション生成部と、モーションデータに従って、オブジェクトの動作部の動きを試みて、アクションに対する評価値を出力し、アクションの識別子とモーションデータと評価値とを対応づけて学習データに記憶する更新部として機能させ、モーション生成部は、オブジェクトに行わせるアクションの識別子に対応づけられた学習データを参照して、新たなモーションデータを生成する。
本発明の第4の特徴は、動作部を備えるオブジェクトが学習する学習装置に接続する動画配信装置に関する。本発明の第4の特徴において学習装置は、オブジェクトに行わせるアクションの識別子と、アクションを行わせるための動作部の動きの組み合わせの目標とを対応づけたモーションデータを生成するモーション生成部と、モーションデータに従って、オブジェクトの動作部の動きを試みて、アクションに対する評価値を出力し、アクションの識別子とモーションデータと評価値とを対応づけて学習データに記憶する更新部とを備え、モーション生成部は、オブジェクトに行わせるアクションの識別子に対応づけられた学習データを参照して、新たなモーションデータを生成し、動画配信装置は、学習装置において生成された学習データを用いて、オブジェクトが、動作部の動きを試みる状態を示す動画データを逐次生成して配信する。
本発明の第5の特徴は、動作部を備えるオブジェクトが学習する学習装置に接続する活動装置に関する。本発明の第5の特徴において学習装置は、オブジェクトに行わせるアクションの識別子と、アクションを行わせるための動作部の動きの組み合わせの目標とを対応づけたモーションデータを生成するモーション生成部と、モーションデータに従って、オブジェクトの動作部の動きを試みて、アクションに対する評価値を出力し、アクションの識別子とモーションデータと評価値とを対応づけて学習データに記憶する更新部とを備え、モーション生成部は、オブジェクトに行わせるアクションの識別子に対応づけられた学習データを参照して、新たなモーションデータを生成し、活動装置は、学習装置で生成された学習データを用いて、オブジェクトを動作させる。
本発明の第6の特徴は、動作部を備えるオブジェクトが学習する学習装置に接続する活動プログラムに関する。本発明の第6の特徴において学習装置は、オブジェクトに行わせるアクションの識別子と、アクションを行わせるための動作部の動きの組み合わせの目標とを対応づけたモーションデータを生成するモーション生成部と、モーションデータに従って、オブジェクトの動作部の動きを試みて、アクションに対する評価値を出力し、アクションの識別子とモーションデータと評価値とを対応づけて学習データに記憶する更新部とを備え、モーション生成部は、オブジェクトに行わせるアクションの識別子に対応づけられた学習データを参照して、新たなモーションデータを生成し、活動プログラムは、コンピュータに、学習装置で生成された学習データを用いて、オブジェクトを動作させる。
本発明の第7の特徴は、動作部を備えるオブジェクトが学習する学習装置に接続する動画生成装置に関する。本発明の第7の特徴において学習装置は、オブジェクトに行わせるアクションの識別子と、アクションを行わせるための動作部の動きの組み合わせの目標とを対応づけたモーションデータを生成するモーション生成部と、モーションデータに従って、オブジェクトの動作部の動きを試みて、アクションに対する評価値を出力し、アクションの識別子とモーションデータと評価値とを対応づけて学習データに記憶する更新部とを備え、モーション生成部は、オブジェクトに行わせるアクションの識別子に対応づけられた学習データを参照して、新たなモーションデータを生成し、動画生成装置は、学習装置で生成された学習データを用いて、オブジェクトが、動作部の動きを試みる状態を示す動画データを逐次生成する。
本発明によれば、オブジェクトが動作を学習する学習装置、学習方法、学習プログラム、動画配信装置、活動装置、活動プログラムおよび動画生成装置を提供することができる。
次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一または類似の部分には同一または類似の符号を付している。
(学習システム)
図1に示される本発明の実施の形態に係る学習システム9は、人工生命体と称されるオブジェクトOの活動を、コンピュータ上でシミュレートし、シミュレート結果を動画として提供する。本発明の実施の形態においては特に、オブジェクトOは、動作部を備える。オブジェクトOは、オブジェクトOの属性や、オブジェクトOが配置された領域の環境値などの制限下で、より良い効果が得られる動作部のモーションを学習する。
図1に示される本発明の実施の形態に係る学習システム9は、人工生命体と称されるオブジェクトOの活動を、コンピュータ上でシミュレートし、シミュレート結果を動画として提供する。本発明の実施の形態においては特に、オブジェクトOは、動作部を備える。オブジェクトOは、オブジェクトOの属性や、オブジェクトOが配置された領域の環境値などの制限下で、より良い効果が得られる動作部のモーションを学習する。
なお本発明の実施の形態に係るオブジェクトOは、仮想領域Vで活動することを前提に記載するが、これに限らない。オブジェクトOは、ロボットなどの有体物であって、動作部に対応する部品と、部品を制御するコンピュータを有しても良い。
学習システム9は、図1に示すように、学習装置1、動画配信装置2および端末3を備える。学習装置1、動画配信装置2および端末3は、通信ネットワーク8により相互に通信可能に接続される。
学習装置1は、図2に示すように、仮想領域VにおいてオブジェクトOが活動するシミュレーションを行う。図2に示す例においてオブジェクトOは、胴体を支える四肢を有し、四足歩行をする犬型形状であるこれに限らない。オブジェクトOは、二足歩行をする人型形状であっても良いし、図12等に示すように、放射状に四肢を有する形状であっても良い。
動画配信装置2は、学習装置1によって学習されたオブジェクトOの動きの動画を、端末3に配信する。
端末3は、動画配信装置2から配信された動画を再生する。また端末3は、学習装置1に対して、学習の開始または終了の指示を入力したり、オブジェクトOに行わせるアクションを指定したりしても良い。
本発明の実施の形態において、学習装置1、動画配信装置2および端末3はそれぞれ異なる装置である場合を説明するが、同一の装置に所定の機能が実装されても良い。例えば、学習装置1が動画データを端末3に配信しても良いし、学習装置1で動画を再生しても良い。
(学習装置)
図3を参照して、本発明の実施の形態に係る学習装置1を説明する。
図3を参照して、本発明の実施の形態に係る学習装置1を説明する。
本発明の実施の形態に係る学習装置1は、人工生命体とも称されるオブジェクトの活動をシミュレートする。
オブジェクトOにおいて動作部は、オブジェクトOを構成する部品を接続する関節である。またオブジェクトを構成する部品が武器や道具などの動作可能な部品である場合、この部品も動作部となる。この関節を所定方向に曲げたり回転させたりする一連のモーションを試みて、所定のアクションにおいてより良い効果が得られるように学習する。本発明の実施の形態において、オブジェクトOが複数の動作部を備える場合を説明するが、一つの動作部を備えても良い。
本発明の実施の形態において「アクション」は、オブジェクトO全体で行う動作であって、例えば、前進、後進、回転、ジャンプなどである。またオブジェクトOの動作部が道具である場合、「アクション」は、道具の使用を含む。例えば、動作部が銃である場合、「アクション」は、前方射撃を含む。
本発明の実施の形態において「モーション」は、アクションを行うための、オブジェクトOの各動作部の一連の動きの組み合わせである。「モーション」単位で、アクションの効果が評価される。所定時間以内に行う、オブジェクトOの各動作部の動作の組み合わせを、モーションとして生成する。オブジェクトOの属性や、オブジェクトOが配置された領域の環境値などの制限下で、オブジェクトOに、生成したモーションに従って動作するように試みさせる。
モーションは、アクション毎に評価される。例えば、前進のアクションを行わせるために生成されたモーションは、そのモーションを行った結果、前進した距離が大きいほど、評価が高くなる。学習装置1は、アクション毎に行ったモーションの評価に基づいて新たなモーションを生成して、より評価の高いモーションを模索して、学習する。
図3に示すように学習装置1は、記憶装置10、処理装置20、入力装置30、出力装置40および通信制御装置50を備える一般的なコンピュータである。一般的なコンピュータが所定の処理を実行するための学習プログラムを実行することにより、図3に示す各機能を実現する。
記憶装置10は、学習プログラムを記憶するとともに、領域属性データ11、環境値データ12、オブジェクト属性データ13、動作部属性データ14、評価指標データ15、モーションデータ16、学習データTおよび動画データMを記憶する。領域属性データ11、環境値データ12、オブジェクト属性データ13、動作部属性データ14および評価指標データ15は、本発明の実施の形態において、オブジェクトOが仮想領域Vで活動する際に用いられる参照データである。モーションデータ16、学習データTおよび動画データMは、オブジェクトOが仮想領域Vで活動する際に得られるデータであって、適宜更新される。
本発明の実施の形態において仮想領域Vは、複数の部分領域Dを備え、各部分領域Dに、当該部分領域Dの環境値識別子が対応づけられる。図4(a)に示すように、オブジェクトOが平面で活動する場合、平面形状の仮想領域Vは複数の部分領域Dに分割される。図4(b)に示すように、オブジェクトOが空間で活動する場合、空間形状の仮想領域Vは複数の部分領域Dに分割される。各部分領域Dは、例えば、2〜5のモーションデータを学習させることで、他の部分領域Dに移動可能な程度の大きさを有する。部分領域Dの一辺は、例えば、オブジェクトOの大きさの約1.5倍から5倍程度の大きさを有することが好ましい。
領域属性データ11および環境値データ12は、仮想領域Vの各部分領域Dの環境値を対応づける。領域属性データ11および環境値データ12は、オブジェクトOの活動領域における活動条件に対応する。
領域属性データ11は、オブジェクトOが活動する部分領域Dの環境値を対応づけるデータである。図5に示すように領域属性データ11は、部分領域識別子と、環境値識別子を対応づけたデータである。
本発明の実施の形態で用いられる環境値の数は、各仮想領域Vで用いられる部分領域Dの数よりも少なく設定されることが好ましい。換言すると、所定の環境値は、複数の部分領域Dに紐づけられ、所定の環境値における学習データは、その環境値が紐づけられる複数の部分領域Dの学習データとして参酌される。このように、仮想領域Vを複数の部分領域Dに分割し、各部分領域D毎に学習データを蓄積することによって、学習における計算量を削減し、効率的に学習することが可能になる。
環境値データ12は、部分領域Dに対応づけられる環境値識別子と、環境値のパラメータの組み合わせを対応づけるデータである。環境値データ12は、図6に示すように、環境値識別子、傾斜、摩擦、重力、吸着力、水深、気温等が対応づけられる。例えば気温は、オブジェクトOのエネルギー消費量に影響を与える。環境値データ12は、各部分領域Dの環境値の組み合わせを対応づける。なお、環境値データ12において、部分領域Dの属性によっては設定されない項目があっても良い。
オブジェクト属性データ13および動作部属性データ14は、オブジェクトOおよび動作部の属性を対応づける。オブジェクト属性データ13および動作部属性データ14は、オブジェクトOが活動する際のオブジェクトO自身の活動条件に対応する。
オブジェクト属性データ13は、オブジェクトO全体の属性を対応づけるデータである。オブジェクト属性データ13は、図7に示すように、仮想領域V内で活動するオブジェクトOを識別するオブジェクト識別子、オブジェクトOの種別、オブジェクトOが選択可能なアクションの識別子および個体値を対応づけたデータである。個体値には、基礎代謝、行動代謝、体力等が含まれる。オブジェクトOの種別が共通する場合でも、オブジェクト識別子毎に、異なる個体値が対応づけられる。
動作部属性データ14は、各オブジェクトOに含まれる動作部の属性を対応づけたデータである。動作部属性データ14は、図8に示すように、オブジェクト識別子、動作部識別子、個体値を対応づけたデータである。個体値には、形状、筋力、大きさ、重さ、重心、テクスチャ等が含まれる。オブジェクトOの種別および動作部識別子が共通する場合でも、オブジェクト識別子毎に、異なる個体値が対応づけられる。なお、各動作部のテクスチャの情報は、オブジェクトOの動きを描画する際に参酌される。
評価指標データ15は、オブジェクトOが行うアクション毎の評価関数と評価値を対応づけたデータである。評価指標データ15は、図9に示すように、アクション識別子、アクション名、評価関数、評価指標を対応づけたデータである。具体的には、「前進」のアクションについては、「前方向の移動量」に基づいて評価され、「移動量が多いほど評価が良い」評価値が付される。また「前方射撃」のアクションについては、「発射された弾丸のずれ」に基づいて評価され、「ずれが少ないほど評価が良い」評価値が付される。ここで「発射された弾丸のずれ」は、「発射された弾丸の発射方向と、オブジェクトOの前方向との立体角のずれ」である。評価指標データ15の評価値は、数値で評価されても良いし、数値を区分したレベルで評価されても良い。
モーションデータ16は、動きの学習において、オブジェクトOの各動作部に行わせる一連の動きのデータである。モーションデータ16は、オブジェクトOに行わせるアクションの識別子と、アクションを行わせるための動作部の動きの組み合わせの目標とを対応づけたデータである。モーションデータ16は、動作部について、動作部の動きと、動きを試みる時間とが対応づけられたペアを複数備える。モーションデータ16については、図12を参照して、後述する。
学習データTは、モーションデータに基づいてオブジェクトOに動作させた結果のデータである。学習データTは、アクション識別子および環境識別子毎に、学習した結果のデータであり、具体的には、アクション識別子、アクション名、環境値識別子、モーションおよび評価値を対応づけたデータである。
動画データMは、オブジェクトOが学習する様子の動画データである。
処理装置20は、学習部21および動画処理部26を備える。
学習部21は、オブジェクトOに学習させるために、モーション生成部22と更新部23を備える。
モーション生成部22は、オブジェクトOに行わせるアクションの識別子と、アクションを行わせるための動作部の動きの組み合わせの目標とを対応づけたモーションデータを生成する。モーション生成部22は、オブジェクトOに行わせるアクションの識別子に対応づけられた学習データを参照して、新たなモーションデータを生成する。
モーション生成部22は、多くの場合、オブジェクトOの各動作部について、過去に学習した結果を示す学習データTから、評価の良かったモーションに基づいて、良い評価が期待できるモーションを生成する。またモーション生成部22は、所定以下の割合で、学習データTの評価にかかわらず、ランダムでモーションを生成する。良い評価が期待できるモーションのみならず、ランダムにモーションを選択することにより、予見しにくい新たな評価が得られ、その結果、さらに良い評価を得られる場合があり、オブジェクトOの進化に寄与する。
モーション生成部22は、オブジェクトOが位置する部分領域Dの環境値識別子に対応づけられた学習データTを参照して、新たなモーションデータを生成する。本発明の実施の形態において学習データTは、部分領域Dの環境値識別子に紐づけられるので、オブジェクトOは、オブジェクトOが位置する部分領域の環境値識別子における過去の学習の結果を参照して、さらに学習する。オブジェクトOが位置する環境値を個別のパラメータでなく、パラメータの組み合わせとして管理することにより、学習における計算量を削減し、より短い時間で所望の学習結果を得ることが可能になる。
更新部23は、モーションデータ16に従って、オブジェクトOの動作部の動きを試みて、アクションに対する評価値を出力し、アクションの識別子とモーションデータと評価値とを対応づけて学習データTに記憶する。更新部23は、モーションデータ16で生成された複数のペアに基づいて動きを試みた後に、評価値を出力する。
更新部23は、モーションデータ16として生成された、各動作部の動きと動きを試みる時間とを対応づけたペアに基づいて、動作部の動きの組み合わせの目標を実現するように、オブジェクトOを動作させる。このとき更新部23は、オブジェクトOが位置する部分領域Dの環境値、オブジェクトOの属性および動作部の属性を制約条件として、オブジェクトOを動作させる。
ここでオブジェクトOは、オブジェクトOが位置する部分領域の環境値、オブジェクトOの属性および動作部の属性によっては、その動作を達成できずに、途中で断念せざるを得ない場合もある。オブジェクトOは、モーションデータ16で指定された時間、その動作を試みて達成できない場合であっても、その次の時間に指定された新たな動作を試みる。
更新部23は、モーションデータ16として生成されたすべてのペアについて、動作を試みた後、オブジェクトOに行わせたアクションに対して評価を行う。例えば、「前進」のアクションを行わせた場合、モーションデータ16に基づいてオブジェクトOが動作した結果得られた「前方向の移動量」を算出する。また更新部23は、算出された「前方向の移動量」を、評価指標データ15に基づいて評価値に換算して、学習データTに記憶する。
学習部21は、所定の条件を満たして学習を終了するまで、モーションデータ16の生成と、学習データTの更新を繰り返す。学習部21は、例えば、入力装置30や通信制御装置50等から、終了の指示が入力されると、処理を終了する。学習装置1は、所定の学習回数や学習時間に達した際に、処理を終了しても良いし、所定の評価値が得られた際に、処理を終了しても良い。
動画処理部26は、動画生成部27と動画配信部28を備える。
動画生成部27は、オブジェクトOが、モーションデータ16に従って動作部の動きを試みる状態を示す動画データを逐次生成する。動画生成部27は、オブジェクトOの動作部の動きと動きを試みる時間とを対応づけたペアに基づいて、各時間で、各動作部の動きを試みるとともに、オブジェクトOが位置する部分領域の環境値、オブジェクトOの属性および動作部の属性によって、その動作を達成できた、あるいは達成できないで途中で止まってしまう状態などを描画する動画データMを生成する。
動画配信部28は、動画生成部27が生成した動画データMを端末3に配信する。動画配信部28は、動画生成部27が生成した動画データMを、動画配信装置2に送信して、動画配信装置2に配信させても良い。
図11を参照して、本発明の実施の形態に係る学習部21による学習処理を説明する。
まずステップS1において学習部21は、オブジェクトOに行わせるアクションを特定するとともに、オブジェクトOの位置を特定する。アクションは、入力装置30を介して入力されても良いし、端末3から入力されても良いし、予めスクリプトとして設定されても良い。ステップS2において学習部21は、学習データTから、ステップS1で特定したアクションおよびオブジェクトOの位置の環境値識別子に対応する、過去の学習データを抽出する。
ステップS3において学習部21は、ステップS2で抽出した過去の学習データを参照して、各動作部のモーションデータ16を生成する。ここで学習部21は、過去の学習データTで良い評価値が得られたモーションデータに基づいて、モーションデータ16を生成する。また学習部21は、例えば、モーションデータを100回生成するうちの50回以下などの所定以下の割合で、評価値にかかわらず、モーションデータ16を生成する。
ステップS4において学習部21は、ステップS3で生成したモーションデータに従って、各動作部の動きを試みる。学習部21は、ステップS5において、アクションに対応づけられた評価関数を用いて、オブジェクトOが行ったアクションを評価して、ステップS6において学習データTを更新する。
ステップS7において、継続して学習する場合、ステップS1に戻る。学習を終了する場合、処理を終了する。
図12および図13を参照して、動作部の学習について説明する。
オブジェクトOは、図12(a)に示すように、球体形状の部品P1と、部品P1の周り設けられる四肢を有する。四肢の一つは、二つの円柱形状の部品P2およびP3を備える。部品P1と部品P2は、関節N1により接続され、部品P2と部品P3は、関節N2により接続される。
図12(a)に示すオブジェクトOは、合計8個の関節により構成されるので、図12(b)に示すモーションデータ16は、各関節について、8個のデータセットを有する。図12(b)に示すモーションデータ16において、1行目のデータは、第0番目の関節の動作を示し、2行目のデータは、第1番目の関節の動作を示し、合計8行のデータにより構成される。
図12(c)を参照して、各関節に対応づけられた動作を説明する。第0番目の先頭の記載[1,[3,2,1]]について説明する。[1,[3,2,1]]は、第0番目の関節が、1秒後に、[3,2,1]の状態になるように試みることを意味している。[3,2,1]の状態とは、オイラー角が、[3,2,1]の状態を意味し、具体的には、[0.3*(70−30)+30,0.2*(70−30)+30,0.1*(70−30)+30]であることを意味する。ここで“30”および“70”は、第0番目の関節の可動域としてあらかじめ設定された定数である。
図13(a)に示すのが、時間t=0の状態であって、オブジェクトOが動きを試みていない状態である。図13(a)では、関節N2(第0の関節)は、部品P2およびP3を垂直に接続する。一方、図13(b)は、モーションデータ16において、1秒後の目標として設定されたオイラー角[3,2,1]の状態を示す。図13(b)では、関節N2は、部品P2およびP3を所定の角度分曲げた状態で接続する。
図13(c)は、オブジェクトOが、第0の関節について、1秒間、オイラー角[3,2,1]の状態を目指して動作した結果である。関節を曲げる速度は、オブジェクトOの筋力や重さによって異なるため、1秒以内に、オイラー角[3,2,1]の状態に到達するとは限らず、図13(c)は、目標とする状態に到達しなかった状態を示す。図13(c)では、関節N2は、部品P2およびP3を所定の角度で接続しているものの、図13(b)に示す目標の状態の角度よりも小さい。
このように、モーションデータ16において、各関節における各時間の動作目標を設定される。学習部21は、モーションデータ16に従って各関節を動かし、目標に達しなかった場合でも、モーションデータ16に従って、次に設定された目標に向かって動作する。学習部21は、モーションデータ16に設定されたすべての関節および時間における動作目標を試みて、その結果を評価する。
図12および図13において、関節を曲げる動作について説明したが、これに限られない。例えば、動作部が、バネ形状である場合、モーションデータ16に、所定時間以内に伸長または縮小する距離が、目標として設定されても良い。動作部が、回転する車輪形状である場合、モーションデータ16に、所定時間以内に回転する回転角が、目標として設定されても良い。動作部が銃である場合、所定条件を満たした際の発砲の動作が、目標として設定されても良い。
このように本発明の実施の形態に係る学習装置1は、オブジェクトOがアクション毎に学習する。従って、学習装置1が、オブジェクトOに様々なアクションを動作させ、動画データMとして生成することにより、ユーザは、オブジェクトOが様々なアクションを動作する様子を観察することが可能になる。またオブジェクトOが活動する仮想領域Vを部分領域Dに分割することで、オブジェクトOの位置毎の各種環境値にあわせて学習させる必要がなく、学習に必要な計算量を削減することができる。
(変形例)
図14および図15を参照して、本発明の変形例に係る学習システム9aを説明する。図14に示す学習システム9aは、学習装置1a、活動装置5、動画生成装置6および動画配信装置7を備える。学習装置1aは、図3に示す学習装置1のうち、学習部21を備え、動画処理部26を備えない。
図14および図15を参照して、本発明の変形例に係る学習システム9aを説明する。図14に示す学習システム9aは、学習装置1a、活動装置5、動画生成装置6および動画配信装置7を備える。学習装置1aは、図3に示す学習装置1のうち、学習部21を備え、動画処理部26を備えない。
活動装置5、動画生成装置6および動画配信装置7は、それぞれ、一般的なコンピュータであって、所望の処理を実行するように形成される。活動装置5および動画生成装置6は、学習装置1aと連携して、学習装置1aにおいて生成された学習データから生成されたモーションデータに従って、オブジェクトOが動作する状態を可視化する。
活動装置5は、オブジェクトOが仮想領域Vで活動する場合、活動装置5は、学習装置1aにおいて生成された学習データから生成されたモーションデータに従って、仮想領域VでオブジェクトOが動きを試みる様子を描画して、表示する。オブジェクトOが有体物である場合、活動装置5は、学習装置1aにおいて生成された学習データから生成されたモーションデータに従って、オブジェクトOが備える各動作部に対応する部品が動くように制御する。
動画生成装置6は、オブジェクトOが仮想領域Vで活動する場合、活動装置5は、学習装置1aにおいて生成された学習データから生成されたモーションデータに従って、仮想領域VでオブジェクトOが動きを試みる様子を示す動画データMを生成する。動画生成装置6は、図3に示す学習装置1の動画生成部27に対応する。また動画生成装置6で生成された動画データMは、動画配信装置7に送信され、動画配信装置7から各端末(図示せず)に動画データMが配信され、各端末で動画データMが再生される。
ここで、活動装置5または動画生成装置6が、学習装置1aの学習データTを用いて処理する方法として、下記の方法が考えられる。なお、モーションデータは、学習装置1bで生成されても良いし、活動装置5または動画生成装置6で生成されても良い。また活動装置5または動画生成装置6は、学習装置1aにおいて、モーションデータに従って各動作部の動きを試みた結果を取得して、その結果に従って、動作部の動きを再現しても良い。
(1) 活動装置5または動画生成装置6が、図15に示すように、学習装置1aから、学習データTに基づいて生成された新たなモーションデータを取得して、活動装置5または動画生成装置6が、取得したモーションデータに従って、オブジェクトOの動作部の動きを試みる方法。ここで、学習装置1aが生成した新たなモーションデータは、学習データTを元に、評価に関係なくランダムに変異させたものである。
(2) 活動装置5または動画生成装置6が、学習装置1aから、学習データTを取得して、活動装置5または動画生成装置6が、取得した学習データTから、モーションデータを抽出し、抽出したモーションデータに従って、オブジェクトOの動作部の動きを試みる方法。ここで学習装置1aから取得するモーションデータは、学習データTにおいて良い評価が得られたモーションデータに従って生成されたもので、良い評価が期待できるモーションデータである。
(1) 活動装置5または動画生成装置6が、図15に示すように、学習装置1aから、学習データTに基づいて生成された新たなモーションデータを取得して、活動装置5または動画生成装置6が、取得したモーションデータに従って、オブジェクトOの動作部の動きを試みる方法。ここで、学習装置1aが生成した新たなモーションデータは、学習データTを元に、評価に関係なくランダムに変異させたものである。
(2) 活動装置5または動画生成装置6が、学習装置1aから、学習データTを取得して、活動装置5または動画生成装置6が、取得した学習データTから、モーションデータを抽出し、抽出したモーションデータに従って、オブジェクトOの動作部の動きを試みる方法。ここで学習装置1aから取得するモーションデータは、学習データTにおいて良い評価が得られたモーションデータに従って生成されたもので、良い評価が期待できるモーションデータである。
活動装置5および動画生成装置6等は、様々な場面に適用することが可能になる。例えば、動画生成装置6において、オブジェクトOを活動させる動画データを生成して配信することにより、オブジェクトが活動する様子を観察するゲームとして提供することが可能になる。一人のユーザが一つのオブジェクトOに学習させるゲームであっても良いし、複数のユーザが一つのオブジェクトOに学習させるゲームであっても良い。
また動画生成装置6において、仮想領域Vにおいて複数のオブジェクトを活動させる動画データを生成することにより、それぞれのオブジェクトが個性を持った動きをする動画データを生成することができる。このような動画データは、映画やビデオ等のシーンに適用することができる。
このように、学習データTを生成する装置と、学習データTを参照してオブジェクトOが活動する装置とを分けることにより、活動装置5や動画生成装置6における処理負荷が軽減される。また、予め作成した学習データTを、場面に応じて再利用することが可能になる。
(その他の実施の形態)
上記のように、本発明の実施の形態とその変形例によって記載したが、この開示の一部をなす論述および図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例および運用技術が明らかとなる。
上記のように、本発明の実施の形態とその変形例によって記載したが、この開示の一部をなす論述および図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例および運用技術が明らかとなる。
例えば、本発明の実施の形態に記載した学習装置は、図3に示すように一つのハードウエア上に構成されても良いし、その機能や処理数に応じて複数のハードウエア上に構成されても良い。また、既存の情報処理システム上に実現されても良い。
本発明はここでは記載していない様々な実施の形態等を含むことは勿論である。従って、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。
1 学習装置
2、7 動画配信装置
3 端末
5 活動装置
6 動画生成装置
8 通信ネットワーク
9 学習システム
10 記憶装置
11 領域属性データ
12 環境値データ
13 オブジェクト属性データ
14 動作部属性データ
15 評価指標データ
16 モーションデータ
20 処理装置
21 学習部
22 モーション生成部
23 更新部
26 動画処理部
27 動画生成部
28 動画配信部
D 部分領域
M 動画データ
O オブジェクト
T 学習データ
V 仮想領域
2、7 動画配信装置
3 端末
5 活動装置
6 動画生成装置
8 通信ネットワーク
9 学習システム
10 記憶装置
11 領域属性データ
12 環境値データ
13 オブジェクト属性データ
14 動作部属性データ
15 評価指標データ
16 モーションデータ
20 処理装置
21 学習部
22 モーション生成部
23 更新部
26 動画処理部
27 動画生成部
28 動画配信部
D 部分領域
M 動画データ
O オブジェクト
T 学習データ
V 仮想領域
Claims (9)
- 動作部を備えるオブジェクトが学習する学習装置であって、
前記オブジェクトは仮想領域で活動し、
前記仮想領域は、複数の部分領域を備え、各部分領域に、当該部分領域の環境値識別子が対応づけられ、
前記オブジェクトに行わせるアクションの識別子と、前記アクションを行わせるための前記動作部の動きの組み合わせの目標とを対応づけたモーションデータを生成するモーション生成部と、
前記モーションデータに従って、前記オブジェクトの前記動作部の動きを試みて、前記アクションに対する評価値を出力し、前記アクションの識別子と前記オブジェクトが位置する部分領域の環境値識別子と前記モーションデータと前記評価値とを対応づけて学習データに記憶する更新部とを備え、
前記モーション生成部は、前記オブジェクトに行わせるアクションの識別子および前記オブジェクトが位置する部分領域の環境値識別子に対応づけられた学習データを参照して、新たなモーションデータを生成する
ことを特徴とする学習装置。 - 前記モーションデータは、前記動作部について、前記動作部の動きと、前記動きを試みる時間とが対応づけられたペアを複数備え、
前記更新部は、前記モーションデータで生成された複数のペアに基づいて動きを試みた後に、前記評価値を出力する
ことを特徴とする請求項1に記載の学習装置。 - 前記オブジェクトが、前記モーションデータに従って前記動作部の動きを試みる状態を示す動画データを逐次生成して配信する配信部をさらに備える
ことを特徴とする請求項1に記載の学習装置。 - 動作部を備えるオブジェクトが学習する学習方法であって、
前記オブジェクトは仮想領域で活動し、
前記仮想領域は、複数の部分領域を備え、各部分領域に、当該部分領域の環境値識別子が対応づけられ、
コンピュータが、前記オブジェクトに行わせるアクションの識別子と、前記アクションを行わせるための前記動作部の動きの組み合わせの目標とを対応づけたモーションデータを生成するステップと、
前記コンピュータが、前記モーションデータに従って、前記オブジェクトの前記動作部の動きを試みて、前記アクションに対する評価値を出力し、前記アクションの識別子と前記オブジェクトが位置する部分領域の環境値識別子と前記モーションデータと前記評価値とを対応づけて学習データに記憶するステップと、
前記コンピュータが、前記オブジェクトに行わせるアクションの識別子および前記オブジェクトが位置する部分領域の環境値識別子に対応づけられた学習データを参照して、新たなモーションデータを生成するステップ
を備えることを特徴とする学習方法。 - 動作部を備えるオブジェクトが学習する学習プログラムであって、
前記オブジェクトは仮想領域で活動し、
前記仮想領域は、複数の部分領域を備え、各部分領域に、当該部分領域の環境値識別子が対応づけられ、
コンピュータを、
前記オブジェクトに行わせるアクションの識別子と、前記アクションを行わせるための前記動作部の動きの組み合わせの目標とを対応づけたモーションデータを生成するモーション生成部と、
前記モーションデータに従って、前記オブジェクトの前記動作部の動きを試みて、前記アクションに対する評価値を出力し、前記アクションの識別子と前記オブジェクトが位置する部分領域の環境値識別子と前記モーションデータと前記評価値とを対応づけて学習データに記憶する更新部として機能させ、
前記モーション生成部は、前記オブジェクトに行わせるアクションの識別子および前記オブジェクトが位置する部分領域の環境値識別子に対応づけられた学習データを参照して、新たなモーションデータを生成する
ことを特徴とする学習プログラム。 - 動作部を備えるオブジェクトが学習する学習装置に接続する動画配信装置であって、
前記オブジェクトは仮想領域で活動し、
前記仮想領域は、複数の部分領域を備え、各部分領域に、当該部分領域の環境値識別子が対応づけられ、
前記学習装置は、
前記オブジェクトに行わせるアクションの識別子と、前記アクションを行わせるための前記動作部の動きの組み合わせの目標とを対応づけたモーションデータを生成するモーション生成部と、
前記モーションデータに従って、前記オブジェクトの前記動作部の動きを試みて、前記アクションに対する評価値を出力し、前記アクションの識別子と前記オブジェクトが位置する部分領域の環境値識別子と前記モーションデータと前記評価値とを対応づけて学習データに記憶する更新部とを備え、
前記モーション生成部は、前記オブジェクトに行わせるアクションの識別子および前記オブジェクトが位置する部分領域の環境値識別子に対応づけられた学習データを参照して、新たなモーションデータを生成し、
前記動画配信装置は、
前記学習装置において生成された学習データを用いて、前記オブジェクトが、前記動作部の動きを試みる状態を示す動画データを逐次生成して配信することを特徴とする動画配信装置。 - 動作部を備えるオブジェクトが学習する学習装置に接続する活動装置であって、
前記オブジェクトは仮想領域で活動し、
前記仮想領域は、複数の部分領域を備え、各部分領域に、当該部分領域の環境値識別子が対応づけられ、
前記学習装置は、
前記オブジェクトに行わせるアクションの識別子と、前記アクションを行わせるための前記動作部の動きの組み合わせの目標とを対応づけたモーションデータを生成するモーション生成部と、
前記モーションデータに従って、前記オブジェクトの前記動作部の動きを試みて、前記アクションに対する評価値を出力し、前記アクションの識別子と前記オブジェクトが位置する部分領域の環境値識別子と前記モーションデータと前記評価値とを対応づけて学習データに記憶する更新部とを備え、
前記モーション生成部は、前記オブジェクトに行わせるアクションの識別子および前記オブジェクトが位置する部分領域の環境値識別子に対応づけられた学習データを参照して、新たなモーションデータを生成し、
前記活動装置は、
前記学習装置で生成された学習データを用いて、オブジェクトを動作させることを特徴とする活動装置。 - 動作部を備えるオブジェクトが学習する学習装置に接続する活動プログラムであって、
前記オブジェクトは仮想領域で活動し、
前記仮想領域は、複数の部分領域を備え、各部分領域に、当該部分領域の環境値識別子が対応づけられ、
前記学習装置は、
前記オブジェクトに行わせるアクションの識別子と、前記アクションを行わせるための前記動作部の動きの組み合わせの目標とを対応づけたモーションデータを生成するモーション生成部と、
前記モーションデータに従って、前記オブジェクトの前記動作部の動きを試みて、前記アクションに対する評価値を出力し、前記アクションの識別子と前記オブジェクトが位置する部分領域の環境値識別子と前記モーションデータと前記評価値とを対応づけて学習データに記憶する更新部とを備え、
前記モーション生成部は、前記オブジェクトに行わせるアクションの識別子および前記オブジェクトが位置する部分領域の環境値識別子に対応づけられた学習データを参照して、新たなモーションデータを生成し、
前記活動プログラムは、
コンピュータに、
前記学習装置で生成された学習データを用いて、オブジェクトを動作させることを特徴とする活動プログラム。 - 動作部を備えるオブジェクトが学習する学習装置に接続する動画生成装置であって、
前記オブジェクトは仮想領域で活動し、
前記仮想領域は、複数の部分領域を備え、各部分領域に、当該部分領域の環境値識別子が対応づけられ、
前記学習装置は、
前記オブジェクトに行わせるアクションの識別子と、前記アクションを行わせるための前記動作部の動きの組み合わせの目標とを対応づけたモーションデータを生成するモーション生成部と、
前記モーションデータに従って、前記オブジェクトの前記動作部の動きを試みて、前記アクションに対する評価値を出力し、前記アクションの識別子と前記オブジェクトが位置する部分領域の環境値識別子と前記モーションデータと前記評価値とを対応づけて学習データに記憶する更新部とを備え、
前記モーション生成部は、前記オブジェクトに行わせるアクションの識別子および前記オブジェクトが位置する部分領域の環境値識別子に対応づけられた学習データを参照して、新たなモーションデータを生成し、
前記動画生成装置は、
前記学習装置で生成された学習データを用いて、前記オブジェクトが、前記動作部の動きを試みる状態を示す動画データを逐次生成する
ことを特徴とする動画生成装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017071117A JP6326167B1 (ja) | 2017-03-31 | 2017-03-31 | 学習装置、学習方法、学習プログラム、動画配信装置、活動装置、活動プログラムおよび動画生成装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017071117A JP6326167B1 (ja) | 2017-03-31 | 2017-03-31 | 学習装置、学習方法、学習プログラム、動画配信装置、活動装置、活動プログラムおよび動画生成装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018076795A Division JP2018171448A (ja) | 2018-04-12 | 2018-04-12 | 学習装置、学習方法、学習プログラム、動画配信装置、オブジェクト活動装置、オブジェクト活動プログラムおよび動画生成装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6326167B1 true JP6326167B1 (ja) | 2018-05-16 |
JP2018173790A JP2018173790A (ja) | 2018-11-08 |
Family
ID=62143815
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017071117A Active JP6326167B1 (ja) | 2017-03-31 | 2017-03-31 | 学習装置、学習方法、学習プログラム、動画配信装置、活動装置、活動プログラムおよび動画生成装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6326167B1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020178908A (ja) * | 2019-04-25 | 2020-11-05 | 株式会社コナミアミューズメント | ゲーム装置、ゲームシステム、ゲーム装置の動作方法およびプログラム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001191284A (ja) * | 1999-10-25 | 2001-07-17 | Sony Corp | ロボット装置及びロボット装置の学習方法 |
JP2003311669A (ja) * | 2002-04-18 | 2003-11-05 | Fuji Heavy Ind Ltd | ロボット装置 |
JP2004033159A (ja) * | 2002-07-05 | 2004-02-05 | Heisei Polymer Co Ltd | 海苔種付け用袋 |
KR20100065809A (ko) * | 2008-12-09 | 2010-06-17 | (주)로보티즈 | 학습에 의한 로봇의 보행 방법 및 학습에 의한 보행 메커니즘을 구비한 로봇 |
JP2012008862A (ja) * | 2010-06-25 | 2012-01-12 | Kyushu Institute Of Technology | 動作制御装置、その方法、及びプログラム |
JP2015100877A (ja) * | 2013-11-25 | 2015-06-04 | キヤノン株式会社 | ロボット制御方法、及びロボット制御装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1552908A4 (en) * | 2002-10-11 | 2008-10-15 | Fujitsu Ltd | DEVICE FOR CREATING A ROBOT CONTROL ALGORITHM, PROGRAM FOR CREATING A ROBOT CONTROL ALGORITHM, ROBOT CONTROL PROGRAM AND ROBOT |
-
2017
- 2017-03-31 JP JP2017071117A patent/JP6326167B1/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001191284A (ja) * | 1999-10-25 | 2001-07-17 | Sony Corp | ロボット装置及びロボット装置の学習方法 |
JP2003311669A (ja) * | 2002-04-18 | 2003-11-05 | Fuji Heavy Ind Ltd | ロボット装置 |
JP2004033159A (ja) * | 2002-07-05 | 2004-02-05 | Heisei Polymer Co Ltd | 海苔種付け用袋 |
KR20100065809A (ko) * | 2008-12-09 | 2010-06-17 | (주)로보티즈 | 학습에 의한 로봇의 보행 방법 및 학습에 의한 보행 메커니즘을 구비한 로봇 |
JP2012008862A (ja) * | 2010-06-25 | 2012-01-12 | Kyushu Institute Of Technology | 動作制御装置、その方法、及びプログラム |
JP2015100877A (ja) * | 2013-11-25 | 2015-06-04 | キヤノン株式会社 | ロボット制御方法、及びロボット制御装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020178908A (ja) * | 2019-04-25 | 2020-11-05 | 株式会社コナミアミューズメント | ゲーム装置、ゲームシステム、ゲーム装置の動作方法およびプログラム |
JP7419635B2 (ja) | 2019-04-25 | 2024-01-23 | 株式会社コナミアミューズメント | ゲームシステム、制御システム、制御方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2018173790A (ja) | 2018-11-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111260762B (zh) | 一种动画实现方法、装置、电子设备和存储介质 | |
WO2020259502A1 (zh) | 神经网络模型的生成方法及装置、计算机可读存储介质 | |
CN106780681B (zh) | 一种角色动作生成方法和装置 | |
US10758826B2 (en) | Systems and methods for multi-user editing of virtual content | |
JP7199517B2 (ja) | 情報予測方法、モデルトレーニング方法、サーバー及びコンピュータプログラム | |
RU2557522C2 (ru) | Устройство и способ для улучшения представления объектов в распределенном интерактивном имитационном моделировании | |
CN104102522B (zh) | 交互式游戏中智能非玩家角色的人工情感驱动方法 | |
WO2023088041A1 (zh) | 虚拟角色的行走动画生成方法、装置、设备及存储介质 | |
CN111714880B (zh) | 画面的显示方法和装置、存储介质、电子装置 | |
US11816772B2 (en) | System for customizing in-game character animations by players | |
CN111544889B (zh) | 虚拟对象的行为控制方法和装置及存储介质 | |
CN111968204B (zh) | 一种骨骼模型的运动展示方法和装置 | |
JP2018171448A (ja) | 学習装置、学習方法、学習プログラム、動画配信装置、オブジェクト活動装置、オブジェクト活動プログラムおよび動画生成装置 | |
JP2024511796A (ja) | 仮想銃の射撃表示方法及び装置、コンピュータ機器並びにコンピュータプログラム | |
JP6326167B1 (ja) | 学習装置、学習方法、学習プログラム、動画配信装置、活動装置、活動プログラムおよび動画生成装置 | |
Youssef et al. | Building your kingdom imitation learning for a custom gameplay using unity ml-agents | |
Miyake | Current status of applying artificial intelligence in digital games | |
CN111389007B (zh) | 一种游戏控制方法、装置、计算设备及存储介质 | |
JP6876072B2 (ja) | ビデオゲーム処理プログラム、ビデオゲーム処理装置、ビデオゲーム処理方法及び学習用プログラム | |
CN114359469A (zh) | 生成主控对象投影的方法、装置、设备及介质 | |
Grant et al. | Integrating multiagent systems into virtual worlds | |
Pearson | Architectures of deviation: exploring the spatial protocols of contemporary videogames | |
CN106110658B (zh) | 一种在游戏中使用的模拟方法和装置 | |
Estgren et al. | Behaviour tree evolution by genetic programming | |
Azarbadegan et al. | Evolving Sims's creatures for bipedal gait |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180320 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180413 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6326167 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |