JP2015171472A - 動作報知システム - Google Patents
動作報知システム Download PDFInfo
- Publication number
- JP2015171472A JP2015171472A JP2014048602A JP2014048602A JP2015171472A JP 2015171472 A JP2015171472 A JP 2015171472A JP 2014048602 A JP2014048602 A JP 2014048602A JP 2014048602 A JP2014048602 A JP 2014048602A JP 2015171472 A JP2015171472 A JP 2015171472A
- Authority
- JP
- Japan
- Prior art keywords
- motion
- information
- timing
- unit
- library
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Signal Processing For Digital Recording And Reproducing (AREA)
Abstract
【課題】一般的な映像DVD等の再生装置やテレビモニターを用いた場合でも、ユーザへの報知を可能とする。
【解決手段】DVD等の映像再生媒体に音響透かしとして記録されたモーションIDとタイミング情報とを音響透かしデコード部40によりデコードして登録する。動作判定部20は、ユーザの身体に取り付けたホスト100、第1スレーブ110a、第2スレーブ110b、第3スレーブ110cのモーションセンサー10及びモーションセンサー111の検知結果と、モーションライブラリ70に記憶された動作の内容の情報とに基づいて解析を行いモーションIDを判定する。タイミング動作判定部50は、登録されたタイミング情報が示すタイミングで、登録されたモーションIDと判定結果のモーションIDとの合致を判定する。フィードバック生成部60は判定結果に基づいて音等のフィードバックを発生させる。
【選択図】図1
【解決手段】DVD等の映像再生媒体に音響透かしとして記録されたモーションIDとタイミング情報とを音響透かしデコード部40によりデコードして登録する。動作判定部20は、ユーザの身体に取り付けたホスト100、第1スレーブ110a、第2スレーブ110b、第3スレーブ110cのモーションセンサー10及びモーションセンサー111の検知結果と、モーションライブラリ70に記憶された動作の内容の情報とに基づいて解析を行いモーションIDを判定する。タイミング動作判定部50は、登録されたタイミング情報が示すタイミングで、登録されたモーションIDと判定結果のモーションIDとの合致を判定する。フィードバック生成部60は判定結果に基づいて音等のフィードバックを発生させる。
【選択図】図1
Description
この発明は、動作の内容や動作のタイミングに関する判定を行い、判定の結果に応じて報知を行う動作報知システムに関する。
フィットネス系のゲーム、あるいは、ダンス系ゲームにおいては、ユーザがゲームの画面に合わせて動くと、ユーザの動きを検出してフィードバックをかけ、画面から「OK」などの映像を音声と共に報知するシステムが開発されている。このようなシステムでは、センサーとしてカメラを備え、カメラによりユーザの動きを画像解析したり、あるいは、専用の台等にセンサーを備えておき、センサーのオン・オフによりユーザの動きを解析していた(例えば、特許文献1)。
しかしながら、特許文献1のシステムにおいては、専用のゲーム装置が必要であり、一般的な映像DVD再生装置やテレビモニターを用いてユーザへの報知を行うことはできなかった。
また、従来のシステムでは、手本となる動作とユーザの動作との比較は、手本となる動作ごとに個別に行われていたため、例えば、上半身のトレーニングの映像を下半身のトレーニング用に流用する等の汎用的な使い方はできなかった。
本発明は、上述した事情に鑑みてなされたものであり、一般的な映像DVD等の再生装置やテレビモニターを用いた場合でも、ユーザへの報知を行うことができる動作報知システムを提供することを解決課題とする。また、手本となる動作のコンテンツによることなく汎用的な使用が可能な動作報知システムを提供することを解決課題とする。
上述した課題を解決するため、本発明の動作報知システムは、少なくとも映像及び音のいずれかに埋め込まれ、少なくとも同期情報(例えばタイミング情報または同期タイミング)を含む透かし情報をデコードするデコード部(例えば音響透かしデコード部40)と、基準となる動作の内容を特定する情報(例えばモーションIDまたはコマンド的な情報)と当該動作のタイミングを示すタイミング情報とを登録する登録部(例えばタイミング動作判定部50,51)と、動作の内容を示す情報(例えば図3に示す動作の内容を示す情報)と当該情報を識別する識別情報(例えばモーションID)とが記憶されたモーションライブラリ(例えばモーションライブラリ70)と、前記登録したタイミング情報が示すタイミングに到達したか否かを前記同期情報に基づいて判断し、到達したと判断した場合に、少なくとも前記モーションライブラリに記憶されたいずれかの情報と、前記登録した基準となる動作の内容を特定する情報とを参照して、動作に関する判定(例えばモーションIDが一致しているかどうかの判定、または、モーションIDが示す動作の内容の判定)を行うタイミング動作判定部(例えばタイミング動作判定部50,51)と、前記判定の結果に基づいて報知を行う報知部(例えばフィードバック生成部60)とを備えることを特徴とする。
この発明によれば、少なくとも映像及び音のいずれかに埋め込まれた少なくとも同期情報を含む透かし情報は、デコード部によりデコードされる。タイミング動作判定部は、前記同期情報に基づいて、登録部に登録したタイミング情報が示すタイミングに到達したと判断した場合に、少なくともモーションライブラリに記憶されたいずれかの情報と、登録部に登録した基準となる動作の内容を特定する情報とを参照して、動作に関する判定を行う。報知部は前記判定の結果に基づいて報知を行う。したがって、一般的なDVD等の映像音声媒体に前記透かし情報を埋め込んでおくことにより、当該映像音声媒体の再生装置やテレビモニターを用いた場合でも、使用者に対して基準となる動作に関する情報を報知できる。例えば、報知する手段として振動等を採用することにより、映像音声媒体を視聴しただけでは分りにくい基準となる動作に関する情報を使用者に振動等により報知できる。また、このシステムにセンサー等を含めた場合には、使用者による動作と基準となる動作との比較判定の結果を使用者に振動等により報知できる。センサー等を含めた場合の詳細は以下に示される。
上述した動作報知システムにおいて、使用者の動作を検知するモーションセンサー(例えばモーションセンサー10,111)と、前記モーションセンサーによる検知結果と前記モーションライブラリ(例えばモーションライブラリ70)に記憶された前記動作の内容を示す情報とから、前記モーションライブラリに記憶された前記識別情報(例えばモーションID)を判定する動作判定部(例えば動作判定部20)とをさらに備え、前記タイミング動作判定部(例えばタイミング動作判定部50)は、前記登録したタイミング情報が示すタイミングに到達したか否かを前記同期情報に基づいて判断し、到達したと判断した場合に、前記判定された前記識別情報と、前記登録した基準となる動作の内容を特定する情報とを参照して、前記基準となる動作と前記検知結果としての使用者の動作との関係について判定(例えばモーションIDが一致しているかどうかの判定)を行うようにしてもよい。
この場合には、動作判定部は、モーションセンサーによる使用者の動作の検知結果と、モーションライブラリに記憶された前記動作の内容を示す情報とから、前記モーションライブラリに記憶された前記識別情報を判定する。タイミング動作判定部は、デコードされた前記同期情報に基づいて、登録部に登録したタイミング情報が示すタイミングに到達したと判断した場合に、前記動作判定部により判定された前記識別情報と、登録部に登録した基準となる動作の内容を特定する情報とを参照して、前記基準となる動作と前記検知結果としての使用者の動作との関係、例えば、使用者の動作が前記基準となる動作に一致しているかどうか等の判定を行う。そしてこの判定結果は、報知部により使用者に報知される。したがって、一般的なDVD等の映像音声媒体に前記透かし情報を埋め込んでおくことにより、当該映像音声媒体の再生装置やテレビモニターを用いた場合でも、使用者の動作が基準となる動作に一致していかどうか等の情報を使用者に報知できる。
<第1実施形態>
以下、本発明の実施形態について図面を参照しつつ説明する。図1は第1実施形態に係る動作報知システム1を示すブロック図である。動作報知システム1は、一例として、1台のホスト100と、第1スレーブ110a、第2スレーブ110b、及び第3スレーブ110cの3台のスレーブとから構成されている。なお、動作報知システム1はこのような構成に限定されるものではなく、1台のホスト100のみで構成されていても良いし、スレーブの台数も任意に設定することができる。本実施形態では、例えば、ホスト100をユーザの右手、第1スレーブ110aをユーザの左手、第2スレーブ110bをユーザの右足、第3スレーブ110cをユーザの左足に装着して使用する。
以下、本発明の実施形態について図面を参照しつつ説明する。図1は第1実施形態に係る動作報知システム1を示すブロック図である。動作報知システム1は、一例として、1台のホスト100と、第1スレーブ110a、第2スレーブ110b、及び第3スレーブ110cの3台のスレーブとから構成されている。なお、動作報知システム1はこのような構成に限定されるものではなく、1台のホスト100のみで構成されていても良いし、スレーブの台数も任意に設定することができる。本実施形態では、例えば、ホスト100をユーザの右手、第1スレーブ110aをユーザの左手、第2スレーブ110bをユーザの右足、第3スレーブ110cをユーザの左足に装着して使用する。
ホスト100は、モーションセンサー10と、動作判定部20と、受信部30と、音響透かしデコード部40と、タイミング動作判定部50と、フィードバック生成部60と、モーションライブラリ70と、個人データライブラリ80と、設定部90とを備えている。
モーションセンサー10は、図2に示すように、地磁気センサー11、加速度センサー12、ジャイロセンサー13等の異なる種類の複数のセンサーの出力を、結果統合部14により統合し、その検知結果を出力する。即ち、モーションセンサー10は、ユーザの動作を検知するモーションセンサーとして機能する。結果統合部14は、例えば、DSP等から構成される。モーションセンサー10から出力される検知結果は、動作判定部20に入力される。
モーションセンサー10は、第1スレーブ110a、第2スレーブ110b、及び第3スレーブ110cにも備えられている。第1スレーブ110a、第2スレーブ110b、及び第3スレーブ110cのそれぞれは、ホスト100に備えられたモーションセンサー10と同様の構成のモーションセンサー111と、送信部112とを備える。送信部112は、例えば、CPU等により構成される。第1スレーブ110a、第2スレーブ110b、及び第3スレーブ110cのモーションセンサー111から出力されるそれぞれの検知結果は、第1スレーブ110a、第2スレーブ110b、及び第3スレーブ110cの送信部112によってそれぞれホスト100へ送信される。
第1スレーブ110a、第2スレーブ110b、及び第3スレーブ110cとホスト100は、有線または無線により接続されており、第1スレーブ110a、第2スレーブ110b、及び第3スレーブ110cから送信されたそれぞれの検知結果は、ホスト100の受信部30にて受信される。受信部30は、例えば、CPU等により構成される。受信部30は、受信したそれぞれの検知結果を、動作判定部20に出力する。
動作判定部20は、例えば、CPU等により構成され、モーションセンサー10、及び受信部30から出力される各モーションセンサーの結果と、モーションライブラリ70に記憶されているモーション情報と、個人データライブラリ80に記憶されている個人データとに基づいて、いずれかのモーションIDを特定して出力する。即ち、動作判定部20は、モーションセンサーによる検知結果とモーションライブラリに記憶された動作の内容を示す情報とから、モーションライブラリに記憶された識別情報を判定する動作判定部として機能する。
モーションライブラリ70は、図3に示すようなモーション情報から構成され、例えば、半導体メモリまたはメモリカード等に記憶される。モーション情報は、ホスト100のモーションセンサー10の検知結果と、第1スレーブ110a、第2スレーブ110b、及び第3スレーブ110cのそれぞれのモーションセンサー111の検知結果との組み合わせに対して、モーションIDが一対一に割り当てられている。例えば、ホスト100のモーションセンサー10の検知結果が「左横移動」、第1スレーブ110aのモーションセンサー111の検知結果が「右横移動」で、第2スレーブ110bと第3スレーブ110cのモーションセンサー111の検知結果が「移動なし」の場合には、モーションIDとして「ID1」が割り当てられている。モーションセンサー10とモーションセンサー111の検知結果は、移動の仕方として記憶されているだけでなく、例えば、「ID5」のモーションIDの場合のように、「回転」という移動の仕方と、「ID1」のモーションIDとの組み合わせとして記憶されている。つまり、ホスト100のモーションセンサー10の検知結果が、「ID1」のモーションIDに対応する「左横移動」で、かつ、「回転」であり、第1スレーブ110aのモーションセンサー111の検知結果が、「ID1」のモーションIDに対応する「右横移動」で、かつ、「回転」であり、第2スレーブ110bと第3スレーブ110cのモーションセンサー111の検知結果が「移動なし」の場合には、モーションIDとして「ID5」が割り当てられている。モーションライブラリ70に記憶されるモーションIDの数及びその内容は、固定されている訳ではなく、適宜変更可能である。以上のように、モーションライブラリ70は、動作の内容を示す情報と、この情報を識別する識別情報とが記憶されたモーションライブラリとして機能する。
個人データライブラリ80は、図4に示すような個人データから構成され、例えば、半導体メモリまたはメモリカード等に記憶される。個人データは、例えば、性別、年齢、身長、体重等の情報から構成されている。個人データの項目の数及びその内容は、固定されている訳ではなく、適宜変更可能である。以上のように、個人データライブラリ80は、個人データを記憶する個人データライブラリとして機能する。
設定部90は、例えば、CPU等から構成されており、モーションライブラリ70及び個人データライブラリ80と接続されている。設定部90には、パーソナルコンピュータ等の外部入力機器200が接続されており、外部入力機器200によって入力されたライブラリデータをモーションライブラリ70及び個人データライブラリ80に反映させる。つまり、設定部90は、外部入力機器200によってモーション情報が入力された場合には、当該モーション情報をモーションライブラリ70に反映させる。また、設定部90は、外部入力機器200によって個人データが入力された場合には、当該個人データを個人データライブラリ80に反映させる。なお、設定部90をタッチパネル等で構成した場合には、外部入力機器200を省略することも可能である。
音響透かしデコード部40は、例えば、DSP等から構成され、音声データに重畳された非可聴帯域の音響透かしをデコードする。音響透かしデコード部40には、マイク201が接続されており、マイク201で集音したDVD等の映像媒体の再生音を入力するようになっている。DVD等の映像媒体の例としては、例えば、フィットネス系のDVD等、ダンス系のDVD等、スポーツや音楽の教則用のDVD等が挙げられる。
DVD等の映像媒体には、音響透かしの技術を用いて、本来記録されるべきコンテンツの音に、符号変換された情報符号が重畳されている。重畳される情報符号としては、例えば、正解の動きの情報としてのモーションIDを符号変換した情報符号と、正解の動きのタイミング情報を符号変換した情報符号とが含まれる。但し、重畳される情報符号は、これらの情報符号に限定されるものではなく、適宜変更及び追加することが可能である。以上のように、透かし情報には、基準となる動作の内容を特定する情報と動作のタイミングを示すタイミング情報とが含まれる。
DVD等の映像媒体に記憶される音響透かしについて更に説明する。符号変換された情報符号は変調されて音声信号(変調信号)として生成される。変調方式としては、例えば、M系列などの疑似ノイズ信号を情報符号で位相変調するスペクトラム拡散変調、情報符号でキャリア信号をFSK変調またはAM変調する方式等種々の方式を用いることができる。
前記コンテンツの音と前記変調信号は加算合成され、合成音としてDVD等の映像媒体に記録される。変調方式、キャリア周波数等を適当に選択することにより、変調信号の周波数帯域を高音域に配置することができ、周波数スペクトルが前記コンテンツの音と重なりあわないようにすることが可能である。前記コンテンツの音を可聴帯域に配置し変調信号を非可聴帯域に配置してこれらの占有周波数帯域を分離することにより、変調信号による情報伝達の信頼度を向上することができる。特に、ノイズに弱い変調方式を用いた場合にはこのようにすることが好ましい。
なお、前記コンテンツの音が、楽音でなくノイズの一種と考えられるような音である場合には、前記コンテンツの音の周波数帯域と変調信号の周波数帯域とを重なり合わせるようにしてもよい。ノイズの一種と考えられるような音の場合には、変調信号が重なり合っていても聴取者に殊更に不快感を与えることはないためである。
音響透かしデコード部40には、マイク201で収音された前記コンテンツの音と前記変調信号を含む音が入力される。入力された音は、AD変換されデジタル信号に変換された後、復調部に入力される。復調部では、例えば、M系列などの疑似ノイズ信号を情報符号で位相変調するスペクトラム拡散変調、情報符号でキャリア信号をFSK変調またはAM変調する方式等種々の変調方法に対応した復調方法で、復調が行われる。具体的な変調方法、復調方法は、例えば特開2011−037350号公報に開示されている方法を用いればよいため、詳しい説明は省略する。復調部からは、復調された情報符号が出力される。このようにして、本来記録されるべきコンテンツの音に重畳されDVD等の映像媒体に記憶された情報符号が取得できる。本実施形態の場合、情報符号には、モーションIDに対応した情報符号とタイミング情報に対応した情報符号が含まれる。以上のように、音響透かしデコード部40は、少なくとも映像及び音のいずれかに埋め込まれ、少なくとも同期情報(タイミング情報)を含む透かし情報をデコードするデコード部として機能する。
タイミング動作判定部50は、例えば、CPU等から構成される。タイミング動作判定部50は、音響透かしデコード部40から出力されるモーションID及びタイミング情報をメモリ等に登録し、モーションID及びタイミング情報と、動作判定部20から所定のタイミングで出力されるモーションIDとに基づいて、ユーザの動作が正解の動作かどうか、また、その動作が適正なタイミングで行われたかどうかを判定し、その結果を出力する。即ち、タイミング動作判定部50は、基準となる動作の内容を特定する情報と動作のタイミングを示すタイミング情報とを登録する登録部として機能する。また、タイミング動作判定部50は、登録したタイミング情報が示すタイミングに到達したか否かを同期情報(タイミング情報)に基づいて判断し、到達したと判断した場合に、少なくともモーションライブラリに記憶されたいずれかの情報(モーションID)と、登録した基準となる動作の内容を特定する情報とを参照して、動作に関する判定を行うタイミング動作判定部として機能する。さらに、タイミング動作判定部50は、登録したタイミング情報が示すタイミングに到達したか否かを同期情報(タイミング情報)に基づいて判断し、到達したと判断した場合に、判定された前記識別情報(モーションID)と、登録した基準となる動作の内容を特定する情報とを参照して、基準となる動作と検知結果としての使用者の動作との関係について判定を行うタイミング動作判定部として機能する。
フィードバック生成部60は、例えば、CPU等から構成される。フィードバック生成部60は、タイミング動作判定部50から出力される判定結果をフィードバックする情報に変換する。例えば、「OK」等の音声を返す場合には、フィードバック生成部60を音声再生部や音声合成部で構成すればよい。また、フィードバックを光で返す場合には、フィードバック生成部60をLEDコントローラで構成すればよい。フィードバックを振動で返す場合には、フィードバック生成部60を振動部で構成すればよい。また、フィードバックとして、ログを残す場合には、フィードバック生成部60を記録部と送信部とで構成すればよい。以上のようにフィードバック生成部60は、判定の結果に基づいて報知を行う報知部として機能する。
また、以上のように、ホスト100は、少なくとも、デコード部と、登録部と、モーションライブラリと、動作判定部と、タイミング動作判定部と、報知部とを備えるホストとして機能する。更に、第1スレーブ110a、第2スレーブ110b、及び第3スレーブ110cは、少なくともモーションセンサーを備えるスレーブとして機能する。
また、以上のように、ホスト100は、少なくとも、デコード部と、登録部と、モーションライブラリと、動作判定部と、タイミング動作判定部と、報知部とを備えるホストとして機能する。更に、第1スレーブ110a、第2スレーブ110b、及び第3スレーブ110cは、少なくともモーションセンサーを備えるスレーブとして機能する。
次に、図5乃至図7を参照して、本実施形態の動作報知システム1の動作について説明する。まず、音響透かしデコード部40においては、図5に示すように、透かし情報タイマーの割り込みが所定期間ごとに発生するように構成されている。音響透かしデコード部40は、透かし情報タイマーの割り込みが発生するごとに、入力した音に透かし情報(変調信号)が重畳されているかどうかの判定を行う(ステップS10)。判定の方法は、例えば、変調信号が非可聴帯域に配置されている場合には、この非可聴帯域に信号が存在するかどうかを判定するようにすればよい。音響透かしデコード部40は、透かし情報が重畳されていない場合には(ステップS10;NO)、処理を終了する。一方、音響透かしデコード部40は、透かし情報が重畳されている場合には(ステップS10;YES)、上述した方法により透かし情報のデコードを行い(ステップS11)、デコードの結果として得られたタイミング情報とモーションIDを出力する(ステップS12)。音響透かしデコード部40から出力されたタイミング情報とモーションIDは、タイミング動作判定部50によって、図示しないメモリに登録される。なお、DVD等の映像媒体に記録されたタイミング情報と、動作判定部20からのモーションIDの出力タイミングとの同期を取るためには、例えば、DVD等の映像媒体の再生開始を示すタイミング情報を音響透かしとしてDVD等の映像媒体に記録しておき、音響透かしデコード部40から出力される当該再生開始を示すタイミング情報をタイミング動作判定部50において入力した際に、タイミング動作判定部50がタイミング動作判定部50の内部の同期用クロックをスタートさせる。そして、動作判定部20から出力されるモーションIDを入力した際に、同期用クロックで計測したタイミングを当該モーションIDと共にメモリに記憶させるようにすればよい。
以上のような音響透かしデコード部40及びタイミング動作判定部50の動作と並行して、動作判定部20においては、動きタイマーの割込みが所定周期で発生するように構成されている。図6に示すように、動作判定部20は、動きタイマーの割込みが発生すると、モーションセンサーの出力があるかどうかを判定する(ステップS20)。この場合のモーションセンサーには、ホスト100に備えられているモーションセンサー10と、各スレーブのモーションセンサー111の双方が含まれる。動作判定部20は、モーションセンサーの出力がない場合には(ステップS20;NO)、処理を終了する。一方、モーションセンサーの出力がある場合には(ステップS20;YES)、モーションライブラリ70のモーション情報と、個人データライブラリ80の個人データとを参照して、当該モーションセンサーから出力された検知結果を解析する(ステップS21)。具体的には、動作判定部20は、検知結果が示す動作の内容が、モーションライブラリ70のモーション情報として記憶されたどのモーションIDに対応する内容であるかを判定する。この判定の際、動作判定部20は、個人データライブラリ80の個人データを参照して、適宜、判定基準の補正を行う。例えば、あるモーションIDに対応する動作の内容が、「30cmジャンプする」のような内容であり、実際の検知結果が30cmに満たない場合でも、個人データの年齢、身長等を参照して、判定基準の補正を行う。即ち、動作判定部20は、判定を行う際に、個人データライブラリに記憶された個人データを参照して判定の基準を補正する動作判定部として機能する。動作判定部20は、以上のように解析が終了すると、その結果としてのモーションIDを出力する(ステップS22)。タイミング動作判定部50は、動作判定部20からのモーションIDを入力すると、上述した同期クロックを参照して、入力したタイミング情報と共にモーションIDをメモリに記憶させる。
以上のような動作判定部20及びタイミング動作判定部50の動作と並行して、タイミング動作判定部50においては、タイミングチェックタイマーの割込みが所定周期で発生するように構成されている。図7に示すように、タイミング動作判定部50は、タイミングチェックタイマーの割込みが発生すると、音響透かしデコード部40から出力され、メモリに登録しておいたタイミングになったかどうかを、上述した同期クロックを参照して判定する(ステップS30)。タイミング動作判定部50は、まだ登録しておいたタイミングになっていない場合には(ステップS30;NO)、処理を終了する。一方、タイミング動作判定部50は、登録しておいたタイミングになった場合には(ステップS30;YES)、登録しておいたデコード結果のモーションID(音響すかしデコード部40から入力したモーションID)と、解析結果のモーションID(動作判定部20から入力したモーションID)が一致するかどうかを判定する(ステップS31)。また、タイミング動作判定部50は、デコード結果のモーションIDと共に登録しておいたタイミング情報と、記憶させておいた解析結果のモーションIDの入力タイミングとを比較して、解析結果のモーションIDの入力タイミングが、登録しておいたタイミング情報とどの程度ずれているかを判定する(ステップS32)。そして、タイミング動作判定部50は、モーションIDの判定結果とタイミングの判定結果とをフィードバック生成部60に出力する(ステップS33)。例えば、モーションIDが一致し、タイミングのずれが少ない場合にはレベル1、モーションIDが一致し、タイミングのずれが大きい場合にはレベル2、モーションIDが一致していない場合にはレベル3のように、判定結果を段階に分けて出力するようにしてもよい。フィードバック生成部60は、この判定結果を入力して、レベル1の場合には「VERY GOOD」、レベル2の場合には「GOOD」、レベル3の場合には「NG」のようなフィードバックを音や光等の信号として出力する。
なお、上述した説明においては、動作判定部20での解析結果のモーションIDをタイミング動作判定部50に入力したタイミングと、デコード結果のモーションIDと共に登録しておいたタイミング情報と比較判定する(ステップS32)例について説明したが、本発明はこのような例に限定されるものではない。例えば、ステップS32の処理を省略し、モーションIDの一致のみの判定(ステップS31)を行って、判定結果を出力するようにしてもよい。
以上説明したように、本実施形態によれば、フィットネスのDVD等の映像音声媒体に、正しい動きを示すモーションIDとタイミング情報を音響透かしにより記録しておき、当該映像音声媒体の再生音から音響透かしの情報をデコードし、ユーザの身体に取り付けたホストと各スレーブのモーションセンサーの検知結果をモーションライブラリに基づいてモーションIDとして解析し、デコードしたモーションIDと解析したモーションIDとの一致判定の結果についてフィードバックを与えるようにしたので、通常のDVD等の映像音声媒体の再生機器を用いて、より効果的で一方的ではないシステムを提供することができる。
また、本実施形態においては、モーションライブラリ70に記憶させる情報を、外部入力機器200により更新あるいは差替え可能としたので、例えば、DVD等の映像音声媒体に記録するコンテンツや、ホスト100や各スレーブ110a〜110cの取り付け位置を変更した場合でも、モーションライブラリ70に記憶させる情報の更新により容易に対応することが可能となる。さらに、上半身トレーニング用のコンテンツを、下半身トレーニング用として使用する場合等、特定のコンテンツの用途を変更する場合でも、モーションライブラリ70に記憶させる情報の変更のみで、容易に対応することが可能となる。すなわち、DVD上のコンテンツに記憶されたモーションIDはそのままで、モーションライブラリ70に記憶されているモーションIDに対応している上半身トレーニング用の情報を、下半身トレーニング用の情報に変更すればよい。このようにすれば、DVDで再生するコンテンツは同じだが、下半身トレーニング用のコンテンツとしても使用できる。また、モーションライブラリ70の更新をユーザに開放することも可能であり、この場合にはユーザが自由に好みのライブラリを作成することができる。また、インターネット配信等によりモーションライブラリを共有することも可能である。
<第2実施形態>
次に、本発明の第2実施形態について図8を参照して説明する。第1実施形態においては、ホスト100をユーザの身体に取り付ける例について説明したが、本実施形態は、ホスト100はユーザの身体に取り付けず、第1スレーブ110a、第2スレーブ110b、第3スレーブ110cをユーザの身体に取り付ける例である。
次に、本発明の第2実施形態について図8を参照して説明する。第1実施形態においては、ホスト100をユーザの身体に取り付ける例について説明したが、本実施形態は、ホスト100はユーザの身体に取り付けず、第1スレーブ110a、第2スレーブ110b、第3スレーブ110cをユーザの身体に取り付ける例である。
図8に本実施形態の動作報知システム1aを示す。本実施形態においては、図8に示すように、ホスト100にはモーションセンサーは備えられていない。スレーブの数を適宜変更可能なところは第1実施形態と同様である。本実施形態のように構成した場合でも、ユーザの身体に取り付けた各スレーブのモーションセンサーの検知結果をモーションライブラリに基づいてモーションIDとして解析し、デコードしたモーションIDと解析したモーションIDとの一致判定の結果についてフィードバックを与えることができるので、通常のDVD等の映像音声媒体の再生機器を用いて、より効果的で一方的ではないシステムを提供することができる。
<第3実施形態>
次に、本発明の第3実施形態について図9を参照して説明する。上述した各実施形態においては、モーションライブラリ70に予めモーション情報を記録しておいた例について説明したが、本実施形態は、DVD等の映像音声媒体に音響透かしとしてモーション情報を記録しておき、DVD等の映像音声媒体の再生音をデコードして、モーション情報をモーションライブラリ70に記憶させる例である。
次に、本発明の第3実施形態について図9を参照して説明する。上述した各実施形態においては、モーションライブラリ70に予めモーション情報を記録しておいた例について説明したが、本実施形態は、DVD等の映像音声媒体に音響透かしとしてモーション情報を記録しておき、DVD等の映像音声媒体の再生音をデコードして、モーション情報をモーションライブラリ70に記憶させる例である。
図9に本実施形態の動作報知システム1bを示す。図9に示すように、本実施形態においては、音響透かしデコード部40によってモーションライブラリ70へのアクセスが可能に構成されている。モーションライブラリ70に記憶させるモーション情報(具体的には図3に示す情報、すなわち、モーションIDと基準となる動作の内容を特定する情報。)は、例えば、本編が始まる前のタイトルの部分に音響透かしとして重畳させておく。DVD等の映像音声媒体の再生が開始され、タイトルの部分が再生されると、音響透かしデコード部40は音響透かしとして重畳されているモーション情報をデコードし、モーションライブラリ70に記憶させる。即ち、音響透かしデコード部40は、デコードした基準となる動作の内容を特定する情報と当該情報を識別する識別情報とをモーションライブラリに記憶させるデコード部として機能する。これ以降は、第1実施形態と同様に、モーションIDとタイミング情報をデコードしてタイミング動作判定部50に出力する。また、動作判定部20はモーションライブラリ70のモーション情報を参照してモーションIDを出力する。
本実施形態によれば、モーション情報についてもDVD等の映像音声媒体に音響透かしとして記録するようにしたので、モーションライブラリ70を手動で更新又は変更する必要がなく、利便性を高めることができる。なお、本実施形態においても、第2実施形態のようにホスト100からモーションセンサー10を取り除いてもよい。
<第4実施形態>
次に、本発明の第4実施形態について図10を参照して説明する。上述した各実施形態においては、解析結果のモーションIDとデコード結果のモーションIDとの一致判定の結果、更にはタイミングの判定結果をフィードバックする例について説明したが、本実施形態は、解析結果のモーションIDについても出力する。
次に、本発明の第4実施形態について図10を参照して説明する。上述した各実施形態においては、解析結果のモーションIDとデコード結果のモーションIDとの一致判定の結果、更にはタイミングの判定結果をフィードバックする例について説明したが、本実施形態は、解析結果のモーションIDについても出力する。
図10に本実施形態の動作報知システム1cを示す。図10に示すように、本実施形態においては、動作判定部20の出力がハードディスクドライブ等の外部出力機器202に入力されるように構成されている。本実施形態は、動作判定部20から解析結果のモーションIDが出力されると、当該モーションIDは、タイミング動作判定部50と外部出力機器202の双方に入力される。外部出力機器202は入力したモーションIDをタイミング動作判定部50が出力する時間情報と共に記憶するように構成されている。したがって、本実施形態によれば、ユーザの動作に対するフィードバックが可能なだけでなく、ユーザの動作をログとして蓄積することができる。したがって、ログを解析することにより、ユーザの動作が正解の動作とどのように違ったのかを確認することができる。また、モーションIDを外部に出力することにより、ユーザの動作に応じて情報を出力するモーションインターフェースとしても使用することが可能になる。なお、本実施形態においても、第2実施形態のようにホスト100からモーションセンサー10を取り除いてもよい。また、第3実施形態のようにモーションライブラリを映像音響媒体の音響透かしで設定してもよい。さらに、第2、第3実施形態のように、ホスト100からモーションセンサー10を取り除いて、モーションライブラリを映像音響媒体の音響透かしで設定してもよい。
<第5実施形態>
次に、本発明の第5実施形態について図11を参照して説明する。上述した各実施形態においては、手本となる映像等の動作及び音は、DVD等の映像音声媒体に記録される例について説明したが、本実施形態においては、ホスト100内に手本となるモーションIDとタイミング情報を出力する出力部を備える例である。
次に、本発明の第5実施形態について図11を参照して説明する。上述した各実施形態においては、手本となる映像等の動作及び音は、DVD等の映像音声媒体に記録される例について説明したが、本実施形態においては、ホスト100内に手本となるモーションIDとタイミング情報を出力する出力部を備える例である。
図11に本実施形態の動作報知システム1dを示す。図11に示すように、ホスト100には、手本となるモーションIDとタイミング情報を出力するモーションID出力部300が備えられている。モーションID出力部300は、単にモーションIDとタイミング情報だけを出力するのではなく、例えば、テンポを示す音や光を出力するように構成してもよい。このように構成すれば、DVD等の映像音声媒体の再生音を収音することなく、動作報知システム1dのみで、手本となる音や光に対するユーザの反応をフィードバックすることができる。なお、本実施形態においても、第2実施形態のようにホスト100からモーションセンサー10を取り除いてもよい。また、モーションID出力部300と外部入力機器200または別の外部入力機器とを接続可能に構成し、モーションID出力部300に記憶されているモーションIDとタイミング情報を書き換えるようにしてもよい。
<第6実施形態>
次に、本発明の第6実施形態について図12を参照して説明する。上述した各実施形態においては、モーションセンサーを用いてユーザの動作を解析する例について説明したが、本実施形態では、モーションセンサーを使用せず、手本となる動きを報知情報生成部によりユーザに知らせる例である。
次に、本発明の第6実施形態について図12を参照して説明する。上述した各実施形態においては、モーションセンサーを用いてユーザの動作を解析する例について説明したが、本実施形態では、モーションセンサーを使用せず、手本となる動きを報知情報生成部によりユーザに知らせる例である。
図12に本実施形態の動作報知システム1eを示す。図12に示すように、本実施形態の動作報知システム1eは、複数の受信装置120を備えている。受信装置120は、音響透かしデコード部40と、タイミング動作判定部51と、報知情報生成部61と、モーションライブラリ70と、装置位置入力部400とを備えている。
装置位置入力部400は、受信装置120をユーザの身体のどの部分に装着したのかを入力する機能を有する。本実施形態においては、例えば、受信装置120をユーザの両手両足に取り付け、ユーザが装置位置入力部400を用いて、受信装置120を取り付けた位置を、「右手」、「左手」、「右足」、「左足」のように入力する。装置位置入力部400は、スイッチ、あるいはタッチパネル等で実現することができる。
音響透かしデコード部40は、上述した各実施形態のホスト100における音響透かしデコード部40と同様に、DVD等の映像音声媒体の再生音に含まれる音響透かしをデコードし、モーションIDとタイミング情報を出力する。
タイミング動作判定部51は、上述した各実施形態のホスト100におけるタイミング動作判定部50と同様に、音響透かしデコード部40から出力されるモーションIDとタイミング情報を登録する機能を有する。しかし、各実施形態のホスト100におけるタイミング動作判定部50のように、解析結果のモーションIDとの比較判定は行わない。本実施形態のタイミング動作判定部51は、モーションライブラリ70のモーション情報を参照し、登録したタイミングになった時に、登録したモーションIDの動作の内容を読み取り、その内容が、装置位置入力部400によって入力された位置の動作に該当する場合には、フィードバックの生成指示信号を報知情報生成部61に出力する。例えば、あるモーションIDの動作の内容が「右手を右側に移動させる」という内容を含み、装置位置入力部400によって入力された位置が「右手」であった場合には、フィードバック信号の生成指示信号を報知情報生成部61に出力する。
報知情報生成部61は、上述した各実施形態のホスト100におけるフィードバック生成部60と同様の構成である。即ち、タイミング動作判定部51から出力される生成指示信号に応じて、例えば振動を発生させることによりユーザに対して動作に関する報知を行う。但し、報知情報生成部61は、音声再生部や音声合成部、LEDコントローラ、あるいは記録部と送信部で構成してもよい。
以上のような本実施形態の動作報知システム1eの受信装置120をユーザの両手両足に装着し、例えばフィットネス系のDVD等の映像音声媒体を再生すると、音響透かしとして記録されたモーションIDとタイミング情報がデコードされ、当該タイミング情報が示すタイミングにおいて、動かすべき位置の受信装置120が振動する。したがって、ユーザは、両手両足のうちのいずれかを、どのタイミングで動かすのかを知ることができる。このように、本実施形態によれば、DVD等の映像音声媒体を視聴しただけでは分り難い動きの場合でも、的確にユーザに対して動かす箇所とタイミングを知らせることができる。
なお、受信装置120は常に複数台を使用する必要はなく、1台のみを使用してもよい。また、1台の受信装置120をホストとして使用すると共に、他の受信装置120をスレーブとして使用し、ホストからスレーブに対して通信によりフィードバックの生成指示信号を送信するようにしてもよい。また、第3実施形態のように、モーションライブラリ70を音響透かしにより書き換えられるように構成してもよい。
<変形例>
本発明は、上述した実施形態に限定されるものではなく、以下に述べる各種の変形が可能である。また、各変形例と上述した実施形態は適宜組み合わせることができる。
本発明は、上述した実施形態に限定されるものではなく、以下に述べる各種の変形が可能である。また、各変形例と上述した実施形態は適宜組み合わせることができる。
(1)上述した各実施形態においては、音響透かしを用いてモーションIDやタイミング情報、あるいはモーション情報を、本来のコンテンツの音声に重畳する例について説明した。しかしながら、本発明はこのような例に限定されるものではなく、映像透かしを用いることができる。映像透かしとしては、例えば、視聴者が気付かない程度の濃淡の差を映像に表すような方式が挙げられる。映像透かしを採用する場合には、音響透かしデコード部の代わりに、再生映像から映像透かしをデコードする映像透かしデコード部を備える必要がある。
(2)上述した各実施形態においては、音響透かしを用いて、モーションIDやタイミング情報を、本来のコンテンツの音声に重畳する例について説明した。しかしながら、本発明はこのような例に限定されるものではなく、正解のタイミング情報と正解のモーションIDについてはホスト100や受信装置120に記憶させておき、音響透かし等を用いて適宜同期タイミングのみをDVD等の映像音声媒体の再生音または再生映像に含ませるようにしてもよい。
(3)上述した各実施形態においては、DVD等の映像音声媒体の映像を伴う再生音に、モーションIDやタイミング情報を含ませる例について説明した。しかしながら、本発明はこのような例に限定されるものではなく、例えばラジオ体操のように音声または音楽だけのコンテンツにモーションIDやタイミング情報を含ませるようにしてもよい。あるいは、音声を伴わない映像のみのコンテンツにモーションIDやタイミング情報を含ませるようにしてもよい。また、音響透かしを埋め込んだ非可聴音を映像のみのコンテンツと一緒に再生してもよい。
(4)上述した各実施形態においては、フィードバックとして、音や光の他、振動を用いる例について説明した。しかしながら、本発明はこのような例に限定されるものではなく、タイミングと動作の正確さ、あるいは動作の大きさ等に応じて、何等かの特典を与えるようなフィードバックを採用してもよい。
(5)上述した各実施形態においては、デコード結果のモーションIDと、解析結果のモーションIDとを比較することにより、正しい動きが出来ているかどうかを判定する例について説明した。しかしながら、本発明はこのような例に限定されるものではなく、「右の腰を上げる」などのコマンド的な情報をDVD等の映像音声媒体に音響透かしや映像透かしで記録しておき、解析結果のモーションID又はモーションIDの組み合わせにより、前記コマンド的な情報が示す動きに合致しているかどうかを判定するようにしてもよい。この場合には、前記コマンド的な情報と前記モーションIDとの関係を予めタイミング動作判定部50に記憶させておけばよい。
(6)上述した各実施形態においては、音響透かしデコード部40に情報を入力する手段として、マイクを用いた例について説明したが、本発明はこのような例に限定されるものではない。例えば、映像透かしを用いる場合には、カメラや光センサーを用いてもよい。
(7)上述した各実施形態においては、モーションセンサーをホストやスレーブの内部に備える例について説明したが、本発明はこのような例に限定されるものではない。例えば、外付けのモーションセンサーを、ホストやスレーブに取り付けるようにしてもよい。
(8)上述した各実施形態においては、フィードバックとして、ホストやスレーブから音や光を出力したり、あるいは受信装置を振動させる例について説明した。しかしながら、本発明はこのような例に限定されるものではなく、ホストやスレーブ、あるいは受信装置に、スピーカやライト等の外部機器を接続してフィードバックの出力を行うようにしてもよい。
1,1a,1b,1c,1d,1e…動作報知システム、10,111…モーションセンサー、20…動作判定部、30…受信部、40…音響透かしデコード部、50,51…タイミング動作判定部、60…フィードバック生成部、70…モーションライブラリ、80…個人データライブラリ、90…設定部、100…ホスト、110a,110b,110c…スレーブ、112…送信部、120…受信装置、200…外部入力機器、201…マイク、202…外部出力機器、300…モーションID出力部、400…装置位置入力部。
Claims (5)
- 少なくとも映像及び音のいずれかに埋め込まれ、少なくとも同期情報を含む透かし情報をデコードするデコード部と、
基準となる動作の内容を特定する情報と当該動作のタイミングを示すタイミング情報とを登録する登録部と、
動作の内容を示す情報と当該情報を識別する識別情報とが記憶されたモーションライブラリと、
前記登録したタイミング情報が示すタイミングに到達したか否かを前記同期情報に基づいて判断し、到達したと判断した場合に、少なくとも前記モーションライブラリに記憶されたいずれかの情報と、前記登録した基準となる動作の内容を特定する情報とを参照して、動作に関する判定を行うタイミング動作判定部と、
前記判定の結果に基づいて報知を行う報知部と、
を備えることを特徴とする動作報知システム。 - 使用者の動作を検知するモーションセンサーと、
前記モーションセンサーによる検知結果と前記モーションライブラリに記憶された前記動作の内容を示す情報とから、前記モーションライブラリに記憶された前記識別情報を判定する動作判定部と、をさらに備え、
前記タイミング動作判定部は、
前記登録したタイミング情報が示すタイミングに到達したか否かを前記同期情報に基づいて判断し、到達したと判断した場合に、前記判定された前記識別情報と、前記登録した基準となる動作の内容を特定する情報とを参照して、前記基準となる動作と前記検知結果としての使用者の動作との関係について判定を行う、
ことを特徴とする請求項1に記載の動作報知システム。 - 少なくとも、前記デコード部と、前記登録部と、前記モーションライブラリと、前記動作判定部と、前記タイミング動作判定部と、前記報知部とを備えるホストと、
少なくとも前記モーションセンサーを備えるスレーブとを備え、
前記ホストと前記スレーブが通信可能である、
ことを特徴とする請求項2に記載の動作報知システム。 - 個人データを記憶する個人データライブラリをさらに備え、
前記動作判定部は、前記判定を行う際に、個人データライブラリに記憶された個人データを参照して判定の基準を補正する、
ことを特徴とする請求項2又は請求項3に記載の動作報知システム。 - 前記透かし情報には、基準となる動作の内容を特定する情報と当該情報を識別する識別情報とが含まれ、
前記デコード部は、デコードした前記基準となる動作の内容を特定する情報と当該情報を識別する識別情報とを前記モーションライブラリに記憶させる、
ことを特徴とする請求項1乃至請求項4のいずれか1項に記載の動作報知システム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014048602A JP2015171472A (ja) | 2014-03-12 | 2014-03-12 | 動作報知システム |
US14/644,313 US9576192B2 (en) | 2014-03-12 | 2015-03-11 | Method and apparatus for notifying motion |
CN201510108673.3A CN104918128B (zh) | 2014-03-12 | 2015-03-12 | 用于通知运动的方法和设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014048602A JP2015171472A (ja) | 2014-03-12 | 2014-03-12 | 動作報知システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015171472A true JP2015171472A (ja) | 2015-10-01 |
Family
ID=54259226
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014048602A Pending JP2015171472A (ja) | 2014-03-12 | 2014-03-12 | 動作報知システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2015171472A (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6947893B1 (en) * | 1999-11-19 | 2005-09-20 | Nippon Telegraph & Telephone Corporation | Acoustic signal transmission with insertion signal for machine control |
JP2006162916A (ja) * | 2004-12-07 | 2006-06-22 | Xing Inc | 音楽再生装置 |
JP2006202396A (ja) * | 2005-01-20 | 2006-08-03 | Sony Corp | コンテンツ再生装置およびコンテンツ再生方法 |
US20080105110A1 (en) * | 2006-09-05 | 2008-05-08 | Villanova University | Embodied music system |
JP2008216335A (ja) * | 2007-02-28 | 2008-09-18 | Brother Ind Ltd | カラオケ装置 |
JP2011037350A (ja) * | 2009-08-07 | 2011-02-24 | Yamaha Corp | 接近警告音発生装置 |
JP2011087794A (ja) * | 2009-10-23 | 2011-05-06 | Sony Corp | 動作関連演算装置、動作関連演算方法、プログラム、動作関連再生システム |
-
2014
- 2014-03-12 JP JP2014048602A patent/JP2015171472A/ja active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6947893B1 (en) * | 1999-11-19 | 2005-09-20 | Nippon Telegraph & Telephone Corporation | Acoustic signal transmission with insertion signal for machine control |
JP2006162916A (ja) * | 2004-12-07 | 2006-06-22 | Xing Inc | 音楽再生装置 |
JP2006202396A (ja) * | 2005-01-20 | 2006-08-03 | Sony Corp | コンテンツ再生装置およびコンテンツ再生方法 |
US20080105110A1 (en) * | 2006-09-05 | 2008-05-08 | Villanova University | Embodied music system |
JP2008216335A (ja) * | 2007-02-28 | 2008-09-18 | Brother Ind Ltd | カラオケ装置 |
JP2011037350A (ja) * | 2009-08-07 | 2011-02-24 | Yamaha Corp | 接近警告音発生装置 |
JP2011087794A (ja) * | 2009-10-23 | 2011-05-06 | Sony Corp | 動作関連演算装置、動作関連演算方法、プログラム、動作関連再生システム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9576192B2 (en) | Method and apparatus for notifying motion | |
TW583877B (en) | Synchronization of music and images in a camera with audio capabilities | |
US8079962B2 (en) | Method and apparatus for reproducing content data | |
TWI574252B (zh) | 同步節拍特效系統及同步節拍特效處理方法 | |
CN1937462A (zh) | 内容偏好得分确定方法、内容重放装置及内容重放方法 | |
JP2017534132A (ja) | ユーザー相互作用を共有するための装置 | |
CN106911967A (zh) | 直播回放方法及装置 | |
US20120297960A1 (en) | Sound shoe studio | |
KR20130048035A (ko) | 미디어 장치, 컨텐츠 서버 및 그 동작방법 | |
KR101877391B1 (ko) | 미디어 카드, 미디어 장치, 컨텐츠 서버 및 그 동작방법 | |
JP2008123576A (ja) | ポータブルコンテンツ再生装置、再生システム、コンテンツ再生方法 | |
JP2009169795A (ja) | 情報処理装置および方法、並びにプログラム | |
JP2015171472A (ja) | 動作報知システム | |
JP6986036B2 (ja) | コンテンツ再生プログラム、コンテンツ再生方法及びコンテンツ再生システム | |
JP2015171473A (ja) | 動作報知システム | |
CN111727608B (zh) | 存储介质、内容播放方法及内容播放*** | |
JP2010206568A (ja) | コンテンツ再生システム | |
JP6346245B2 (ja) | 玩具システム、玩具体の制御方法、及びプログラム | |
KR101625900B1 (ko) | 사물인터넷 기반의 스마트 음향장치 | |
CN104918128B (zh) | 用于通知运动的方法和设备 | |
JP6674557B2 (ja) | 音声再生装置及び音声再生方法 | |
KR101078367B1 (ko) | 노래반주기의 영상 데이터와 음성 데이터의 동기화 장치 및 그 방법 | |
KR101748576B1 (ko) | 이동통신 단말기에서 동영상 데이터를 세그먼팅하기 위한 장치 및 방법 | |
CN1855974B (zh) | 移动通信终端及其操作方法 | |
JP7485570B2 (ja) | コンテンツ出力装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171121 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20180515 |