JP3760088B2 - 動きパターン画像登録装置，表示装置，登録方法，表示方法およびそれらのプログラム記録媒体 - Google Patents
動きパターン画像登録装置，表示装置，登録方法，表示方法およびそれらのプログラム記録媒体 Download PDFInfo
- Publication number
- JP3760088B2 JP3760088B2 JP2000221964A JP2000221964A JP3760088B2 JP 3760088 B2 JP3760088 B2 JP 3760088B2 JP 2000221964 A JP2000221964 A JP 2000221964A JP 2000221964 A JP2000221964 A JP 2000221964A JP 3760088 B2 JP3760088 B2 JP 3760088B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- motion
- motion pattern
- screen
- screen cursor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Circuits (AREA)
- Television Signal Processing For Recording (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は，あらかじめ対象物体の種々の動きパターン画像を撮影して録画し，利用者が操作する画面カーソルの動きを検出して，この画面カーソルの動きに合わせて，これに対応する動きパターン画像を再生することにより，対象物体をより自然な動きで表示することができるようにする装置および方法に関する。
【０００２】
【従来の技術】
従来，対象物体の動きパターン画像をビデオカメラで撮影し，ビデオテープレコーダで再生することは，行われている。
【０００３】
また，画面表示部内の対象物体の近傍に，マウス等の画面カーソルの移動を検出する領域を設け，画面カーソルの動きに合わせて，対象物体の動きパターン画像を表示することも行われている（参考文献：佐藤，阿久津，外村，“Ｃｏａｓｔｅｒ：折れ線スライダによる時空間メディアインタフェース”，情処研報98-HI-79，pp.37-42，1998）。
【０００４】
しかしながら，従来技術では，撮影された映像中のどのシーンを使うのかを決定するのは人の手を介して行っており，またマウス等の画面カーソルの移動を検出する領域を設けるのも人の手を介して行っている。
【０００５】
さらに，対象物体の動きパターン画像を順方向に再生する場合には，実世界の動きと同じであり受け入れ易いが，逆方向に再生する場合，不自然な動きとなっていた。これを図９を用いて説明する。
【０００６】
図９（ａ）は，人物が画面の左方向から右方向に移動する場合を示しており，この場合には，実世界と同じ自然な動きであるので問題はない。しかし，図９（ｂ）のように，画面カーソルの左向操作により逆方向に再生する場合，人が後向きに歩くという実世界とやや異る不自然な動きとなる。
【０００７】
【発明が解決しようとする課題】
本発明は上記問題点の解決を図り，撮影された映像ストリームから動きのある画像のみを切り出し，切り出した画像中の動きベクトルを検出し，画面カーソル領域を自動設定できるようにすることを目的とする。また，画面カーソルの動きを検出し，画面内の対象物体を逆方向に移動させる場合においても，実世界にあった自然な動きパターン画像となるようにすることを目的とする。
【０００８】
【課題を解決するための手段】
本発明は，上記課題を以下の手段によって解決する。
【０００９】
(1) あらかじめ対象物体の種々の動きパターン画像を撮影した画像をもとに，この動きパターン画像の開始点と終了点を，画像のフレーム間差分の大きさを所定の閾値と比較することにより検出し，画像蓄積部に蓄積する。
【００１０】
(2) 画像蓄積部に蓄積された画像の動きベクトルを検出し，画面カーソルの動きを検出する検出ゾーンを設けて，マウス等のポインティングデバイスによる画面カーソルの動きに対応する画像を動きパラメータテーブルに登録する。
【００１１】
以上の手段を用いて，撮影された映像ストリームから動きのある部分のみを切り出し，画像内の動いている部分に画面カーソル検出ゾーンを設定できるようになる。
【００１２】
(3) 画面カーソル分析部において，画面カーソルが検出ゾーン内にあり，かつ対象物体を移動するための操作を指示しているか否かを分析する。
【００１３】
(4) 制御部は，画面カーソル分析部が対象物体の移動を指示していることを検出した場合，画像蓄積部の中から，利用者が指示した動きに該当する動きパターン画像の開始点から終了点までの画像を読み出し，画面表示部に表示する。
【００１４】
以上の手段を用いて，対象物体の移動を指示する画面カーソルが逆方向の場合に，逆方向の動きパターン画像を表示する。
【００１５】
以上の各処理手段をコンピュータによって実現するためのプログラムは，コンピュータが読み取り可能な可搬媒体メモリ，半導体メモリ，ハードディスクなどの適当な記憶媒体に格納することができる。
【００１６】
【発明の実施の形態】
図１は，本発明に係る装置のシステム構成例を示す。図１において，１は制御部，２は画面カーソル分析部，３はマウス，４は画像蓄積部，５は動きパラメータテーブル，６は検出ゾーンテーブル，７はタイマ部，８は画面表示部，９は画像入力部，１０は画像解析部，１１は画面カーソル検出ゾーン解析部を表す。
【００１７】
図２は，画像解析部１０における撮影した映像ストリームから動きのある部分を切り出す処理を説明するための図である。図２（Ａ）に示すような映像ストリーム（左手をあげ，おろす。続いて右手をあげ，おろす）から，画像中の物体が動いている部分▲１▼▲２▼▲３▼▲４▼のみを切り出す。これはフレーム間の差分をとることで可能である。フレーム間の変化点（画素の変化量）の総数がある一定の閾値を越えた場合に，その点を開始点に設定し，その後フレーム間変化量がある一定の閾値より低くなった場合に，その点を終了点とする。これを対象映像中で繰り返す。そして，この検出された動きのある画像を画像蓄積部４に蓄積する。
【００１８】
図３は，画面カーソル検出ゾーン解析部１１におけるマウス移動検出ゾーン，すなわち画面カーソル検出ゾーンの設定の処理を説明するための図である。画面カーソル検出ゾーン解析部１１は，画像解析部１０によって切り出されたそれぞれの画像に対して，フレーム間の画素ごとに動きベクトルを求め，動きベクトルの最も大きい部分に矢印を設定し，その矢印の近傍を，図３（Ｃ）に示すようにマウス移動検出ゾーンＺ１，Ｚ２と設定し，これらの領域を示す情報を検出ゾーンテーブル６に格納する。また，各ゾーンにおける動きパラメータを動きパラメータテーブル５に登録する。
【００１９】
なおこの例では，マウス移動検出ゾーンＺ１，Ｚ２の座標情報を，検出ゾーンテーブル６に格納し，動きパラメータテーブル５とリンクしているが，検出ゾーンテーブル６を動きパラメータテーブル５とは別に設けないで，マウス移動検出ゾーンＺ１，Ｚ２の情報を，直接，動きパラメータテーブル５内に記憶するようにしてもよい。
【００２０】
図３において，ＬＵ，ＬＤ，ＲＵ，ＲＤ等は，この動きパラメータであり，
・ＬＵは，対象物体が左手（Ｌ）をあげる（Ｕ）場合の画像の動きパラメータ，
・ＬＤは，対象物体が左手（Ｌ）をおろす（Ｄ）場合の画像の動きパラメータ，
・ＲＵは，対象物体が右手（Ｒ）をあげる（Ｕ）場合の画像の動きパラメータ，
・ＲＤは，対象物体が右手（Ｒ）をおろす（Ｄ）場合の画像の動きパラメータ，
をそれぞれ表している。
【００２１】
この場合の動作は，マウス移動検出ゾーンＺ１でマウスを上に動かしているときは左手をあげ，マウスを下に動かしているときは左手をおろす。マウス移動検出ゾーンＺ２でマウスを上に動かしているときは右手をあげ，マウスを下に動かしているときは右手をおろす，という動作である。
【００２２】
図４は，人が左右に歩く画像の場合における動きパラメータテーブル５のテーブル内容の例を示す。動きパラメータテーブル５には，コード番号，動きパラメータ，画像名称，メモリ開始アドレス，メモリ終了アドレス等のデータが記録される。
【００２３】
図４において，ＬＲ，ＲＬ，ＳＦ，ＳＢ等は，この動きパラメータであり，
・ＬＲは，対象物体が左方向（Ｌ）から右方向（Ｒ）に移動する場合の画像の動きパラメータ，
・ＲＬは，対象物体が右方向（Ｒ）から左方向（Ｌ）に移動する場合の画像の動きパラメータ，
・ＳＦは，対象物体が停止し，正面を向いた場合の画像の動きパラメータ，
・ＳＢは，対象物体が停止し，後ろを向いた場合の画像の動きパラメータ，
をそれぞれ表している。
【００２４】
これらの画像は，同じ種類でも種々の動きパターン画像に応じて多数あり，番号を付与して区別する。メモリ開始アドレスおよびメモリ終了アドレスは，動きパターン画像の開始および終了時点を画像蓄積部４から読み出す位置を示すものである。開始および終了のアドレスにより，各々の動きパターン画像を提示する時間等が分かる。
【００２５】
図５は，本発明を用いた画像の表示例を示す。図５（Ａ）は，対象物体が右方向に歩いている動きパターン画像の画面であり，図５（ａ）は，同図（Ａ）に対応する対象物体の画面カーソル検出ゾーンを示す。図５（Ａ）の画面と同図（ａ）の画面カーソル検出ゾーンとは重畳して配置され，図５（Ａ）中に点線で示す画面カーソル検出ゾーンは，通常，利用者には見えないようにする。図５（Ｂ）は，対象物体が左方向に歩いている動きパターン画像の画面であり，図５（ｂ）は，同図（Ｂ）中の画面カーソル検出ゾーンを示す。図５（Ａ）と同様に，画面カーソル検出ゾーンは，利用者には見えない。
【００２６】
図６は，本発明を用いた対象物体の種々の動きパターン画像の表示例を示す。左方向に歩く場合，右方向に歩く場合，停止して正面を向く場合等を示す。図６中に示す▲１▼〜▲７▼は，動きパターン画像の流れの一例を示している。
【００２７】
図７および図８は，本発明の一実施形態における処理フローを示す。最初に図７に従って，撮影した映像ストリームから動きを検出し，動きパターン画像を提示する準備を行うための処理を説明する。
【００２８】
(1) まず，あらかじめ対象物体の動きパターン画像を含む映像を撮影する。この撮影は，通常のビデオカメラ等により行い，画像入力部９から撮影した動きパターン画像を入力する（ステップＳ１０）。入力した画像について，画像解析部１０においてフレーム間の変化量を測定し（ステップＳ１１），フレーム間変化量がある一定の閾値を越えたところを開始点に設定し，その後フレーム間変化量がある一定の閾値より低くなったところを終了点に設定する（ステップＳ１２）。これを画像が終了するまで対象映像中で繰り返す（ステップＳ１３）。その後，開始点と終了点の間の画像をすべて切り出し，画像蓄積部４に蓄積し保存する（ステップＳ１４）。
【００２９】
(2) 次に，画面カーソル検出ゾーン解析部１１が，切り出された動きパターン画像に対して物体が動いている場所や向きをオプティカルフロー等の画像処理で特定し（ステップＳ１５），動きベクトルの最も大きい部分に矢印を設定し，その矢印の近傍を画面カーソル検出ゾーン（マウス移動検出ゾーン）と設定して（ステップＳ１６），図４に示すような動きパラメータテーブル５に記録する（ステップＳ１７）。画面カーソル検出ゾーンは，矢印の近傍をとるので一般的に細長い領域となる。
【００３０】
以上により，対象物体の個々の動きに応じて，それぞれの動きパターン画像を提示する準備を整える。なお，これら動きパターン画像を記録する媒体は，テープ，磁気ディスク等自由に選択できる。
【００３１】
次に，図８に従って，画面内の対象物体を移動する場合の処理について説明する。
【００３２】
(3) まず，対象物体の画像を画面に表示する（ステップＳ２０）。利用者は，画面に表示された対象物体の近傍を，マウス等のポインティングデバイスを用いて，対象物体を移動させるように操作する。一般的に動かしたい対象物の近傍に面面カーソルを検知する領域を設けるのが普通であるが，特に画面カーソルを検知する領域は対象物体の近傍に限らず，どこに設定してもよい。
【００３３】
(4) 画面カーソル分析部２は，画面カーソルの動きを監視し（ステップＳ２１），画面カーソルのＸおよびＹ座標が画面カーソル検出ゾーン内にあるかどうか，また，それらが対象物体を移動しようとしているかどうかなどを画面カーソルの動きから判定する（ステップＳ２２，Ｓ２３）。
【００３４】
画面カーソルのＸおよびＹ座標が画面カーソル検出ゾーン内にあり，画面カーソルの動きベクトルが所定の閾値を越えた場合，利用者の意図を察知し，この移動方向（ベクトル）を識別する（ステップＳ２４）。
【００３５】
(5) 制御部１は，画面カーソル分析部２から画面カーソルの移動方向等のデータを受信した場合，動きパラメータテーブル５を参照して（ステップＳ２５），画像蓄積部４から動きパターン画像を読み出し（ステップＳ２６），画像バッファに蓄積し（ステップＳ２７），画面表示部８に表示し，画像を再生する（ステップＳ２８）。
【００３６】
(6) なお，画面カーソルの動きが所定の閾値を越えない場合，画面カーソルの動作を監視する状態に戻る（ステップＳ２１〜Ｓ２３）。
【００３７】
ここで，利用者が対象物体を左方向に移動しようとした場合，図５（ｂ）に示す画面カーソル検出ゾーン内で画面カーソルの移動方向が左向きであることを検出すると，図４中の動きパラメータテーブル５のコード番号▲２▼の動きパラメータであることを知り，画像蓄積部４のメモリを検索してメモリ開始アドレスに相当する部分からメモリ終了アドレスに相当する部分までを読み出す。これによって，画面表示部８には，図５（Ｂ）に示すような対象物体が左方向に歩いている画像が提示される。
【００３８】
以上で，本発明を用いて，１個の動きパターン画像を表示する際の一連の流れを説明したが，続いて，本発明の他の実施の形態を説明する。
【００３９】
(1) 画面カーソル分析部２は，画面カーソルの動きを検出するものであるが，単に移動方向だけでなく，対象物体を操作しようとする画面カーソルの動きをより詳細に分析することにより，画面カーソルの動きを複数の動きベクトルの集合とみて，それぞれに対応した動きパターン画像を連続的に表示する。
【００４０】
(2) 図６を用いて，この拡張した対象物体の動きパターン画像が提示可能であることを示す。利用者が画面カーソルを操作する場合の動きが，次のようであったとする。
・まず，画面カーソル検出ゾーン内に画面カーソルを移動する。この時，最初は画面カーソルは静止した状態である（画面カーソル検出ゾーン内での動きベクトルが左右方向にのみ定義されている場合，上下方向の画面カーソルの動きは静止しているとみなすことができる）。
・次に，画面カーソルを左方向に移動する。
・次に，画面カーソルを止める。
・次に，画面カーソルを右方向に動かす。
・次に，画面カーソルを止める。
・次に，画面カーソルを右方向に動かす。
・次に，画面カーソルを止める。
【００４１】
(3) これら一連の画面カーソルの動きに応じて，図４中の動きパラメータテーブル５が参照され，まず正面を向いたコード番号▲３▼の画像，次に左に歩くコード番号▲２▼の画像，次に停止したコード番号▲３▼の画像，次に右に歩くコード番号▲１▼の画像，次に停止したコード番号▲３▼の画像，次に右に歩くコード番号▲１▼の画像，次に停止したコード番号▲３▼の画像が，画像蓄積部４から読み出されて画面表示部８に表示される。
【００４２】
この結果，図６に▲１▼→▲２▼→▲３▼→▲４▼→▲５▼→▲６▼→▲７▼として示されている一連の表示例のように，画面カーソルの動きに応じて動きパターン画像が連続的に表示される。
【００４３】
【発明の効果】
以上述べたように，本発明によれば，各種の動きパターン画像を開始点および終了点を付して蓄積したので，設定した画面カーソル検出ゾーン中で画面カーソルの移動方向を検出して，これに適した動きパターン画像を選択して再生することができるようになる。これにより，実世界と同様の自然な画像を提示することができる効果がある。また，各種動きパターン画像を組み合わせ，画面カーソルの動きに応じて，より複雑な動作でも自然な状態で提示することができるなどの効果がある。
【００４４】
すなわち，本発明は次のよう効果がある。
(1) 撮影された映像ストリームから動きのある画像のみを切り出し，切り出した画像中の動きベクトルを検出することにより，画面カーソル検出ゾーンを自動設定することができる。
(2) 画面カーソルの移動方向を検出して，各種動きパターン画像の中からこの移動方向に適したものを選択して再生することができる。
(3) 各種動きパターン画像を組み合わせ，画面カーソルの動きに応じて対象物の動きを連続的に表示することができる。
【図面の簡単な説明】
【図１】本発明のシステム構成例を示す図である。
【図２】画像解析部における撮影した映像ストリームから動きのある部分を切り出す処理を説明するための図である。
【図３】画面カーソル検出ゾーン解析部におけるマウス移動検出ゾーンの設定の処理を説明するための図である。
【図４】動きパラメータテーブルのテーブル内容の例を示す図である。
【図５】本発明を用いた画像の表示例を示す図である。
【図６】本発明を用いた対象物体の種々の動きパターン画像の一連の表示例を示す図である。
【図７】本発明の一実施形態における処理フローを示す図である。
【図８】本発明の一実施形態における処理フローを示す図である。
【図９】従来の動きのある画像再生の例を示す図である。
【符号の説明】
１ 制御部
２ 画面カーソル分析部
３ マウス
４ 画像蓄積部
５ 動きパラメータテーブル
６ 検出ゾーンテーブル
７ タイマ部
８ 画面表示部
９ 画像入力部
１０ 画像解析部
１１ 画面カーソル検出ゾーン解析部
【発明の属する技術分野】
本発明は，あらかじめ対象物体の種々の動きパターン画像を撮影して録画し，利用者が操作する画面カーソルの動きを検出して，この画面カーソルの動きに合わせて，これに対応する動きパターン画像を再生することにより，対象物体をより自然な動きで表示することができるようにする装置および方法に関する。
【０００２】
【従来の技術】
従来，対象物体の動きパターン画像をビデオカメラで撮影し，ビデオテープレコーダで再生することは，行われている。
【０００３】
また，画面表示部内の対象物体の近傍に，マウス等の画面カーソルの移動を検出する領域を設け，画面カーソルの動きに合わせて，対象物体の動きパターン画像を表示することも行われている（参考文献：佐藤，阿久津，外村，“Ｃｏａｓｔｅｒ：折れ線スライダによる時空間メディアインタフェース”，情処研報98-HI-79，pp.37-42，1998）。
【０００４】
しかしながら，従来技術では，撮影された映像中のどのシーンを使うのかを決定するのは人の手を介して行っており，またマウス等の画面カーソルの移動を検出する領域を設けるのも人の手を介して行っている。
【０００５】
さらに，対象物体の動きパターン画像を順方向に再生する場合には，実世界の動きと同じであり受け入れ易いが，逆方向に再生する場合，不自然な動きとなっていた。これを図９を用いて説明する。
【０００６】
図９（ａ）は，人物が画面の左方向から右方向に移動する場合を示しており，この場合には，実世界と同じ自然な動きであるので問題はない。しかし，図９（ｂ）のように，画面カーソルの左向操作により逆方向に再生する場合，人が後向きに歩くという実世界とやや異る不自然な動きとなる。
【０００７】
【発明が解決しようとする課題】
本発明は上記問題点の解決を図り，撮影された映像ストリームから動きのある画像のみを切り出し，切り出した画像中の動きベクトルを検出し，画面カーソル領域を自動設定できるようにすることを目的とする。また，画面カーソルの動きを検出し，画面内の対象物体を逆方向に移動させる場合においても，実世界にあった自然な動きパターン画像となるようにすることを目的とする。
【０００８】
【課題を解決するための手段】
本発明は，上記課題を以下の手段によって解決する。
【０００９】
(1) あらかじめ対象物体の種々の動きパターン画像を撮影した画像をもとに，この動きパターン画像の開始点と終了点を，画像のフレーム間差分の大きさを所定の閾値と比較することにより検出し，画像蓄積部に蓄積する。
【００１０】
(2) 画像蓄積部に蓄積された画像の動きベクトルを検出し，画面カーソルの動きを検出する検出ゾーンを設けて，マウス等のポインティングデバイスによる画面カーソルの動きに対応する画像を動きパラメータテーブルに登録する。
【００１１】
以上の手段を用いて，撮影された映像ストリームから動きのある部分のみを切り出し，画像内の動いている部分に画面カーソル検出ゾーンを設定できるようになる。
【００１２】
(3) 画面カーソル分析部において，画面カーソルが検出ゾーン内にあり，かつ対象物体を移動するための操作を指示しているか否かを分析する。
【００１３】
(4) 制御部は，画面カーソル分析部が対象物体の移動を指示していることを検出した場合，画像蓄積部の中から，利用者が指示した動きに該当する動きパターン画像の開始点から終了点までの画像を読み出し，画面表示部に表示する。
【００１４】
以上の手段を用いて，対象物体の移動を指示する画面カーソルが逆方向の場合に，逆方向の動きパターン画像を表示する。
【００１５】
以上の各処理手段をコンピュータによって実現するためのプログラムは，コンピュータが読み取り可能な可搬媒体メモリ，半導体メモリ，ハードディスクなどの適当な記憶媒体に格納することができる。
【００１６】
【発明の実施の形態】
図１は，本発明に係る装置のシステム構成例を示す。図１において，１は制御部，２は画面カーソル分析部，３はマウス，４は画像蓄積部，５は動きパラメータテーブル，６は検出ゾーンテーブル，７はタイマ部，８は画面表示部，９は画像入力部，１０は画像解析部，１１は画面カーソル検出ゾーン解析部を表す。
【００１７】
図２は，画像解析部１０における撮影した映像ストリームから動きのある部分を切り出す処理を説明するための図である。図２（Ａ）に示すような映像ストリーム（左手をあげ，おろす。続いて右手をあげ，おろす）から，画像中の物体が動いている部分▲１▼▲２▼▲３▼▲４▼のみを切り出す。これはフレーム間の差分をとることで可能である。フレーム間の変化点（画素の変化量）の総数がある一定の閾値を越えた場合に，その点を開始点に設定し，その後フレーム間変化量がある一定の閾値より低くなった場合に，その点を終了点とする。これを対象映像中で繰り返す。そして，この検出された動きのある画像を画像蓄積部４に蓄積する。
【００１８】
図３は，画面カーソル検出ゾーン解析部１１におけるマウス移動検出ゾーン，すなわち画面カーソル検出ゾーンの設定の処理を説明するための図である。画面カーソル検出ゾーン解析部１１は，画像解析部１０によって切り出されたそれぞれの画像に対して，フレーム間の画素ごとに動きベクトルを求め，動きベクトルの最も大きい部分に矢印を設定し，その矢印の近傍を，図３（Ｃ）に示すようにマウス移動検出ゾーンＺ１，Ｚ２と設定し，これらの領域を示す情報を検出ゾーンテーブル６に格納する。また，各ゾーンにおける動きパラメータを動きパラメータテーブル５に登録する。
【００１９】
なおこの例では，マウス移動検出ゾーンＺ１，Ｚ２の座標情報を，検出ゾーンテーブル６に格納し，動きパラメータテーブル５とリンクしているが，検出ゾーンテーブル６を動きパラメータテーブル５とは別に設けないで，マウス移動検出ゾーンＺ１，Ｚ２の情報を，直接，動きパラメータテーブル５内に記憶するようにしてもよい。
【００２０】
図３において，ＬＵ，ＬＤ，ＲＵ，ＲＤ等は，この動きパラメータであり，
・ＬＵは，対象物体が左手（Ｌ）をあげる（Ｕ）場合の画像の動きパラメータ，
・ＬＤは，対象物体が左手（Ｌ）をおろす（Ｄ）場合の画像の動きパラメータ，
・ＲＵは，対象物体が右手（Ｒ）をあげる（Ｕ）場合の画像の動きパラメータ，
・ＲＤは，対象物体が右手（Ｒ）をおろす（Ｄ）場合の画像の動きパラメータ，
をそれぞれ表している。
【００２１】
この場合の動作は，マウス移動検出ゾーンＺ１でマウスを上に動かしているときは左手をあげ，マウスを下に動かしているときは左手をおろす。マウス移動検出ゾーンＺ２でマウスを上に動かしているときは右手をあげ，マウスを下に動かしているときは右手をおろす，という動作である。
【００２２】
図４は，人が左右に歩く画像の場合における動きパラメータテーブル５のテーブル内容の例を示す。動きパラメータテーブル５には，コード番号，動きパラメータ，画像名称，メモリ開始アドレス，メモリ終了アドレス等のデータが記録される。
【００２３】
図４において，ＬＲ，ＲＬ，ＳＦ，ＳＢ等は，この動きパラメータであり，
・ＬＲは，対象物体が左方向（Ｌ）から右方向（Ｒ）に移動する場合の画像の動きパラメータ，
・ＲＬは，対象物体が右方向（Ｒ）から左方向（Ｌ）に移動する場合の画像の動きパラメータ，
・ＳＦは，対象物体が停止し，正面を向いた場合の画像の動きパラメータ，
・ＳＢは，対象物体が停止し，後ろを向いた場合の画像の動きパラメータ，
をそれぞれ表している。
【００２４】
これらの画像は，同じ種類でも種々の動きパターン画像に応じて多数あり，番号を付与して区別する。メモリ開始アドレスおよびメモリ終了アドレスは，動きパターン画像の開始および終了時点を画像蓄積部４から読み出す位置を示すものである。開始および終了のアドレスにより，各々の動きパターン画像を提示する時間等が分かる。
【００２５】
図５は，本発明を用いた画像の表示例を示す。図５（Ａ）は，対象物体が右方向に歩いている動きパターン画像の画面であり，図５（ａ）は，同図（Ａ）に対応する対象物体の画面カーソル検出ゾーンを示す。図５（Ａ）の画面と同図（ａ）の画面カーソル検出ゾーンとは重畳して配置され，図５（Ａ）中に点線で示す画面カーソル検出ゾーンは，通常，利用者には見えないようにする。図５（Ｂ）は，対象物体が左方向に歩いている動きパターン画像の画面であり，図５（ｂ）は，同図（Ｂ）中の画面カーソル検出ゾーンを示す。図５（Ａ）と同様に，画面カーソル検出ゾーンは，利用者には見えない。
【００２６】
図６は，本発明を用いた対象物体の種々の動きパターン画像の表示例を示す。左方向に歩く場合，右方向に歩く場合，停止して正面を向く場合等を示す。図６中に示す▲１▼〜▲７▼は，動きパターン画像の流れの一例を示している。
【００２７】
図７および図８は，本発明の一実施形態における処理フローを示す。最初に図７に従って，撮影した映像ストリームから動きを検出し，動きパターン画像を提示する準備を行うための処理を説明する。
【００２８】
(1) まず，あらかじめ対象物体の動きパターン画像を含む映像を撮影する。この撮影は，通常のビデオカメラ等により行い，画像入力部９から撮影した動きパターン画像を入力する（ステップＳ１０）。入力した画像について，画像解析部１０においてフレーム間の変化量を測定し（ステップＳ１１），フレーム間変化量がある一定の閾値を越えたところを開始点に設定し，その後フレーム間変化量がある一定の閾値より低くなったところを終了点に設定する（ステップＳ１２）。これを画像が終了するまで対象映像中で繰り返す（ステップＳ１３）。その後，開始点と終了点の間の画像をすべて切り出し，画像蓄積部４に蓄積し保存する（ステップＳ１４）。
【００２９】
(2) 次に，画面カーソル検出ゾーン解析部１１が，切り出された動きパターン画像に対して物体が動いている場所や向きをオプティカルフロー等の画像処理で特定し（ステップＳ１５），動きベクトルの最も大きい部分に矢印を設定し，その矢印の近傍を画面カーソル検出ゾーン（マウス移動検出ゾーン）と設定して（ステップＳ１６），図４に示すような動きパラメータテーブル５に記録する（ステップＳ１７）。画面カーソル検出ゾーンは，矢印の近傍をとるので一般的に細長い領域となる。
【００３０】
以上により，対象物体の個々の動きに応じて，それぞれの動きパターン画像を提示する準備を整える。なお，これら動きパターン画像を記録する媒体は，テープ，磁気ディスク等自由に選択できる。
【００３１】
次に，図８に従って，画面内の対象物体を移動する場合の処理について説明する。
【００３２】
(3) まず，対象物体の画像を画面に表示する（ステップＳ２０）。利用者は，画面に表示された対象物体の近傍を，マウス等のポインティングデバイスを用いて，対象物体を移動させるように操作する。一般的に動かしたい対象物の近傍に面面カーソルを検知する領域を設けるのが普通であるが，特に画面カーソルを検知する領域は対象物体の近傍に限らず，どこに設定してもよい。
【００３３】
(4) 画面カーソル分析部２は，画面カーソルの動きを監視し（ステップＳ２１），画面カーソルのＸおよびＹ座標が画面カーソル検出ゾーン内にあるかどうか，また，それらが対象物体を移動しようとしているかどうかなどを画面カーソルの動きから判定する（ステップＳ２２，Ｓ２３）。
【００３４】
画面カーソルのＸおよびＹ座標が画面カーソル検出ゾーン内にあり，画面カーソルの動きベクトルが所定の閾値を越えた場合，利用者の意図を察知し，この移動方向（ベクトル）を識別する（ステップＳ２４）。
【００３５】
(5) 制御部１は，画面カーソル分析部２から画面カーソルの移動方向等のデータを受信した場合，動きパラメータテーブル５を参照して（ステップＳ２５），画像蓄積部４から動きパターン画像を読み出し（ステップＳ２６），画像バッファに蓄積し（ステップＳ２７），画面表示部８に表示し，画像を再生する（ステップＳ２８）。
【００３６】
(6) なお，画面カーソルの動きが所定の閾値を越えない場合，画面カーソルの動作を監視する状態に戻る（ステップＳ２１〜Ｓ２３）。
【００３７】
ここで，利用者が対象物体を左方向に移動しようとした場合，図５（ｂ）に示す画面カーソル検出ゾーン内で画面カーソルの移動方向が左向きであることを検出すると，図４中の動きパラメータテーブル５のコード番号▲２▼の動きパラメータであることを知り，画像蓄積部４のメモリを検索してメモリ開始アドレスに相当する部分からメモリ終了アドレスに相当する部分までを読み出す。これによって，画面表示部８には，図５（Ｂ）に示すような対象物体が左方向に歩いている画像が提示される。
【００３８】
以上で，本発明を用いて，１個の動きパターン画像を表示する際の一連の流れを説明したが，続いて，本発明の他の実施の形態を説明する。
【００３９】
(1) 画面カーソル分析部２は，画面カーソルの動きを検出するものであるが，単に移動方向だけでなく，対象物体を操作しようとする画面カーソルの動きをより詳細に分析することにより，画面カーソルの動きを複数の動きベクトルの集合とみて，それぞれに対応した動きパターン画像を連続的に表示する。
【００４０】
(2) 図６を用いて，この拡張した対象物体の動きパターン画像が提示可能であることを示す。利用者が画面カーソルを操作する場合の動きが，次のようであったとする。
・まず，画面カーソル検出ゾーン内に画面カーソルを移動する。この時，最初は画面カーソルは静止した状態である（画面カーソル検出ゾーン内での動きベクトルが左右方向にのみ定義されている場合，上下方向の画面カーソルの動きは静止しているとみなすことができる）。
・次に，画面カーソルを左方向に移動する。
・次に，画面カーソルを止める。
・次に，画面カーソルを右方向に動かす。
・次に，画面カーソルを止める。
・次に，画面カーソルを右方向に動かす。
・次に，画面カーソルを止める。
【００４１】
(3) これら一連の画面カーソルの動きに応じて，図４中の動きパラメータテーブル５が参照され，まず正面を向いたコード番号▲３▼の画像，次に左に歩くコード番号▲２▼の画像，次に停止したコード番号▲３▼の画像，次に右に歩くコード番号▲１▼の画像，次に停止したコード番号▲３▼の画像，次に右に歩くコード番号▲１▼の画像，次に停止したコード番号▲３▼の画像が，画像蓄積部４から読み出されて画面表示部８に表示される。
【００４２】
この結果，図６に▲１▼→▲２▼→▲３▼→▲４▼→▲５▼→▲６▼→▲７▼として示されている一連の表示例のように，画面カーソルの動きに応じて動きパターン画像が連続的に表示される。
【００４３】
【発明の効果】
以上述べたように，本発明によれば，各種の動きパターン画像を開始点および終了点を付して蓄積したので，設定した画面カーソル検出ゾーン中で画面カーソルの移動方向を検出して，これに適した動きパターン画像を選択して再生することができるようになる。これにより，実世界と同様の自然な画像を提示することができる効果がある。また，各種動きパターン画像を組み合わせ，画面カーソルの動きに応じて，より複雑な動作でも自然な状態で提示することができるなどの効果がある。
【００４４】
すなわち，本発明は次のよう効果がある。
(1) 撮影された映像ストリームから動きのある画像のみを切り出し，切り出した画像中の動きベクトルを検出することにより，画面カーソル検出ゾーンを自動設定することができる。
(2) 画面カーソルの移動方向を検出して，各種動きパターン画像の中からこの移動方向に適したものを選択して再生することができる。
(3) 各種動きパターン画像を組み合わせ，画面カーソルの動きに応じて対象物の動きを連続的に表示することができる。
【図面の簡単な説明】
【図１】本発明のシステム構成例を示す図である。
【図２】画像解析部における撮影した映像ストリームから動きのある部分を切り出す処理を説明するための図である。
【図３】画面カーソル検出ゾーン解析部におけるマウス移動検出ゾーンの設定の処理を説明するための図である。
【図４】動きパラメータテーブルのテーブル内容の例を示す図である。
【図５】本発明を用いた画像の表示例を示す図である。
【図６】本発明を用いた対象物体の種々の動きパターン画像の一連の表示例を示す図である。
【図７】本発明の一実施形態における処理フローを示す図である。
【図８】本発明の一実施形態における処理フローを示す図である。
【図９】従来の動きのある画像再生の例を示す図である。
【符号の説明】
１ 制御部
２ 画面カーソル分析部
３ マウス
４ 画像蓄積部
５ 動きパラメータテーブル
６ 検出ゾーンテーブル
７ タイマ部
８ 画面表示部
９ 画像入力部
１０ 画像解析部
１１ 画面カーソル検出ゾーン解析部
Claims (9)
- 画面に表示された対象物体が画面カーソルの動きに合わせて動くように動きパターン画像を表示するための動きパターン画像表示装置で用いる動きパターン画像を登録する装置であって，
撮影された映像ストリームを入力する画像入力部と，
入力した映像ストリームにおいて動きのある画像と動きのない画像を判別し，映像ストリームから動きのある画像部分を切り出す画像解析部と，
前記画像解析部で切り出した画像を動きパターン画像として蓄積する画像蓄積部と，
前記画像蓄積部に蓄積された画像中から対象物体の動きのある場所と方向を検出し，前記動きパターン画像表示装置において画面に表示された対象物体を動かす際の入力となる画面カーソルを検出する範囲を示す画面カーソル検出ゾーンを定める画面カーソル検出ゾーン解析部と，
前記画面カーソル検出ゾーンの場所情報と，それに対応する動きの方向情報および前記画像蓄積部に蓄積された画像を指し示す情報とを記憶する検出ゾーン・動きパラメータ記憶部とを備える
ことを特徴とする動きパターン画像登録装置。 - 請求項１記載の動きパターン画像登録装置において，
前記画像解析部は，撮影された映像ストリーム中で動きが大きく変化し始める開始点と変化が小さくなる終了点とを検出し，その開始点から終了点までの画像を切り出して，登録対象となる一つの動きパターン画像とする
ことを特徴とする動きパターン画像登録装置。 - 請求項１記載の動きパターン画像登録装置において，
前記画面カーソル検出ゾーン解析部は，前記画像蓄積部に蓄積されている画像中で動きベクトルの位置と方向を検出し，その検出結果から画面カーソル検出ゾーンを設定し，画面カーソルと同期して動く画像のアドレスを動きパラメータテーブルに登録する
ことを特徴とする動きパターン画像登録装置。 - 画面に表示された対象物体が画面カーソルの動きに合わせて動くように表示する動きパターン画像表示装置であって，
撮影された映像ストリームから切り出された動きのある画像部分を動きパターン画像として蓄積する画像蓄積部と，
前記画像蓄積部に蓄積された各々の画像中から対象物体の動きのある場所と方向を検出することによって定められた画面カーソル検出ゾーンの場所情報と，それに対応する動きの方向情報および前記画像蓄積部に蓄積された画像を指し示す情報とを記憶する検出ゾーン・動きパラメータ記憶部と，
前記検出ゾーン・動きパラメータ記憶部に記憶されている情報をもとに，画面に表示されている動きパターン画像中の対象物体の近傍に画面カーソル検出ゾーンを設定し，利用者が操作する画面カーソルが前記画面カーソル検出ゾーン内にあり，かつ対象物体を移動するための操作を指示しているか否かを分析する画面カーソル分析部と，
前記画面カーソル分析部が対象物体の移動を指示していることを検出した場合に，前記画像蓄積部の中から利用者が指示した動きに該当する動きパターン画像の開始点から終了点までの画像を読み出し，画面に表示する制御部とを備える
ことを特徴とする動きパターン画像表示装置。 - 請求項４記載の動きパターン画像表示装置において，
前記画面カーソル分析部は，画面カーソルの動きを分析することにより，複数の動きベクトルを抽出し，
前記制御部は，前記画面カーソル分析部が抽出した複数の動きベクトルのそれぞれに対応した動きパターン画像を前記画像蓄積部から読み出して連続的に表示する
ことを特徴とする動きパターン画像表示装置。 - 画面に表示された対象物体が画面カーソルの動きに合わせて動くように動きパターン画像を表示するための動きパターン画像表示装置で用いる動きパターン画像を登録する方法であって，
撮影された映像ストリームを入力する過程と，
入力した映像ストリームにおいて動きのある画像と動きのない画像を判別し，映像ストリームから動きのある画像部分を切り出す過程と，
切り出した画像を動きパターン画像として画像蓄積部に蓄積する過程と，
前記画像蓄積部に蓄積された画像中から対象物体の動きのある場所と方向を検出し，前記動きパターン画像表示装置において画面に表示された対象物体を動かす際の入力となる画面カーソルを検出する範囲を示す画面カーソル検出ゾーンを定める過程と，
前記画面カーソル検出ゾーンの場所情報と，それに対応する動きの方向情報および前記画像蓄積部に蓄積された画像を指し示す情報とを所定の記憶手段に記憶する過程とを有する
ことを特徴とする動きパターン画像登録方法。 - 動きパターン画像表示装置が，撮影された映像ストリームから切り出された動きのある画像部分を動きパターン画像として蓄積する画像蓄積部と，
前記画像蓄積部に蓄積された各々の画像中から対象物体の動きのある場所と方向を検出することによって定められた画面カーソル検出ゾーンの場所情報，それに対応する動きの方向情報および前記画像蓄積部に蓄積された画像を指し示す情報を記憶する検出ゾーン・動きパラメータ記憶部とを用いることによって，
画面に表示された対象物体が画面カーソルの動きに合わせて動くように表示する方法であって，
前記検出ゾーン・動きパラメータ記憶部に記憶されている情報をもとに，画面に表示されている動きパターン画像中の対象物体の近傍に画面カーソル検出ゾーンを設定し，利用者が操作する画面カーソルが前記画面カーソル検出ゾーン内にあり，かつ対象物体を移動するための操作を指示しているか否かを分析する過程と，
前記分析する過程において対象物体の移動を指示していることを検出した場合に，前記画像蓄積部の中から利用者が指示した動きに該当する動きパターン画像の開始点から終了点までの画像を読み出し，画面に表示する過程とを有する
ことを特徴とする動きパターン画像表示方法。 - 画面に表示された対象物体が画面カーソルの動きに合わせて動くように動きパターン画像を表示するための動きパターン画像表示装置で用いる動きパターン画像を登録するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって，
撮影された映像ストリームを入力する処理と，
入力した映像ストリームにおいて動きのある画像と動きのない画像を判別し，映像ストリームから動きのある画像部分を切り出す処理と，
切り出した画像を動きパターン画像として画像蓄積部に蓄積する処理と，
前記画像蓄積部に蓄積された画像中から対象物体の動きのある場所と方向を検出し，前記動きパターン画像表示装置において画面に表示された対象物体を動かす際の入力となる画面カーソルを検出する範囲を示す画面カーソル検出ゾーンを定める処理と，
前記画面カーソル検出ゾーンの場所情報と，それに対応する動きの方向情報および前記画像蓄積部に蓄積された画像を指し示す情報とを所定の記憶手段に格納する処理とを，
コンピュータに実行させるためのプログラムを記録した
ことを特徴とする動きパターン画像登録のためのプログラム記録媒体。 - 動きパターン画像表示装置が，撮影された映像ストリームから切り出された動きのある画像部分を動きパターン画像として蓄積する画像蓄積部と，
前記画像蓄積部に蓄積された各々の画像中から対象物体の動きのある場所と方向を検出することによって定められた画面カーソル検出ゾーンの場所情報，それに対応する動きの方向情報および前記画像蓄積部に蓄積された画像を指し示す情報を記憶する検出ゾーン・動きパラメータ記憶部とを用いることによって，
画面に表示された対象物体が画面カーソルの動きに合わせて動くように表示するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって，
前記検出ゾーン・動きパラメータ記憶部に記憶されている情報をもとに，画面に表示されている動きパターン画像中の対象物体の近傍に画面カーソル検出ゾーンを設定し，利用者が操作する画面カーソルが前記画面カーソル検出ゾーン内にあり，かつ対象物体を移動するための操作を指示しているか否かを分析する処理と，
前記分析する処理において対象物体の移動を指示していることを検出した場合に，前記画像蓄積部の中から利用者が指示した動きに該当する動きパターン画像の開始点から終了点までの画像を読み出し，画面に表示する処理とを，
コンピュータに実行させるためのプログラムを記録した
ことを特徴とする動きパターン画像表示のためのプログラム記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000221964A JP3760088B2 (ja) | 2000-07-24 | 2000-07-24 | 動きパターン画像登録装置，表示装置，登録方法，表示方法およびそれらのプログラム記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000221964A JP3760088B2 (ja) | 2000-07-24 | 2000-07-24 | 動きパターン画像登録装置，表示装置，登録方法，表示方法およびそれらのプログラム記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002044595A JP2002044595A (ja) | 2002-02-08 |
| JP3760088B2 true JP3760088B2 (ja) | 2006-03-29 |
Family
ID=18716279
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000221964A Expired - Fee Related JP3760088B2 (ja) | 2000-07-24 | 2000-07-24 | 動きパターン画像登録装置，表示装置，登録方法，表示方法およびそれらのプログラム記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3760088B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012191544A (ja) * | 2011-03-14 | 2012-10-04 | Olympus Imaging Corp | 再生装置、撮像装置、および、動画再生プログラム |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06101018B2 (ja) * | 1991-08-29 | 1994-12-12 | インターナショナル・ビジネス・マシーンズ・コーポレイション | 動画像データベースの検索 |
| JP3325859B2 (ja) * | 1998-07-08 | 2002-09-17 | 日本電信電話株式会社 | データ入力方法、データ入力装置、およびデータ入力プログラムを格納する記録媒体、ならびに映像データ操作方法、映像データ操作装置、および映像データ操作プログラムを格納する記録媒体 |
-
2000
- 2000-07-24 JP JP2000221964A patent/JP3760088B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002044595A (ja) | 2002-02-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8971585B2 (en) | Image processing apparatus for retrieving object from moving image and method thereof | |
| KR101605276B1 (ko) | 오디오 비주얼 재생을 위한 시선 기반 위치 선택 | |
| KR100883065B1 (ko) | 모션 검출에 의한 녹화 제어장치 및 방법 | |
| US11676389B2 (en) | Forensic video exploitation and analysis tools | |
| US20100073519A1 (en) | Image processing apparatus, image pickup apparatus, image processing method, and computer program | |
| JPH08227462A (ja) | 動画像の変化点検出方法及び装置 | |
| JPWO2006025272A1 (ja) | 映像分類装置、映像分類プログラム、映像検索装置、および映像検索プログラム | |
| JP2003256836A (ja) | 知的特徴選択およびパンズーム制御 | |
| JPH09130732A (ja) | シーンチェンジ検出方法および動画像編集装置 | |
| JP2003046911A (ja) | 監視記録装置及びその方法 | |
| JP3648130B2 (ja) | 映像一覧方法及び映像一覧処理プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| US8411902B2 (en) | Providing a visual indication of the content of a video by analyzing a likely user intent | |
| CN110502117B (zh) | 电子终端中的截图方法以及电子终端 | |
| JP4713980B2 (ja) | 映像検索装置 | |
| JP3372096B2 (ja) | 画像情報アクセス装置 | |
| JP2013200867A (ja) | アニメーション作成装置、カメラ | |
| JP3760088B2 (ja) | 動きパターン画像登録装置，表示装置，登録方法，表示方法およびそれらのプログラム記録媒体 | |
| JP5612457B2 (ja) | 動画像表示装置と動画像オブジェクト探索システムと動画像表示方法とプログラム | |
| JP5850188B2 (ja) | 画像表示システム | |
| JP2003304444A (ja) | 画像合成装置及び画像合成方法 | |
| JP4702015B2 (ja) | 画像表示装置及びプログラム | |
| JP2004297305A (ja) | データベース構築装置、データベース構築プログラム、画像検索装置、画像検索プログラム、及び画像記録再生装置 | |
| JPH11261946A (ja) | 映像表示方法および装置並びに該映像表示方法を記録した記録媒体 | |
| JP3586176B2 (ja) | マルチイメージ作成方法およびそのプログラムを記録した記録媒体 | |
| JPH087069A (ja) | 画像処理を用いた魚種別魚数計測装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040428 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041214 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050214 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060104 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060106 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090113 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100113 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110113 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110113 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120113 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130113 Year of fee payment: 7 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |