JP3298793B2 - 歩行パターン処理方法及びその装置 - Google Patents

歩行パターン処理方法及びその装置

Info

Publication number
JP3298793B2
JP3298793B2 JP18249296A JP18249296A JP3298793B2 JP 3298793 B2 JP3298793 B2 JP 3298793B2 JP 18249296 A JP18249296 A JP 18249296A JP 18249296 A JP18249296 A JP 18249296A JP 3298793 B2 JP3298793 B2 JP 3298793B2
Authority
JP
Japan
Prior art keywords
time
walking
center
pattern processing
gravity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP18249296A
Other languages
English (en)
Other versions
JPH0991437A (ja
Inventor
淳司 大和
恭子 数藤
明 伴野
雅信 新井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP18249296A priority Critical patent/JP3298793B2/ja
Publication of JPH0991437A publication Critical patent/JPH0991437A/ja
Application granted granted Critical
Publication of JP3298793B2 publication Critical patent/JP3298793B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • G06V40/25Recognition of walking or running movements, e.g. gait recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、歩行パターン処理
方法及びその装置に関し、特に、人間の歩行動作の計測
を行い、その計測結果を解析し、パラメータとして表示
する歩行パターン処理方法及びその装置に関する。
【0002】
【従来の技術】従来、歩行パターンを解析処理する手段
としては、床反力計によるものと、足サイズの圧力分布
センサによるものとがあった。
【0003】
【発明が解決しようとする課題】このうち、床反力計に
よるものは、歩行時の力の変化が時系列に計測できるも
のの、足の接地領域内の圧力分布が計測できず、歩行時
における足のついた位置の計測もできなかった。
【0004】また、足サイズの圧力分布センサによるも
のは、足の大きさ程度の圧力分布センサを靴の中に敷く
ことにより、足型内部の圧力分布の計測及び足の接地,
離地の時刻計測はできるが、歩行時における足のついた
位置の計測はできなかった。
【0005】足をついた位置の計測方法としては、足に
インクを付けて紙の上を歩行する方法や、スケールとと
もにビデオに撮影して再生しながら計測する方法などの
非常に手間のかかる計測方法しかなかった。
【0006】また、従来における歩行パターンの解析結
果の表示方法としては、各パラメータの値を直接表示し
たり統計表示したりする方法があったが、計測手段が不
十分であったため大量のデータを取得することが困難で
あった。従って、大量のデータを把握し易く表示するた
めの表示方法は開発されていなかった。また、従来の一
般的な歩行パラメータの表示方法として、例えば図12
及び図13に示すような表示方法があるが、いずれも概
念的説明のための図であり、実際の測定解析結果につい
て、これらの図に相当する表示方法を実現する手段はな
かった。
【0007】以上の説明のように、従来の解析法では、
足をついた位置と時間に関するパラメータを同時に簡便
に取得することが困難であるという問題があった。ま
た、計測結果の表示に関しては、3次元空間で行われる
時系列の現象である歩行動作を少数のパラメータや簡略
な図という2次元の紙面に記述したときに、直観的把握
が困難であり、その理解には熟練を要する、という問題
があった。
【0008】本発明は上述のような事情から成されたも
のであり、本発明の目的は、歩行動作の空間的及び時間
的パラメータを自動的に安定に、かつ簡便に被験者に大
きな負担をかけることなく取得することを可能とすると
共に、歩行動作の空間的及び時間的要因の直観的把握及
び定量的比較を容易にすることを可能とする歩行パター
ン処理方法及びその装置を提供することにある。
【0009】
【課題を解決するための手段】請求項1に記載の発明
は、歩行に基づく2次元の圧力分布を取得する圧力セン
サと、前記圧力センサの出力を一定時間間隔で時系列デ
ータとして取得する時系列圧力分布画像検出手段と、前
記時系列圧力分布画像を時間方向に重畳して重畳画像を
作成する重畳画像作成手段と、前記重畳画像から複数の
足圧塊領域を抽出する足圧塊領域切り出し手段と、前記
足圧塊領域ごとに、前記時系列圧力分布画像との対応付
けを行うステップ対応検出手段と、前記ステップ対応手
段の対応付けに基づき、前記歩行の特徴を表すパラメー
タを検出するパラメータ検出手段と、前記パラメータを
出力する出力手段と、を備えたことを特徴とする歩行パ
ターン処理装置である。
【0010】本発明によれば、時系列に取得された2次
元圧力分布とその重畳画像から歩行のパラメータを取得
するので、歩行の基本パラメータを自動的にかつ簡易に
取得することができる。また、重畳画像上の足圧塊パタ
ーンによって歩行パターンの直観的把握が可能になり、
従来熟練が必要とされていた歩行パターンの理解,比
較,記録が容易になる。
【0011】請求項2に記載の発明は、前記パラメータ
検出手段は、前記ステップ対応手段の対応付けに基づ
き、前記重畳画像から所定の特徴位置を検出する特徴位
置検出手段で成るというものである。
【0012】請求項3に記載の発明は、前記所定の特徴
位置は、各足圧塊における歩行方向に対する最後部,最
先端部,中心,又は重心であるというものである。
【0013】請求項4に記載の発明は、前記パラメータ
検出手段は、前記ステップ対応手段の対応付けに基づ
き、各足圧塊領域について最初に圧力値を持つフレーム
を検出する初期フレーム検出手段と、前記ステップ対応
手段の対応付けに基づき、各足圧塊領域について最後に
圧力値を持つフレームを検出する最終フレーム検出手段
と、前記初期フレーム検出手段及び前記最終フレーム検
出手段で検出された各フレームに係る時間情報に基づい
て、時間パラメータを検出する時間間隔検出手段と、で
成るというものである。
【0014】請求項5に記載の発明は、前記時間パラメ
ータは、ストライド時間,ステップ時間,同時定着時
間,及び遊脚時間であるというものである。
【0015】請求項6に記載の発明は、前記パラメータ
検出手段は、前記ステップ対応手段の対応付けに基づ
き、各圧力分布画像についての圧力値の重心を求める重
心位置検出手段で成る。
【0016】請求項7に記載の発明は、前記重心位置検
出手段は、前記重心を両足全体について求めるというも
のである。
【0017】請求項8に記載の発明は、前記重心位置検
出手段は、前記重心を片足ごとに求めるというものであ
る。
【0018】請求項9に記載の発明は、前記パラメータ
検出手段は、前記重心位置検出手段により検出された各
圧力分布画像についての圧力値の重心の位置に基づき、
時間的に重心の移動する方向を検出する移動方向検出手
段で更に成るというものである。
【0019】請求項10に記載の発明は、足圧塊領域切
り出し手段は、各足圧塊の抽出に際し、画素値を有して
いる領域を一定画素分拡大し、拡大した際に重なる領域
を同一ステップの足跡領域とみなすというものである。
【0020】この態様によれば、複数歩の重畳画像から
正確に各ステップを抽出することができる。
【0021】請求項11に記載の発明は、歩行に基づく
2次元の圧力分布を一定時間間隔で時系列圧力分布画像
として取得し、前記時系列圧力分布画像を時間方向に重
畳して重畳画像を作成し、前記重畳画像から複数の足圧
塊領域を抽出し、前記足圧塊領域ごとに、前記時系列圧
力分布画像との対応付けを行い、前記対応付けに基づ
き、前記歩行の特徴を表すパラメータを検出し、前記パ
ラメータを表示又は印刷する、ことを特徴とする歩行パ
ターン処理方法である。
【0022】請求項12に記載の発明は、前記パラメー
タとして、各ステップの足圧塊領域の最後部,最先端
部,及び中心を検出し、前記重畳画像と並列に対応させ
てストライド長及びステップ長の情報を表示又は印刷
し、前記重畳画像に重ねて歩隔の情報を表示又は印刷す
るというものである。
【0023】この態様によれば、ストライド長,ステッ
プ長,及び歩隔の各パラメータの大きさを全体的に把握
することができる。
【0024】請求項13に記載の発明は、前記パラメー
タとして、各圧力分布画像についての圧力値の重心を検
出し、前記重畳画像と並列に、各圧力分布画像について
の圧力値の重心の位置を表示又は印刷するというもので
ある。
【0025】この態様によれば、重心位置の移動を表示
又は印刷することになるので、動的な速度変化を容易に
把握することができる。
【0026】請求項14に記載の発明は、前記圧力値の
重心を検出する際に、その位置の移動方向を検出し、歩
行方向と反対の方向に重心が移動した場合には、表示又
は印刷の方法を変更するというものである。
【0027】この態様によれば、重心移動の異常を容易
に発見することができる。
【0028】請求項15に記載の発明は、歩行方向と反
対の方向に重心が移動した場合には、表示又は印刷の色
を変更するというものである。
【0029】請求項16に記載の発明は、片足ごとに重
心を検出し、その位置を表示又は印刷するというもので
ある。
【0030】請求項17に記載の発明は、両足全体につ
いて重心を検出し、その位置を表示又は印刷するという
ものである。
【0031】請求項18に記載の発明は、前記パラメー
タとして、各ステップ内において最初に圧力値を持つ圧
力分布画像についての重心を検出し、前記重畳画像に重
ねてその重心の位置を表示又は印刷するというものであ
る。
【0032】この態様によれば、足のつき始めに、かか
とではなく爪先部から接地する異常歩行を容易に発見す
ることができる。
【0033】請求項19に記載の発明は、前記パラメー
タとして、ストライド時間,ステップ時間,同時定着時
間,及び遊脚時間を検出し、両足それぞれについて、そ
の接地時間を時間軸に沿って線分で表示又は印刷すると
いうものである。
【0034】この態様によれば、時間パラメータの把握
が容易となる。
【0035】請求項20に記載の発明は、前記線分に重
ねて、各時点における圧力値の合計又は平均値を色又は
濃度を変えて表示又は印刷するというものである。
【0036】この態様によれば、時間的な圧力の変化と
歩行動作の関連の理解が容易となる。
【0037】請求項21に記載の発明は、前記線分に圧
力レベルスケールを併記するというものである。
【0038】請求項22に記載の発明は、前記ストライ
ド時間,ステップ時間,同時定着時間,及び遊脚時間
は、各ステップ内で最初及び最後に圧力値を持つ圧力分
布画像の時刻に基づき検出されるというものである。
【0039】請求項23に記載の発明は、前記パラメー
タとして、ストライド長,ステップ長,歩隔,ストライ
ド時間,ステップ時間,遊脚時間,同時定着時間を検出
し、左右の足を対比させて、ストライド長,ステップ
長,歩隔,ストライド時間,ステップ時間,遊脚時間,
同時定着時間をスケールに表示又は印刷するというもの
である。
【0040】この態様によれば、異常歩行において重要
な左右差の度合いの把握が容易になり、同時に、左右差
の大きさの比較により、左右差が有為なものか否かを容
易に判定できる。
【0041】請求項24に記載の発明は、ストライド
長,ステップ長,歩隔,ストライド時間,ステップ時
間,遊脚時間,同時定着時間のデータをそれぞれ複数印
刷又は表示すると共に、それら複数のデータの平均値,
平均±標準偏差の値,最大値,及び最小値を異なる色で
重ねて表示又は印刷するというものである。
【0042】この態様によれば、異常歩行において重要
な複数回のばらつきの度合いの把握が容易になり、同時
に、ばらつきの大きさの比較により、左右差が有為なも
のか否かを容易に判定できる。
【0043】請求項25に記載の発明は、前記パラメー
タとして、ストライド長,ステップ長,及び歩隔を検出
し、そのストライド長,ステップ長,及び歩隔をレーダ
ーチャートとして表示又は印刷するというものである。
【0044】請求項26に記載の発明は、レーダーチャ
ートの縦方向のパラメータとして歩行方向の長さである
ステップ長及びストライド長を選択し、レーダーチャー
トの横方向のパラメータとして歩行方向に直交する長さ
である歩隔を選択し、左右の足に関するそれぞれのパラ
メータをレーダーチャートの左右の位置に対応させて配
置するというものである。
【0045】この態様によれば、各空間パラメータのバ
ランス及びそれらの左右のバランスを直観的に把握でき
る。
【0046】請求項27に記載の発明は、前記パラメー
タとして、ストライド時間,ステップ時間,同時定着時
間,及び遊脚時間を検出し、そのストライド時間,ステ
ップ時間,同時定着時間,及び遊脚時間をレーダーチャ
ートとして表示又は印刷するというものである。
【0047】請求項28に記載の発明は、レーダーチャ
ートの縦方向のパラメータとして歩行方向のステップ及
びストライドに要する時間を選択し、レーダーチャート
の横方向のパラメータとして左右両脚の同時定着時間及
び遊脚時間を選択し、左右の足に関するそれぞれのパラ
メータをレーダーチャートの左右の位置に対応させて配
置するというものである。
【0048】この態様にあっては、各空間パラメータの
バランス及びそれらの左右のバランスを直観的に把握で
きる。
【0049】
【発明の実施の形態】以下、図面に基づいて本発明の実
施形態を詳細に説明する。
【0050】図1は、本発明の歩行パターン処理装置に
おける一実施形態の構成ブロック図である。同図におい
て、1は歩行者の足、2は2次元の圧力分布を取得する
圧力センサ部、3は圧力センサ部2の出力を一定時間間
隔で時系列データとして取得する時系列圧力分布画像検
出部、4はこの時系列圧力分布画像を時間方向に重畳す
る重畳画像作成部、5は重畳画像から足圧塊領域を抽出
する足圧塊領域切り出し部、6は該足圧塊画像を時間方
向に探索し、もとの時系列画像列とのステップごとの対
応を検出するステップ対応検出部、7は該画像列の重心
の位置を検出する重心位置検出部、8は重心位置列の移
動方向を検出する移動方向検出部、9はステップ対応検
出部6において対応させた後の各画像の特徴位置を検出
する特徴位置検出部、10はステップ対応検出部6にお
いて対応させた後の各画像のステップのうちの初期フレ
ームを検出する初期フレーム検出部、11はステップ対
応検出部6において対応させた後の各画像のステップの
うちの最終フレームを検出する最終フレーム検出部、1
2は初期フレームと最終フレームの時間間隔を検出する
時間間隔検出部、13は上記各歩行パラメータを表示す
る歩行パラメータ表示部である。
【0051】また、図2は、図1に示す歩行パターン処
理装置による圧力分布画像の処理の流れの例を示す図で
ある。同図において、21は取得された時系列圧力分布
画像、22は重畳画像であって、この重畳画像における
四角の枠は1ステップの足圧画像塊領域、23は特徴点
を重畳画像上に重ねて表示した画像である。25は画像
23上において計測されたステップ長、25は画像23
上において計測されたストライド長を表す。26,27
はそれぞれ1つの足圧画像塊領域の最初のフレームと最
後のフレームを表す。
【0052】図3,4,及び5は、圧力分布画像の処理
の詳細を示すフローチャートである。以下、図3,4,
及び5に基づいて説明する。
【0053】先ず、足1が圧力センサ部2の上を歩行す
る。この際に、圧力センサ部2は、足1の歩行パターン
による固有の2次元圧力分布を取得する(ステップS5
01)。すなわち、圧力センサ部2は、その各圧力セン
サについての座標値に対応した圧力値出力を得る。
【0054】時系列圧力分布画像検出部3は、圧力セン
サ部2で継続的に得られている2次元圧力分布パターン
を一定時間間隔ごとに一定時間検出し、T枚の時系列圧
力分布画像Ψ(t=1,2,・・・,T)を取得する
(ステップS502)。この一定時間間隔は1/10秒
〜1/100秒であることが望ましい。例えば、1/1
0秒の時間間隔で5秒間計測した場合には、t=1〜5
0と番号付けされる50枚の時系列圧力分布画像が得ら
れる。
【0055】重畳画像作成部4は、時系列圧力分布画像
検出部3により取得された時系列圧力分布画像を時間方
法に重畳する(ステップS503)。この重畳処理にお
いては、次の2つの処理方法が有効である。1つは、各
センサの圧力値出力の最大値をそのセンサに対応する位
置の重畳画像としての値とする方法であり、他の1つ
は、各センサの圧力値出力の合計値をそのセンサに対応
する位置の重畳画像としての値とする方法である。
【0056】足圧塊領域切り出し部5は、重畳画像上で
の同一ステップの足跡とみなされる領域を足圧塊領域と
して切り出す処理を行う(ステップS504)。このと
き、重畳画像上でそれぞれが値を有している隣接画素は
同一ステップの領域であるとみなすことに問題はない
が、各指の部分のように、同一ステップであっても圧力
分布画像上で離隔している部分もあり得るので、以下の
処理が有効である。
【0057】すなわち、重畳画像において、画素が値を
有している領域を1画素〜10画素分拡大し、拡大した
際に重なる領域を同一ステップの足跡領域とみなす処理
である。領域を拡大する処理は、図6(a)及び図6
(b)に示すように、領域の近傍の画素を同じ領域とし
て含めることにより実現できる。ここで、図6(a)は
原画像を示す図であり、図6(b)は例えば1画素分の
拡大処理を行うことにより得られた画像を示す図であ
る。更に、具体的には、例えば図6(c)に示す原画像
が得られたとする。この原画像に拡大処理を施すと図6
(d)に示す画像が得られる。図6(d)における値を
有する連続した画素の領域を同一ステップの足跡領域と
みなし、それに対応する領域を図6(c)から切り出す
ことで、図6(e)に示すように、重畳画像におけるス
テップごとの足跡領域が得られる。
【0058】また、足領域の形状が進行方向に長い長方
形に近いことから、図6(b)に示した拡大処理におい
て、方向に応じて拡大率を変えることも有効である。例
えば、進行方向には10画素分拡大し、それに直交する
方向には5画素分拡大するというような処理である。こ
のような処理によれば、重畳画像において左右の足跡が
近い場合にも足跡領域を安定して切り出すことができ
る。
【0059】更に、重畳画像を人間が目視し、同一ステ
ップの足跡領域を対話的に人間が指定することができる
インタフェースを持つことも有効である。
【0060】足圧塊領域切り出し部5は、また、足圧塊
の数Nを計数する(ステップS505)。
【0061】次に、ステップ対応検出部6は、足圧塊領
域切り出し部5で切り出されたステップごとに、時系列
圧力分布画像をt=1からサーチして、ステップ領域内
部において、少なくとも1画素に圧力値を有している時
系列圧力分布画像を検出する(ステップS506〜ステ
ップS510)。すなわち、例えば配列M(Ψ(t)、
n)を用意する。ここで、nは何番目のステップである
かを特定するためのパラメータである。少なくとも1画
素に圧力値を有している時系列圧力分布画像に対しては
M=1とし(ステップS507)、そうでなければM=
0とする(ステップS508)。実際には、例えば、M
(Ψ(5),1)〜M(Ψ(25),1)=1、M(Ψ
(20),2)〜M(Ψ(40),2)=1、M(Ψ
(35),3)〜M(Ψ(55),3)=1、・・・・
・というようになる。
【0062】重心位置検出部7は、各圧力分布画像{Ψ
(t),t=1〜T}について圧力値の重心を求める
(ステップS511)。このとき、重心を求める対象範
囲としては、次の2種類がある。1つは、圧力画像全
体、すなわち両足全体について求めるものであり、他の
1つは、ステップごと、すなわち片足ごとに求めるもの
である。
【0063】移動方向検出部8は、重心位置検出部7に
おいて求められた各圧力分布画像列における圧力値の重
心に基づいて、時間的に重心が移動する方向を検出する
(ステップS512〜ステップS515)。すなわち、
1つ前の圧力分布画像に対して重心が歩行方向と同一方
向に移動したか反対方法に移動したかを判断する。例え
ば、配列G(Ψ(t))を用意し、圧力分布画像Ψ(t
−1)から圧力分布画像Ψ(t)においての重心の移動
方法が歩行方法と一致する場合には、G(Ψ(t))=
1とし、反対方向の場合には、G(Ψ(t))=0とす
る。この重心の移動方向の検出も両足全体又は片足ごと
に行える。
【0064】初期フレーム検出部10は、ステップ対応
検出部6にて検出したステップごとの画像の中から、1
ステップ内で最初に圧力値を持つフレーム、すなわち圧
力分布画像Ψn,s を検出する(ステップS516)。具
体的には、M(Ψ(t),n)において、t=1から始
めて最初にM(Ψ(t),n)≠0となるフレームを検
出する。
【0065】また、最終フレーム検出部11は、ステッ
プ対応検出部6にて検出したステップごとの画像の中か
ら、1ステップ内で最後に圧力値を持つフレーム、すな
わち圧力分布画像Ψn,e を検出する(ステップS51
7)。具体的には、最初に圧力値を持つフレームから始
めて最初にM(Ψ(t),n)=0となるフレームを検
出する。
【0066】時間間隔検出部12は、初期フレーム検出
部10及び最終フレーム検出部11で検出された情報に
基づいて、あるステップの始まりから次のステップの始
まりまでの時間(ステップ時間)、右足又は左足のステ
ップの始まりから次の左足又は右足のステップの始まり
までの時間(ストライド時間)、左右両足が接地してい
る時間(同時定着時間)、及び片側の足が浮いている時
間(遊脚時間)を検出する(ステップS519)。具体
的には、(Ψn+1,sの番号(tn+1,s)−Ψn,sの番号
(tn,s ))にフレーム時間間隔を乗じてステップ時間
として検出する。(Ψn+2,sの番号(tn+2,s)−Ψn,s
の番号(tn,s))にフレーム時間間隔を乗じてストラ
イド時間として検出する。(Ψn+1,sの番号(tn+1,s
−Ψn,e の番号(tn,e ))にフレーム時間間隔を乗じ
て同時定着時間として検出する。(Ψn+2,sの番号(t
n+2,s)−Ψn,eの番号(tn,e))にフレーム時間間隔
を乗じて遊脚時間として検出する。
【0067】特徴位置検出部9は、各ステップの足跡領
域を表した重畳画像から所定の特徴位置を検出する(ス
テップS520〜ステップS526)。この特徴位置と
しては、各ステップの足跡領域を表した重畳画像におけ
る、歩行方向に対する最後部,最先端部,中心,又は重
心が有効である。
【0068】通常歩行の歩行者においては、最後部の位
置検出が最も安定して行える。しかし、1ステップ内の
最初の画像において、かかとから接地が行われないよう
な異常歩行においては、最後部の位置検出が安定しない
ことがある。そこで、ステップ内の最初の画像の圧力分
布の重心が重畳画像の後ろ側1/3の領域に含まれない
場合には、最後部ではなく中心又は重心を用いる、など
の切り替え処理が有効である。
【0069】具体的には、先ず、n番目の足圧塊の最後
部の位置hn を算出する(ステップS520)。n番目
の足圧塊の最先端部の位置sn を算出する(ステップS
521)。ステップS516で検出された、1ステップ
内で最初に圧力値を持つ圧力分布画像Ψn,sにおける圧
力値を持つ領域の重心gnを算出する(ステップS52
2)。
【0070】次に、式(1)が成立するか否かを判断す
る(ステップS523)。
【0071】 hn −(sn −hn )/3>gn ……(1) すなわち、足圧塊の最後部の位置hn から歩行方向に
(足圧塊の全長)/3の距離の位置は、重心gn の位置
より前方にあるか否かを判断する。これをすべての足圧
塊について判断する(ステップS524)。その結果、
すべての足圧塊についてステップS523における判断
が肯定判定の場合には、最後部の位置hnをすべての足
圧塊についての特徴点とする(ステップS525)。一
方、いずれかの足圧塊についてでもステップS523に
おける判断が否定判定であった場合には、重心をすべて
の足圧塊についての特徴点とする(ステップS52
6)。
【0072】歩行パラメータ表示部13は、重心位置検
出部7,移動方向検出部8,特徴位置検出部9,初期フ
レーム検出部10,及び時間間隔検出部12において検
出された情報を、人間が直観的に認識し易いように表示
装置に表示する(ステップS527)。
【0073】図7は、重畳画像とそれと並列させて重心
移動等を表示させた画面を示す図であり、いわゆる空間
チャートである。歩行パラメータ表示部13は、横軸と
して歩行方向の距離を設定し、ステップS503で作成
された重畳画像を垂直方向についての中央に表示する。
重心位置検出部7が検出した時系列圧力分布画像のそれ
ぞれの重心の位置を重畳画像の下部にプロットする。こ
の実施形態においては、重心位置移動(方足ごと)35
と重心位置移動(両足全体)36の双方を表示するよう
にしている。この重心位置移動の表示においては、ステ
ップS512〜ステップS515において求められた移
動方向の変化に応じて、移動方向の違いで表示の方法も
変える。例えば、色を変えたり、実線と破線で区別した
りする。この実施形態においては、表示37に示すよう
に、反対方向へ移動した場合には破線で示している。
尚、実際の画面では、歩行方向への重心の位置移動を青
色表示とし、反対方向への重心の位置移動を赤色表示と
するというように、色を変えて表示したほうが見やす
い。
【0074】また、歩行パラメータ表示部13は、特徴
位置検出部9により検出された各ステップの最後部及び
最先端部の情報に基づいて、重畳画像の上部にステップ
長24及びストライド長25を水平方向の線分で表示す
る。また、重畳画像に重ねて、歩隔34を水平方向の線
分で表示する。ここで、ステップ長とは、歩行方向の右
足から左足、もしくは左足から右足までの間隔をいう。
ストライド長とは、右足から左足を経て再度の右足、も
しくは左足から右足を経て再度の左足までの間隔をい
う。歩隔とは、歩行方向に直交する方向の特徴位置間隔
をいう。
【0075】歩行パラメータ表示部13は、初期フレー
ム表示部10で得られた初期フレームについてその重心
位置を重心位置検出部7から参照し、初期接地重心位置
38として重畳画像に重ねて表示する。
【0076】尚、これら一体の表示は表示装置に表示す
るだけでなく、そのまま印刷することも可能である。
【0077】図8は、時間チャートの表示を示す図であ
る。歩行パラメータ表示部13は、横軸として歩行の時
間を設定し、時間間隔検出部12から各時間パラメータ
を参照して、左足を始点としたときと右足を始点とした
ときのそれぞれの時間パラメータを別々に、時間軸を合
わせて水平方向の線分として表示する。この表示の際、
各時点における圧力値の合計又は平均値を表示の色又は
濃度を変化させることにより表現する。このとき圧力レ
ベルスケール41を併記することが有効である。また、
圧力レベルは個人差が大きいため、計測対象歩行者の最
大圧力値をフルスケールとして、圧力レベルのカラー又
は濃度スケールを個人ごとに変更することが有効であ
る。この圧力レベルスケールにおいては、好ましくは、
圧力レベルの大きいほうが赤系の色、圧力レベルの小さ
いほうが青系の色で表示される。
【0078】図9は、空間パラメータ及び時間パラメー
タを左右の足について対照させた表示を示す図である。
歩行パラメータ表示部13は、特徴位置検出部9及び時
間間隔検出部12から得られる空間パラメータ、すなわ
ちストライド長,ステップ長,及び歩隔、と時間パラメ
ータ、すなわちストライド時間,ステップ時間,遊脚時
間,及び同時定着時間を、それぞれ左右の足に分けて縦
線で表示する。複数回の歩行であっても1回の歩行であ
っても、複数歩の歩行からは複数組のパラメータが得ら
れるので、これら複数組のパラメータの平均値54,平
均±標準偏差の値55,56,最大値58,及び最小値
57を色を変えて重ねて表示する。
【0079】図9に示す例は、左片マヒ患者のデータで
あるが、時間パラメータで特に平均値の左右のバランス
に影響が出ていることや、空間パラメータでは特にマヒ
側(左側)の足のパラメータにバラつきが大きいことな
どが示されている。
【0080】図10は、空間パラメータに係るレーダー
チャートの表示の例を示す図である。歩行パラメータ表
示部13は、特徴位置検出部9から得られる空間パラメ
ータ、すなわちストライド長,ステップ長,及び歩隔
を、それぞれ左右の足に分けてレーダーチャートとして
表示する。この際に、レーダーチャートの縦方向のパラ
メータとして歩行方向の長さであるステップ長及びスト
ライド長を選択し、レーダーチャートの横方向のパラメ
ータとして歩行方向に直交する長さである歩隔を選択す
る。また、左右の足に関するそれぞれのパラメータをレ
ーダーチャートの左右の位置に対応させて配置する。こ
れにより、レーダーチャート全体の縦横比及び左右バラ
ンスが歩行パターンを示すことになる。
【0081】図10に示す例は、左片マヒ患者のデータ
であるが、左足のステップ及びストライドが右に比べて
小さいことが示されている。
【0082】図11は、時間パラメータに係るレーダー
チャートの表示の例を示す図である。歩行パラメータ表
示部13は、時間間隔検出部12から得られる時間パラ
メータ、すなわちストライド時間,ステップ時間,遊脚
時間,及び同時定着時間を、それぞれ左右の足に分けて
レーダーチャートとして表示する。この際に、レーダー
チャートの縦方向のパラメータとして歩行方向のステッ
プ及びストライドに要する時間を選択し、レーダーチャ
ートの横方向のパラメータとして左右両脚の同時定着時
間及び遊脚時間を選択する。また、左右の足に関するそ
れぞれのパラメータをレーダーチャートの左右の位置に
対応させて配置する。これにより、レーダーチャート全
体の縦横比及び左右バランスが歩行パターンを示すこと
になる。
【0083】図11に示す例は、左片マヒ患者のデータ
であるが、左→右の同時定着時間が極端に長く、左から
右への体重移動が困難であること、すなわち左足の蹴る
力が不十分であることが示されている。
【0084】
【発明の効果】上述した本発明によれば、歩行動作の空
間的及び時間的パラメータを自動的に安定に、かつ簡便
に被験者に大きな負担をかけることなく取得することが
可能となる。また、歩行動作の空間的及び時間的要因の
直観的把握及び定量的比較を容易にする。このことか
ら、本発明によれば、例えば以下のような効果的な利用
が可能となる。
【0085】(a) 医療分野で歩行動作に障害の現れる疾
患の重傷度の測定に用いることができる。
【0086】(b) 医療分野で歩行動作のリハビリテーシ
ョンを実施する際に、その進行度の測定に用いることが
できる。
【0087】(c) 医療分野で歩行動作の改善に効果のあ
る薬品の投与の前後を比較し、薬効を測定することがで
きる。
【0088】(d) 医療分野でめまい,腰痛など他覚症状
のない症状の患者の歩行動作を測定し、重傷度を測定す
ることができる。
【0089】(e) 本発明により得られる、安定して検出
できる足跡位置及びその時刻の情報を利用し、これと同
時に歩行動作の画像を取得し、これらの情報を併用する
ことで、足関節,膝関節及び股関節の角度などの歩行動
作パラメータを安定に検出することができる。
【図面の簡単な説明】
【図1】本発明の歩行パターン処理装置における一実施
形態の構成ブロック図である。
【図2】図1に示す歩行パターン処理装置による圧力分
布画像の処理の流れの例を示す図である。
【図3】圧力分布画像の処理の詳細を示すフローチャー
トである。
【図4】圧力分布画像の処理の詳細を示すフローチャー
トである。
【図5】圧力分布画像の処理の詳細を示すフローチャー
トである。
【図6】重畳画像上での同一ステップの足跡とみなされ
る領域を足圧塊領域として切り出す処理を説明するため
の図である。
【図7】重畳画像とそれと並列させて重心移動等を表示
させた画面を示す図であり、いわゆる空間チャートであ
る。
【図8】時間チャートの表示を示す図である。
【図9】空間パラメータ及び時間パラメータを左右の足
について対照させた表示を示す図である。
【図10】空間パラメータに係るレーダーチャートの表
示の例を示す図である。
【図11】時間パラメータに係るレーダーチャートの表
示の例を示す図である。
【図12】従来における歩行パラメータの表示方法を示
す図である。
【図13】従来における歩行パラメータの表示方法を示
す図である。
【符号の説明】
1 歩行者の足 2 圧力センサ部 3 時系列圧力分布画像検出部 4 重畳画像作成部 5 足圧塊領域切り出し部 6 ステップ対応検出部 7 重心位置検出部 8 移動方向検出部 9 特徴位置検出部 10 初期フレーム検出部 11 最終フレーム検出部 12 時間間隔検出部 13 歩行パラメータ表示部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 新井 雅信 東京都新宿区西新宿三丁目19番2号 日 本電信電話株式会社内 (56)参考文献 特開 平7−160883(JP,A) 特開 昭60−108033(JP,A) 特開 平8−145826(JP,A) 特開 平8−145825(JP,A) 大和淳司外3名,圧力センサマットを 用いた足圧画像からの個人識別の検討, 電子情報通信学会技術研究報告PRU94 −59〜63,1994年11月17日,Vol. 94,No.339,pp.15−22 (58)調査した分野(Int.Cl.7,DB名) G06T 7/00 - 7/60 G06T 1/00 A61B 5/11 G01L 5/00

Claims (28)

    (57)【特許請求の範囲】
  1. 【請求項1】 歩行に基づく2次元の圧力分布を取得す
    る圧力センサと、 前記圧力センサの出力を一定時間間隔で時系列データと
    して取得する時系列圧力分布画像検出手段と、 前記時系列圧力分布画像を時間方向に重畳して重畳画像
    を作成する重畳画像作成手段と、 前記重畳画像から複数の足圧塊領域を抽出する足圧塊領
    域切り出し手段と、 前記足圧塊領域ごとに、前記時系列圧力分布画像との対
    応付けを行うステップ対応検出手段と、 前記ステップ対応手段の対応付けに基づき、前記歩行の
    特徴を表すパラメータを検出するパラメータ検出手段
    と、 前記パラメータを出力する出力手段と、 を備えたことを特徴とする歩行パターン処理装置。
  2. 【請求項2】 前記パラメータ検出手段は、 前記ステップ対応手段の対応付けに基づき、前記重畳画
    像から所定の特徴位置を検出する特徴位置検出手段で成
    ることを特徴とする請求項1に記載の歩行パターン処理
    装置。
  3. 【請求項3】 前記所定の特徴位置は、各足圧塊におけ
    る歩行方向に対する最後部,最先端部,中心,又は重心
    であることを特徴とする請求項2に記載の歩行パターン
    処理装置。
  4. 【請求項4】 前記パラメータ検出手段は、 前記ステップ対応手段の対応付けに基づき、各足圧塊領
    域について最初に圧力値を持つフレームを検出する初期
    フレーム検出手段と、 前記ステップ対応手段の対応付けに基づき、各足圧塊領
    域について最後に圧力値を持つフレームを検出する最終
    フレーム検出手段と、 前記初期フレーム検出手段及び前記最終フレーム検出手
    段で検出された各フレームに係る時間情報に基づいて、
    時間パラメータを検出する時間間隔検出手段と、 で成ることを特徴とする請求項1に記載の歩行パターン
    処理装置。
  5. 【請求項5】 前記時間パラメータは、ストライド時
    間,ステップ時間,同時定着時間,及び遊脚時間である
    ことを特徴とする請求項4に記載の歩行パターン処理装
    置。
  6. 【請求項6】 前記パラメータ検出手段は、 前記ステップ対応手段の対応付けに基づき、各圧力分布
    画像についての圧力値の重心を求める重心位置検出手段
    で成ることを特徴とする請求項1に記載の歩行パターン
    処理装置。
  7. 【請求項7】 前記重心位置検出手段は、前記重心を両
    足全体について求めることを特徴とする請求項6に記載
    の歩行パターン処理装置。
  8. 【請求項8】 前記重心位置検出手段は、前記重心を片
    足ごとに求めることを特徴とする請求項6に記載の歩行
    パターン処理装置。
  9. 【請求項9】 前記パラメータ検出手段は、 前記重心位置検出手段により検出された各圧力分布画像
    についての圧力値の重心の位置に基づき、時間的に重心
    の移動する方向を検出する移動方向検出手段で更に成る
    ことを特徴とする請求項6に記載の歩行パターン処理装
    置。
  10. 【請求項10】 足圧塊領域切り出し手段は、各足圧塊
    の抽出に際し、画素値を有している領域を一定画素分拡
    大し、拡大した際に重なる領域を同一ステップの足跡領
    域とみなすことを特徴とする請求項1に記載の歩行パタ
    ーン処理装置。
  11. 【請求項11】 歩行に基づく2次元の圧力分布を一定
    時間間隔で時系列圧力分布画像として取得し、 前記時系列圧力分布画像を時間方向に重畳して重畳画像
    を作成し、 前記重畳画像から複数の足圧塊領域を抽出し、 前記足圧塊領域ごとに、前記時系列圧力分布画像との対
    応付けを行い、 前記対応付けに基づき、前記歩行の特徴を表すパラメー
    タを検出し、 前記パラメータを表示又は印刷する、 ことを特徴とする歩行パターン処理方法。
  12. 【請求項12】 前記パラメータとして、各ステップの
    足圧塊領域の最後部,最先端部,及び中心を検出し、 前記重畳画像と並列に対応させてストライド長及びステ
    ップ長の情報を表示又は印刷し、前記重畳画像に重ねて
    歩隔の情報を表示又は印刷する、 ことを特徴とする請求項11に記載の歩行パターン処理
    方法。
  13. 【請求項13】 前記パラメータとして、各圧力分布画
    像についての圧力値の重心を検出し、 前記重畳画像と並列に、各圧力分布画像についての圧力
    値の重心の位置を表示又は印刷する、 ことを特徴とする請求項11に記載の歩行パターン処理
    方法。
  14. 【請求項14】 前記圧力値の重心を検出する際に、そ
    の位置の移動方向を検出し、歩行方向と反対の方向に重
    心が移動した場合には、表示又は印刷の方法を変更する
    ことを特徴とする請求項13に記載の歩行パターン処理
    方法。
  15. 【請求項15】 歩行方向と反対の方向に重心が移動し
    た場合には、表示又は印刷の色を変更することを特徴と
    する請求項14に記載の歩行パターン処理方法。
  16. 【請求項16】 片足ごとに重心を検出し、その位置を
    表示又は印刷したことを特徴とする請求項13に記載の
    歩行パターン処理方法。
  17. 【請求項17】 両足全体について重心を検出し、その
    位置を表示又は印刷したことを特徴とする請求項13に
    記載の歩行パターン処理方法。
  18. 【請求項18】 前記パラメータとして、各ステップ内
    において最初に圧力値を持つ圧力分布画像についての重
    心を検出し、 前記重畳画像に重ねてその重心の位置を表示又は印刷す
    る、 ことを特徴とする請求項11に記載の歩行パターン処理
    方法。
  19. 【請求項19】 前記パラメータとして、ストライド時
    間,ステップ時間,同時定着時間,及び遊脚時間を検出
    し、 両足それぞれについて、その接地時間を時間軸に沿って
    線分で表示又は印刷する、 ことを特徴とする請求項11に記載の歩行パターン処理
    方法。
  20. 【請求項20】 前記線分に重ねて、各時点における圧
    力値の合計又は平均値を色又は濃度を変えて表示又は印
    刷することを特徴とする請求項19に記載の歩行パター
    ン処理方法。
  21. 【請求項21】 前記線分に圧力レベルスケールを併記
    することを特徴とする請求項20に記載の歩行パターン
    処理方法。
  22. 【請求項22】 前記ストライド時間,ステップ時間,
    同時定着時間,及び遊脚時間は、各ステップ内で最初及
    び最後に圧力値を持つ圧力分布画像の時刻に基づき検出
    されることを特徴とする請求項19に記載の歩行パター
    ン処理方法。
  23. 【請求項23】 前記パラメータとして、ストライド
    長,ステップ長,歩隔,ストライド時間,ステップ時
    間,遊脚時間,同時定着時間を検出し、 左右の足を対比させて、ストライド長,ステップ長,歩
    隔,ストライド時間,ステップ時間,遊脚時間,同時定
    着時間をスケールに表示又は印刷する、 ことを特徴とする請求項11に記載の歩行パターン処理
    方法。
  24. 【請求項24】 ストライド長,ステップ長,歩隔,ス
    トライド時間,ステップ時間,遊脚時間,同時定着時間
    のデータをそれぞれ複数印刷又は表示すると共に、それ
    ら複数のデータの平均値,平均±標準偏差の値,最大
    値,及び最小値を異なる色で重ねて表示又は印刷するこ
    とを特徴とする請求項23に記載の歩行パターン処理方
    法。
  25. 【請求項25】 前記パラメータとして、ストライド
    長,ステップ長,及び歩隔を検出し、そのストライド
    長,ステップ長,及び歩隔をレーダーチャートとして表
    示又は印刷することを特徴とする請求項11に記載の歩
    行パターン処理方法。
  26. 【請求項26】 レーダーチャートの縦方向のパラメー
    タとして歩行方向の長さであるステップ長及びストライ
    ド長を選択し、レーダーチャートの横方向のパラメータ
    として歩行方向に直交する長さである歩隔を選択し、左
    右の足に関するそれぞれのパラメータをレーダーチャー
    トの左右の位置に対応させて配置することを特徴とする
    請求項25に記載の歩行パターン処理方法。
  27. 【請求項27】 前記パラメータとして、ストライド時
    間,ステップ時間,同時定着時間,及び遊脚時間を検出
    し、そのストライド時間,ステップ時間,同時定着時
    間,及び遊脚時間をレーダーチャートとして表示又は印
    刷することを特徴とする請求項11に記載の歩行パター
    ン処理方法。
  28. 【請求項28】 レーダーチャートの縦方向のパラメー
    タとして歩行方向のステップ及びストライドに要する時
    間を選択し、レーダーチャートの横方向のパラメータと
    して左右両脚の同時定着時間及び遊脚時間を選択し、左
    右の足に関するそれぞれのパラメータをレーダーチャー
    トの左右の位置に対応させて配置することを特徴とする
    請求項27に記載の歩行パターン処理方法。
JP18249296A 1995-07-19 1996-07-11 歩行パターン処理方法及びその装置 Expired - Lifetime JP3298793B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP18249296A JP3298793B2 (ja) 1995-07-19 1996-07-11 歩行パターン処理方法及びその装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP18298495 1995-07-19
JP7-182984 1995-07-19
JP18249296A JP3298793B2 (ja) 1995-07-19 1996-07-11 歩行パターン処理方法及びその装置

Publications (2)

Publication Number Publication Date
JPH0991437A JPH0991437A (ja) 1997-04-04
JP3298793B2 true JP3298793B2 (ja) 2002-07-08

Family

ID=26501278

Family Applications (1)

Application Number Title Priority Date Filing Date
JP18249296A Expired - Lifetime JP3298793B2 (ja) 1995-07-19 1996-07-11 歩行パターン処理方法及びその装置

Country Status (1)

Country Link
JP (1) JP3298793B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109998551A (zh) * 2019-04-11 2019-07-12 北京航空航天大学 一种分段式局部峰值检测的步态相位分析方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4146222B2 (ja) * 2001-12-25 2008-09-10 農工大ティー・エル・オー株式会社 足動解析システム
JP4609640B2 (ja) * 2004-12-13 2011-01-12 日本ソアー株式会社 歩行跡分析装置
JP4805070B2 (ja) * 2006-09-07 2011-11-02 ニッタ株式会社 転倒危険度判定装置
JP6127454B2 (ja) * 2012-11-08 2017-05-17 花王株式会社 歩行年齢表示システム
JPWO2014108948A1 (ja) * 2013-01-11 2017-01-19 テルモ株式会社 計測装置、履物及び情報処理装置
JP6367004B2 (ja) * 2014-05-29 2018-08-01 三菱電機ビルテクノサービス株式会社 混雑判定システム及び踏圧検知ユニット
KR101659154B1 (ko) * 2014-07-10 2016-09-22 주식회사 티엘아이 보행 알림 장치 및 보행 알림 장치의 동작 방법
WO2018159731A1 (ja) * 2017-03-03 2018-09-07 株式会社ジャパンヘルスケア 歩行分析システム
JP6930331B2 (ja) * 2017-09-25 2021-09-01 東洋インキScホールディングス株式会社 移動方向特定方法、及び感圧センサ装置
KR102175191B1 (ko) * 2018-05-30 2020-11-05 단국대학교 산학협력단 스마트 인솔의 압력 센서를 이용한 보행 패턴 분류를 위한 장치 및 방법
JP7096096B2 (ja) * 2018-07-30 2022-07-05 花王株式会社 歩行分析方法及び歩行分析装置
KR102284021B1 (ko) * 2018-11-28 2021-07-30 단국대학교 산학협력단 보행 압력 데이터 및 머신러닝을 이용하는 보행 패턴 분류 시스템 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
大和淳司外3名,圧力センサマットを用いた足圧画像からの個人識別の検討,電子情報通信学会技術研究報告PRU94−59〜63,1994年11月17日,Vol.94,No.339,pp.15−22

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109998551A (zh) * 2019-04-11 2019-07-12 北京航空航天大学 一种分段式局部峰值检测的步态相位分析方法

Also Published As

Publication number Publication date
JPH0991437A (ja) 1997-04-04

Similar Documents

Publication Publication Date Title
US5957870A (en) Walking pattern processing method and system for embodying the same
JP3298793B2 (ja) 歩行パターン処理方法及びその装置
CN111263953B (zh) 动作状态评估***及其装置、服务器、方法以及存储介质
Sangeux et al. Which method of hip joint centre localisation should be used in gait analysis?
Chiu et al. Gait speed and gender effects on center of pressure progression during normal walking
JP5421437B2 (ja) 足の診断装置およびそれを用いた靴またはインソールのフィッティング・ナビゲーション・システム
JP5303712B2 (ja) 下肢協調性評価システム
Grunt et al. Reproducibility and validity of video screen measurements of gait in children with spastic cerebral palsy
CN100515323C (zh) 用以检测足部的扫描***及其使用的方法
US20180020954A1 (en) Method and system for automated biomechanical analysis of bodily strength and flexibility
JP2001000420A (ja) 目標達成度評価装置及び目標達成度評価方法
WO1994020020A1 (en) Improvements relating to foot orthoses
JP6127455B2 (ja) 歩行年齢評価方法
Churchill et al. RIVCAM: a simple video-based kinematic analysis for clinical disorders of gait
Moore et al. Changes in sagittal plane kinematics with treadmill familiarization to barefoot running
JP2002345785A (ja) 足跡分析装置
JPH08215176A (ja) 重心動揺計
JP2021065393A (ja) 生体計測システム及び方法
Sinclair et al. Sex differences in tibiocalcaneal kinematics
JP5918381B2 (ja) 足圧分布計測システムおよび情報処理装置
JP3403308B2 (ja) 歩行パターン処理装置
JP6582136B2 (ja) 脚下部の挙動の分析システム及び分析方法、脚下部の挙動の評価システム並びに評価方法
KR102431412B1 (ko) 바디라인 분석 장치 및 방법
US20170360333A1 (en) Real-time biofeedback rehabilitation tool guiding and illustrating foot placement for gait training
JP2004167002A (ja) 歩幅測定装置及び歩幅測定方法

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090419

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090419

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100419

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100419

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110419

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120419

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130419

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140419

Year of fee payment: 12

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term