JPWO2016031697A1 - 軟骨診断装置および診断用プローブ - Google Patents

軟骨診断装置および診断用プローブ Download PDF

Info

Publication number
JPWO2016031697A1
JPWO2016031697A1 JP2016545485A JP2016545485A JPWO2016031697A1 JP WO2016031697 A1 JPWO2016031697 A1 JP WO2016031697A1 JP 2016545485 A JP2016545485 A JP 2016545485A JP 2016545485 A JP2016545485 A JP 2016545485A JP WO2016031697 A1 JPWO2016031697 A1 JP WO2016031697A1
Authority
JP
Japan
Prior art keywords
cartilage
deformation
distribution
tomographic
optical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016545485A
Other languages
English (en)
Other versions
JP6623163B2 (ja
Inventor
壮一 佐伯
壮一 佐伯
充彦 池渕
充彦 池渕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Sigmax Co Ltd
Osaka City University
Original Assignee
Nippon Sigmax Co Ltd
Osaka City University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Sigmax Co Ltd, Osaka City University filed Critical Nippon Sigmax Co Ltd
Publication of JPWO2016031697A1 publication Critical patent/JPWO2016031697A1/ja
Application granted granted Critical
Publication of JP6623163B2 publication Critical patent/JP6623163B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Endoscopes (AREA)

Abstract

軟骨診断装置1は、OCTの光学系を含む光学ユニット2と、光学ユニット2に接続される一方、先端部が関節腔に挿入可能に構成され、光学ユニット2からの光を軟骨に導いて走査させるための光学機構と、軟骨に対して所定の荷重を負荷可能な荷重機構とを含むプローブ4と、荷重機構および光学機構の駆動を制御し、それらの駆動に基づいて光学ユニット2から出力された光干渉信号を処理し、荷重負荷による軟骨内部の変形に伴う所定の力学特徴量の変化をその軟骨の断層位置に対応づけて演算し、その力学特徴量の変化に基づいて軟骨組織の損傷度合いを演算する制御演算部6と、軟骨組織の損傷度合いを断層可視化する態様で表示する表示装置8と、を備える。

Description

本発明は、軟骨の変性度を診断するための装置に関する。
軟骨は荷重衝撃の緩和や関節滑動性の向上等の重要な役割を担っているが、血液の循環がなく、自己治癒が困難な組織である。高齢者の多くは軟骨の磨耗による変形性膝関節症(Osteoarthritis:以下「OA」と表記する)を発症しており、特に高齢化社会を迎える国ではその診断治療法の確立が求められている。関節軟骨は80%の水分と20%のマトリクスを含み、そのマトリクスはコラーゲンとプロテオグリカンから構成される。特に、そのコラーゲン線維に拘束されるプロテオグリカンは軟骨内部の流動特性を決定し、軟骨の優れた粘弾性特性に大きく関与すると考えられている。OAは、その軟骨の粘弾性特性の損失によって発症する。
近年の医療診断技術の発達に伴い、光コヒーレンス断層画像(Optical Coherence Tomography:以下「OCT」という)が開発されている。このOCTによれば、非侵襲、非接触にて生体組織内部をマイクロ断層可視化できる。また、2次元OCT断層画像の取得レートはビデオレート以上であり、高時間分解能を有している。そこで、このOCTを用いて軟骨力学特性を断層可視化する手法も提案されている(非特許文献1)。この手法によれば、軟骨に所定の応力を負荷してその応力緩和過程を断層可視化することで、正常軟骨と変性軟骨とを識別できる可能性がある。
「Dynamic Optical Coherence Straingraphyを用いた酵素処理による変性軟骨のマイクロ力学断層可視化による検討」岡本祐太,佐伯壮一,峯松孝幸、日本機械学会2013年度年次大会講演論文集(J024032)
非特許文献1に記載の技術は、軟骨に関するマイクロメカニクス可視化診断への有力な足掛かりとなるものの、診断効率や診断精度の面で改善の余地があった。また、生きた人体の軟骨を診断対象とする場合の具体的装置構成について開示するものではなかった。このため、未だ実用化には到っていない。
本発明はこのような課題に鑑みてなされたものであり、その目的の一つは、OCTを用いた軟骨診断をより実用に供し得るものとすることにある。
本発明のある態様は、関節軟骨を診断するための軟骨診断装置である。この軟骨診断装置は、光コヒーレンストモグラフィーを用いる光学系を含む光学ユニットと、光学ユニットに接続される一方、先端部が関節腔に挿入可能に構成され、光学ユニットからの光を軟骨に導いて走査させるための光学機構と、軟骨に対して所定の変形エネルギーを付与するための負荷装置とを含むプローブと、負荷装置および光学機構の駆動を制御し、それらの駆動に基づいて光学ユニットから出力された光干渉信号を処理し、変形エネルギーの付与による軟骨内部の変形に伴う所定の力学特徴量の変化をその軟骨の断層位置に対応づけて演算し、その力学特徴量の変化に基づいて軟骨組織の損傷度合いを演算する制御演算部と、軟骨組織の損傷度合いを断層可視化する態様で表示する表示装置と、を備える。
この態様によると、所定の変形エネルギーが付与されたときに軟骨に生じる力学特徴量の変化と、軟骨組織の損傷度合いとの間に対応関係があることを利用した演算処理により、診断対象である軟骨の損傷度合いが断層可視化される。このため、医師等がその断層可視化された表示を確認することにより、軟骨診断を容易に行えるようになる。すなわち、OCTを用いた軟骨診断をより実用に供し得るものとすることができる。
本発明の別の態様は、診断用プローブである。この診断用プローブは、光コヒーレンストモグラフィーを用いる光学系を含む光学ユニットに接続されることにより、対象部位の診断を可能とするプローブであって、対象部位に当接可能に構成された先端部と、光学ユニットからの光を軟骨に導いて走査させるための光学機構と、対象部位に対して所定の変形エネルギーを付与するための負荷装置と、を備える。
この態様の診断用プローブを対象部位としての軟骨に当接させ、光学ユニットを作動させることにより、上述した軟骨の損傷度合いを断層可視化することが可能となる。すなわち、OCTを用いた軟骨診断をより実用に供し得るものとすることができる。
本発明によれば、OCTを用いた軟骨診断をより実用に供し得るものとできる。
第1実施例に係る軟骨診断装置の構成を概略的に表す図である。 軟骨診断装置を構成する診断プローブの構成を概略的に表す図である。 再帰的相互相関法による処理手順を概略的に示す図である。 サブピクセル解析による処理手順を概略的に示す図である。 各処理により得られる結果を示す図である。 軟骨診断処理の処理手順を表す図である。 軟骨診断処理の処理手順を表す図である。 実験装置の構成を概略的に表す図である。 実験に用いた試験片を表す図である。 実験に際して試験片に与えた荷重負荷状態を示すグラフである。 応力緩和試験によるひずみ速度分布の時間変化を断層可視化した図である。 応力緩和試験によるひずみ速度分布の時間変化を断層可視化した図である。 正常軟骨と模擬変性軟骨の減衰係数の比較を表す図である。 制御演算部により実行される軟骨診断処理の流れを示すフローチャートである。 図14におけるS36の変性度合い演算提示処理を詳細に示すフローチャートである。 第2実施例に係る変性度合い演算提示処理を詳細に示すフローチャートである。
本発明の一実施形態は、関節軟骨を診断するための軟骨診断装置である。この軟骨診断装置は、軟骨に所定の変形エネルギー(荷重)を負荷する一方でOCTを用いて軟骨の断層画像を撮影し、その荷重に対する軟骨組織の挙動からその損傷度合い(変性度)を演算するものである。その演算結果が軟骨の断層画像の態様で表示装置に可視化されるため、医師等がその断層画像を見ることで軟骨診断を行うことができる。
この軟骨診断装置は、OCTの光学系を含む光学ユニットと、その光学ユニットに接続されるプローブを備える。このプローブは、関節腔に挿入可能な先端部を有するとともに、OCTの演算処理に用いられる物理量を取得するための光学機構と荷重機構(「負荷装置」として機能する)を備える。プローブの先端部は、例えばシリンジ針に挿通されるなどして関節腔に挿入されるものでもよい。プローブの先端を軟骨の表面(又はその近傍)に当接させた状態で荷重機構を駆動することにより、軟骨に対して所定の荷重が負荷される。その荷重に対する軟骨組織の応答をOCTにより断層計測することにより、軟骨の変性度を評価することができる。後述のように、変性度の進行度合いに応じてその応答が異なる形で表れるからである。光学機構は、この軟骨組織の挙動を断層画像として取得するために光学ユニットからの物体光を軟骨に照射して走査させ、その反射光を取得して光学ユニットに送る。
光学ユニットは、その反射光と参照光とを合波し、その光干渉信号を制御演算部へ送る。制御演算部は、荷重機構および光学機構の駆動を制御する一方でその光干渉信号を処理し、上述した荷重負荷による軟骨内部の変形に伴う力学特徴量の変化をその軟骨の断層位置に対応づけて演算する。ここでいう「力学特徴量」は、軟骨組織の変形ベクトルの空間分布に基づいて得られるものでよい。例えば、変形ベクトルを時間微分した変形速度ベクトルであってもよいし、変形速度ベクトルをさらに空間微分したひずみ速度テンソルであってもよい。
荷重機構による荷重負荷方法については、測定対象(軟骨)に対して一定のひずみを与えて応力の時間変化を測定する応力緩和法に基づくものでもよい。あるいは、測定対象に対して動的ひずみを与えて応力の最大値および位相差を測定する動的粘弾性法に基づくものでもよい。あるいは、測定対象に対して一定の大きさの応力を与えてひずみの時間変化を測定するクリープ法に基づくものでもよい。制御演算部は、上記力学特徴量の変化に基づいて軟骨組織の損傷度合いを演算し、それを表示装置の画面に断層可視化する。
制御演算部は、応力緩和法に基づいて以下の処理を実行してもよい。すなわち、荷重機構の駆動により軟骨に所定の荷重を負荷した後に応力緩和させ、その応力緩和中に光学ユニットにより撮影された前後の断層画像データに基づき、軟骨の断層位置に対応した変形速度ベクトルを力学特徴量として演算してもよい。そして、その変形速度ベクトルの変化から得られる減衰係数の断層分布を、軟骨組織の損傷度合いの分布と等価として断層可視化させてもよい。なお、ここでいう「前後の断層画像データ」は、連続撮影された2枚の断層画像によるものでもよいし、連続しないものの所定時間をあけて撮影された2枚の断層画像によるものでもよい。
あるいは、制御演算部は、力学特徴量として演算した変形速度ベクトルを空間微分することによりひずみ速度テンソルを演算し、そのひずみ速度の減衰係数の断層分布を軟骨組織の損傷度合いの分布と等価として断層可視化させてもよい。このようにひずみ速度テンソルを演算することで、減衰係数の断層分布に軟骨組織の圧縮、膨張、剪断などの物理的意味合いをもたせることができる。なお、この物理的な意味合いから、軟骨変性度を力学的変形能として直接的に医師等に伝えることもできる。
制御演算部は、順次取得する断層画像データの相互相関、輝度勾配の変位および輝度パターンの変形に基づき変形速度ベクトルをサブピクセル精度にて演算してもよい。OCTの解像度には限界があるため、このようなサブピクセル解析を導入することにより、より高精度な軟骨診断が実現可能となる。
制御演算部は、動的粘弾性法に基づいて以下の処理を実行してもよい。すなわち、荷重機構の駆動により軟骨に所定の動的荷重(動的力)を負荷し、その動的荷重による軟骨の振動中に光学ユニットにより撮影された前後の断層画像データに基づき、軟骨の各断層位置における変形速度ベクトルを力学特徴量として演算し、その変形速度ベクトルのうち加振周波数成分である特定変形速度ベクトルの振幅および位相差の少なくとも一方に基づき軟骨の粘弾性の断層分布を演算し、その粘弾性の断層分布を軟骨組織の損傷度合いの分布と等価として断層可視化させてもよい。軟骨の粘弾性がその軟骨の変性度に応じて変化することに着目したものである。なお、ここでいう「前後の断層画像データ」も、連続撮影された2枚の断層画像によるものでもよいし、連続しないものの所定時間をあけて撮影された2枚の断層画像によるものでもよい。
あるいは、軟骨の各断層位置におけるひずみ速度テンソルを力学特徴量として演算し、そのひずみ速度テンソルのうち加振周波数成分である特定ひずみ速度テンソルの振幅および位相差の少なくとも一方に基づき軟骨の粘弾性の断層分布を演算してもよい。
また、荷重機構が、軟骨に付与される荷重(力)を計測可能なセンサを含んでもよい。制御演算部は、演算された力学特徴量の加振周波数成分の振幅および位相差の少なくとも一方と、センサにより計測された荷重値に基づき軟骨の粘弾性の断層分布を演算し、その粘弾性の断層分布を軟骨組織の損傷度合いの分布と等価として断層可視化させてもよい。
なお、上記プローブは、例えば手術中の内臓を診断するなど、軟骨以外の対象部位の診断に適用することも可能である。すなわち、プローブが、OCTの光学系を含む光学ユニットに接続されることにより、所定の対象部位の診断を可能とする診断用プローブとして構成されてもよい。このプローブは、対象部位に当接可能に構成された先端部と、光学ユニットからの光を軟骨に導いて走査させるための光学機構と、対象部位に対して所定の変形エネルギー(応力)を負荷するための荷重機構(負荷装置)とを備える。
また、上記技術を利用した軟骨診断方法を構築してもよい。この方法は、軟骨に対して所定の変形エネルギー(荷重)を負荷するステップと、変形エネルギーの付与(荷重の負荷)に応じた軟骨の変形度合いを光コヒーレンストモグラフィーにより断層画像として表示させるステップと、断層画像に基づいて軟骨組織の損傷度合いを診断するステップとを備えるものでよい。
以下、図面を参照しつつ本発明を具体化した実施例について詳細に説明する。
[第1実施例]
図1は、第1実施例に係る軟骨診断装置の構成を概略的に表す図である。図2は、軟骨診断装置を構成する診断プローブの構成を概略的に表す図である。本実施例の軟骨診断装置は、診断対象である関節軟骨に所定の応力を負荷し、その応力に対する軟骨組織の変形度合いを断層可視化することにより、軟骨組織の損傷度合い(変性度)を診断可能とするものである。この断層可視化にOCTを利用する。
図1に示すように、軟骨診断装置1は、OCTを用いる光学系を含む光学ユニット2、光学ユニット2に接続される診断用のプローブ4、OCTにより得られた光干渉データに基づいて軟骨組織の損傷度合いを演算する制御演算部6、および軟骨組織の損傷度合いを断層可視化する態様で表示する表示装置8を備える。図示の例では、光学ユニット2としてマッハツェンダー干渉計をベースとした光学系が示されているが、マイケルソン干渉計その他の光学系を採用することもできる。
本実施例では、OCTとして波長走査型レーザを光源とするSS−OCT(Swept Source OCT)を用いるが、TD−OCT(Time Domain OCT)、SD−OCT(Spectral Domain OCT)その他のOCTを用いることもできる。SS−OCTは、TD−OCTとは異なり、参照鏡走査などの機械的な光遅延走査を必要としないため、高い時間分解能と高い位置検出精度が得られる点で好ましい。
光学ユニット2は、光源10、オブジェクトアーム12、リファレンスアーム14、および光検出器16を備える。各光学要素は、光ファイバーにて互いに接続されている。光源10から出射された光は、カプラ18(ビームスプリッタ)にて分けられ、その一方がオブジェクトアーム12に導かれる物体光となり、他方がリファレンスアーム14に導かれる参照光となる。オブジェクトアーム12に導かれた物体光は、サーキュレータ20を介してプローブ4に導かれ、診断対象である軟骨に照射される。この物体光は、軟骨の表面および断面にて後方散乱光として反射されてサーキュレータ20に戻り、カプラ22に導かれる。
一方、リファレンスアーム14に導かれた参照光は、サーキュレータ24を介して反射鏡26に導かれる。このとき、参照光は、コリメートレンズ28を経て集光レンズ30にて反射鏡26に集光される。この参照光は、反射鏡26にて反射されてサーキュレータ24に戻り、カプラ22に導かれる。すなわち、物体光と参照光とがカプラ22にて合波(重畳)され、その干渉光が光検出器16により検出される。
プローブ4は、光学ユニット2のオブジェクトアーム12を構成し、その本体32にはサーキュレータ20から延びる光ファイバー34が挿通されている。本体32の先端にはシリンジ針36が取り付けられており、プローブ4の先端部は、そのシリンジ針36を介して生体内(患者の膝K)に挿入可能とされている。本体32には、光学ユニット2からの光を膝Kの軟骨に導いて走査させるための光学機構と、軟骨に対して所定の荷重(応力)を負荷するための荷重機構と、これらの機構を駆動するための駆動部38(アクチュエータ)が設けられている。光学機構は、軟骨に向けて光を照射し、その反射光をオブジェクトアーム12に導く。各機構の詳細については後述する。
カプラ22にて合波された干渉光は、光検出器16に入力される。光検出器16は、これを光干渉信号(干渉光強度を示す信号)として検出する。この光干渉信号は、A/D変換器40を介して制御演算部6に入力される。A/D変換器40は、光検出器16から出力されたアナログ信号をデジタル信号に変換して制御演算部6へ出力する。
制御演算部6は、CPU、ROM、RAM、ハードディスクなどを有し、これらのハードウェア、およびソフトウェアによって、光学ユニット2の光学系全体の制御と、プローブ4の駆動制御と、OCTによる画像出力のための演算処理を行う。制御演算部6は、プローブ4の荷重機構および光学機構の駆動を制御し、それらの駆動に基づいて光学ユニット2から出力された光干渉信号を処理し、OCTによる軟骨の断層画像を取得する。そして、その断層画像データに基づき、後述の手法により軟骨組織の損傷度合いを演算する。
表示装置8は、例えば液晶ディスプレイからなり、制御演算部6にて演算された軟骨組織の損傷度合いを断層可視化する態様で画面に表示させる。
図2に示すように、プローブ4は、筒状の本体32の先端に穿刺部としてのシリンジ針36が取り付けられる。シリンジ針36の内方には有底円筒状のシース50が同軸状に設けられ、本体32の内方にはシース50を軸線方向に駆動可能な圧電素子52(ピエゾ素子)が設けられている。圧電素子52は、本体32の内部に設けられた図示略の支持機構に支持されている。シース50は、その先端が閉止されており、後端開口部が圧電素子52の先端部に固定されている。シース50の先端面は、患者の軟骨Jの表面に当接可能な当接面となっている。
シース50の内方には光ファイバー34の先端部が挿通され、その先端にGRINレンズ54が連設され、さらにその先端にプリズムミラー56が連設されている。すなわち、光ファイバー34、GRINレンズ54およびプリズムミラー56は、軸線方向に一体化された導光体を構成している。GRINレンズ54は、レンズ内の屈折率を連続的に変えることで集光機能を発揮する。プリズムミラー56は、その先端面が軸線に対して傾斜した反射面とされている。なお、本実施例では、照射ビームの径と焦点距離・ビームスポット径などを整える光学素子としてGRINレンズ54を採用しているが、同様の機能を発揮できる他の光学素子を採用してもよい。また、ビームを指定方向に反射する光学素子としてプリズムミラー56を採用しているが、同様の機能を発揮できる他の光学素子を採用してもよい。
光ファイバー34によりプローブ4に導かれた光は、GRINレンズ54およびプリズムミラー56を介してシース50の先端から出射され、軟骨Jに照射される(点線矢印参照)。それにより軟骨Jの表面又は断面にて反射された光がGRINレンズ54に取り込まれ、光ファイバー34を介して光学ユニット2のオブジェクトアーム12に導かれる。
圧電素子52には軸線に沿って貫通する挿通孔58が設けられている。光ファイバー34は、この挿通孔58に挿通され、シース50内に導入されている。このような構成により、光ファイバー34に機械的負荷をかけることなく、圧電素子52による荷重をシース50に負荷することができる。圧電素子52への通電によりその圧電素子52が軸線方向に伸長し、シース50を軸線方向先端側に駆動することができる。この駆動力は、シース50の先端面による押圧力(圧縮応力)となって軟骨Jに負荷される。すなわち、シース50および圧電素子52が、「負荷装置(荷重機構)」として機能する。
なお、シース50は、図示しない付勢部材により後方に付勢されており、圧電素子52の非通電時にはシリンジ針36の内方に収容されるように構成されている。圧電素子52に通電されると、図示のようにシース50の先端面がシリンジ針36から突出できる構成とされている。
本体32の内方における圧電素子52の後方には、光ファイバー34を軸線周りに回動させるための回動機構60(光ロータリージョイント)が設けられている。回動機構60は、光ファイバー34と同軸状に固定された回転子を有する。回動機構60への通電により、光ファイバー34およびGRINレンズ54を自軸周りに回動させ、プリズムミラー56の向きを変化させることができる。すなわち、光ファイバー34の先端部、GRINレンズ54、プリズムミラー56および回動機構60が、「光学機構」として機能する。回動機構60の駆動により、物体光を軟骨Jに対して走査させることができる。圧電素子52および回動機構60への通電制御は、制御演算部6によってなされる。
以下、軟骨組織の損傷度合いを提示するまでの演算処理方法について説明する。
上述のように、オブジェクトアーム12を経た物体光(軟骨Jからの反射光)と、リファレンスアーム14を経た参照光とが合波され、光検出器16により光干渉信号として検出される。制御演算部6は、この光干渉信号を干渉光強度に基づく軟骨Jの断層画像として取得することができる。
ところで、OCTの光軸方向(奥行き方向)の分解能であるコヒーレンス長lは、光源の自己相関関数によって決定される。ここでは、コヒーレンス長lを自己相関関数の包括線の半値半幅とし、下記式(1)にて表すことができる。
Figure 2016031697
ここで、λはレーザビームの中心波長であり、Δλはレーザビームの半値全幅である。
一方、光軸垂直方向(ビーム走査方向)の分解能は、集光レンズによる集光性能に基づき、ビームスポット径Dの1/2とされる。そのビームスポット径Dは、下記式(2)にて表すことができる。
Figure 2016031697
ここで、dは集光レンズに入射するビーム径、fは集光レンズの焦点である。このようにOCTによる分解能には限界があるところ、本実施例では後述するサブピクセル解析の導入などにより、軟骨組織の診断をマイクロスケールにて行うことを可能にしている。以下、その詳細について説明する。
まず、OCTを利用したマイクロスケールの力学特性検出法について説明する。この検出法は、計測対象の変形前後の2枚のOCT断層画像にデジタル相互相関法を適用することで変形ベクトル分布を算出し、マイクロスケールにて生体組織内部のひずみ速度テンソル分布を断層検出する手法である。
変形ベクトル分布を算出する際には、繰り返し相互相関処理を実施する再帰的相互相関法(Recursive Cross-correlation method)を適用する。これは、低解像度において算出された変形ベクトルを参照し、探査領域を限定するとともに階層的に検査領域を縮小して相互相関法を適用する手法である。これにより、高解像度な変形ベクトルを取得することができる。さらに、スペックル・ノイズ低減法として、隣接検査領域の相関値分布との乗算を行う隣接相互相関乗法(Adjacent Cross-correlation Multiplication)を用いる。そして、乗算されることによって高SN化した相関値分布から最大相関値を探索する。
また、マイクロスケールにおける微小変形解析では、変形ベクトルのサブピクセル精度が重要となる。このため、輝度勾配を利用する風上勾配法(Up-stream Gradientmethod)と、伸縮および剪断を考慮した画像変形法(Image Deformation method)の両サブピクセル解析法を併用し、変形ベクトルの高精度検出を実現する。なお、ここでいう「風上勾配法」は、勾配法(オプティカルフロー法)の一種である。
このようにして得られた変形ベクトルを時間微分することにより変形速度ベクトル分布を演算し、それをさらに空間微分することによりひずみ速度テンソル分布を演算する。後述のように、軟骨組織のひずみ速度テンソルの減衰係数はその軟骨の損傷度合い(変性度)と等価とみることができるため、これを軟骨の損傷度合いとして断層可視化する。
以下、各手法について詳細に説明する。図3は、再帰的相互相関法による処理手順を概略的に示す図である。図4は、サブピクセル解析による処理手順を概略的に示す図である。図5は、各処理により得られる結果を示す図である。
(再帰的相互相関法)
図3(A)〜(C)は、再帰的相互相関法による処理過程を示している。各図にはOCTにより連続的に撮影される前後の断層画像が示されている。左側には先の断層画像(Image1)が示され、右側には後の断層画像(Image2)が示されている。
相互相関法とは、局所的なスペックル・パターンの類似度を下記式(3)に基づく相関値Rijより評価する方法である。そのため、図3(A)に示すように、連続的に撮影された前後のOCT画像について、先の断層画像(Image1)に類似度の検査対象となる検査領域S1が設定され、後の断層画像(Image2)に類似度の探査範囲となる探査領域S2が設定される。
Figure 2016031697
ここで、空間座標として、光軸方向にZ軸、光軸と垂直方向にX軸を設定している。f(X,Z)とg(X,Z)は、変形前後のOCT画像において設置された中心位置(X,Z)の検査領域S1(N×Nピクセル)のスペックル・パターンを表している。
探査領域S2(M×Mピクセル)内における相関値分布Ri,j(ΔX,ΔZ)を算出し、図3(B)に示すようにパターンマッチングを行う。実際には、下記式(4)に示すように、最大相関値を与える移動量Ui,jを変形前後の変形ベクトルとして決定する。
Figure 2016031697
なお、fとgはf(X,Z)とg(X,Z)の検査領域S1内の平均値を表している。
本手法では、検査領域S1を縮小しながら相互相関処理を繰り返して空間解像度を高める再帰的相互相関法を採用している。なお、本実施例では解像度を上げる際には空間解像度が倍になるようにしている。図3(C)に示すように、検査領域S1を1/4に分割し、前階層にて算出された変形ベクトルを参照し、探査領域S2を縮小している。ここで探査領域S2も1/4に分割している。再帰的相互相関法を用いることで、高解像度において多発する過誤ベクトルの抑制を可能にしている。このような再帰的相互相関処理を施すことにより、図5(A)に示すように変形ベクトルの解像度を高めることができる。
また、これに加え、下記式(5)により、演算中の座標を中心とする周囲8つの座標を含む合計9つの変形ベクトルの平均偏差σを用いた閾値を設定し、過誤ベクトルの除去を行い再帰処理に伴う誤差伝播を抑制する。
Figure 2016031697
ここで、Umはベクトル量の中央値を表し、閾値となる係数κは任意に設定した。
(隣接相互相関乗法)
本実施例では、スペックルノイズの影響を受けたランダム性の強い相関値分布から正確な最大相関値を決定する方法として、隣接相互相関乗法を導入している。下記式(6)により、隣接相互相関乗法では検査領域S1における相関値分布Ri,j(Δx,Δz)と、その検査領域S1にオーバーラップする隣接検査領域に対するRi+Δi,j(Δx,Δz)とRi,j+Δj(Δx,Δz)の乗算を行い、新たな相関値分布R'i,j(Δx,Δz)を用いて最大相関値を検索する。
Figure 2016031697
これにより、相関値同士の乗算によってランダム性を低減させることが可能になる。上述した検査領域S1の縮小と共に干渉強度分布の情報量も減少するため、スペックル・ノイズを原因とする複数相関ピークの出現が計測精度の悪化を招いていると考えられる。一方、隣接境界同士の移動量には相関があるため、最大相関値座標付近では強い相関値が残存する。この隣接相互相関乗法の導入によって最大相関値ピークが明瞭化され計測精度が向上し、正確な移動座標を抽出することが可能となる。また、この隣接相互相関乗法をOCTの各ステージに導入することで、誤差伝播が抑制され、スペックル・ノイズに対するロバスト性が向上する。それにより、高空間解像度においても高精度な変形ベクトルとひずみ分布の算出が可能となる。
(風上勾配法)
図4(A)〜(C)は、サブピクセル解析による処理過程を示している。各図にはOCTにより連続的に撮影される前後の断層画像が示されている。左側には先の断層画像(Image1)が示され、右側には後の断層画像(Image2)が示されている。
本実施例では、サブピクセル解析のために風上勾配法と画像変形法を採用する。最終的な移動量の算出は後述の画像変形法によるが、計算の収束性の問題から、画像変形法より先に風上勾配法を適用する。検査領域サイズが小さく高空間解像度の条件において、サブピクセル移動量を高精度検出する画像変形法及び風上勾配法を適用している。画像変形法におけるサブピクセル移動量の検出が困難な場合において、風上勾配法によりサブピクセル移動量を算出する。
サブピクセル解析では、注目点における変形前後の輝度差が各成分の輝度勾配と移動量によって表される。このため、検査領域S1内の輝度勾配データより最小二乗法を用いてサブピクセル移動量を決定することができる。本実施例では、輝度勾配を求める際に、サブピクセル変形前の風上側の輝度勾配を与える風上差分法を採用している。
サブピクセル解析は計測誤差からだけではなく、組織の散乱効果や偏光特性に複雑に関係したスペックル・ノイズに強く依存している。さらに、ひずみテンソル分布の算出には移動量の空間微係数が必要となるため、サブピクセルエラーが微係数算出の数値不安定を増大させ、ひずみテンソル分布の不安定化を招いてしまう。サブピクセル解析は様々な手法が存在するが、本実施例では検査領域サイズが小さく高空間解像度の条件においても、サブピクセル移動量を高精度検出する勾配法を採用している。
風上勾配法は、検査領域S1内の注目点の移動を、図4(A)に示すピクセル精度に留まらず、図4(B)に示すサブピクセル精度にて算出するものである。なお、図中の各格子は1ピクセルを表している。実際には図示の断層画像と比較して相当小さいが、説明の便宜上、大きく表記している。この風上勾配法は、微小変形前後における輝度分布の変化を輝度勾配と移動量によって定式化する手法であり、fを輝度とすると、微小変形f(x+Δx,z+Δz)をテイラー展開する下記式(7)として表される。
Figure 2016031697
上記式(7)は、注目点の変形前後の輝度差が変形前の輝度勾配と移動量によって表されることを示している。なお、移動量(Δx,Δz)については上記式(7)のみでは決定できないため、検査領域S1内で移動量が一定と考え、最小二乗法を適用して算出している。
上記式(7)を用いて移動量を算出する際には、右辺の各注目点における移動前後の輝度差は一意にしか求まらない。そのため輝度勾配をどれだけ正確に算出するかが移動量の精度に直結する。輝度勾配の差分化では、一次精度風上差分を用いている。差分化において高次差分を適用すると、多くのデータが必要になり、ノイズが含まれていた際に影響を大きく受けてしまうためである。また、検査領域S1内の各点を基準とした高次差分では、検査領域S1外のデータを多く使用することとなり、検査領域S1そのものの移動量ではなくなってしまうという問題点も存在するからである。
輝度勾配を求める際に変形前の風上側の輝度勾配が移動することによって注目点の輝度差が生まれると考えることができるので、変形前は風上側の差分を適用する。ここでいう風上は、実際の移動方向ではなく、ピクセル移動量に対するサブピクセル移動量の向きのことであり、最大相関値ピークに放物線近似を施すことによって風上側を決定する。逆に、変形後の風下側の輝度勾配が逆に移動することによって注目点の輝度差が生じると考えることができるため、変形後は風下側の差分を適用する。
変形前の風上差分と変形後の風下差分を用いて2通りの解を求め、それらの平均をとった。さらに、実際には移動量が軸方向に沿わない場合には、変形前や変形後の輝度勾配が注目点と同一軸上に無く、ずれた位置の勾配を求める必要がある。つまり、X方向の勾配を求めたい場合には、Z方向の移動も考慮して勾配を求めなければならない。そのため、輝度の内挿による輝度勾配の推定をすることで、精度向上を図っている。基本的には変形前(もしくは変形後)の位置を予測し、その位置での勾配を内挿により求める。
変形前(後)の注目点の位置は放物線近似を施した際のサブピクセル移動量により求める。その注目点位置が囲まれる8つの座標を用い、それらの比によって輝度勾配を算出する。具体的には、下記式(8)を用いる。そのようにして算出された輝度勾配と、輝度変化を用いて最小二乗法を適用し移動量を決定した。
Figure 2016031697
(画像変形法)
上述した風上勾配法までは検査領域S1の形状は変更せず、正方形を保ったまま変形ベクトルの算出を行っている。しかし、現実には計測対象の変形に合わせて検査領域S1も変形していると考えられるため、検査領域S1の微小変形を考慮したアルゴリズムを導入し、変形ベクトル算出を高精度にて算出する必要がある。このため、本実施例ではサブピクセル精度での変形ベクトルの算出に画像変形法を導入している。すなわち、組織変形前の検査領域S1と組織変形後の伸縮及びせん断変形を考慮した検査領域S1とで相互相関を実施し、相関値ベースの反復計算によってサブピクセル変形量を決定している。なお、検査領域S1の伸縮及びせん断変形は線形で近似している。
画像変形法は一般的に、材料の表面ひずみ計測法に用いられ、ランダムパターンを塗布した材料表面を高空間分解能なカメラで撮影した画像に対して適用される。一方、OCT断層像はスペックルノイズを多く含むだけでなく、特に生体組織では組織内の基質や水分の流動も伴い屈折率が変化するため、スペックルパターンに対する変形が大きい。このため、複雑組織にて局所的な変形が発生し、検査領域S1に膨張、収縮、剪断等の変形が伴う場合には解の収束解が著しく低下する。本手法における検査領域S1の縮小は、局所的な組織力学特性を検出するために必要不可欠である。そこで画像変形法では、風上勾配法で得られた変形量を収束計算の初期値として採用し、さらに、輝度分布の双三次関数補間によって検査領域S1を縮小した際でも低ロバスト性を実現している。なお、変形例においては、双三次関数補間以外の補間関数を用いてもよい。
より詳細には、以下の手順にて演算を実行する。まず、組織変形前のOCT断層像の輝度分布に双三次関数補間法を適用し、輝度分布の連続化を実施する。双三次関数補間法とは、sinc関数を区分的に三次関数近似した畳み込み関数を用い、輝度情報の空間連続性を再現する手法である。本来は連続的な輝度分布を画像計測する際には光学系に依存した点広がり関数が畳み込まれるため、sinc関数を用いた逆畳み込みを行うことにより、本来の連続的な輝度分布が復元される。離散的な一軸信号f(x)の補間をする場合、畳み込み関数h(x)は下記式(9)にて表される。
Figure 2016031697
なお、OCT計測条件の違いによって輝度補間関数h(x)の形状も変更する必要がある。そこで輝度補間関数h(x)のx=1での微係数aを可変とし、aの値を変更することで輝度補間関数h(x)の形状を変更可能なアルゴリズムとした。本実施例では、擬似OCT断層像を用いた数値実験による検証結果を元にし、aの値を決定した。以上のように画像補間をすることで、伸縮及びせん断変形を考慮した検査領域S1の各点にて、OCT輝度値を求めることが可能となる。
伸縮及びせん断変形を考慮して算出した検査領域S1は、図4(C)に示すように、移動とともに変形を伴う。組織変形前のOCT断層像におけるある検査領域S1内の整数ピクセル位置での座標(x,z)が組織変形後に座標(x,z)に移動すると考えると、x,zの値は下記式(10)にて表される。
Figure 2016031697
ここで、Δx,Δzはそれぞれ検査領域S1中心から座標x,zまでの距離、u,vはそれぞれx,z方向への変形量、∂u/∂x,∂v/∂zはそれぞれx,z方向における検査領域S1の垂直方向への変形量、∂u/∂z,∂v/∂xはそれぞれx,z方向における検査領域S1のせん断方向への変形量である。数値解法にはNewton-Raphson法を用い、6変数(u,v,∂u/∂x,∂u/∂z,∂v/∂x,∂v/∂z)での相関値微係数が0となるように、すなわち最大相関値を得るように反復計算を行う。なお、反復計算の収束性を高めるため、x,z方向の移動量初期値には風上勾配法で得られたサブピクセル移動量を用いる。相関値Rに対するヘッセ行列をH、相関値対するヤコビベクトルを▽Rとすると、1回の反復で得られる更新量ΔPiは下記式(11)にて表される。
Figure 2016031697
収束の判定には、反復計算で随時得られる漸近解が収束解の近傍で十分小さくなることを用いる。しかし、スペックルパターンの変化が激しい領域においては、線形変形では追従できないために正しい収束解が得られない場合がある。その場合、本実施例では風上勾配法によって求めたサブピクセル移動量を採用している。
以上のようにして得られるサブピクセル精度の変形ベクトルを時間微分することにより、図5(B)に示すような変形速度ベクトル分布を算出することができる。そして、その変形速度ベクトル分布を空間微分することにより、ひずみ速度テンソルを算出することが可能となる。
(時空間移動最小二乗法)
ひずみ速度テンソルの算出には移動最小二乗法(Moving Least Square Method:以下「MLSM」という)を用いる。MLSMは、移動量分布を平滑化すると共に、微係数の安定算出を可能とする手法である。MLSMにおいて用いる二乗誤差式は下記式(12)にて表される。
Figure 2016031697
上記式(12)において、S(x,z,t)を最小とするa〜kのパラメータを求める。すなわち、近似関数として水平方向x,奥行き方向z,時間方向tの3変数2次多項式として下記式(13)を採用する。そして、最小二乗近似に基づき、下記式(14)から最適な微係数を算出して平滑化する。
Figure 2016031697
この微係数を用いることにより、下記式(15)に示すひずみ速度テンソルを算出することができる。fx,fzは各軸のひずみ増分を示し、その時間変化量からひずみ速度を算出している。
Figure 2016031697
次に、上述した各手法を用いて行われる軟骨診断処理について説明する。図6および図7は、軟骨診断処理の処理手順を表す図である。
本実施例では、上述した各手法を軟骨診断装置1に適用する。図6に示すように、制御演算部6は、上述のようにして演算された変形速度ベクトル分布を順次記憶するとともに(図6(A))、各変形速度ベクトル分布を空間微分して得られたひずみ速度テンソル分布を順次記憶する(図6(B))。なお、ひずみ速度テンソル分布は、図7(A)に示すように、所定範囲ごとに識別可能に断層画像の態様で分布表示することができる。図中においてひずみ速度がマイナスの領域は圧縮領域を示し、プラスの領域は膨張領域を示す。
そして、断層画像における個々の座標についてのひずみ速度の時間変化を演算すると、図7(B)に示すような演算結果が得られる。同図の横軸は時間の経過を示し、縦軸はひずみ速度を示している。このように演算されたひずみ速度の時間変化に対して平滑化処理を行い、各座標についてひずみ速度の減衰係数を演算すると、図7(C)に示すような減衰係数分布を得ることができる。この減衰係数の断層分布は、後述の実験結果からも分かるように、軟骨組織の損傷度合いの分布に対応するものと評価することができる。そこで、制御演算部6は、この減衰係数の断層分布を軟骨組織の損傷度合いの分布と等価として、表示装置8に断層可視化させる。
本実施例では、減衰係数の断層分布そのものを軟骨組織の損傷度合い(変性度)として提示する。このため、減衰係数が大きい領域は損傷度(変性度)が大きい領域として示され、減衰係数が小さい領域は損傷度(変性度)が小さい領域として示される。なお、図中のハッチング部はひずみ速度が小さく、正負の値に振れる領域(精度が低い領域)を示し、軟骨診断においては無視することができる。
次に、減衰係数の断層分布が軟骨組織の損傷度合いの分布に対応することを検証するために行った実験結果について説明する。図8は、実験装置の構成を概略的に表す図である。図9は、実験に用いた試験片を表す図である。図10は、実験に際して試験片に与えた荷重負荷状態を示すグラフである。なお、図8において、図1に示すものと同様の構成については同一の符号を付している。
図8に示すように、本実験装置は、図1に示した光学ユニット2に対して圧縮試験機70を接続して構成される。圧縮試験機70は、図1に示したプローブ4に代わり、試験片Wに対して圧縮荷重を負荷するものである。試験片Wとしては、ブタの膝関節の軟骨を用いている。圧縮試験機70は、試験片Wに接触するガラス窓72、ガラス窓72との間に試験片Wを挟む金属圧子74、金属圧子74を軸線方向に駆動するためのリニアアクチュエータ76、試験片Wに負荷される荷重を検出するロードセル78等を備えている。
本実験では、制御演算部6を2台のパーソナルコンピュータ80,82にて構成し、その一方により光学ユニット2の駆動およびOCTの演算処理を実行し、他方により圧縮試験機70を駆動した。オブジェクトアーム12には、試験用プローブ84が接続されている。試験用プローブ84は、図1に示したプローブ4に代わり、物体光を試験片Wに向けて走査可能な光学機構を備えている。
図9(A)は圧縮試験機70への試験片Wの設置態様を示し、図9(B)は試験片Wの側面視およびその大きさを示し、図9(C)は試験片Wの正面視およびその大きさを示している。試験片Wとして、生後約6ヶ月のブタの膝関節大腿骨外側顆の軟骨組織サンプルを直径5.5mmの円筒形状にて採取した。また、変性軟骨の力学特性を診断評価するため、酵素処理により模擬変性軟骨を作製し、正常軟骨との比較を行った。酵素処理には、関節軟骨の弾性を保っているコラーゲン線維を分解するcollagenase type2(C6885,Sigma Ardrich)を用いた。pH7.4のリン酸緩衝生理食塩水(10010,Invitrogen)にcollagenaseを溶解させて作製した30[unit/ml]のcollagenase溶液に正常関節軟骨を入れ,37[℃]の状態下で0.5時間,1時間,2時間の時間設定で処理を施し,コラーゲン線維変性をOA変性度として模擬している。
図8に戻り、本実験では、試験片Wの下骨側を金属圧子74に固定し、圧縮試験機70内に設置したガラス窓72に押し当て、軟骨組織に圧縮変形を発生させた。ガラス窓72を介してOCTビームを打ち込むことで応力緩和試験中のOCT断層画像を27.03[flame/sec]にて連続取得した。この圧縮実験では、圧縮量を10[%]ひずみ、圧縮速度を0.1[%/sec]として固定した。圧縮荷重負荷時間は100[sec]となり、10[%]ひずみに達した後は応力緩和時の軟骨組織挙動の観察を行った。また、再帰的相互相関法の設定は検査領域を9[pixel]から5[pixel]に縮小する2階層の設定とし、6.5×15.62[μm]毎のベクトル密度にてサブピクセル精度の変形速度ベクトル分布を算出した。
図10は、この応力緩和試験においてロードセル78にて検出された応力時系列データを示す。同図の横軸は荷重負荷開始からの時間[sec]を示し、縦軸は圧縮応力[MPa]を示している。図示のように、圧縮中(0〜100秒)では応力が増加し、圧縮終了(100秒)以降は応力緩和が発生している。そして、1200秒付近で平衡状態に達することが観察された。なお、このように応力が指数関数的に減衰していることから、軟骨はその緩和弾性率が時間変化する粘弾性体であることが分かる。
図11および図12は、応力緩和試験によるひずみ速度分布の時間変化を断層可視化した図である。図11は正常軟骨についての演算結果を示し、(A)は荷重負荷開始から0.31[sec]、(B)は50.35[sec]、(C)は100.29[sec]、(D)は101.96[sec]、(E)は110.95[sec]、(F)は120.12[sec]、(G)は130.52[sec]、(H)は140.51[sec]、(I)は150.49[sec]の結果を示している。
一方、図12は模擬変性軟骨についての演算結果を示し、(A)は荷重負荷開始から1.07[sec]、(B)は50.07[sec]、(C)は100.99[sec]、(D)は101.99[sec]、(E)は110.98[sec]、(F)は120.97[sec]、(G)は130.96[sec]、(H)は140.95[sec]、(I)は150.94[sec]の結果を示している。すなわち、各図の(A)および(B)は圧縮中を示し、(C)〜(I)は応力緩和中を示している(図10参照)。
図11および図12から、試験片Wの表層において大きな圧縮ひずみ速度が発生していることが確認できる。この領域は軟骨の表層領域(表面から15%)に対応し、変形速度ベクトルが急激に変化する領域と対応している。一方、軟骨表面から15〜70%は中間層領域と呼ばれ、検出されたひずみ速度は小さく、変形速度ベクトルの急激な変化が見られない領域と対応している。コラーゲン線維の配向特性は、表層と中間層において大きく異なっていることが知られている。特に、表層では軟骨表面に水平配向しているため圧縮方向に対する剛性が低く、圧縮ひずみ速度の集中が発生したと考えられる。
また、図11と図12とを対比すると、正常軟骨では150.49[sec]でもひずみ速度の残存が確認できるのに対し、模擬変性軟骨では130.96[sec]でほとんどひずみ速度が見られないことがわかる.したがって、緩和時間に着目し比較することで関節軟骨の変性の度合いを評価することが可能であることが分かる。このことから、ひずみ速度の経時変化から算出される減衰係数の比較によって軟骨変性度を評価できると考えられる。本実施例ではこの点に着目し、図7に示したように、ひずみ速度テンソル分布から減衰係数の分布を算出している。すなわち、ひずみ速度の減衰係数の断層分布を、軟骨組織の損傷度合いの分布と等価として画面に断層可視化することで、軟骨診断が可能となるようにした。
図13は、正常軟骨と模擬変性軟骨の減衰係数の比較を表す図である。図中の横軸は酵素処理時間(H:hour)を示し、縦軸が減衰係数を示す。酵素処理時間として0H,0.5H,1H,2Hの結果が示されている。なお、0Hは酵素処理時間がゼロ、つまり正常軟骨を示している。図示の結果は、表層領域部分における減衰係数分布を空間平均したものであり、応力緩和開始から50秒までの緩和挙動に対して対数化処理が施されている。
図示の結果より、酵素処理時間が長くなるにつれて、減衰係数が大きくなっていることが分かる。コラゲナーゼ酵素処理では、弾性を支配するコラーゲン線維の分解に伴い、粘性を支配するプロテオグリカンの離脱も発生する。このため、コラーゲン線維分解による多孔度の増大に加え、プロテオグリカン離脱による保水特性の低下によって、透水特性が著しく上昇し粘性特性が損なわれると考えられる。透水特性の増大は粘性による荷重支持機構の破綻を意味することから、図示のように緩和弾性係数の減衰係数が低下すると考えられる。そして図示のように、正常軟骨に対していずれの酵素処理時間の結果においても有意差があり、変性の検出が可能であった。本実験で用いた模擬変性軟骨試料は正常軟骨と比べ、外見上は変化がなくレントゲンやCTでの目視診断では判断できない程度の変性である。したがって、従来診断できなかった初期の変形性膝関節症の診断が、本手法により可能となることが分かる。
次に、制御演算部6が実行する具体的処理の流れについて説明する。
図14は、制御演算部6により実行される軟骨診断処理の流れを示すフローチャートである。なお、この軟骨診断処理は、医師等によりプローブ4の先端部が患者の膝関節に挿入された状態にて開始される。制御演算部6は、駆動部38を駆動して図10に示した応力負荷および応力緩和処理を実行する一方で、図14に示す処理を実行する。
すなわち、制御演算部6は、連続撮影された時刻の異なる前後2枚のOCT断層画像I(x,z,t)とI(x,z,t+Δt)を読み込む(S10)。続いて、再帰的相互相関法による処理を実行する。ここではまず、最小解像度(最大サイズの検査領域)での相互相関処理を実行し、相関係数分布を求める(S12)。続いて、隣接相互相関乗法により、隣接する相関係数分布の積を演算する(S14)。このとき、標準偏差フィルタ等の空間フィルタにより過誤ベクトルの除去をし(S16)、最小二乗法等により除去ベクトルの内挿補間を実行する(S18)。続いて、検査領域を小さくすることによって解像度を上げて相互相関処理を継続する(S20)。すなわち、低解像度での参照ベクトルを基に相互相関処理を実行する。このときの解像度が予め定める最高解像度でなければ(S22のN)、S14に戻る。
そして、S14〜S20の処理を繰り返し、最高解像度での相互相関処理が完了すると(S22のY)、サブピクセル解析を実行する。すなわち、最高解像度(最小サイズの検査領域)での変形ベクトルの分布に基づき、風上勾配法によるサブピクセル移動量を演算する(S24)。そして、このとき算出されたサブピクセル移動量に基づき、画像変形法によるサブピクセル変形量を演算する(S26)。続いて、最大相互相関値によるフィルタ処理により過誤ベクトルの除去をし(S28)、最小二乗法等により除去ベクトルの内挿補間を実行する(S30)。そして、このようにして得られた変形ベクトルの時間微分を行い、その断層画像について変形速度ベクトルの断層分布U(x,z,t),W(x,z,t)を算出し、S10に戻る。ここで、U(x,z,t)は変形速度ベクトル分布のz方向成分であり、W(x,z,t)は変形速度ベクトル分布のx方向成分である。以上の処理を後続の断層画像についても実行する(S34のN)。そして、設定数の断層画像について変形ベクトルの断層分布が求まると(S34のY)、軟骨診断のための変性度合い演算提示処理を実行する(S36)。
図15は、図14におけるS36の変性度合い演算提示処理を詳細に示すフローチャートである。変性度合い演算提示処理において、制御演算部6は、時空間移動最小二乗法により、S34にて算出した変形速度ベクトル分布の平滑化を実行する(S40)。そして、その平滑化された変形速度ベクトルに対して空間微分をすることにより、ひずみ速度テンソルを算出する(S42)。そして、ひずみ速度の時系列データについて対数変換を行い(S44)、最小二乗法によりひずみ速度の減衰係数を演算する(S46)。このようにして得られた減衰係数の分布を軟骨組織の損傷度合いと等価とみなして表示装置8に断層可視化する(S48)。すなわち、例えば図7(C)に示した態様にて軟骨の変性度を提示する。
以上に説明したように、本実施例によれば、応力緩和によるひずみ速度の変化(減衰係数)と、軟骨組織の損傷度合いとの間に対応関係があることを利用した演算処理により、診断対象である軟骨の損傷度合いが断層可視化される。このため、医師等がその断層可視化された画像を確認することにより、軟骨診断を容易に行うことが可能となる。すなわち、OCTを用いた軟骨診断をより実用に供し得るものとすることができる。
[第2実施例]
次に、本発明の第2実施例について説明する。本実施例は、応力負荷方法として応力緩和法ではなく、動的粘弾性法を適用した点が異なる以外は第1実施例とほぼ同様である。このため、上記第1実施例と同様の構成部分については必要に応じて同一の符号を付す等して適宜その説明を省略する。
本実施例では、図1および図2に示したプローブ4により所定の振動荷重(動的力、動的荷重)を発生させる。すなわち、プローブ4への通電により、圧電素子52が所定の加振周波数にて振動し、軟骨Jに対して振動荷重を付与する。それにより、軟骨Jの動的粘弾性を評価し、その損傷度合い(変性度)を断層可視化する。
図16は、第2実施例に係る変性度合い演算提示処理を詳細に示すフローチャートである。この処理は、第1実施例の図15に示した処理に置き換えて実行される。制御演算部6は、駆動部38を駆動して軟骨Jに動的荷重(動的力、振動荷重)を付与する一方で、図14および図16に示す処理を実行する。
なお、本実施例では、図14に示すS24の処理において、上記式(7)に代えて、下記式(16)を用いた輝度分布の定式化を行う。
δf/δt=δf/δx・Δx+δf/δy・Δy+δf/δz・Δz ・・・(16)
そして図16に示すように、変性度合い演算提示処理において、制御演算部6は、時空間移動最小二乗法により、S34にて算出した変形速度ベクトル分布の平滑化を実行する(S240)。そして、その平滑化された変形速度ベクトルに対してフーリエ変換を行う(S242)。それにより、変形速度ベクトルにおいてプローブ4の加振周波数ωに同期する成分のみを抽出するバンドパス・フィルタ処理を実行する(S244)。その後、フーリエ逆変換により、加振周波数成分の変形速度ベクトルUω(x,z,t),Wω(x,z,t)の断層分布を演算する(S246)。ここで、Uω(x,z,t)は変形速度ベクトルのz方向成分であり、Wω(x,z,t)は変形速度ベクトルのx方向成分である。Wω(x,z,t)は、例えば下記式(17)の形で表すことができる。
ω(x,z,t)=Aω(x,z)sin(ωt+Φω(x,z)) ・・・(17)
続いて、圧電素子52の変位情報から、加振周波数成分に係る変形速度ベクトルの規格化振幅A'ω(x,z)と位相差Φω(x,z)の断層分布を算出する(S248)。ここで、規格化振幅A'ω(x,z)は、振幅Aω(x,z)を圧電素子52の変位情報Wpzt(t)=Apztsin(ωt)の振幅Apztにて除算することにより得られる。なお、変形例においては、規格化振幅A'ω(x,z)および位相差Φω(x,z)を最小二乗法により直接算出してもよい。
続いて、規格化振幅A'ω(x,z)および位相差Φω(x,z)の少なくとも一方の断層分布に基づいて軟骨の動的粘弾性を演算する(S250)。そして、演算された動的粘弾性に基づいて軟骨組織の損傷度合いを断層可視化する(S48)。
なお、この動的粘弾性の評価法については種々考えられる。規格化振幅A'ω(x,z)の断層分布に基づいて粘弾性評価を行う場合、以下のように評価できる。すなわち、規格化振幅A'ω(x,z)が大きい箇所は動的粘弾性率が小さくなる。すなわち、規格化振幅A'ω(x,z)は、軟骨において奥行き方向の剛性が低い表層では相対的に大きくなり、中層では相対的に小さくなる。軟骨の変性が進行すると、表層の奥行き方向の剛性がさらに低くなるため、規格化振幅A'ω(x,z)はさらに大きくなると考えられる。
位相差Φω(x,z)の断層分布に基づいて粘弾性評価を行う場合には、位相接続処理(アンラッピング処理)を施してもよい。この場合、以下のように評価できる。すなわち、奥行き方向の位相差Φω(x,z)は、軟骨の表面ではゼロであり、表層ではその表層の粘弾性効果により深部に向かうにしたがって徐々に大きくなる。つまり、位相が遅れていく。変性軟骨では、表層の粘性特性が損なわれるため、奥行き方向の位相差Φω(x,z)が小さくなる(つまり弾性挙動を示すようになる)。
位相差Φω(x,z)の空間微分(∂Φω/∂z)の大きさにより変性度を診断することもできる。∂Φω/∂zが大きい箇所は変性度が低く(つまり正常)、∂Φω/∂zが小さい箇所は変性度が高いといえる(つまり粘性効果が損なわれている)。このような知見のもと、軟骨組織の損傷度合いを断層可視化することができる。
以上、本発明の好適な実施例について説明したが、本発明はその特定の実施例に限定されるものではなく、本発明の技術思想の範囲内で種々の変形が可能であることはいうまでもない。
上記第1実施例では、ひずみ速度の減衰係数を演算し、軟骨の損傷度合いと等価として断層可視化する例を示した。変形例においては、変形速度の減衰係数を演算し、軟骨の損傷度合いと等価として断層可視化してもよい。
上記第2実施例では、規格化振幅A'ω(x,z)と位相差Φω(x,z)から粘弾性評価を行う例を示したが、これら規格化振幅A'ω(x,z)および位相差Φω(x,z)から粘弾性物理量を表現する値を新たに定義し、それに基づいて粘弾性評価を行ってもよい。
上記第2実施例では、図16に示した変性度合い演算提示処理において、変形速度ベクトルの断層分布に基づいて軟骨の粘弾性を評価することとした。変形例においては、ひずみ速度テンソルの断層分布を演算し、それに基づいて同様に軟骨の粘弾性を評価し、断層可視化してもよい。このひずみ速度テンソルは、変形速度ベクトルを空間微分することにより算出することができる。
上記第2実施例では明示しなかったが、プローブ4にロードセルなどのセンサを取り付け、軟骨に付与する荷重を計測できる構成としてもよい。これにより、軟骨組織の複素弾性率(貯蔵弾性率、損失弾性率、複素粘性率等)を算出することができ、規格化振幅A'ω(x,z)と位相差Φω(x,z)から粘弾性評価をするための物理量を定義し易くなる。
上記実施例では述べなかったが、「力学特徴量」として、ひずみ速度の振幅値やひずみ速度の時間遅れ(位相遅れ)を採用してもよい。すなわち、上述した動的粘弾性法を例に挙げると、応力の負荷および緩和を繰り返す過程でひずみ速度が正の値と負の値を行き来するように変動する。この負荷の変動に追従するように、ひずみ速度も変動するようになる。この点につき、その負荷変動に対する、ひずみ速度の変動の大きさ(振幅値)とひずみ速度変動の追従性(応答性)が、軟骨の損傷度合いに対応して変化する傾向がある。具体的には、軟骨の損傷度合いが進むほど、ひずみ速度の振幅値は大きくなり、時間遅れ(位相遅れ)は小さくなる傾向にある。そこで、そのひずみ速度の振幅値や時間遅れ(位相遅れ)について断層分布を演算してもよい。その振幅や時間遅れ(位相遅れ)の断層分布を、軟骨組織の損傷度合いの分布と等価として断層可視化させてもよい。
あるいは、「力学特徴量」として、ひずみ速度の周期的な変動の中央値を採用してもよい。すなわち、上述した動的粘弾性法を例に挙げると、応力の負荷および緩和を繰り返す過程でひずみ速度が正の値と負の値を行き来するように変動する。そのひずみ速度の変動の中心は、粘性力と弾性力との釣り合いから、ゼロからややずれる傾向がある。そして、そのずれ量が、軟骨の損傷度合いに対応して変化する傾向がある。そこで、ひずみ速度の変動中心(中央値)のゼロからのずれ量について断層分布を演算してもよい。そのずれ量の断層分布を、軟骨組織の損傷度合いの分布と等価として断層可視化させてもよい。
上記実施例では、軟骨に所定の変形エネルギー(負荷)を付与するための負荷装置として、圧電素子等の接触により応力を付与する荷重機構を例示した。変形例においては、超音波(音圧)、光音響波、電磁波等によって非接触にて軟骨に負荷(加振力)を付与する負荷装置を採用してもよい。
なお、本発明は上記実施例や変形例に限定されるものではなく、要旨を逸脱しない範囲で構成要素を変形して具体化することができる。上記実施例や変形例に開示されている複数の構成要素を適宜組み合わせることにより種々の発明を形成してもよい。また、上記実施例や変形例に示される全構成要素からいくつかの構成要素を削除してもよい。
【0007】
Tの光学系を含む光学ユニットに接続されることにより、所定の対象部位の診断を可能とする診断用プローブとして構成されてもよい。このプローブは、対象部位に当接可能に構成された先端部と、光学ユニットからの光を対象部位に導いて走査させるための光学機構と、対象部位に対して所定の変形エネルギー(応力)を負荷するための荷重機構(負荷装置)とを備える。
[0024]
また、上記技術を利用した軟骨診断方法を構築してもよい。この方法は、軟骨に対して所定の変形エネルギー(荷重)を負荷するステップと、変形エネルギーの付与(荷重の負荷)に応じた軟骨の変形度合いを光コヒーレンストモグラフィーにより断層画像として表示させるステップと、断層画像に基づいて軟骨組織の損傷度合いを診断するステップとを備えるものでよい。
[0025]
以下、図面を参照しつつ本発明を具体化した実施例について詳細に説明する。
[第1実施例]
図1は、第1実施例に係る軟骨診断装置の構成を概略的に表す図である。図2は、軟骨診断装置を構成する診断プローブの構成を概略的に表す図である。本実施例の軟骨診断装置は、診断対象である関節軟骨に所定の応力を負荷し、その応力に対する軟骨組織の変形度合いを断層可視化することにより、軟骨組織の損傷度合い(変性度)を診断可能とするものである。この断層可視化にOCTを利用する。
[0026]
図1に示すように、軟骨診断装置1は、OCTを用いる光学系を含む光学ユニット2、光学ユニット2に接続される診断用のプローブ4、OCTにより得られた光干渉データに基づいて軟骨組織の損傷度合いを演算する制御演算部6、および軟骨組織の損傷度合いを断層可視化する態様で表示する表示装置8を備える。図示の例では、光学ユニット2としてマッハツェンダー干渉計をベースとした光学系が示されているが、マイケルソン干渉計その他の光学系を採用することもできる。
[0027]
本実施例では、OCTとして波長走査型レーザを光源とするSS−OCT(Swept Source OCT)を用いるが、TD−OCT(Time Domain OCT)、SD

Claims (8)

  1. 関節軟骨を診断するための軟骨診断装置であって、
    光コヒーレンストモグラフィーを用いる光学系を含む光学ユニットと、
    前記光学ユニットに接続される一方、先端部が関節腔に挿入可能に構成され、前記光学ユニットからの光を軟骨に導いて走査させるための光学機構と、軟骨に対して所定の変形エネルギーを付与するための負荷装置とを含むプローブと、
    前記負荷装置および前記光学機構の駆動を制御し、それらの駆動に基づいて前記光学ユニットから出力された光干渉信号を処理し、変形エネルギーの付与による軟骨内部の変形に伴う所定の力学特徴量の変化をその軟骨の断層位置に対応づけて演算し、その力学特徴量の変化に基づいて軟骨組織の損傷度合いを演算する制御演算部と、
    前記軟骨組織の損傷度合いを断層可視化する態様で表示する表示装置と、
    を備えることを特徴とする軟骨診断装置。
  2. 前記制御演算部は、
    前記負荷装置の駆動により軟骨に所定の荷重を負荷した後に応力緩和させ、
    その応力緩和中に前記光学ユニットにより撮影された前後の断層画像データに基づき、軟骨の断層位置に対応した変形速度ベクトルを前記力学特徴量として演算し、その変形速度ベクトルの変化から得られる減衰係数の断層分布を、前記軟骨組織の損傷度合いの分布と等価として断層可視化させることを特徴とする請求項1に記載の軟骨診断装置。
  3. 前記制御演算部は、前記力学特徴量として演算した変形速度ベクトルを空間微分することによりひずみ速度テンソルを演算し、そのひずみ速度の減衰係数の断層分布を前記軟骨組織の損傷度合いの分布と等価として断層可視化させることを特徴とする請求項2に記載の軟骨診断装置。
  4. 前記制御演算部は、順次取得する断層画像データの相互相関、輝度勾配の変位および輝度パターンの変形に基づき前記変形速度ベクトルをサブピクセル精度にて演算することを特徴とする請求項2または3に記載の軟骨診断装置。
  5. 前記制御演算部は、
    前記負荷装置の駆動により軟骨に所定の動的力を負荷し、
    その動的力による軟骨の振動中に前記光学ユニットにより撮影された前後の断層画像データに基づき、軟骨の各断層位置における変形速度ベクトルを前記力学特徴量として演算し、その変形速度ベクトルのうち加振周波数成分である特定変形速度ベクトルの振幅および位相差の少なくとも一方に基づき軟骨の粘弾性の断層分布を演算し、その粘弾性の断層分布を前記軟骨組織の損傷度合いの分布と等価として断層可視化させることを特徴とする請求項1に記載の軟骨診断装置。
  6. 前記制御演算部は、
    前記負荷装置の駆動により軟骨に所定の動的力を負荷し、
    その動的力による軟骨の振動中に前記光学ユニットにより撮影された前後の断層画像データに基づき、軟骨の各断層位置におけるひずみ速度テンソルを前記力学特徴量として演算し、そのひずみ速度テンソルのうち加振周波数成分である特定ひずみ速度テンソルの振幅および位相差の少なくとも一方に基づき軟骨の粘弾性の断層分布を演算し、その粘弾性の断層分布を前記軟骨組織の損傷度合いの分布と等価として断層可視化させることを特徴とする請求項1に記載の軟骨診断装置。
  7. 前記負荷装置が、軟骨に付与される力又は荷重を計測可能なセンサを含み、
    前記制御演算部は、
    演算された前記力学特徴量の加振周波数成分の振幅および位相差の少なくとも一方と、前記センサによる計測値に基づき軟骨の粘弾性の断層分布を演算し、その粘弾性の断層分布を前記軟骨組織の損傷度合いの分布と等価として断層可視化させることを特徴とする請求項5または6に記載の軟骨診断装置。
  8. 光コヒーレンストモグラフィーを用いる光学系を含む光学ユニットに接続されることにより、対象部位の診断を可能とする診断用プローブであって、
    前記対象部位に当接可能に構成された先端部と、
    前記光学ユニットからの光を軟骨に導いて走査させるための光学機構と、
    前記対象部位に対して所定の変形エネルギーを付与するための負荷装置と、
    を備えることを特徴とする診断用プローブ。
JP2016545485A 2014-08-26 2015-08-21 軟骨診断装置および診断用プローブ Active JP6623163B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014171822 2014-08-26
JP2014171822 2014-08-26
PCT/JP2015/073485 WO2016031697A1 (ja) 2014-08-26 2015-08-21 軟骨診断装置および診断用プローブ

Publications (2)

Publication Number Publication Date
JPWO2016031697A1 true JPWO2016031697A1 (ja) 2017-07-06
JP6623163B2 JP6623163B2 (ja) 2019-12-25

Family

ID=55399590

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016545485A Active JP6623163B2 (ja) 2014-08-26 2015-08-21 軟骨診断装置および診断用プローブ

Country Status (2)

Country Link
JP (1) JP6623163B2 (ja)
WO (1) WO2016031697A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018212115A1 (ja) * 2017-05-15 2018-11-22 公立大学法人大阪市立大学 組織の粘弾性を断層可視化する装置および方法
JP2022076601A (ja) * 2020-11-10 2022-05-20 学校法人 名城大学 Octを利用した軟骨診断装置
CN112535481B (zh) * 2020-11-24 2022-11-01 华中科技大学 一种基于近红外光的关节接触力测量方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006110116A (ja) * 2004-10-15 2006-04-27 Yamaguchi Univ 関節内光プローブ
JP2007244533A (ja) * 2006-03-14 2007-09-27 Yamaguchi Univ 歪分布計測システムと弾性率分布計測システム及びそれらの方法
WO2008108054A1 (ja) * 2007-03-05 2008-09-12 Yamaguchi University 超音波診断装置
US20100256504A1 (en) * 2007-09-25 2010-10-07 Perception Raisonnement Action En Medecine Methods and apparatus for assisting cartilage diagnostic and therapeutic procedures

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006110116A (ja) * 2004-10-15 2006-04-27 Yamaguchi Univ 関節内光プローブ
JP2007244533A (ja) * 2006-03-14 2007-09-27 Yamaguchi Univ 歪分布計測システムと弾性率分布計測システム及びそれらの方法
WO2008108054A1 (ja) * 2007-03-05 2008-09-12 Yamaguchi University 超音波診断装置
US20100256504A1 (en) * 2007-09-25 2010-10-07 Perception Raisonnement Action En Medecine Methods and apparatus for assisting cartilage diagnostic and therapeutic procedures

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
峯松孝幸 他: ""Dynamic Optical Coherence Straingraphy を用いた変性関節軟骨におけるマイクロ力学断層診断法の考察"", 第25回バイオエンジニアリング講演会論文集, JPN6019013320, January 2013 (2013-01-01), pages 295 - 296, ISSN: 0004015760 *

Also Published As

Publication number Publication date
JP6623163B2 (ja) 2019-12-25
WO2016031697A1 (ja) 2016-03-03

Similar Documents

Publication Publication Date Title
JP6245590B1 (ja) 皮膚診断装置、皮膚状態出力方法、プログラムおよび記録媒体
Kirby et al. Optical coherence elastography in ophthalmology
Ambroziński et al. Acoustic micro-tapping for non-contact 4D imaging of tissue elasticity
Larin et al. Optical coherence elastography–OCT at work in tissue biomechanics
Mulligan et al. Emerging approaches for high-resolution imaging of tissue biomechanics with optical coherence elastography
Sun et al. Optical coherence elastography: current status and future applications
Zvietcovich et al. Comparative study of shear wave-based elastography techniques in optical coherence tomography
Li et al. Simultaneously imaging and quantifying in vivo mechanical properties of crystalline lens and cornea using optical coherence elastography with acoustic radiation force excitation
Nguyen et al. Diffuse shear wave imaging: toward passive elastography using low-frame rate spectral-domain optical coherence tomography
US11206986B2 (en) Miniature quantitative optical coherence elastography using a fiber-optic probe with a fabry-perot cavity
Zhu et al. Acoustic radiation force optical coherence elastography for elasticity assessment of soft tissues
JP7154542B2 (ja) 組織の粘弾性を断層可視化する装置および方法
JP6623163B2 (ja) 軟骨診断装置および診断用プローブ
Kirkpatrick et al. High resolution imaged laser speckle strain gauge for vascular applications
Liu et al. Point-to-point optical coherence elastography using a novel phase velocity method
Singh et al. Surface wave elastography using high speed full-field optical interferometry
US11406258B2 (en) System and method to measure tissue biomechanical properties without external excitation
Zvietcovich Dynamic optical coherence elastography
Hammelef et al. New forays into measurement of ocular biomechanics
Zaitsev et al. Quantitative Mapping of Strains and Young Modulus Based on Phase-Sensitive OCT
Chin et al. Optical Coherence Elastography Techniques
WO2022102558A1 (ja) Octを利用した軟骨診断装置
Shajan et al. 3D heartbeat optical coherence elastography to map the elasticity of the cornea
Qu et al. Acoustic Radiation Force Optical Coherence Elastography
Song et al. Special Section on Optical Elastography and Measurement of Tissue Biomechanics: Shear modulus imaging by direct visualization of propagating shear waves with phase-sensitive optical coherence tomography

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A5211

Effective date: 20161025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170502

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180724

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190416

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190612

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190730

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20190730

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191125

R150 Certificate of patent or registration of utility model

Ref document number: 6623163

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250