JP2008194456A - 医用画像処理装置および医用画像処理方法 - Google Patents

医用画像処理装置および医用画像処理方法 Download PDF

Info

Publication number
JP2008194456A
JP2008194456A JP2008007033A JP2008007033A JP2008194456A JP 2008194456 A JP2008194456 A JP 2008194456A JP 2008007033 A JP2008007033 A JP 2008007033A JP 2008007033 A JP2008007033 A JP 2008007033A JP 2008194456 A JP2008194456 A JP 2008194456A
Authority
JP
Japan
Prior art keywords
region
policy
malignancy
medical image
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008007033A
Other languages
English (en)
Other versions
JP5197029B2 (ja
Inventor
Hitoshi Yamagata
仁 山形
Sumiaki Matsumoto
純明 松本
Ryoji Ono
良治 大野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kobe University NUC
Canon Medical Systems Corp
Original Assignee
Kobe University NUC
Toshiba Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kobe University NUC, Toshiba Medical Systems Corp filed Critical Kobe University NUC
Priority to JP2008007033A priority Critical patent/JP5197029B2/ja
Publication of JP2008194456A publication Critical patent/JP2008194456A/ja
Application granted granted Critical
Publication of JP5197029B2 publication Critical patent/JP5197029B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

【課題】 異常候補領域に関する適切な検査治療方針を適切に判定することにより、医師による医用画像診断を支援する。
【解決手段】 画像データ処理部14は、被検体の内部を表す画像に含まれる解剖学的な異常であり得る異常候補領域に関する特徴を表す特徴量と、異常候補領域に連続した周辺領域に関する特徴を表す特徴量とに基づいて異常候補領域の解剖学的な悪性度を判定する。画像データ処理部14は、悪性度に基づいて異常候補に対する検査方針または治療方針を決定する。方針表示部16は、決定された検査方針または治療方針を利用者に提示する。
【選択図】 図1

Description

本発明は、X線コンピュータ断層撮影装置、X線診断装置、磁気共鳴診断装置、あるいは超音波診断装置などの医用画像診断モダリティを用いて収集された3次元画像に基づく結節状異常または瘤状異常のような解剖学的異常についての診断を支援するための医用画像処理装置および医用画像処理方法に関する。
現在、日本国で肺癌は悪性腫瘍死の第一位を占めると共に増加の一途を辿っており、喫煙対策による予防と並んで早期発見への社会的な要請が強い。日本国の各自治体では胸部単純X線写真と喀痰細胞診による肺癌検診が施行されているが、1998年に出された日本国旧厚生省の「癌検診有効性評価に関する研究班」の報告では、現行の肺癌検診では効果があるとしても小さいと結論されている。X線コンピュータ断層撮影法(以下、CTと記す)では胸部単純X線写真よりも容易に肺野型肺癌を発見できるが、ヘリカルスキャン方式のCTが現れた1990年以前は撮像時間が長く検診に使用できなかった。しかしヘリカルCTが登場して間もなく被曝を低減するために比較的低いX線管電流で撮像する方法(以下、低線量ヘリカルCTと記す)が開発され、これを用いた肺癌検診のパイロット研究が日本国および米国で行われた。その結果、低線量ヘリカルCTが胸部単純X線写真を大きく上回る肺癌検出率を有することが実証されている。
一方、ヘリカルCTの撮像に要する時間は1998年以降のCT検出器の多列化によって短縮され続けており、最新の多検出器列ヘリカルCTではほぼ等方的な1mm未満の解像度で肺全体を10秒未満で撮像可能である。このようなCTの技術革新は肺癌をより小さな段階で発見できる可能性を拓いているが、多検出器列ヘリカルCTは1回のスキャン当り数百枚の画像を生成するため、読影に要する負担が著しく増大するという問題も招いている。
上記の背景より、低線量ヘリカルCTが肺癌検診の方法として確立されるためには、肺癌の見落としを防ぐためのコンピュータによる読影支援診断システム(Computer Assisted Diagnosis:以下、CADと記す)が必要であることが広く認識されている。小さな肺野型肺癌はCT画像上で結節状異常として現れるため、このような異常の自動的検出(以下、CT肺結節自動検出と記す)は極めて重要なテーマであり、1990年代より様々な研究が行われてきた(例えば、非特許文献1を参照)。
さて、CADによって検出された結節候補の多くは、良性であることが報告されている。そのため結節候補が良性および悪性のいずれであるかの鑑別診断をコンピュータ支援することも重要であるとの認識で、幾つかの手法が発表されている(例えば、非特許文献2を参照)。
CT肺結節自動検出に対しては、何らかの方法で結節の候補となる領域(以下、結節候補領域と記す)を抽出し、この結節候補領域を特徴付ける複数の特徴量を求め、これら特徴量に基づいて結節候補領域が結節であるか否かを判定するというアプローチがとられる。しかしながら、結節は肺血管の一部と特徴が類似するため、結節候補領域を特徴付ける特徴量からでは、結節と肺血管とが的確に区別できないことがあった。
このような事情から、結節候補領域が結節であるか否かの最終的な判定は、依然として医師に委ねられている。通常この判定は断面表示画像だけの観察に基づいて行われる。しかし、この方式では3次元的形状を即座に把握できないために結節と肺血管の区別に手間取る場合があり、判定の効率が必ずしも良いとは言えない。
「David S. Paik,ほか7名,"Surface Normal Overlap: A Computer−Aided Detection Algorithm With Application to Colonic Polyps and Lung Nodules in Helical CT",IEEE TRANSACTIONS ON MEDICAL IMAGING, VOL.23, NO.6,2004年6月,p.661−675」 Kenji Suzukiほか3名,「Computer−Aided Diagnostic Scheme for Distinction Between Benign and Malignant Nodules in Thoracic Low−Dose CT by Use of Massive Training Artificial Neural Network」,IEEE TRANSACTION ON MEDICAL IMAGING, VOL.24, NO.9,2005年9月,p.1138−1150
以上のように従来は、異常候補領域に関する検査方針または治療方針の決定は、医師の主観によって行われており、必ずしも適正に行われていなかった。
本発明はこのような事情を考慮してなされたものであり、その目的とするところは、異常候補領域に関する適切な検査治療方針を適切に判定することにより、医師による医用画像診断を支援することにある。
本発明の第1の態様による医用画像処理装置は、被検体の内部を表す画像に含まれる解剖学的な異常であり得る異常候補領域に関する特徴を表す候補領域特徴量と、前記画像にて前記異常候補領域に連続した周辺領域に関する特徴を表す周辺領域特徴量とに基づいて前記異常候補領域の解剖学的な悪性度を判定する判定手段と、前記悪性度に基づいて前記異常候補に対する検査方針または治療方針を決定する決定手段と、前記決定手段で決定された検査方針または治療方針を利用者に提示する提示手段とを備える。
本発明の第2の態様による医用画像処理装置は、被検体の内部を表す画像に含まれる解剖学的な異常であり得る異常候補領域の解剖学的な悪性度を判定する判定手段と、前記悪性度に基づいて前記異常候補に対する検査方針または治療方針を決定する決定手段と、前記決定手段で決定された検査方針または治療方針を利用者に提示する提示手段とを備える。
本発明の第3の態様による医用画像処理方法は、被検体の内部を表す画像に含まれる解剖学的な異常であり得る異常候補領域に関する特徴を表す候補領域特徴量と、前記画像にて前記異常候補領域に連続した周辺領域に関する特徴を表す周辺領域特徴量とに基づいて前記異常候補領域の解剖学的な悪性度を判定し、前記悪性度に基づいて前記異常候補に対する検査方針または治療方針を決定し、決定された前記検査方針または治療方針を利用者に提示する。
本発明の第4の態様による医用画像処理方法は、被検体の内部を表す画像に含まれる解剖学的な異常であり得る異常候補領域の解剖学的な悪性度を判定し、前記悪性度に基づいて前記異常候補に対する検査方針または治療方針を決定し、決定された前記検査方針または治療方針を利用者に提示する。
本発明によれば、異常候補領域に関する適切な検査治療方針を適切に判定することにより、医師による医用画像診断を支援することが可能となる。
以下、図面を参照して一実施形態について説明する。
図1は本実施形態に係る医用画像処理装置1の構成を示す図である。
この図1に示す医用画像処理装置1は、マルチスライスCT2により取得された3次元画像データを処理対象とする。医用画像処理装置1は、図1に示すように、結節候補領域特定部11、拡張結節候補領域特定部12、判定部13、画像データ処理部14、画像表示部15および方針表示部16を含む。
この医用画像処理装置1は、例えば汎用のコンピュータ装置を基本ハードウェアとして用いることができる。そして結節候補領域特定部11、拡張結節候補領域特定部12、判定部13および画像データ処理部14は、上記のコンピュータ装置に搭載されたプロセッサに医用画像処理プログラムを実行させることにより実現することができる。このときに医用画像処理装置1は、上記の医用画像処理プログラムが上記のコンピュータ装置に予めインストールされて実現されても良いし、磁気ディスク、光磁気ディスク、光ディスク、半導体メモリなどのようなリムーバブルな記録媒体に記録して、あるいはネットワークを介して上記の医用画像処理プログラムを配布し、この医用画像処理プログラムを上記のコンピュータ装置にインストールして実現されても良い。なお、上記の各部は、その一部または全てをロジック回路などのハードウェアにより実現することも可能である。また上記の各部のそれぞれは、ハードウェアとソフトウェア制御とを組み合わせて実現することも可能である。画像表示部15および方針表示部16としては、例えばCRT(cathode−ray tube)表示器またはLCD(liquid crystal display)などの表示デバイスを利用できる。画像表示部15および方針表示部16のそれぞれとして別々の表示デバイスを用いても良い。あるいは、1つの表示デバイスを時分割に画像表示部15および方針表示部16のそれぞれとして利用しても良い。あるいは、1つの表示デバイスの表示画面の異なる領域を画像表示部15および方針表示部16のそれぞれとして利用しても良い。なお、画像表示部15および方針表示部16は、医用画像処理装置1には内蔵せずに、医用画像処理装置1に外付けされる汎用の表示デバイスを画像表示部15および方針表示部16として利用することもできる。
結節候補領域特定部11は、3次元画像データが表す3次元画像中で、結節であり得る領域(以下、結節候補領域と記す)を特定する。拡張結節候補領域特定部12は、3次元画像中で、上記の結節候補領域とそれに連続する周辺領域とからなる拡張結節候補領域を特定する。判定部13は、結節候補領域および周辺領域のそれぞれの特徴量に基づいて、結節候補領域が結節であるか否かを判定する。画像データ処理部14は、結節候補領域および周辺領域のそれぞれの特徴量に基づいて結節候補領域の悪性度を判定する。画像データ処理部14はさらに、判定した悪性度に基づいて検査方針および治療方針を判定する。マルチスライスCT2により取得された画像データと、判定部13により分析された特徴量に基づく3次元画像表示や断面表示を行うための表示データを生成する。なお、3次元画像表示のためには、ボリュームレンダリング(以下、VRと記す)などの手法が利用される。また、断面表示のためには、任意断面表示(以下、MPRと記す)法などの手法が利用される。また画像データ処理部14は、判定部13により判定された悪性度と検査方針および治療方針とを医師などの利用者に提示するための表示データを生成する。画像表示部15は、画像データ処理部14により生成された表示データに基づいて、医用画像の3次元画像表示や断面表示を行う。方針表示部16は、画像データ処理部14により生成された表示データに基づいて、悪性度と、検査方針および治療方針とを医師などの利用者に提示するための表示を行う。
次に以上のように構成された医用画像処理装置1の動作について説明する。
まず、結節候補領域特定部11による結節候補領域の特定と、拡張結節候補領域特定部12による拡張結節候補領域の特定とが行われる。拡張結節候補領域は、結節候補領域とそれに連続する周辺領域とからなるから、周辺領域は拡張結節候補領域から結節候補領域を除いた領域となる。判定部13は、結節候補領域および周辺領域のそれぞれの特徴量に基づいて結節候補領域が結節であるか否かを判定する。以上の処理には、特開2006−239005(U.S. Patent Application Serial No. 11/736,865)に開示された手法を利用する。特開2006−239005に開示された手法にあっては上記の処理の中で、結節および周辺の血管構造・気管支構造の位置を表す前景部が特定され、また結節候補領域をほぼ囲む楕円体モデルが生成される。なお本実施形態において拡張結節候補領域は、特開2006−239005に記載されている領域よりも大きな領域としても良い。
更に本出願人らにより既に出願された特願2006−159423(U.S. Patent Application Serial No. 11/758,907)に記載の方法で、判定部13によって結節であると判定された結節候補領域における領域情報、領域位置情報、楕円体モデル、ならびに結節および周辺の血管構造・スピキュラ・気管支構造を表す前景部情報などを生成しても良い。
なお、U.S. Patent Application Serial No. 11/736,865およびU.S. Patent Application Serial No. 11/758,907の記載はここに組み入れられる。
続いて画像データ処理部14は、結節であると判定された結節候補領域を対象として、図2に示す処理を実行する。
図2は悪性度の算出および検査方針および治療方針の判定のための処理の概略を示すフローチャートである。
ステップS1において画像データ処理部14は、判定部13により結節であると判定された結節候補を1つ選択する。
ステップS2において画像データ処理部14は、図3に示すように結節候補21とその周辺構造22とを含む関心領域(volume of interest:以下、VOIと記す)23を選択する。具体的には、判定部13にて結節候補21に対して生成された楕円体モデル24の中心をVOI23の中心と定める。そして、楕円体モデル24の3つの主軸の平均長、あるいは最長軸長の数倍(例えば3倍)の長さを1辺とする立方体を定め、これをVOI23とする。なおVOIは、楕円体モデル24の3つの主軸の平均長、あるいは最長軸長の数倍(例えば3倍)の長さを直径とする球体として定めても良い。そして画像データ処理部14は、VOI23の中に位置し、かつ前景領域に相当する画像情報(画像輝度値)を3次元画像データから抽出する。この時、結節候補が肺野におけるどの部位であるか、つまり肺門部から末梢部までのどこに位置するかをCADの処理の前段階で得られるセグメンテーションされた肺領域情報からを算出しておく。
ステップS3において画像データ処理部14は、後述するステップS4,S5の前処理を行う。まずステップS31において画像データ処理部14は、VOI23内の棒状構造の強調処理を行う。すなわち、図4(a)に示すように、前景領域には血管だけでなく気管壁や肺葉間膜などの構造が含まれている。そこで画像データ処理部14は、図4(b)に示すように、棒状の構造を有する血管やスピキュラのみを強調した棒状構造強調画像を生成する。この強調処理には、Hessian行列における固有値を利用したHessianフィルタと呼ばれる既知の手法を利用することができる。あるいは、ある一定の画素値を閾値として血管やスピキュラの構造物抽出を行い、それを棒状構造強調画像としても良い。なお図4では、肺内部全体の前景領域画像および棒状構造強調画像をそれぞれ示しているが、ステップS3での処理対象はVOI内の前景領域に相当する画像のみである。ただし、ステップS1の前にこの棒状構造の強調処理を行って図4(b)に示すような棒状構造強調画像を得るようにしても良い。
次にステップS32において画像データ処理部14は、結節境界面を抽出する。具体的には、まず画像データ処理部14は図5(a)に示すように、棒状構造強調画像に現れている結節候補21と棒状構造25とに対して距離変換法を用い、これにより得られる距離変換画像の最大値を繋いだ線として中心線26を求める。次に画像データ処理部14は、棒状構造強調画像を用いて、図5(a)に示すように結節候補21の中心、すなわち楕円体モデル24の中心24aから、3次元的な球状での領域拡張法を用いて図5(b)のように結節候補21の境界を抽出する。順次、球状領域の表面(以下、球状表面と記す)27を拡張する際に、その球状表面27の輝度値の変化率がある閾値を越えた場合にその点を境界として図5(b)のように認識していく。上記の処理の結果として、結節候補と血管である棒状構造との分離が行えることから、結節候補部分のみを表す境界面が求められることになる。そこで画像データ処理部14は、その境界面を用いて結節候補の形状や体積を求める。
ステップS4において画像データ処理部14は、結節に連結した棒状構造(以下、棒状連結構造と記す)の特徴パラメータを分析する。具体的には、まずステップS41において画像データ処理部14は図5(c)に示すように、球状表面27のうちで棒状構造25と重なり、かつ中心線26を含む部分(以下、球状小領域と記す)28を検出する。そして、球状小領域28の検出を球状表面27を順次拡張しつつ行うことによって棒状連結構造を追尾して行く。棒状連結構造は血管、あるいは結節の一部とみなせるスピキュラであるが、スピキュラはその長さが2cm以下であることの知見を利用して棒状連結構造の長さから血管を識別する。このようにして結節に連結する結節連結血管を抽出する。図6に結節と結節連結血管の抽出例を示す。
次いでステップS42において画像データ処理部14は、結節連結血管の個数および結節連結血管の結節への連結角度を表す量を特徴パラメータとして分析する。なお、結節連結血管の結節への連結角度は、結節連結血管の楕円体モデル曲面に対する角度に近似する。そこで画像データ処理部14は図7に示すように、楕円体モデル表面と中心線26との交点を基点として、その基点における楕円体接面に対して結節候補から外向きの法線ベクトル29と結節連結血管の中心線26上の各点の方向ベクトル30との内積値を特徴パラメータとして分析する。また、これらの特徴パラメータの過去画像からの変化分もあれば、それも特徴パラメータとして分析する。
ステップS5において画像データ処理部14は、結節部分の特徴パラメータを分析する。具体的には画像データ処理部14は、ステップS32で得られた結節境界面の情報を用いて、結節の体積、球状性(あるいはコンパクトネスとも呼ばれる)、棒状構造から識別された結節の一部と見なせるスピキュラの個数、ならびに結節内部の輝度値(HU値など)ヒストグラムパターンなどを特徴パラメータとして分析する。また、これらの特徴パラメータの過去画像からの変化分もあれば、それも特徴パラメータとして分析する。
ステップS6において画像データ処理部14は、ステップS4,S5で得られた複数の特徴パラメータを用いて結節候補の悪性・良性の度合い、すなわち悪性度を算出する。具体的には画像データ処理部14は、ステップS4,S5で得られた複数の特徴パラメータを入力値とし、既存のニューラルネットワーク手法または教師付きニューラルネットワークモデルによって、結節の悪性度の総合判断を行い数値として表す。教師付きニューラルネットワークモデルとしては、support vector machine(SVM)(C. J.C. Burges, "A Tutorial on Support Vector Machines for Pattern Recognition”, Data Mining and Knowledge Discovery 2:121 − 167, 1998を参照)を利用可能である。また教師値としては、既知の悪性度を表す特徴パラメータの閾値などを利用可能である。あるいは悪性度を表すカテゴリー別、例えば結節連結血管に関する特徴パラメータ(以下、連結構造系特徴パラメータと称する)および結節部分に関する特徴パラメータ(以下、結節系特徴パラメータと称する)の二つに分類して、各々の悪性度を数値化しても良い。また、特徴パラメータの数値そのものを悪性度として利用しても良い。
ステップS7において画像データ処理部14は、悪性度の数値のみから、あるいは上記の抽出された複数の特徴パラメータや結節候補の肺野における位置情報などとの組み合わせから、検査方針および治療方針の提示を行う。この検査方針および治療方針は、既に学会などから報告されているガイドラインに合うように定型化することもでき、あるいは各施設毎にカスタマイズを行っても良い。上記のガイドラインとしては例えば、Daniel M. Libbyほか5名, 「Managing the Small Pulmonary Nodule Discovered by CT」, Chest, Vol.125, No.4, 2004年、pp.1522-1529や、Herber MacMahonほか7名, 「Guidelines for Management of Small Pulmonary Nodules Detected on CT Scans: A Statement from the Fleischner Society」, Radiology, Vol.237, No.2, 2005年、pp.395-400などの文献にて報告されたものがある。具体的には画像データ処理部14は、ステップS6で得られた悪性度を用いて、たとえば単一の悪性度の場合には図8に示すような対応表に基づいて検査方針および治療方針を提示する。あるいは複数のパラメータ系(ここでは結節連結血管特徴パラメータ系および結節部分特徴パラメータ系の二つに分類)の悪性度の場合には、図9に示すようなマトリクス関係表に基づいて検査方針および治療方針を選択して提示する。また、特徴パラメータの数値そのものを悪性度として表した多次元マトリクス関係表から検査方針および治療方針を選択して提示しても良い。また、対応表やマトリクス関係表から選択するのではなく、ニューラルネットワーク手法などを利用して検査方針および治療方針を決定しても良い。
このように本実施形態によれば、結節候補の特徴のみならず、その周辺領域の特徴をも考慮して結節候補の悪性度を算出するため、結節候補の特徴のみを考慮する場合に比べて悪性度を適切に判断することができる。そして本実施形態によれば、このようにして判断した悪性度に基づいて検査方針および治療方針を提示するので、医師の経験や見識の違いに左右されることなく、科学的根拠に基づいた適切な診断が可能になる。
また本実施形態によれば、悪性度の算出のために、法線ベクトル29と方向ベクトル30との内積値を考慮している。この内積値は、結節連結血管の楕円体モデル曲面に対する角度が垂直に近いほど大きくなる。悪性の結節は、血管を引き込むために、血管が結節に対してほぼ垂直に連結される。さらに結節は、悪性度が高いほど遠くから血管を引き込む。従って、悪性度の高い結節に連結した血管は、結節の近くの点のみならず、結節から離れた点についての方向ベクトル30も法線ベクトル29と似た向きになる。すなわち、悪性度が高い結節の場合には、上記の内積値がさらに大きくなる。このため、上記の内積値は、結節の悪性度を判断するために非常に有用な情報であり、この様な情報を考慮していることによって結節の悪性度をこれまでよりも適切に判断することができる(平野靖ほか5名, 「胸部X線CT像における血管・気管支収束の3次元集中度を用いた定量化」, MEDICAL IMAGING TECHNOLOGY Vol.15, No.3, 1997年、pp.228-236を参照)。
またこのように内積値は悪性度に応じて変化することから、内積値の経時変化に着目することで結節の悪化の度合いを適切に判断することができる。
さらに本実施形態によれば、楕円体モデル24を基準として法線ベクトル29を定めているため、結節候補の表面が滑らかでなくとも、血管の連結方向を分析するために適切な法線ベクトル29を容易に定めることが可能である。
この実施形態は、次のような種々の変形実施が可能である。
(1) 図10に示すように、結節系の1つ以上の特徴パラメータと連結構造系の1つ以上の特徴パラメータとからニューラルネットワークや教師付きニューラルネットワークモデルなどの手法を利用して直接的に検査方針および治療方針の提示内容を決定しても良い。
(2) 結節に関する特徴パラメータおよび連結構造に関する特徴パラメータはある検査時に分析される数値情報であるが、悪性度を更に精度良く決定するにはそれぞれの特徴パラメータの経時変化を個別に観察することも重要である。
そこで、肺野全体として過去画像と現在画像とについて必ず対応がとれる気管支の主分岐および第1分岐の分岐点の対応を決定する。この結果を基準として、気管支の周辺の分岐や血管の分岐点のランドマークを対応付けて、画像歪補正も含めて位置合わせを行う。この上で、図11に示すように、過去画像と現在画像とにおいて結節の経時変化分や周辺構造の経時変化分を算出する。
例えば、結節の経時変化で最も重要な結節の大きさ、あるいは結節の内部構造変化を差分画像から抽出して、それぞれ、特徴パラメータの変化、特徴パラメータの新規生成として記録する。周辺構造の経時変化分においては、スピキュラの新たな発生などの指標として、特徴パラメータの個数の増減などを記録する。
これら検査時のパラメータと経時変化としての特徴パラメータの変化(大きさなどのように数値の変化、スピキュラなどのように特徴パラメータの個数の変化など)とを入力として、図12のようにニューラルネットワークや教師付きニューラルネットワークモデルの手法を利用して直接的に検査方針および治療方針の提示内容を決定しても良い。
(3) 検査方針および治療方針の提示は、上記の内積値を考慮しないで従来と同様にして算出された悪性度に基づいて行うことも有効である。
(4) 検査方針および治療方針のいずれか一方のみを決定、あるいは提示しても良い。
(5) 前記各実施形態では、マルチスライスCT2により取得される3次元画像を処理対象としているが、X線診断装置、磁気共鳴診断装置、あるいは超音波診断装置などの他の診断モダリティを用いて収集された3次元画像を処理対象としても良い。
(6) ステップS1における結節候補領域の選択は自動では行わず、ユーザにより指定された結節候補領域についての判定を行うようにしても良い。
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。
一実施形態に係る医用画像処理装置1の構成を示す図。 悪性度の算出と検査方針および治療方針の判定のための処理の概略を示すフローチャート。 VOIの一例を示す図。 棒状構造の強調処理を行う前の前景領域画像と強調処理により得られた棒状構造強調画像との一例を示す図。 結節境界面および棒状連結構造の抽出処理を説明する図。 結節と結節連結血管の抽出例を示す図。 法線ベクトルおよび方向ベクトルの一例を示す図。 悪性度と検査方針および治療方針との対応表の一例を示す図。 結節連結血管特徴パラメータ系および結節部分特徴パラメータ系の二つの悪性度と検査方針および治療方針との関係を示したマトリクス関係表の一例を示す図。 検査方針および治療方針の判定処理の変形例を示す図。 結節や周辺構造の経時変化の様子の一例を示す図。 検査方針および治療方針の判定処理の変形例を示す図。
符号の説明
1…医用画像処理装置、11…結節候補領域特定部、12…拡張結節候補領域特定部、13…判定部、14…画像データ処理部、15…画像表示部、16…方針表示部。

Claims (13)

  1. 被検体の内部を表す画像に含まれる解剖学的な異常であり得る異常候補領域に関する特徴を表す候補領域特徴量と、前記画像にて前記異常候補領域に連続した周辺領域に関する特徴を表す周辺領域特徴量とに基づいて前記異常候補領域の解剖学的な悪性度を判定する判定手段と、
    前記悪性度に基づいて前記異常候補に対する検査方針または治療方針を決定する決定手段と、
    前記決定手段で決定された検査方針または治療方針を利用者に提示する提示手段とを具備したことを特徴とする医用画像処理装置。
  2. 前記画像中において前記異常候補領域を特定する第1の特定手段と、
    前記画像中において前記周辺領域を特定する第2の特定手段と、
    前記候補領域特徴量を計算する第1の計算手段と、
    前記周辺領域特徴量を計算する第2の計算手段とをさらに備えることを特徴とする請求項1に記載の医用画像処理装置。
  3. 前記第1の計算手段は、前記異常候補領域の陰影の度合いから前記異常候補領域の形状および大きさの少なくとも1つを前記候補領域特徴量として計算することを特徴とする請求項2に記載の医用画像処理装置。
  4. 前記第2の計算手段は、前記周辺領域に含まれかつ前記異常候補領域に連結した棒状構造についての特徴量を前記周辺領域特徴量として計算することを特徴とする請求項2に記載の医用画像処理装置。
  5. 前記第2の計算手段は、前記棒状構造の大きさ、形状および前記異常候補領域への連結角度のうちの少なくとも1つを前記周辺領域特徴量として計算することを特徴とする請求項4に記載の医用画像処理装置。
  6. 結節候補領域をほぼ囲む楕円体モデル表面に対する法線ベクトルと前記棒状構造の中心線上のいくつかの点における当該中心線の方向ベクトルとの内積値として前記連結角度を計算することを特徴とする請求項5に記載の医用画像処理装置。
  7. 前記第2の計算手段は、前記周辺領域の特徴の経時変化の度合いを表す特徴量を前記周辺領域特徴量として計算することを特徴とする請求項2に記載の医用画像処理装置。
  8. 前記第1の計算手段は、前記異常候補領域の形状型および大きさ、ならびに前記異常候補領域の特徴の経時変化の度合いを表す特徴量を前記周辺領域特徴量としてそれぞれ計算し、
    前記第2の計算手段は、前記周辺領域に含まれかつ前記異常候補領域に連結した棒状構造の特徴、ならびに前記周辺領域の特徴の経時変化の度合いを表す特徴量を前記周辺領域特徴量として計算し、
    前記判定手段は、前記第1の計算手段により計算された前記異常候補領域の形状型および大きさ、ならびに前記異常候補領域の特徴の経時変化の度合いと、前記第2の計算手段により計算された前記周辺領域に含まれかつ前記異常候補領域に連結した棒状構造の特徴、ならびに前記周辺領域の特徴の経時変化の度合いとに基づいて前記悪性度を判定することを特徴とする請求項2に記載の医用画像処理装置。
  9. 前記決定手段は、前記悪性度に基づいて、検査タイプ、次回検査までの期間および治療タイプの少なくとも1つを決定することを特徴とする請求項1に記載の医用画像処理装置。
  10. 被検体の内部を表す画像に含まれる解剖学的な異常であり得る異常候補領域の解剖学的な悪性度を判定する判定手段と、
    前記悪性度に基づいて前記異常候補に対する検査方針または治療方針を決定する決定手段と、
    前記決定手段で決定された検査方針または治療方針を利用者に提示する提示手段とを具備したことを特徴とする医用画像処理装置。
  11. 前記決定手段は、前記判定手段により判定された前記悪性度に基づいて、検査タイプ、次回検査までの期間および治療タイプの少なくとも1つを決定することを特徴とする請求項10に記載の医用画像処理装置。
  12. 被検体の内部を表す画像に含まれる解剖学的な異常であり得る異常候補領域に関する特徴を表す候補領域特徴量と、前記画像にて前記異常候補領域に連続した周辺領域に関する特徴を表す周辺領域特徴量とに基づいて前記異常候補領域の解剖学的な悪性度を判定し、
    前記悪性度に基づいて前記異常候補に対する検査方針または治療方針を決定し、
    決定された前記検査方針または治療方針を利用者に提示することを特徴とする医用画像処理方法。
  13. 被検体の内部を表す画像に含まれる解剖学的な異常であり得る異常候補領域の解剖学的な悪性度を判定し、
    前記悪性度に基づいて前記異常候補に対する検査方針または治療方針を決定し、
    決定された前記検査方針または治療方針を利用者に提示することを特徴とする医用画像処理方法。
JP2008007033A 2007-01-16 2008-01-16 医用画像処理装置 Active JP5197029B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008007033A JP5197029B2 (ja) 2007-01-16 2008-01-16 医用画像処理装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007007387 2007-01-16
JP2007007387 2007-01-16
JP2008007033A JP5197029B2 (ja) 2007-01-16 2008-01-16 医用画像処理装置

Publications (2)

Publication Number Publication Date
JP2008194456A true JP2008194456A (ja) 2008-08-28
JP5197029B2 JP5197029B2 (ja) 2013-05-15

Family

ID=39323996

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008007033A Active JP5197029B2 (ja) 2007-01-16 2008-01-16 医用画像処理装置

Country Status (4)

Country Link
US (1) US7869640B2 (ja)
EP (1) EP1947606A1 (ja)
JP (1) JP5197029B2 (ja)
CN (1) CN101231678B (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012000189A (ja) * 2010-06-15 2012-01-05 Toshiba Corp 医用画像診断装置、画像情報処理装置及び治療支援データ表示用制御プログラム
JP2012055493A (ja) * 2010-09-08 2012-03-22 Toshiba Corp 画像処理装置
JP2012147930A (ja) * 2011-01-19 2012-08-09 Toshiba Corp 医用画像処理装置、及び医用画像処理プログラム
JP2012187139A (ja) * 2011-03-08 2012-10-04 Toshiba Corp 画像処理装置
JP2012249964A (ja) * 2011-06-06 2012-12-20 Canon Inc 診療支援装置、診療支援方法
WO2014157706A1 (ja) * 2013-03-29 2014-10-02 株式会社 東芝 医用画像処理装置
US9396534B2 (en) 2014-03-31 2016-07-19 Toshiba Medical Systems Corporation Medical image processing apparatus and medical image processing system
JP2017012446A (ja) * 2015-06-30 2017-01-19 キヤノン株式会社 画像処理装置
WO2017037904A1 (ja) * 2015-09-02 2017-03-09 富士通株式会社 読影支援プログラム、断面画像生成装置及び断面画像生成方法
US9662083B2 (en) 2014-04-10 2017-05-30 Toshiba Medical Systems Corporation Medical image display apparatus and medical image display system
JP2019030591A (ja) * 2017-08-09 2019-02-28 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP2020500596A (ja) * 2016-11-29 2020-01-16 ワシントン・ユニバーシティWashington University 単一インパルスパノラマ式光音響コンピュータトモグラフィ(sip−pact)
JP2020062340A (ja) * 2018-10-19 2020-04-23 キヤノンメディカルシステムズ株式会社 画像処理装置及びプログラム
JP2020521549A (ja) * 2017-06-02 2020-07-27 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 医用画像の病変の定量化される態様

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1947606A1 (en) * 2007-01-16 2008-07-23 National University Corporation Kobe University Medical image processing apparatus and medical image processing method
JP2009061266A (ja) * 2007-08-09 2009-03-26 Toshiba Medical Systems Corp 画像診断支援システム、医用画像管理装置、画像診断支援処理装置および画像診断支援方法
JP5527869B2 (ja) * 2008-03-21 2014-06-25 国立大学法人神戸大学 画像診断支援処理装置および画像診断支援処理プログラム
GB0917154D0 (en) * 2009-09-30 2009-11-11 Imp Innovations Ltd Method and apparatus for processing medical images
JP4931027B2 (ja) * 2010-03-29 2012-05-16 富士フイルム株式会社 医用画像診断支援装置および方法、並びにプログラム
CN102243759B (zh) * 2010-05-10 2014-05-07 东北大学 一种基于几何形变模型的三维肺血管图像分割方法
GB2487375B (en) * 2011-01-18 2017-09-20 Aptina Imaging Corp Interest point detection
US10049445B2 (en) 2011-07-29 2018-08-14 Canon Kabushiki Kaisha Image processing apparatus and image processing method of a three-dimensional medical image
JP6017281B2 (ja) * 2012-11-27 2016-10-26 東芝メディカルシステムズ株式会社 ステージ判定支援システム
US10339648B2 (en) * 2013-01-18 2019-07-02 H. Lee Moffitt Cancer Center And Research Institute, Inc. Quantitative predictors of tumor severity
JP6490985B2 (ja) 2014-03-11 2019-03-27 キヤノンメディカルシステムズ株式会社 医用画像処理装置および医用画像処理システム
JP6595193B2 (ja) 2014-03-11 2019-10-23 キヤノンメディカルシステムズ株式会社 読影レポート作成装置および読影レポート作成システム
CN106909770B (zh) * 2015-12-21 2020-11-03 佳能株式会社 医疗图像处理装置、其控制方法和存储介质
KR101898580B1 (ko) * 2018-01-22 2018-09-13 주식회사 뷰노 영상의 열람을 지원하는 방법 및 이를 이용한 장치

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002530133A (ja) * 1998-11-13 2002-09-17 アーチ・デベロップメント・コーポレーション 肺結節中の悪性腫瘍検出用システム
US20030016850A1 (en) * 2001-07-17 2003-01-23 Leon Kaufman Systems and graphical user interface for analyzing body images
JP2004222864A (ja) * 2003-01-21 2004-08-12 Mitsubishi Research Institute Inc 診断支援システム、診断支援方法及び診断支援プログラム
JP2005066194A (ja) * 2003-08-27 2005-03-17 Mie Tlo Co Ltd 石灰化陰影組織学的分類方法
JP2005168962A (ja) * 2003-12-15 2005-06-30 Canon Inc 診断支援装置
WO2006069379A2 (en) * 2004-12-22 2006-06-29 Bio-Tree Systems, Inc. Medical imaging methods and apparatus for diagnosis and monitoring of diseases and uses therefor
WO2006085250A2 (en) * 2005-02-11 2006-08-17 Philips Intellectual Property & Standards Gmbh Identifying abnormal tissue in images of computed tomography
WO2006085525A1 (ja) * 2005-02-09 2006-08-17 Hitachi Medical Corporation 画像診断支援システム、画像診断支援プログラム
JP2006239005A (ja) * 2005-03-01 2006-09-14 Kobe Univ 画像診断処理装置および画像診断処理プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6738499B1 (en) * 1998-11-13 2004-05-18 Arch Development Corporation System for detection of malignancy in pulmonary nodules
WO2003070102A2 (en) * 2002-02-15 2003-08-28 The Regents Of The University Of Michigan Lung nodule detection and classification
EP1865464B1 (en) 2006-06-08 2013-11-20 National University Corporation Kobe University Processing device and program product for computer-aided image based diagnosis
EP1947606A1 (en) * 2007-01-16 2008-07-23 National University Corporation Kobe University Medical image processing apparatus and medical image processing method

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002530133A (ja) * 1998-11-13 2002-09-17 アーチ・デベロップメント・コーポレーション 肺結節中の悪性腫瘍検出用システム
US20030016850A1 (en) * 2001-07-17 2003-01-23 Leon Kaufman Systems and graphical user interface for analyzing body images
JP2004222864A (ja) * 2003-01-21 2004-08-12 Mitsubishi Research Institute Inc 診断支援システム、診断支援方法及び診断支援プログラム
JP2005066194A (ja) * 2003-08-27 2005-03-17 Mie Tlo Co Ltd 石灰化陰影組織学的分類方法
JP2005168962A (ja) * 2003-12-15 2005-06-30 Canon Inc 診断支援装置
WO2006069379A2 (en) * 2004-12-22 2006-06-29 Bio-Tree Systems, Inc. Medical imaging methods and apparatus for diagnosis and monitoring of diseases and uses therefor
WO2006085525A1 (ja) * 2005-02-09 2006-08-17 Hitachi Medical Corporation 画像診断支援システム、画像診断支援プログラム
WO2006085250A2 (en) * 2005-02-11 2006-08-17 Philips Intellectual Property & Standards Gmbh Identifying abnormal tissue in images of computed tomography
JP2006239005A (ja) * 2005-03-01 2006-09-14 Kobe Univ 画像診断処理装置および画像診断処理プログラム

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012000189A (ja) * 2010-06-15 2012-01-05 Toshiba Corp 医用画像診断装置、画像情報処理装置及び治療支援データ表示用制御プログラム
JP2012055493A (ja) * 2010-09-08 2012-03-22 Toshiba Corp 画像処理装置
JP2012147930A (ja) * 2011-01-19 2012-08-09 Toshiba Corp 医用画像処理装置、及び医用画像処理プログラム
US9066654B2 (en) 2011-01-19 2015-06-30 Kabushiki Kaisha Toshiba Medical image processing apparatus, an X-ray CT scanner, and a medical image processing program
JP2012187139A (ja) * 2011-03-08 2012-10-04 Toshiba Corp 画像処理装置
JP2012249964A (ja) * 2011-06-06 2012-12-20 Canon Inc 診療支援装置、診療支援方法
US11395601B2 (en) 2013-03-29 2022-07-26 Canon Medical Systems Corporation Medical image processing apparatus
WO2014157706A1 (ja) * 2013-03-29 2014-10-02 株式会社 東芝 医用画像処理装置
JP2014198099A (ja) * 2013-03-29 2014-10-23 株式会社東芝 医用画像処理装置、医用画像処理システム、医用画像診断装置
US9396534B2 (en) 2014-03-31 2016-07-19 Toshiba Medical Systems Corporation Medical image processing apparatus and medical image processing system
US9662083B2 (en) 2014-04-10 2017-05-30 Toshiba Medical Systems Corporation Medical image display apparatus and medical image display system
JP2017012446A (ja) * 2015-06-30 2017-01-19 キヤノン株式会社 画像処理装置
WO2017037904A1 (ja) * 2015-09-02 2017-03-09 富士通株式会社 読影支援プログラム、断面画像生成装置及び断面画像生成方法
US10588581B2 (en) 2015-09-02 2020-03-17 Fujitsu Limited Cross-sectional image generating apparatus, cross-sectional image generating method, and recording medium
JPWO2017037904A1 (ja) * 2015-09-02 2018-07-12 富士通株式会社 読影支援プログラム、断面画像生成装置及び断面画像生成方法
JP2020500596A (ja) * 2016-11-29 2020-01-16 ワシントン・ユニバーシティWashington University 単一インパルスパノラマ式光音響コンピュータトモグラフィ(sip−pact)
US11471057B2 (en) 2016-11-29 2022-10-18 Washington University Single-impulse panoramic photoacoustic computed tomography (SIP-PACT)
JP2020521549A (ja) * 2017-06-02 2020-07-27 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 医用画像の病変の定量化される態様
JP7278224B2 (ja) 2017-06-02 2023-05-19 コーニンクレッカ フィリップス エヌ ヴェ 医用画像の病変の定量化される態様
JP2019030591A (ja) * 2017-08-09 2019-02-28 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP2020062340A (ja) * 2018-10-19 2020-04-23 キヤノンメディカルシステムズ株式会社 画像処理装置及びプログラム
JP7325942B2 (ja) 2018-10-19 2023-08-15 キヤノンメディカルシステムズ株式会社 画像処理装置及びプログラム

Also Published As

Publication number Publication date
JP5197029B2 (ja) 2013-05-15
EP1947606A1 (en) 2008-07-23
US7869640B2 (en) 2011-01-11
US20080170771A1 (en) 2008-07-17
CN101231678B (zh) 2016-02-03
CN101231678A (zh) 2008-07-30

Similar Documents

Publication Publication Date Title
JP5197029B2 (ja) 医用画像処理装置
US8417009B2 (en) Apparatus, method, and computer readable medium for assisting medical image diagnosis using 3-D images representing internal structure
JP5643304B2 (ja) 胸部トモシンセシスイメージングにおけるコンピュータ支援肺結節検出システムおよび方法並びに肺画像セグメント化システムおよび方法
JP6267710B2 (ja) 医用画像中の肺結節を自動検出するためのシステム及び方法
US8605978B2 (en) Medical image processing apparatus and method, and computer readable recording medium on which is recorded program for the same
US9792703B2 (en) Generating a synthetic two-dimensional mammogram
US8483467B2 (en) Medical image diagnosis assisting apparatus and method, and computer readable recording medium on which is recorded program for the same
US11030748B2 (en) Automatic CT detection and visualization of active bleeding and blood extravasation
EP2208183B1 (en) Computer-aided detection (cad) of a disease
JP2007151645A (ja) 医用画像診断支援システム
JP2007275318A (ja) 画像表示装置、画像表示方法およびそのプログラム
JP2015515296A (ja) 対象物の画像情報の提供
JP2017532998A (ja) 縦断的特徴に基づく関心組織の健康状態の分類
JP4463817B2 (ja) 脈管構造の局部画像を自動的に配向する方法及びシステム
JP6301277B2 (ja) 診断補助画像生成装置および診断補助画像生成方法、並びに、診断補助画像生成プログラム
US9672600B2 (en) Clavicle suppression in radiographic images
Zhou et al. Computerized analysis of coronary artery disease: performance evaluation of segmentation and tracking of coronary arteries in CT angiograms
JP2019536531A (ja) X線画像内の不透明度を検出する装置
EP3679514B1 (en) Determining regions of hyperdense lung tissue in an image of a lung
CN106415659B (zh) 成像处理方法和计算***
Chi et al. Stenosis detection and quantification on cardiac CTCA using panoramic MIP of coronary arteries
Fujita et al. State-of-the-art of computer-aided detection/diagnosis (CAD)
Sprindzuk et al. Lung cancer differential diagnosis based on the computer assisted radiology: The state of the art
WO2017018230A1 (ja) 画像処理装置、方法、及びプログラム
Zhou et al. Detection of pulmonary embolism

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120621

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120626

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120827

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130205

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160215

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5197029

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350