JP5897227B1 - 医用診断装置、医用診断装置の作動方法および医用診断装置の作動プログラム - Google Patents

医用診断装置、医用診断装置の作動方法および医用診断装置の作動プログラム Download PDF

Info

Publication number
JP5897227B1
JP5897227B1 JP2015540935A JP2015540935A JP5897227B1 JP 5897227 B1 JP5897227 B1 JP 5897227B1 JP 2015540935 A JP2015540935 A JP 2015540935A JP 2015540935 A JP2015540935 A JP 2015540935A JP 5897227 B1 JP5897227 B1 JP 5897227B1
Authority
JP
Japan
Prior art keywords
classification
feature amount
unit
feature
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015540935A
Other languages
English (en)
Other versions
JPWO2015190180A1 (ja
Inventor
川島 知直
知直 川島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2015540935A priority Critical patent/JP5897227B1/ja
Application granted granted Critical
Publication of JP5897227B1 publication Critical patent/JP5897227B1/ja
Publication of JPWO2015190180A1 publication Critical patent/JPWO2015190180A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13Tomography
    • A61B8/14Echo-tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4444Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52023Details of receivers
    • G01S7/52033Gain control of receivers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52023Details of receivers
    • G01S7/52036Details of receivers using analysis of echo signal for target characterisation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52053Display arrangements
    • G01S7/52057Cathode ray tube displays
    • G01S7/52071Multicolour displays; using colour coding; Optimising colour or information content in displays, e.g. parametric imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/032Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Vascular Medicine (AREA)
  • Physiology (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

超音波観測装置は、検体から受信した受信信号に基づいて複数種類の特徴量を算出する特徴量算出部と、前記特徴量算出部が算出した前記複数種類の特徴量のうち、予め選択された分類項目に応じて定められる特徴量を用いて前記検体の組織の属性を分類し、分類結果に応じた視覚情報を前記受信信号に基づく画像の各画素に対して割り当てる分類部と、前記受信信号に基づく画像の各画素に割り当てられた前記視覚情報を重畳した特徴量画像データを生成する特徴量画像データ生成部と、を備える。

Description

本発明は、検体から受信する受信信号を用いて診断用の画像データを生成する医用診断装置、医用診断装置の作動方法および医用診断装置の作動プログラムに関する。
従来、検体からの受信信号を用いて診断用の画像データを生成する医用診断装置として、画像から複数の学習窓を設定し、異なるテクスチャ領域上に設定された学習窓のテクスチャ特徴量を特徴空間上にプロットし、特徴空間上のテクスチャ特徴量の分布により類似度を算出する基準を設定する技術が開示されている(例えば、特許文献1を参照)。この技術によれば、検体の全組織を自動判別することができ、例えば管腔状臓器の表面や腫瘍などの組織の境界を簡易な方法によって検出することができる。
具体的に、例えば、検査中の組織が、組織A、組織B、組織C、内腔のうちいずれであるかを自動判別する場合を考える。この技術では、まず、上記4種組織のうち2種を選択する。次に、病理結果がこの2種であった既知の検体の特徴量と、検査中の未知の検体の組織の特徴量とを比較する。次に、検査中の組織の特徴量が既知の2種組織の特徴量のうちどちらに近いかを判別する。こうして、2種組織の組み合わせの選択を変えながら判別を繰り返す。そして、検査中の組織は、上記2種組織のうち複数回の判別結果により最も頻度が高く判別された組織であると判断することで、未知の組織を分類していた。
特開平9−84793号公報
ところで、医師等のユーザが医用画像を用いて組織の鑑別診断を行う際には、鑑別対象とする組織の属性(組織性状)をある程度絞り込んでいる場合が多い。しかしながら、上述した従来技術では、既知の検体の全種の組織と比較し、分類していたため、既知の組織の種類数が多いと、処理量は非常に大きくなり、分類結果を出力することが非常に遅くなってしまっていた。特に、鑑別対象の組織の属性が絞られている場合には処理量も絞られるはずだが、全種の組織に対して処理を実行するので余計な処理が多く、効率が悪かった。
本発明は、上記に鑑みてなされたものであって、診断内容に応じて組織が分類された画像データを効率よく生成することができる医用診断装置、医用診断装置の作動方法および医用診断装置の作動プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る医用診断装置は、検体から受信した受信信号に基づいて複数種類の特徴量を算出する特徴量算出部と、前記特徴量算出部が算出した前記複数種類の特徴量のうち、予め選択された分類項目に応じて定められる特徴量を用いて前記検体の組織の属性を分類し、分類結果に応じた視覚情報を前記受信信号に基づく画像の各画素に対して割り当てる分類部と、前記受信信号に基づく画像の各画素に割り当てられた前記視覚情報を重畳した特徴量画像データを生成する特徴量画像データ生成部と、を備えたことを特徴とする。
本発明に係る医用診断装置は、上記発明において、前記分類項目に対応する分類対象の組織の属性、分類に用いるべき特徴量の種類、および該特徴量の値に応じた視覚情報を対応づけた情報のうち少なくとも1つを含む分類情報を記憶する分類情報記憶部をさらに備え、前記分類部は、前記分類情報記憶部を参照して前記分類および前記視覚情報の割り当てを行うことを特徴とする。
本発明に係る医用診断装置は、上記発明において、前記属性が既知である検体からの受信信号および前記受信信号に基づいて算出された情報のうち少なくとも一方を含む既知検体情報を該属性と関連付けて記憶する既知検体情報記憶部と、前記既知検体情報記憶部が記憶する前記既知検体情報を用いて前記分類情報を設定する分類情報設定部と、をさらに備えたことを特徴とする。
本発明に係る医用診断装置は、上記発明において、前記特徴量算出部は、前記検体の所定の領域から受信した前記受信信号をもとに複数のパラメータを抽出し、該複数のパラメータを用いて特徴量を算出することを特徴とする。
本発明に係る医用診断装置は、上記発明において、前記特徴量算出部は、前記複数のパラメータのうち同じ種類のパラメータの統計量を前記特徴量として算出することを特徴とする。
本発明に係る医用診断装置は、上記発明において、前記視覚情報は、色空間を構成する変数であることを特徴とする。
本発明に係る医用診断装置は、上記発明において、前記視覚情報は、輝度であることを特徴とする。
本発明に係る医用診断装置は、上記発明において、前記特徴量画像データ生成部が生成した前記特徴量画像データに対応する特徴量画像を表示する表示部をさらに備えたことを特徴とする。
本発明に係る医用診断装置は、上記発明において、前記分類項目の選択入力を受け付ける入力部をさらに備えたことを特徴とする。
本発明に係る医用診断装置は、上記発明において、検体に対して超音波を送信するとともに前記検体によって反射された超音波エコーを変換した電気的なエコー信号を前記受信信号として受信する超音波探触子をさらに備えたことを特徴とする。
本発明に係る医用診断装置は、上記発明において、前記エコー信号の周波数を解析することによって周波数スペクトルを算出する周波数解析部をさらに備え、前記特徴量算出部は、前記周波数スペクトルを用いて前記複数種類の特徴量を算出することを特徴とする。
本発明に係る医用診断装置は、上記発明において、前記特徴量算出部は、前記受信信号に基づく画像の各画素の輝度に基づいて前記複数種類の特徴量を算出することを特徴とする。
本発明に係る医用診断装置の作動方法は、検体から受信した受信信号に基づいて診断用の画像データを生成する医用診断装置の作動方法であって、特徴量算出部が、前記受信信号における複数種類の特徴量を算出する特徴量算出ステップと、分類部が、前記複数種類の特徴量のうち、予め選択された分類項目に応じて定められる特徴量を用いて前記検体の組織の属性を分類し、分類結果に応じた視覚情報を前記受信信号に基づく画像の各画素に対して割り当てる分類ステップと、特徴量画像データ生成部が、前記受信信号に基づく画像の各画素に割り当てられた前記視覚情報を重畳した特徴量画像データを生成する特徴量画像データ生成ステップと、を有することを特徴とする。
本発明に係る医用診断装置の作動プログラムは、検体から受信した受信信号に基づいて診断用の画像データを生成する医用診断装置に、特徴量算出部が、前記受信信号における複数種類の特徴量を算出する特徴量算出ステップと、分類部が、前記複数種類の特徴量のうち、予め選択された分類項目に応じて定められる特徴量を用いて前記検体の組織の属性を分類し、分類結果に応じた視覚情報を前記受信信号に基づく画像の各画素に対して割り当てる分類ステップと、特徴量画像データ生成部が、前記受信信号に基づく画像の各画素に割り当てられた前記視覚情報を重畳した特徴量画像データを生成する特徴量画像データ生成ステップと、を実行させることを特徴とする。
本発明によれば、検体からの受信信号に基づいて複数種類の特徴量を算出し、この複数の特徴量のうち、予め選択された分類項目に応じて定められる特徴量を用いて検体の組織の属性を分類し、分類結果に応じた視覚情報を受信信号に基づく画像の各画素に対して割り当てた特徴量画像データを生成するため、診断内容に応じて最適な特徴量に基づく検体の組織の属性の分類が可能となり、診断内容に応じて組織が分類された画像データを効率よく生成することができる。
図1は、本発明の実施の形態1に係る医用診断装置である超音波観測装置の構成を示すブロック図である。 図2は、本発明の実施の形態1に係る超音波観測装置の信号増幅部が行う増幅処理における受信深度と増幅率との関係を示す図である。 図3は、本発明の実施の形態1に係る超音波観測装置の増幅補正部が行う増幅処理における受信深度と増幅率との関係を示す図である。 図4は、超音波信号の1つの音線におけるデータ配列を模式的に示す図である。 図5は、本発明の実施の形態1に係る超音波観測装置の周波数解析部が算出する周波数スペクトルの例を示す図である。 図6は、本発明の実施の形態1に係る超音波観測装置の特徴量算出部が行う処理の概要を模式的に示す図である。 図7は、本発明の実施の形態1に係る分類情報記憶部が記憶する分類情報を模式的に示す図である。 図8は、分類項目が腫瘍スクリーニングである場合の分類と色の割り当てを模式的に示す図である。 図9は、分類項目が悪性/良性鑑別である場合の分類と色の割り当てを模式的に示す図である。 図10は、分類項目が経過観察判断1である場合の分類と色の割り当てを模式的に示す図である。 図11は、分類項目が経過観察判断2である場合の分類と色の割り当てを模式的に示す図である。 図12は、本発明の実施の形態1に係る超音波観測装置が行う処理の概要を示すフローチャートである。 図13は、入力部が分類項目の選択入力を受け付ける際に表示部が表示する選択画面の表示例を示す図である。 図14は、本発明の実施の形態1に係る超音波観測装置の周波数解析部が行う処理の概要を示すフローチャートである。 図15は、本発明の実施の形態1に係る超音波観測装置の表示部における特徴量画像の表示例を模式的に示す図である。 図16は、本発明の実施の形態2に係る超音波観測装置の構成を示すブロック図である。 図17は、本発明の実施の形態2に係る超音波観測装置が行う処理の概要を示すフローチャートである。 図18は、本発明の実施の形態2に係る超音波観測装置の分類情報設定部が行う処理の概要を示すフローチャートである。 図19は、本発明の実施の形態2に係る超音波観測装置の分類情報設定部が行う処理の概要を模式的に示す図である。 図20は、本発明の別の実施の形態に係る超音波観測装置の特徴量算出部が行う処理の概要を模式的に示す図である。
以下、添付図面を参照して、本発明を実施するための形態(以下、「実施の形態」という)を説明する。
(実施の形態1)
図1は、本発明の実施の形態1に係る医用診断装置である超音波観測装置の構成を示すブロック図である。同図に示す超音波観測装置1は、超音波を用いて診断対象である検体を観測するための装置である。
超音波観測装置1は、外部へ超音波パルスを出力するとともに、外部で反射された超音波エコーを受信する超音波探触子2と、超音波探触子2との間で電気信号の送受信を行う送受信部3と、超音波エコーを電気信号に変換した電気的なエコー信号に対して所定の演算を施す演算部4と、電気的なエコー信号に対応する画像データの生成を行う画像処理部5と、キーボード、マウス、タッチパネル等のユーザインタフェースを用いて実現され、各種情報の入力を受け付ける入力部6と、液晶または有機EL(Electro Luminescence)等からなる表示パネルを用いて実現され、画像処理部5が生成した画像を含む各種情報を表示する表示部7と、超音波観測に必要な各種情報を記憶する記憶部8と、超音波観測装置1の動作制御を行う制御部9と、を備える。
超音波観測装置1は、超音波振動子21が設けられる超音波探触子2と、超音波探触子2が着脱可能に接続され、超音波探触子2以外の上記部分が設けられる処理装置(プロセッサ)とによって構成される。ここで、超音波探触子2は、生体の体表から超音波を照射する体外式探触子の形態、消化管、胆膵管、血管等の管腔内に挿入する長軸の挿入部を備えたミニチュア超音波プローブの形態、管腔内超音波プローブに光学系をさらに備えた超音波内視鏡の形態、のいずれの形態であってもよい。このうち、超音波内視鏡をはじめ、管腔内超音波プローブの形態をとった場合には、管腔内超音波プローブの挿入部の先端側に超音波振動子21が設けられ、管腔内超音波プローブは基端側で処理装置と着脱可能に接続する。
超音波探触子2は、送受信部3から受信した電気的なパルス信号を超音波パルス(音響パルス)に変換するとともに、外部の検体で反射された超音波エコーを電気的なエコー信号に変換する超音波振動子21を有する。超音波探触子2は、超音波振動子21をメカ的に走査させるものであってもよいし、超音波振動子21として複数の素子をアレイ状に設け、送受信にかかわる素子を電子的に切り替えたり、各素子の送受信に遅延をかけたりすることで、電子的に走査させるものであってもよい。本実施の形態1では、超音波探触子2として、互いに異なる複数種類のいずれかの超音波探触子2を選択して使用することが可能である。
送受信部3は、超音波探触子2と電気的に接続され、電気的なパルス信号を超音波探触子2へ送信するとともに、超音波探触子2から電気的な受信信号であるエコー信号を受信する。具体的には、送受信部3は、予め設定された波形および送信タイミングに基づいて電気的なパルス信号を生成し、この生成したパルス信号を超音波探触子2へ送信する。
送受信部3は、エコー信号を増幅する信号増幅部31を有する。具体的には、信号増幅部31は、受信深度が大きいエコー信号ほど高い増幅率で増幅するSTC(Sensitivity Time Control)補正を行う。図2は、信号増幅部31が行う増幅処理における受信深度と増幅率との関係を示す図である。図2に示す受信深度zは、超音波の受信開始時点からの経過時間に基づいて算出される量である。図2に示すように、増幅率β(dB)は、受信深度zが閾値zthより小さい場合、受信深度zの増加に伴ってβからβth(>β0)へ線型に増加する。また、増幅率β(dB)は、受信深度zが閾値zth以上である場合、一定値βthをとる。閾値zthの値は、検体から受信する超音波信号がほとんど減衰してしまい、ノイズが支配的になるような値である。より一般に、増幅率βは、受信深度zが閾値zthより小さい場合、受信深度zの増加に伴って単調増加すればよい。
送受信部3は、信号増幅部31によって増幅されたエコー信号に対してフィルタリング等の処理を施した後、A/D変換することによって時間ドメインのデジタルRF信号を生成して出力する。なお、超音波探触子2が複数の素子をアレイ状に設けた超音波振動子21を電子的に走査させるものである場合、送受信部3は、複数の素子に対応したビーム合成用の多チャンネル回路を有する。
演算部4は、送受信部3が出力したデジタル高周波(RF:Radio Frequency)信号に対して受信深度によらず増幅率βを一定とするよう増幅補正を行う増幅補正部41と、増幅補正を行ったデジタルRF信号に高速フーリエ変換(FFT:Fast Fourier Transform)を施して周波数解析を行うことにより周波数スペクトルを算出する周波数解析部42と、周波数スペクトルにおける複数種類の特徴量を算出する特徴量算出部43と、予め選択された鑑別対象組織の分類項目に対応する特徴量を用いて検体の組織の属性の分類を行う分類部44と、を有する。演算部4は、CPU(Central Proccesing Unit)や各種演算回路等を用いて実現される。
図3は、増幅補正部41が行う増幅処理における受信深度と増幅率との関係を示す図である。図3に示すように、増幅補正部41が行う増幅処理における増幅率β(dB)は、受信深度zがゼロのとき最大値βth−β0をとり、受信深度zがゼロから閾値zthに達するまで線型に減少し、受信深度zが閾値zth以上のときゼロである。このように定められる増幅率によって増幅補正部41がデジタルRF信号を増幅補正することにより、信号増幅部31におけるSTC補正の影響を相殺し、一定の増幅率βthの信号を出力することができる。なお、増幅補正部41が行う受信深度zと増幅率βの関係は、信号増幅部31における受信深度と増幅率の関係に応じて異なることは勿論である。
このような増幅補正を行う理由を説明する。STC補正は、アナログ信号波形の振幅を全周波数帯域にわたって均一に、かつ、深度に対しては単調増加する増幅率で増幅させることで、アナログ信号波形の振幅から減衰の影響を排除する補正処理である。このため、エコー信号の振幅を利用するBモード画像を生成する場合、かつ、一様な組織を走査した場合には、STC補正を行うことによって深度によらず輝度値が一定になる。すなわち、Bモード輝度値から減衰の影響を排除する効果を得ることができる。一方、本実施の形態1のように超音波の周波数スペクトルを算出して解析した結果を利用する場合、STC補正でも超音波の伝播に伴う減衰の影響を正確に排除できるわけではない。何故なら、後述する式(1)のように、減衰量は周波数によって異なるが、STC補正の増幅率は距離だけに対して変化し、周波数に対しては変化せず一定であるためである。減衰量の周波数依存性を含めて、減衰の影響を排除する方法を、「減衰補正処理」として、図6および図12のステップS9に後述する。
上述した問題、すなわち超音波の周波数スペクトルを算出して解析した結果を利用する場合、STC補正でも超音波の伝播に伴う減衰の影響を正確に排除できるわけではない、という問題を解決するには、Bモード画像を生成する際にSTC補正を施した受信信号を出力する一方、周波数スペクトルに基づいた画像を生成する際に、Bモード画像を生成するための送信とは異なる新たな送信を行い、STC補正を施していない受信信号を出力することが考えられる。ところがこの場合には、受信信号に基づいて生成される画像データのフレームレートが低下してしまうという問題がある。
そこで、本実施の形態1では、生成される画像データのフレームレートを維持しつつ、Bモード画像用にSTC補正を施した信号に対してSTC補正の影響を排除するために、増幅補正部41によって増幅率の補正を行う。
周波数解析部42は、エコー信号に基づくデジタルRF信号を増幅補正した信号の各音線(ラインデータ)を、所定の時間間隔でサンプリングした振幅データ群を高速フーリエ変換することによって音線上の複数の箇所(データ位置)における周波数スペクトルを算出する。
図4は、超音波信号の1つの音線におけるデータ配列を模式的に示す図である。同図に示す音線データSRkにおいて、白または黒の長方形は、1つのデータを意味している。音線データSRkは、送受信部3が行うA/D変換におけるサンプリング周波数(例えば50MHz)に対応した時間間隔で離散化されている。図4では、番号k(後述)の音線データSRkの1番目のデータ位置を受信深度zの方向の初期値Z(k) 0として設定した場合を示しているが、初期値の位置は任意に設定することができる。周波数解析部42による算出結果は複素数で得られ、記憶部8に格納される。
図4に示すデータ群Fj(j=1、2、・・・、K)は、高速フーリエ変換の対象となる振幅データ群である。一般に、高速フーリエ変換を行うためには、振幅データ群が2のべき乗のデータ数を有している必要がある。この意味で、振幅データ群Fj(j=2、・・・、K−1)はデータ数が16(=24)で正常なデータ群である一方、振幅データ群F1、FKは、それぞれデータ数が9、12であるため異常なデータ群である。異常なデータ群に対して高速フーリエ変換を行う際には、不足分だけゼロデータを挿入することにより、正常な振幅データ群を生成する処理を行う。この点については、後述する周波数解析部42の処理を説明する際に詳述する(図14を参照)。
図5は、周波数解析部42によって算出される周波数スペクトルの例を示す図である。具体的には、図5で例示した「周波数スペクトル」とは、振幅データ群を高速フーリエ変換(FFT演算)することによって得られた「ある受信深度zにおける強度の周波数分布」を意味する。ここでいう「強度」とは、例えばエコー信号の電圧、エコー信号の電力、超音波エコーの音圧、超音波エコーの音響エネルギー等のパラメータ、これらパラメータの振幅や時間積分値やその組み合わせのいずれかを指す。図5では、横軸には周波数fを取っている。縦軸には、強度Iを特定の基準強度Ic(定数)で除し、さらに常用対数をとった強度のデシベル表現log10(I/Ic)を取っている。ただし、図5および以下では記述を簡単にするため、以下、デシベル表現された強度も単にIと記載する。図5において、受信深度zは一定である。なお、本実施の形態1において、曲線および直線は、離散的な点の集合からなる。
図5に示す周波数スペクトルC1において、以後の演算に使用する周波数帯域の下限周波数fLおよび上限周波数fHは、超音波振動子21の周波数帯域、送受信部3が送信するパルス信号の周波数帯域などをもとに決定されるパラメータであり、例えばfL=3MHz、fH=10MHzである。以下、下限周波数fLおよび上限周波数fHから定まる周波数帯域を「周波数帯域F」という。
一般に、周波数スペクトルは、超音波が走査された組織の属性によって異なる傾向を示す。これは、周波数スペクトルが、超音波を散乱する散乱体の大きさ、数密度、音響インピーダンス等と相関を有しているためである。本実施の形態1において、「属性」とは、例えば悪性腫瘍組織、良性腫瘍組織、内分泌腫瘍組織、粘液性腫瘍組織、正常組織、脈管などのことである。
特徴量算出部43は、超音波の受信深度および周波数に依存する超音波の減衰の影響を補正する減衰補正処理を施す減衰補正部431と、減衰補正後の周波数スペクトルの近似式を回帰分析によって算出する近似部432と、を有する。
図6は、特徴量算出部43が行う処理の概要を模式的に示す図である。図6では、図5に示す周波数スペクトルC1に対して特徴量算出を行う場合を例示している。まず、減衰補正部431は、周波数スペクトルC1に対し、すべての周波数fにおける強度I(f,z)に式(1)の減衰量A(f,z)をそれぞれ加える補正(I(f,z)→I(f,z)+A(f,z))を行う。この超音波の減衰量A(f,z)は、超音波が受信深度0と受信深度zとの間を往復する間に生じる減衰であり、往復する前後の強度変化(デシベル表現での差)として定義される。このA(f,z)は、一様な組織内では周波数に比例することが経験的に知られており、比例係数をαとして、式(1)で表現される。
A(f,z)=2αzf ・・・(1)
ここで、αは減衰率と呼ばれる。また、zは超音波の受信深度であり、fは周波数である。
減衰率αの具体的な値は、観察対象が生体である場合、0.0〜1.0(dB/cm/MHz)、より好ましくは0.3〜0.7(dB/cm/MHz)であり、生体の部位に応じて定まる。例えば、観察対象が膵臓である場合には、α=0.6(dB/cm/MHz)と定めることがある。なお、本実施の形態1において、減衰率αの値を入力部6からの入力によって設定または変更可能な構成としてもよい。
図6に示す周波数スペクトルC2は、減衰補正処理によって超音波の伝播に伴う減衰の影響を補正した結果として得られる新たな周波数スペクトルである。
近似部432は、周波数スペクトルC2の周波数帯域Fにおける回帰分析を行って周波数スペクトルC2を一次式(回帰直線)で近似することにより、特徴量の算出に必要なパラメータを抽出する。この場合に抽出されるパラメータは、図6に示す回帰直線L1の傾きaおよび切片b、ならびに周波数帯域Fの中心周波数fM=(fL+fH)/2における回帰直線上の値であるミッドバンドフィット(Mid-band fit)c=afM+bである。
3つの特徴量のうち、傾きaは、超音波の散乱体の大きさと相関を有し、一般に散乱体が大きいほど傾きが小さな値を有すると考えられる。また、切片bは、散乱体の大きさ、音響インピーダンスの差、散乱体の数密度(濃度)等と相関を有している。具体的には、切片bは、散乱体が大きいほど大きな値を有し、音響インピーダンスの差が大きいほど大きな値を有し、散乱体の数密度(濃度)が大きいほど大きな値を有すると考えられる。ミッドバンドフィットcは、傾きaと切片bから導出される間接的なパラメータであり、有効な周波数帯域内の中心におけるスペクトルの強度を与える。このため、ミッドバンドフィットcは、散乱体の大きさ、音響インピーダンスの差、散乱体の数密度に加えて、Bモード画像の輝度とある程度の相関を有していると考えられる。なお、近似部432が算出する近似式は一次式に限定されるわけではなく、二次以上の多項式を用いることも可能である。
特徴量算出部43は、所定の関心領域内で算出した検体のパラメータを用いて複数種類の特徴量を算出可能である。具体的には、特徴量算出部43は、関心領域内で設定される複数の単位領域(判別窓ともいう)において近似部432が算出した傾きa、切片b、およびミッドバンドフィットcの平均および標準偏差を算出する。関心領域内の複数の単位領域は、互いに同じ大きさ(画素数)を有している。この大きさは、入力部6が設定入力を受け付けることによって予め設定され、記憶部8に格納されている。なお、特徴量算出部43が算出する特徴量として、以下では傾きa、切片b、ミッドバンドフィットcの平均および標準偏差を例示して説明するが、平均および標準偏差以外の分散やエントロピーのような統計量を適用してもよい。
以下、傾きaの平均をMean S、標準偏差をSd. Sとし、切片bの平均をMean I、標準偏差をSd. Iとし、ミッドバンドフィットcの平均をMean M、標準偏差をSd. Mとする。
分類部44は、特徴量算出部43が算出可能な複数種類の特徴量のうち、予め選択された分類項目に対応する特徴量を用いて分類を行い、分類結果に応じた視覚情報としての色(色相)を電気的なエコー信号から生成される画像の各画素に割り当てる。なお、分類部44が各画素に割り当てる視覚情報は色相に限られるわけではなく、色空間を構成する変数であればいかなるものであっても構わない。このような色空間として、例えば色相に明度および彩度を加えたマンセル表色系を採用してもよいし、R(赤)、G(緑)、B(青)を変数とするRGB表色系を採用してもよい。
画像処理部5は、エコー信号からBモード画像データを生成するBモード画像データ生成部51と、特徴量算出部43が抽出した特徴量に対応する情報を表示する特徴量画像データを生成する特徴量画像データ生成部52と、を有する。
Bモード画像データ生成部51は、デジタル信号に対してバンドパスフィルタ、対数変換、ゲイン処理、コントラスト処理等の公知の技術を用いた信号処理を行うとともに、表示部7における画像の表示レンジに応じて定まるデータステップ幅に応じたデータの間引き等を行うことによってBモード画像データを生成する。Bモード画像は、色空間としてRGB表色系を採用した場合の変数であるR(赤)、G(緑)、B(青)の値を一致させたグレースケール画像である。
特徴量画像データ生成部52は、分類部44によって画素ごとに割り当てられた視覚情報をBモード画像データにおける画像の各画素に対して重畳することによって特徴量画像データを生成する。特徴量画像データ生成部52は、例えば図4に示す1つの振幅データ群Fj(j=1、2、・・・、K)のデータ量に対応する画素領域には、その振幅データ群Fjから算出される周波数スペクトルの特徴量に対応する視覚情報が割り当てられる。
記憶部8は、分類情報記憶部81を有する。分類情報記憶部81は、分類対象である組織の属性を分類し、特徴量画像データ生成部52が特徴量画像データを生成する際に必要な分類結果の情報を記憶する。また、分類情報記憶部81は、特徴量を算出する際の単位領域に関する情報も記憶する。
図7は、分類情報記憶部81が記憶する分類情報を模式的に示す図である。同図に示すテーブルTbは、分類項目の列に、分類の目的が割り当てられている。また、分類項目ごとに、分離対象の組織の属性と分類に用いる特徴量が対応づけられている。また、各分類項目では、特徴量画像を表示する際に画素に対して割り当てられる視覚情報としての色(色相)と特徴量の値(値域)とが対応づけられている。以下、図7に例示される分類項目ごとの分類項目を具体的に説明する。
(1)分類項目が腫瘍スクリーニングの場合
分類対象の属性(分類属性)は正常組織と悪性腫瘍組織であり、分類に使用する特徴量はミッドバンドフィットの標準偏差Sd. Mである。この場合、特徴量の値が0≦Sd. M<M11である画素には赤が割り当てられ、M11≦Sd. M<M12である組織に対応する画素にはピンクが割り当てられる。これに対して、特徴量の値がSd. M≧M12である画素には色が割り当てられない(図7では「マスク」と記載)。色が割り当てられない範囲の特徴量に対応する組織は、正常組織である。この意味でSd. M=M12は、正常組織と悪性腫瘍組織とを分離するための閾値である。特徴量と色の対応づけは、例えば、悪性腫瘍組織における腫瘍の程度に応じて設定される。
図8は、分類項目が腫瘍スクリーニングである場合の分類と色の割り当てを模式的に示す図である。図8では、横軸がミッドバンドフィットの標準偏差Sd. Mであり、縦軸がミッドバンドフィットの平均Mean Mである特徴量空間における既知検体の特徴量分布を散布図で示すとともに、特徴量の値と画素に割り当てる色との関係を模式的に示している。既知検体とは、本実施の形態1で新たな検体を検査する以前に、病理検査等により、予め組織の属性が明らかになっている別の検体である。また、図8では、矢印A11が赤を割り当てる特徴量Sd. Mの範囲を示し、矢印A12がピンクを割り当てる特徴量Sd. Mの範囲を示し、矢印A13が色を割り当てない特徴量Sd. Mの範囲を示している。
図8に示す特徴量空間において、既知検体は属性によって2つのグループG11、G12に大別される。グループG11は悪性腫瘍組織のグループであり、グループG12は正常組織のグループである。グループG11とグループG12は、横軸Sd. Mの方向ではSd. M=M12で明確に分離する一方、縦軸Mean Mの方向では分離していない。このように、分類項目が腫瘍スクリーニングの場合、特徴量としてミッドバンドフィットの標準偏差Sd. Mを採用することによって検体の組織の属性を正確に分類することができる。
上述のM11、M12に相当するミッドバンドフィットの平均Mean Mの値、矢印A11、A12、A13に対する色の情報、および、これらMean Mの値域と視覚情報(色とマスク)との間を対応づける情報(以下、カラーテーブルという)は、特徴量を用いた分類が開始される前に、複数種の組織の属性のいずれに属するかが病理検査等によって明らかになっている複数群の既知検体の分布を基にして、図示しない外部処理装置、もしくは、特徴量算出部43と分類部44のいずれか、もしくは、両方によって算出されている。そして、分類情報の一部として、予め、分類情報記憶部81に記憶されている。分類部44は、分類を開始する際に、これらを分類情報記憶部81から読み出し、組織の属性の分類を行う。
(2)分類項目が悪性/良性鑑別の場合
分類対象の属性は悪性腫瘍組織と良性腫瘍組織であり、分類に使用する特徴量はミッドバンドフィットの平均Mean Mである。この場合、特徴量の値が0≦Mean M<M21である画素には色が割り当てられない。これに対し、特徴量の値がM21≦Mean M<M22である画素には青が割り当てられ、M22≦Mean M<M23である画素には水色が割り当てられ、M23≦Mean M<M24である画素には黄色が割り当てられ、M24≦Mean M<M25である画素にはピンクが割り当てられ、Mean M≧M25である画素には赤が割り当てられる。
図9は、分類項目が悪性/良性鑑別である場合の分類と色の割り当てを模式的に示す図である。図9では、横軸がミッドバンドフィットの標準偏差Sd. Mであり、縦軸がミッドバンドフィットの平均Mean Mである特徴量空間における既知検体の特徴量分布を散布図で示すとともに、特徴量の値と画素に割り当てる色との関係を模式的に示している。既知検体とは、本実施の形態1で新たな検体を検査する以前に、病理検査等により、予め組織の属性が明らかになっている別の検体である。また、図9では、矢印A21が色を割り当てない範囲を示し、矢印A22が青を割り当てる範囲を示し、矢印A23が水色を割り当てる範囲を示し、矢印A24が黄色を割り当てる範囲を示し、矢印A25がピンクを割り当てる範囲を示し、矢印A26が赤を割り当てる範囲を示している。
図9に示す特徴量空間において、既知検体は属性によって2つのグループG21、G22に大別される。グループG21は良性腫瘍組織のグループであり、グループG22は悪性腫瘍組織のグループである。グループG21とグループG22は、縦軸Mean Mの方向ではMean M=M24で明確に分離する一方、横軸Sd. Mの方向では分離していない。このように、分類項目が悪性/良性鑑別である場合、ミッドバンドフィットの平均Mean Mを採用することによって検体の組織の属性を正確に分類することができる。分類項目が悪性/良性鑑別である場合、特徴量画像では悪性腫瘍組織と良性腫瘍組織を鑑別可能に表示するのが好ましい。そのため、図9では、グループG21、G22にそれぞれ別の色を割り当てている。
上述のM21、M22、M23、M24、M25に相当するミッドバンドフィットの平均Mean Mの値、矢印A21、A22、A23、A24、A25、A26に対する色の情報、および、これらMean Mの値域と視覚情報(色とマスク)との間を対応づける情報(カラーテーブル)は、特徴量を用いた分類が開始される前に、複数種の組織の属性のいずれに属するかが病理検査等によって明らかになっている複数群の既知検体の分布を基にして、図示しない外部処理装置、もしくは、特徴量算出部43と分類部44のいずれか、もしくは、両方によって算出されている。そして、分類情報の一部として、予め、分類情報記憶部81に記憶されている。分類部44は、分類を開始する際に、これらを分類情報記憶部81から読み出し、組織の属性の分類を行う。
(3)分類項目が経過観察判断1の場合
分類対象の属性は要経過観察組織と良性腫瘍組織であり、分類に使用する特徴量は切片の標準偏差Sd. Iである。この場合、特徴量の値が0≦Sd. I<I1には赤が割り当てられ、I1≦Sd. I<I2である画素にはピンクが割り当てられ、I2≦Sd. I<I3である画素には水色が割り当てられ、I3≦Sd. I<I4である画素には青が割り当てられる。これに対し、特徴量の値がSd. I≧I4である画素には色が割り当てられない。
図10は、分類項目が経過観察判断1である場合の分類と色の割り当てを模式的に示す図である。図10では、横軸が切片の標準偏差Sd. Iであり、縦軸が切片の平均Mean Iである特徴量空間における既知検体の特徴量分布を散布図で示すとともに、特徴量の値と画素に割り当てる色との関係を模式的に示している。既知検体とは、本実施の形態1で新たな検体を検査する以前に、病理検査等により、予め組織の属性が明らかになっている別の検体である。また、図10では、矢印A31が赤を割り当てる範囲を示し、矢印A32がピンクを割り当てる範囲を示し、矢印A33が水色を割り当てる範囲を示し、矢印A34が青を割り当てる範囲を示し、矢印A35が色を割り当てない範囲を示している。
図10に示す特徴量空間において、既知検体は属性によって2つのグループG31、G32に大別される。グループG31は要経過観察組織のグループであり、グループG32は良性腫瘍組織のグループである。グループG31とグループG32は、横軸Sd. Iの方向ではSd. I=I2で明確に分離する一方、縦軸Mean Iの方向では分離していない。このように、経過観察判断1を行う場合、切片の標準偏差Sd. Iを採用することによって検体の組織の属性を正確に分類することができる。分類項目が経過観察判断1である場合、特徴量画像では要経過観察組織と良性腫瘍組織を鑑別可能に表示するのが好ましい。そのため、図10では、グループG31、G32にそれぞれ別の色を割り当てている。
上述のI1、I2、I3、I4に相当する切片の標準偏差Sd. Iの値、矢印A31、A32、A33、A34、A35に対する色の情報、および、これらSd. Iの値域と視覚情報(色とマスク)との間を対応づける情報(カラーテーブル)は、特徴量を用いた分類が開始される前に、複数種の組織の属性のいずれに属するかが病理検査等によって明らかになっている複数群の既知検体の分布を基にして、図示しない外部処理装置、もしくは、特徴量算出部43と分類部44のいずれか、もしくは、両方によって算出されている。そして、分類情報の一部として、予め、分類情報記憶部81に記憶されている。分類部44は、分類を開始する際に、これらを分類情報記憶部81から読み出し、組織の属性の分類を行う。
(4)分類項目が経過観察判断2の場合
分類対象の属性は要経過観察組織と悪性腫瘍組織であり、分類に使用する特徴量はミッドバンドフィットの平均Mean Mおよび切片の標準偏差Sd. Iの関数として算出されるd(Mean M, Sd. I)である(以下、単にdと記載する)。このdは、具体的には2つの特徴量Mean MとSd. Iの線型結合として定義される。この場合、特徴量dの値が0≦d<d1である画素には赤が割り当てられ、d1≦d<d2である画素にはピンクが割り当てられ、d2≦d<d3である画素には緑が割り当てられ、d3≦d<d4である画素には黄色が割り当てられる。これに対し、特徴量の値がd≧d4の画素には色が割り当てられない。
図11は、分類項目が経過観察判断2である場合の分類と色の割り当てを模式的に示す図である。図11では、横軸がミッドバンドフィットの平均Mean Mであり、縦軸が切片の標準偏差Sd. Iである特徴量空間における既知検体の特徴量分布を散布図で示すとともに、特徴量の値と画素に割り当てる色との関係を模式的に示している。既知検体とは、本実施の形態1で新たな検体を検査する以前に、病理検査等により、予め組織の属性が明らかになっている別の検体である。また、図11では、矢印A41が赤を割り当てる範囲を示し、矢印A42がピンクを割り当てる範囲を示し、矢印A43が緑を割り当てる範囲を示し、矢印A44が黄色を割り当てる範囲を示し、矢印A45が色を割り当てない範囲を示している。
図11に示す特徴量空間において、既知検体は属性によって2つのグループG41、G42に大別される。グループG41は要経過観察組織のグループであり、グループG42は悪性腫瘍組織のグループである。グループG41とグループG42は、横軸Mean Mおよび縦軸Sd. Iと異なる軸であって横軸Mean Mおよび縦軸Sd. Iと原点で交わる軸である軸dの方向ではd=d2で明確に分離する一方、横軸Mean Mおよび縦軸Sd. Iの方向では分離していない。なお、ここで、特徴量dの値は、軸dに沿った原点からの距離で定義する。このように、分類項目が経過観察判断2である場合、ミッドバンドフィットの平均Mean Mおよび切片の標準偏差Sd. Iの線型結合である特徴量d(Mean M,Sd. I)を採用することによって検体の組織の属性を正確に分類することができる。分類項目が経過観察判断2である場合、特徴量画像では要経過観察組織と良性腫瘍組織を鑑別可能に表示するのが好ましい。そのため、図11では、グループG41、G42にそれぞれ別の色を割り当てている。
ミッドバンドフィットの平均Mean Mと切片の標準偏差Sd. Iとの特徴量dに対する、各割合(すなわち、軸dの方向)、上述のd1、d2、d3、d4に相当する特徴量dの値、矢印A41、A42、A43、A44、A45に対する色の情報、および、これらdの値域と視覚情報(色とマスク)との間を対応づける情報(カラーテーブル)は、特徴量を用いた分類が開始される前に、複数種の組織の属性のいずれに属するかが病理検査等によって明らかになっている複数群の既知検体の分布を基にして、図示しない外部処理装置、もしくは、特徴量算出部43と分類部44のいずれか、もしくは、両方によって算出されている。そして、分類情報の一部として、予め、分類情報記憶部81に記憶されている。分類部44は、分類を開始する際に、これらを分類情報記憶部81から読み出し、組織の属性の分類を行う。
記憶部8は、上記以外にも、例えば増幅処理に必要な情報(図2に示す増幅率と受信深度との関係)、増幅補正処理に必要な情報(図3に示す増幅率と受信深度との関係)、減衰補正処理に必要な情報(式(1)参照)、周波数解析処理に必要な窓関数(Hamming、Hanning、Blackman等)の情報を記憶する。
また、記憶部8は、超音波観測装置1(医用診断装置)の作動方法を実行するための作動プログラムを記憶する。この作動プログラムは、ハードディスク、フラッシュメモリ、CD−ROM、DVD−ROM、フレキシブルディスク等のコンピュータ読み取り可能な記録媒体に記録して広く流通させることも可能である。各種プログラムの記録媒体等への記録は、コンピュータまたは記録媒体を製品として出荷する際に行ってもよいし、通信ネットワークを介したダウンロードにより行ってもよい。
以上の構成を有する記憶部8は、各種プログラム等が予めインストールされたROM(Read Only Memory)、および各処理の演算パラメータやデータ等を記憶するRAM(Random Access Memory)等を用いて実現される。上述した各種プログラムは、通信ネットワークを介してダウンロードすることによって取得することも可能である。ここでいう通信ネットワークは、例えば既存の公衆回線網、LAN(Local Area Network)、WAN(Wide Area Network)などによって実現されるものであり、有線、無線を問わない。
制御部9は、演算および制御機能を有するCPU(Central Proccesing Unit)や各種演算回路等を用いて実現される。制御部9は、記憶部8が記憶、格納する情報および超音波観測装置1の作動プログラムを含む各種プログラムを記憶部8から読み出すことにより、超音波観測装置1の作動方法に関連した各種演算処理を実行することによって超音波観測装置1を統括して制御する。なお、制御部9と演算部4を、共通のCPU等を用いて構成することも可能である。
図12は、以上の構成を有する超音波観測装置1が行う処理の概要を示すフローチャートである。まず、入力部6が分類項目の選択入力を受け付ける(ステップS1)。図13は、入力部6が分類項目の選択入力を受け付ける際に表示部7が表示する選択画面の表示例を示す図である。図13に示す選択画面101は、分類項目と分類対象の組織の属性(分類属性)が表示されている。選択画面101には、現在選択されている分類項目を示す枠カーソル102が表示される。図13では、分類項目として「腫瘍スクリーニング」が選択された状態を示している。ユーザは、マウス等を用いて枠カーソル102を所望の分類項目へ移動させた後、マウスをクリックして選択を確定することによって選択入力を完了する。入力部6は、受け付けた選択入力信号を制御部9へ出力する。
続いて、超音波観測装置1は、まず超音波探触子2によって新規の検体の測定を行う(ステップS2)。具体的には、超音波探触子2の超音波振動子21は、電気的なパルス信号を超音波パルスへ変換し、検体へ順次送信する。超音波パルスは検体によってそれぞれ反射され、超音波エコーが生じる。超音波振動子21は、超音波エコーを電気的なエコー信号に変換する。この際、パルス信号の周波数帯域は、超音波振動子21におけるパルス信号の超音波パルスへの電気音響変換の線形応答周波数帯域をほぼカバーする広帯域にするとよい。それにより、後述する周波数スペクトルの近似処理において、精度のよい近似を行うことが可能となる。
超音波探触子2からエコー信号を受信した信号増幅部31は、そのエコー信号の増幅を行う(ステップS3)。ここで、信号増幅部31は、例えば図2に示す増幅率と受信深度との関係に基づいてエコー信号の増幅(STC補正)を行う。この際、信号増幅部31におけるエコー信号の各種処理周波数帯域は、超音波振動子21による超音波エコーのエコー信号への音響電気変換の線形応答周波数帯域をほぼカバーする広帯域にするとよい。これも、後述する周波数スペクトルの近似処理において精度のよい近似を行うことを可能とするためである。
続いて、Bモード画像データ生成部51は、信号増幅部31が増幅したエコー信号を用いてBモード画像データを生成する(ステップS4)。なお、このステップS4の後、制御部9が、生成したBモード画像データに対応するBモード画像を表示部7に表示させる制御を行ってもよい。
増幅補正部41は、送受信部3から出力された信号に対して受信深度によらず増幅率が一定となる増幅補正を行う(ステップS5)。ここで、増幅補正部41は、例えば図3に示す増幅率と受信深度との関係に基づいて増幅補正を行う。
この後、入力部6を介して関心領域の設定がなされた場合(ステップS6:Yes)、周波数解析部42は、FFT演算による周波数解析を行うことによって周波数スペクトルを算出する(ステップS7)。このステップS7では、画像の全領域を関心領域として設定することも可能である。一方、関心領域の設定がなされていない場合(ステップS6:No)において、入力部6が処理を終了する指示の入力を受け付けたとき(ステップS8:Yes)、超音波観測装置1は処理を終了する。これに対し、関心領域の設定がなされていない場合(ステップS6:No)において、入力部6が処理を終了する指示の入力を受け付けないとき(ステップS8:No)、超音波観測装置1はステップS6へ戻る。
図14は、ステップS7において周波数解析部42が実行する処理の概要を示すフローチャートである。以下、図14に示すフローチャートを参照して、周波数解析処理を詳細に説明する。まず、周波数解析部42は、解析対象の音線を識別するカウンタkをk0とする(ステップS21)。
続いて、周波数解析部42は、FFT演算用に取得する一連のデータ群(振幅データ群)を代表するデータ位置(受信深度に相当)Z(k)の初期値Z(k) 0を設定する(ステップS22)。例えば、図4では、上述したように、音線SRkの1番目のデータ位置を初期値Z(k) 0として設定した場合を示している。
その後、周波数解析部42は、データ位置Z(k)が属する振幅データ群を取得し(ステップS23)、取得した振幅データ群に対し、記憶部8が記憶する窓関数を作用させる(ステップS24)。このように振幅データ群に対して窓関数を作用させることにより、振幅データ群が境界で不連続になることを回避し、アーチファクトが発生するのを防止することができる。
続いて、周波数解析部42は、データ位置Z(k)の振幅データ群が正常なデータ群であるか否かを判定する(ステップS25)。図4を参照した際に説明したように、振幅データ群は、2のべき乗のデータ数を有している必要がある。以下、正常な振幅データ群のデータ数を2n(nは正の整数)とする。本実施の形態1では、データ位置Z(k)は、できるだけZ(k)が属する振幅データ群の中心になるよう設定される。具体的には、振幅データ群のデータ数は2nであるので、Z(k)はその振幅データ群の中心に近い2n/2(=2n-1)番目の位置に設定される。換言すると、振幅データ群が正常であるとは、データ位置Z(k)の前方に2n-1−1(=Nとする)個のデータがあり、データ位置Z(k)の後方に2n-1(=Mとする)個のデータがあることを意味する。図4に示す場合、振幅データ群F2、F3はともに正常である。なお、図4ではn=4(N=7,M=8)の場合を例示している。
ステップS25における判定の結果、データ位置Z(k)の振幅データ群が正常である場合(ステップS25:Yes)、周波数解析部42は、後述するステップS27へ移行する。
ステップS25における判定の結果、データ位置Z(k)の振幅データ群が正常でない場合(ステップS25:No)、周波数解析部42は、不足分だけゼロデータを挿入することによって正常な振幅データ群を生成する(ステップS26)。ステップS25において正常でないと判定された振幅データ群(例えば図4の振幅データ群F1、FK)は、ゼロデータを追加する前に窓関数が作用されている。このため、振幅データ群にゼロデータを挿入してもデータの不連続は生じない。ステップS26の後、周波数解析部42は、後述するステップS27へ移行する。
ステップS27において、周波数解析部42は、振幅データ群を用いてFFT演算を行うことにより、振幅の周波数分布である周波数スペクトルを得る(ステップS27)。この結果を、例えば図5に示す。
続いて、周波数解析部42は、データ位置Z(k)をステップ幅Dで変化させる(ステップS28)。ステップ幅Dは、記憶部8が予め記憶しているものとする。図4では、D=15の場合を例示している。ステップ幅Dは、Bモード画像データ生成部51がBモード画像データを生成する際に利用するデータステップ幅と一致させることが望ましいが、周波数解析部42における演算量を削減したい場合には、ステップ幅Dとしてデータステップ幅より大きい値を設定してもよい。
その後、周波数解析部42は、データ位置Z(k)が音線SRkにおける最大値Z(k) maxより大きいか否かを判定する(ステップS29)。データ位置Z(k)が最大値Z(k) maxより大きい場合(ステップS29:Yes)、周波数解析部42はカウンタkを1増加させる(ステップS30)。これは、処理をとなりの音線へ移すことを意味する。一方、データ位置Z(k)が最大値Z(k) max以下である場合(ステップS29:No)、周波数解析部42はステップS23へ戻る。このようにして、周波数解析部42は、音線SRkに対して、[(Z(k) max−Z(k) 0+1)/D+1]個の振幅データ群に対するFFT演算を行う。ここで、[X]は、Xを超えない最大の整数を表す。
ステップS30の後、周波数解析部42は、カウンタkが最大値kmaxより大きいか否かを判定する(ステップS31)。カウンタkがkmaxより大きい場合(ステップS31:Yes)、周波数解析部42は一連のFFT処理を終了する。一方、カウンタkがkmax以下である場合(ステップS31:No)、周波数解析部42はステップS22に戻る。
このようにして、周波数解析部42は、関心領域内の(kmax−k0+1)本の音線の各々について複数回のFFT演算を行う。
この後、減衰補正部431は、周波数解析部42が算出した周波数スペクトルに対して減衰補正を行う(ステップS9)。減衰補正部431は、上述した式(1)の減衰量Aを強度Iに加える補正処理を全ての周波数fに対して行うことにより、新たな周波数スペクトルを得る。これにより、超音波の伝播に伴う減衰の寄与を削減した周波数スペクトルを得ることができる。図6に示す周波数スペクトルC2は、周波数スペクトルC1に対して減衰補正処理を施した結果として得られる曲線である。
続いて、近似部432は、減衰補正した周波数スペクトル(補正周波数スペクトル)を所定の周波数帯域で回帰分析することによって一次式で近似する(ステップS10)。この近似処理において、近似部432は、特徴量算出に必要なパラメータとして、傾きa、切片b、およびミッドバンドフィットcを算出し、分類情報記憶部81へ書き込んで記憶させる。
この後、特徴量算出部43は、分類情報記憶部81を参照して、ステップS1で選択した分類項目に応じて分類に必要な特徴量を算出する(ステップS11)。例えば、分類項目として腫瘍スクリーニングが選択された場合、図7に示す通り、特徴量算出部43は、関心領域内の単位領域で得られたミッドバンドフィットの標準偏差Sd. Mを算出する。
分類部44は、特徴量算出部43が算出した特徴量を用いて組織の属性の分類を行い、分類結果に応じた色を関心領域内の各画素に対して割り当てる(ステップS12)。この色の割り当ては、例えば図8〜図11を参照して説明したように、分類項目に応じて定められる特徴量の値に応じて定められ、単位領域ごとに行われる。
特徴量画像データ生成部52は、Bモード画像データ生成部51が生成したBモード画像データにおける各画素に対し、制御部9を介して分類部44から送られてくる画素の色割り当て情報に基づいて視覚情報としての色を重畳することによって特徴量画像データを生成する(ステップS13)。
この後、表示部7は、制御部9の制御の下、特徴量画像データ生成部52が生成した特徴量画像データに対応する特徴量画像を表示する(ステップS14)。
図15は、表示部7における特徴量画像の表示例を模式的に示す図である。同図に示す特徴量画像201は、検査内容表示領域202と、画像表示領域203と、色特性表示領域204とを有する。
検査内容表示領域202は、画面上部に設けられ、分類項目、分類に用いる特徴量、分類属性、検体ID、カラーバーの両極に対する分類属性を表す用語(後述)等の情報を表示する。図15では、分類項目が腫瘍スクリーニングである場合を例示している。
画像表示領域203は、Bモード画像の各画素に対して分類結果に基づく色を重畳した合成画像を表示する。画像表示領域203は、関心領域231を表示するとともに、関心領域231内の属性を対応する色で表示する。図15では、悪性腫瘍組織として、赤色の領域D1およびピンク色の領域D2を表示している。
色特性表示領域204は、画像表示領域203で表示する色と特徴量の値との関係を示すカラーバーを表示する。
このカラーバーの上下の両極には、対応する分類属性に応じた用語が表示される。分類項目が「No.I:腫瘍スクリーニング」のときには、図15に示すように、「正常」/「異常(悪性)」と表示される。また、分類項目が「No.II:悪性/良性鑑別」のときには「良性」/「悪性」と表示され、分類項目が「No.III:経過観察判断1」のときには「良性」/「要観察」と表示され、分類項目が「No.IV:経過観察判断2」のときには「要観察」/「悪性」と表示される。これらカラーバーの極性を表す用語、および、これら用語と分類項目との対応関係を示す情報も、特徴量を用いた分類が開始される前に、分類情報の一部として、予め、分類情報記憶部81に記憶されている。画像処理部5は、分類を開始する際に、これらを分類情報記憶部81から読み出し、組織の属性の分類を行う。
なお、以上説明してきた一連の処理(ステップS1〜S14)において、ステップS4の処理とステップS5〜S14の処理とを並行して行い、Bモード画像と特徴量画像とを並列表示してもよい。
以上説明した本発明の実施の形態1によれば、検体からの受信信号に基づいて複数種類の特徴量を算出し、この複数の特徴量のうち、予め選択された分類項目に応じて定められる特徴量を用いて検体の組織の属性を分類し、分類結果に応じた視覚情報を受信信号に基づく画像の各画素に対して割り当てた特徴量画像データを生成するため、組織の属性を分類する際にすべての特徴量を使用せずに、その属性の分類に最適な特徴量のみを使用することが可能となり、診断内容に応じて組織が分類された画像データを効率よく生成することができる。
また、本実施の形態1によれば、視覚情報として色を割り当てることにより、ユーザは検体の組織の属性を明確に鑑別することができる。
また、本実施の形態1によれば、既知検体の特徴量を求める際にも、周波数解析によって得られた周波数スペクトルを減衰補正して得られる特徴量を指標として属性の分類を行うため、減衰補正を行わずに算出した特徴量を用いる場合と比較して、特徴量空間における各グループの領域をより明確に分離した状態で得ることができ、互いに異なる属性を峻別することができる。
(実施の形態2)
本発明の実施の形態1では、分類のために必要な、周波数特徴量の値域と、値域に対応する視覚情報(色とマスク)と、値域と視覚情報との間を関連づける情報(カラーテーブル)とが、分類情報の一部として、予め、分類情報記憶部81に記憶されていた。実施の形態1における分類情報は、全て、分類部44による分類以前に、病理検査等により組織の属性が明らかな検体から導かれた情報であった。本発明の実施の形態2に係る医用診断装置は、病理検査等により検査対象組織の属性が明らかになった検体における該検査対象部位の特徴量を既知検体情報として蓄積しながら、分類情報を更新していく機能を有する。
図16は、本実施の形態2に係る医用診断装置である超音波観測装置の構成を示すブロック図である。同図に示す超音波観測装置11は、演算部12と記憶部13を除いて、実施の形態1で説明した超音波観測装置1と同様の構成を有する。このため、超音波観測装置1と同様の構成要素については、超音波観測装置1の構成要素と同じ符号を付して説明する。
演算部12は、増幅補正部41と、周波数解析部42と、特徴量算出部43と、分類部44と、分類情報設定部121とを有する。分類情報設定部121は、病理検査等により組織の属性が明らかになった検体の情報が既知検体情報として追加された場合、分類情報を更新する処理を行う。
記憶部13は、分類情報記憶部81と、病理検査等によって属性を判定済みの検査対象箇所を含むBモード画像データを記憶する属性判定済画像記憶部131と、既知検体に対して特徴量の値を既知検体の組織の属性と対応付けて記憶する既知検体情報記憶部132とを有する。
図17は、以上の構成を有する超音波観測装置11が行う既知検体情報の作成処理の概要を示すフローチャートである。以下、図17に示すフローチャートを参照して、既知検体情報の作成処理を説明する。
まず、制御部9は、属性判定済画像記憶部131から属性判定済みのBモード画像データを読み出し、このBモード画像データに対応するBモード画像を表示部7に表示させる(ステップS41)。
続いて、入力部6は、表示中のBモード画像に対し、既知検体情報として作成するためのデータ取得領域の設定入力を受け付ける(ステップS42)。データ取得領域は、例えば円、楕円、正方形、長方形、扇形等の形状をなす領域として設定される。
この後、周波数解析部42は、データ取得領域の周波数解析を行う(ステップS43)。続いて、減衰補正部431は、周波数解析部42が算出した周波数スペクトルに対して減衰補正を行う(ステップS44)。その後、近似部432は、減衰補正した周波数スペクトルを所定の周波数帯域で回帰分析することによって一次式で近似する(ステップS45)。ここでの周波数解析処理、減衰補正処理、および近似処理は、実施の形態1で説明した周波数解析処理、減衰補正処理、および近似処理とそれぞれ同様に行われる。
ステップS45に続いて、特徴量算出部43は、新たに算出したパラメータを同じ属性からなる既知検体のグループに加えたものを新たな母集団として特徴量を算出する(ステップS46)。例えば、パラメータとしてデータ取得領域における傾きa、切片b、ミッドバンドフィットcを算出した場合、これらを加えた母集団における傾きaの平均Mean Sおよび標準偏差Sd. S、切片bの平均Mean Iおよび標準偏差Sd. I、ミッドバンドフィットcの平均Mean Mおよび標準偏差Sd. Mを特徴量として算出する。
最後に、制御部9は、特徴量算出部43が算出した特徴量を属性と関連づけて既知検体情報記憶部132に書き込んで記憶させる(ステップS47)。
以上説明したステップS41〜S47の処理を多数の既知検体に対して行うことにより、既知検体情報記憶部132には、多数の既知検体の情報が蓄積されていく。
ところで、本実施の形態2では、属性として新規な属性を追加したりすることも可能である。このため、ある医療施設が他の医療施設とは異なる基準で新たな属性を定義したい場合などであっても、その新たな属性に応じて既知検体の情報を蓄積していくことができる。また、学会ガイドラインや取扱基準等のルール改訂により、疾患名/組織名や疾患区分方法/組織区分方法に追加や変更が生じても、新たな属性に応じて既知検体の情報を蓄積していくことができる。
図18は、分類情報設定部121が行う処理の概要を示すフローチャートである。以下、分類項目に応じて分類情報設定部121が行う分類情報更新処理について説明する。
まず、分類情報設定部121は、既知検体情報記憶部132を参照して、既知検体情報を取得する(ステップS51)。具体的には、分類情報設定部121は、各既知検体の特徴量の情報を取得する。
続いて、分類情報設定部121は、既知検体の特徴量を分離する方向を算出する(ステップS52)。この際、分類情報設定部121は、特徴量空間において、検体の組織の属性ごとにグループ分けしたときに判定対象の属性が最もよく分離する方向を分離方向とする演算を行う。
図19は、分離方向決定処理の概要を模式的に示す図である。図19では、異なる属性を有する2つのグループG51、G52の分離方向を決定する場合を例示している。グループG51を構成する特徴量空間上の点(丸印で表示)を、特徴量空間の任意の軸d’に沿って見たときの分布301の平均値をμ1、標準偏差をσ1とする。同様に、グループG52を構成する特徴量空間上の点(×印で表示)を軸d’に沿って見たときの分布302の平均値をμ2、標準偏差をσ2とする。このとき、分類情報設定部121は、(μ2−μ1)/σ’(ここで、σ’=(σ1+σ2)/2)の値が最大となるような軸d’の方向を、既知検体の特徴量を分離する方向として算出する。また、分類情報設定部121は、この方向d’におけるグループG51とグループG52の境界として、方向d’に垂直で、μ1〜μ2間をσ1:σ2で内分した点d0を通過する分離軸d’’を設定する。図19に示す場合には、μ1とd0の距離d10と、μ2とd0の距離d20が、d10:d20=σ1:σ2を満たしている。
この後、分類情報設定部121は、特徴量と色の割り当てを対応づけるカラーテーブルを作成する(ステップS53)。分類情報設定部121は、ステップS52で設定した分離方向に沿って所定幅を有する領域ごとに、各領域に含まれる検体の組織の属性の比率を判定し、この判定結果に応じた色を割り当てることによってカラーテーブルを作成する。
具体的には、図19において、分類情報設定部121は、例えば軸d’に沿って幅σ1/10ごとに領域を分割し、各領域における検体の組織の属性の比率を算出する。その後、分類情報設定部121は、各領域においてグループG51の点が占める割合に応じて異なる色を割り当てる。例えば、グループG51の点が占める割合に応じて3つの領域に分ける場合、グループG51の点が全体の70%以上含まれる領域と、グループG51の点が全体の30%以上70%未満含まれる領域と、グループG51の点が全体の30%未満含まれる領域に対して互いに異なる色を割り当てることによってカラーバーを作成する。なお、領域を分ける数および割り当てる色については、適宜設定可能である。また、色を割り当てない領域(マスク領域)を設定することも可能である。
最後に、分類情報設定部121は、制御部9の制御の下、作成したカラーテーブルを分類情報として分類情報記憶部81に書き込んで記憶させる(ステップS54)。
なお、本実施の形態2において、超音波観測装置11が行う特徴量画像の生成、表示処理は、実施の形態1と同様である。
以上説明した本発明の実施の形態2によれば、実施の形態1と同様に、診断内容に応じて最適な特徴量に基づく検体の組織の属性の分類が可能となり、診断内容に応じて組織が分類された画像データを効率よく生成することができる。
また、本実施の形態2によれば、ユーザが検体の組織の属性を明確に鑑別することができる点、および超音波信号に対して減衰補正を行うことによって分類精度を向上させることができる点についても、実施の形態1と同様の効果を得ることができる。
加えて、本実施の形態2によれば、病理検査等により検査対象組織の属性が明らかになった検体における該検査対象部位の特徴量を既知検体情報として蓄積していき、分類情報を更新していくことができるので、より精度の高い分類を行うことが可能となる。
(その他の実施の形態)
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態によってのみ限定されるべきものではない。例えば、超音波観測装置1は、用途に応じて超音波探触子2の種類が異なることに鑑み、超音波探触子2の種類に応じて選択可能な分類項目を変更するようにしてもよい。超音波探触子2の種類と選択可能な分類項目の対応は、分類情報記憶部81に記憶させておけばよい。この場合、超音波観測装置1が備える超音波探触子2の種類は、予め装置自身が認識可能な構成を有している。具体的には、例えば超音波探触子2として、超音波内視鏡が用いられていれば、超音波内視鏡における処理装置接続側の端部に超音波内視鏡の種類を処理装置に判別させるための接続ピンを設けておけばよい。これにより、処理装置は、接続された超音波内視鏡の接続ピンの形状に応じて超音波内視鏡の種類を判定することができる。
また、本発明の実施の形態1では、特徴量(例えばMean Mの値)に対する色の情報と、特徴量の値域と視覚情報とを対応づけるカラーテーブルとが既知検体の分布を基にして算出されていた。そして、記憶部8が有する分類情報記憶部81は、この色の情報とカラーテーブルとを分類情報の一部として記憶した。しかし、本発明はこの実施の形態に限らず、次のように構成してもよい。例えば、分類情報記憶部81が、図8〜図11の分布を構成するために必要な全既知検体の、周波数スペクトル、または、受信信号、または、送受信部3により受信信号からA/D変換されたデジタルRF信号を、予め記憶しておく形態でもよい。この場合、新規、かつ、属性が未知の検体を測定するステップS2の前に、特徴量算出部43は全既知検体の上記情報から全既知検体の特徴量を予め計算し、分類部44はこれらの特徴量から、分類情報の一部(すなわち、上述の色の情報とカラーテーブル)を算出し、分類情報記憶部81は改めてこの分類情報を記憶する。このように「既知検体情報」として用いるのは、属性が既知である検体からの受信信号に基づいて算出された情報でもよく、受信信号そのものでもよい。こうすることで、本発明の実施の形態1と同様の効果を得ることができる。さらに、この形態は本発明の実施の形態2に適用してもよいことは言うまでもない。
また、用途が限定される超音波探触子2に対しては、その用途に対応する分類項目に限定して使用するようにしてもよい。用途が限定される超音波探触子2としては、例えば細径のミニチュアプローブを挙げることができる。このミニチュアプローブは、消化管、血管のみならず、特に胆管や膵管等に挿入されるものであり、図7のテーブルTbにある分類項目「悪性/良性鑑別」を行うために使用される。このため、ミニチュアプローブが接続された超音波観測装置1は、自動的に分類項目「悪性/良性鑑別」に対する分類処理を行うようにしてもよい。
また、特徴量として、減衰補正前の周波数スペクトルを近似することによって得られるパラメータである傾き、切片、およびミッドバンドフィット自体を用いてもよい。また、周波数スペクトルを減衰補正する前に近似し、近似した結果に対して減衰補正を行ってこれらの特徴量を算出するようにしてもよい。図20は、特徴量算出部43が、周波数スペクトルの近似処理を行ってから減衰補正処理を行う場合の処理の概要を模式的に示す図である。図20に示す直線L10は、近似部432が周波数スペクトルC1の周波数帯域Fを近似した結果として得られる回帰直線である。減衰補正部431は、この直線L10に対して減衰補正を行うことにより、直線L1を得る。特徴量算出部43は、この直線L1の傾き、切片、およびミッドバンドフィットを特徴量として算出する。
また、周波数解析によって算出される特徴量以外の特徴量として、例えばテクスチャ特徴量を適用することも可能である。テクスチャ特徴量としては、関心領域内の輝度のエネルギー(energy)、エントロピー(entropy)、相関(correlation)、局所一様性(local homogeneity)、慣性(inertia)、短ラン強調(short run emphasis)、長ラン強調(long run emphasis)、濃度レベル分布(gray level distribution)、ランレングス分布(run length distribution)、ランパーセンテージ(run percentage)などを挙げることができる(詳細な内容は、例えば特開平4−236952号公報を参照)。なお、これらのテクスチャ特徴量と周波数解析によって得られる特徴量とを適宜組み合わせることによって組織の属性を分類するようにしてもよい。また、特徴量画像に重畳されている色や輝度のパターンを分析して、パターンに基づいたテクスチャ特徴量を算出し、それを基に分類してもよい。
また、視覚情報として色を採用してカラーテーブルを用いる代わりに、視覚情報として輝度を採用して輝度の違いによって属性の違いを表示する輝度テーブルを作成し、輝度テーブルを用いて特徴量画像データを作成するようにしてもよい。
また、医師等のユーザが、検査の最中に分類項目を切り替えることができるようにしてもよい。この場合には、入力部6が分類項目切り替え信号の入力を受け付けた場合、制御部9が表示部7に対し、図13に示す選択画面101を表示させるようにすればよい。このように構成、作用させることで、ユーザが分類項目「I.腫瘍スクリーニング」で腫瘍等の病変を発見した後、その検査中に、簡便な操作のみで、分類項目「II悪性/良性鑑別」、分類項目「III.経過観察判断1」、分類項目「IV.経過観察判断2」へと検査を切り替え、当該病変が悪性か良性か、経過観察すべきか否か、すぐに治療すべきか否かの判断を行うことができる。よって、スクリーニング後の精査のための再検査が不要になり、診療が非常に効率的である。
また、図8ないし図10では、1種類の特徴量での分類を説明した。これは、特徴量空間を1次元に取っても分類ができることを意味する。また、図11では2種類の特徴量での分類を説明した。これは、特徴量空間を2次元に取って分類ができたことを意味する。しかし、分類に用いる特徴量の種類、すなわち、特徴量空間の次元は、これらの例に限らず、3以上の高次元でもよい。特徴量空間が高次元の場合、図19に示した分離軸d’’は、1次元ではなく2次元(平面)以上の特徴量空間内の部分空間になる。
また、実施の形態1、2においては、特徴量となる統計量として、平均、標準偏差を例に説明したが、前述の通り分散でもよい。なお、統計量は、これら1次元の統計量には限らない。特徴量空間が図11のように2次元の場合には、グループG41とG42に対して相関係数、慣性主軸、慣性テンソル、固有値、固有ベクトル等の複数次元の統計量を算出し、特徴量として用いてもよい。特徴量空間が3次元以上の場合には、質量の異なる質点が2次元以上の空間に分布していると見なせるので、その分布の重心、質量モーメント、質量を振幅と見なして算出した2乗和(エネルギー)等の統計量を算出し、特徴量として用いてもよい。
また、超音波内視鏡以外の通常の内視鏡、X線CT(Computed Tomography)、MRI(Magnetic Resonance Imaging)、胸部、腹部など体表から超音波を照射する体外式超音波診断装置等の医用診断装置として実現することも可能である。
このように、本発明は、請求の範囲に記載した技術的思想を逸脱しない範囲内において、様々な実施の形態等を含み得るものである。
1、11 超音波観測装置
2 超音波探触子
3 送受信部
4、12 演算部
5 画像処理部
6 入力部
7 表示部
8、13 記憶部
9 制御部
21 超音波振動子
31 信号増幅部
41 増幅補正部
42 周波数解析部
43 特徴量算出部
44 分類部
51 Bモード画像データ生成部
52 特徴量画像データ生成部
81 分類情報記憶部
101 選択画面
102 枠カーソル
121 分類情報設定部
131 属性判定済画像記憶部
132 既知検体情報記憶部
201 特徴量画像
202 検査内容表示領域
203 画像表示領域
204 色特性表示領域
231 関心領域
431 減衰補正部
432 近似部
1、C2 周波数スペクトル
11、G12、G21、G22、G31、G32、G41、G42、G51、G52 グループ
Tb テーブル

Claims (15)

  1. 検体から受信した受信信号から得られる周波数スペクトル情報または輝度情報に基づいた量であって前記検体の組織の属性に関連する量である複数種類の特徴量を算出する特徴量算出部と、
    前記特徴量算出部が算出した前記複数種類の特徴量のうち、分類目的ごとに割り当てられた複数の分類項目から予め選択された分類項目に応じて定められる特徴量を用いて前記検体の組織の属性を分類し、分類結果に応じた視覚情報を前記受信信号に基づく画像の各画素に対して割り当てる分類部と、
    前記受信信号に基づく画像の各画素に割り当てられた前記視覚情報を重畳した特徴量画像データを生成する特徴量画像データ生成部と、
    を備えたことを特徴とする医用診断装置。
  2. 前記分類項目に対応する分類対象の組織の属性、分類に用いるべき特徴量の種類、および該特徴量の値に応じた視覚情報を対応づけた情報のうち少なくとも1つを含む分類情報を記憶する分類情報記憶部をさらに備え、
    前記分類部は、
    前記分類情報記憶部を参照して前記分類および前記視覚情報の割り当てを行うことを特徴とする請求項1に記載の医用診断装置。
  3. 前記属性が既知である検体からの受信信号および前記受信信号に基づいて算出された情報のうち少なくとも一方を含む既知検体情報を該属性と関連付けて記憶する既知検体情報記憶部と、
    前記既知検体情報記憶部が記憶する前記既知検体情報を用いて前記分類情報を設定する分類情報設定部と、
    をさらに備えたことを特徴とする請求項2に記載の医用診断装置。
  4. 前記特徴量算出部は、
    前記検体の所定の領域から受信した前記受信信号をもとに複数のパラメータを抽出し、該複数のパラメータを用いて特徴量を算出することを特徴とする請求項1記載の医用診断装置。
  5. 前記特徴量算出部は、
    前記複数のパラメータのうち同じ種類のパラメータの統計量を前記特徴量として算出することを特徴とする請求項4に記載の医用診断装置。
  6. 前記視覚情報は、色空間を構成する変数であることを特徴とする請求項1に記載の医用診断装置。
  7. 前記視覚情報は、輝度であることを特徴とする請求項1に記載の医用診断装置。
  8. 前記特徴量画像データ生成部が生成した前記特徴量画像データに対応する特徴量画像を表示する表示部をさらに備えたことを特徴とする請求項1に記載の医用診断装置。
  9. 前記分類項目の選択入力を受け付ける入力部をさらに備えたことを特徴とする請求項1に記載の医用診断装置。
  10. 検体に対して超音波を送信するとともに前記検体によって反射された超音波エコーを変換した電気的なエコー信号を前記受信信号として受信する超音波探触子をさらに備えたことを特徴とする請求項1に記載の医用診断装置。
  11. 前記エコー信号の周波数を解析することによって周波数スペクトルを算出する周波数解析部をさらに備え、
    前記特徴量算出部は、
    前記周波数スペクトルを用いて前記複数種類の特徴量を算出することを特徴とする請求項10に記載の医用診断装置。
  12. 前記特徴量算出部は、
    前記受信信号に基づく画像の各画素の輝度からテクスチャ解析によって得られるテクスチャ特徴量を前記複数種類の特徴量として算出することを特徴とする請求項1に記載の医用診断装置。
  13. 検体から受信した受信信号に基づいて診断用の画像データを生成する医用診断装置の作動方法であって、
    特徴量算出部が、前記受信信号から得られる周波数スペクトル情報または輝度情報における複数種類の特徴量を算出する特徴量算出ステップと、
    分類部が、前記複数種類の特徴量のうち、分類目的ごとに割り当てられた複数の分類項目から予め選択された分類項目に応じて定められる特徴量を用いて前記検体の組織の属性を分類し、分類結果に応じた視覚情報を前記受信信号に基づく画像の各画素に対して割り当てる分類ステップと、
    特徴量画像データ生成部が、前記受信信号に基づく画像の各画素に割り当てられた前記視覚情報を重畳した特徴量画像データを生成する特徴量画像データ生成ステップと、
    を有することを特徴とする医用診断装置の作動方法。
  14. 検体から受信した受信信号に基づいて診断用の画像データを生成する医用診断装置に、 特徴量算出部が、前記受信信号から得られる周波数スペクトル情報または輝度情報における複数種類の特徴量を算出する特徴量算出ステップと、
    分類部が、前記複数種類の特徴量のうち、分類目的ごとに割り当てられた複数の分類項目から予め選択された分類項目に応じて定められる特徴量を用いて前記検体の組織の属性を分類し、分類結果に応じた視覚情報を前記受信信号に基づく画像の各画素に対して割り当てる分類ステップと、
    特徴量画像データ生成部が、前記受信信号に基づく画像の各画素に割り当てられた前記視覚情報を重畳した特徴量画像データを生成する特徴量画像データ生成ステップと、
    を実行させることを特徴とする医用診断装置の作動プログラム。
  15. 前記受信信号の周波数を解析することによって周波数スペクトルを算出する周波数解析部をさらに備え、
    前記特徴量算出部は、
    前記周波数解析部が解析した周波数スペクトルを一次式で近似し、前記一次式の傾き、前記一次式の切片、および前記傾きと前記切片と前記周波数スペクトルの周波数帯域に含まれる特定の周波数とを用いて定まる強度のうち、少なくとも1つを前記複数種類の特徴量として抽出する近似部を有することを特徴とする請求項1に記載の医用診断装置。
JP2015540935A 2014-06-11 2015-04-24 医用診断装置、医用診断装置の作動方法および医用診断装置の作動プログラム Active JP5897227B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015540935A JP5897227B1 (ja) 2014-06-11 2015-04-24 医用診断装置、医用診断装置の作動方法および医用診断装置の作動プログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2014121002 2014-06-11
JP2014121002 2014-06-11
PCT/JP2015/062606 WO2015190180A1 (ja) 2014-06-11 2015-04-24 医用診断装置、医用診断装置の作動方法および医用診断装置の作動プログラム
JP2015540935A JP5897227B1 (ja) 2014-06-11 2015-04-24 医用診断装置、医用診断装置の作動方法および医用診断装置の作動プログラム

Publications (2)

Publication Number Publication Date
JP5897227B1 true JP5897227B1 (ja) 2016-03-30
JPWO2015190180A1 JPWO2015190180A1 (ja) 2017-04-20

Family

ID=54833287

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015540935A Active JP5897227B1 (ja) 2014-06-11 2015-04-24 医用診断装置、医用診断装置の作動方法および医用診断装置の作動プログラム

Country Status (5)

Country Link
US (1) US9655593B2 (ja)
EP (1) EP3155971A4 (ja)
JP (1) JP5897227B1 (ja)
CN (1) CN105828726B (ja)
WO (1) WO2015190180A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6339872B2 (ja) * 2014-06-24 2018-06-06 オリンパス株式会社 画像処理装置、内視鏡システム及び画像処理方法
JP6513224B2 (ja) * 2015-12-24 2019-05-15 オリンパス株式会社 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム
US10148972B2 (en) * 2016-01-08 2018-12-04 Futurewei Technologies, Inc. JPEG image to compressed GPU texture transcoder
CN109788939B (zh) * 2016-09-29 2022-05-31 通用电气公司 用于通过自动检测b线和对超声扫描的图像进行评分来增强代表性超声图像的可视化和选择的方法和***
JP6535694B2 (ja) * 2017-02-22 2019-06-26 株式会社ジンズ 情報処理方法、情報処理装置及びプログラム
EP3588438A4 (en) 2017-03-07 2020-03-18 Shanghai United Imaging Healthcare Co., Ltd. METHOD AND SYSTEM FOR PRODUCING COLORED MEDICAL IMAGES
JP6906347B2 (ja) * 2017-04-10 2021-07-21 富士フイルム株式会社 医用画像分類装置、方法およびプログラム
JP6943138B2 (ja) * 2017-10-26 2021-09-29 コニカミノルタ株式会社 医用画像処理装置
EP3588120B1 (en) * 2018-06-26 2021-02-24 Bruker BioSpin GmbH System and method for improved signal detection in nmr spectroscopy
US11564633B2 (en) * 2018-12-21 2023-01-31 Industrial Technology Research Institute State assessment system, diagnosis and treatment system, and method for operating the diagnosis and treatment system
WO2020157870A1 (ja) * 2019-01-30 2020-08-06 オリンパス株式会社 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム
CN216675901U (zh) 2020-07-21 2022-06-07 巴德阿克塞斯***股份有限公司 用于跟踪超声探头以创建三维(3d)可视化的基于磁的跟踪***
CN113702982A (zh) * 2021-08-26 2021-11-26 廊坊市新思维科技有限公司 一种超声波数据成像算法
US20230389893A1 (en) * 2022-06-03 2023-12-07 Bard Access Systems, Inc. Ultrasound Probe with Smart Accessory

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011155168A1 (ja) * 2010-06-07 2011-12-15 パナソニック株式会社 組織悪性腫瘍検出方法、組織悪性腫瘍検出装置
WO2012011414A1 (ja) * 2010-07-20 2012-01-26 オリンパスメディカルシステムズ株式会社 超音波診断装置、超音波診断装置の作動方法および超音波診断装置の作動プログラム
JP5079177B2 (ja) * 2010-11-11 2012-11-21 オリンパスメディカルシステムズ株式会社 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4858124A (en) * 1984-08-15 1989-08-15 Riverside Research Institute Method for enhancement of ultrasonic image data
JPH0984793A (ja) * 1995-09-20 1997-03-31 Olympus Optical Co Ltd 超音波画像処理装置
US6238342B1 (en) * 1998-05-26 2001-05-29 Riverside Research Institute Ultrasonic tissue-type classification and imaging methods and apparatus
JP3986866B2 (ja) * 2002-03-29 2007-10-03 松下電器産業株式会社 画像処理装置及び超音波診断装置
US20040209237A1 (en) * 2003-04-18 2004-10-21 Medispectra, Inc. Methods and apparatus for characterization of tissue samples
US7175597B2 (en) * 2003-02-03 2007-02-13 Cleveland Clinic Foundation Non-invasive tissue characterization system and method
US20110257527A1 (en) * 2010-04-20 2011-10-20 Suri Jasjit S Ultrasound carotid media wall classification and imt measurement in curved vessels using recursive refinement and validation
CN103153195B (zh) * 2010-11-11 2016-08-03 奥林巴斯株式会社 超声波观测装置、超声波观测装置的动作方法
JP5054254B2 (ja) * 2010-11-11 2012-10-24 オリンパスメディカルシステムズ株式会社 超音波診断装置、超音波診断装置の作動方法および超音波診断装置の作動プログラム
CN102834059B (zh) * 2010-11-11 2013-12-04 奥林巴斯医疗株式会社 超声波观测装置、超声波观测装置的动作方法以及超声波观测装置的动作程序
JP5984243B2 (ja) * 2012-01-16 2016-09-06 東芝メディカルシステムズ株式会社 超音波診断装置、医用画像処理装置及びプログラム
WO2014039051A1 (en) * 2012-09-07 2014-03-13 Empire Technology Development Llc Ultrasound with augmented visualization
KR101993716B1 (ko) * 2012-09-28 2019-06-27 삼성전자주식회사 카테고리별 진단 모델을 이용한 병변 진단 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011155168A1 (ja) * 2010-06-07 2011-12-15 パナソニック株式会社 組織悪性腫瘍検出方法、組織悪性腫瘍検出装置
WO2012011414A1 (ja) * 2010-07-20 2012-01-26 オリンパスメディカルシステムズ株式会社 超音波診断装置、超音波診断装置の作動方法および超音波診断装置の作動プログラム
JP5079177B2 (ja) * 2010-11-11 2012-11-21 オリンパスメディカルシステムズ株式会社 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム

Also Published As

Publication number Publication date
US9655593B2 (en) 2017-05-23
JPWO2015190180A1 (ja) 2017-04-20
US20160278743A1 (en) 2016-09-29
CN105828726B (zh) 2019-06-18
CN105828726A (zh) 2016-08-03
WO2015190180A1 (ja) 2015-12-17
EP3155971A4 (en) 2018-03-07
EP3155971A1 (en) 2017-04-19

Similar Documents

Publication Publication Date Title
JP5897227B1 (ja) 医用診断装置、医用診断装置の作動方法および医用診断装置の作動プログラム
JP5433097B2 (ja) 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム
JP5054254B2 (ja) 超音波診断装置、超音波診断装置の作動方法および超音波診断装置の作動プログラム
JPWO2012063929A1 (ja) 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム
JP5974210B2 (ja) 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム
US10201329B2 (en) Ultrasound observation apparatus, method for operating ultrasound observation apparatus, and computer-readable recording medium
WO2012011414A1 (ja) 超音波診断装置、超音波診断装置の作動方法および超音波診断装置の作動プログラム
JP6289772B2 (ja) 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム
CN108366782B (zh) 超声波诊断装置、超声波诊断装置的工作方法以及记录介质
JP2016202567A (ja) 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム
US9517054B2 (en) Ultrasound observation apparatus, method for operating ultrasound observation apparatus, and computer-readable recording medium
WO2016181869A1 (ja) 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム
EP3238631A1 (en) Ultrasonic observation device, operation method for ultrasonic observation device, and operation program for ultrasonic observation device
US10617389B2 (en) Ultrasound observation apparatus, method of operating ultrasound observation apparatus, and computer-readable recording medium
JP6138402B2 (ja) 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム
WO2015198713A1 (ja) 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム
JP6010274B1 (ja) 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム
JP5932184B1 (ja) 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160301

R151 Written notification of patent or utility model registration

Ref document number: 5897227

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250