JPWO2015068494A1 - 器官画像撮影装置 - Google Patents

器官画像撮影装置 Download PDF

Info

Publication number
JPWO2015068494A1
JPWO2015068494A1 JP2015546340A JP2015546340A JPWO2015068494A1 JP WO2015068494 A1 JPWO2015068494 A1 JP WO2015068494A1 JP 2015546340 A JP2015546340 A JP 2015546340A JP 2015546340 A JP2015546340 A JP 2015546340A JP WO2015068494 A1 JPWO2015068494 A1 JP WO2015068494A1
Authority
JP
Japan
Prior art keywords
organ
image
tongue
frequency distribution
crack
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015546340A
Other languages
English (en)
Inventor
松田 伸也
伸也 松田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Publication of JPWO2015068494A1 publication Critical patent/JPWO2015068494A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0088Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02028Determining haemodynamic parameters not otherwise provided for, e.g. cardiac contractility or left ventricular ejection fraction
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032Determining colour for diagnostic purposes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/45For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4542Evaluating the mouth, e.g. the jaw
    • A61B5/4552Evaluating soft tissue within the mouth, e.g. gums or tongue
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4854Diagnosis based on concepts of traditional oriental medicine
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1077Measuring of profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Cardiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Rheumatology (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physiology (AREA)
  • Alternative & Traditional Medicine (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

器官画像撮影装置(1)は、撮像部(3)と、画像処理部(15)と、検出部(17)とを備えている。撮像部(3)は、生体の器官を撮影して画像を取得する。画像処理部(15)は、撮像部(3)にて取得された器官の撮影画像から、赤、緑、青のいずれかの色成分を含む画像データの度数分布を作成するとともに、上記度数分布の広がりを示す指標を取得する。検出部(17)は、上記指標に基づいて、器官の表面の亀裂を検出する。

Description

本発明は、生体の器官を撮影して得られる画像から、器官表面の亀裂を検出する器官画像撮影装置に関するものである。
東洋医学においては、舌の状態を観察することにより、健康状態や病状を診断する診断手法(舌診)が知られている。舌診では、舌(正確には舌と苔)の色と形をもとに体調や健康度を判断している。
舌診における診断項目の一つに、舌表面の亀裂(裂紋と言う)の有無がある。栄養不足、血流の不良、ストレスなどによる免疫の低下が生じると、舌細胞の再生力が低下し、舌の表面に亀裂が入る。この状態を、東洋医学では気虚や血虚と言い、ひどくなると貧血や栄養失調状態となる。
現在、これらの診断は、専門の医師が実施しているが、経験や勘に頼っているため、個人差があり、客観性に乏しい。また、過去の状態の記憶もあいまいで、客観的な状態の変化を捉えることができない。
そこで、デジタルカメラを用いて被写体を撮影し、撮影画像からその特徴を数値化して記録、診断するシステムが提案されている。例えば特許文献1では、舌をカメラで撮影して、舌尖、舌中、舌辺、舌根のような関心領域を抽出し、関心領域の状態変化に基づいて簡便に個人の健康状態を診断できるようにしている。また、特許文献2では、舌をカメラで撮影して舌の色や光沢を分離して検出することで、血液や血管の状態を診断する指標を得るようにしている。さらに、特許文献3では、舌の撮影画像のデータ(例えば赤(R)および緑(G)の画像データ)から舌の乳頭と下地とを識別し、下地と判定した画素の長さが一定以上であれば、舌に亀裂があると判断するようにしている。
特許第3854966号公報(請求項1、段落〔0004〕、〔0009〕等参照) 特開2011−239926号公報(請求項1、段落〔0028〕等参照) 特開2005−137756号公報(請求項3、段落〔0079〕〜〔0081〕、図8等参照)
ところが、特許文献1および2では、舌表面の亀裂の検出については全く触れられていない。
また、特許文献3の亀裂の検出方法では、舌表面の状態(例えば苔の厚さや亀裂の長さ)によっては、亀裂を検出することができない場合がある。例えば、舌の苔が薄く、乳頭と下地との色味の差が少ない場合には、色味に基づいて乳頭と下地とを識別すること自体が困難となるため、亀裂を検出することができなくなる。一般に、舌表面に亀裂の多い症状では、苔の少ない症例が多く、このような場合には亀裂を検出することができない。また、亀裂が舌全体に分散して不連続に生じている場合、下地と判定した画素の長さが短いため、このような場合も亀裂を検出することができなくなる。
本発明は、上記の問題点を解決するためになされたもので、その目的は、器官表面の状態に関係なく、亀裂の検出を精度よく行うことができる器官画像撮影装置を提供することにある。
本発明の一側面に係る器官画像撮影装置は、生体の器官を撮影して画像を取得する撮像部を備えた器官画像撮影装置であって、前記撮像部にて取得された前記器官の撮影画像から、赤、緑、青のいずれかの色成分を含む画像データの度数分布を作成するとともに、前記度数分布の広がりを示す指標を取得する画像処理部と、前記指標に基づいて、前記器官の表面の亀裂を検出する検出部とを備えている。
上記構成によれば、器官表面の状態に関係なく、亀裂の検出を精度よく行うことができる。
本発明の実施の一形態に係る器官画像撮影装置の外観を示す斜視図である。 上記器官画像撮影装置の概略の構成を示すブロック図である。 撮影対象に対する、上記器官画像撮影装置の照明部と撮像部との位置関係を示す説明図である。 上記撮像部による舌の撮影画像と、エッジ抽出フィルタと、上記撮影画像から上記エッジ抽出フィルタを用いて抽出される舌の輪郭線とを示す説明図である。 上記舌に亀裂がある場合の撮影画像を示す説明図である。 上記舌の輪郭線と亀裂の検出領域との位置関係を示す説明図である。 上記舌の撮影画像から得られるBの画像データの度数分布を模式的に示すグラフである。 上記度数分布の標準偏差と裂紋の所見との関係を示す説明図である。 上記器官画像撮影装置における動作の流れを示すフローチャートである。 上記舌の分光分布を示すグラフである。 上記舌の撮影画像から得られるRの画像データの度数分布を模式的に示すグラフである。 上記舌の撮影画像から得られるGの画像データの度数分布を模式的に示すグラフである。
本発明の実施の一形態について、図面に基づいて説明すれば、以下の通りである。なお、本明細書において、数値範囲をA〜Bと表記した場合、その数値範囲に下限Aおよび上限Bの値は含まれるものとする。
〔器官画像撮影装置の全体構成〕
図1は、本実施形態の器官画像撮影装置1の外観を示す斜視図であり、図2は、器官画像撮影装置1の概略の構成を示すブロック図である。器官画像撮影装置1は、生体の器官を撮影して、健康度の診断に必要な情報を抽出するものである。以下では、例として、撮影対象が生体の器官としての舌である場合を示す。
器官画像撮影装置1は、照明部2、撮像部3、表示部4、操作部5および通信部6を備えている。照明部2は筐体21に設けられており、照明部2以外の構成(例えば撮像部3、表示部4、操作部5、通信部6)は、筐体22に設けられている。筐体21と筐体22とは相対的に回転可能に連結されているが、必ずしも回転は必要ではなく、一方が他方に完全に固定されていてもよい。なお、上記の照明部2等は、単一の筐体に設けられていてもよい。また、器官画像撮影装置1は、多機能携帯情報端末で構成されてもよい。
照明部2は、撮影対象を上方より照明する照明器で構成されている。照明部2の光源としては、色再現性を向上するため、例えばキセノンランプなどの昼光色を発光するものを用いている。光源の明るさは、撮像部3の感度や撮影対象までの距離により異なるが、一例としては、撮影対象の照度が1000〜10000lxとなるような明るさを考えることができる。照明部2は、上記の光源の他に、点灯回路や調光回路を有しており、照明制御部11からの指令によって点灯/消灯および調光が制御される。
撮像部3は、照明部2による照明下で、生体の器官を撮影して画像を取得するものであり、撮像レンズとエリアセンサ(撮像素子)とを有している。撮像レンズの絞り(レンズの明るさ)、シャッター速度、焦点距離は、撮影対象の全ての範囲に焦点が合うように設定されている。一例としては、Fナンバー:16、シャッター速度:1/120秒、焦点距離:20mmである。
エリアセンサは、例えばCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)のような撮像素子で構成されており、撮影対象の色および形状を十分に検出できるように、感度や解像度などが設定されている。一例としては、感度:60db、解像度:1000万画素である。
撮像部3による撮影は、撮像制御部12によって制御されている。また、撮像部3は、撮像レンズやエリアセンサの他にも、不図示のフォーカス機構、絞り機構、駆動回路およびA/D変換回路などを有しており、撮像制御部12からの指令により、フォーカスや絞りの制御、A/D変換などが制御される。撮像部3では、撮影画像のデータとして、赤(R)、緑(G)、青(B)のそれぞれについて、例えば8ビットで0〜255のデータが取得される。
図3は、撮影対象(舌や顔)に対する照明部2と撮像部3との位置関係を示す説明図である。同図に示すように、撮像部3は、撮影対象に正対して配置されている。照明部2は、撮影対象を通る撮像部3の撮影光軸Xに対して、例えば0°〜45°の角度Aで撮影対象を照明するように配置されている。なお、撮影光軸Xとは、撮像部3が有する撮像レンズの光軸を指す。
照明時の角度Aが大きいと、上唇の影により、舌を撮影できる範囲が小さくなる。逆に、角度Aが小さいと、正反射による色とびが大きくなる。以上のことを考慮すると、照明時の角度Aの好ましい範囲は、15°〜30°である。
表示部4は、不図示の液晶パネル、バックライト、点灯回路および制御回路を有しており、撮像部3での撮影によって取得される画像を表示する。また、表示部4は、通信部6を介して外部から取得した情報(例えば外部の医療機関に情報を送信して診断された結果)を表示することもできる。表示部4における各種の情報の表示は、表示制御部13によって制御されている。
操作部5は、撮像部3による撮影を指示するための入力部であり、OKボタン(撮影実行ボタン)5aおよびCANCELボタン5bで構成されている。本実施形態では、表示部4および操作部5を、共通のタッチパネル表示装置31で構成し、タッチパネル表示装置31における表示部4の表示領域と操作部5の表示領域とを別々にしている。タッチパネル表示装置31における操作部5の表示は、操作制御部14によって制御される。なお、操作部5は、タッチパネル表示装置31以外の入力部で構成されてもよい(タッチパネル表示装置31の表示領域外の位置に操作部5を設けてもよい)。
通信部6は、撮像部3にて取得された画像のデータや、後述する画像処理部15および検出部17で処理されたデータを、通信回線(有線や無線を含む)を介して外部に送信したり、外部からの情報を受信するためのインターフェースである。通信部6における情報の送受信は、通信制御部18によって制御されている。
また、器官画像撮影装置1は、さらに、照明制御部11、撮像制御部12、表示制御部13、操作制御部14、画像処理部15、記憶部16、検出部17、通信制御部18、およびこれらの各部を制御する全体制御部19を備えている。照明制御部11、撮像制御部12、表示制御部13、操作制御部14および通信制御部18は、上述したように、照明部2、撮像部3、表示部4、操作部5および通信部6をそれぞれ制御する。全体制御部19は、例えばCPU(Central Processing Unit)で構成されている。なお、照明制御部11、撮像制御部12、表示制御部13、操作制御部14および通信制御部18と、全体制御部19とは、一体的に(例えば1つのCPUで)構成されてもよい。
画像処理部15は、撮像部3にて取得された器官の撮影画像から、RGBのいずれかの色について画像データの度数分布(撮影画像の各画素の画像データと画素数(度数)との関係を示す分布)を作成するとともに、その度数分布の広がりを示す指標を取得するものであるが、度数分布の詳細については後述する。
また、画像処理部15は、撮像部3にて取得された画像から器官の輪郭線を抽出する機能も有する。器官の輪郭線の抽出は、撮影画像の輝度エッジ(画像の中で急激に明るさが変化している部分)を抽出することによって行うことができ、輝度エッジの抽出は、例えば図4に示すようなエッジ抽出フィルタを用いて行うことができる。エッジ抽出フィルタは、1次微分をするときに(隣接画素間で画像データの差分をとるときに)、注目画素の近傍の画素に重みを付けるフィルタである。
このようなエッジ抽出フィルタを用い、例えば、撮影画像の各画素のGの画像データについて、注目画素と近傍画素とで画像データの差分を取り、その差分値が所定の閾値を超える画素を抽出することで、輝度エッジとなる画素を抽出できる。舌の周囲には、その影に起因する輝度差が存在するため、上記のように輝度エッジとなる画素を抽出することにより、舌の輪郭線を抽出することができる。なお、ここでは、輝度への影響が最も大きいGの画像データを演算に用いているが、RやBの画像データを用いてもよい。
なお、東洋医学では、舌の中央部に見られる斑点状の白い部分を苔と言い、その色を苔色と呼んでいる。また、舌における上記以外の赤い部分の色を舌色と呼んでいる。
記憶部16は、撮像部3にて取得した画像のデータ、画像処理部15および検出部17で取得したデータ、外部から受信した情報などを記憶したり、上述した各種の制御部を動作させるためのプログラムを記憶するメモリである。
検出部17は、画像処理部15で取得された、度数分布の広がりを示す指標に基づいて、器官表面の亀裂を検出する。特に、検出部17は、上記の指標に基づいて亀裂の程度を数値化し、その数値に基づいて舌診の裂紋を判定する。なお、亀裂の検出および裂紋の判定の詳細については後述する。
〔亀裂の検出領域の設定〕
図5は、表面に亀裂がある舌の撮影画像を示している。舌を撮影する際、舌は口腔から前方に突き出される。その突き出された舌の上唇側の表面を撮像部3で撮影する。一般に、舌表面の亀裂は、舌の中心付近で多く発生するため、本実施形態では、撮影画像における舌の上下左右の中心部(上下左右方向の中心を含む領域)を、亀裂の検出に適した検出領域として設定している。
より具体的には、図6に示すように、画像処理部15は、上述の手法で撮影画像から抽出した舌の輪郭線Qから、舌の上下端および左右端を検出して、舌の上下の長さ(縦寸法)Hおよび左右の幅(横寸法)Wを検出し、図6に示した寸法関係で定まる、縦H/4、横W/4の舌の中心領域を亀裂の検出領域Dとして設定している。
なお、上記のように舌の輪郭線Qを抽出することなく、亀裂の検出領域Dを設定するようにしてもよい。例えば、舌を適切な撮影位置に案内するための枠線を表示部4に表示するなどして、生体ごとに舌を適切な位置に案内して撮影できるようにすれば、舌の撮影画像における所定の領域(中心領域)を即座に亀裂の検出領域Dとして設定することも可能である。この場合、輪郭線Qを抽出する処理が不要となるため、亀裂の検出に要する時間の短縮化や、画像処理部15の回路構成の簡素化などがさらに図れる。
〔亀裂の検出方法〕
舌の表面に亀裂があると、亀裂がない場合に比べて、舌の下地がより現れるため、下地を構成する画素の画像データの取り得る値の範囲が、RGBともに広がる。このため、撮影画像の画像データの度数分布を作成したときに、度数分布の幅が広がる。特に、下地は血液の色を強く表しているため、血液の色に多く含まれるRやBについては、亀裂がない場合に比べて度数分布の幅が顕著に広がる。このような傾向は、舌表面の苔の厚さや亀裂の長さに関係なく現れることがわかっている。
そこで、本実施形態では、画像処理部15は、舌の撮影画像(特に上述した検出領域Dの画像)から、例えばBの画像データの度数分布を作成するとともに、当該度数分布の広がりを示す指標として、画像データのバラツキを示す標準偏差σを演算により取得するようにしている。標準偏差σは、画像データの値が、N個の値x、x、・・・xをとるとき、以下の式で示される分散σの正の平方根である。
Figure 2015068494
図7は、画像処理部15が作成したBの画像データの度数分布を模式的に示したものであり、上段の度数分布は舌表面に亀裂がない場合を示し、下段の度数分布は舌表面に亀裂がある場合を示している。なお、これらの度数分布の横軸は、Bの画素値(画像データ)を示し、縦軸は度数(画素数)を示している。画素値は0から255までの値とし、画素値が大きいほど明るいことを示す。
上段の度数分布における標準偏差σ1を求めると、σ1=13.18であった。これに対して、下段の度数分布における標準偏差σ2を求めると、σ2=26.78であった。このことから、舌表面に亀裂があると、亀裂がない場合に比べて標準偏差σが大きくなり、度数分布の幅が広がることがわかる。ちなみに、上段の度数分布における画素値の平均値m1を求めると、m1=177.71であり、下段の度数分布における画素値の平均値m2を求めると、m2=112.75であった。
また、図8は、複数人の舌をサンプルとして撮影し、撮影画像の検出領域Dの画像に含まれるBの画像データの度数分布を作成したときの、各度数分布の標準偏差と、各々の舌について漢方医が実際に舌診を行ったときの裂紋の所見との関係を示している。同図より、度数分布の標準偏差と漢方医の所見との間には高い相関関係があることがわかる。つまり、標準偏差が大きいほど裂紋が多く、標準偏差が小さいほど裂紋が少ないと言える。なお、度数分布の標準偏差と漢方医の所見との相関度を示す相関係数は、0.84と高い値であった。
したがって、検出部17は、画像処理部15にて取得された、度数分布の標準偏差に基づいて亀裂の程度を数値化し、その数値に基づいて舌診の裂紋を判定することにより、その判定を精度よく行うことができる。例えば、図8のように、亀裂の程度を“0”〜“3”の4段階で数値化した場合、度数分布の標準偏差が18以下と小さい場合には、亀裂の程度を“0”とし、その数値に基づいて『裂紋なし』の判定を行う。なお、図8の相関関係をテーブルとして記憶部16に記憶させておき、検出部17は、上記のテーブルを参照して、度数分布の標準偏差から舌表面の亀裂(裂紋)の程度を判定するようにしてもよい。
〔制御フロー〕
図9は、本実施形態の器官画像撮影装置1における動作の流れを示すフローチャートである。器官画像撮影装置1は、操作部5または不図示の入力部により、撮影指示を受け付けると、照明制御部11は照明部2を点灯させて(S1)、照度等の撮影条件の設定を行う(S2)。撮影条件の設定が終了すると、撮像制御部12は撮像部3を制御して撮影対象である舌を撮影する(S3)。
撮影が終了すると、画像処理部15は、舌の撮影画像から舌の輪郭線Qを抽出する(S4)。そして、画像処理部15は、抽出された輪郭線Qから、舌の上下端および左右端を検出し、輪郭線Qを基準として亀裂の検出領域Dを設定する(S5)。次に、画像処理部15は、設定した検出領域Dの各画素からBの画像データを抽出して度数分布を作成し(S6)、標準偏差σを求める(S7)。
続いて、検出部17は、得られた標準偏差σに基づいて亀裂の程度を“0”〜“3”のいずれかの数値で表し、亀裂の有無を検出するとともに、その数値に基づいて裂紋の程度を判定し、対象者の健康度を診断する(S8)。このとき、検出部17は、上述したように、記憶部16に記憶されたテーブルから、標準偏差σに対応する亀裂(裂紋)の程度を判定してもよい。裂紋の判定結果や使用者の健康度の診断結果は、表示部4に表示されるが、必要に応じて図示しない出力装置に出力(記録)されたり、通信部6を介して外部に転送される(S9)。なお、亀裂の検出結果を数値化して外部に送信し、外部にて裂紋の程度を判定して対象者の健康度を診断するようにしてもよい。
以上のように、本実施形態では、画像処理部15が、舌の撮影画像からBの画像データの度数分布を作成して、その広がりを示す指標である標準偏差σを求め、検出部17が標準偏差σに基づいて舌表面の亀裂を検出するようにしている。舌表面に亀裂がある場合、亀裂がない場合に比べて度数分布の幅が顕著に広がり、この傾向は、舌表面の苔の厚さや亀裂の長さに関係なく現れる。したがって、苔の厚さや亀裂の長さに関係なく、亀裂の検出を精度よく行うことができる。
また、器官が舌である場合において、検出部17は、度数分布の標準偏差σに基づいて亀裂の程度を数値化するので、亀裂の数値に基づいて舌診の裂紋を簡便に判定することができる。
また、画像処理部15は、撮影画像における舌の中心部を亀裂の検出領域Dとして設定し、設定した検出領域Dの画像データの度数分布を作成する。これにより、検出部17は、上記度数分布の標準偏差σに基づき、舌の中心部に生じた亀裂を精度よく検出することができる。特に、器官が舌である場合、亀裂は舌の中心部に多く発生するので、亀裂を確実に検出して、検出した亀裂に基づく健康度の診断の精度を向上させることができる。また、画像処理部15は、舌全体ではなく、一部の領域(検出領域D)の画像データの度数分布を作成するので、扱うデータ量を大幅に削減して、度数分布の作成および標準偏差σの算出に要する時間を短縮することができる。
また、標準偏差σは、画像データのバラツキを示す数値であるため、度数分布の広がりを示す指標として標準偏差σを用いることにより、度数分布の広がりを確実に把握することができる。なお、上記指標としては、標準偏差σ以外にも、例えば度数分布の半価幅や、画像データの最小値から最大値までの幅を用いることもできる。つまり、上記指標として半価幅等を用いても、その指標に基づいて度数分布の広がりの程度を把握して、亀裂の有無を検出することができる。
ところで、図10は、舌の分光分布を示すグラフである。舌は粘膜構造であり、表皮が無いため、舌の色としては、血液の色が現れる。血液は、R成分(波長600nm〜700nm)が多く、B成分(波長500nm以下)が少ない。また、舌の色が淡い場合には、R成分の比率が下がり、濃い場合にはR成分の比率が上がる。
一方、苔は角化した乳頭細胞で形成されており、白色から黄色を呈する。そして、苔が薄い場合には、下地となる舌の色が現れるため、同図のようにR成分の比率が高くなり、苔が白く、濃い場合には、G成分(波長500nm〜600nm)の比率が上がる。
生体の体調や個人差により、舌と苔の色は上記のように変化するが、B成分の変化は少ない。
したがって、本実施形態のように、舌の撮影画像の度数分布として、Bの画像データの度数分布を用いることにより、生体の体調や個人差による影響を抑えながら、舌表面の亀裂を精度よく検出することができる。
〔亀裂の他の検出方法〕
図11および図12は、画像処理部15が舌の撮影画像から作成したRおよびGの画像データの度数分布を模式的にそれぞれ示したものであり、上段の度数分布は舌表面に亀裂がない場合を示し、下段の度数分布は舌表面に亀裂がある場合を示している。
図11の上段および下段の各度数分布における標準偏差σ1、σ2をそれぞれ求めると、σ1=8.59であり、σ2=18.34であった。ちなみに、上段および下段の各度数分布における画素値の平均値m1、m2をそれぞれ求めると、m1=200.98であり、m2=184.95であった。
同様に、図12の上段および下段の各度数分布における標準偏差σ1、σ2をそれぞれ求めると、σ1=13.26であり、σ2=24.54であった。ちなみに、上段および下段の各度数分布における画素値の平均値m1、m2をそれぞれ求めると、m1=168.46であり、m2=121.08であった。
以上より、RやGの度数分布においても、Bの度数分布の場合と同様に、舌表面に亀裂があると、亀裂がない場合に比べて標準偏差が大きくなり、度数分布の幅が広がることがわかる。
したがって、画像処理部15が、舌の撮影画像からRまたはGの画像データの度数分布を作成して標準偏差σを取得し、検出部17が標準偏差σに基づいて亀裂を検出するようにしても、苔の厚さや亀裂の長さに関係なく、亀裂の検出を精度よく行うことができる。
なお、Gの画像データは、舌表面の亀裂の情報のみならず、光沢の情報を含む可能性もあり、Gの画像データの度数分布には、亀裂の情報に光沢の情報がノイズとして重畳される可能性がある。そこで、Gの画像データに基づいて亀裂を検出する場合は、照明部2からの照明光の正反射による影響(光沢の影響)を低減すべく、例えば舌の中心部よりもやや下方に位置する領域を亀裂の検出領域Dとして設定し、この検出領域Dの画像データの度数分布を作成して亀裂を検出することが望ましい。
また、用いる画像データの度数分布は、RGBのいずれかの色の画像データの度数分布ではなく、RGBのいずれかの色成分を含む画像データの度数分布であってもよい。例えば、画像処理部15は、RとGの色成分を合わせた画素値の度数分布を作成して、その度数分布の広がりを示す指標を取得し、検出部17が、その指標に基づいて亀裂を検出してもよい。この場合、図7に対応する度数分布の横軸の画素値としては、RとGの画素値の合計値や平均値を用いればよい。また、RGBのその他の色の組み合わせを画素値として度数分布を作成し、亀裂を検出するようにしてもよい。
〔その他〕
以上では、撮影対象が人間の舌である場合について説明したが、生体(生きているもの)であれば人間でなくてもよく、人間以外の動物であってもよい。例えば、ペットや家畜などの動物の舌であっても、本実施形態の手法を適用して舌表面の亀裂を検出したり、その検出結果に基づいて診断を行うことができる。この場合、意思の伝達ができない動物の体調不良を速やかに、かつ的確に判断することができる。
また、撮影対象となる生体の器官は、舌には限定されない。例えば唇、歯茎などの口腔内の部位、胃や腸の内壁、瞼の裏側などであってもよい。また、それぞれの診療科での検査と同時に器官表面の亀裂を検出することも可能である。
以上で説明した器官画像撮影装置は、以下のように表現することができ、これによって以下の作用効果を奏する。
以上で説明した器官画像撮影装置は、生体の器官を撮影して画像を取得する撮像部を備えた器官画像撮影装置であって、前記撮像部にて取得された前記器官の撮影画像から、赤、緑、青のいずれかの色成分を含む画像データの度数分布を作成するとともに、前記度数分布の広がりを示す指標を取得する画像処理部と、前記指標に基づいて、前記器官の表面の亀裂を検出する検出部とを備えている。
器官表面に亀裂があると、器官の撮影画像に含まれる赤(R)、緑(G)、青(B)のいずれの色についても、画像データの度数分布を作成したときに、度数分布の広がりが、亀裂がない場合に比べて相対的に大きくなる。これは、器官表面に亀裂があると、器官の下地(溝)の部分がより現れるため、下地に含まれる色(RGB)の画像データの幅(取り得る値の範囲)が広がることによる。このような傾向は、器官表面の状態(例えば苔の厚さや亀裂の長さ)に関係なく現れる。
したがって、画像処理部が、器官の撮影画像からRGBのいずれかの色成分を含む画像データの度数分布を作成するとともに、その度数分布の広がりを示す指標(例えば標準偏差)を取得し、検出部が上記指標に基づいて器官表面の亀裂を検出するようにすることで、器官表面の状態に関係なく、亀裂の検出を精度よく行うことができる。
前記器官は、舌であり、前記検出部は、前記指標に基づいて前記亀裂の程度を数値化し、その数値に基づいて舌診の裂紋を判定してもよい。この場合、舌診の裂紋の判定を、亀裂の数値に基づいて簡便に行うことができる。
前記度数分布は、青色の画像データの度数分布であることが望ましい。生体の体調や個人差により、器官表面の状態(例えば舌や苔の色)は変化するが、Bの画像データの変化は少ない。このため、器官の撮影画像におけるBの画像データの度数分布を用いることで、生体の体調や個人差による影響を抑えながら、器官表面の亀裂を精度よく検出することができる。
前記画像処理部は、前記撮影画像における前記器官の中心部を亀裂の検出領域として設定し、設定した検出領域の画像データの度数分布を作成することが望ましい。この場合、器官の中心部に生じた亀裂を精度よく検出することができる。また、器官の全体ではなく、一部の領域の画像データの度数分布を作成するので、扱うデータ量を削減して、度数分布の作成および標準偏差の算出に要する時間を短縮することもできる。
前記指標は、前記度数分布の標準偏差であってもよい。標準偏差は、画像データのバラツキを示す数値であるので、度数分布の広がりを示す指標として好適である。
前記器官は、舌であり、前記指標は、前記度数分布の標準偏差であり、前記検出部は、前記亀裂の程度を、前記標準偏差と、漢方医が実際に舌診を行ったときの前記亀裂の所見との関係を示すテーブルを参照して判定してもよい。この場合、得られた標準偏差から、漢方医の所見に合致した亀裂の判定を行うことができるため、判定の確からしさを向上させることができる。
本発明は、生体の器官を撮影して得られる画像から、器官表面の亀裂を検出する装置に利用可能である。
1 器官画像撮影装置
3 撮像部
15 画像処理部
17 検出部
D 検出領域

Claims (6)

  1. 生体の器官を撮影して画像を取得する撮像部を備えた器官画像撮影装置であって、
    前記撮像部にて取得された前記器官の撮影画像から、赤、緑、青のいずれかの色成分を含む画像データの度数分布を作成するとともに、前記度数分布の広がりを示す指標を取得する画像処理部と、
    前記指標に基づいて、前記器官の表面の亀裂を検出する検出部とを備えている、器官画像撮影装置。
  2. 前記器官は、舌であり、
    前記検出部は、前記指標に基づいて前記亀裂の程度を数値化し、その数値に基づいて舌診の裂紋を判定する、請求項1に記載の器官画像撮影装置。
  3. 前記度数分布は、青色の画像データの度数分布である、請求項1または2に記載の器官画像撮影装置。
  4. 前記画像処理部は、前記撮影画像における前記器官の中心部を亀裂の検出領域として設定し、設定した検出領域の画像データの度数分布を作成する、請求項1から3のいずれかに記載の器官画像撮影装置。
  5. 前記指標は、前記度数分布の標準偏差である、請求項1から4のいずれかに記載の器官画像撮影装置。
  6. 前記器官は、舌であり、
    前記指標は、前記度数分布の標準偏差であり、
    前記検出部は、前記亀裂の程度を、前記標準偏差と、漢方医が実際に舌診を行ったときの前記亀裂の所見との関係を示すテーブルを参照して判定する、請求項1に記載の器官画像撮影装置。
JP2015546340A 2013-11-05 2014-09-29 器官画像撮影装置 Pending JPWO2015068494A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013229221 2013-11-05
JP2013229221 2013-11-05
PCT/JP2014/075884 WO2015068494A1 (ja) 2013-11-05 2014-09-29 器官画像撮影装置

Publications (1)

Publication Number Publication Date
JPWO2015068494A1 true JPWO2015068494A1 (ja) 2017-03-09

Family

ID=53041277

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015546340A Pending JPWO2015068494A1 (ja) 2013-11-05 2014-09-29 器官画像撮影装置

Country Status (4)

Country Link
US (1) US20160242678A1 (ja)
EP (1) EP3066976A4 (ja)
JP (1) JPWO2015068494A1 (ja)
WO (1) WO2015068494A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106491099A (zh) * 2016-12-30 2017-03-15 天津森宇科技发展有限公司 应用云计算技术自动分析人体舌像的智能***
CN109558891A (zh) * 2018-10-09 2019-04-02 广东数相智能科技有限公司 一种识别模型构建方法和基于舌诊的肠胃病预警方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100506085B1 (ko) * 2002-12-28 2005-08-05 삼성전자주식회사 혀영상 처리장치 및 혀영상을 이용한 건강 모니터링장치
JP4487535B2 (ja) * 2003-11-10 2010-06-23 コニカミノルタホールディングス株式会社 健康度測定システムおよびプログラム
JP2009082338A (ja) * 2007-09-28 2009-04-23 Masahiro Nakagawa エントロピーを用いた肌の鑑別方法
CN102194121A (zh) * 2010-03-04 2011-09-21 天津市天堰医教科技开发有限公司 改进的最大类间方差法在舌像裂纹识别中的应用
JP5454791B2 (ja) 2010-05-18 2014-03-26 国立大学法人 千葉大学 舌表面質感撮影システム

Also Published As

Publication number Publication date
EP3066976A4 (en) 2017-07-05
EP3066976A1 (en) 2016-09-14
WO2015068494A1 (ja) 2015-05-14
US20160242678A1 (en) 2016-08-25

Similar Documents

Publication Publication Date Title
EP3100672A1 (en) Organ image capturing device
US12029385B2 (en) Electronic endoscope system
JPWO2015029537A1 (ja) 器官画像撮影装置
KR102287364B1 (ko) 인공신경망을 이용하여 캡슐형 내시경 영상에서 병변을 감지하는 시스템 및 방법
WO2016076059A1 (ja) 器官画像撮影装置およびプログラム
WO2014172033A1 (en) Estimating bilirubin levels
WO2016067892A1 (ja) 健康度出力装置、健康度出力システムおよびプログラム
CN112469323A (zh) 内窥镜***
CN112469324B (zh) 内窥镜***
JPWO2015166692A1 (ja) 健康度判定装置および健康度判定システム
WO2015068494A1 (ja) 器官画像撮影装置
WO2015049936A1 (ja) 器官画像撮影装置
JP2016151584A (ja) 器官画像撮影装置
JP2016150024A (ja) 器官画像撮影装置
US20160228054A1 (en) Organ imaging device
CN113556968B (zh) 内窥镜***
JP2015226599A (ja) 生体色度計測装置
WO2015068495A1 (ja) 器官画像撮影装置
WO2015156039A1 (ja) 器官画像撮影装置
JP2016198140A (ja) 器官画像撮影装置
JP2016168303A (ja) 器官画像撮影装置
JP2005137680A (ja) 器官色計測システムおよびプログラム
JPWO2017183201A1 (ja) 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム