JP7449004B2 - 周波数帯域を用いたハイパースペクトルによる物体画像の検出方法 - Google Patents

周波数帯域を用いたハイパースペクトルによる物体画像の検出方法 Download PDF

Info

Publication number
JP7449004B2
JP7449004B2 JP2023015049A JP2023015049A JP7449004B2 JP 7449004 B2 JP7449004 B2 JP 7449004B2 JP 2023015049 A JP2023015049 A JP 2023015049A JP 2023015049 A JP2023015049 A JP 2023015049A JP 7449004 B2 JP7449004 B2 JP 7449004B2
Authority
JP
Japan
Prior art keywords
image
host
hyperspectral
object image
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023015049A
Other languages
English (en)
Other versions
JP2023129277A (ja
Inventor
ワン シャン－チェン
チ ユ－シェン
ツァオ ユ－ミン
シー シアン－ホン
Original Assignee
ナショナル チュン チェン ユニバーシティ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ナショナル チュン チェン ユニバーシティ filed Critical ナショナル チュン チェン ユニバーシティ
Publication of JP2023129277A publication Critical patent/JP2023129277A/ja
Application granted granted Critical
Publication of JP7449004B2 publication Critical patent/JP7449004B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
    • A61B1/2733—Oesophagoscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/58—Extraction of image or video features relating to hyperspectral data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G06V30/18114—Extraction of features or characteristics of the image involving specific hyperspectral computations of features
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Evolutionary Computation (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Quality & Reliability (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Image Processing (AREA)
  • Endoscopes (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像識別方法に関し、特に、周波数帯域を用いたハイパースペクトルによる物体画像の検出方法に関する。
現在、内視鏡画像による消化器官の疾病、特に食道癌を診断することがよく行われている。早期の食道癌はほとんど症状がないため、多くの患者は飲み込み問題が発生してから発覚する。臨床上では食道内視鏡により食道癌を診断する。
食道は咽頭と胃を接続する管状器官であり、主に口から飲み込んだ食物を胃に送るための器官である。正常な食道粘膜は、多層の扁平上皮細胞を有し、厚さは約２００～５００μｍであり、表面から下へは、粘膜上皮層(EP)、粘膜固有層(LPM)、粘膜筋板層(MM)、粘膜下層(SM)および固有筋層(MP)に分けることができる。上皮組織に発生する悪性腫瘍はがんと呼ばれ、世界では食道がんは８番目に多いがんである。また、通常、悪性腫瘍(CancerまたはMalignant tumorと呼ばれる)は、生理機能に影響を及ぼし、肉腫(Sarcoma)、リンパ腫(lymphoma)、白血病(leukemia)、メラノーマ(melanoma)、癌肉腫(carcinosarcoma)、悪性神経膠腫(Malignant glioma)などを含む。
結合組織に発生する悪性腫瘍は肉腫と呼ばれる。いわゆる結合組織は、繊維組織、脂肪組織、筋肉、血管、骨および軟骨を含む。また、リンパ腫や白血病は造血組織に発生する。メラノーマは皮膚細胞に発生する。上皮組織および結合組織に同時に発生する悪性腫瘍は癌肉腫と呼ばれる。また、悪性グリオーマは神経組織に発生する悪性腫瘍である。食道がんの悪性腫瘍は食道の上皮組織に浸潤するだけでなく、後期には結合組織にも浸潤する。
現在の疾病診断技術は、通常、体温、血圧、身体スキャン画像などの単一のマクロ資料と情報に依存している。例えば、がんのような重大な疾患を検出するために、現在一般的に使用されている機器のほとんどは、Ｘ線、ＣＴスキャン、核磁気共鳴（NMR：Nuclear mMagnetic Resonance）画像化技術を含む画像技術に基づいた装置である。これらの診断装置を組み合わせて使用すると、程度の差があるが、疾患の診断に有用である。しかし、これらの装置を単独で使用する場合、重大な疾病が発病した早期段階では、正確的で、高精度で、効率的で、経済的な検出ができない。さらに、Ｘ線、ＣＴスキャン、核磁気共鳴（NMR）画像化などの上記従来の装置の多くは、大型であり侵襲性がある。そこで、消化器官の病巣を観察するために、内視鏡検査が開発され、消化器官に病巣が存在するかどうかを検査する。
また、早期の食道がんは診断が容易ではないが、早期にはほとんど症状がなかったたけでなく、食道内視鏡検査を受けても一部の早期食道がんは発見されにくい。これらの病巣の変化は非常に細かく、わずかな色の変化しかない場合が多いため、従来の内視鏡検査では多くの早期食道がん病変が見落とされ、治療が手遅れになる。そのため、発見されにくい病巣に対して、ヨウ素染色体内視鏡（Lugol chromoendoscopy）、狭帯域画像技術（Narrow Band Image、NBI）、拡大内視鏡（Magnifying Endoscopy）が開発された。
白色光内視鏡画像(WLI:White Light Image):これは伝統的な内視鏡技術であり、白色光を食道粘膜に照射し、反射によって食道の画像を得るが、早期病巣を極め出す能力が低く、末期食道癌のような明らかな病巣のみを発見できる。そのため、他の多くの内視鏡技術が派生し、画像中の特徴をより明らかにするために医師の判断を支援している。
狭帯域内視鏡画像(NBI:Narrow band Image)：NBIはIPCL血管の変化を明らかにすることができ、選択した４１５ｎｍ、５４０ｎｍの光線を利用し、血管、細胞内の組織に対して散乱・吸収を行い、血管内のヘモグロブリンが青色光および緑色光を吸収したため、浅層の毛細血管は茶色を表わすことができる。他の太い血管は青色を呈し、伝統的な白色光より優れる。
色素内視鏡（Chromoendoscopy）: 光源の交換に加えて、がんによる細胞への変化を利用して染色により病巣の位置を判断するが、誤吸入のリスクがあるため食道染色には特に注意が必要である。ヨウ素染色内視鏡（Lugol chromoendoscopy）が良く用いられ、ヨウ素液で肝糖を茶色に染色するが、癌細胞はグルコーゲンをエネルギーに変化させるため、染色することができないことを利用して病巣の可能性が大きい位置を発見し、この部分をスライスして癌になったか否かを確認するが、ヨウ素染色により胸部に不快感をもたらし、患者がアレルギー反応をする可能性もある。
拡大内視鏡（ME:Magnifying endoscopy）:他の内視鏡技術とは異なり、MEはズーム技術を利用して画像の品質を保ちながら画像を拡大する。これにより病巣の些細な変化を観察する。NBIのような他の画像増強技術と組み合わせると、IPCLの形状に対してステージ分けを行い、癌の浸潤度合いを判断できる。
しかし、内視鏡の操作は非常に複雑で、資格のある医療スタッフのみが内視鏡検査を行うことができる。さらに医療スタッフは内視鏡を操作しながら、病巣を識別しなければならない。内視鏡検査の方法は様々な改良が行われてきたが、人為的な操作ミスや内視鏡画像の識別が困難などの課題は依然存在する。
また、新型の内視鏡、例えばカプセル内視鏡について、身体へのアクセスの利便性のために、患者の不快感を軽減するため、狭帯域画像の機能を犠牲にして、白色光画像の機能のみを備えているため、医師の画像判読の困難性を高めている。
このため、食道癌診断過程を改善した方法が必要になる。コンピュータ支援診断技術（CAD:Computer Aided Diagnosis）が生物医学研究の重点になり、コンピュータ支援診断医学画像を用いて医師の疾病の類型および病巣の区域への正確な判断を補助でき、画像確認効率も向上する。畳み込みニューラルネットワークをコンピュータビジョン（CV:Computer Vision）分野に用いることは現在の技術的なトレンドであり、いくつかの応用方式がある。
１、画像分類（Image Classification）、画像に対して類別のスクリーニングを行い、深層学習の方法によって画像がどの分類類別に属するかを識別し、その重点は、当該画像の内容に複数の目標があっても、１枚の画像が１種類の分類類別を含むことにある。よって、単純な画像分類の応用が普及されていない。しかし、ディープラーニング演算法にとって単一目標識別は正確率が最も高いため、実務上での応用において物体検知方法によって当該目標を探し出し、取込画像範囲を縮小して画像分類を行う。このため、物体検出の応用可能範囲であれば、通常は画像分類手法を用いる。
２、物体検出（Object Detection）、１枚の画像には１または複数の目標物体があってもよい。目標物体が異なる類別に属してもよい。そのアルゴリズムは下記の２つの目標を達成できる：目標座標を見つけることと目標の類別を識別すること。顔認識関連技術の結合応用、あるいは製造業における瑕疵検査、ひいては病院でX線、超音波で特定の身体部位の病気状況の検査にも応用可能である。物体検出の基礎は、画像分類上に位置を標識する機能を増加したと想像できるため、画像分類の基礎とも離れない。物体検出における標識される座標は通常矩形または四方形であり、目標の位置をわかっただけでは目標の周縁に対して描画できないため、通常に応用では「目標の位置をわかればよい」を目標とする。
口腔癌病巣の検査では通常、どこかにその病巣があるかないかを判断するだけでよいが、物体検出を用いて病巣の位置と病巣の範囲を判断するのは非常に適切であるため、物体検出の方法を開発することは早急な解決を待たなければならない問題である。
上記の課題に基づき、本発明は周波数帯域を用いたハイパースペクトルによる物体画像の検出方法を提供する。この方法では、ホストによって畳み込み演算を実行し、入力画像を畳み込みニューラルネットワークに適用することで、特徴画像を取得して周波数帯域に基づいて選択し、測定対象物画像を推定し、さらに、測定対象物画像とサンプル画像とを比較して、測定対象物画像を目標物体画像または非目標物体画像に分類することにより、人工画像認識の困難性を回避し、白色光画像機能のみを有する内視鏡により模擬狭帯域画像を生成して識別を支援することもできる。
本発明の主な目的は、本発明は周波数帯域を用いたハイパースペクトルによる物体画像の検出方法を提供する。畳み込みニューラルネットワークの演算によって、特徴画像を取得し、かつ周波数帯域によって選択し、測定対象物画像を推定し、さらに、測定対象物画像とサンプル画像とを比較することにより、測定対象物画像を目標物体画像または非目標物体画像に分類する。
上記目的を達成するために、周波数帯域を用いたハイパースペクトルによる物体画像の検出方法であって、まず参照画像をハイパースペクトル参照画像に変換するハイパースペクトル画像情報を取得し、画像キャプチャユニットは入力画像をキャプチャしてホストに提供し、前記入力画像は、少なくとも１つの測定対象物画像と背景画像とを含み、その後、前記ホストは、前記ハイパースペクトル画像情報に基づいて前記入力画像を変換することによって、ハイパースペクトル画像を取得し、前記ホストは、前記ハイパースペクトル画像に基づいて分析を行うことによって、複数の第１のハイパースペクトル特徴値を取得し、続いて、前記ホストは、前記第１のハイパースペクトル特徴値を、細胞の周波数帯域に基づく選択及び主成分分析演算を行うことによって、対応する複数の第２の特徴値を生成する。そして、前記ホストは、複数の畳み込みカーネルに基づいて、前記第２の特徴値に対して少なくとも１つの畳み込み演算を行って畳み込み結果を取得し、前記畳み込み結果および前記少なくとも１つの測定対象物画像に基づいて少なくとも１つの選択画像を取得し、前記畳み込みカーネルは、複数の選択特徴値と、複数の周辺特徴値とを含み、前記少なくとも１つの測定対象物画像は、複数の周辺画像および前記少なくとも１つの選択画像を含み、これらの周辺画像は前記少なくとも１つの選択画像を取囲み、前記少なくとも１つの選択画像は、前記選択特徴値に対応し、前記周辺画像は、前記周辺特徴値に対応する。続いて、前記ホストは、前記少なくとも１つの選択画像のエッジに基づいて、少なくとも１つの予測ボックスを生成し、かつ入力画像の境界ボックスを取得し、前記ホストは、前記予測ボックスの第１の中心点と、当該入力画像の境界ボックスの第２の中心点と比較し、予測ボックスと境界ボックスの中心オフセットを取得し、それにより、前記ホストは、前記中心オフセットに基づいて回帰演算を行い、予測ボックス内の測定対象物画像を位置合わせし、前記予測ボックスと前記境界ボックスとの中心点を重畳させるとともに前記選択画像を境界ボックスの中心点まで移動させる。最後に、前記ホストは、前記測定対象物画像と少なくとも１つのサンプル画像とを比較して比較結果を得て、前記ホストは、前記比較結果に基づいて、前記入力画像を目標物体画像または非目標物体画像に分類する。このように、本発明は、測定対象物画像を、ホストによって周波数帯域フィルタリングおよび畳み込みによって特徴検出することができ、さらに、このホストは、このサンプル画像に基づいて予測ボックスで選択された測定対象物画像を比較し、入力画像を目標物体画像または非目標物体画像に分類することにより、認識を自動化するとともに認識しにくい問題を回避することができ、模擬狭帯域画像を生成する機能も提供する。
本発明の一実施例では、前記ホストが複数の畳み込みカーネルを利用してこれらの第２の特徴値を比較するステップにおいて、前記ホストはこれらの畳み込みカーネルをｍ×ｎ×ｐとして、かつ当該入力画像の複数の画素値を複数の画素正規値となるように正規化し、これらの畳み込みカーネルとこれらの画素正規値とをかけ算して畳み込み層でこれらの第２の特徴値を取込み、かつｍ＝ｎであり、ｍは１、３、５、１０、１９または３８である。
本発明の一実施例では、前記畳み込み結果と前記少なくとも１つの測定対象物画像とに基づいて少なくとも１つの選択画像を取得するステップにおいて、前記ホストが前記複数の選択特徴値の所在エリアを統合して前記入力画像に少なくとも１つの分布エリアを取得して、更に前記少なくとも１つの分布エリアで前記予測ボックスを確立する。
本発明の一実施例では、前記ホストが前記入力画像を複数の特徴値に変換し、かつ複数の畳み込みカーネルによりこれらの特徴値を検出するステップにおいて、前記ホストがＳＳＭＤ(Single Shot Multibox Detector)モデルによって、前記入力画像のそれぞれの画素を畳み込んで前記第２の特徴値を検出する。
本発明の一実施例では、前記ホストが前記中心オフセットに基づいて回帰演算を行うステップにおいて、前記ホストが前記予測ボックスの第１の位置、前記境界ボックスの第２の位置およびズーム因子によって前記回帰演算を行うことによって、前記測定対象物画像を位置決めする。
本発明の一実施例では、前記ホストが前記測定対象物画像と少なくとも１つのサンプル画像とを比較するステップでは、前記ホストが完全接続層において前記測定対象物画像と前記少なくとも１つのサンプル画像との分類比較を行う。
本発明の一実施例では、前記ホストが比較結果に基づいて前記入力画像を目標物体画像または非目標物体画像に分類するステップにおいて、前記ホストが、前記予測ボックス内の前記測定対象物画像に対して前記少なくとも１つのサンプル画像と一致することを識別できなかった場合、前記ホストは、前記入力画像を前記非目標物体画像に分類し、逆に、前記ホストは前記入力画像を前記目標物体画像に分類する。
本発明の一実施例では、前記ホストは比較結果に基づいて前記入力画像を目標物体画像または非目標物体画像に分類するステップにおいて、前記ホストは前記入力画像を前記非目標物体画像に分類する時、前記ホストは２回目に前記少なくとも１つのサンプル画像と前記測定対象物画像を比較し、前記ホストは前記測定対象物画像の近似度が近似閾値よりも大きいと判断する時、前記ホストは前記入力画像を前記目標物体画像に分類し、逆に、前記ホストは前記入力画像を前記非目標物体画像に分類する。
本発明の一実施例では、前記ハイパースペクトル画像情報は、複数の白色光画像および複数の狭帯域画像に対応し、かつ複数の配色関数、補正マトリックスおよび変換マトリックスを含む。
本発明の一実施例では、当該細胞は食道癌細胞である。
本発明の一実施例では、前記周波数帯域は４１５ｎｍおよび５４０ｎｍである。
本発明の一実施例では、前記ホストは前記複数の第１のハイパースペクトル特徴値に対して細胞の周波数帯域によって選択しかつ主成分分析演算を行い、前記ハイパースペクトル画像を簡略化して対応する複数の第２の特徴値を生成するステップの後に、前記ホストはこれらの第１のハイパースペクトル特徴値に対して周波数帯域によって選択しかつ前記ハイパースペクトル画像情報によって模擬画像に変換する。
本発明の一実施例の方法の流れを示す図である。 本発明の一実施例の一部のステップを示す図である。 本発明の一実施例の一部のステップを示す図である。 本発明の一実施例の一部のステップを示す図である。 本発明の一実施例の一部のステップを示す図である。 本発明の一実施例の一部のステップを示す図である。 本発明の一実施例の一部のステップを示す図である。 本発明の一実施例の一部のステップを示す図である。 本発明の一実施例の一部のステップを示す図である。 本発明の一実施例の一部のステップを示す図である。 本発明の一実施例の畳み込みカーネルおよび入力画像を示す図である。 本発明の一実施例の所在エリアを示す図である。 本発明の一実施例のプリセットボックスを構築することを示す図である。 本発明の一実施例の中心点の遷移を示す図である。 本発明の一実施例のプリセットボックスと境界ボックスとを位置合わせすることを示す図である。 本発明の一実施例の画像を示す図である。 本発明の一実施例の具体的な実施例の画像を示す図である。 本発明の一実施例の具体的な実施例の画像を示す図である。 本発明の一実施例の具体的な実施例の画像を示す図である。 本発明の一実施例の具体的な実施例の画像を示す図である。
貴審査委員に本発明の特徴および達成できる効果について更なる理解と認識をしていただくため、下記のように実施例を参照しながら説明する。
内視鏡の操作が複雑であるため人為的な操作ミスまたは画像の認識が困難になることが知られている。本発明は、内視鏡技術に起因する人為的な操作ミスまたは画像の認識の困難さという周知の課題を解決するために、周波数帯域を用いたハイパースペクトルによる物体画像の検出方法を提案する。
以下では、周波数帯域を用いたハイパースペクトルによる物体画像の検出方法の特性、および対応するシステムをさらに説明する。
まず、本発明の方法の流れを示す図である。図示のように、本発明の周波数帯域を用いたハイパースペクトルによる物体画像の検出方法は次のステップを含む。
参照画像をハイパースペクトル参照画像に変換するハイパースペクトル画像情報を取得するステップＳ０５。
画像キャプチャユニットが入力画像をキャプチャしてホストに提供するステップＳ１０。
ハイパースペクトル画像情報に基づいて入力画像を変換することによって、ハイパースペクトル画像を取得するステップＳ１５。
ハイパースペクトル画像情報に基づいて分析を行うことによって、第１のハイパースペクトル特徴値を取得するステップＳ２０。
第１のハイパースペクトル特徴値を、細胞の周波数帯域に基づく選択及び主成分分析演算を行うことによって、対応する第２の特徴値を生成するステップＳ２５。
畳み込みカーネルに基づいて、第２の特徴値に対して畳み込み演算を行い、畳み込みの結果に基づいて、測定対象物画像から選択画像を取得するステップＳ３０。
ホストが選択画像のエッジに基づいて予測ボックスを生成するステップＳ３５。
ホストが入力画像の境界ボックスをキャプチャして予測ボックスの第１の中心点と境界ボックスの第２の中心点と比較することによって、予測ボックスと境界ボックスとの中心オフセットを取得するステップＳ４０。
ホストが中心オフセットに基づいて回帰演算を行い、回帰演算結果を取得するステップＳ４５。
ホストが回帰演算結果および予測ボックスに基づいて測定対象物画像の位置合わせ調整をし、第１の中心点を第２の中心点まで移動させるとともに選択画像を第２の中心点まで移動させるステップＳ５０。
ホストが測定対象物画像とサンプル画像とを比較することによって比較結果を生成するステップＳ５５。
ホストが比較結果に基づいて入力画像を目標物体画像または非目標物体画像に分類するステップＳ６０。
図２Ａ～図２Ｈを合わせて参照する。本発明の周波数帯域を用いたハイパースペクトルによる物体画像の検出方法に関連する検出システム１は、ホスト１０と画像キャプチャユニット２０とを含み、本実施例は、ホスト１０として、処理ユニット１２、メモリ１４および格納ユニット１６を有するホストが挙げられるが、これに限定されない。サーバ、ノートパソコン、タブレットまたは基礎的な演算能力を有する電子装置は何れも本発明のホスト１０である。リポジトリ３０は、格納ユニット１６に設けられるが、これに限定されず、ホスト１０の外部接続格納ユニットであってもよい。ホスト１０は、処理ユニット１２により畳み込みプログラム１２０を実行し、対応するニューラルネットワーク１２４を形成する。さらに、本実施例では、画像キャプチャユニット２０は、例えば、膀胱鏡、胃鏡、大腸鏡、気管支鏡、腹腔鏡など、体内の器官組織を検査するための内視鏡である。
ステップＳ０５では、図２Ａに示すように、図２Ａに示すように、当該ホスト１０は、画像キャプチャユニット２０が対応した参照画像ＲＥＦを読み取り、当該参照画像ＲＥＦは、少なくとも１つの物体参照画像Ｏ１Ｒおよび１つの背景参照画像ＢＧＲを含み、当該入力画像ＲＥＦはリポジトリ３０に格納されている白色光画像(White light image)と狭帯域画像(Narrow band image)であってもよく、または、画像キャプチャユニット２０により２４カラーチェッカーから取り込まれた参照色であってもよい。本実施例の画像キャプチャユニット２０は、白色光内視鏡OLYMPUS EVIS LUCERA CV-260 SLにより、対応する白色光参照画像を取得し、狭帯域内視鏡OLYMPUS EVIS LUCERA CLV-260により、対応する白色光参照画像を得る。かつ狭帯域内視鏡OLYMPUS EVIS LUCERA CLV-260により、対応する狭帯域参照画像を得る。つまり、当該少なくとも１つの物体参照画像Ｏ１Ｒおよび背景参照画像ＢＧＲが当該参照画像ＲＥＦの白色光参照画像および狭帯域参照画像に存在する。
図２Ａを参照すると、当該ホスト１０は当該参照画像ＲＥＦに基づいてハイパースペクトル画像情報ＨＳＡを取得し、即ち、可視光ハイパースペクトル技術(Visible Hyperspectral Algorithm, VIS-HSA)によって、画像キャプチャユニット２０が取り込んだ入力画像に対して演算を行い、一般画像色域空間(つまり取込画像の色域空間)をＸＹＺ色域空間(CIE1931XYZ Color space)に変換する(例えば、ｓＲＧＢ色域空間からＸＹＺ色域空間へ変換する)ための変換方程式を得る。本発明のハイパースペクトル画像情報は、可視光ハイパースペクトル技術に対応する可視光帯域ハイパースペクトルであり、且つ、自然界でよく見られる主な色（赤、緑、青、灰）を含む２４カラーチェッカー(X-Rite Classic, 24 Color Checkers)に対応する。ハイパースペクトル画像情報ＨＳＡは当該複数の白色光画像と複数の狭帯域画像に対応し、且つ、複数の配色関数(Color matching functions, CMF)、補正マトリックスＣおよび変換マトリックスＭを含む。
続いて、変換するための最初のステップは、参照画像ＲＥＦと分光器（Ocean Optics QE65000）を同じＸＹＺ色域空間に変換する必要がある。以下は参照画像ＲＥＦの変換式。
Figure 0007449004000001
Figure 0007449004000002
Figure 0007449004000003
Figure 0007449004000004
f(n)はｇａｍｍａ関数であり、ｓＲＧＢ値を線性ＲＧＢ値に変換でき、Ｔは変換マトリックスであり、[MA]は色順応変換マトリックスである。式（一）に基づいて線性ＲＧＢ値をＸＹＺ色域空間に規定されたＸＹＺ値（XYZ Endoscope）に変換できる。
以下は、分光器が取り込んだ反射スペクトルデータをＸＹＺ色域空間に変換するための式である。
Figure 0007449004000005
Figure 0007449004000006
Figure 0007449004000007
ｋは下記式(八)のとおりである。
Figure 0007449004000008
Figure 0007449004000009
Figure 0007449004000010
Figure 0007449004000011
 は配色関数（CMF:Color matching functions）であり、
Figure 0007449004000012
 は内視鏡で撮影した光源スペクトルである。ＸＹＺ色域空間のＹ値は輝度と正比例するため、式(九)により光源スペクトルＹ値の最大輝度（飽和輝度）が得られる。さらに、Ｙ値の上限を１００とすることにより、輝度の所期の比例ｋが得られ、式(五)～式(七)で反射スペクトルデータをＸＹＺ色域空間に規定されたＸＹＺ値[XYZspectrum]がに変換する。
さらに、下記式(十)の補正マトリックスＣで内視鏡画像の補正を行う。
Figure 0007449004000013
内視鏡の非線性応答、内視鏡の暗電流、カラーフィルタの色分離の不正確さ、および、色ずれ（例えばホワイトバランス）などを含む内視鏡の誤差を引き起こす要因を分析することにより変数マトリックス[V]が得られ、ＸＹＺ値[XYZspectrum]を補正する。
狭帯域画像と白色光画像は３階演算の演算結果が近似するため、非線性応答の補正は３階方程式で行われ、内視鏡の非線性応答は下記式(十一)を用いた。
Figure 0007449004000014
一般的に、内視鏡における暗電流は一定値であり、入光量の変化に伴う大幅な変化はないため、暗電流の影響を定数と見なし、暗電流の補正変数をＶＤａｒｋと定義し、以下記式（十二）で暗電流の影響を補正する。
Figure 0007449004000015
カラーフィルタの色分離の不正確さ、および、色ずれの補正変数はVcolorと定義し、
Figure 0007449004000016
Figure 0007449004000017
Figure 0007449004000018
 はＲＧＢ色域空間からＸＹＺ色域空間へ変換するための配色関数であり、
Figure 0007449004000019
Figure 0007449004000020
Figure 0007449004000021
 の３者間の関連性によってＸ、Ｙ、Ｚの間の可能性を下記式(十三)のように順列・組み合わせる。これにより、内視鏡画像のカラーフィルタの色分離の不正確さ、および、色ずれを補正する。
Figure 0007449004000022
上記式(十一)～式(十三)により，下記式(十四)の補正変数マトリックスＶが推定される。
Figure 0007449004000023
上記変数マトリックスＶに補正マトリックスＣを組み合わせることにより，下記式(十五)のように、補正後のＸ、Ｙ、Ｚ値[XYZCorrect]を得る。
Figure 0007449004000024
白色光画像は[XYZCorrect]と[XYZspectrum]では平均誤差値は１．４０であり、狭帯域画像は[XYZCorrect]と[XYZspectrum]では平均誤差値は２．３９である。
以上の計算は可視光帯域３８０ｎｍ～７８０ｎｍの光波長帯域を用いるため、内視鏡の補正結果は色収差で示され、[XYZCorrect]と[XYZspectrum]はCIE DE2000の対応するLab色域空間に変換され、色域空間変換関数式は下記式(十六)～式(十八)の通りである。
Figure 0007449004000025
Figure 0007449004000026
Figure 0007449004000027
ｆ（ｎ）は下記式(十九)の通りである。
Figure 0007449004000028
白色光画像は補正前の色差値が平均１１．６０、補正後の色差値が平均２．８４であるが、狭帯域画像は補正前の色差値が平均２９．１４、補正後の色差値が平均２．５８である。
ステップＳ１０において、図２Ｂに示すように、ホスト１０は、画像キャプチャユニット２０から入力画像ＩＭＧを取得し、当該入力画像ＩＭＧは、参照画像ＲＥＦと同様に、白色光画像と狭帯域画像とを有してもよい。本実施例の画像キャプチャユニット２０は、白色光内視鏡OLYMPUS EVIS LUCERA CV-260 SLに対応する白色光画像、または、狭帯域内視鏡OLYMPUS EVIS LUCERA CLV-260に対応する狭帯域画像である。ステップＳ１５において、ホスト１０は、当該入力画像ＩＭＧの解像度が例えば１０ｎｍなどの解像度閾値を満たす場合、当該入力画像ＩＭＧがハイパースペクトル画像(hyperspectral image)の解像度閾値に合致すると判断する。ステップＳ０５で得られたハイパースペクトル画像情報ＨＳＡに基づいて、入力画像ＩＭＧをハイパースペクトル画像ＨＹＩに変換し、その後、ステップＳ２０を実行する。
続いて、ステップＳ２０において、当該ホストは、当該ハイパースペクトル画像ＨＹＩに基づいて対応する複数の第１のハイパースペクトル特徴値Ｆ１を取得する。ステップＳ２５において、当該ホスト１０は、ステップＳ２０でこれらの第１のハイパースペクトル特徴値Ｆ１を取得し、細胞CELLの周波数帯域BNDに基づいてこれらの第１のハイパースペクトル特徴値Ｆ１に対して選択（Band selection）して主成分分析（PCA:Principal components analysis）演算を行い、演算結果を簡略化するため、変化量の低い特徴値をフィルタリングし、ハイパースペクトル画像ＨＹＩを簡素略化し、複数の第２の特徴値Ｆ２を生成する。
ＰＣＡの演算式は下記式(二十)の通りである。
Figure 0007449004000029
また、
Figure 0007449004000030
 ～
Figure 0007449004000031
 は１番目～ｎ番目の波長のスペクトル強度値を表し、
Figure 0007449004000032
 ～
Figure 0007449004000033
 は１番目～ｎ番目の波長のスペクトル所期値(平均スペクトル強度値)を表し、aj1～ajnは、スペクトルにより共分散計算を行う際の共分散マトリックスの特徴ベクトル係数を表す。主成分分析により、４０１次元スペクトル情報の次元を下げ、最初の３次元のみを求め、演算の複雑さを低減させる。本実施例では、２つの周波数帯域がそれぞれ４１５ｎｍおよび５４０ｎｍのスペクトル強度値をとる。
周波数帯域に基づいて選択することの原理は以下である。赤光が深さが異なる血管内のグロブリンに吸収される場合に、浅い層の粘膜組織の微細血管は茶褐色を呈し、粘膜下組織の血管は緑色を呈し、強烈な分層感を表わすため、粘膜組織の病変の識別に有利であるため、本実施例ではハイパースペクトル画像ＨＹＩから食道癌細胞検出に関連する血球蛋白の周波数帯域の４１５ｎｍおよび５４０ｎｍを選択したが、これに限定しない。異なる細胞に対して異なる周波数帯域を選択してもよい。また、さらに、まず、下記式(二十一)のように、上記得られた補正値[XYZCorrect]と、上記２４カラーチェッカーに対応する反射スペクトルデータ[Rspectrum]とを組み合わせ、演算により対応する変換マトリックスＭを求める。pinv［V］はマトリックスVの虚反マトリックスである。
Figure 0007449004000034
Figure 0007449004000035
反射スペクトルデータ[Rspectrum]を主成分分析し、複数組の主成分(ＥＶ)を求める。主成分を取得することにより主成分分数[Score]を取得する。本実施例は、解釈能力(重み百分比８８.０４１７％、８.２２１２％、２.６４２２％、０.６０９％、０.２２３８２％、０.１０４３２％、０.０５４６５８％、０.０４７２％、０.０２６３８％、０.０１２１８４％)が比較的に良い１０組の主成分を用いて次元を下げる演算を行う。模擬スペクトル[Sspectrum]380-780を取得し、模擬スペクトル[Sspectrum]380-780は、入力画像ＩＭＧに対応する[XYZspectrum]の誤差が、白色光画像では１１.６０から２.８５に補正され、狭帯域画像では２９.１４から２.６０補正される。肉眼では容易に認識できない色誤差が達成され、使用者が色再現を必要とする場合には、良好な色再現効果が得られ、可視光帯域内の良好なハイパースペクトル画像をシミュレートすることができる。
ステップＳ３０において、図２Ｃと図３に示すように、ホスト１０は、ステップＳ２０～ステップＳ２５で当該入力画像ＩＭＧから得られた第２の特徴値Ｆ２について、特に０～１の間で、複数の畳み込みカーネルＣを用いて、当該入力画像ＩＭＧに対応する複数の第２の特徴値Ｆ２を検出する。これらの畳み込みカーネルＣは、少なくとも１つの当該測定対象物画像Ｏ２の複数の選択画像Ｏ２に対応する選択特徴値Ｆ２２、および、少なくとも１つの測定対象物画像Ｏ１の隣接周辺画像ＢＧＩに対応するエッジ特徴値Ｆ２４を含み、これにより、測定対象物画像Ｏ１を含まない背景画像ＢＧをフィルタリングすることができる。当該ホストは、１回多フレーム目標検出器（ＳＳMＤ(Single Shot Multibox Detector)）モデルに基づいて、当該入力画像の各画素ユニットに対して畳み込みを行い、当該特徴値を検出する。これらの畳み込みカーネルＣは、当該少なくとも１つの測定対象物画像Ｏ１の複数の選択画像Ｏ２が対応する選択特徴値Ｆ２２、および隣接周辺画像ＢＧＩに対応するエッジ特徴値Ｆ２４に対応する。
図２Ｃと図３に示すように、当該入力画像ＩＭＧはｍ×ｎ画素ユニットであり、かつＰ個のチャネルを通して特徴抽出を行い、そのため当該複数の畳み込みカーネルＯ１はｍ×ｍ×ｐユニットであり、かつｍ＝ｎは、例えば：１×１×ｐ、３×３×ｐ、５×５×ｐ、１０×１０×ｐ、１９×１９×ｐまたは３８×３８×ｐであり、従って畳み込みカーネルＣを通して当該入力画像ＩＭＧ上の測定対象物画像Ｏ１と当該背景画像ＢＧを測定し、当該背景画像ＢＧをフィルタリングして除去し、従って当該背景画像ＢＧに対する後続ステップの処理を減少し、当該入力画像ＩＭＧが対応する第２の特徴値Ｆ２は処理ユニット１２を通して対応する選択特徴値Ｆ２２と周辺特徴値Ｆ２４に変換し、処理ユニット１２は畳み込みカーネルＣを通して当該入力画像ＩＭＧが対応する第２の特徴値Ｆ２と乗算し、異なる畳み込み結果Ｒを得て、同じであれば１、異なると－１の値を得て、従って非相関の背景画像ＢＧをフィルタリングし、図４に示すように、入力画像ＩＭＧが対応する第２の特徴値Ｆ２で一部の当該選択特徴値Ｆ２２が対応する一部または全部の当該少なくとも１つの測定対象物画像Ｏ１を取得し、従って一部または全部の当該少なくとも１つの測定対象物画像Ｏ１の所在エリアＡを取得する。
ステップＳ３５において、図２Ｄと図５に示すように、ホスト１０は当該少なくとも１つの測定対象物画像Ｏ１の所在エリアＡによって少なくとも１つの選択画像Ｏ２を取得して、即ち畳み込みプログラムＰによって選択特徴値Ｆ２２と周辺特徴値Ｆ２４を取得して更に少なくとも１つの予測ボックスＤを対応して確立し、且つ図６に示すように、当該入力画像ＩＭＧに対するエッジは初期の境界ボックスＢであり、予測ボックスＤの辺長寸法は、
Figure 0007449004000036
 であり、
最大辺長は、
Figure 0007449004000037
 であり、
下式の式（二十三）によって辺長寸法ｓｋを求められる。
Figure 0007449004000038
また、次の式（二十四）、式（二十五）により辺長寸法ｓｋに基づいて高さと幅を算出する。
Figure 0007449004000039
Figure 0007449004000040
ｈｋはｋ番目の特徴図の矩形先験的ボックスの高さ寸法で、ｗｋは矩形先験的ボックスの幅寸法で、ａｒは予測ボックスＤの縦横比で、ａｒは０より大きい。
ステップＳ４０において、図２Ｆと図６に示すように、ホスト１０は処理ユニット１２によって入力画像ＩＭＧに対応する境界ボックスＢを取込んでかつ畳み込みプログラムＰを実行し、当該予測ボックスＤの第１の中心点Ｄｃと当該入力画像ＩＭＧの境界ボックスＢの第２中心点Ｂｃを取込んで、且つ第１の中心点Ｄｃと第２の中心点Ｂｃに対して対応する中心オフセットＤＩＳを取得し、ステップＳ４５において、図２Ｅと図７に示すように、ホスト１０の処理ユニット１２は、当該予測ボックスＤと当該境界ボックスＢの中心オフセットＤＩＳによって回帰計算ＬＯＯＰを行う、その計算は以下の通りである。
予測ボックスＤの位置
Figure 0007449004000041
 境界ボックスＢの位置
Figure 0007449004000042
 ズーム因子
Figure 0007449004000043
Figure 0007449004000044
Figure 0007449004000045
Figure 0007449004000046
Figure 0007449004000047
まず境界ボックスＢの中心座標を予測ボックスＤの中心座標に揃え、意味は境界ボックスＢの中心を「先に平行移動」して予測ボックスＤの中心点まで移動させ、即ち図６の第１の中心点Ｄｃと第２の中心点Ｂｃを重畳し、式（二十九）と式（三十）のように、また境界ボックスの寸法の大きさを「後ズーム」して予測ボックスＤに接近させ、式（三十一）と式（三十二）のように、当該平行移動変換とスケールスケーリングを経て、境界ボックスＢを無限に予測ボックスＤの位置に接近させることができ、これによってステップＳ５０において、ホスト１０は処理ユニット１２により実行する畳み込みプログラムＰが組み合わせる畳み込みニューラルネットワークＣＮＮによって、絶えず境界ボックスＢの寸法の大きさが無限に予測ボックスＤの位置に接近するまで回帰演算し、これによって測定対象物画像Ｏ１を予測ボックスＤに対して境界ボックスＢと重畳し、したがって正確に測定対象物画像Ｏ１の位置を定義し、即ち当該第１の中心点Ｄｃを当該第２の中心点Ｂｃに移動する時に、関連して当該選択画像（即ち予測ボックスＤ内の画像）を当該第２の中心点Ｂｃに移動する。
また、測定対象物画像Ｏ１の位置をより正確に定義するために、さらに損失方程式を組み合わせると、次の式（三十三）となる。
Figure 0007449004000048
そこで、予測ボックスＤの位置と測定対象物画像Ｏ１の位置との誤差を検証する。
ステップＳ５５において、ホスト１０は、図２Ｇに示すように、処理ユニット１２が測定対象物画像Ｏ１の位置を突き止めた後、測定対象物画像Ｏ１をリポジトリ３０内のサンプル像ＳＡと１回目の比較を行い、ステップＳ６０において、図２Ｈに示すように、ホスト１０は、比較結果Ｒに基づいて、ホスト１０の処理ユニット１２によって実行される畳み込みプログラムＰに基づいて、当該入力画像ＩＭＧを目標物体画像ＴＡまたは非目標物体画像ＮＴＡに分類する。例えば、悪性腫瘍の場合、ホスト１０の処理ユニット１２によって実行される畳み込みプログラムＰが、予測ブロックＤ内の測定対象物画像Ｏ１について少なくとも１つのサンプル画像ＳＡに一致することを認識しなかった場合、ホスト１０は、入力画像ＩＭＧを非目標物体画像ＮＴＡに分類し、逆に、ホスト１０の処理ユニット１２によって実行される畳み込みプログラムＰが、入力画像ＩＭＧを目標物体画像ＴＡに分類する。ホスト１０の処理ユニット１２によって実行される畳み込みプログラムＰが、入力画像ＩＭＧを非目標物体画像ＮＴＡに分類した場合、畳み込みプログラムＰは、少なくとも１つのサンプル画像ＳＡと測定対象物画像Ｏ１とを改めて比較し、畳み込みプログラムＰは、測定対象物画像Ｏ１の比較結果Ｒと目標物体画像ＴＡの近似度が近似閾値より大きいと判断した場合(例えば、近似度０～１の場合、０.５を閾値とする)、畳み込みプログラムＰは入力画像ＩＭＧを目標物体画像ＴＡに分類し、逆に、畳み込みプログラムＰは入力画像ＩＭＧを非目標物体画像ＮＴＡに分類する。畳み込みプログラムＰは、Intersection over Union(IOU)に従い、目標物体画像ＴＡの近似度が大きい方が、当該対目標物体画像ＴＡの近似度が小さい方の交差度が交差閾値よりも大きい（例えば、交差度０～１の間で、交差閾値として０．５をとる）場合、畳み込みプログラムＰは、当該目標物体画像ＴＡの近似度が小さい方を当該目標物体画像ＴＡから除外する。
図８に示すように、それは本発明の実施例の見取り図である。入力画像ＩＭＧは食道内視鏡画像であり、入力画像ＩＭＧに対して本発明の周波数帯域を用いたハイパースペクトルによる物体画像の検出方法によって、予測ボックスＤと境界ボックスＢを重畳し、且つサンプル画像（形成異常（Ｄｙｓｐｌａｓｉａ）区域の食道内視鏡画像）との比較を行い、比較結果Ｒを得て、正確率は９３．０％に達する。
本発明の周波数帯域を用いたハイパースペクトルによる物体画像の検出方法では、ハイパースペクトル画像ＨＹＩから周波数帯域によって選択し、ハイパースペクトル画像ＨＹＩは可視色を構成する異なる周波数帯域（本実施例では３８０ｎｍ～７８０ｎｍの計４０１個の周波数帯域）のスペクトル強度を認識することができるが、複数次元のハイパースペクトル画像ＨＹＩに対して必要な周波数帯域（本実施例では４１５ｎｍおよび５４０ｎｍの計２個の周波数帯域）をフィルタリングして次元を下げ（４０１個の周波数帯域から２個の周波数帯域に下げたデータ）、後続の演算を行い、畳み込みニューラルネットワークで目標物体画像または非目標物体画像の分類を行い、１７８０枚の食道内視鏡画像の判断結果において、本発明は入力画像ＩＭＧを白色光画像（ＷＬＩ）または狭帯域画像（ＮＢＩ）として病巣の有無を判断する精度を比較し、周波数帯域ＢＮＤによって選択後のハイパースペクトル画像ＨＹＩを介して形成異常（Ｄｙｓｐｌａｓｉａ）領域に対する判断精度を９８％に向上させることができ（白色光画像（ＷＬＩ）判断精度：９６％、狭帯域画像（ＮＢＩ）判断精度：８５％）、周波数帯域ＢＮＤによって選択後のハイパースペクトル画像ＨＹＩを介して食道癌（ＳＣＣ）領域に対する判断精度を９３％に向上させることができる（白色光画像（ＷＬＩ）判断精度：９２％、狭帯域画像（ＮＢＩ）判断精度：８２％）。医療従事者が本発明を症状の判断の補助証拠として使用することができ、本発明は入力画像ＩＭＧの色彩を調整するのではなく、フィルタリングして色彩の光を生成する。
さらに別の実施例を提供し、本発明はハイパースペクトル画像ＨＹＩから周波数帯域によって選択した後に、普通の画像として出力することを説明し、ステップＳ２５の後にさらに以下のステップを含む。
ステップＳ２８：第１のハイパースペクトル特徴値を周波数帯域によって選択し、かつハイパースペクトル画像情報に基づいて模擬画像に変換する。
本発明は他の実施例を提供する。図２Ｉに示すように、ステップＳ２８において、当該ホスト１０はこれらの第１のハイパースペクトル特徴値Ｆ１に対して当該周波数帯域ＢＮＤによって選択(Band selection)を行い、かつステップＳ０５で得たハイパースペクトル画像情報ＨＳＡに基づいて模擬画像ＳＩＭに変換する。
ステップＳ２５において、反射スペクトルデータ[Rspectrum]を主成分分析して次元を下げる演算を行って模擬スペクトル[Sspectrum]380-780を取得する。ステップＳ２５において、ステップＳ０５の式（五）から式（七）によって模擬スペクトル[Sspectrum]380-780データをＸＹＺ色域空間が規範とするＸＹＺ値に変換し、さらに式（三十四）によって模擬画像ＳＩＭに変換する。
Figure 0007449004000049
本実施形態では、次元を下げたデータを一般的な画像（ＲＧＢ画像）に変換して医療者に見てもらうことができ、一実施形態では、選択した周波数帯域は４１５ｎｍと５４０ｎｍである、生成した模擬画像ＳＩＭが狭帯域画像（Narrow band image）に近似し、波長によって組織への透過力が異なります、赤い光が血管内のヘモグロブリンに吸収されると、浅層粘膜組織の微小血管は茶色で、粘膜下組織の血管は緑色である。一方、本発明で生成される選択した周波数帯域の模擬画像ＳＩＭは、４０１個の周波数帯域の白色光画像（ＷＬＩ）のうち２個の周波数帯域を選択した新たな画像であり、本来は背景と色が似ている病巣（目標物体画像ＴＡ）を際立たせ、背景画像ＢＧとの比較度を向上させる。
本発明の一具体的な実施例を提供する。図９Ａ、図９Ｂ、図１０Ａおよび図１０Ｂに示すように、これらは本発明の具体的な実施例の画像を示す図である。例えば、食道内視鏡白色光画像（ＷＬＩ画像）が食道癌に合致するか否かを識別し、ホストが入力画像ＩＭＧをキャプチャし、当該入力画像ＩＭＧをハイパースペクトル画像情報ＨＳＡでハイパースペクトル画像ＨＹＩを取得し、ハイパースペクトル画像ＨＹＩは３８０ｎｍ～７８０ｎｍの４０１個の周波数帯域を有するため、周波数帯域ＢＮＤの４１５ｎｍと５４０ｎｍを選択し、畳み込み演算を行い、ボックス選択により測定対象物画像の位置を選択し、サンプル画像との比較を行い、予測ボックスＤと境界ボックスＢを取得して比較結果Ｒを得る。また、ハイパースペクトル画像情報ＨＳＡに基づいて模擬画像ＳＩＭを出力し、模擬画像ＳＩＭは模擬狭帯域画像（ＮＢＩ）であり、図９Ａに示す比較用サンプル画像が形成異常（Ｄｙｓｐｌａｓｉａ）エリアの白色光画像であり、図１０Ａに示す比較用サンプル画像が食道癌（ＳＣＣ）エリアの白色光画像であり、図９Ｂおよび図１０Ｂは当該白色光画像が本発明の方法によって出力された模擬ＮＢＩ画像であり、本発明の模擬ＮＢＩ画像からわかるように、病巣場所（目標物体画像ＴＡ）が比較的に顕著であり、背景画像ＢＧとの比較度を向上させ、医療従事者が観察しやすいことが明らかである。
以上をまとめると、本発明の周波数帯域を用いたハイパースペクトルによる物体画像の検出方法は、ホストはハイパースペクトル画像情報を取得し、ハイパースペクトル画像情報に基づいて入力画像をハイパースペクトル画像に変換、続いてハイパースペクトル画像を周波数帯域による選択に基づいて、引き続き畳み込みプログラムを実行し、ホストに畳み込みニューラルネットワークを構築させ、画像キャプチャユニットの入力画像を畳み込み、検出したい選出領域を選出し、入力画像上に予測ボックスを形成し、回帰演算を行い、境界ボックスにより測定対象物画像の位置合わせをし、最後にサンプル画像との比較を行い、比較結果を用いて目標物体画像と非目標物体画像に分類し、ハイパースペクトル技術にて物体画像の識別を支援する目的を達成できる。
したがって、本発明は実際に新規性、進歩性及び産業上の利用可能性を有するため、台湾特許法の特許出願要件に合致すべきであることは間違いなく、法により発明特許を出願し、貴庁が早期に特許を賜ることを祈念し、切に希望する。
ただし、上記のものは、本発明の優れた実施例にすぎず、本発明の実施範囲を限定するためのものではなく、本発明の特許出願の範囲に記載された形状、構造、特徴及び精神に基づいた均等な変化及び修飾は、すべて本発明の特許出願の範囲内に含まれる。
１ 検出システム
１０ ホスト
１２ 処理ユニット
１４ メモリ
１６ 格納ユニット
２０ 画像キャプチャユニット
３０ リポジトリ
Ｂ 境界ボックス
ＢＡＮＤ 周波数帯域
Ｂｃ 第２の中心点
ＢＧ 背景画像
ＢＧＩ 周辺画像
Ｃ 畳み込みカーネル
ＣＥＬＬ 細胞
ＣＮＮ 畳み込みニューラルネットワーク
Ｄ 予測ボックス
Ｄｃ 第１の中心点
Ｆ１ 第１のハイパースペクトル特徴値
Ｆ２ 第２の特徴値
ＨＳＡ ハイパースペクトル画像情報
ＨＹＩ ハイパースペクトル画像
ＩＭＧ 入力画像
Ｏ１ 測定対象物画像
Ｏ１Ｒ 物体参照画像
Ｏ２ 選択画像
Ｐ 畳み込みプログラム
Ｒ 比較結果
ＲＥＦ 参照画像
ＳＡ サンプル画像
ＳＩＭ 模擬画像
ＴＡ 目標物体画像
ＮＴＡ 非目標物体画像
Ｓ１０～Ｓ４２ ステップ

Claims (13)

  1. 周波数帯域を用いたハイパースペクトルによる物体画像の検出方法であって、以下のステップを含む：
    参照画像をハイパースペクトル参照画像に変換するハイパースペクトル画像情報を取得し、前記参照画像は少なくとも１つの物体参照画像と１つの背景参照画像を含み、
    画像キャプチャユニットは入力画像をキャプチャしてホストに提供し、前記入力画像は少なくとも１つの測定対象物画像と１つの背景画像を含み、
    前記ホストは、前記ハイパースペクトル画像情報に基づいて前記入力画像を変換することによって、ハイパースペクトル画像を取得し、
    前記ホストは前記ハイパースペクトル画像に基づいて分析を行うことによって、複数の第１のハイパースペクトル特徴値を取得し、
    前記ホストはこれらの第１のハイパースペクトル特徴値に対して、細胞の周波数帯域に基づく選択及び主成分分析演算を行うことによって、前記ハイパースペクトル画像を簡略化して対応する複数の第２の特徴値を生成し、
    前記ホストは複数の畳み込みカーネルに基づいて、前記第２の特徴値に対して少なくとも１つの畳み込み演算を行って前記背景画像をフィルタリングし、前記ホストは畳み込み結果および前記少なくとも１つの測定対象物画像に基づいて少なくとも１つの選択画像を取得し、前記畳み込みカーネルは、複数の選択特徴値と、複数の周辺特徴値とを含み、前記少なくとも１つの測定対象物画像は、複数の周辺画像および前記少なくとも１つの選択画像を含み、これらの周辺画像は前記少なくとも１つの選択画像を取囲み、前記少なくとも１つの選択画像は、前記選択特徴値に対応し、これらの周辺画像は、前記周辺特徴値に対応し、
    前記ホストは前記少なくとも１つの選択画像のエッジに基づいて少なくとも１つの予測ボックスを生成し、
    前記ホストは、前記予測ボックスの第１の中心点と境界ボックスの第２の中心点とを比較するために用いる前記入力画像の境界ボックスを取得し、前記ホストは、前記予測ボックスと前記境界ボックスとの中心オフセットを取得し、前記境界ボックスは前記入力画像のエッジに対応し、
    前記ホストは、前記中心オフセットに基づいて回帰演算を行い、回帰演算結果を取得し、
    前記ホストは、前記回帰演算結果と前記予測ボックスに基づいて前記測定対象物画像の位置合わせ調整を行い、前記第１の中心点を前記第２の中心点に移動させるとともに前記選択画像を前記第２の中心点に移動させ、
    前記ホストは位置調整後の前記測定対象物画像と少なくとも１つのサンプル画像とをマッチング比較して比較結果を生成し、
    前記ホストは、前記比較結果に基づいて、前記入力画像が目標物体画像であると判断する、方法。
  2. 前記ホストが前記複数の畳み込みカーネルに基づいて前記第２の特徴値に対して少なくとも１つの畳み込み演算を行うステップにおいて、前記ホストは前記畳み込みカーネルをｍ×ｎ×ｐに設定し、かつ前記入力画像の複数の画素値を複数の画素正規値に正規化して、前記畳み込みカーネルに前記複数の画素正規値をかけ算して、畳み込み層で前記複数の第２の特徴値を取得し、かつｍ＝ｎであり、ｍは１、３、５、１０、１９または３８である、請求項１に記載の周波数帯域を用いたハイパースペクトルによる物体画像の検出方法。
  3. 前記畳み込み結果と前記少なくとも１つの測定対象物画像に基づいて少なくとも１つの選択画像を取得するステップにおいて、前記ホストが前記複数の選択特徴値の所在エリアを統合して前記入力画像上に少なくとも１つの分布エリアを取得する、請求項１に記載の周波数帯域を用いたハイパースペクトルによる物体画像の検出方法。
  4. 前記ホストが前記複数の畳み込みカーネルによって前記第２の特徴値に対して少なくとも１つの畳み込み演算を行うステップにおいて、前記ホストがＳＳＭＤ(Single Shot Multibox Detector)モデルによって、前記入力画像のそれぞれの画素に畳み込みを行うことによって、前記第２の特徴値を検出する、請求項１に記載の周波数帯域を用いたハイパースペクトルによる物体画像の検出方法。
  5. 前記ホストが前記中心オフセットに基づいて回帰演算を行うステップにおいて、前記ホストは前記予測ボックスの第１の位置、前記境界ボックスの第２の位置およびズーム因子によって前記回帰演算を行うことによって、前記測定対象物画像を位置決めする、請求項１に記載の周波数帯域を用いたハイパースペクトルによる物体画像の検出方法。
  6. 前記ホストが前記測定対象物画像と少なくとも１つのサンプル画像とをマッチング比較するステップでは、前記ホストが完全接続層において前記測定対象物画像と前記少なくとも１つのサンプル画像とのマッチング比較を行う、請求項１に記載の周波数帯域を用いたハイパースペクトルによる物体画像の検出方法。
  7. 比較結果に基づいて前記入力画像が目標物体画像であると判断するステップにおいて、前記ホストが前記少なくとも１つのサンプル画像に基づいて前記入力画像が目標物体画像であると判断できない場合、前記ホストが前記少なくとも１つのサンプル画像に基づいて前記測定対象物画像を近似比較する、請求項１に記載の周波数帯域を用いたハイパースペクトルによる物体画像の検出方法。
  8. 前記ホストが前記少なくとも１つのサンプル画像によって前記測定対象物画像に対して近似比較を行うステップにおいて、前記ホストが前記測定対象物画像の近似度が近似閾値よりも大きいと判断する場合、前記ホストは前記入力画像を前記目標物体画像と判断する、請求項７に記載の周波数帯域を用いたハイパースペクトルによる物体画像の検出方法。
  9. ハイパースペクトル画像情報は、前記入力画像の複数の白色光画像と複数の狭帯域画像に対応し、かつ複数の配色関数、補正マトリックスおよび変換マトリックスを含む、請求項１に記載の周波数帯域を用いたハイパースペクトルによる物体画像の検出方法。
  10. 前記ホストが位置合わせ後の前記測定対象物画像と、なくとも１つのサンプル画像とのマッチング比較を行うステップにおいて、前記ホストがリポジトリから前記少なくとも１つのサンプル画像を読み取り、位置合わせ後の前記測定対象物画像に基づいて前記マッチング比較を行う、請求項１に記載の周波数帯域を用いたハイパースペクトルによる物体画像の検出方法。
  11. 前記ホストが前記複数の第１のハイパースペクトル特徴値に対して細胞の周波数帯域による選択及び主成分分析演算を行うことによって、前記ハイパースペクトル画像を簡略化して対応する前記複数の第２の特徴値を生成するステップの後に、前記ホストはこれらの第１のハイパースペクトル特徴値に対して、周波数帯域による選択と前記ハイパースペクトル画像情報とに基づいた模擬画像への変換を行う、請求項１に記載の周波数帯域を用いたハイパースペクトルによる物体画像の検出方法。
  12. 前記細胞が食道癌細胞である、請求項１に記載の周波数帯域を用いたハイパースペクトルによる物体画像の検出方法。
  13. 前記周波数帯域は４１５ｎｍおよび５４０ｎｍである、請求項１１に記載の周波数帯域を用いたハイパースペクトルによる物体画像の検出方法。
JP2023015049A 2022-03-04 2023-02-03 周波数帯域を用いたハイパースペクトルによる物体画像の検出方法 Active JP7449004B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW111108093 2022-03-04
TW111108093A TWI796156B (zh) 2022-03-04 2022-03-04 以波段用於超頻譜檢測物件影像之方法

Publications (2)

Publication Number Publication Date
JP2023129277A JP2023129277A (ja) 2023-09-14
JP7449004B2 true JP7449004B2 (ja) 2024-03-13

Family

ID=86692329

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023015049A Active JP7449004B2 (ja) 2022-03-04 2023-02-03 周波数帯域を用いたハイパースペクトルによる物体画像の検出方法

Country Status (3)

Country Link
US (1) US20230281818A1 (ja)
JP (1) JP7449004B2 (ja)
TW (1) TWI796156B (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017158840A (ja) 2016-03-10 2017-09-14 富士フイルム株式会社 内視鏡画像信号処理装置および方法並びにプログラム
US20170319147A1 (en) 2016-05-04 2017-11-09 National Chung Cheng University Cancerous lesion identifying method via hyper-spectral imaging technique
WO2019151029A1 (ja) 2018-02-05 2019-08-08 ソニー株式会社 撮像装置および撮像方法、並びにプログラム
WO2019220916A1 (ja) 2018-05-14 2019-11-21 富士フイルム株式会社 医療画像処理装置、医療画像処理方法及び内視鏡システム
US20200134820A1 (en) 2018-10-25 2020-04-30 Koninklijke Philips N.V. Tumor boundary reconstruction using hyperspectral imaging
JP2020073081A (ja) 2017-10-30 2020-05-14 公益財団法人がん研究会 画像診断支援装置、学習済みモデル、画像診断支援方法および画像診断支援プログラム
CN112766199A (zh) 2021-01-26 2021-05-07 武汉大学 基于自适应多尺度特征提取模型的高光谱图像分类方法
JP2021177163A (ja) 2020-05-05 2021-11-11 國立中正大學 ２次元材料薄膜検出方法および２次元材料薄膜検出システム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017158840A (ja) 2016-03-10 2017-09-14 富士フイルム株式会社 内視鏡画像信号処理装置および方法並びにプログラム
US20170319147A1 (en) 2016-05-04 2017-11-09 National Chung Cheng University Cancerous lesion identifying method via hyper-spectral imaging technique
JP2020073081A (ja) 2017-10-30 2020-05-14 公益財団法人がん研究会 画像診断支援装置、学習済みモデル、画像診断支援方法および画像診断支援プログラム
WO2019151029A1 (ja) 2018-02-05 2019-08-08 ソニー株式会社 撮像装置および撮像方法、並びにプログラム
WO2019220916A1 (ja) 2018-05-14 2019-11-21 富士フイルム株式会社 医療画像処理装置、医療画像処理方法及び内視鏡システム
US20200134820A1 (en) 2018-10-25 2020-04-30 Koninklijke Philips N.V. Tumor boundary reconstruction using hyperspectral imaging
JP2021177163A (ja) 2020-05-05 2021-11-11 國立中正大學 ２次元材料薄膜検出方法および２次元材料薄膜検出システム
CN112766199A (zh) 2021-01-26 2021-05-07 武汉大学 基于自适应多尺度特征提取模型的高光谱图像分类方法

Also Published As

Publication number Publication date
US20230281818A1 (en) 2023-09-07
TW202336690A (zh) 2023-09-16
TWI796156B (zh) 2023-03-11
JP2023129277A (ja) 2023-09-14

Similar Documents

Publication Publication Date Title
Clancy et al. Surgical spectral imaging
JP6657480B2 (ja) 画像診断支援装置、画像診断支援装置の作動方法および画像診断支援プログラム
US8472682B2 (en) Medical image processing
US8483454B2 (en) Methods for tissue classification in cervical imagery
EP1576920B1 (en) Imaging device
WO2008115547A1 (en) A method of automated image color calibration
CN115049666B (zh) 基于彩色小波协方差深度图模型的内镜虚拟活检装置
TWI738367B (zh) 以卷積神經網路檢測物件影像之方法
Ali et al. Color-based template selection for detection of gastric abnormalities in video endoscopy
JP2023129276A (ja) セマンティックセグメンテーションに基づく画像識別方法
JP7449004B2 (ja) 周波数帯域を用いたハイパースペクトルによる物体画像の検出方法
Zhang et al. Medical biometrics: computerized TCM data analysis
US20240065540A1 (en) Apparatus and method for detecting cervical cancer
Chand et al. Identifying oral cancer using multispectral snapshot camera
JP7142754B1 (ja) 畳み込みニューラルネットワークを使用して食道癌の画像を検出する方法
Ye et al. Segmentation and feature extraction of endoscopic images for making diagnosis of acute appendicitis
Meyer-Veit et al. Hyperspectral endoscopy using deep learning for laryngeal cancer segmentation
JP6931425B2 (ja) 医用画像学習装置、医用画像学習方法、及びプログラム
CN116322465A (zh) 图像处理装置、内窥镜***、图像处理装置的工作方法及图像处理装置用程序
JP2023129258A (ja) ハイパースペクトル画像による物体検出方法
Abdullah et al. Computer-aided diseases diagnosis system based on tongue color analysis: A review
TWI821149B (zh) 內視鏡冗餘影像除去方法
Finkšt et al. Autofluorescence bronchoscopy image processing in the selected colour spaces
Obukhova et al. Image processing algorithm for virtual chromoendoscopy (Tone Enhancement) in clinical decision support system
Coole Integrating Multimodal Optical Imaging Systems for Interactive Clinician Guidance for Cancer Detection and Resection

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230203

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240222

R150 Certificate of patent or registration of utility model

Ref document number: 7449004

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150