JP6904348B2 - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP6904348B2 JP6904348B2 JP2018527391A JP2018527391A JP6904348B2 JP 6904348 B2 JP6904348 B2 JP 6904348B2 JP 2018527391 A JP2018527391 A JP 2018527391A JP 2018527391 A JP2018527391 A JP 2018527391A JP 6904348 B2 JP6904348 B2 JP 6904348B2
- Authority
- JP
- Japan
- Prior art keywords
- candidate
- candidate region
- far
- region
- infrared image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 182
- 238000003672 processing method Methods 0.000 title claims description 8
- 238000001514 detection method Methods 0.000 claims description 462
- 230000002159 abnormal effect Effects 0.000 claims description 88
- 238000003384 imaging method Methods 0.000 claims description 6
- 238000000034 method Methods 0.000 description 128
- 230000008569 process Effects 0.000 description 113
- 238000003860 storage Methods 0.000 description 72
- 230000003187 abdominal effect Effects 0.000 description 63
- 238000000605 extraction Methods 0.000 description 54
- 238000004364 calculation method Methods 0.000 description 36
- 230000006870 function Effects 0.000 description 32
- 239000000284 extract Substances 0.000 description 20
- 238000010586 diagram Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 12
- 230000007613 environmental effect Effects 0.000 description 11
- 230000005856 abnormality Effects 0.000 description 10
- 230000012447 hatching Effects 0.000 description 8
- 210000001015 abdomen Anatomy 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 4
- 230000005457 Black-body radiation Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000004297 night vision Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000004745 nonwoven fabric Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- HMUNWXXNJPVALC-UHFFFAOYSA-N 1-[4-[2-(2,3-dihydro-1H-inden-2-ylamino)pyrimidin-5-yl]piperazin-1-yl]-2-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)ethanone Chemical compound C1C(CC2=CC=CC=C12)NC1=NC=C(C=N1)N1CCN(CC1)C(CN1CC2=C(CC1)NN=N2)=O HMUNWXXNJPVALC-UHFFFAOYSA-N 0.000 description 1
- LDXJRKWFNNFDSA-UHFFFAOYSA-N 2-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)-1-[4-[2-[[3-(trifluoromethoxy)phenyl]methylamino]pyrimidin-5-yl]piperazin-1-yl]ethanone Chemical compound C1CN(CC2=NNN=C21)CC(=O)N3CCN(CC3)C4=CN=C(N=C4)NCC5=CC(=CC=C5)OC(F)(F)F LDXJRKWFNNFDSA-UHFFFAOYSA-N 0.000 description 1
- 238000000862 absorption spectrum Methods 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000002594 fluoroscopy Methods 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000002406 microsurgery Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000008961 swelling Effects 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
- G01V8/00—Prospecting or detecting by optical means
- G01V8/10—Detecting, e.g. by using light barriers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
- A61B5/015—By temperature mapping of body part
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/0022—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
- G01J5/0025—Living bodies
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/10—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
- A61B2505/05—Surgical care
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J2005/0077—Imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Medical Informatics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Geophysics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Life Sciences & Earth Sciences (AREA)
- Veterinary Medicine (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Radiation Pyrometers (AREA)
Description
1.導入
2.画像処理装置の概要
2−1.ハードウェア構成
2−2.機能構成
2−3.動作
3.応用例
3−1.第1の応用例
3−2.第2の応用例
3−3.第3の応用例
4.まとめ
図1は、波長に依存する赤外線画像の多様な用途について説明するための説明図である。図1の水平方向は赤外線の波長に対応し、左から右へと波長は長くなる。0.7μm以下の波長を有する光線は可視光線であり、人間の視覚はこの可視光線を感知する。可視光領域に隣接する波長領域は近赤外(NIR)領域であり、NIR領域に属する赤外線を近赤外線という。NIR領域の波長の上限は、定義に依存して異なるものの、2.5μmから4.0μmの間にあるとされることが多い。NIR領域のうち相対的に波長の長い部分は、短波長赤外(SWIR)領域と呼ばれることもある。近赤外線は、例えば、暗視(night vision)、透視、光通信、及び測距のために利用され得る。近赤外画像を撮像するカメラは、通常、まず近傍に赤外線を照射し、その反射光を捕捉する。NIR領域に長波長側で隣接する波長領域は遠赤外(FIR)領域であり、FIR領域に属する赤外線を遠赤外線という。FIR領域のうち相対的に波長の短い部分は、中波長赤外(MWIR)領域と呼ばれることもある。中波長赤外線の波長範囲では物質固有の吸収スペクトルが現れることから、中波長赤外線は、物質の同定のために利用され得る。遠赤外線は、暗視、サーモグラフィ、及び加熱のために利用され得る。物体からの黒体放射によって発せられる赤外線は、遠赤外線に相当する。そのため、遠赤外線を用いた暗視装置は、赤外線を照射せずとも、物体からの黒体放射を捕捉することにより遠赤外画像を生成することができる。なお、図1に示した波長の範囲の境界値は例に過ぎない。赤外線の分類の境界値には様々な定義が存在しており、本開示に係る技術の後述する利点は、いかなる定義の下でも享受され得る。
続いて、図2〜図5を参照して、本開示の実施形態に係る画像処理装置1の概要について説明する。
まず、図2を参照して、本実施形態に係る画像処理装置1のハードウェア構成について説明する。
赤外線カメラ102は、赤外線を利用した撮像を行い、非カラー画像である赤外線画像を得る撮像モジュールである。赤外線カメラ102は、本開示に係る撮像部に相当する。赤外線カメラ102は、具体的には、FIR領域に属する波長を有する遠赤外線を感知する撮像素子の配列を有しており、遠赤外画像を撮像する。赤外線カメラ102は、例えば、一定の時間間隔で遠赤外画像を撮像する。また、赤外線カメラ102により得られる一連の遠赤外画像は、映像を構成してもよい。
入力インタフェース104は、ユーザが画像処理装置1を操作し又は画像処理装置1へ情報を入力するために使用される。例えば、入力インタフェース104は、タッチセンサ、キーボード、キーパッド、ボタン、又はスイッチなどの入力デバイスを含んでもよい。また、入力インタフェース104は、音声入力用のマイクロフォン及び音声認識モジュールを含んでもよい。また、入力インタフェース104は、ユーザにより選択される命令をリモートデバイスから受信する遠隔制御モジュールを含んでもよい。
メモリ106は、RAM(Random Access Memory)及びROM(Read Only Memory)を含み得る記憶媒体である。メモリ106は、プロセッサ114に連結され、プロセッサ114により実行される処理のためのプログラム及びデータを記憶する。
ディスプレイ108は、画像を表示する画面を有する表示モジュールである。例えば、ディスプレイ108は、LCD(Liquid Crystal Display)、OLED(Organic light−Emitting Diode)、又はCRT(Cathode Ray Tube)などであってもよい。
通信インタフェース110は、画像処理装置1と他の装置との間の通信を仲介するモジュールである。通信インタフェース110は、任意の無線通信プロトコル又は有線通信プロトコルに従って、通信接続を確立する。
ストレージ112は、赤外線画像データを蓄積し又は画像処理において利用されるデータベースを記憶する記憶デバイスである。ストレージ112は、半導体メモリ又はハードディスクなどの記憶媒体を内蔵する。なお、本明細書で説明するプログラム及びデータは、画像処理装置1の外部のデータソース(例えば、データサーバ、ネットワークストレージ、又は外付けメモリなど)から取得されてもよい。
プロセッサ114は、CPU(Central Processing Unit)又はDSP(Digital Signal Processor)などの処理モジュールである。プロセッサ114は、メモリ106又は他の記憶媒体に記憶されるプログラムを実行することにより、被写体の検出精度をより安価に向上させることを可能とするための機能を動作させる。
バス116は、赤外線カメラ102、入力インタフェース104、メモリ106、ディスプレイ108、通信インタフェース110、ストレージ112、及びプロセッサ114を相互に接続する。
続いて、図3を参照して、本実施形態に係る画像処理装置1の機能構成について説明する。なお、以下では、各機能構成が行う処理を概要的に説明しており、各機能構成が行う処理の詳細については、後述する各応用例にて、説明する。
記憶部60は、画像処理装置1が行う各処理において参照されるデータを記憶する。例えば、記憶部60は、第1検出部41及び第2検出部42の各々が行う候補領域の検出処理において用いられる情報を記憶する。また、記憶部60は、判定部50が行う判定処理において用いられるモデリングを記憶する。モデリングは、遠赤外画像に所定の被写体が映っているか否かを判定するために用いられる指標である。また、記憶部60には、赤外線カメラ102によって撮像された各フレームについての遠赤外画像が記憶されてもよい。各機能部は、記憶部60から、赤外線カメラ102によって撮像された遠赤外画像を取得し得る。また、各機能部は、赤外線カメラ102から直接的に遠赤外画像を取得してもよい。また、各機能部は、通信インタフェース110を介して他の装置から遠赤外画像を取得してもよい。
第1検出部41は、遠赤外画像から第1設定温度範囲内の温度を示す第1検出領域を検出する。また、第1検出部41は、検出結果を判定部50へ出力する。第1設定温度範囲は、第1検出部41に対応する第1対象物の想定温度に応じた温度範囲である。当該想定温度は、第1対象物の一般的な温度として想定される温度である。また、第1設定温度範囲内の温度を示す上記第1検出領域は、第1対象物が映る候補である第1候補領域に相当する。ゆえに、第1設定温度範囲は、遠赤外画像内において、第1対象物が映っている可能性が比較的高い領域が示す温度の範囲に相当する。このように、第1検出部41は、換言すると、遠赤外画像から第1候補領域を検出する。第1検出部41は、例えば、図3に示したように、第1抽出部41aと、第1スコア算出部41bと、第1スコア比較部41cと、を含む。
第2検出部42は、遠赤外画像から第1設定温度範囲と異なる第2設定温度範囲内の温度を示す第2検出領域を検出する。また、第2検出部42は、検出結果を判定部50へ出力する。第2設定温度範囲は、第2検出部42に対応する第2対象物の想定温度に応じた温度範囲である。なお、第2対象物は、第1対象物と異なる対象物である。当該想定温度は、第2対象物の一般的な温度として想定される温度である。また、第2設定温度範囲内の温度を示す上記第2検出領域は、第2対象物が映る候補である第2候補領域に相当する。ゆえに、第2設定温度範囲は、遠赤外画像内のある領域に第2対象物が映っている可能性が比較的高いか否かを判定し得る温度範囲である。このように、第2検出部42は、換言すると、遠赤外画像から第2候補領域を検出する。第2検出部42は、例えば、図3に示したように、第2抽出部42aと、第2スコア算出部42bと、第2スコア比較部42cと、を含む。
判定部50は、検出された複数の検出領域間の位置関係と、モデリングとに基づいて、遠赤外画像に所定の被写体が映っているか否かを判定する。当該モデリングは、上述したように、遠赤外画像に所定の被写体が映っているか否かを判定するために用いられる指標である。具体的には、当該モデリングは、遠赤外画像において所定の被写体が映る場合における上記複数の検出領域間の位置関係を規定する。
続いて、図4及び図5を参照して、本実施形態に係る画像処理装置1が行う処理の流れについて説明する。図4は、本実施形態に係る画像処理装置1が行う処理の流れの一例を示すフローチャートである。図4に示した処理は、例えば、各フレームについて、実行され得る。
続いて、上記で説明した本開示に係る技術を各種被写体の検出に適用した各種応用例について説明する。
まず、図6〜図14を参照して、第1の応用例に係る画像処理装置10について説明する。第1の応用例は、本開示に係る技術を被写体としての人体の検出に適用した例である。第1の応用例に係る画像処理装置10は、遠赤外画像に所定の被写体として人体が映っているか否かを判定する。
まず、図6を参照して、第1の応用例に係る画像処理装置10の機能構成について説明する。第1の応用例に係る画像処理装置10のハードウェア構成は、図2を参照して説明した画像処理装置1のハードウェア構成と同様であってもよい。図6は、そのような画像処理装置10の構成要素が互いに連係することにより実現される機能構成の一例を示すブロック図である。
続いて、図11〜図14を参照して、第1の応用例に係る画像処理装置10が行う処理の流れについて説明する。
続いて、図15〜図20を参照して、第2の応用例に係る画像処理装置20について説明する。第2の応用例は、本開示に係る技術を被写体としての車両の検出に適用した例である。第2の応用例に係る画像処理装置20は、遠赤外画像に所定の被写体として車両が映っているか否かを判定する。
まず、図15を参照して、第2の応用例に係る画像処理装置20の機能構成について説明する。第2の応用例に係る画像処理装置20のハードウェア構成は、図2を参照して説明した画像処理装置1のハードウェア構成と同様であってもよい。図15は、そのような画像処理装置20の構成要素が互いに連係することにより実現される機能構成の一例を示すブロック図である。
続いて、図19及び図20を参照して、第2の応用例に係る画像処理装置20が行う処理の流れについて説明する。図19は、第2の応用例に係る画像処理装置20が行う処理の流れの一例を示すフローチャートである。図19に示した処理は、例えば、各フレームについて、実行され得る。
続いて、図21〜図27を参照して、第3の応用例に係る画像処理装置30について説明する。第3の応用例は、本開示に係る技術を被写体としての患者の開腹部における異常状態の患部である異常部の検出に適用した例である。なお、開腹部は、切開部の一例であり、本開示に係る技術は、例えば、被写体としての患者の開胸部における異常状態の患部である異常部の検出にも適用され得る。第3の応用例に係る画像処理装置30は、遠赤外画像に所定の被写体として異常部が映っているか否かを判定する。
まず、図21を参照して、第3の応用例に係る画像処理装置30の機能構成について説明する。第3の応用例に係る画像処理装置30のハードウェア構成は、図2を参照して説明した画像処理装置1のハードウェア構成と同様であってもよい。図21は、そのような画像処理装置30の構成要素が互いに連係することにより実現される機能構成の一例を示すブロック図である。
続いて、図26及び図27を参照して、第3の応用例に係る画像処理装置30が行う処理の流れについて説明する。図26は、第3の応用例に係る画像処理装置30が行う処理の流れの一例を示すフローチャートである。図26に示した処理は、例えば、各フレームについて、実行され得る。
以上説明したように、本開示の実施形態によれば、互いに異なる設定温度範囲内の温度を示す複数の検出領域間の位置関係と、モデリングとに基づいて、遠赤外画像に所定の被写体が映っているか否かが判定される。ゆえに、遠赤外画像に所定の被写体が映っているか否かの判定において、より尤もらしい判定結果を得ることができる。よって、赤外線カメラ102と異なる他のデバイスを利用することなく、被写体の検出精度を向上させることができる。従って、被写体の検出精度をより安価に向上させることが可能となる。
(1)
遠赤外画像から互いに異なる設定温度範囲内の温度を示す検出領域をそれぞれ検出する複数の検出部と、
検出された複数の前記検出領域間の位置関係と、前記遠赤外画像において所定の被写体が映る場合における前記位置関係を規定するモデリングとに基づいて、前記遠赤外画像に前記所定の被写体が映っているか否かを判定する判定部と、
を備える、画像処理装置。
(2)
前記設定温度範囲は、前記検出部の各々に対応する対象物の想定温度に応じた温度範囲であり、
前記検出領域は、前記対象物が映る候補である候補領域に相当する、
前記(1)に記載の画像処理装置。
(3)
前記検出部は、前記対象物に応じて設定される寸法を有する領域を、前記候補領域として、検出する、前記(2)に記載の画像処理装置。
(4)
前記検出部は、前記対象物の前記想定温度である尤度が閾値より高い温度を示す領域を、前記候補領域として、検出する、前記(2)又は(3)に記載の画像処理装置。
(5)
前記複数の検出部は、前記遠赤外画像から人体の顔が映る候補である顔候補領域を前記候補領域として検出する顔検出部、及び、前記遠赤外画像から前記人体の胴体が映る候補である胴体候補領域を前記候補領域として検出する胴体検出部を含み、
前記判定部は、検出された前記顔候補領域及び前記胴体候補領域の間の位置関係と、前記モデリングとに基づいて、前記遠赤外画像に前記所定の被写体として前記人体が映っているか否かを判定する、
前記(2)〜(4)のいずれか一項に記載の画像処理装置。
(6)
前記複数の検出部は、前記遠赤外画像から前記顔に関連する部分が映る候補である顔部分候補領域を前記候補領域として検出する顔部分検出部をさらに含み、
前記判定部は、検出された前記顔候補領域及び前記顔部分候補領域の間の位置関係と、前記モデリングとに基づいて、前記遠赤外画像に前記所定の被写体として前記人体が映っているか否かを判定する、
前記(5)に記載の画像処理装置。
(7)
前記複数の検出部は、前記遠赤外画像から車両のマフラーが映る候補であるマフラー候補領域を前記候補領域として検出するマフラー検出部、及び、前記遠赤外画像から路面上において前記車両の車輪が通過した部分が映る候補である通過部候補領域を前記候補領域として検出する通過部検出部を含み、
前記判定部は、検出された前記マフラー候補領域及び前記通過部候補領域の間の位置関係と、前記モデリングとに基づいて、前記遠赤外画像に前記所定の被写体として前記車両が映っているか否かを判定する、
前記(2)〜(4)のいずれか一項に記載の画像処理装置。
(8)
前記複数の検出部は、前記遠赤外画像から患者の体表が映る候補である体表候補領域を前記候補領域として検出する体表検出部、前記遠赤外画像から前記患者の切開部が映る候補である切開部候補領域を前記候補領域として検出する切開部検出部、及び、前記遠赤外画像から前記切開部における異常部が映る候補である異常部候補領域を前記候補領域として検出する異常部検出部を含み、
前記判定部は、検出された前記体表候補領域、前記切開部候補領域、及び前記異常部候補領域の間の位置関係と、前記モデリングとに基づいて、前記遠赤外画像に前記所定の被写体として前記異常部が映っているか否かを判定する、
前記(2)〜(4)のいずれか一項に記載の画像処理装置。
(9)
前記遠赤外画像を撮像する撮像部を備える、前記(1)〜(8)のいずれか一項に記載の画像処理装置。
(10)
遠赤外画像から互いに異なる設定温度範囲内の温度を示す検出領域をそれぞれ検出することと、
検出された複数の前記検出領域間の位置関係と、前記遠赤外画像において所定の被写体が映る場合における前記位置関係を規定するモデリングとに基づいて、画像処理装置によって、前記遠赤外画像に前記所定の被写体が映っているか否かを判定することと、
を含む、画像処理方法。
31 顕微鏡装置
31a カメラ
33 患者ベッド
35 不織布
37 患者
41 第1検出部
41a 第1抽出部
41b 第1スコア算出部
41c 第1スコア比較部
42 第2検出部
42a 第2抽出部
42b 第2スコア算出部
42c 第2スコア比較部
50,150,250,350 判定部
60,160,260,360 記憶部
102 赤外線カメラ
104 入力インタフェース
106 メモリ
108 ディスプレイ
110 通信インタフェース
112 ストレージ
114 プロセッサ
116 バス
141 顔検出部
142 胴体検出部
143 目検出部
144 眼鏡検出部
145 頭髪検出部
241 マフラー検出部
242 通過部検出部
243 非通過部検出部
341 体表検出部
342 開腹部検出部
343 異常部検出部
Claims (8)
- 遠赤外画像から互いに異なる設定温度範囲内の温度を示す検出領域をそれぞれ検出する複数の検出部と、
検出された複数の前記検出領域間の位置関係と、前記遠赤外画像において所定の被写体が映る場合における前記位置関係を規定するモデリングとに基づいて、前記遠赤外画像に前記所定の被写体が映っているか否かを判定する判定部と、
を備え、前記設定温度範囲は、前記検出部の各々に対応する対象物の想定温度に応じた温度範囲であり、
前記検出領域は、前記対象物が映る候補である候補領域に相当し、
前記複数の検出部は、前記遠赤外画像から人体の顔が映る候補である顔候補領域を前記候補領域として検出する顔検出部、及び、前記遠赤外画像から前記顔に関連する部分が映る候補である顔部分候補領域を前記候補領域として検出する顔部分検出部を含み、
前記判定部は、検出された前記顔候補領域及び前記顔部分候補領域の間の位置関係と、前記モデリングとに基づいて、前記遠赤外画像に前記所定の被写体として前記人体が映っているか否かを判定する、画像処理装置。 - 前記検出部は、前記対象物に応じて設定される寸法を有する領域を、前記候補領域として、検出する、請求項1に記載の画像処理装置。
- 前記検出部は、前記対象物の前記想定温度である尤度が閾値より高い温度を示す領域を、前記候補領域として、検出する、請求項1に記載の画像処理装置。
- 前記複数の検出部は、前記遠赤外画像から前記人体の胴体が映る候補である胴体候補領域を前記候補領域として検出する胴体検出部をさらに含み、
前記判定部は、検出された前記顔候補領域及び前記胴体候補領域の間の位置関係と、前記モデリングとに基づいて、前記遠赤外画像に前記所定の被写体として前記人体が映っているか否かを判定する、
請求項1に記載の画像処理装置。 - 遠赤外画像から互いに異なる設定温度範囲内の温度を示す検出領域をそれぞれ検出する複数の検出部と、
検出された複数の前記検出領域間の位置関係と、前記遠赤外画像において所定の被写体が映る場合における前記位置関係を規定するモデリングとに基づいて、前記遠赤外画像に前記所定の被写体が映っているか否かを判定する判定部と、
を備え、前記設定温度範囲は、前記検出部の各々に対応する対象物の想定温度に応じた温度範囲であり、
前記検出領域は、前記対象物が映る候補である候補領域に相当し、
前記複数の検出部は、前記遠赤外画像から車両のマフラーが映る候補であるマフラー候補領域を前記候補領域として検出するマフラー検出部、及び、前記遠赤外画像から路面上において前記車両の車輪が通過した部分が映る候補である通過部候補領域を前記候補領域として検出する通過部検出部を含み、
前記判定部は、検出された前記マフラー候補領域及び前記通過部候補領域の間の位置関係と、前記モデリングとに基づいて、前記遠赤外画像に前記所定の被写体として前記車両が映っているか否かを判定する、画像処理装置。 - 遠赤外画像から互いに異なる設定温度範囲内の温度を示す検出領域をそれぞれ検出する複数の検出部と、
検出された複数の前記検出領域間の位置関係と、前記遠赤外画像において所定の被写体が映る場合における前記位置関係を規定するモデリングとに基づいて、前記遠赤外画像に前記所定の被写体が映っているか否かを判定する判定部と、
を備え、前記設定温度範囲は、前記検出部の各々に対応する対象物の想定温度に応じた温度範囲であり、
前記検出領域は、前記対象物が映る候補である候補領域に相当し、
前記複数の検出部は、前記遠赤外画像から患者の体表が映る候補である体表候補領域を前記候補領域として検出する体表検出部、前記遠赤外画像から前記患者の切開部が映る候補である切開部候補領域を前記候補領域として検出する切開部検出部、及び、前記遠赤外画像から前記切開部における異常部が映る候補である異常部候補領域を前記候補領域として検出する異常部検出部を含み、
前記判定部は、検出された前記体表候補領域、前記切開部候補領域、及び前記異常部候補領域の間の位置関係と、前記モデリングとに基づいて、前記遠赤外画像に前記所定の被写体として前記異常部が映っているか否かを判定する、画像処理装置。 - 前記遠赤外画像を撮像する撮像部を備える、請求項1に記載の画像処理装置。
- 遠赤外画像から互いに異なる設定温度範囲内の温度を示す検出領域をそれぞれ検出することと、
検出された複数の前記検出領域間の位置関係と、前記遠赤外画像において所定の被写体が映る場合における前記位置関係を規定するモデリングとに基づいて、画像処理装置によって、前記遠赤外画像に前記所定の被写体が映っているか否かを判定することと、
を含む、画像処理方法であって、
前記設定温度範囲は、対象物の想定温度に応じた温度範囲であり、
前記検出領域は、前記対象物が映る候補である候補領域に相当し、
前記画像処理方法は、
前記遠赤外画像から人体の顔が映る候補である顔候補領域を前記候補領域として検出することと、
前記遠赤外画像から前記顔に関連する部分が映る候補である顔部分候補領域を前記候補領域として検出することと、
検出された前記顔候補領域及び前記顔部分候補領域の間の位置関係と、前記モデリングとに基づいて、前記遠赤外画像に前記所定の被写体として前記人体が映っているか否かを判定することと、
をさらに含む、画像処理方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016138848 | 2016-07-13 | ||
JP2016138848 | 2016-07-13 | ||
PCT/JP2017/013701 WO2018012053A1 (ja) | 2016-07-13 | 2017-03-31 | 画像処理装置及び画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018012053A1 JPWO2018012053A1 (ja) | 2019-04-25 |
JP6904348B2 true JP6904348B2 (ja) | 2021-07-14 |
Family
ID=60952381
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018527391A Active JP6904348B2 (ja) | 2016-07-13 | 2017-03-31 | 画像処理装置及び画像処理方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20190316966A1 (ja) |
JP (1) | JP6904348B2 (ja) |
WO (1) | WO2018012053A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11361589B2 (en) * | 2020-04-01 | 2022-06-14 | Sensetime International Pte. Ltd. | Image recognition method, apparatus, and storage medium |
SG10202003027QA (en) * | 2020-04-01 | 2020-10-29 | Sensetime Int Pte Ltd | Image recognition method, apparatus, and storage medium |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001108758A (ja) * | 1999-10-06 | 2001-04-20 | Matsushita Electric Ind Co Ltd | 人物検出装置 |
JP2006176020A (ja) * | 2004-12-22 | 2006-07-06 | Nissan Motor Co Ltd | 歩行者報知装置及び方法 |
CN104471362B (zh) * | 2013-05-17 | 2018-09-07 | 松下电器(美国)知识产权公司 | 热图像传感器、以及用户界面 |
-
2017
- 2017-03-31 JP JP2018527391A patent/JP6904348B2/ja active Active
- 2017-03-31 US US16/314,616 patent/US20190316966A1/en not_active Abandoned
- 2017-03-31 WO PCT/JP2017/013701 patent/WO2018012053A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2018012053A1 (ja) | 2018-01-18 |
JPWO2018012053A1 (ja) | 2019-04-25 |
US20190316966A1 (en) | 2019-10-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI617948B (zh) | 用於眼部追蹤的校正模組及其方法及電腦可讀取紀錄媒體 | |
US20160341961A1 (en) | Context-based augmented reality content delivery | |
US20110137157A1 (en) | Image processing apparatus and image processing method | |
Jafari et al. | Automatic detection of melanoma using broad extraction of features from digital images | |
KR102554391B1 (ko) | 홍채 인식 기반 사용자 인증 장치 및 방법 | |
US20180053055A1 (en) | Integrating augmented reality content and thermal imagery | |
CN111967296B (zh) | 虹膜活体检测方法、门禁控制方法及装置 | |
US9418422B2 (en) | Skin image analysis | |
JP6904348B2 (ja) | 画像処理装置及び画像処理方法 | |
US20180060651A1 (en) | Method for recognizing facial expression of headset wearing user and apparatus enabling the same | |
JP2019503214A (ja) | ヒューリスティックグラフ探索による階層画像の高速自動区分化 | |
Zeng et al. | Automated detection of diabetic retinopathy using a binocular siamese-like convolutional network | |
US12029487B2 (en) | System and method for retina template matching in teleophthalmology | |
Mohan et al. | Exudate localization in retinal fundus images using modified speeded up robust features algorithm | |
Strzelecki et al. | Artificial Intelligence in the detection of skin cancer: state of the art | |
JP7439990B2 (ja) | 医療画像処理装置、医療画像処理プログラム、および医療画像処理方法 | |
US11896375B2 (en) | Assessment of facial paralysis and gaze deviation | |
Zhang et al. | 3D CNN-based fingerprint anti-spoofing through optical coherence tomography | |
KR102427395B1 (ko) | 인공지능 기반 피부암 판단을 위한 제어 방법, 장치 및 프로그램 | |
CN115375611A (zh) | 一种基于模型训练的屈光检测方法和检测*** | |
WO2024095362A1 (ja) | 情報処理システム、情報処理装置、情報処理方法、および記録媒体 | |
Kim et al. | Toward better ear disease diagnosis: A multi-modal multi-fusion model using endoscopic images of the tympanic membrane and pure-tone audiometry | |
Xie et al. | SEmbedNet: Hardware-friendly CNN for ectopic beat classification on STM32-based edge device | |
US20240013394A1 (en) | Skin cancer diagnosis method based on image analysis using artificial intelligence | |
Ala'a | Automatic Enlarged Lymph Node Detection by Volume Estimation from 3D Abdominal CT Images Based on Speed Up Robust Features and Maximum Intensity Projection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190208 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190214 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190515 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190522 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200304 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210415 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210525 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210607 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6904348 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |