JP6986160B2 - 画像処理方法および画像処理装置 - Google Patents
画像処理方法および画像処理装置 Download PDFInfo
- Publication number
- JP6986160B2 JP6986160B2 JP2020535471A JP2020535471A JP6986160B2 JP 6986160 B2 JP6986160 B2 JP 6986160B2 JP 2020535471 A JP2020535471 A JP 2020535471A JP 2020535471 A JP2020535471 A JP 2020535471A JP 6986160 B2 JP6986160 B2 JP 6986160B2
- Authority
- JP
- Japan
- Prior art keywords
- tip
- output
- feature map
- image
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 62
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 52
- 238000000034 method Methods 0.000 claims description 28
- 230000009466 transformation Effects 0.000 claims description 21
- 238000012217 deletion Methods 0.000 claims description 8
- 230000037430 deletion Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000001131 transforming effect Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001154 acute effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Endoscopes (AREA)
Description
画像処理装置100は、まず、受け付けた内視鏡画像に複数の初期領域を設定する。続いて画像処理装置100は、内視鏡画像に畳み込み演算を適用して特徴マップを生成し、特徴マップに第1の演算を適用して複数の候補領域に関する情報を生成し、特徴マップに第2の演算を適用して複数の初期領域のそれぞれに処置具の先端が存在する尤度を生成し、特徴マップに第3の演算を適用して複数の初期領域のそれぞれに存在する処置具の先端の方向に関する情報を生成する。そして、画像処理装置100は、各候補領域の統合スコアを算出し、統合スコアが所定の閾値以上である候補領域を、処置具の先端を検出している候補領域であると判別する。さらに、画像処理装置100は、判別された候補領域間の類似度を算出し、当該類似度に基づいて、同じ先端を検出している候補領域のうち尤度の低い候補領域を削除する。最後に画像処理装置100は、削除されずに残った候補領域を、処理具の先端を検出している候補領域として提示する。
Claims (16)
- 画像から物体の先端を検出するための画像処理装置であって、
画像の入力を受け付ける画像入力部と、
前記画像に畳み込み演算を適用することにより特徴マップを生成する特徴マップ生成部と、
前記特徴マップに第1の変換を適用することにより第1の出力を生成する第1変換部と、
前記特徴マップに第2の変換を適用することにより第2の出力を生成する第2変換部と、
前記特徴マップに第3の変換を適用することにより第3の出力を生成する第3変換部と、
を備え、
前記第1の出力は、前記画像上にあらかじめ決められた数の候補領域に関する情報を示し、
前記第2の出力は、前記候補領域に前記物体の先端が存在するか否かの尤度を示し、
前記第3の出力は、前記候補領域に存在する前記物体の先端の方向に関する情報を示すことを特徴とする画像処理装置。 - 画像から物体の先端を検出するための画像処理装置であって、
画像の入力を受け付ける画像入力部と、
前記画像に畳み込み演算を適用することにより特徴マップを生成する特徴マップ生成部と、
前記特徴マップに第1の変換を適用することにより第1の出力を生成する第1変換部と、
前記特徴マップに第2の変換を適用することにより第2の出力を生成する第2変換部と、
前記特徴マップに第3の変換を適用することにより第3の出力を生成する第3変換部と、
を備え、
前記第1の出力は、前記画像上にあらかじめ決められた数の候補点に関する情報を示し、
前記第2の出力は、前記候補点の近傍に前記物体の先端が存在するか否かの尤度を示し、
前記第3の出力は、前記候補点の近傍に存在する前記物体の先端の方向に関する情報を示すことを特徴とする画像処理装置。 - 前記物体は内視鏡の処置具であることを特徴とする請求項1または2に記載の画像処理装置。
- 前記物体はロボットアームであることを特徴とする請求項1または2に記載の画像処理装置。
- 前記方向に関する情報には、前記物体の先端の方向と、当該方向の信頼度に関する情報が含まれることを特徴とする請求項1から4のいずれかに記載の画像処理装置。
- 前記第2の出力が示す尤度と前記方向の信頼度に基づいて、前記候補領域の統合スコアを算出する統合スコア算出部をさらに備えることを特徴とする請求項5に記載の画像処理装置。
- 前記方向に関する情報に含まれる方向の信頼度に関する情報は、前記物体の先端の方向を示す方向ベクトルの大きさであり、
前記統合スコアは、前記尤度と前記方向ベクトルとの重み付け和であることを特徴とする請求項6に記載の画像処理装置。 - 前記統合スコアに基づいて、前記物体の先端が存在する候補領域を判別する候補領域判別部をさらに備えることを特徴とする請求項6または7に記載の画像処理装置。
- 前記候補領域に関する情報には、対応する初期領域の基準点を前記物体の先端に近づけるための位置変動量が含まれることを特徴とする請求項1に記載の画像処理装置。
- 前記候補領域のうちの第1の候補領域と第2の候補領域の類似度を算出し、当該類似度と前記第1の候補領域と前記第2の候補領域に対応する前記方向に関する情報に基づいて、前記第1の候補領域および前記第2の候補領域のいずれか一方を削除するか否かを決定する候補領域削除部をさらに含むことを特徴とする請求項1に記載の画像処理装置。
- 前記類似度は、前記第1の候補領域と前記第2の候補領域との距離の逆数であることを特徴とする請求項10に記載の画像処理装置。
- 前記類似度は、前記第1の候補領域と前記第2の候補領域との重複度であることを特徴とする請求項10に記載の画像処理装置。
- 前記第1変換部、第2変換部および第3変換部はそれぞれ、前記特徴マップに畳み込み演算を適用することを特徴とする請求項1から12のいずれかに記載の画像処理装置。
- 前記第1変換部、第2変換部および第3変換部の出力とあらかじめ用意した正解とから処理全体の誤差を算出する全体誤差算出部と、
前記処理全体の誤差に基づいて、前記特徴マップ生成部、前記第1変換部、前記第2変換部および前記第3変換部の各処理における誤差を算出する誤差伝播部と、
前記各処理における誤差に基づいて、前記各処理における畳み込み演算で用いる重み係数を更新する重み更新部と、をさらに備えることを特徴とする請求項13に記載の画像処理装置。 - 画像から物体の先端を検出するための画像処理方法であって、
画像の入力を受け付ける画像入力ステップと、
前記画像に畳み込み演算を適用することにより特徴マップを生成する特徴マップ生成ステップと、
前記特徴マップに第1の変換を適用することにより第1の出力を生成する第1変換ステップと、
前記特徴マップに第2の変換を適用することにより第2の出力を生成する第2変換ステップと、
前記特徴マップに第3の変換を適用することにより第3の出力を生成する第3変換ステップと、
を含み、
前記第1の出力は、前記画像上にあらかじめ決められた数の候補領域に関する情報を示し、
前記第2の出力は、前記候補領域に前記物体の先端が存在するか否かの尤度を示し、
前記第3の出力は、前記候補領域に存在する前記物体の先端の方向に関する情報を示すことを特徴とする画像処理方法。 - 画像から物体の先端を検出するための画像処理装置に、
画像の入力を受け付ける機能と、
前記画像に畳み込み演算を適用することにより特徴マップを生成する機能と、
前記特徴マップに第1の変換を適用することにより第1の出力を生成する機能と、
前記特徴マップに第2の変換を適用することにより第2の出力を生成する機能と、
前記特徴マップに第3の変換を適用することにより第3の出力を生成する機能と、
を実行させ、
前記第1の出力は、前記画像上にあらかじめ決められた数の候補領域に関する情報を示し、
前記第2の出力は、前記候補領域に前記物体の先端が存在するか否かの尤度を示し、
前記第3の出力は、前記候補領域に存在する前記物体の先端の方向に関する情報を示すことを特徴とするコンピュータプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/030119 WO2020031380A1 (ja) | 2018-08-10 | 2018-08-10 | 画像処理方法および画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020031380A1 JPWO2020031380A1 (ja) | 2021-03-18 |
JP6986160B2 true JP6986160B2 (ja) | 2021-12-22 |
Family
ID=69413435
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020535471A Active JP6986160B2 (ja) | 2018-08-10 | 2018-08-10 | 画像処理方法および画像処理装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20210142512A1 (ja) |
JP (1) | JP6986160B2 (ja) |
CN (1) | CN112513935A (ja) |
WO (1) | WO2020031380A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019123544A1 (ja) | 2017-12-19 | 2019-06-27 | オリンパス株式会社 | データ処理方法およびデータ処理装置 |
JP7490359B2 (ja) * | 2019-12-24 | 2024-05-27 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04158482A (ja) * | 1990-10-23 | 1992-06-01 | Ricoh Co Ltd | 矢印方向検出装置 |
JP3111433B2 (ja) * | 1992-03-31 | 2000-11-20 | オムロン株式会社 | 画像処理装置 |
JP2004038530A (ja) * | 2002-07-03 | 2004-02-05 | Ricoh Co Ltd | 画像処理方法、同方法の実行に用いるプログラム及び画像処理装置 |
JP5401344B2 (ja) * | 2010-01-28 | 2014-01-29 | 日立オートモティブシステムズ株式会社 | 車両用外界認識装置 |
CN102740755B (zh) * | 2010-02-22 | 2015-04-22 | 奥林巴斯医疗株式会社 | 医疗设备 |
CN106127796B (zh) * | 2012-03-07 | 2019-03-26 | 奥林巴斯株式会社 | 图像处理装置和图像处理方法 |
JP5980555B2 (ja) * | 2012-04-23 | 2016-08-31 | オリンパス株式会社 | 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム |
CN104239852B (zh) * | 2014-08-25 | 2017-08-22 | 中国人民解放军第二炮兵工程大学 | 一种基于运动平台的红外行人检测方法 |
JP6509025B2 (ja) * | 2015-05-11 | 2019-05-08 | 株式会社日立製作所 | 画像処理装置、及びその方法 |
JP2017164007A (ja) * | 2016-03-14 | 2017-09-21 | ソニー株式会社 | 医療用画像処理装置、医療用画像処理方法、プログラム |
CN106709498A (zh) * | 2016-11-15 | 2017-05-24 | 成都赫尔墨斯科技有限公司 | 一种无人机拦截*** |
CN108121986B (zh) * | 2017-12-29 | 2019-12-17 | 深圳云天励飞技术有限公司 | 目标检测方法及装置、计算机装置和计算机可读存储介质 |
-
2018
- 2018-08-10 WO PCT/JP2018/030119 patent/WO2020031380A1/ja active Application Filing
- 2018-08-10 CN CN201880096219.2A patent/CN112513935A/zh active Pending
- 2018-08-10 JP JP2020535471A patent/JP6986160B2/ja active Active
-
2021
- 2021-01-19 US US17/151,719 patent/US20210142512A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
WO2020031380A1 (ja) | 2020-02-13 |
JPWO2020031380A1 (ja) | 2021-03-18 |
CN112513935A (zh) | 2021-03-16 |
US20210142512A1 (en) | 2021-05-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11017210B2 (en) | Image processing apparatus and method | |
CN109101919B (zh) | 用于生成信息的方法和装置 | |
CN110148157B (zh) | 画面目标跟踪方法、装置、存储介质及电子设备 | |
CN113095129B (zh) | 姿态估计模型训练方法、姿态估计方法、装置和电子设备 | |
US20210158495A1 (en) | Image manipulation using deep learning techniques in a patch matching operation | |
JP6986160B2 (ja) | 画像処理方法および画像処理装置 | |
JP2020047010A (ja) | 情報推定装置及び情報推定方法 | |
WO2020202734A1 (ja) | ペン状態検出回路、システム及び方法 | |
CN111915676B (zh) | 图像生成方法、装置、计算机设备和存储介质 | |
CN117274370A (zh) | 三维位姿确定方法、装置、电子设备和介质 | |
JP2020098589A (ja) | 幾何学的先行物を用いる曲線オブジェクトセグメンテーション | |
JP6954346B2 (ja) | パラメータ推定装置、パラメータ推定方法、及びプログラム | |
WO2022267387A1 (zh) | 图像识别方法、装置、电子设备和存储介质 | |
CN111353597A (zh) | 一种目标检测神经网络训练方法和装置 | |
JP6947460B1 (ja) | プログラム、情報処理装置、及び方法 | |
US11393069B2 (en) | Image processing apparatus, image processing method, and computer readable recording medium | |
WO2022181253A1 (ja) | 関節点検出装置、学習モデル生成装置、関節点検出方法、学習モデル生成方法、及びコンピュータ読み取り可能な記録媒体 | |
WO2022181252A1 (ja) | 関節点検出装置、学習モデル生成装置、関節点検出方法、学習モデル生成方法、及びコンピュータ読み取り可能な記録媒体 | |
WO2022181251A1 (ja) | 関節点検出装置、関節点検出方法、及びコンピュータ読み取り可能な記録媒体 | |
KR20200063904A (ko) | 다중 간선 라벨 그래프의 정점들 간 관련도를 측정하는 방법 및 장치 | |
CN112560709B (zh) | 一种基于辅助学习的瞳孔检测方法及*** | |
KR20190134865A (ko) | 학습을 이용한 얼굴 특징점 검출 방법 및 장치 | |
WO2022190301A1 (ja) | 学習装置、学習方法、及びコンピュータ可読媒体 | |
JP7036208B2 (ja) | 物体検出方法および物体検出装置 | |
JP7176371B2 (ja) | 推定装置、推定方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200928 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200928 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211126 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6986160 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |