JP2021049262A - 画像処理システム及びその制御方法 - Google Patents
画像処理システム及びその制御方法 Download PDFInfo
- Publication number
- JP2021049262A JP2021049262A JP2019175565A JP2019175565A JP2021049262A JP 2021049262 A JP2021049262 A JP 2021049262A JP 2019175565 A JP2019175565 A JP 2019175565A JP 2019175565 A JP2019175565 A JP 2019175565A JP 2021049262 A JP2021049262 A JP 2021049262A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- processing system
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 185
- 238000000034 method Methods 0.000 title claims description 62
- 238000001514 detection method Methods 0.000 claims abstract description 10
- 238000003384 imaging method Methods 0.000 claims description 35
- 238000004364 calculation method Methods 0.000 claims description 16
- 230000008859 change Effects 0.000 claims description 5
- 238000012217 deletion Methods 0.000 claims description 2
- 230000037430 deletion Effects 0.000 claims description 2
- 230000010365 information processing Effects 0.000 claims description 2
- 208000025865 Ulcer Diseases 0.000 description 103
- 231100000397 ulcer Toxicity 0.000 description 103
- 239000002131 composite material Substances 0.000 description 50
- 208000004210 Pressure Ulcer Diseases 0.000 description 47
- 238000005259 measurement Methods 0.000 description 39
- 206010011985 Decubitus ulcer Diseases 0.000 description 37
- 230000008569 process Effects 0.000 description 36
- 238000011156 evaluation Methods 0.000 description 25
- 238000004891 communication Methods 0.000 description 24
- 238000000605 extraction Methods 0.000 description 20
- 238000010191 image analysis Methods 0.000 description 17
- 238000004458 analytical method Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 9
- 239000000284 extract Substances 0.000 description 7
- 230000009466 transformation Effects 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 241000282341 Mustela putorius furo Species 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000037380 skin damage Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 210000001217 buttock Anatomy 0.000 description 1
- 239000002775 capsule Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000013077 scoring method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000007920 subcutaneous administration Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Studio Devices (AREA)
Abstract
Description
ポケット203の全周囲に沿ってマーキングを行った状態である。全周囲に沿った複数のマーキングから、ポケット203の外周の形状を判断することができ、ポケット203を評価することができる。
実施例1では、撮影画像から褥瘡の潰瘍面の面積計測を行い、更に、ポケット領域の大きさを計測できるような合成画像を作成する手順について説明する。
クが挙げられる。なお、Wi−Fi(登録商標)を用いた通信はルーターを介して実現されてもよい。また、通信部218はUSBやLANなど有線の通信インターフェースにより実現されてもよい。
ても用いられることが多い。そして、深層学習を行う処理においても、GPUが用いられることが一般的である。なお、補助演算部317として、FPGA(field−programmable gate array)やASICなどを用いてもよい。
て入力画像から褥瘡のエリアを推定する。また、ニューラルネットワークのモデルとして、深層学習を用いたセグメンテーション・モデルである完全畳み込みネットワーク FCN(Fully Convolutional Network)を適用したとする。深層学習の推論は、積和演算の並列実行を得意とするGPU(補助演算部317に含まれる)を用いて行われる。なお、推論処理はFPGAやASICなどにより実行されてもよい。なお、他の深層学習のモデルを用いて領域分割を実現してもよい。また、セグメンテーション手法は深層学習に限らず、例えば、グラフカットや領域成長、エッジ検出、統治分割法等を用いてもよい。
219は、ステップS706で生成した距離情報(被写体距離)も画像処理装置3に送信する。本撮影時に距離情報を再度生成し、本撮影時の距離情報を画像処理装置3に送信してもよい。
る。図11は、図2と同様に、ポケット1100、ポケット1100の入り口部である潰瘍面1101、ライト先端の経路1102、ポケット1100の最深部(端)に到達した時点でのライト先端の位置に対応する点1103を示す。ポケット1100として、皮下部分でみえない面を概念的に図示している。経路1102上の点は、複数のタイミングにそれぞれ対応する、ライト先端の複数の位置を示す。
ュー表示の画面である。動画解析により得られたマーキング位置1204とポケット形状1205が表示されている。さらに、画面1301と隣接して、マーキング位置を編集するマーキング位置編集メニュー1302が表示されている。マーキング位置編集メニュー1302は複数の項目1303を含み、ユーザーは複数の項目1303のいずれかを選択することができる。ここでは、複数の項目1303は、「追加」と「移動」と「削除」の3つの項目を含むとする。画面1301では、「追加」が選択されている。
0では、図14(A)のラベル1401の代わりに、ラベル1411が重畳されている。ラベル1411には、潰瘍面領域の面積値を示す文字列1402だけでなく、ポケットの面積値を示す文字列1412も記述されている。ポケットの面積値も、潰瘍面領域の面積値と同様に、被写体距離などに基づいて算出される。さらに、図14(B)の重畳画像1410では、ポケット領域1413と潰瘍面領域1414とが異なる色で塗りつぶされている。このように色分けすることで、ポケット領域1413と潰瘍面領域1414を視覚的に正確に判別することが可能となる。
紐づくデータ(被検体情報)が記録されている場合は、被験者情報を更新する。
のステップS728と同様の手法で行う。ここで、ライトでの計測中は潰瘍面領域がライトや作業者の手で隠れてしまうことも考えられる。そのような場合を考慮して、例えば、図17のように潰瘍面の近くにマーカー1701,1702を配置し、配置されたマーカーを、ライト領域を合成するため基準として検出してもよい。図17の例では、計測中にマーカーが隠れてしまう場合を考慮して、2つのマーカー1701,1702を配置している。なお、マーカーは3つ以上配置してもよい。また、患者(被験者)の体部に特徴となるようなものがあれば、それを基準としてもよい。
装置3のCPU310は、ステップS1610で抽出した特徴点(基準画像の潰瘍面領域の特徴点)とステップS1611で抽出した特徴点(対象画像の潰瘍面領域の特徴点)とのマッチングを行う。このマッチングにより、基準画像と対象画像の間で互いに対応する特徴点を識別する。ステップS1613では、画像処理装置3のCPU310は、ステップS1612のマッチング結果を基にして、対象画像の潰瘍面領域が基準画像の潰瘍面領域と同一の領域(平面)になるような射影変換の逆行列を算出する。ステップS1614では、画像処理装置3のCPU310は、ステップS1613で算出した逆行列を使って、対象画像の射影変換を行う。このような射影変換を行うことで、被写体に対する撮像装置2の向きの変化を抑えた画像を得ることが可能となる。
て、ステップS1913で画像処理装置3が送信した合成画像を受信する。
像して、画像処理装置3で動画解析してポケット形状が分かる合成画像を作成することができる。また、その合成画像を撮像装置2に送信して、ユーザーがポケット領域を簡単に指定することができる。
実施例1では、撮像装置2と画像処理装置3を別々の装置としたが、画像処理装置3の機能構成は撮像装置2に設けてもよい(撮像装置2と画像処理装置3が一体で構成されてもよい)。そのようにすることで、撮像装置2が画像処理装置3と通信するといった処理が不要となり、処理負荷を低減することができる。また、実施例1では、ポケット領域が分かる合成画像を撮像装置2に送信して、撮像装置2上でユーザーがポケット外周を入力する構成としたが、ポケット外周の入力は必ずしも撮像装置2に対し行う必要は無い。例えば、合成画像は画像処理装置3に保存しておき、画像処理装置3にディスプレイやマウスといった入出力デバイスを接続して、ユーザーが画像処理装置3にポケット外周を入力することも考えられる。また、合成画像は画像処理装置3に保存しておき、画像処理装置3とは異なる他の画像処理装置(PC、スマートフォン、タブレットなど)にユーザーがポケット外周を入力し、他の画像処理装置から画像処理装置3にポケット外周を通知することも考えられる。
実施例1では、潰瘍面領域の面積算出と、ポケット領域の大きさが分かる合成画像の作成とを同じタイミング(同じフローチャート)で実施したが、それらを別々のタイミングで実施してもよい。例えば、病院の事情で、潰瘍面領域の測定と、ライトを使ったポケット領域の測定とを別々のタイミングで行うことも考えられる。そのような状況で、図14(B)の重畳画像1410(合成画像)のように潰瘍面領域とポケット領域(塗りつぶし画像)を重畳しようとしたとする。そのような場合、潰瘍面領域の測定のタイミングと、ポケット領域の測定のタイミングとの間で、測定時の患者の姿勢が大きく変わること等により、撮像装置2と患者の間の距離が変わることがある。このため、潰瘍面領域またはポケット領域を正しい大きさで重畳することができない。そのような場合は、撮影時の焦点距離を使って、片方の画像(領域)を拡大または縮小することで、正しい大きさで潰瘍面領域とポケット領域を重畳した合成画像を得ることが可能となる。
本発明は、上述の実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
2:撮像装置
211:撮像部 217:画像処理部 219:システム制御部 222:表示部
223:操作部
3:画像処理装置
310:中央演算処理部(CPU) 313:入力部 314:出力部
Claims (20)
- 撮影された動画に関する情報を取得する取得手段と、
前記取得手段により取得された前記情報より、患部内を移動するライトの軌跡のうち、前記患部の径方向の端の点を検出する検出手段と、
前記検出手段により検出された複数の点から患部の外周に関する情報を提供する提供手段と
を有することを特徴とする画像処理システム。 - 前記取得手段は、ライトが移動した軌跡に関する情報を取得する
ことを特徴とする請求項1に記載の画像処理システム。 - 前記検出手段は、前記動画においてライトが患部内を径方向に移動した際の頂点を前記端の点として検出する
ことを特徴とする請求項1または2に記載の画像処理システム。 - 前記端の点とは患部の領域と患部とは異なる領域との境界の位置である
ことを特徴とする請求項1〜3のいずれか1項に記載の画像処理システム。 - 前記ライトは、患部内を径方向、かつ、患部の中心付近の所定の領域から患部の端の位置へと移動し、さらに前記所定の領域へと移動することを繰り返す
ことを特徴とする請求項1〜4のいずれか1項に記載の画像処理システム。 - 前記患部の外周に関する情報は、前記複数の点を結ぶことにより形成される前記患部の外周の形を含む
ことを特徴とする請求項1〜5のいずれか1項に記載の画像処理システム。 - 前記患部の外周に関する情報は、前記複数の点を結ぶことにより形成される前記患部の面積を含む
ことを特徴とする請求項1〜6のいずれか1項に記載の画像処理システム。 - 前記患部の外周に関する情報は、前記複数の点を結ぶことにより形成される前記患部の長径または短径の長さを含む
ことを特徴とする請求項1〜7のいずれか1項に記載の画像処理システム。 - 前記複数の点は、スプライン曲線またはベジェ曲線で結ばれる
ことを特徴とする請求項1〜8のいずれか1項に記載の画像処理システム。 - 前記提供手段は、前記複数の点と、前記複数の点を結んだ線とを、前記患部の画像に重畳して表示するように制御する
ことを特徴とする請求項1〜9のいずれか1項に記載の画像処理システム。 - 前記提供手段は、前記動画をライブビューで表示するように制御すると共に、現在までに前記検出手段により検出された複数の点を繋いだ線を前記動画に重畳して表示するように制御する
ことを特徴とする請求項1〜10のいずれか1項に記載の画像処理システム。 - 前記外周を形成するための点の削除、前記外周を形成するための点の移動、または、前記外周を形成するための点の追加を指示する操作を受け付け可能な受付手段をさらに有し、
前記提供手段は、前記操作に応じた変更後の複数の点から、前記外周に関する情報を更新する
ことを特徴とする請求項1〜11のいずれか1項に記載の画像処理システム。 - 前記提供手段は、前記複数の点を結ぶことにより形成される前記患部と、前記患部のうち外部に露出している部分とに基づいて、前記外周に関する情報の少なくとも一部として、前記患部のうち外部に露出していない部分のサイズを算出する
ことを特徴とする請求項1〜12のいずれか1項に記載の画像処理システム。 - 前記提供手段は、前記複数の点を結ぶことにより形成される前記患部と、前記外部に露出している部分とから、DESIGN−Rの計算方法で前記外部に露出していない部分のサイズを算出する
ことを特徴とする請求項13に記載の画像処理システム。 - 前記提供手段は、前記外周に関する情報の一部として、前記外部に露出している部分と、前記外部に露出していない部分とを含む前記患部のサイズをさらに算出し、
前記画像処理システムは、前記患部のサイズと、前記外部に露出していない部分のサイズとを区別して記録する
ことを特徴とする請求項13または14に記載の画像処理システム。 - 前記取得手段、前記検出手段、及び、前記提供手段は、撮像装置または情報処理装置に備わっている
ことを特徴とする請求項1〜15のいずれか1項に記載の画像処理システム。 - 焦点距離が前記患部のうち外部に露出している部分を測定するための撮影時と同じになったタイミングで、前記動画の撮影を自動で開始するように制御する制御手段をさらに有する
ことを特徴とする請求項1〜16のいずれか1項に記載の画像処理システム。 - 撮影された動画に関する情報を取得する取得ステップと、
前記取得ステップにおいて取得された前記情報より、患部内を移動するライトの軌跡のうち、前記患部の径方向の端の点を検出する検出ステップと、
前記検出ステップにおいて検出された複数の点から患部の外周に関する情報を提供する提供ステップと
を有することを特徴とする画像処理システムの制御方法。 - コンピュータを、請求項1〜17のいずれか1項に記載の画像処理システムの各手段として機能させるためのプログラム。
- コンピュータを、請求項1〜17のいずれか1項に記載の画像処理システムの各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019175565A JP7309556B2 (ja) | 2019-09-26 | 2019-09-26 | 画像処理システム及びその制御方法 |
US17/032,963 US20210093227A1 (en) | 2019-09-26 | 2020-09-25 | Image processing system and control method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019175565A JP7309556B2 (ja) | 2019-09-26 | 2019-09-26 | 画像処理システム及びその制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021049262A true JP2021049262A (ja) | 2021-04-01 |
JP7309556B2 JP7309556B2 (ja) | 2023-07-18 |
Family
ID=75154999
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019175565A Active JP7309556B2 (ja) | 2019-09-26 | 2019-09-26 | 画像処理システム及びその制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7309556B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113188848A (zh) * | 2021-04-12 | 2021-07-30 | 攸太科技(台州)有限公司 | 一种尿液跟踪方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003334179A (ja) * | 2002-05-22 | 2003-11-25 | Koshiya:Kk | 褥瘡ポケット計測メジャー |
WO2006057138A1 (ja) * | 2004-11-02 | 2006-06-01 | Koshiya Medical Care Co., Ltd. | 褥瘡ポケット計測器 |
US20060258961A1 (en) * | 2005-05-13 | 2006-11-16 | Zamierowski David S | Medical measuring device and method |
-
2019
- 2019-09-26 JP JP2019175565A patent/JP7309556B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003334179A (ja) * | 2002-05-22 | 2003-11-25 | Koshiya:Kk | 褥瘡ポケット計測メジャー |
WO2006057138A1 (ja) * | 2004-11-02 | 2006-06-01 | Koshiya Medical Care Co., Ltd. | 褥瘡ポケット計測器 |
US20060258961A1 (en) * | 2005-05-13 | 2006-11-16 | Zamierowski David S | Medical measuring device and method |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113188848A (zh) * | 2021-04-12 | 2021-07-30 | 攸太科技(台州)有限公司 | 一种尿液跟踪方法 |
Also Published As
Publication number | Publication date |
---|---|
JP7309556B2 (ja) | 2023-07-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10839481B1 (en) | Automatic marker-less alignment of digital 3D face and jaw models | |
JP7322097B2 (ja) | 撮像装置、撮像装置の制御方法、プログラムおよび記録媒体 | |
CN109171817B (zh) | 三维乳腺超声扫描方法及超声扫描*** | |
US20210093227A1 (en) | Image processing system and control method thereof | |
JP7362354B2 (ja) | 情報処理装置、検査システム及び情報処理方法 | |
US10810738B1 (en) | Marker-less alignment of digital 3D face and jaw models | |
JP2021051573A (ja) | 画像処理装置、および画像処理装置の制御方法 | |
JP5822545B2 (ja) | 画像処理装置、画像処理装置の制御方法、およびプログラム | |
JP2021029676A (ja) | 情報処理装置、検査システム及び情報処理方法 | |
WO2019230724A1 (ja) | 画像処理システム、撮像装置、画像処理装置、電子機器、これらの制御方法、および、これらの制御方法を記憶した記憶媒体 | |
JP2017085204A (ja) | メタデータの登録制御 | |
JP7309556B2 (ja) | 画像処理システム及びその制御方法 | |
US11599993B2 (en) | Image processing apparatus, method of processing image, and program | |
KR100874186B1 (ko) | 피검사자의 설진 영상을 스스로 촬영할 수 있는 방법 및 그장치 | |
JP2021049248A (ja) | 画像処理システム及びその制御方法 | |
JP4963492B2 (ja) | 画像セグメンテーション方法、プログラムおよび装置 | |
JP7028729B2 (ja) | 物体追跡装置、物体追跡システム、および物体追跡方法 | |
WO2022145294A1 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
CN109816712A (zh) | 基于图像的边缘测量 | |
JP2009009206A (ja) | 画像中の輪郭抽出方法及びその画像処理装置 | |
JP7317498B2 (ja) | 処理システム、処理装置、処理方法、およびプログラム | |
JP2009151516A (ja) | 情報処理装置および情報処理装置用操作者指示点算出プログラム | |
JP2020065173A (ja) | 画像処理装置、学習装置、画像処理方法、学習方法およびプログラム | |
JP2022147595A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP7317528B2 (ja) | 画像処理装置、画像処理システムおよび制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220812 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230329 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230404 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230515 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230606 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230705 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7309556 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |