JP7375180B2 - 3次元トラッキングカメラをベースとする3次元超音波イメージング方法及びシステム - Google Patents
3次元トラッキングカメラをベースとする3次元超音波イメージング方法及びシステム Download PDFInfo
- Publication number
- JP7375180B2 JP7375180B2 JP2022519263A JP2022519263A JP7375180B2 JP 7375180 B2 JP7375180 B2 JP 7375180B2 JP 2022519263 A JP2022519263 A JP 2022519263A JP 2022519263 A JP2022519263 A JP 2022519263A JP 7375180 B2 JP7375180 B2 JP 7375180B2
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- spatial information
- ultrasound
- initial
- tracking camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012285 ultrasound imaging Methods 0.000 title claims description 65
- 238000000034 method Methods 0.000 title claims description 38
- 238000002604 ultrasonography Methods 0.000 claims description 179
- 239000000523 sample Substances 0.000 claims description 82
- 230000008859 change Effects 0.000 claims description 68
- 230000004048 modification Effects 0.000 claims description 21
- 238000012986 modification Methods 0.000 claims description 21
- 230000007613 environmental effect Effects 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 17
- 238000004891 communication Methods 0.000 claims description 4
- 230000010354 integration Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 description 9
- 238000012937 correction Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 238000002715 modification method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013213 extrapolation Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000012925 reference material Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/48—Diagnostic techniques
- A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/13—Tomography
- A61B8/14—Echo-tomography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/42—Details of probe positioning or probe attachment to the patient
- A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
- A61B8/4254—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors mounted on the probe
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/42—Details of probe positioning or probe attachment to the patient
- A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
- A61B8/4263—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors not mounted on the probe, e.g. mounted on an external reference frame
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
- A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
- A61B8/5253—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode combining overlapping images, e.g. spatial compounding
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5269—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Radiology & Medical Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Description
Claims (11)
- 3次元トラッキングカメラをベースとする3次元超音波イメージングシステムであって、
ターゲットの関心領域を超音波走査する超音波プローブと、
前記超音波走査に基づき、前記ターゲットの関心領域の2次元超音波画像を生成する2次元超音波イメージング装置と、
前記超音波プローブに接続されて、前記超音波プローブの3次元空間情報を取得する3次元空間情報取得装置と、
前記超音波プローブの3次元空間情報及び前記2次元超音波画像に基づいて3次元超音波画像を再現する3次元再現モジュールと、を含むシステムであって、
前記3次元空間情報取得装置は、3次元トラッキングカメラ及び処理モジュールを含み、前記3次元トラッキングカメラは、環境画像を取得するとともに、前記環境画像に基づいて初期3次元空間情報を生成するために用いられ、前記処理モジュールは、前記初期3次元空間情報を前記超音波プローブの3次元空間情報に変換するために用いられる3次元トラッキングカメラをベースとする3次元超音波イメージングシステムであり、
前記3次元空間情報取得装置は、更に、測定した前記初期3次元空間情報の変化と、前記2次元超音波画像の内容の変化とに基づいて、3次元空間における前記初期3次元空間情報及び前記2次元超音波画像の位置を修正するための修正モジュールを含む3次元トラッキングカメラをベースとする3次元超音波イメージングシステムであって、
前記初期3次元空間情報の変化が3次元空間情報の変化の閾値よりも大きく、且つ前記2次元超音波画像の内容の変化が2次元超音波画像の内容の変化の閾値よりも小さい場合、前記修正モジュールは前記初期3次元空間情報を修正することを特徴とする3次元トラッキングカメラをベースとする3次元超音波イメージングシステム。 - 前記3次元空間情報取得装置は、複数の前記3次元トラッキングカメラを含み、複数の前記3次元トラッキングカメラは、前記超音波プローブの異なる部位に装着されて、複数組の初期3次元空間情報を取得し、前記処理モジュールは、取得した複数組の前記初期3次元空間情報に基づいて、前記超音波プローブの3次元空間情報を生成することを特徴とする請求項1に記載の3次元トラッキングカメラをベースとする3次元超音波イメージングシステム。
- 前記初期3次元空間情報の変化が3次元空間情報の変化の閾値よりも小さく、且つ、前記2次元超音波画像の内容の変化が2次元超音波画像の内容の変化の閾値よりも大きい場合、前記修正モジュールは、前記3次元空間における前記2次元超音波画像の位置を修正することを特徴とする請求項1に記載の3次元トラッキングカメラをベースとする3次元超音波イメージングシステム。
- 更に、前記3次元空間情報取得装置及び前記超音波プローブを接続する装着モジュールを含み、前記装着モジュールは、操作者が把持するグリップを含むことを特徴とする請求項1に記載の3次元トラッキングカメラをベースとする3次元超音波イメージングシステム。
- 更に、前記2次元超音波イメージング装置が取得した前記2次元超音波画像及び前記3次元空間情報取得装置が取得した前記3次元空間情報を統合し、有線又は無線モードで3次元再現モジュールに伝送するデータ統合及び通信装置を含むことを特徴とする請求項1に記載の3次元トラッキングカメラをベースとする3次元超音波イメージングシステム。
- 3次元トラッキングカメラをベースとする3次元超音波イメージングシステムであって、
S1:超音波プローブを使用して、ターゲットの関心領域を超音波走査し、
S2:前記超音波走査に基づき、前記ターゲットの関心領域の2次元超音波画像を生成し、
S3:3次元空間情報取得装置によって、前記超音波プローブの3次元空間情報を取得し、
S4:前記超音波プローブの3次元空間情報及び前記2次元超音波画像に基づいて3次元超音波画像を再現する方法を用いることを特徴とする請求項1に記載の3次元トラッキングカメラをベースとする3次元超音波イメージングシステム。 - ステップS3では、
S31:前記3次元空間情報取得装置の3次元トラッキングカメラによって環境画像を取得し、
S32:前記環境画像に基づいて初期3次元空間情報を生成し、
S33:前記初期3次元空間情報を変換して、前記プローブの3次元空間情報を生成する方法を用いることを特徴とする請求項6に記載の3次元トラッキングカメラをベースとする3次元超音波イメージングシステム。 - ステップS31では、前記超音波プローブの異なる部位に装着された複数の前記3次元トラッキングカメラを使用して複数の環境画像を取得し、ステップS32では、複数の環境画像に基づいて複数組の初期3次元空間情報を生成し、ステップS33では、複数組の初期3次元空間情報を変換して、前記超音波プローブの3次元空間情報を取得する方法を用いることを特徴とする請求項7に記載の3次元トラッキングカメラをベースとする3次元超音波イメージングシステム。
- ステップS32とS33の間において、更に、
測定した前記初期3次元空間情報の変化と、前記2次元超音波画像の内容の変化に基づいて、3次元空間における前記初期3次元空間情報及び前記2次元超音波画像の位置を修正する方法を用いることを特徴とする請求項7に記載の3次元トラッキングカメラをベースとする3次元超音波イメージングシステム。 - 前記初期3次元空間情報の変化が3次元空間情報の変化の閾値よりも大きく、且つ前記2次元超音波画像の内容の変化が2次元超音波画像の内容の変化の閾値よりも小さい場合、前記修正モジュールは前記初期3次元空間情報を修正する方法を用いることを特徴とする請求項9に記載の3次元トラッキングカメラをベースとする3次元超音波イメージングシステム。
- 前記初期3次元空間情報の変化が3次元空間情報の変化の閾値よりも小さく、且つ、前記2次元超音波画像の内容の変化が2次元超音波画像の内容の変化の閾値よりも大きい場合、前記修正モジュールは、前記3次元空間における前記2次元超音波画像の位置を修正する方法を用いることを特徴とする請求項9に記載の3次元トラッキングカメラをベースとする3次元超音波イメージングシステム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910933434 | 2019-09-29 | ||
CN201910933434.X | 2019-09-29 | ||
CN201911125286.5 | 2019-11-18 | ||
CN201911125286.5A CN112568935B (zh) | 2019-09-29 | 2019-11-18 | 基于三维追踪相机的三维超声成像方法和*** |
PCT/CN2020/118249 WO2021057993A1 (zh) | 2019-09-29 | 2020-09-28 | 基于三维追踪相机的三维超声成像方法和*** |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022549698A JP2022549698A (ja) | 2022-11-28 |
JP7375180B2 true JP7375180B2 (ja) | 2023-11-07 |
Family
ID=75116998
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022519263A Active JP7375180B2 (ja) | 2019-09-29 | 2020-09-28 | 3次元トラッキングカメラをベースとする3次元超音波イメージング方法及びシステム |
Country Status (6)
Country | Link |
---|---|
US (1) | US20220240897A1 (ja) |
EP (1) | EP4035603A4 (ja) |
JP (1) | JP7375180B2 (ja) |
AU (1) | AU2020355865A1 (ja) |
CA (1) | CA3152758A1 (ja) |
WO (1) | WO2021057993A1 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008275391A (ja) | 2007-04-26 | 2008-11-13 | Canon Inc | 位置姿勢計測装置及び位置姿勢計測方法 |
CN101569541A (zh) | 2008-04-29 | 2009-11-04 | 香港理工大学 | 三维超声波成像*** |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006127142A2 (en) * | 2005-03-30 | 2006-11-30 | Worcester Polytechnic Institute | Free-hand three-dimensional ultrasound diagnostic imaging with position and angle determination sensors |
US9451928B2 (en) * | 2006-09-13 | 2016-09-27 | Elekta Ltd. | Incorporating internal anatomy in clinical radiotherapy setups |
US10542962B2 (en) * | 2009-07-10 | 2020-01-28 | Elekta, LTD | Adaptive radiotherapy treatment using ultrasound |
US20120277588A1 (en) * | 2011-04-26 | 2012-11-01 | General Electric Company | Systems and methods for fusing sensor and image data for three-dimensional volume reconstruction |
JP2013164643A (ja) * | 2012-02-09 | 2013-08-22 | Honda Elesys Co Ltd | 画像認識装置、画像認識方法および画像認識プログラム |
EP3001219B1 (en) * | 2013-08-20 | 2019-10-02 | CureFab Technologies GmbH | Optical tracking |
US20150327841A1 (en) * | 2014-05-13 | 2015-11-19 | Kabushiki Kaisha Toshiba | Tracking in ultrasound for imaging and user interface |
EP3554383B1 (en) * | 2016-12-16 | 2020-04-22 | Koninklijke Philips N.V. | System for providing images for guiding surgery |
KR102409090B1 (ko) * | 2017-05-11 | 2022-06-15 | 베라톤 인코포레이티드 | 확률 맵 기반의 초음파 스캐닝 |
CN109171808A (zh) * | 2018-09-07 | 2019-01-11 | 东南大学 | 基于三维轮廓测量的三维超声成像*** |
-
2020
- 2020-09-28 JP JP2022519263A patent/JP7375180B2/ja active Active
- 2020-09-28 EP EP20869326.7A patent/EP4035603A4/en active Pending
- 2020-09-28 CA CA3152758A patent/CA3152758A1/en active Pending
- 2020-09-28 AU AU2020355865A patent/AU2020355865A1/en active Pending
- 2020-09-28 WO PCT/CN2020/118249 patent/WO2021057993A1/zh active Application Filing
-
2022
- 2022-03-28 US US17/706,575 patent/US20220240897A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008275391A (ja) | 2007-04-26 | 2008-11-13 | Canon Inc | 位置姿勢計測装置及び位置姿勢計測方法 |
CN101569541A (zh) | 2008-04-29 | 2009-11-04 | 香港理工大学 | 三维超声波成像*** |
Also Published As
Publication number | Publication date |
---|---|
JP2022549698A (ja) | 2022-11-28 |
US20220240897A1 (en) | 2022-08-04 |
WO2021057993A1 (zh) | 2021-04-01 |
EP4035603A1 (en) | 2022-08-03 |
AU2020355865A1 (en) | 2022-05-19 |
CN112568935A (zh) | 2021-03-30 |
CA3152758A1 (en) | 2021-04-01 |
EP4035603A4 (en) | 2022-11-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105388478B (zh) | 用于检测声学和光学信息的方法和装置、以及对应的计算机可读存储介质 | |
JP3859574B2 (ja) | 3次元視覚センサ | |
JP5164811B2 (ja) | 作業システム及び情報処理方法 | |
EP2654606B1 (en) | Motion blur compensation | |
US7110593B2 (en) | Method and system for generating three-dimensional data | |
KR100361462B1 (ko) | 모션 캡쳐 데이터 획득 방법 | |
WO2019179344A1 (zh) | 基于多传感器信息融合的三维超声成像方法、装置、终端机机器可读存储介质 | |
JP2002054912A (ja) | 形状計測システムと撮像装置と形状計測方法及び記録媒体 | |
WO2019012770A1 (ja) | 撮像装置及びモニタリング装置 | |
CN111487320A (zh) | 基于三维光学成像传感器的三维超声成像方法和*** | |
CN102772225A (zh) | 图像处理装置、图像处理方法、图像处理***和探测器 | |
KR20110057742A (ko) | 초음파 영상 처리를 수행하는 초음파 시스템 및 방법 | |
US11241797B2 (en) | Control system | |
WO2018216341A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2010201049A (ja) | 超音波診断装置 | |
JP7375180B2 (ja) | 3次元トラッキングカメラをベースとする3次元超音波イメージング方法及びシステム | |
KR101972432B1 (ko) | 레이저비전 센서 및 그 보정방법 | |
JP2000134537A (ja) | 画像入力装置及びその方法 | |
US20020114022A1 (en) | Image input apparatus, recording medium and image synthesis method | |
KR101738433B1 (ko) | 손떨림에 의한 데이터 왜곡 보정기능을 구비한 핸드핼드/모바일용 3d 스캔 장치 및 그 보정 방법 | |
KR101573641B1 (ko) | 6자유도 구조물 변위 측정 시스템 및 방법 | |
CN112568935B (zh) | 基于三维追踪相机的三维超声成像方法和*** | |
JP5230354B2 (ja) | 位置特定装置及び異動建物検出装置 | |
JP2019148926A (ja) | 情報処理装置、移動体システム、撮像システム及び情報処理方法 | |
JP3191659B2 (ja) | 画像入力装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220518 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230314 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230418 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230712 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231010 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231025 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7375180 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |