JP7221786B2 - Blood vessel diameter measurement system - Google Patents
Blood vessel diameter measurement system Download PDFInfo
- Publication number
- JP7221786B2 JP7221786B2 JP2019090135A JP2019090135A JP7221786B2 JP 7221786 B2 JP7221786 B2 JP 7221786B2 JP 2019090135 A JP2019090135 A JP 2019090135A JP 2019090135 A JP2019090135 A JP 2019090135A JP 7221786 B2 JP7221786 B2 JP 7221786B2
- Authority
- JP
- Japan
- Prior art keywords
- blood vessel
- feature point
- movement
- vessel diameter
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Endoscopes (AREA)
- Image Analysis (AREA)
Description
本開示は、血管を撮像して血管径を測定する血管径測定システムに関する。 The present disclosure relates to a blood vessel diameter measurement system that captures an image of a blood vessel and measures the diameter of the blood vessel.
冠動脈あるいは末梢血管等の組織内に留置されるステントは、例えば金属またはポリマから作製される小型の管状構造を有し、血管の中に挿通されて血管を解放して保持し、閉塞が生じないように保たれる。ステントの配置には幾つかのリスク（例えば血管病変の発生）が存在することが知られており（例えば特許文献１参照）、このような病変を回避するためにはステントは展開される間は血管内で平行に配置されるべきであり、適切なステントを選択するために血管径を測定することが重要となる。 Stents that are placed in tissues such as coronary arteries or peripheral blood vessels have small tubular structures made, for example, of metals or polymers, that are threaded into blood vessels to hold them open and prevent occlusion. kept as It is known that there are some risks (for example, the development of vascular lesions) in the placement of stents (see, for example, US Pat. It should be placed in parallel within the vessel and it is important to measure the vessel diameter to select the appropriate stent.
従来、血管内を撮像可能な血管内視鏡として、例えば９０００画素程度の解像度を有するファイバースコープ型のものが知られている。このようなファイバースコープ型の血管内視鏡では、ファイバーを接続する基端側の光源あるいはプロセッサ装置側にイメージセンサが配置されることが多い。 Conventionally, a fiberscope type having a resolution of, for example, about 9000 pixels is known as an angioscope capable of imaging the inside of a blood vessel. In such a fiberscope type angioscope, an image sensor is often arranged on the side of the light source or the processor on the proximal side to which the fiber is connected.
しかし、従来の血管内視鏡を用いて血管径を測定する場合、例えば解像度の不足により、医師等が安全安心な手術あるいは検査を行う上で目印となり得る有用な血管内特徴（例えば、ステント、薬剤、血栓、プラーク、ガイドワイヤ、血管壁の模様もしくはその状態）を十分に把握することができず、撮像映像を頼りにした高精度な血管径の測定が難しいという課題があった。血管壁の模様もしくはその状態には、例えば石灰化等の病変、新生内皮膜等が含まれる。 However, when measuring the vascular diameter using a conventional angioscope, for example, due to insufficient resolution, useful intravascular features (such as stents, (drugs, thrombus, plaque, guide wire, vascular wall pattern or its condition) cannot be fully grasped, and there is a problem that it is difficult to measure the vascular diameter with high accuracy relying on the captured image. Patterns or states of blood vessel walls include, for example, lesions such as calcification, neoendothelium, and the like.
また、仮に血管径の測定時に周知のＩＶＵＳ（Intra Vascular Ultra Sound）もしくはＯＣＴ（Optical Coherence Tomography）を利用すると、手術あるいは検査の時間および費用が増大し、患者の負担が増して利便性が向上しないために好ましくないと考えられる。 In addition, if the well-known IVUS (Intra Vascular Ultra Sound) or OCT (Optical Coherence Tomography) is used when measuring the blood vessel diameter, the time and cost of surgery or examination will increase, the burden on the patient will increase, and convenience will not improve. It is considered unfavorable because
本開示は、上述した従来の状況に鑑みて案出され、血管内視鏡の撮像画像を利用して患者等の被検体内の血管径を高精度で手軽かつ簡易に測定し、被検体内に挿通される適切なステントの選択を支援する血管径測定システムを提供することを目的とする。 The present disclosure has been devised in view of the conventional situation described above, and uses an image captured by an angioscope to easily and easily measure the diameter of a blood vessel in a subject such as a patient with high accuracy. It is an object of the present invention to provide a blood vessel diameter measurement system that assists selection of an appropriate stent to be inserted into the blood vessel.
本開示は、被検体の血管内に挿通され、血管を撮像可能な画像センサが先端側に実装された内視鏡と、前記内視鏡と接続され、前記血管内に挿通された前記内視鏡を基端側に向かって一定速度で移動させる駆動機器と、前記駆動機器と接続され、前記駆動機器による前記内視鏡の移動前に撮像された少なくとも１枚の移動前撮像画像と前記駆動機器による前記内視鏡の移動後に撮像された少なくとも１枚の移動後撮像画像と前記駆動機器による前記内視鏡の移動距離とに基づいて、前記血管の血管径を測定する演算装置と、を備える血管径測定システムを提供する。 The present disclosure includes an endoscope inserted into a blood vessel of a subject and having an image sensor capable of imaging the blood vessel mounted on the distal end side, and the endoscope connected to the endoscope and inserted through the blood vessel. a drive device for moving the endoscope toward the base end at a constant speed; at least one pre-movement captured image, which is connected to the drive device and captured before the endoscope is moved by the drive device, and the drive; an arithmetic device that measures the diameter of the blood vessel based on at least one post-movement captured image captured after movement of the endoscope by a device and the movement distance of the endoscope by the driving device; A blood vessel diameter measurement system comprising:
本開示によれば、血管内視鏡の撮像画像を利用して患者等の被検体内の血管径を高精度で手軽かつ簡易に測定し、被検体内に挿通される適切なステントの選択を支援できる。 According to the present disclosure, it is possible to easily and easily measure the diameter of a blood vessel in a subject such as a patient with high accuracy using an image captured by an angioscope, and to select an appropriate stent to be inserted into the subject. I can help.
以下、適宜図面を参照しながら、本開示に係る血管径測定システムおよび血管径測定方法を具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。 Hereinafter, embodiments specifically disclosing a blood vessel diameter measurement system and a blood vessel diameter measurement method according to the present disclosure will be described in detail with reference to the drawings as appropriate. However, more detailed description than necessary may be omitted. For example, detailed descriptions of well-known matters and redundant descriptions of substantially the same configurations may be omitted. This is to avoid unnecessary verbosity in the following description and to facilitate understanding by those skilled in the art. It should be noted that the accompanying drawings and the following description are provided for a thorough understanding of the present disclosure by those skilled in the art and are not intended to limit the claimed subject matter.
図１は、実施の形態に係る血管径測定システム５の構成の一例を示す図である。血管径測定システム５は、人体等の被検体を対象とし、その被検体内の血管の血管径を測定する。血管径測定システム５は、血管内視鏡１００と、中継器２０と、カメラコントロールユニット３０と、ＰＣ（Personal Computer）５０と、モニタ７０と、を含む構成である。
FIG. 1 is a diagram showing an example configuration of a blood vessel
内視鏡の一例としての血管内視鏡１００は、カテーテルの先端に血管内視鏡カメラ１０が取り付けられた（言い換えると、実装された）手術時あるいは検査時に使用される専用の医療器具であり、いわゆる血管内視鏡カテーテルと称される。血管内視鏡１００の外径は、例えば１．８ｍｍφであるが、この値に限定されない。血管内視鏡１００は、血管内を進退自在に挿通可能なガイドワイヤ１５０を収容する。ここで、血管内視鏡カメラ１０が体内に向かって挿入される方向を進行方向とし、反対に血管内視鏡カメラ１０が体外に向かって引き抜かれる方向を退避方向とする。従って、進退自在とは、血管内視鏡１００が体内に向かって挿入されることも引き抜かれることも可能であることを意味する。血管内視鏡カメラ１０は、手術あるいは検査の対象部位（例えば患部）までに予め挿通されたガイドワイヤ１５０に案内されて血管の奥までスムーズに挿入可能である。なお、血管内視鏡１００は、通常のカテーテル（図示略）の先端部に血管内視鏡カメラ１０が交換自在に装着されたものでもよい。カテーテルは、体液の排出あるいは薬液の注入に用いられる医療用の管である。カテーテルには、血管内視鏡カメラ１０の他、バルーンもしくはステント等が交換自在に装着される。
An
血管内視鏡カメラ１０は、例えば、血管を撮像可能な画像センサ（後述参照）が先端側に実装された４８万画素の高解像度カメラである。血管内視鏡１００が人体等の血管に挿入されることで、血管内視鏡カメラ１０は、血管の内壁（以下、血管壁という）を撮像可能である。血管内視鏡カメラ１０は、画像センサとして例えばＣＣＤ（Charged-Coupled Device）あるいはＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）等の固体撮像素子（つまりイメージセンサ）を内蔵し、被写体（例えば患部）からの光を撮像面に結像し、結像した光学像を電気信号に変換して撮像画像信号を出力する。血管内視鏡カメラ１０は、血管内に挿入されると、ユーザの操作に従い、例えば等間隔で血管壁を撮像し、撮像画像信号を出力する。なお、撮像画像信号は、静止画像および動画像のいずれの信号でもよい。また、血管内視鏡１００は、被写体を照明するために、ＬＥＤ光源あるいは後段のカメラコントロールユニット３０からの照射光を導くファイバーを内蔵してよい。
The
駆動機器の一例としてのプルバック機器８０は、ガイドワイヤ１５０に案内されて血管の奥まで挿入された血管内視鏡１００をプルバック速度（例えば一定速度）で血管内視鏡１００の基端側に引き抜く動作を行う。血管内視鏡カメラ１０は、プルバック機器８０によって血管内視鏡１００が引き抜かれる際、血管壁を等間隔で撮像する。プルバック機器８０は、中継器２０を介してカメラコントロールユニット３０にプルバック速度等のデータを通知する。なお、プルバック速度は、引き戻される間の速度であり、一定速度でなくてもよい。
A
中継器２０は、血管内視鏡カメラ１０とカメラコントロールユニット３０の間で行われる各種の信号を中継する。各種の信号は、血管内視鏡カメラ１０で撮像された撮像画像信号、およびカメラコントロールユニット３０が血管内視鏡カメラ１０を制御する制御信号を含む。
The
カメラコントロールユニット３０（ＣＣＵ：Camera Control Unit）は、血管内視鏡カメラ１０と中継器２０を介して電気的に接続され、血管内視鏡カメラ１０による撮像動作、血管内視鏡カメラ１０からの撮像画像信号に基づく撮像画像データの生成を制御する。また、カメラコントロールユニット３０は、プルバック機器８０から血管内視鏡１００を引き抜くプルバック速度（例えば一定速度）を取得し、メタデータとして画像データに付加する。メタデータは、プルバック速度の他、撮像日時等のデータを含む。カメラコントロールユニット３０は、画像入力部（図示略）、画像処理部（図示略）および画像出力部（図示略）を少なくとも含む。画像入力部（図示略）は、血管内視鏡カメラ１０で撮像された血管壁等の画像データを入力する。画像入力部（図示略）は、専用の画像入力インターフェースの他、映像データを高速に転送可能なＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）あるいはＵＳＢ（Universal Serial Bus） Ｔｙｐｅ－Ｃ等を用いたインターフェースでもよい。画像処理部（図示略）は、入力された血管壁等の撮像画像データにメタデータを付加する等の処理を行う。また、画像処理部（図示略）は、血管内視鏡カメラ１０からの撮像画像信号を用いて、所定の画像処理を行うことで後述するモニタ７０において視認可能なＲＧＢ形式あるいはＹＵＶ形式の撮像画像データを生成してもよい。なお、この撮像画像データの生成は、血管内視鏡カメラ１０で実行されてもよいし、後段のＰＣ５０で実行されても構わない。画像出力部（図示略）は、メタデータが付加された血管壁等の撮像画像データをＰＣ５０に送信する。
A camera control unit 30 (CCU: Camera Control Unit) is electrically connected to the
演算装置の一例としてのＰＣ５０は、プロセッサ５１と、メモリ５２と、入出力インターフェース５３と、操作部５４と、ストレージ５５とを有する。ＰＣ５０は、血管壁等の撮像画像データ（生画像データの一例）、この撮像画像データに対して所定の画像処理を施した後の撮像画像データ等をストレージ５５に記録する。ＰＣ５０は、血管壁の撮像画像データを基に、血管径を算出する処理を行う。ＰＣ５０は、血管径の測定結果あるいは血管壁等の撮像画像データをモニタ７０に出力し、血管径を可視化する処理を行う。
A
プロセッサ５１は、メモリ５２に記憶されたプログラムを実行することで、上述した血管径測定処理および可視化処理等のそれぞれを実行する。プロセッサ５１は、例えば画像処理に適したＧＰＵ（Graphical Processing Unit）でよい。なお、プロセッサ５１は、ＧＰＵの代わりに、ＭＰＵ（Micro Processing Unit）、ＣＰＵ（Central Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）等で設計された専用の電子回路や、ＦＰＧＡ（Field Programmable Gate Array）等で再構成可能に設計された電子回路で構成されてもよい。
The
メモリ５２は、プロセッサ５１のワーキングメモリとして使用される。入出力インターフェース５３は、専用の画像入力インターフェースの他、映像データを高速に転送可能なＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）あるいはＵＳＢ（Universal Serial Bus） Ｔｙｐｅ－Ｃ等を用いたインターフェースでもよい。
The
操作部５４は、術者等のユーザによる操作を受け付ける。操作部５４は、マウス、キーボード、タッチパッド、タッチパネル、マイクロホン、またはその他の入力デバイスを含んでよい。
The
ストレージ５５は、大容量のメモリであり、血管内視鏡カメラ１０で撮像された血管壁等の撮像画像データを蓄積する。ストレージ５５は、例えば二次記憶装置（例えばＨＤＤ（Hard Disk Drive）もしくはＳＳＤ（Solid State Drive））、あるいは三次記憶装置（例えば光ディスク、ＳＤカード）を含んでよい。
The
モニタ７０は、ＰＣ５０から出力される血管径の測定結果あるいは血管壁等の画像を表示する。モニタ７０は、血管壁の画像を表示する際、ユーザが所望する方向から視た血管内の立体画像として３Ｄ表示可能である。モニタ７０は、例えばＬＣＤ（Liquid Crystal Display）、有機ＥＬ（Electroluminescence）、ＣＲＴ（Cathode Ray Tube）等の表示デバイスを有する。
The
なお、カメラコントロールユニット３０、ＰＣ５０およびモニタ７０は、イメージングシステム９０として、単一の筐体に搭載される。
Note that the
次に、実施の形態１に係る血管径測定システム５の動作を示す。
Next, the operation of the blood vessel
例えば、人体等の血管内に血栓があったり、血管壁にプラークができていたりする等、血管の状態を観察するために、血管内視鏡１００は、血管内に挿入される。術者等のユーザが血管内視鏡１００を血管内に挿入する際、カテーテルに収容されたガイドワイヤ１５０を先行して血管内に進行させる。ガイドワイヤ１５０が観察したい血管内に届くと、ユーザは、ガイドワイヤ１５０に案内されるように、血管内視鏡カメラ１０を血管内に進行させる。血管内視鏡カメラ１０が観察したい血管内に達すると、ユーザは、プルバック機器８０を作動させ、血管内視鏡１００をプルバック速度（例えば一定速度）で引き抜く動作を開始させる。また、血管内視鏡カメラ１０で血管内を撮像する場合、ユーザは、血管内を鮮明に撮像できるように、カテーテルの先端から生理食塩水を血管内に注入する。
For example, the
図２は、血管内視鏡カメラ１０が血管壁２００を撮像する状況の一例を示す図である。血管内視鏡カメラ１０は、ガイドワイヤ１５０が予め挿通されている血管２０１の血管壁２００（例えば、血管の中心方向と中心方向を挟んで対向する双方の内壁と）を撮像する。血管壁２００を撮像する場合、血管内視鏡カメラ１０は、自重により血管壁２００に張り付いた状態となる。この状態で、血管壁２００を撮像する場合、血管内視鏡カメラ１０は、血管壁２００を下側から仰いだ画像（いわゆるアオリ撮影による画像）を撮像する。この結果、血管壁の画像は、血管壁２００の中心が上側にずれた画像となる（図４参照）。
FIG. 2 is a diagram showing an example of a situation in which the
図３は、ＰＣ５０による血管径測定手順を示すフローチャートである。この処理は、血管内視鏡カメラ１０で連続的に撮像される画像に対し、フレーム単位で実行される。
FIG. 3 is a flow chart showing a blood vessel diameter measurement procedure by the
まず、ユーザは、ＰＣ５０に対し、円の中心と半径を入力する。プロセッサ５１は、操作部５４を介して、ユーザ入力による円の中心と半径を受け付ける。プロセッサ５１は、カメラコントロールユニット３０から入力した血管壁の画像データに対し、画像全体に配置された１１５６個の測定点の中から、円の中心と半径に基づく円周上に１２８個の特徴点ｅ１を検出する（Ｓ１）。なお、１１５６個の測定点および１２８個の特徴点の数は、一例である。
First, the user inputs the center and radius of the circle to the
アオリ画像の場合、血管径に合わせて円周上に配置される特徴点は、画像の上部がｚ方向（図６参照）に倒れた状態の楕円状に分布する。また、後述する血管径の算出では、後述するように楕円フィッティングにより得られる楕円の長辺が血管径として採用されるので、アオリ画像の場合、血管径は長めに算出される。なお、ＰＣ５０は、血管内視鏡カメラ１０で撮像される画像に対し、アオリ補正を行い、アオリ補正後の画像を用いて、血管径測定処理を行ってもよい。
In the case of a tilt image, the feature points arranged on the circumference according to the blood vessel diameter are distributed in an elliptical shape with the upper part of the image tilted in the z direction (see FIG. 6). Further, in the calculation of the blood vessel diameter, which will be described later, the long side of an ellipse obtained by ellipse fitting is adopted as the blood vessel diameter as will be described later. Note that the
図４は、血管壁の画像上における特徴点ｅ１の配置例を示す図である。血管内視鏡カメラ１０で撮像された画像ＧＺ１に対し、ユーザにより指定された円の円周上に１２８個の特徴点ｅ１が重畳して描画される。
FIG. 4 is a diagram showing an arrangement example of feature points e1 on an image of a blood vessel wall. 128 feature points e1 are superimposed and drawn on the circumference of a circle designated by the user on the image GZ1 captured by the
プロセッサ５１は、特徴点ｅ１を検出した画像ＧＺ１が１フレーム目の画像であるか否かを判別する（Ｓ２）。１フレーム目の画像である場合、プロセッサ５１は、本処理を終了する。
The
一方、ステップＳ２で２フレーム目以降の画像である場合、プロセッサ５１は、第１の特徴点マッチングを行う（Ｓ３）。第１の特徴点マッチングでは、プロセッサ５１は、前フレーム（言い換えると、第（ｎ－１）番目フレーム）の特徴点近傍の矩形領域をテンプレートとして取得する（ｎ：２以上の整数）。一例として、テンプレートサイズは、幅１６ピクセル×高さ１６ピクセルのサイズである。プロセッサ５１は、現フレーム（言い換えると、第ｎ番目フレーム）の特徴点位置を中心とした矩形領域を、探索範囲としてテンプレートと一致する領域を探索する。探索範囲のサイズは、幅１２８ピクセル×高さ１２８ピクセルのサイズである。プロセッサ５１は、ＺＮＣＣ（Zero-means Normalized Cross Correlation）値が最小となる位置を特徴点ｅ１に対応する対応点ｆ２とする。なお、第ｎ番目フレームは、第（ｎ－１）番目フレームに対し、血管内視鏡１００が手前に引かれた状態の画像であるので、複数の対応点ｆ２が形成する円は、複数の特徴点ｅ１が形成する円と比べ、小さくなる。
On the other hand, if the image is the second frame or later in step S2, the
図５は、特徴点ｅ１および対応点ｆ２の位置関係例を示す図である。プロセッサ５１は、第（ｎ－１）番目フレームに含まれる特徴点ｅ１と第ｎ番目フレームに含まれる対応点ｆ２を用いて、消失点ｄｐを推定する（Ｓ４）。消失点ｄｐの推定では、プロセッサ５１は、全ての特徴点ｅ１および対応点ｆ２に対し、特徴点ｅ１から対応点ｆ２へのフローを求める。プロセッサ５１は、２つのフローの交点を求める。プロセッサ５１は、全ての特徴点ｅ１から交点までのベクトルを求める。プロセッサ５１は、このフローと各ベクトルとの類似度（ここでは角度差）を求め、この類似度が閾値を超えるか否か、例えばフローとベクトルの角度差が３°未満であるか否かを判別する。プロセッサ５１は、角度差が３°未満である場合、この特徴点ｅ１を有効な特徴点（以下、「インライア」と称する場合がある）であると判定する。一方、プロセッサ５１は、角度差が３°以上である場合、この特徴点ｅ１を無効な特徴点（以下、「アウトライア」と称する場合がある）であると判定する。プロセッサ５１は、全てのフローの交点に対し、インライアの数を算出する。プロセッサ５１は、インライアの数が最も多いフローの交点を消失点ｄｐとする。例えば、フローの数が４つである場合、交点は、４つの中から２つを選ぶ組合せ４Ｃ２で算出されるように、６通り存在する。従って、消失点ｄｐは、６つの交点の中から選出される。
FIG. 5 is a diagram showing an example of the positional relationship between the feature point e1 and the corresponding point f2. The
プロセッサ５１は、クロスチェックのために第２の特徴点マッチングを行う（Ｓ５）。第２の特徴点マッチングでは、プロセッサ５１は、現フレーム（つまり、第ｎ番目フレーム）の対応点近傍の矩形領域をテンプレートとして取得する。一例として、テンプレートサイズは、幅１６ピクセル×高さ１６ピクセルのサイズである。プロセッサ５１は、前フレーム（つまり、第（ｎ－１）番目フレーム）の対応点位置を中心とした矩形領域を、探索範囲としてテンプレートと一致する領域を探索する。探索範囲のサイズは、幅１２８ピクセル×高さ１２８ピクセルのサイズである。プロセッサ５１は、ＺＮＣＣ（Zero-means Normalized Cross Correlation）値が最小となる位置を対応点ｆ２に対応する特徴点（対応特徴点）とする。プロセッサ５１は、前フレーム（つまり、第（ｎ－１）番目フレーム）における、特徴点ｅ１と対応特徴点とが略一致するか否かを判別する。特徴点ｅ１と対応特徴点との略一致は、例えば位置座標を基に判別可能である。プロセッサ５１は、特徴点ｅ１と対応特徴点とが略一致する場合、対応点ｆ２が信頼性ありと判断し、特徴点ｅ１と対応特徴点とが略一致しない場合、対応点ｆ２が信頼性なしと判断する。プロセッサ５１は、信頼性ありと判断された特徴点ｅ１をインライアとして採用し、信頼性なしと判断された特徴点ｅ１をアウトライアとして採用しない。
プロセッサ５１は、インライアである特徴点ｅ１の３次元位置を算出する（Ｓ６）。特徴点ｅ１の３次元位置の算出には、例えば三角測量が用いられる。三角測量は、２点間の距離およびこれら２点から測定したい特徴点への角度をそれぞれ測定することで、特徴点の位置を求める、三角法および幾何学を用いた周知の測量方法である。
The
図６は、３次元位置の算出例を説明する図である。ここで、特徴点ｅ１の３次元座標Ｅを（Ｘ，Ｙ，Ｚ）とする。Ｘは、血管の径方向を表すｘ軸の座標値である。Ｙは、ｘ軸に対し垂直な血管の径方向を表すｙ軸の座標値である。Ｚは、血管の長手方向を表すｚ軸の座標値である。第（ｎ－１）番目フレームのカメラ位置ｇ１における、特徴点ｅ１の画像座標ｐ１を（ｕ１，ｕ２）とする。第ｎ番目フレームのカメラ位置ｇ２における、対応点ｆ２の画像座標ｐ２を（ｕ２，ｖ２）とする。第（ｎ－１）番目フレームのカメラ位置ｇ１と第ｎ番目フレームのカメラ位置ｇ２の間の距離をＤとする。ここで、距離Ｄは、プルバック機器８０がガイドワイヤ１５０を一定のプルバック速度で牽引する際、第（ｎ－１）番目フレームのカメラ位置と第ｎ番目フレームのカメラ位置の撮像時間差とプルバック速度との積で算出される。
FIG. 6 is a diagram illustrating an example of calculation of a three-dimensional position. Here, let the three-dimensional coordinates E of the feature point e1 be (X, Y, Z). X is the coordinate value of the x-axis representing the radial direction of the blood vessel. Y is the coordinate value of the y-axis representing the radial direction of the blood vessel perpendicular to the x-axis. Z is the coordinate value of the z-axis representing the longitudinal direction of the blood vessel. Assume that the image coordinates p1 of the feature point e1 at the camera position g1 of the (n−1)th frame are (u1, u2). Assume that the image coordinates p2 of the corresponding point f2 at the camera position g2 of the n-th frame are (u2, v2). Let D be the distance between the camera position g1 of the (n-1)th frame and the camera position g2 of the nth frame. Here, when the
カメラの内部パラメータの行列Ｋを数式（１）で表す。 A matrix K of intrinsic parameters of the camera is represented by Equation (1).
ここで、ｆｘ：焦点距離を水平画素ピッチで割った値、ｆｙ：焦点距離を垂直画素ピッチで割った値、Ｃｘ：画像中心のｘ座標、Ｃｙ：画像中心のｙ座標である。 Here, fx is the value obtained by dividing the focal length by the horizontal pixel pitch, fy is the value obtained by dividing the focal length by the vertical pixel pitch, Cx is the x-coordinate of the center of the image, and Cy is the y-coordinate of the center of the image.
特徴点ｅ１の画像座標ｐ１と３次元座標Ｅは、数式（２）で表される。 The image coordinate p1 and the three-dimensional coordinate E of the feature point e1 are represented by Equation (2).
対応点ｆ２の画像座標ｐ２と３次元座標Ｅは、数式（３）で表される。 The image coordinate p2 and the three-dimensional coordinate E of the corresponding point f2 are represented by Equation (3).
プロセッサ５１は、例えば三角測量関数を使用し、画像座標ｐ１と画像座標ｐ２に対応する、特徴点ｅ１の３次元座標Ｅを求める。
The
プロセッサ５１は、特徴点ｅ１の３次元座標Ｅを３次元の立体画像としてモニタ７０に表示（３Ｄ表示）可能である。図７は、血管を長手方向（ｚ方向）に視た場合における血管壁２００に配置された特徴点ｅ１の点群をモニタ７０に３Ｄ表示で示す図である。図８は、血管を斜め方向に視た場合における血管壁２００に配置された特徴点ｅ１の点群をモニタ７０に３Ｄ表示で示す図である。図９は、血管を径方向（ｘｙ面）に視た場合における血管壁２００に配置された特徴点ｅ１の点群をモニタ７０に３Ｄ表示で示す図である。なお、図７，図８，図９では、例えば擬似的な血管として縞模様の付いた３ｍｍの管が用いられた。
The
プロセッサ５１は、複数の特徴点ｅ１の３次元座標Ｅを基に、楕円フィッティングが行われる平面を検出する（Ｓ７）。平面の検出では、プロセッサ５１は、複数の特徴点ｅ１（３次元点という）の中から３点を選択し、これら３点を含む平面を表す式（平面式という）を求める。プロセッサ５１は、求めた平面との距離が所定距離以内で平面に近い３次元点の数を計数する。プロセッサ５１は、計数した３次元点の数が最も多くなる平面式を選択する。プロセッサ５１は、選択した平面式で表される平面に近い３次元点を抽出する。プロセッサ５１は、抽出した３次元点群を基に、主成分分析（ＰＣＡ：Principal Component Analysis）を行い、平面を検出する。主成分分析は、相関のある多数の変数から相関のない少数で全体のばらつきを最もよく表す主成分と呼ばれる変数を合成する多変量解析の一手法である。
The
プロセッサ５１は、平面からの距離が所定距離を超えて離れている特徴点ｅ１をアウトライアとし、所定距離以内である特徴点ｅ１をインライアとして血管径の推定に採用する。図１０は、検出された平面ＰＬに対し特徴点ｅ１をインライアｑ１またはアウトライアｑ２とする選別を示す図である。
The
プロセッサ５１は、複数の特徴点ｅ１を基に、楕円フィッティングを行って血管径を推定する（Ｓ８）。楕円フィッティングでは、複数の特徴点ｅ１をｘ－ｙ平面に投影し、ｘ－ｙ平面に投影された２次元点に対し、ＲＡＮＳＡＣ（Random Sample Consensus）を利用したフィッティングが行われる。ＲＡＮＳＡＣは、外れ値を含まないように、楕円パラメータを推定する手法である。
The
プロセッサ５１は、ＲＡＮＳＡＣを利用することで、複数の２次元点に外れ値が含まれても、その影響を抑えて楕円を推定できる。従って、楕円の推定精度が向上する。具体的に、プロセッサ５１は、複数の２次元点を入力し、入力した複数の２次元点の中から５点をランダムに抽出する。プロセッサ５１は、抽出した５点を用いて楕円パラメータを求める。楕円パラメータは、長径および短径を含む。プロセッサ５１は、各２次元点から楕円弧までの最短距離を算出し、その距離が閾値より小さくなる２次元点の数（インライア数）を計数し、メモリ５２に記録する。プロセッサ５１は、入力した複数の２次元点の中から別の５点を抽出し、上記と同様の手順で、インライア数を計数する。プロセッサ５１は、計数したインライア数がメモリ５２に記録されたインライア数を超える場合、メモリ５２に記録されたインライア数を更新する。プロセッサ５１は、同様の手順を繰り返し、メモリ５２に記録されるインライア数が一定回数連続して更新されなかった場合、つまり最大となるインライア数が得られた場合、２次元点の抽出を終了する。プロセッサ５１は、全ての２次元点に対し、インライア数が最大となる楕円パラメータを用いて、各２次元点から楕円弧までの最短距離が閾値より小さくなる２次元点をインライアｑ１として決定する。プロセッサ５１は、決定した全てのインライアｑ１を用いて、楕円パラメータを求める。全てのインライアｑ１を用いて楕円パラメータを求めた結果、プロセッサ５１は、楕円パラメータの１つである長径を血管径φ１と推定する。プロセッサ５１は、血管径を長径とすることで、血管に挿通可能なステントのサイズを適正に決定できる。図１１は、３次元点を用いて推定された血管径φ１を示す図である。
By using RANSAC, the
このように、実施の形態１に係る血管径測定システム５では、ＰＣ５０は、血管内視鏡１００の使用時、血管内視鏡１００を牽引した移動距離である距離Ｄと、第（ｎ－１）番目フレームおよび第ｎ番目フレームの連続する複数枚の撮像画像データを用いて、血管径を推定する。このとき、ＰＣ５０は、血管壁を撮像した画像の画面全体に配置した測定点（例えば１１５６個）の中から円状に配置した特徴点ｅ１（例えば１２８個）を検出する。ＰＣ５０は、特徴点ｅ１の移動方向から消失点ｄｐを推定する。ＰＣ５０は、特徴点ｅ１の移動変化量から特徴点ｅ１の３次元座標を算出する。ＰＣ５０は、算出した特徴点ｅ１の３次元座標に対し楕円フィッティングを行い、楕円パラメータである長径を血管径として算出する。
As described above, in the blood vessel
ＰＣ５０は、楕円フィッティングを用いることで、凹凸が少ない血管壁であっても、血管径を表す測定点が判別しにくい状況でも、血管径を安定して算出できる。従って、例えば血管内視鏡を引き抜きながらユーザが血管径をモニタリングする場合、血管径が均一な箇所で表示される血管径の変動が抑えられる。また、血管径の精度が向上する。ユーザは、血管が狭窄している血管箇所にステントを挿入する場合、ステントのサイズを適正に選択できる。また、プルバック機器８０が血管内視鏡１００を一定速度で自動的に牽引するので、ユーザの負担が軽減する。
By using ellipse fitting, the
以上により、血管径測定システム５は、被検体の血管内に挿通され、血管を撮像可能な血管内視鏡カメラ１０が先端側に実装された血管内視鏡１００と、血管内視鏡１００に接続され、血管内に挿通された血管内視鏡１００を基端側に向かって一定速度で移動させるプルバック機器８０と、を備える。また、血管径測定システム５は、プルバック機器８０に接続され、血管内視鏡１００の移動前に撮像された少なくとも１枚の第（ｎ－１）番目フレーム（移動前撮像画像の一例）と血管内視鏡１００の移動後に撮像された少なくとも１枚の第ｎ番目フレーム（移動後撮像画像の一例）とプルバック機器８０による血管内視鏡１００の移動距離とに基づいて、血管の血管径を測定するＰＣ５０と、を備える。
As described above, the blood vessel
これにより、血管径測定システム５は、血管内視鏡１００の撮像画像を利用して患者等の被検体内の血管径を高精度で手軽かつ簡易に測定できるので、被検体内に挿通される適切なステントの選択を支援できる。
As a result, the blood vessel
また、ＰＣ５０は、血管の血管径の測定結果をモニタ７０に表示する。これにより、ユーザは、血管径を視覚的に把握できる。
The
また、血管内視鏡カメラ１０は、ガイドワイヤ１５０が予め挿通されている血管の中心方向と中心方向を挟んで対向する双方の内壁とを撮像する。これにより、血管径測定システム５は、血管径の測定に適した画像を得ることができる。
In addition, the
また、ＰＣ５０のプロセッサ５１は、第（ｎ－１）番目フレームに対して円状に配置される１２８個（複数個）の特徴点ｅ１と、第ｎ番目フレームに対して配置される１２８個の特徴点ｅ１にそれぞれ対応する１２８個の対応点ｆ２のそれぞれの移動方向から消失点ｄｐを推定する。プロセッサ５１は、１２８個の特徴点ｅ１の中から、プルバック機器８０による血管内視鏡カメラ１０の移動に基づく消失点ｄｐの方向へのベクトルを有するインライアである特徴点ｅ１（有効特徴点）を抽出する。プロセッサ５１は、血管内視鏡カメラ１０が移動した距離Ｄ（移動距離）に対応する特徴点ｅ１の移動変化量を用いて特徴点ｅ１の３次元座標を算出する。プロセッサ５１は、特徴点ｅ１の３次元座標に基づいて、血管２０１の血管径を測定する。これにより、血管径測定システム５は、血管壁に配置された、血管径の測定に有効な特徴点を用いて、血管径を正確に測定できる。
In addition, the
また、プロセッサ５１は、第（ｎ－１）番目フレームに対して円状に配置される１２８個の特徴点ｅ１をそれぞれ含む複数のテンプレートを基に、第ｎ番目フレームに対してテンプレートマッチングを行い、第ｎ番目フレームに配置される１２８個の特徴点として、第（ｎ－１）番目フレームに配置される１２８個の特徴点にそれぞれ対応する１２８個の対応点ｆ２を配置する。プロセッサ５１は、第ｎ番目フレームに対して配置される１２８個の対応点ｆ２をそれぞれ含む複数のテンプレートを基に、第（ｎ－１）番目フレームに対してテンプレートマッチングを行い、１２８個の対応点ｆ２にそれぞれ対応する１２８個の対応特徴点を配置する。プロセッサ５１は、特徴点ｅ１と対応特徴点が略一致する場合、特徴点ｅ１をインライアとなる特徴点ｅ１（有効特徴点）として抽出する。これにより、血管径測定システム５は、血管径の測定に有効な特徴点を抽出でき、血管径の測定精度が向上する。
In addition, the
また、プロセッサ５１は、３次元座標を有するインライアとなる特徴点ｅ１の２次元の投影平面上の２次元座標を用いた楕円フィッティングに基づいて、血管２０１の血管径を測定する。これにより、血管径測定システム５は、楕円フィッティングを用いることで、凹凸が少ない血管壁であっても、血管径を表す測定点が判別しにくい状況でも、血管径を安定して算出できる。従って、例えば血管内視鏡を引き抜きながらユーザが血管径をモニタリングする場合、血管径が均一な箇所で表示される血管径の変動が抑えられる。また、血管径の精度が向上する。ユーザは、血管が狭窄している血管箇所にステントを挿入する場合、ステントのサイズを適正に選択できる。
The
また、プロセッサ５１は、楕円フィッティングの結果得られた楕円の楕円パラメータである長径を血管２０１の血管径と推定する。これにより、血管径測定システム５は、血管径を長径とすることで、血管に挿通可能なステントのサイズを適正に決定できる。
In addition, the
以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。 Various embodiments have been described above with reference to the drawings, but it goes without saying that the present disclosure is not limited to such examples. It is obvious that a person skilled in the art can conceive of various modifications, modifications, substitutions, additions, deletions, and equivalents within the scope of the claims. Naturally, it is understood that it belongs to the technical scope of the present disclosure. In addition, the constituent elements of the various embodiments described above may be combined arbitrarily without departing from the gist of the invention.
例えば、上述した実施の形態では、ユーザは、血管壁の画像に対し、円の中心と半径を入力し、円周上に１２８個の特徴点を配置したが、血管壁の画像に対し、マウス操作で２本ラインを設定してもよい。この場合、ＰＣのプロセッサは、２本のラインの交点と、交点からライン端までの距離を基に、特徴点を設定するための円の中心座標と円の半径を決定する。 For example, in the above-described embodiment, the user inputs the center and radius of the circle for the image of the blood vessel wall and arranges 128 feature points on the circle. Two lines may be set by operation. In this case, the processor of the PC determines the center coordinates of the circle and the radius of the circle for setting the feature points based on the intersection of the two lines and the distance from the intersection to the line end.
また、上記実施形態では、プロセッサ５１は、特徴点に対応する対応点をテンプレートマッチングによって取得したが、例えば第（ｎ－１）番目フレームの特徴点および第ｎ番目フレームの対応点を用いて、ディープラーニングによる機械学習を行い、機械学習の結果生成された学習済みモデルを使用し、第（ｎ－１）番目フレームの特徴点に対応する第ｎ番目フレームの対応点を取得してもよい。
Further, in the above embodiment, the
また、上述した実施の形態では、プロセッサ５１は、楕円パラメータの長径を血管径として推定したが、短径を血管径として推定してもよい。また、プロセッサ５１は、長径と短径を用い、例えば長径と短径を加算しその半分の値を用いて、血管径を推定してもよい。
Moreover, in the embodiment described above, the
本開示は、血管内視鏡の撮像画像を利用して患者等の被検体内の血管径を高精度で手軽かつ簡易に測定し、被検体内に挿通される適切なステントの選択を支援する血管径測定システムおよび血管径測定方法として有用である。 The present disclosure uses images captured by an angioscope to easily and easily measure the diameter of a blood vessel in a subject such as a patient with high accuracy, and supports the selection of an appropriate stent to be inserted into the subject. It is useful as a blood vessel diameter measuring system and a blood vessel diameter measuring method.
５ 血管径測定システム
１０ 血管内視鏡カメラ
２０ 中継器
３０ カメラコントロールユニット
５０ ＰＣ
５１ プロセッサ
５２ メモリ
５３ 入出力インターフェース
５４ 操作部
５５ ストレージ
７０ モニタ
８０ プルバック機器
１００ 血管内視鏡
１５０ ガイドワイヤ
5 Blood vessel
51
Claims (7)
前記内視鏡と接続され、前記血管内に挿通された前記内視鏡を基端側に向かって一定速度で移動させる駆動機器と、
前記駆動機器と接続され、前記駆動機器による前記内視鏡の移動前に撮像された少なくとも１枚の移動前撮像画像と前記駆動機器による前記内視鏡の移動後に撮像された少なくとも１枚の移動後撮像画像と前記駆動機器による前記内視鏡の移動距離とに基づいて、前記血管の血管径を測定する演算装置と、を備える、
血管径測定システム。 an endoscope inserted into a blood vessel of a subject and having an image sensor capable of imaging the blood vessel mounted on the distal end side;
a driving device that is connected to the endoscope and moves the endoscope inserted into the blood vessel toward the proximal side at a constant speed;
At least one pre-movement captured image that is connected to the drive device and captured before the endoscope is moved by the drive device and at least one movement image that is captured after the endoscope is moved by the drive device. an arithmetic device that measures the diameter of the blood vessel based on the post-capture image and the distance traveled by the endoscope by the driving device;
Blood vessel diameter measurement system.
請求項１に記載の血管径測定システム。 The computing device displays a measurement result of the blood vessel diameter of the blood vessel on a monitor.
The blood vessel diameter measurement system according to claim 1.
請求項１または２に記載の血管径測定システム。 The endoscope captures images of the center direction of the blood vessel through which the guide wire is inserted in advance and both inner walls facing each other across the center direction.
The blood vessel diameter measurement system according to claim 1 or 2.
前記移動前撮像画像および前記移動後撮像画像のそれぞれに対して円状に配置される複数個の特徴点のそれぞれの移動方向から消失点を推定し、
前記複数個の特徴点の中から、前記駆動機器による前記内視鏡の移動に基づく前記消失点の方向へのベクトルを有する有効特徴点を抽出し、前記内視鏡の移動距離に対応する前記有効特徴点の移動変化量を用いて前記有効特徴点の３次元座標を算出し、
前記有効特徴点の３次元座標に基づいて、前記血管の血管径を測定する、
請求項１に記載の血管径測定システム。 The computing device is
estimating a vanishing point from the movement direction of each of a plurality of feature points arranged in a circle with respect to each of the pre-movement captured image and the post-movement captured image;
extracting from the plurality of feature points an effective feature point having a vector in the direction of the vanishing point based on the movement of the endoscope by the drive device, and extracting the effective feature point corresponding to the movement distance of the endoscope; calculating the three-dimensional coordinates of the effective feature point using the movement change amount of the effective feature point;
measuring the blood vessel diameter of the blood vessel based on the three-dimensional coordinates of the effective feature point;
The blood vessel diameter measurement system according to claim 1.
前記移動前撮像画像に対して円状に配置される複数個の特徴点をそれぞれ含む複数のテンプレートを基に、
前記移動後撮像画像に対してテンプレートマッチングを行い、前記移動後撮像画像に配置される前記複数個の特徴点として、前記移動前撮像画像に配置される前記複数個の特徴点にそれぞれ対応する複数個の対応点を配置し、
前記移動後撮像画像に対して配置される複数個の対応点をそれぞれ含む複数のテンプレートを基に、前記移動前撮像画像に対してテンプレートマッチングを行い、前記複数個の対応点にそれぞれ対応する複数個の対応特徴点を配置し、前記特徴点と前記対応特徴点が略一致する場合、前記特徴点を有効特徴点として抽出する、
請求項４に記載の血管径測定システム。 The computing device is
Based on a plurality of templates each including a plurality of feature points arranged in a circle with respect to the captured image before movement,
template matching is performed on the post-movement captured image, and a plurality of feature points arranged in the post-movement captured image are defined as a plurality of feature points that respectively correspond to the plurality of feature points arranged in the pre-movement captured image. place corresponding points,
Based on a plurality of templates each including a plurality of corresponding points arranged for the post-movement captured image, template matching is performed on the pre-movement captured image, and a plurality of templates corresponding to the plurality of corresponding points are obtained. arranging the corresponding feature points, and extracting the feature point as an effective feature point when the feature point substantially matches the corresponding feature point;
The blood vessel diameter measurement system according to claim 4.
前記３次元座標を有する前記有効特徴点の２次元の投影平面上の２次元座標を用いた楕円フィッティングに基づいて、前記血管の血管径を測定する、
請求項４に記載の血管径測定システム。 The computing device is
measuring the vessel diameter of the blood vessel based on ellipse fitting using the two-dimensional coordinates on the two-dimensional projection plane of the effective feature point having the three-dimensional coordinates;
The blood vessel diameter measurement system according to claim 4.
請求項６に記載の血管径測定システム。 The arithmetic device estimates the major axis, which is the ellipse parameter of the ellipse obtained as a result of the ellipse fitting, as the vascular diameter of the blood vessel.
The blood vessel diameter measurement system according to claim 6 .
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019090135A JP7221786B2 (en) | 2019-05-10 | 2019-05-10 | Blood vessel diameter measurement system |
| PCT/JP2020/005517 WO2020230389A1 (en) | 2019-05-10 | 2020-02-13 | Blood vessel diameter measurement system and blood vessel diameter measurement method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019090135A JP7221786B2 (en) | 2019-05-10 | 2019-05-10 | Blood vessel diameter measurement system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020185081A JP2020185081A (en) | 2020-11-19 |
| JP7221786B2 true JP7221786B2 (en) | 2023-02-14 |
Family
ID=73223071
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019090135A Active JP7221786B2 (en) | 2019-05-10 | 2019-05-10 | Blood vessel diameter measurement system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7221786B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022163562A (en) | 2021-04-14 | 2022-10-26 | ｉ－ＰＲＯ株式会社 | endoscope system |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014055917A1 (en) | 2012-10-05 | 2014-04-10 | Elizabeth Begin | Systems for indicating parameters in an imaging data set and methods of use |
| WO2015045368A1 (en) | 2013-09-26 | 2015-04-02 | テルモ株式会社 | Image processing device, image display system, imaging system, image processing method, and program |
| US20190021598A1 (en) | 2016-03-16 | 2019-01-24 | Korea Photonics Technology Institute | Integrated catheter device for cardiovascular diagnosis and image processing system |
-
2019
- 2019-05-10 JP JP2019090135A patent/JP7221786B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014055917A1 (en) | 2012-10-05 | 2014-04-10 | Elizabeth Begin | Systems for indicating parameters in an imaging data set and methods of use |
| WO2015045368A1 (en) | 2013-09-26 | 2015-04-02 | テルモ株式会社 | Image processing device, image display system, imaging system, image processing method, and program |
| US20190021598A1 (en) | 2016-03-16 | 2019-01-24 | Korea Photonics Technology Institute | Integrated catheter device for cardiovascular diagnosis and image processing system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020185081A (en) | 2020-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5715311B2 (en) | Endoscope system | |
| US9516993B2 (en) | Endoscope system | |
| JP5457841B2 (en) | Medical image processing apparatus and medical image processing program | |
| JP2009011563A (en) | Image processor and image processing program | |
| EP2000075A1 (en) | Medical image processing device and medical image processing method | |
| JPWO2014156378A1 (en) | Endoscope system | |
| JP5078486B2 (en) | Medical image processing apparatus and method of operating medical image processing apparatus | |
| US20220398771A1 (en) | Luminal structure calculation apparatus, creation method for luminal structure information, and non-transitory recording medium recording luminal structure information creation program | |
| JP2008119259A (en) | Endoscope insertion shape analysis system | |
| WO2021171465A1 (en) | Endoscope system and method for scanning lumen using endoscope system | |
| US10799100B2 (en) | Image processing device, method, and program | |
| JP7221786B2 (en) | Blood vessel diameter measurement system | |
| JP4981335B2 (en) | Medical image processing apparatus and medical image processing method | |
| JP7441934B2 (en) | Processing device, endoscope system, and method of operating the processing device | |
| JP7221787B2 (en) | Blood vessel diameter measurement system | |
| JP2021194268A (en) | Blood vessel observation system and blood vessel observation method | |
| JP2021194268A6 (en) | Blood vessel observation system and blood vessel observation method | |
| WO2020230389A1 (en) | Blood vessel diameter measurement system and blood vessel diameter measurement method | |
| JP7157098B2 (en) | Angioscope system and method for measuring blood vessel diameter | |
| JP4981336B2 (en) | Medical image processing apparatus and medical image processing method | |
| JP7197535B2 (en) | Observation site observation system and observation site observation method | |
| JP2019005038A (en) | Endoscope system | |
| JP2008093213A (en) | Medical image processor and medical image processing method | |
| JP5148096B2 (en) | Medical image processing apparatus and method of operating medical image processing apparatus | |
| WO2021176665A1 (en) | Surgery support system, surgery support method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20190731 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20191205 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20201224 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210716 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220809 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221007 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230117 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230202 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7221786 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |