JP2012055346A - Ultrasonic diagnostic system, robot for ultrasonograph and program - Google Patents
Ultrasonic diagnostic system, robot for ultrasonograph and program Download PDFInfo
- Publication number
- JP2012055346A JP2012055346A JP2010198404A JP2010198404A JP2012055346A JP 2012055346 A JP2012055346 A JP 2012055346A JP 2010198404 A JP2010198404 A JP 2010198404A JP 2010198404 A JP2010198404 A JP 2010198404A JP 2012055346 A JP2012055346 A JP 2012055346A
- Authority
- JP
- Japan
- Prior art keywords
- ultrasonic
- image
- probe
- change amount
- ultrasonic probe
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
Description
本発明は、超音波診断システム、超音波診断装置用ロボット、及びプログラムに係り、更に詳しくは、目標となる超音波画像が得られる最適状態にある超音波プローブが不意にずれたときに、得られる超音波画像の変化から、前記最適状態に対する超音波プローブの位置や姿勢の変化量を求めることのできる超音波診断システム、超音波診断装置用ロボット、及びプログラムに関する。 The present invention relates to an ultrasonic diagnostic system, a robot for an ultrasonic diagnostic apparatus, and a program. More specifically, the present invention is obtained when an ultrasonic probe in an optimum state where a target ultrasonic image is obtained is unexpectedly shifted. The present invention relates to an ultrasonic diagnostic system, an ultrasonic diagnostic apparatus robot, and a program that can determine the amount of change in the position and orientation of an ultrasonic probe with respect to the optimum state from changes in the ultrasonic image.
被検者の頸動脈上の皮膚部位に超音波プローブを当てることで得られた血管の超音波断層画像に基づき、疾患の早期発見に寄与する指標を求める超音波診断装置が知られている。この超音波診断装置としては、受信信号から、経時的に変化する血圧及び血流速等の各種データを検出し、当該データから血管の性状や心臓の機能等を評価する指標であるＷＩ（Ｗａｖｅ Ｉｎｔｅｎｓｉｔｙ）を求めるものがある（例えば、特許文献１参照）。 2. Description of the Related Art There is known an ultrasonic diagnostic apparatus that obtains an index that contributes to early detection of a disease based on an ultrasonic tomographic image of a blood vessel obtained by applying an ultrasonic probe to a skin region on a carotid artery of a subject. This ultrasonic diagnostic apparatus detects various data such as blood pressure and blood flow rate that change with time from a received signal, and uses this data as an index for evaluating the properties of blood vessels and the function of the heart. There is a technique for obtaining (Intensity) (see, for example, Patent Document 1).
このような超音波診断装置にあっては、正確な測定を行うために、測定中は、血管の計測点がほぼ一定となるように、超音波プローブを測定者の手や所定の保持具でしっかりと保持しておく必要がある。 In such an ultrasonic diagnostic apparatus, in order to perform an accurate measurement, the ultrasonic probe is held by a measurer's hand or a predetermined holder so that the measurement point of the blood vessel becomes substantially constant during the measurement. It is necessary to hold it firmly.
ところで、特許文献２には、ロボットアームを使って超音波プローブを保持させ、当該超音波プローブが測定に最適となる血管上の位置に存在しない場合に、当該最適位置に前記超音波プローブを自動的に移動させるロボットシステムが開示されている。このロボットシステムは、超音波プローブを所定のピッチで自動的に移動させ、その際に得られるそれぞれの超音波画像について画像処理及び判定を行うことにより、前記最適位置の探索及び決定をし、当該最適位置に超音波プローブを導くようになっている。 Incidentally, in Patent Document 2, when an ultrasonic probe is held using a robot arm and the ultrasonic probe does not exist at a position on a blood vessel that is optimal for measurement, the ultrasonic probe is automatically set at the optimal position. A robot system that moves automatically is disclosed. This robot system automatically moves the ultrasonic probe at a predetermined pitch, searches and determines the optimum position by performing image processing and determination on each ultrasonic image obtained at that time, The ultrasonic probe is guided to the optimum position.
しかしながら、前記ロボットシステムでは、最適位置に超音波プローブが保持された状態で被検者が動くこと等により、超音波プローブが最適位置からずれてしまうと、最適位置の探索のための前述の処理を再度行わなければならず、最適位置を見つけ出すのに時間がかかるという不都合がある。すなわち、超音波プローブが最適位置からずれてしまうと、再度、超音波プローブを所定の範囲内で段階的に動かし、各ポイントで取得した超音波画像それぞれに対して、画像処理を行って最適位置か否かの判定を行わなければならず、超音波プローブを１回の動作で前記最適位置に戻すことができない。 However, in the robot system, when the subject moves while the ultrasound probe is held at the optimum position, the processing described above for searching for the optimum position is performed when the ultrasound probe is displaced from the optimum position. Must be performed again, and it takes time to find the optimum position. In other words, when the ultrasonic probe deviates from the optimal position, the ultrasonic probe is again moved stepwise within a predetermined range, and image processing is performed on each of the ultrasonic images acquired at each point to perform the optimal position. Whether or not the ultrasonic probe cannot be returned to the optimum position in one operation.
本発明は、このような不都合に着目して案出されたものであり、その目的は、超音波プローブの位置や姿勢が、所望の超音波画像が得られる最適状態から変化したときに、当該最適状態に超音波プローブを迅速に戻すための超音波診断システム、超音波診断装置用ロボット、及びプログラムを提供することにある。 The present invention has been devised by paying attention to such inconveniences, and the purpose of the present invention is when the position and orientation of the ultrasonic probe change from the optimum state where a desired ultrasonic image can be obtained. To provide an ultrasonic diagnostic system, a robot for an ultrasonic diagnostic apparatus, and a program for quickly returning an ultrasonic probe to an optimum state.
前記目的を達成するため、本発明に係る超音波診断システムは、超音波パルスの送波及びエコーの受波を行う超音波プローブと、当該超音波プローブからの信号により超音波画像を生成する超音波画像生成手段と、前記超音波プローブを動作させるプローブ動作手段と、所定範囲内で予め前記超音波プローブを移動させた際に、当該移動中の各位置での超音波画像を記憶画像として記憶する記憶手段と、現在得られている超音波画像である現画像と前記各記憶画像との対比により、目標の超音波画像となる目標画像が得られる前記超音波プローブの最適位置及び最適姿勢に対する変化量を求めるプローブ状態変化量検出手段と、当該プローブ状態変化量検出手段で求めた前記変化量がゼロになるように前記プローブ動作手段の動作制御を行う動作制御手段とを備える、という構成を採っている。 In order to achieve the above object, an ultrasonic diagnostic system according to the present invention includes an ultrasonic probe that transmits an ultrasonic pulse and receives an echo, and an ultrasonic wave that generates an ultrasonic image based on a signal from the ultrasonic probe. When the ultrasonic probe is moved in advance within a predetermined range, the ultrasonic image at each position during the movement is stored as a stored image. Storage means, and a current image, which is an ultrasonic image currently obtained, and the respective stored images are compared with the optimum position and posture of the ultrasonic probe from which a target image that becomes a target ultrasonic image is obtained. Probe state change amount detection means for obtaining a change amount, and controlling the operation of the probe operation means so that the change amount obtained by the probe state change amount detection means is zero. And a work control unit, and employs a configuration that.
また、前記記憶手段には、前記記憶画像として、前記最適位置を挟む所定範囲内で前記超音波プローブを前記最適姿勢と同一姿勢で直線移動させた際に、一定の移動間隔毎に得られた複数の前記超音波画像である対比用画像と、前記目標画像とが前記超音波プローブの位置に対応して記憶され、
前記プローブ状態変化量検出手段では、前記現画像内の所定部分に一致する部分を有する前記記憶画像が得られる前記超音波プローブの位置と、前記目標画像が得られる前記超音波プローブの位置との離間距離に基づいて前記変化量を求める、という構成を採っている。
Further, the storage means obtains, as the stored image, every predetermined movement interval when the ultrasonic probe is linearly moved in the same posture as the optimum posture within a predetermined range sandwiching the optimum position. A plurality of images for comparison, which are ultrasonic images, and the target image are stored corresponding to the position of the ultrasonic probe,
In the probe state change amount detecting means, a position of the ultrasonic probe from which the stored image having a portion matching a predetermined portion in the current image is obtained, and a position of the ultrasonic probe from which the target image is obtained. The configuration is such that the amount of change is obtained based on the separation distance.
ここで、前記プローブ状態変化量検出手段では、前記超音波画像の上下左右の４箇所の領域について、現画像を前記記憶画像と対比し、各領域それぞれについて前記離間距離を求めた上で、相互に直交する３本の座標軸のうちで前記超音波画像の画面を左右させる方向に延びるｘ軸回りの回転における前記変化量と、前記画面を上下させる方向に延びるｙ軸回りの回転における前記変化量と、前記画面を直交する方向に延びるｚ軸方向の並進における前記変化量とを求める、という構成を採ることが好ましい。 Here, in the probe state change amount detecting means, the current image is compared with the stored image for the four regions on the top, bottom, left, and right of the ultrasonic image, and the separation distance is obtained for each region. The amount of change in the rotation about the x axis extending in the direction of moving the screen of the ultrasonic image left and right among the three coordinate axes orthogonal to the axis, and the amount of change in the rotation about the y axis extending in the direction of moving the screen up and down And the amount of change in translation in the z-axis direction extending in a direction orthogonal to the screen is preferably adopted.
更に、前記プローブ状態変化量検出手段では、前記ｘ軸方向及びｙ軸方向の並進における前記変化量と、前記ｚ軸方向の回転における前記変化量とを求める、という構成も採用するとよい。 Furthermore, the probe state change amount detecting means may be configured to obtain the change amount in translation in the x-axis direction and the y-axis direction and the change amount in rotation in the z-axis direction.
また、本発明は、超音波診断装置の超音波プローブを保持して所定の空間内を動作させる超音波診断装置用ロボットにおいて、
前記超音波プローブを動作させるプローブ動作手段と、所定範囲内で予め前記超音波プローブを移動させた際に、当該移動中の各位置での超音波画像を記憶画像として記憶する記憶手段と、現在得られている超音波画像と前記各記憶画像との対比により、目標の超音波画像が得られる前記超音波プローブの最適位置及び最適姿勢に対する変化量を求めるプローブ状態変化量検出手段と、当該プローブ状態変化量検出手段で求めた前記変化量がゼロになるように前記プローブ動作手段の動作制御を行う動作制御手段とを備える、という構成を採っている。
Further, the present invention relates to an ultrasonic diagnostic apparatus robot that holds an ultrasonic probe of an ultrasonic diagnostic apparatus and operates in a predetermined space.
A probe operating means for operating the ultrasonic probe; a storage means for storing an ultrasonic image at each moving position as a stored image when the ultrasonic probe is moved in advance within a predetermined range; Probe state change amount detecting means for obtaining a change amount with respect to the optimum position and optimum posture of the ultrasonic probe from which a target ultrasonic image is obtained by comparing the obtained ultrasonic image and each stored image, and the probe An operation control means for controlling the operation of the probe operation means so that the change amount obtained by the state change amount detection means becomes zero is adopted.
更に、本発明は、所定の空間内で超音波診断装置の超音波プローブを移動させる超音波診断装置用ロボットの動作に関する処理を行うコンピュータを機能させるためのプログラムにおいて、
所定範囲内で予め前記超音波プローブを移動させた際に、当該移動中の各位置での超音波画像を記憶画像として記憶する記憶手段と、現在得られている超音波画像と前記各記憶画像との対比により、目標の超音波画像が得られる前記超音波プローブの最適位置及び最適姿勢に対する変化量を求めるプローブ状態変化量検出手段として前記コンピュータを機能させる、という構成を採っている。
Furthermore, the present invention provides a program for causing a computer to perform a process related to the operation of a robot for an ultrasonic diagnostic apparatus that moves an ultrasonic probe of the ultrasonic diagnostic apparatus within a predetermined space.
When the ultrasonic probe is moved in advance within a predetermined range, storage means for storing an ultrasonic image at each moving position as a stored image, a currently obtained ultrasonic image, and each stored image Thus, the computer is caused to function as probe state change amount detection means for obtaining a change amount with respect to the optimum position and posture of the ultrasound probe from which a target ultrasound image is obtained.
本発明によれば、被検者の不意な動き等によって、超音波プローブの位置や姿勢が、所望の超音波画像が得られる最適状態からずれた場合に、現在得られている超音波画像と記憶手段に予め記憶された記憶画像とを対比することで、前記最適状態からの超音波プローブの位置や姿勢の変化量が求められ、当該変化量をゼロにするように超音波プローブを動かすことができる。従って、このように超音波プローブが最適状態からずれた場合に、超音波プローブを被検者の皮膚上を段階的に動かしながら、その都度、最適状態か否かを判定する必要がなく、前記変化量に基づいて最適状態となるように超音波プローブを直接動かすことができ、超音波プローブの最適状態への迅速な復帰が可能となる。 According to the present invention, when the position or posture of the ultrasonic probe deviates from the optimum state where a desired ultrasonic image can be obtained due to unexpected movement of the subject, the currently obtained ultrasonic image and By comparing the stored image stored in advance in the storage means, the amount of change in the position and orientation of the ultrasound probe from the optimum state is obtained, and the ultrasound probe is moved so that the amount of change is zero. Can do. Therefore, when the ultrasonic probe deviates from the optimal state in this way, it is not necessary to determine whether or not the ultrasonic probe is in the optimal state each time while moving the ultrasonic probe stepwise on the subject's skin. The ultrasonic probe can be directly moved so as to be in an optimum state based on the amount of change, and the ultrasonic probe can be quickly returned to the optimum state.
以下、本発明の実施形態について図面を参照しながら説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図１には、本実施形態に係る超音波診断システムの概略構成図が示されている。この図において、超音波診断システム１０は、被検者の体内の超音波画像を取得可能な超音波診断装置１１と、超音波診断装置１１に隣接して設けられた超音波診断装置用ロボット１２（以下、単に「ロボット１２」と称する）とからなる。 FIG. 1 shows a schematic configuration diagram of an ultrasonic diagnostic system according to the present embodiment. In this figure, an ultrasonic diagnostic system 10 includes an ultrasonic diagnostic apparatus 11 capable of acquiring an ultrasonic image in the body of a subject and an ultrasonic diagnostic apparatus robot 12 provided adjacent to the ultrasonic diagnostic apparatus 11. (Hereinafter simply referred to as “robot 12”).
前記超音波診断装置１１は、超音波パルスの送波及びエコーの受波を行う超音波プローブ１４（探触子）と、超音波プローブ１４からの信号により超音波画像を生成する超音波画像生成手段１５とを含む公知の構成となっており、ここでは、詳細な説明を省略する。
The ultrasonic diagnostic apparatus 11 generates an ultrasonic image based on an ultrasonic probe 14 (probe) that transmits ultrasonic pulses and receives echoes, and signals from the
前記ロボット１２は、超音波プローブ１４を保持して動作させるプローブ動作手段としてのロボットアーム１７と、超音波画像生成手段１５で生成された超音波画像に基づき各種処理を行う処理装置１８とを備えて構成されている。
The robot 12 includes a robot arm 17 as a probe operating unit that holds and operates the
前記ロボットアーム１７は、図示省略したモータを含む各種部材によって６自由度の動作が可能となっており、所定空間内で超音波プローブ１４を自動的に移動させるように動作する一方で、操作者の手で超音波プローブ１４を動かせるようにもなっている。なお、このロボットアーム１７は、公知の機構により構成されており、本発明の本質部分ではないため、詳細な説明を省略する。
The robot arm 17 can be operated with six degrees of freedom by various members including a motor (not shown), and operates to automatically move the
前記処理装置１８は、ＣＰＵ等の演算処理装置及びメモリやハードディスク等の記憶装置等からなるコンピュータによって構成され、当該コンピュータを以下の各手段として機能させるためのプログラムがインストールされている。
The
すなわち、前記処理装置１８は、予め取得した複数の超音波画像を記憶する記憶手段２０と、記憶手段２０で記憶された超音波画像から、最適状態にある超音波プローブ１４に対する位置及び姿勢の変化量を求めるプローブ状態変化量検出手段２１と、プローブ状態変化量検出手段２１で求めた変化量がゼロになるようにロボットアーム１７の動作制御を行う動作制御手段２２とを備えている。
That is, the
前記記憶手段２０には、図２に概念的に示されるように、超音波診断に最適となる体内断層部分が映る超音波画像である目標画像Ｔ（同図中網掛表示）と、当該目標画像Ｔが得られる最適位置の周囲の位置の体内断層部分の超音波画像である対比用画像Ｃとが、以下に説明する事前操作によって予め記憶される。なお、以下において、適宜、記憶手段２０に記憶される目標画像Ｔ及び対比用画像Ｃを「記憶画像２０Ａ」と総称する。
As conceptually shown in FIG. 2, the
前記目標画像Ｔは、操作者が超音波プローブ１４を動かしながら、得られた超音波画像を目視することによって、超音波診断に最適となる位置を見つけ、スイッチ、マウス、キーボード等、図示しない操作手段を操作することで設定及び記憶される。なお、ロボット１２によって超音波プローブ１４を動かしながら、逐次得られた超音波画像を画像処理することによって、超音波診断に適正な超音波画像であるか否かを自動判定し、最適であると判定された超音波画像を目標画像Ｔとして記憶手段２０に記憶してもよい。
For the target image T, an operator moves the
前記対比用画像Ｃは、次の手順によって記憶手段２０に記憶される。すなわち、目標画像Ｔが設定された後、当該目標画像Ｔが得られる最適位置を中心とした一定範囲につき、ロボット１２若しくは操作者の手により、超音波プローブ１４でスキャンする。ここでは、超音波プローブ１４が、目標画像Ｔが得られた際の最適姿勢と同一の姿勢のまま被検者の皮膚上を接触しながら、一定速度で直線移動される。この際、当該直線移動時の両端地点は、最適位置を中心として相互に等距離になるように設定される。そして、超音波プローブ１４の接触によって得られた皮下の超音波画像が、一定時間毎に対比用画像Ｃとして記憶手段２０に記憶される。つまり、対比用画像Ｃは、目標画像Ｔが得られる超音波プローブ１４の最適位置を中心として、超音波プローブ１４の一定の移動間隔毎に得られる超音波画像となる。なお、ここでの超音波プローブ１４の移動距離となるスキャン幅は、ロボット１０の動作に関する誤差や、超音波プローブ１４を静止しておく際に想定される被検者の意図しない動きの幅等を考慮して予め定められる。また、対比用画像Ｃのフレーム間距離、すなわち、対比用画像Ｃを取得する際の超音波プローブ１４の位置間隔は、画像解像度に応じて適宜決定される。更に、各対比用画像Ｃは、目標画像Ｔからの離間方向（正負）及び離間距離を対応させた上で、記憶手段２０に記憶される。
The comparison image C is stored in the storage means 20 by the following procedure. That is, after the target image T is set, the
前記プローブ状態変化量検出手段２１では、目標画像Ｔが得られる最適状態となっている超音波プローブ１４の位置及び姿勢に対し、現在の超音波プローブ１４の位置及び姿勢が、どの程度ずれているかを表す変化量が以下の手順で求められる。
In the probe state change amount detection means 21, how much the current position and posture of the
具体的には、先ず、現在の超音波プローブ１４の位置及び姿勢により得られた超音波画像（以下、「現画像Ｎ」と称する。）が、超音波画像生成手段１５から送られ、この現画像Ｎが、記憶手段２０に記憶された各記憶画像２０Ａと対比される。
Specifically, first, an ultrasonic image obtained from the current position and orientation of the ultrasonic probe 14 (hereinafter referred to as “current image N”) is sent from the ultrasonic image generating means 15 and this current image is displayed. The image N is compared with each stored
この際、現画像Ｎにおいては、当該現画像Ｎ中の上下左右４箇所に、図３中実線枠で仮想的に表した所定範囲のマッチング対象領域Ｍが設定される。本実施形態においては、現画像が３００×４００ピクセルのところ、各マッチング対象領域Ｍが５０×５０ピクセルに設定されているが、マッチング対象領域Ｍの大きさは、特に限定されるものではない。なお、説明の便宜上、現画像Ｎ中で図３中上側のマッチング対象領域Ｍを第１の領域Ｍ１と称し、同下側のマッチング対象領域Ｍを第２の領域Ｍ２と称し、同左側のマッチング対象領域Ｍを第３の領域Ｍ３と称し、同右側のマッチング対象領域Ｍを第４の領域Ｍ４と称する。 At this time, in the current image N, matching target regions M within a predetermined range, which are virtually represented by solid line frames in FIG. In the present embodiment, when the current image is 300 × 400 pixels, each matching target area M is set to 50 × 50 pixels, but the size of the matching target area M is not particularly limited. For convenience of explanation, the upper matching target region M in FIG. 3 in the current image N is referred to as a first region M1, the lower matching target region M is referred to as a second region M2, and the left matching is performed. The target area M is referred to as a third area M3, and the matching target area M on the right side is referred to as a fourth area M4.
そして、現画像Ｎ中の各領域Ｍ１〜Ｍ４に存在する画像をテンプレートとして、記憶手段２０に記憶された記憶画像２０Ａにそれぞれに対し、テンプレートマッチングが行われる。
Then, template matching is performed on each of the stored
すなわち、先ず、現画像Ｎ中の各領域Ｍ１〜Ｍ４の位置に対応するように、記憶画像２０Ａ中の上下左右４箇所に、図３中点線枠で仮想的に表した所定範囲の探索領域Ｓが設定される。この探索領域Ｓは、マッチング対象領域Ｍよりもやや広範囲に設定され、特に限定されるものではないが、本実施形態では６０×６０ピクセルの範囲内に設定されている。なお、説明の便宜上、記憶画像２０Ａ中で図３中上側の探索領域Ｓを第１の領域Ｓ１と称し、同下側の探索領域Ｓを第２の領域Ｓ２と称し、同左側の探索領域Ｓを第３の領域Ｓ３と称し、同右側の探索領域Ｓを第４の領域Ｓ４と称する。
That is, first, a search area S of a predetermined range virtually represented by a dotted frame in FIG. 3 is provided at four positions in the stored
次いで、現画像Ｎ中の第１の領域Ｍ１と、各記憶画像２０Ａ中にそれぞれ存在する第１の領域Ｓ１とが対比され、現画像Ｎ中の第１の領域Ｍ１と同一の画像情報を有する部分が第１の領域Ｓ１内に存在する記憶画像２０Ａ（以下、「第１のマッチング記憶画像」と称する。）が探索される。同様に、現画像Ｎ中の第２の領域Ｍ２と同一の画像情報を有する部分が第２の領域Ｓ２内に存在する記憶画像２０Ａ（以下、「第２のマッチング記憶画像」と称する。）が探索される。また、現画像Ｎ中の第３の領域Ｍ３と同一の画像情報を有する部分が第３の領域Ｓ３内に存在する記憶画像２０Ａ（以下、「第３のマッチング記憶画像」と称する。）が探索される。更に、現画像Ｎ中の第４の領域Ｍ４と同一の画像情報を有する部分が第４の領域Ｓ４内に存在する記憶画像２０Ａ（以下、「第４のマッチング記憶画像」と称する。）が探索される。つまり、前記最適状態に対して超音波プローブ１４の位置及び姿勢が変化しなければ、第１〜第４のマッチング記憶画像は、全て目標画像Ｔとなる。一方、前記最適状態に対して超音波プローブ１４の位置及び姿勢が変化すると、各マッチング記憶画像は、少なくとも一部が対比用画像Ｃになる。
Next, the first area M1 in the current image N and the first area S1 respectively present in each stored
次に、前述のマッチング結果により、前記最適状態に対する超音波プローブ１４の６軸の変化量が求められる。
Next, the six-axis change amount of the
なお、ここでは、図２及び図３に示されるように、相互に直交する３本の座標軸のうち、超音波画像の画面を左右させる方向に延びる軸をｘ軸とし、同画面を上下させる方向に延びる軸をｙ軸とし、同画面を直交する方向に延びる軸をｚ軸とする。 Here, as shown in FIG. 2 and FIG. 3, of the three coordinate axes orthogonal to each other, the axis extending in the direction of moving the screen of the ultrasound image is the x axis, and the direction of moving up and down the screen. The axis extending in the direction is the y axis, and the axis extending in the direction orthogonal to the screen is the z axis.
前記最適状態に対する超音波プローブ１４のｘ軸回りの回転変化量ψｘは、次式で求められる。
ψｘ＝ｋ１（Ｚ１−Ｚ２） （１）
ここで、ｋ１は、予め設定された定数であり、Ｚ１は、前記第１のマッチング記憶画像に対応して記憶された当該マッチング記憶画像における目標画像Ｔからの離間距離（ｚ軸方向の並進距離）であり、Ｚ２は、前記第２のマッチング記憶画像に対応して記憶された当該マッチング記憶画像における目標画像Ｔからの離間距離（ｚ軸方向の並進距離）である。
The rotation change amount ψx around the x-axis of the
ψx = k1 (Z 1 −Z 2 ) (1)
Here, k1 is a preset constant, Z 1 is the translation of the first distance from the target image T in the matching storage image stored in correspondence with the matching stored image (z-axis direction Z 2 is a separation distance (translation distance in the z-axis direction) from the target image T in the matching storage image stored corresponding to the second matching storage image.
また、前記最適状態に対する超音波プローブ１４のｙ軸回りの回転変化量ψｙは、次式で求められる。
ψｙ＝ｋ２（Ｚ３−Ｚ４） （２）
ここで、ｋ２は、予め設定された定数であり、Ｚ３は、前記第３のマッチング記憶画像に対応して記憶された当該マッチング記憶画像における目標画像Ｔからの離間距離（ｚ軸方向の並進距離）であり、Ｚ４は、前記第４のマッチング記憶画像に対応して記憶された当該マッチング記憶画像における目標画像Ｔからの離間距離（ｚ軸方向の並進距離）である。
Further, the rotation change amount ψy about the y-axis of the
ψy = k2 (Z 3 −Z 4 ) (2)
Here, k2 is a preset constant, Z 3 is the translation of the third distance from the target image T in the matching storage image stored in correspondence with the matching stored image (z-axis direction Z 4 is a distance (translation distance in the z-axis direction) from the target image T in the matching storage image stored corresponding to the fourth matching storage image.
更に、前記最適状態に対する超音波プローブ１４のｘ軸方向の並進変化量ｘは、次式で求められる。
ｘ＝（Ｘ１＋Ｘ２）／２ （３）
ここで、Ｘ１は、現画像Ｎの第１の領域Ｍ１内における画像情報の目標画像Ｔに対するｘ軸方向の移動量（ｘ軸方向の並進距離）であり、Ｘ２は、現画像Ｎの第２の領域Ｍ２内における画像情報の目標画像Ｔに対するｘ軸方向の移動量（ｘ軸方向の並進距離）である。ここでは、テンプレートマッチングにより、現画像Ｎの第１及び第２の領域Ｍ１，Ｍ２それぞれの画像情報が、目標画像Ｔの第１及び第２の領域Ｓ１，Ｓ２内のどの部分に存在するか特定し、当該各画像情報について、目標画像Ｔに対するｘ軸方向の位置の差分をそれぞれ求め、それら各差分の平均がｘ軸回りの並進変化量ｘとなる。
Further, the translational change amount x in the x-axis direction of the
x = (X 1 + X 2 ) / 2 (3)
Wherein, X 1 is the amount of movement of the x-axis direction with respect to the target image T of the image information in the first area M1 of the current picture N (translation distance in the x-axis direction), X 2 is the current image N This is a movement amount (translation distance in the x-axis direction) in the x-axis direction with respect to the target image T of the image information in the second region M2. Here, by template matching, it is specified in which part in the first and second regions S1 and S2 of the target image T the image information of each of the first and second regions M1 and M2 of the current image N exists. Then, for each image information, a difference in position in the x-axis direction with respect to the target image T is obtained, and the average of these differences is the translation change amount x around the x-axis.
また、前記最適状態に対する超音波プローブ１４のｙ軸方向の並進変化量ｙは、
ｙ＝Ｙ２ （４）
となる。ここで、Ｙ２は、現画像Ｎの第２の領域Ｍ２内における画像情報の目標画像Ｔに対するｙ軸方向の移動量（ｙ軸方向の並進距離）である。ここでは、テンプレートマッチングにより、現画像Ｎの第２の領域Ｍ２の画像情報が、目標画像Ｔの第２の領域Ｓ２内のどの部分に存在するか特定した後、当該画像情報について、目標画像Ｔに対するｙ軸方向の位置の差分を移動量Ｙ２とし、当該移動量Ｙ２がｙ軸回りの並進変化量ｙとなる。なお、ここでは、以下の理由により、皮膚に近い第１の領域Ｍ１は使用していない。すなわち、超音波プローブ１４のｙ軸方向の上下運動は、皮下組織の圧縮によって生ずるが、超音波プローブ１４から近い上側の第１の領域Ｍ１に相当する体内部分は、超音波プローブ１４を皮膚に押し込んだときに移動、変形し易く、超音波プローブ１４に対して移動しにくい。このため、第１の領域Ｍ１の画像情報は、超音波プローブ１４が上下に動いても、超音波画像内であまり動かないため、下側の第２の領域Ｍ２のみを使用している。
The translational change amount y in the y-axis direction of the
y = Y 2 (4)
It becomes. Here, Y 2 is the amount of movement of the y-axis direction with respect to the target image T of the image information in the second area M2 of the current picture N (translation distance in the y-axis direction). Here, after specifying by template matching in which part in the second region S2 of the target image T the image information of the second region M2 of the current image N exists, the target image T the difference between the position of the y-axis direction and the moving amount Y 2, the amount of movement Y 2 is the translational change amount y of y-axis with respect. Here, the first region M1 close to the skin is not used for the following reason. That is, the vertical movement of the
更に、前記最適状態に対する超音波プローブのｚ軸回りの回転変化量ψｚは、次式で求められる。
ψｚ＝ｋ３（Ｘ１−Ｘ２） （５）
ここで、ｋ３は、予め設定された定数であり、Ｘ１、Ｘ２は、上式（３）で用いた第１及び第２の領域Ｍ１，Ｍ２のｘ軸方向の移動量である。
なお、上式（５）に代え、以下の式（６）を用いてｚ軸回りの回転変化量ψｚを求めることもできる。
ψｚ＝ｋ４（Ｙ３−Ｙ４） （６）
ここで、ｋ４は、予め設定された定数であり、Ｙ３は、現画像Ｎの第３の領域Ｍ３における画像情報の目標画像Ｔに対するｙ軸方向の移動量（ｙ軸方向の並進距離）であり、Ｙ４は、現画像Ｎの第４の領域Ｍ４における画像情報の目標画像Ｔに対するｙ軸方向の移動量（ｙ軸方向の並進距離）である。ここでは、テンプレートマッチングにより、現画像Ｎの第３及び第４の領域Ｍ３，Ｍ４のそれぞれの画像情報が、目標画像Ｔの第３及び第４の領域Ｓ３，Ｓ４内のどの部分に存在するか特定し、当該各画像部分について、目標画像Ｔに対するｙ軸方向の位置の差分をそれぞれ求め、当該各差分の差に定数ｋ４を乗じることで、ｚ軸回りの回転変化量ψｚが求められる。
Further, the rotation change amount ψz around the z-axis of the ultrasonic probe with respect to the optimum state can be obtained by the following equation.
ψz = k3 (X 1 −X 2 ) (5)
Here, k3 is a preset constant, and X 1 and X 2 are movement amounts in the x-axis direction of the first and second regions M1 and M2 used in the above equation (3).
Instead of the above equation (5), the following equation (6) can also be used to determine the rotation change amount ψz around the z axis.
ψz = k4 (Y 3 −Y 4 ) (6)
Here, k4 is a preset constant, Y 3 is a movement amount of the y-axis direction with respect to the target image T of the image information in the third region M3 of the current image N (translation distance in the y-axis direction) There, Y 4 is a movement amount of the y-axis direction with respect to the target image T of the image information in the fourth region M4 of the current image N (translation distance in the y-axis direction). Here, by template matching, in which part in the third and fourth regions S3 and S4 of the target image T each image information of the third and fourth regions M3 and M4 of the current image N exists. For each of the image portions, a difference in position in the y-axis direction with respect to the target image T is obtained, and a rotation change amount ψz around the z-axis is obtained by multiplying the difference between the differences by a constant k4.
また、前記最適状態に対する超音波プローブのｚ軸方向の並進変化量ｚは、
ｚ＝Ｚ１ （７）
となる。ここで、Ｚ１は、上式（１）で用いた第１の領域Ｍ１のｚ軸方向の移動量である。なお、ここでは、前記第１〜第４の領域Ｍ１〜Ｍ４のうち、回転の影響を最も受け難い超音波プローブ１４から一番近い第１の領域Ｍ１のみを使用している。
The translational change amount z in the z-axis direction of the ultrasonic probe with respect to the optimum state is
z = Z 1 (7)
It becomes. Here, Z 1 is the amount of movement of the z-axis direction of the first region M1 used in the above equation (1). Here, among the first to fourth regions M1 to M4, only the first region M1 closest to the
以上の各式により、超音波プローブ１４の並進運動による前記最適状態からの位置の変化量である並進変化量ｘ，ｙ，ｚと、超音波プローブ１４の回転運動による前記最適状態からの姿勢の変化量である回転変化量ψｘ，ψｙ，ψｚとが６軸の変化量として求められる。
According to the above equations, the translational change amounts x, y, z, which are the change amounts of the position from the optimal state due to the translational motion of the
前記動作制御手段２２では、プローブ状態変化量検出手段２１で求めた６軸の変化量がゼロになるように、フィードバック制御によりロボットアーム１７を動作させるようになっている。 In the operation control means 22, the robot arm 17 is operated by feedback control so that the six-axis change amount obtained by the probe state change amount detection means 21 becomes zero.
従って、このような実施形態によれば、超音波プローブ１４を被検者の皮膚に接触したまま、一定時間に亘って超音波プローブ１４の静止状態を維持しながら所定の計測や診断を行う場合に、その途中で被検者が動いてしまい、超音波プローブ１４の位置及び姿勢が最適状態からずれて目標画像Ｔが得られなくなっても、ロボット１２を使って超音波プローブ１４をダイレクトに最適状態に復帰させることができる。
Therefore, according to such an embodiment, when the
なお、前記実施形態では、直交３軸における全ての位置及び姿勢についての前記変化量を求めているが、本発明はこれに限らず、超音波プローブ１４と被検者との相対移動範囲が所定の方向に限定されている等の場合には、前述した各式を選択的に用い、最適状態に対する超音波プローブ１４の位置、姿勢の変化量を限定した方向のみで求めるようにしてもよい。
In the embodiment, the amount of change for all positions and postures in the three orthogonal axes is obtained. However, the present invention is not limited to this, and the relative movement range between the
また、超音波画像内の所定部分がその面内で動く変化（ｉｎ−ｐｌａｎｅ）をもたらす超音波プローブ１４の状態変化による変化量は、ｘ軸及びｙ軸方向の並進変化量ｘ，ｙとｚ軸回りの回転変化量ψｚになる。一方、超音波画像内の所定部分がその面から飛び出す方向に動く変化（ｏｕｔ−ｏｆ−ｐｌａｎｅ）をもたらす超音波プローブ１４の状態変化による変化量は、ｘ軸及びｙ軸方向の回転変化量ψｘ，ψｙとｚ軸回りの並進変化量ｚになる。従って、ｉｎ−ｐｌａｎｅをもたらす前記変化量と、ｏｕｔ−ｏｆ−ｐｌａｎｅをもたらす前記変化量との何れか一方のみを求め、これらの変化の何れか一方に特化したロボット１２の制御も可能である。
Further, the amount of change due to the state change of the
更に、本実施形態では、マッチング対象領域Ｍ及び探索領域Ｓを各画像Ｎ，２０Ａの上下左右４箇所としたが、本発明はこれに限らず、マッチング対象領域Ｍ及び探索領域Ｓの数を更に増減してもよい。 Furthermore, in the present embodiment, the matching target area M and the search area S are four places in the top, bottom, left, and right of each image N, 20A, but the present invention is not limited to this, and the number of matching target areas M and search areas S is further increased. It may be increased or decreased.
また、前記プローブ状態変化量検出手段２１は、ロボット１２に適用しなくてもよく、超音波プローブ１４をロボット１２に保持させずに、前記変化量を図示しないモニタや音声で操作者に知らせるようにしてもよい。
Further, the probe state change
更に、前記記憶手段２０と前記プローブ状態変化量検出手段２１は、ロボット１２の処理装置１８内に設けたが、超音波診断装置１１内に設けてもよいし、超音波診断装置１１やロボット１２とは別の装置として設けることもできる。
Further, although the
その他、本発明における装置各部の構成は図示構成例に限定されるものではなく、実質的に同様の作用を奏する限りにおいて、種々の変更が可能である。 In addition, the configuration of each part of the apparatus in the present invention is not limited to the illustrated configuration example, and various modifications are possible as long as substantially the same operation is achieved.
１０ 超音波診断システム
１１ 超音波診断装置
１２ 超音波診断装置用ロボット
１４ 超音波プローブ
１５ 超音波画像生成手段
１７ ロボットアーム（プローブ動作手段）
２０ 記憶手段
２０Ａ 記憶画像
２１ プローブ状態変化量検出手段
２２ 動作制御手段
Ｃ 対比用画像
Ｎ 現画像
Ｔ 目標画像
DESCRIPTION OF SYMBOLS 10 Ultrasonic diagnostic system 11 Ultrasonic diagnostic apparatus 12 Robot for ultrasonic
20 storage means 20A stored
Claims (6)
前記プローブ状態変化量検出手段では、前記現画像内の所定部分に一致する部分を有する前記記憶画像が得られる前記超音波プローブの位置と、前記目標画像が得られる前記超音波プローブの位置との離間距離に基づいて前記変化量を求めることを特徴とする請求項１記載の超音波診断システム。 In the storage means, a plurality of images obtained at fixed movement intervals when the ultrasonic probe is linearly moved in the same posture as the optimum posture within a predetermined range sandwiching the optimum position as the stored image. The comparison image, which is the ultrasonic image, and the target image are stored corresponding to the position of the ultrasonic probe,
In the probe state change amount detecting means, a position of the ultrasonic probe from which the stored image having a portion matching a predetermined portion in the current image is obtained, and a position of the ultrasonic probe from which the target image is obtained. The ultrasonic diagnostic system according to claim 1, wherein the amount of change is obtained based on a separation distance.
前記超音波プローブを動作させるプローブ動作手段と、所定範囲内で予め前記超音波プローブを移動させた際に、当該移動中の各位置での超音波画像を記憶画像として記憶する記憶手段と、現在得られている超音波画像と前記各記憶画像との対比により、目標の超音波画像が得られる前記超音波プローブの最適位置及び最適姿勢に対する変化量を求めるプローブ状態変化量検出手段と、当該プローブ状態変化量検出手段で求めた前記変化量がゼロになるように前記プローブ動作手段の動作制御を行う動作制御手段とを備えたことを特徴とする超音波診断装置用ロボット。 In the ultrasonic diagnostic apparatus robot that holds the ultrasonic probe of the ultrasonic diagnostic apparatus and operates in a predetermined space,
A probe operating means for operating the ultrasonic probe; a storage means for storing an ultrasonic image at each moving position as a stored image when the ultrasonic probe is moved in advance within a predetermined range; Probe state change amount detecting means for obtaining a change amount with respect to the optimum position and optimum posture of the ultrasonic probe from which a target ultrasonic image is obtained by comparing the obtained ultrasonic image and each stored image, and the probe An ultrasonic diagnostic apparatus robot, comprising: an operation control unit that controls the operation of the probe operation unit so that the change amount obtained by the state change amount detection unit becomes zero.
所定範囲内で予め前記超音波プローブを移動させた際に、当該移動中の各位置での超音波画像を記憶画像として記憶する記憶手段と、現在得られている超音波画像と前記各記憶画像との対比により、目標の超音波画像が得られる前記超音波プローブの最適位置及び最適姿勢に対する変化量を求めるプローブ状態変化量検出手段として前記コンピュータを機能させることを特徴とするプログラム。 In a program for functioning a computer that performs processing related to the operation of a robot for an ultrasonic diagnostic apparatus that moves an ultrasonic probe of the ultrasonic diagnostic apparatus within a predetermined space,
When the ultrasonic probe is moved in advance within a predetermined range, storage means for storing an ultrasonic image at each moving position as a stored image, a currently obtained ultrasonic image, and each stored image A program that causes the computer to function as probe state change amount detection means for obtaining a change amount with respect to an optimum position and optimum posture of the ultrasound probe from which a target ultrasound image is obtained.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010198404A JP5463554B2 (en) | 2010-09-04 | 2010-09-04 | Ultrasonic diagnostic system, robot for ultrasonic diagnostic apparatus, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010198404A JP5463554B2 (en) | 2010-09-04 | 2010-09-04 | Ultrasonic diagnostic system, robot for ultrasonic diagnostic apparatus, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012055346A true JP2012055346A (en) | 2012-03-22 |
| JP5463554B2 JP5463554B2 (en) | 2014-04-09 |
Family
ID=46053181
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010198404A Expired - Fee Related JP5463554B2 (en) | 2010-09-04 | 2010-09-04 | Ultrasonic diagnostic system, robot for ultrasonic diagnostic apparatus, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5463554B2 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014200534A (en) * | 2013-04-08 | 2014-10-27 | コニカミノルタ株式会社 | Ultrasonic probe support device, ultrasonic diagnostic device and ultrasonic diagnostic system |
| JP2016010523A (en) * | 2014-06-30 | 2016-01-21 | ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー | Ultrasonic diagnostic apparatus and program |
| JPWO2021090390A1 (en) * | 2019-11-06 | 2021-05-14 | ||
| US11103214B2 (en) | 2016-03-07 | 2021-08-31 | Toshiba Medical Systems Corporation | Ultrasonic diagnostic apparatus using synthetic and moving aperture synthesis |
| CN113916979A (en) * | 2021-09-17 | 2022-01-11 | 秒针信息技术有限公司 | Workpiece defect detection method, device and system and computer readable storage medium |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0884740A (en) * | 1994-09-16 | 1996-04-02 | Toshiba Corp | Treatment apparatus |
| JP2003245280A (en) * | 2002-02-25 | 2003-09-02 | Ichiro Sakuma | Method for examining angioendothelial function |
| JP2008149044A (en) * | 2006-12-20 | 2008-07-03 | Matsushita Electric Ind Co Ltd | Ultrasonic diagnostic system |
| JP2009089736A (en) * | 2007-10-03 | 2009-04-30 | Toshiba Corp | Ultrasonograph |
-
2010
- 2010-09-04 JP JP2010198404A patent/JP5463554B2/en not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0884740A (en) * | 1994-09-16 | 1996-04-02 | Toshiba Corp | Treatment apparatus |
| JP2003245280A (en) * | 2002-02-25 | 2003-09-02 | Ichiro Sakuma | Method for examining angioendothelial function |
| JP2008149044A (en) * | 2006-12-20 | 2008-07-03 | Matsushita Electric Ind Co Ltd | Ultrasonic diagnostic system |
| JP2009089736A (en) * | 2007-10-03 | 2009-04-30 | Toshiba Corp | Ultrasonograph |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014200534A (en) * | 2013-04-08 | 2014-10-27 | コニカミノルタ株式会社 | Ultrasonic probe support device, ultrasonic diagnostic device and ultrasonic diagnostic system |
| JP2016010523A (en) * | 2014-06-30 | 2016-01-21 | ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー | Ultrasonic diagnostic apparatus and program |
| US11103214B2 (en) | 2016-03-07 | 2021-08-31 | Toshiba Medical Systems Corporation | Ultrasonic diagnostic apparatus using synthetic and moving aperture synthesis |
| JPWO2021090390A1 (en) * | 2019-11-06 | 2021-05-14 | ||
| WO2021090390A1 (en) * | 2019-11-06 | 2021-05-14 | 株式会社Ｆｕｊｉ | Positional deviation amount measuring device for ultrasonic probe |
| CN113916979A (en) * | 2021-09-17 | 2022-01-11 | 秒针信息技术有限公司 | Workpiece defect detection method, device and system and computer readable storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5463554B2 (en) | 2014-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109549667B (en) | Ultrasonic transducer scanning system, method and ultrasonic imaging equipment | |
| JP6843639B2 (en) | Ultrasonic diagnostic device and ultrasonic diagnostic support device | |
| Conti et al. | Interface design and control strategies for a robot assisted ultrasonic examination system | |
| JP5531239B2 (en) | Puncture support system | |
| US9538982B2 (en) | User interface for ultrasound scanning system | |
| JP5463554B2 (en) | Ultrasonic diagnostic system, robot for ultrasonic diagnostic apparatus, and program | |
| US11931202B2 (en) | Ultrasound automatic scanning system, ultrasound diagnostic apparatus, ultrasound scanning support apparatus | |
| JPWO2013161277A1 (en) | Ultrasonic diagnostic apparatus and control method thereof | |
| US20120116224A1 (en) | System and method for ultrasound imaging | |
| NL2028640B1 (en) | Robotized imaging system | |
| KR101656127B1 (en) | Measuring apparatus and program for controlling the same | |
| JP2015181767A (en) | Ultrasonic measuring apparatus | |
| WO2020047038A1 (en) | Methods and apparatuses for collection of ultrasound data | |
| CN111902095A (en) | Treatment device | |
| JP2007130063A (en) | Ultrasonographic apparatus | |
| US20130158403A1 (en) | Method for Obtaining a Three-Dimensional Velocity Measurement of a Tissue | |
| JP2014108311A (en) | Ultrasonic image display device and control program thereof | |
| JP6718520B2 (en) | Ultrasonic diagnostic apparatus and method for controlling ultrasonic diagnostic apparatus | |
| US20200297308A1 (en) | Ultrasound automatic scanning system, ultrasound diagnosis apparatus, and ultrasound scanning support apparatus | |
| JP5999935B2 (en) | Ultrasonic diagnostic equipment | |
| EP4011297B1 (en) | Ultrasonic diagnosis system and operation support method | |
| JP2017038638A (en) | Ultrasonic diagnostic equipment | |
| US20180168536A1 (en) | Intervolume lesion detection and image preparation | |
| US20220296219A1 (en) | System and methods for adaptive guidance for medical imaging | |
| WO2014129203A1 (en) | Ultrasonic diagnostic device and method for controlling ultrasonic diagnostic device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130117 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20130117 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131017 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131025 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131204 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131225 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131225 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5463554 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |