JP2014124269A - Ultrasonic diagnostic device - Google Patents

Ultrasonic diagnostic device Download PDF

Info

Publication number
JP2014124269A
JP2014124269A JP2012281739A JP2012281739A JP2014124269A JP 2014124269 A JP2014124269 A JP 2014124269A JP 2012281739 A JP2012281739 A JP 2012281739A JP 2012281739 A JP2012281739 A JP 2012281739A JP 2014124269 A JP2014124269 A JP 2014124269A
Authority
JP
Japan
Prior art keywords
image
pattern
fetus
ultrasonic
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012281739A
Other languages
Japanese (ja)
Other versions
JP6173686B2 (en
Inventor
Toshie Maruyama
敏江 丸山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Canon Medical Systems Corp
Original Assignee
Toshiba Corp
Toshiba Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Medical Systems Corp filed Critical Toshiba Corp
Priority to JP2012281739A priority Critical patent/JP6173686B2/en
Publication of JP2014124269A publication Critical patent/JP2014124269A/en
Application granted granted Critical
Publication of JP6173686B2 publication Critical patent/JP6173686B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an ultrasonic diagnostic device capable of easily grasping a correct direction of a fetus in the mother's body.SOLUTION: The ultrasonic diagnostic device includes an ultrasonic probe 1, an image processing part 5 which can generate an ultrasonic image with a position at which the ultrasonic probe 1 pressed as a center, a pattern storage part 11 for storing a pattern based on the shape of a portion in a fetus body which can specify the direction of the fetus, and a pattern recognition part 12 for specifying the direction of the fetus by collating the pattern with the ultrasonic image.

Description

本発明の実施形態は、超音波診断装置に関する。   Embodiments described herein relate generally to an ultrasonic diagnostic apparatus.

超音波診断装置は無侵襲な診断装置として、幅広い範囲における検査に使用されている。特に、周産期における超音波診断装置を使用したルーチン検査は、全国の医療施設で実施されている検査である。   An ultrasonic diagnostic apparatus is used as a non-invasive diagnostic apparatus for examinations in a wide range. In particular, the routine inspection using the ultrasonic diagnostic apparatus in the perinatal period is an inspection performed in medical facilities throughout the country.

通常、超音波診断装置の超音波プローブを母体の腹部にあてることで胎児の超音波画像を取得する。特に、胎児の腹部断面における超音波画像は、胎児異常の有無を判断するのに非常に有用である。従来の超音波診断装置では、胎児の腹部断面画像における腹部大動脈、肝内臍静脈、胃胞といった血管や内臓の位置関係から、母体内における胎児の向きを判断していた。   Usually, an ultrasonic image of a fetus is acquired by applying an ultrasonic probe of an ultrasonic diagnostic apparatus to the abdomen of the mother. In particular, an ultrasound image in the fetal abdominal section is very useful for determining the presence or absence of a fetal abnormality. In conventional ultrasonic diagnostic apparatuses, the orientation of the fetus in the mother's body is determined from the positional relationship between blood vessels and internal organs such as the abdominal aorta, intrahepatic umbilical vein, and gastric vesicle in the abdominal cross-sectional image of the fetus.

特開2011−104137号公報JP 2011-104137 A

しかし、特許文献1を始めとする従来の技術では、胎児の内臓の位置が内臓錯位によって反転している場合、胎児の腹部断面における超音波診断画像のみから母胎における胎児の正確な向きを判断するのは困難である。   However, in the conventional techniques including Patent Document 1, when the position of the visceral organ of the fetus is inverted due to the visceral complex, the correct orientation of the fetus in the mother's fetus is determined from only the ultrasonic diagnostic image in the abdominal section of the fetus. It is difficult.

本発明が解決しようとする課題は、母胎における胎児の正確な向きを簡単に把握可能な超音波診断装置を提供することである。   The problem to be solved by the present invention is to provide an ultrasonic diagnostic apparatus capable of easily grasping an accurate orientation of a fetus in a mother's womb.

上記課題を解決するために、実施形態の超音波診断装置は、超音波プローブと、前記超音波プローブが押し当てられている位置を中心に超音波画像を生成可能な画像処理部と、胎児の向きを特定可能な胎児体内の部位の形状に基づくパターンを記憶するパターン記憶部と、前記超音波画像に対して前記パターンを照合させることで前記胎児の向きを特定するパターン認識部と、を備える。   In order to solve the above-described problem, an ultrasonic diagnostic apparatus according to an embodiment includes an ultrasonic probe, an image processing unit capable of generating an ultrasonic image around a position where the ultrasonic probe is pressed, A pattern storage unit that stores a pattern based on the shape of a fetal body that can specify the orientation, and a pattern recognition unit that specifies the orientation of the fetus by collating the pattern against the ultrasound image. .

本実施形態における超音波診断装置のブロック図。1 is a block diagram of an ultrasonic diagnostic apparatus in the present embodiment. 本実施形態における脊椎の側面図。The side view of the spine in this embodiment. 本実施形態における胎児の腹部の断面図。Sectional drawing of the abdominal part of the fetus in this embodiment. 図3の断面を表す側面図。The side view showing the cross section of FIG. 本実施形態における二次元超音波画像の平面図1。FIG. 1 is a plan view 1 of a two-dimensional ultrasonic image in the present embodiment. 本実施形態における二次元超音波画像の平面図2。The top view 2 of the two-dimensional ultrasonic image in this embodiment. 本実施形態のフロー図。The flowchart of this embodiment. 本実施形態における母体と超音波プローブの位置関係図。The positional relationship figure of the mother body and ultrasonic probe in this embodiment.

以下、本発明の実施形態について図面を参照しながら説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

図1は、本実施形態における超音波診断装置のブロック図である。本超音波診断装置は、超音波プローブ1、送信部3、受信部4、画像処理部5、表示部7、操作部8、システム制御部9を備える。   FIG. 1 is a block diagram of an ultrasonic diagnostic apparatus according to this embodiment. The ultrasonic diagnostic apparatus includes an ultrasonic probe 1, a transmission unit 3, a reception unit 4, an image processing unit 5, a display unit 7, an operation unit 8, and a system control unit 9.

本実施形態において超音波プローブ1は、二次元に振動子が多数配列された二次元アレイプローブ、あるいは一次元に多数配列された振動子をその配列方向に対して垂直な方向に機械的に振ることができるメカ4Dプローブである。各振動子は、送信部3からの駆動パルスに基づいて超音波を発生し、被検体からの反射波をエコー信号に変換する。   In the present embodiment, the ultrasonic probe 1 mechanically shakes a two-dimensional array probe in which a large number of transducers are arranged in two dimensions or a transducer in which a large number of transducers are arranged in one dimension in a direction perpendicular to the arrangement direction. It is a mechanical 4D probe that can be used. Each transducer generates an ultrasonic wave based on the drive pulse from the transmission unit 3, and converts the reflected wave from the subject into an echo signal.

送信部3は、各振動子に対して駆動パルスをレート毎に送信する。システム制御部9は、駆動させる必要がある振動子を特定し、それらの振動子に対して送信される駆動パルスを遅延させるための遅延時間を計算する。送信部3は、システム制御部9が計算した遅延時間だけ各駆動パルスを遅延させる。遅延した各駆動パルスは各振動子に送信される。一方、システム制御部9は、駆動させる必要が無い振動子に対しては、駆動パルスが送信されないように設定する。上記操作によって、指向性のある送信ビームが生成される。   The transmission unit 3 transmits a drive pulse to each transducer at each rate. The system control unit 9 identifies vibrators that need to be driven, and calculates a delay time for delaying the drive pulse transmitted to those vibrators. The transmission unit 3 delays each drive pulse by the delay time calculated by the system control unit 9. Each delayed drive pulse is transmitted to each transducer. On the other hand, the system control unit 9 sets the drive pulse not to be transmitted to the vibrator that does not need to be driven. Through the above operation, a directional transmission beam is generated.

受信部4は、各振動子が反射波を受信することで得たエコー信号を増幅する。受信部4は、送信部が駆動パルスに与えた遅延時間と同じ時間だけ、増幅されたエコー信号を遅延させる。受信部4は、上記処理後の各エコー信号を足し合わせ、足し合わされたエコー信号に対して包絡線検波処理を施すことで、受信信号を生成する。   The receiving unit 4 amplifies an echo signal obtained when each transducer receives a reflected wave. The receiver 4 delays the amplified echo signal by the same time as the delay time given to the drive pulse by the transmitter. The receiving unit 4 adds the echo signals after the above processing, and performs an envelope detection process on the added echo signals to generate a reception signal.

画像処理部5は、図示しない画像生成部、図示しない計測処理部、図示しないデータ保管部を有する。図示しない画像生成部は、受信信号の所定断層に係る二次元分布或いは所定領域に関する三次元分布を用いて、二次元超音波画像あるいは三次元超音波画像を生成する。また、画像生成部は、三次元超音波画像の生成に必要なボリュームデータを用いて、所望の断面に対応するMPR(Multi Planar Reconstruction)画像を生成する。   The image processing unit 5 includes an image generation unit (not shown), a measurement processing unit (not shown), and a data storage unit (not shown). An image generation unit (not shown) generates a two-dimensional ultrasonic image or a three-dimensional ultrasonic image using a two-dimensional distribution related to a predetermined slice of the received signal or a three-dimensional distribution related to a predetermined region. Further, the image generation unit generates an MPR (Multi Planar Reconstruction) image corresponding to a desired cross section using volume data necessary for generating a three-dimensional ultrasonic image.

図示しない計測処理部は、生成した画像やボリュームデータを用いて臓器の内径や容積等を計測する。また、図示しない計測処理部は、計測結果に基づいて、臓器の内径や容積等の画像付帯情報を生成する。   A measurement processing unit (not shown) measures the inner diameter and volume of the organ using the generated image and volume data. A measurement processing unit (not shown) generates image supplementary information such as the inner diameter and volume of the organ based on the measurement result.

図示しないデータ保管部は、画像生成部が生成した画像及び計測処理部が生成した画像付帯情報を保管する。   A data storage unit (not shown) stores the image generated by the image generation unit and the image supplementary information generated by the measurement processing unit.

画像処理部5は、システム制御部9からの指示に従って、画像あるいは画像付帯情報を表示部7に送信する。   The image processing unit 5 transmits an image or image supplementary information to the display unit 7 in accordance with an instruction from the system control unit 9.

表示部7は、画像処理部5から送られてきた画像や画像付帯情報を表示する。また、オペレータの操作に必要となる所定の操作画面を表示する。   The display unit 7 displays the image and image supplementary information sent from the image processing unit 5. In addition, a predetermined operation screen necessary for the operator's operation is displayed.

操作部8は、オペレータからの各種指示を行うための操作手段(マウスやトラックボール、キーボードなど)を有する。操作部8は、システム制御部9を介して、送信部3及び画像処理部5へ指示を送る。   The operation unit 8 has operation means (mouse, trackball, keyboard, etc.) for giving various instructions from the operator. The operation unit 8 sends instructions to the transmission unit 3 and the image processing unit 5 via the system control unit 9.

システム制御部9は、上記した機能の他に、パターン記憶部11、パターン認識部12、ガイド表示設定部13、アノテーション設定部14を有する。   The system control unit 9 includes a pattern storage unit 11, a pattern recognition unit 12, a guide display setting unit 13, and an annotation setting unit 14 in addition to the functions described above.

図2は脊椎の側面図である。図2に示すように脊椎は棘突起100を有しており、棘突起100の背部方向の先端は、必ず足部を向いて形成されている。すなわち、棘突起100の向きがわかれば、母胎における胎児の頭部、足部、腹部、背部の向きがわかり、間接的に左右足部の向きもわかる。   FIG. 2 is a side view of the spine. As shown in FIG. 2, the spine has a spinous process 100, and the distal end of the spinous process 100 is always formed facing the foot. That is, if the orientation of the spinous process 100 is known, the orientation of the fetal head, feet, abdomen, and back in the fetus can be known, and the orientation of the left and right feet can also be known indirectly.

パターン記憶部11には、骨や内臓といった胎児の身体内の部位の形状がパターンとして登録されている。本実施形態においてパターン記憶部11は、胎児の腹部断面におけるパターンとして、棘突起100の形状に係るパターンを登録しているものとする。以下、このパターンについて説明する。   In the pattern storage unit 11, the shape of a part in the fetal body such as a bone or a viscera is registered as a pattern. In this embodiment, the pattern memory | storage part 11 shall register the pattern which concerns on the shape of the spinous process 100 as a pattern in the abdominal-section of a fetus. Hereinafter, this pattern will be described.

図3と図4は、胎児腹部の三次元超音波画像を複数の断面で切り分けたときの二次元超音波画像と、図3の各断面を表す脊椎の側面図である。図3における画像A〜Eは、図4の直線A〜Eを通る断面にそれぞれ対応する。画像Aは、図4における棘突起100の先端100aを通った断面の画像であり、胎児の背部の境界際に先端100aの一部が小さく描出されている。画像Bは、図4における棘突起100の先端100bを通った断面の画像であり、先端100bの一部が小さく描出されている。画像Cは、図4における先端100bを通った断面の画像であることは画像Bと同じだが、先端100bが画像Bのときよりも胎児の背部方向に長くなって描出されている。画像Dは、図4における先端100bと先端100cを通った断面の画像である。この画像では、先端100bが画像Cのときよりも胎児の背部方向に長くなっているものの途中で切れて描出されており、一方で、先端100cについては小さく描出されている。画像Eは、図4における先端100cを通った断面の画像であり、先端100cの一部が画像Dのときよりも背部方向に伸びて描出されている。   3 and 4 are a two-dimensional ultrasound image obtained by dividing a three-dimensional ultrasound image of the fetal abdomen by a plurality of sections, and a side view of the spine representing each section of FIG. Images A to E in FIG. 3 respectively correspond to cross sections passing through the straight lines A to E in FIG. An image A is an image of a cross section through the tip 100a of the spinous process 100 in FIG. 4, and a part of the tip 100a is depicted small at the border of the fetal back. The image B is an image of a cross section passing through the tip 100b of the spinous process 100 in FIG. 4, and a part of the tip 100b is depicted small. The image C is the same as the image B in that it is a cross-sectional image passing through the tip 100b in FIG. 4, but is drawn longer in the direction of the back of the fetus than when the tip 100b is the image B. Image D is an image of a cross section passing through tip 100b and tip 100c in FIG. In this image, the tip 100b is longer in the direction of the back of the fetus than in the case of the image C, but is cut off in the middle of the image, while the tip 100c is drawn smaller. An image E is an image of a cross section passing through the tip 100c in FIG. 4, and a part of the tip 100c is drawn extending in the back direction as compared with the case of the image D.

図3の画像Bと画像Cを比較してわかるように、胎児の腹部の断面画像を胎児の頭部方向から順に連続して表示した場合、棘突起100の先端100bが次第に長くなるように描出されていることがわかる。この描出の規則性を第一のパターンとする。逆に、胎児の腹部の断面画像を胎児の足部方向から順に連続して表示した場合は、棘突起100の先端100bが次第に短くなるように描出されることがわかる。この描出の規則性を第二のパターンとする。   As can be seen by comparing the image B and the image C in FIG. 3, when the cross-sectional images of the fetal abdomen are sequentially displayed from the head direction of the fetus, the tip 100b of the spinous process 100 is rendered to become gradually longer. You can see that This regularity of drawing is the first pattern. On the contrary, when the cross-sectional images of the fetal abdomen are sequentially displayed from the fetal foot direction, it can be seen that the tip 100b of the spinous process 100 is drawn so as to be gradually shortened. This regularity of drawing is the second pattern.

パターン認識部12は、パターン記憶部に登録されているパターンの中から、診断位置に対応したパターンを選択する。本実施形態では、上記第一のパターン及び第二のパターンを選択する。パターン認識部12は、第一のパターン及び第二のパターンに基づいて胎児の足部及び頭部の向きを判断する。なお具体的な判断方法については後述する。パターン認識部12は、この判断した結果をガイド表示設定部13に通知する。   The pattern recognition unit 12 selects a pattern corresponding to the diagnosis position from the patterns registered in the pattern storage unit. In the present embodiment, the first pattern and the second pattern are selected. The pattern recognition unit 12 determines the orientation of the fetal foot and head based on the first pattern and the second pattern. A specific determination method will be described later. The pattern recognition unit 12 notifies the guide display setting unit 13 of the determination result.

図5は、表示部7に表示される胎児の腹部断面における二次元超音波画像である。図5には、胃胞101、臍静脈102、脊椎103が描出されている。図5における臍静脈102及び脊椎103の位置関係から、胎児の腹部及び背部の向きは判明する。一方で、パターン認識部12からの通知によって、胎児の頭部及び足部の向きは既に判明している。これらの情報によって、間接的に胎児の左右側部方向が判明する。ガイド表示設定部13は、この間接的に判明した胎児の左右側部方向を図5に示すようなRight、Leftのマーカ201を用いてガイドする。なお、ここでは図5の奥行き方向は胎児の頭部方向、上方向が胎児の左側部、下方向が胎児の右側部である。   FIG. 5 is a two-dimensional ultrasound image of the fetal abdominal section displayed on the display unit 7. In FIG. 5, the gastric follicle 101, the umbilical vein 102, and the spine 103 are depicted. From the positional relationship between the umbilical vein 102 and the spine 103 in FIG. On the other hand, the orientations of the fetal head and feet are already known from the notification from the pattern recognition unit 12. With this information, the direction of the left and right sides of the fetus is indirectly determined. The guide display setting unit 13 guides the left and right side directions of the fetus indirectly found by using the Right and Left markers 201 as shown in FIG. Here, the depth direction in FIG. 5 is the fetal head direction, the upper direction is the left side of the fetus, and the lower direction is the right side of the fetus.

また、上記のようにRight及びLeftのマーカ201を用いる以外に、図6のようにボディマーク203を用いて胎児の向きをガイドすることもできる。図6は、本実施形態におけるボディマーク203を用いたガイド表示である。ボディマーク203においては、表示部7に描出されている二次元超音波画像が、胎児の足部方向と頭部方向のどちらの方向から見た図であるかを、矢印Gなどを使って表現する。オペレータは表示部7に描出されている二次元超音波画像とボディマーク203、ボディマーク203の矢印を見ることで、胎児の腹部方向、背部方向、頭部方向、足部方向、右側部方向、左側部方向を把握することができる。   Further, in addition to using the right and left markers 201 as described above, the direction of the fetus can also be guided using the body mark 203 as shown in FIG. FIG. 6 is a guide display using the body mark 203 in the present embodiment. In the body mark 203, an arrow G or the like is used to express whether the two-dimensional ultrasound image drawn on the display unit 7 is a view as seen from the fetal foot direction or the head direction. To do. The operator looks at the two-dimensional ultrasound image drawn on the display unit 7, the body mark 203, and the arrow of the body mark 203, so that the fetal abdomen direction, back direction, head direction, foot direction, right side direction, The left side direction can be grasped.

なお、これらのガイド表示は、図5及び図6のように超音波画像内に表示しても良いが、画像外の空きスペースに表示させても良い。これによって、超音波画像の視認性を低めずに、胎児の向きを把握することができる。   These guide displays may be displayed in the ultrasonic image as shown in FIGS. 5 and 6, but may be displayed in an empty space outside the image. This makes it possible to grasp the orientation of the fetus without reducing the visibility of the ultrasonic image.

アノテーション設定部14には、オペレータによってあらかじめ胎児の骨や臓器の名称と形状が設定されており、設定された骨や臓器の形状と類似する形状の像が超音波画像に描出されていれば、対応する骨や臓器の名称を当該像の周辺に表示する。例えば、胃胞101の名称と形状があらかじめアノテーション設定部14に設定されている場合、図5や図6に示すように胃胞の形状と類似する像に対して「Stomach」のアノテーション202を表示する。通常、アノテーション設定部14は、設定されている形状と類似する像が超音波画像に描出された場合は、自動的にアノテーション202を表示させる。また、アノテーション202は、操作部8あるいは表示部7に表示された操作画面を介して、オペレータの任意で表示/非表示の設定が行える。   In the annotation setting unit 14, the name and shape of a fetal bone or organ are set in advance by the operator, and if an image having a shape similar to the set bone or organ shape is drawn on the ultrasound image, The name of the corresponding bone or organ is displayed around the image. For example, if the name and shape of the gastric vesicle 101 are set in the annotation setting unit 14 in advance, the “Storach” annotation 202 is displayed for an image similar to the shape of the cyst as shown in FIGS. To do. Usually, the annotation setting unit 14 automatically displays the annotation 202 when an image similar to the set shape is drawn on the ultrasonic image. The annotation 202 can be arbitrarily set to display / hide by the operator via the operation screen displayed on the operation unit 8 or the display unit 7.

図7は、本実施形態のフロー図である。   FIG. 7 is a flowchart of this embodiment.

S1において、オペレータは診断を開始する。   In S1, the operator starts diagnosis.

S2において、オペレータは超音波プローブ1を母体の腹部に押し当て、表示部7に二次元超音波画像を描出させる。また、アノテーション設定部14は、自身に設定されている骨や臓器が二次元超音波画像として描出されたと判断した場合、該当する骨や臓器に対応するアノテーション202を表示部7に表示させる。オペレータは、二次元超音波画像とアノテーション202から、AC(Abdominal Circumference)計測を行うときの断面を探す。AC計測とは、胎児の腹部大動脈に直交する断面で、腹壁から脊柱までの距離の1/3〜1/4の長さだけ腹壁から離れた位置に臍静脈102が描出され、同時に胃胞101も描出されているときの断面における周囲長の計測のことである。なお、このAC計測は、通常の胎児発育計測の際に頻繁に利用される計測手技である。   In S <b> 2, the operator presses the ultrasonic probe 1 against the abdomen of the mother and causes the display unit 7 to draw a two-dimensional ultrasonic image. Further, when the annotation setting unit 14 determines that the bone or organ set in itself has been rendered as a two-dimensional ultrasound image, the annotation setting unit 14 displays the annotation 202 corresponding to the corresponding bone or organ on the display unit 7. The operator searches for a cross section when performing AC (Abdominal Circulation) measurement from the two-dimensional ultrasonic image and the annotation 202. AC measurement is a cross section perpendicular to the fetal abdominal aorta, where the umbilical vein 102 is depicted at a position separated from the abdominal wall by a length of 1/3 to 1/4 of the distance from the abdominal wall to the spinal column, and at the same time the gastric follicle 101 It is the measurement of the perimeter of the cross section when it is also drawn. Note that this AC measurement is a measurement technique frequently used in normal fetal growth measurement.

S3においてオペレータは、表示部7が表示している二次元超音波画像がAC計測を行うときの断面画像であると判断した場合、操作部8を介して、マーカ201あるいはボディマーク203によるガイド表示をシステム制御部9に要求する。   In S <b> 3, when the operator determines that the two-dimensional ultrasonic image displayed on the display unit 7 is a cross-sectional image when AC measurement is performed, the guide display by the marker 201 or the body mark 203 is performed via the operation unit 8. Is requested to the system control unit 9.

オペレータによるガイド表示要求があった場合、システム制御部9は、超音波プローブ1が二次元アレイプローブだった場合は、現在超音波プローブ1が押し当てられている位置を中心として電子的に走査線を振るように送信部3に指示を送り、メカ4Dプローブだった場合は、現在超音波プローブ1が押し当てられている位置を中心として機械的に走査線を振るように送信部3に指示を送る。S4に示した通り、画像処理部5は、受信部4から得た受信信号に基づいて三次元超音波画像を生成する。また、この三次元超音波画像はバックグラウンドで生成され、表示部7には依然としてS3の時点における二次元超音波画像が表示され続ける。なお、超音波プローブ1が、単に振動子が一次元的に配列されているだけの一次元アレイプローブであった場合、オペレータが手動で走査線を振ることで三次元超音波画像を生成することも当然可能である。   When there is a guide display request from the operator, the system control unit 9 electronically scans the scanning line around the position where the ultrasonic probe 1 is currently pressed, if the ultrasonic probe 1 is a two-dimensional array probe. In the case of the mechanical 4D probe, the transmitter 3 is instructed to mechanically swing the scanning line around the position where the ultrasonic probe 1 is pressed. send. As shown in S <b> 4, the image processing unit 5 generates a three-dimensional ultrasonic image based on the received signal obtained from the receiving unit 4. Further, this three-dimensional ultrasonic image is generated in the background, and the two-dimensional ultrasonic image at the time point S3 is still displayed on the display unit 7. If the ultrasonic probe 1 is a one-dimensional array probe in which transducers are simply arranged one-dimensionally, the operator manually generates a three-dimensional ultrasonic image by shaking the scanning line. Of course it is also possible.

システム制御部9は、S5に示す通り、現在描出されている二次元超音波画像が胎児のAC計測を行うときの断面であるかを判断する。システム制御部9は、例えば図5のように胃胞101、臍静脈102、脊椎103のアノテーション202が表示されており、臍動脈102の位置が上記したAC計測を行う断面であることの条件を満たしていることを判断基準として上記判断を行う。システム制御部9が、現在描出されている二次元超音波画像はAC計測を行う断面画像ではないと判断した場合、S3で行ったガイド表示要求は無効となり、オペレータはS2に戻ってAC計測を行うときの断面を新たに探す。   As shown in S <b> 5, the system control unit 9 determines whether the currently drawn two-dimensional ultrasound image is a cross-section when performing AC measurement of the fetus. For example, as shown in FIG. 5, the system control unit 9 displays the annotations 202 of the gastric vesicle 101, the umbilical vein 102, and the spine 103, and the condition that the position of the umbilical artery 102 is a cross section for performing the above-described AC measurement. The above determination is made based on the determination that the condition is satisfied. When the system control unit 9 determines that the currently drawn two-dimensional ultrasound image is not a cross-sectional image for AC measurement, the guide display request made in S3 is invalid, and the operator returns to S2 and performs AC measurement. Look for a new section when doing it.

一方、システム制御部9が、現在描出されている二次元超音波画像はAC計測を行うときの断面画像であると判断した場合、S6に示す通り、パターン記憶部11にあらかじめ登録されているパターンの中から前述の棘突起100に係る2種類のパターンが自動的に選択される。   On the other hand, when the system control unit 9 determines that the currently drawn two-dimensional ultrasound image is a cross-sectional image when AC measurement is performed, a pattern registered in advance in the pattern storage unit 11 as shown in S6. Two types of patterns related to the above-described spinous process 100 are automatically selected.

S7において、パターン認識部12は、画像処理部5が生成していた三次元超音波画像と選択された前述した2種類のパターンとのマッチングをバックグラウンドで行う。   In S7, the pattern recognition unit 12 performs matching between the three-dimensional ultrasonic image generated by the image processing unit 5 and the selected two types of patterns in the background.

図8(a)は本実施形態における母体と超音波プローブ1の正面図であり、図8(b)は本実施形態における母体と超音波プローブ1の側面図である。図8におけるx方向、y方向、z方向は、それぞれ右側部方向、腹部方向、頭部方向に対応しており、超音波プローブ1は、母体に対してy方向の逆の方向に押し当てられている。なお、S3における二次元超音波画像は、図8(b)の直線Fを通る断面画像であり、例えば超音波プローブから出た超音波ビームをx方向あるいはx方向の逆の方向に電子的に振ることで得られる。一方、S4に示すような三次元超音波画像は、例えば、上記断面を超音波プローブ1の設置部分を中心にz方向あるいはz方向の逆の方向に電子的に振ることで得られた二次元超音波画像を積み重ねることで得られる。なお、ここでは、図8(b)に示すようにz方向に上記断面を傾けたときの角度をθとする。   FIG. 8A is a front view of the mother body and the ultrasonic probe 1 in this embodiment, and FIG. 8B is a side view of the mother body and the ultrasonic probe 1 in this embodiment. The x direction, y direction, and z direction in FIG. 8 correspond to the right side direction, the abdomen direction, and the head direction, respectively, and the ultrasonic probe 1 is pressed against the mother in the direction opposite to the y direction. ing. Note that the two-dimensional ultrasonic image in S3 is a cross-sectional image passing through the straight line F in FIG. 8B. For example, the ultrasonic beam emitted from the ultrasonic probe is electronically moved in the x direction or the direction opposite to the x direction. Obtained by shaking. On the other hand, the three-dimensional ultrasonic image as shown in S4 is a two-dimensional image obtained by, for example, electronically shaking the cross section in the z direction or the direction opposite to the z direction with the installation portion of the ultrasonic probe 1 as the center. Obtained by stacking ultrasound images. Here, as shown in FIG. 8B, the angle when the cross section is inclined in the z direction is θ.

例えば、図8(b)におけるθを大きくするにつれて、二次元超音波画像中の棘突起100の先端部分が、胎児の背部方向に長くなる規則性がパターン認識部12によって認識されたとする。その場合、前述した2種類のパターンのうち「胎児の腹部の断面画像を胎児の頭部方向から順に連続して表示した場合、棘突起100の先端100bが次第に長くなるように描出されている」というパターン、即ち、第一のパターンに当てはまり、パターン認識部12はz方向が胎児の足部方向であると判断する。逆に、図8(b)におけるθを大きくするにつれて、二次元超音波画像中の棘突起100の先端部分が、胎児の腹部方向に短くなる規則性がパターン認識部12によって認識されたとする。その場合、前述した2種類のパターンのうち「胎児の腹部の断面画像を胎児の足部方向から順に連続して表示した場合は、棘突起100の先端100bが次第に短くなるように描出される」というパターン、即ち、第二のパターンに当てはまり、パターン認識部12は、z方向が胎児の頭部方向であると判断する。   For example, it is assumed that the pattern recognition unit 12 recognizes the regularity in which the tip portion of the spinous process 100 in the two-dimensional ultrasound image becomes longer in the back direction of the fetus as θ is increased in FIG. In that case, among the two types of patterns described above, “when the cross-sectional images of the fetal abdomen are successively displayed from the head direction of the fetus, the tip 100b of the spinous process 100 is drawn so as to become gradually longer”. That is, the pattern recognition unit 12 determines that the z direction is the fetal foot direction. Conversely, assume that the pattern recognition unit 12 recognizes the regularity that the tip portion of the spinous process 100 in the two-dimensional ultrasound image becomes shorter in the abdomen direction of the fetus as θ in FIG. 8B is increased. In that case, among the two types of patterns described above, “when the cross-sectional images of the abdomen of the fetus are successively displayed from the direction of the foot of the fetus, the tip 100b of the spinous process 100 is drawn so as to be gradually shortened.” In other words, the pattern recognition unit 12 determines that the z direction is the fetal head direction.

なお、胎児の脊椎の方向と母体の脊椎の方向が直交している場合などにおいても、図8(b)の直線Fを通る断面がAC計測を行う断面になる超音波プローブ1を母体に接触させ、その断面と直交する方向を図8におけるz方向及びz方向と逆の方向とみなすことで母胎における胎児の向きを把握することができる。   Even when the direction of the spine of the fetus is orthogonal to the direction of the mother's spine, the ultrasonic probe 1 whose cross section passing through the straight line F in FIG. The direction of the fetus in the womb can be grasped by regarding the direction orthogonal to the cross section as the z direction in FIG. 8 and the direction opposite to the z direction.

S8において、ガイド表示設定部13は、マッチングの結果に基づいて、マーカ201あるいはボディマーク203によって、胎児の向きを表示部7にガイド表示する。   In S8, the guide display setting unit 13 guides and displays the direction of the fetus on the display unit 7 with the marker 201 or the body mark 203 based on the matching result.

S9において、診断を終了する。   In S9, the diagnosis is terminated.

前述したようにAC計測は胎児の発育計測の際に頻繁に行われる計測手技である。本実施形態においてオペレータは、AC計測を行う断面を見つけさえすれば良いので、超音波診断装置の使用に不慣れなオペレータであっても容易に胎児の正確な向きを把握することができる。更にその結果、診断時間の短縮も期待できる。   As described above, AC measurement is a measurement technique frequently performed during fetal growth measurement. In this embodiment, since the operator only has to find a cross section for performing AC measurement, even an operator unfamiliar with the use of the ultrasonic diagnostic apparatus can easily grasp the accurate orientation of the fetus. As a result, the diagnosis time can be shortened.

変形例の一つとして、アノテーション設定部14が、AC計測を行う断面になった場合にのみアノテーション202を表示させても良い。この場合、表示部に表示されている断面画像がAC計測を行う断面画像であることをオペレータが認識しやすくなり、より簡単な操作で胎児の正確な向きを把握することができる。   As one modified example, the annotation setting unit 14 may display the annotation 202 only when a cross section for AC measurement is obtained. In this case, the operator can easily recognize that the cross-sectional image displayed on the display unit is a cross-sectional image for AC measurement, and the correct orientation of the fetus can be grasped with a simpler operation.

また、超音波画像中に描出される棘突起100の形状を用いたパターンは、棘突起100の中の一本の先端部分の特徴に基づく規則性だけでなく、複数の先端部分に基づく規則性でも良い。   Further, the pattern using the shape of the spinous process 100 depicted in the ultrasonic image is not only regular based on the characteristics of one tip portion in the spinous process 100 but also regularity based on a plurality of tip portions. But it ’s okay.

本実施形態においては、超音波画像中に描出される棘突起100の先端部分の形状から母胎における胎児の正確な向きを把握する方法を記述したが、パターンによって胎児の向きを特定できるような構造を有する部位、例えば脳室などであれば十分に適用が可能である。なお、脳室のパターンを登録し、脳室の超音波画像から胎児の向きを判断する場合、脳室の形状や大きさが妊娠週数によって変化することに注意しなければならない。この場合、各妊娠週数に対応したパターンをパターン記憶部11にあらかじめ登録しておき、実際の妊娠週数のパターンだけでなく、前後数週のパターンを用いてパターンのマッチングを行う。   In the present embodiment, the method for grasping the accurate orientation of the fetus in the mother's fetus from the shape of the tip portion of the spinous process 100 depicted in the ultrasound image has been described, but the structure that can identify the orientation of the fetus by the pattern The present invention can be sufficiently applied to a part having a surface, such as a ventricle. It should be noted that when the ventricular pattern is registered and the orientation of the fetus is determined from the ultrasound image of the ventricle, the shape and size of the ventricle change depending on the number of gestational weeks. In this case, a pattern corresponding to each gestational week is registered in the pattern storage unit 11 in advance, and pattern matching is performed using not only the actual gestational week pattern but also the patterns of several weeks before and after.

以上、本発明の実施形態を説明したが、これらの実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の趣旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。   As mentioned above, although embodiment of this invention was described, these embodiment is shown as an example and is not intending limiting the range of invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the spirit of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.

1・・・超音波プローブ
3・・・送信部
4・・・受信部
5・・・画像処理部
7・・・表示部
8・・・操作部
9・・・システム制御部
11・・・パターン記憶部
12・・・パターン認識部
13・・・ガイド表示設定部
14・・・アノテーション設定部
100・・・棘突起
100a、100b、100c・・・先端
101・・・胃胞
102・・・臍静脈
103・・・脊椎
201・・・マーカ
202・・・アノテーション
203・・・ボディマーク
DESCRIPTION OF SYMBOLS 1 ... Ultrasonic probe 3 ... Transmission part 4 ... Reception part 5 ... Image processing part 7 ... Display part 8 ... Operation part 9 ... System control part 11 ... Pattern Storage unit 12 ... Pattern recognition unit 13 ... Guide display setting unit 14 ... Annotation setting unit 100 ... Spinous processes 100a, 100b, 100c ... Tip 101 ... Gastric follicle 102 ... Umbilical cord Vein 103 ... spine 201 ... marker 202 ... annotation 203 ... body mark

Claims (8)

超音波プローブと、
前記超音波プローブが押し当てられている位置を中心に超音波画像を生成可能な画像処理部と、
胎児の向きを特定可能な胎児体内の部位の形状に基づくパターンを記憶するパターン記憶部と、
前記超音波画像に対して前記パターンを照合させることで前記胎児の向きを特定するパターン認識部と、
を備えた超音波診断装置。
An ultrasonic probe;
An image processing unit capable of generating an ultrasonic image around a position where the ultrasonic probe is pressed;
A pattern storage unit for storing a pattern based on the shape of a part in the fetal body that can specify the orientation of the fetus;
A pattern recognition unit that identifies the orientation of the fetus by matching the pattern against the ultrasound image;
An ultrasonic diagnostic apparatus comprising:
前記超音波画像を描出する表示部を備え、
前記パターン認識部によって特定された前記胎児の向きを前記表示部にガイド情報を表示させるガイド表示設定部を備えた請求項1に記載の超音波診断装置。
A display unit for rendering the ultrasonic image;
The ultrasonic diagnostic apparatus according to claim 1, further comprising a guide display setting unit configured to display guide information on the display unit for the orientation of the fetus specified by the pattern recognition unit.
前記胎児の向きを特定可能な胎児体内の部位は棘突起である請求項1又は2に記載の超音波診断装置。   The ultrasonic diagnostic apparatus according to claim 1, wherein the site in the fetal body that can specify the orientation of the fetus is a spinous process. 前記パターン認識部は、前記表示部に描出されている前記超音波画像がAC計測を行うときの断面画像であることを判断し、前記AC計測を行うときの断面画像であった場合は前記超音波画像に対して前記パターンを照合させる請求項3に記載の超音波診断装置。   The pattern recognition unit determines that the ultrasonic image drawn on the display unit is a cross-sectional image when performing AC measurement, and if the ultrasonic image is a cross-sectional image when performing AC measurement, the pattern recognition unit The ultrasonic diagnostic apparatus according to claim 3, wherein the pattern is collated with a sound wave image. 前記パターン設定部は、前記胎児の腹部断面画像において前記棘突起の先端が前記胎児の背部に向かって長くなるような第一のパターンと前記棘突起部分の先端が前記胎児の腹部に向かって短くなるような第二のパターンとを記憶しており、
前記パターン認識部は、所定の方向に超音波による走査線を振ったときの前記超音波画像が第一のパターンと第二のパターンのうちどちらのパターンに該当するかによって胎児の向きを特定する請求項1乃至4のうちいずれか一つに記載の超音波診断装置。
The pattern setting unit includes a first pattern in which the tip of the spinous process is elongated toward the back of the fetus in the abdominal cross-sectional image of the fetus and the tip of the spinous process is shortened toward the abdomen of the fetus. And remembers the second pattern,
The pattern recognition unit specifies the orientation of the fetus according to which of the first pattern and the second pattern the ultrasonic image when a scanning line by ultrasonic waves is shaken in a predetermined direction. The ultrasonic diagnostic apparatus as described in any one of Claims 1 thru | or 4.
前記ガイド情報は、前記胎児の向きを示すマーカあるいはボディマークである請求項2乃至4のいずれか一つに記載の超音波診断装置。   The ultrasonic diagnostic apparatus according to claim 2, wherein the guide information is a marker or a body mark indicating the direction of the fetus. 胎児の臓器あるいは骨の名称と形状を記憶し、前記表示部に描出されている前記超音波画像において前記臓器あるいは前記骨の形状に該当する像があった場合は、対応する前記臓器あるいは前記骨の名称をアノテーションとして前記表示部に表示させるアノテーション設定部を備えた請求項1乃至6のうちいずれか一つに記載の超音波診断装置。   Stores the name and shape of an organ or bone of a fetus, and if there is an image corresponding to the shape of the organ or bone in the ultrasound image drawn on the display unit, the corresponding organ or bone The ultrasonic diagnostic apparatus according to claim 1, further comprising: an annotation setting unit that causes the display unit to display the name of the image as an annotation. 前記パターン認識部によるパターンの照合と、前記パターン照合に係る前記超音波画像の収集はバックグラウンドで行う請求項1乃至7のうちいずれか一つに記載の超音波診断装置。   The ultrasonic diagnostic apparatus according to claim 1, wherein pattern matching by the pattern recognition unit and collection of the ultrasonic images related to the pattern matching are performed in the background.
JP2012281739A 2012-12-25 2012-12-25 Ultrasonic diagnostic equipment Active JP6173686B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012281739A JP6173686B2 (en) 2012-12-25 2012-12-25 Ultrasonic diagnostic equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012281739A JP6173686B2 (en) 2012-12-25 2012-12-25 Ultrasonic diagnostic equipment

Publications (2)

Publication Number Publication Date
JP2014124269A true JP2014124269A (en) 2014-07-07
JP6173686B2 JP6173686B2 (en) 2017-08-02

Family

ID=51404294

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012281739A Active JP6173686B2 (en) 2012-12-25 2012-12-25 Ultrasonic diagnostic equipment

Country Status (1)

Country Link
JP (1) JP6173686B2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10441249B2 (en) 2014-12-31 2019-10-15 Samsung Medison Co., Ltd. Ultrasound diagnosis apparatus and method of operating the same
JP2020062290A (en) * 2018-10-18 2020-04-23 株式会社日立製作所 Ultrasonic diagnostic device and program
WO2020159008A1 (en) * 2019-01-30 2020-08-06 삼성메디슨 주식회사 Ultrasound imaging device and ultrasound image generation method
US10768797B2 (en) 2014-12-15 2020-09-08 Samsung Medison Co., Ltd. Method, apparatus, and system for generating body marker indicating object
EP4027892A4 (en) * 2019-09-11 2023-09-27 Buros, Julie, C. Techniques for determining fetal situs during an imaging procedure
US11832987B2 (en) 2016-05-10 2023-12-05 Samsung Medison Co., Ltd. Ultrasound imaging apparatus and operation method therefor

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07116159A (en) * 1993-10-25 1995-05-09 Toshiba Medical Eng Co Ltd Ultrasonograph
JP2002140689A (en) * 2000-10-31 2002-05-17 Toshiba Corp Medical image processor and its method
JP2006314518A (en) * 2005-05-12 2006-11-24 Toshiba Corp Ultrasonic diagnostic unit
WO2007026598A1 (en) * 2005-08-31 2007-03-08 Gifu University Medical image processor and image processing method
JP2008289862A (en) * 2007-04-25 2008-12-04 Toshiba Corp Magnetic resonance imaging apparatus
JP2010051726A (en) * 2008-08-29 2010-03-11 Toshiba Corp Medical image diagnostic apparatus
WO2010109514A1 (en) * 2009-03-23 2010-09-30 株式会社島津製作所 Ultrasonograph
WO2011012055A1 (en) * 2009-07-27 2011-02-03 The Hong Kong Polytechnic University Three-dimensional (3d) ultrasound imaging system for assessing scoliosis
JP2011104137A (en) * 2009-11-18 2011-06-02 Aloka Co Ltd Ultrasonic diagnostic system
JP2011183147A (en) * 2010-03-10 2011-09-22 Samsung Medison Co Ltd Three-dimensional ultrasonic examination apparatus for scanning object inside human body and method for operating three-dimensional ultrasonic examination apparatus
WO2012042808A1 (en) * 2010-09-30 2012-04-05 パナソニック株式会社 Ultrasound diagnostic equipment

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07116159A (en) * 1993-10-25 1995-05-09 Toshiba Medical Eng Co Ltd Ultrasonograph
JP2002140689A (en) * 2000-10-31 2002-05-17 Toshiba Corp Medical image processor and its method
JP2006314518A (en) * 2005-05-12 2006-11-24 Toshiba Corp Ultrasonic diagnostic unit
WO2007026598A1 (en) * 2005-08-31 2007-03-08 Gifu University Medical image processor and image processing method
JP2008289862A (en) * 2007-04-25 2008-12-04 Toshiba Corp Magnetic resonance imaging apparatus
JP2010051726A (en) * 2008-08-29 2010-03-11 Toshiba Corp Medical image diagnostic apparatus
WO2010109514A1 (en) * 2009-03-23 2010-09-30 株式会社島津製作所 Ultrasonograph
WO2011012055A1 (en) * 2009-07-27 2011-02-03 The Hong Kong Polytechnic University Three-dimensional (3d) ultrasound imaging system for assessing scoliosis
JP2011104137A (en) * 2009-11-18 2011-06-02 Aloka Co Ltd Ultrasonic diagnostic system
JP2011183147A (en) * 2010-03-10 2011-09-22 Samsung Medison Co Ltd Three-dimensional ultrasonic examination apparatus for scanning object inside human body and method for operating three-dimensional ultrasonic examination apparatus
WO2012042808A1 (en) * 2010-09-30 2012-04-05 パナソニック株式会社 Ultrasound diagnostic equipment

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10768797B2 (en) 2014-12-15 2020-09-08 Samsung Medison Co., Ltd. Method, apparatus, and system for generating body marker indicating object
US10441249B2 (en) 2014-12-31 2019-10-15 Samsung Medison Co., Ltd. Ultrasound diagnosis apparatus and method of operating the same
US11832987B2 (en) 2016-05-10 2023-12-05 Samsung Medison Co., Ltd. Ultrasound imaging apparatus and operation method therefor
JP2020062290A (en) * 2018-10-18 2020-04-23 株式会社日立製作所 Ultrasonic diagnostic device and program
JP7169153B2 (en) 2018-10-18 2022-11-10 富士フイルムヘルスケア株式会社 Ultrasound diagnostic equipment and program
WO2020159008A1 (en) * 2019-01-30 2020-08-06 삼성메디슨 주식회사 Ultrasound imaging device and ultrasound image generation method
EP4027892A4 (en) * 2019-09-11 2023-09-27 Buros, Julie, C. Techniques for determining fetal situs during an imaging procedure

Also Published As

Publication number Publication date
JP6173686B2 (en) 2017-08-02

Similar Documents

Publication Publication Date Title
JP6173686B2 (en) Ultrasonic diagnostic equipment
JP6629031B2 (en) Ultrasound diagnostic device and medical image diagnostic device
JP6176839B2 (en) Ultrasonic diagnostic equipment
US10456106B2 (en) Ultrasonic diagnostic apparatus, medical image processing apparatus, and medical image processing method
US10368841B2 (en) Ultrasound diagnostic apparatus
CN109310399B (en) Medical ultrasonic image processing apparatus
US11801032B2 (en) Ultrasound probe, user console, system and method
JP2005312770A5 (en)
JP6097258B2 (en) Ultrasonic device and method of operating ultrasonic device
JP5601684B2 (en) Medical imaging device
JP2023014321A (en) Ultrasonic diagnostic apparatus and control program
KR20160012590A (en) Ultrasound imaging apparatus and controlling method thereof
JP5477889B2 (en) Medical navigation system
CN103327905A (en) Three dimensional ultrasonic guidance of surgical instruments
JP6309240B2 (en) Ultrasonic diagnostic equipment
KR102434685B1 (en) Ultrasound system for enhanced instrument visualization
JP2019093123A (en) Medical image diagnostic apparatus and medical image processing apparatus
JP2015104602A (en) Intracavitary probe and ultrasonic diagnostic device
JP5202916B2 (en) Ultrasound image diagnostic apparatus and control program thereof
JP2008061935A (en) Ultrasonograph and control program of ultrasonograph
JP6068017B2 (en) Ultrasonic diagnostic apparatus and image generation program
JP2007325664A (en) Ultrasonograph
JP2018187086A (en) Medical image display device, measurement method and program
JP6878042B2 (en) Ultrasonic diagnostic equipment and ultrasonic diagnostic support program
JP2016096881A (en) Ultrasonic diagnostic apparatus

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20141226

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20150216

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20150218

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20150626

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151019

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20160620

RD07 Notification of extinguishment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7427

Effective date: 20160627

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170524

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170606

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170705

R150 Certificate of patent or registration of utility model

Ref document number: 6173686

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350