JP2005296059A - Ultrasonic diagnostic device - Google Patents

Ultrasonic diagnostic device Download PDF

Info

Publication number
JP2005296059A
JP2005296059A JP2004112284A JP2004112284A JP2005296059A JP 2005296059 A JP2005296059 A JP 2005296059A JP 2004112284 A JP2004112284 A JP 2004112284A JP 2004112284 A JP2004112284 A JP 2004112284A JP 2005296059 A JP2005296059 A JP 2005296059A
Authority
JP
Japan
Prior art keywords
image data
moving image
ultrasonic
data group
factor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004112284A
Other languages
Japanese (ja)
Other versions
JP4578136B2 (en
Inventor
Nariaki Iwama
成昭 岩間
Satoshi Hanasaka
智 花阪
Masaru Suemune
勝 末宗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Healthcare Manufacturing Ltd
Original Assignee
Hitachi Medical Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Medical Corp filed Critical Hitachi Medical Corp
Priority to JP2004112284A priority Critical patent/JP4578136B2/en
Publication of JP2005296059A publication Critical patent/JP2005296059A/en
Application granted granted Critical
Publication of JP4578136B2 publication Critical patent/JP4578136B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an ultrasonic diagnostic device capable of preventing the visibility of moving images from being damaged. <P>SOLUTION: The ultrasonic diagnostic device is provided with a transmission/reception part 12 for outputting drive signals to a probe 10 and receiving reflected echo signals outputted from the probe 10, an image processing part 14, an image memory 16, and a moving image processing part 18 for reproducing an ultrasonic image data group stored in the image memory 16 as the moving images. The moving image processing part 18 is provided with a setting processing means 30 for setting a moving image data factor which rules moving image reproduction ability and a storage control means 34 for varying the moving image data factor of the ultrasonic image data group outputted from the image processing part 14 or the image memory 16 and storing the ultrasonic image data group in a moving image storage means 32 on the basis of the moving image data factor set by the setting processing means 30. The ultrasonic image data group is read from the moving image storage means 32 and displayed at a display part 22. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、超音波診断装置に係り、動画像を表示するのに好適な技術に関する。   The present invention relates to an ultrasonic diagnostic apparatus and relates to a technique suitable for displaying a moving image.

超音波診断装置は、探触子を介して被検体に超音波を照射すると共に、被検体から発生する反射エコー信号を受信し、受信した反射エコー信号に基づき超音波像データ(例えば、Bモード像データ、Mモード像データ)を再構成して表示部に表示する。   The ultrasonic diagnostic apparatus irradiates a subject with ultrasonic waves via a probe, receives a reflected echo signal generated from the subject, and generates ultrasonic image data (for example, B mode) based on the received reflected echo signal. Image data, M-mode image data) is reconstructed and displayed on the display unit.

このような超音波診断装置においては、リアルタイムに次々に撮像される超音波像データを記憶部(例えば、ハードディスク)に記憶し、記憶された複数の超音波像データを順に読み出して比較的高い表示レート(例えば、30フレーム/秒)で表示させることにより、撮像部位の動き(例えば、心臓の動き)に追従した動画像を再生することが行われる(例えば、特許文献1)。
特開2002−095640号公報
In such an ultrasonic diagnostic apparatus, ultrasonic image data sequentially captured in real time is stored in a storage unit (for example, a hard disk), and a plurality of stored ultrasonic image data are sequentially read to display a relatively high display. By displaying at a rate (for example, 30 frames / second), a moving image that follows the movement of the imaging region (for example, the movement of the heart) is reproduced (for example, Patent Document 1).
JP 2002-095640 A

ところで、動画像を表示させる処理は、例えばコンピュータを用いて行うのが一般的であるが、コンピュータでは、記憶部の読出し速度や、記憶部から表示部へのデータ転送バス容量、或いは、記憶部や表示部を制御するCPUの処理能力などに起因して、動画再生能力が制限されることがある。その場合、特許文献1のように、超音波像データ群を比較的高い表示レートで表示させようとすると、いくつかの超音波像データが欠落する、いわゆるドロップフレームが生じることがある。その結果、例えば動画像が一時的に停止するなど、視認性を損なう場合がある。   By the way, the process of displaying a moving image is generally performed using, for example, a computer, but in a computer, the reading speed of the storage unit, the data transfer bus capacity from the storage unit to the display unit, or the storage unit Due to the processing capability of the CPU that controls the display unit and the like, the video playback capability may be limited. In that case, as in Patent Document 1, when an ultrasonic image data group is displayed at a relatively high display rate, a so-called drop frame in which some ultrasonic image data is lost may occur. As a result, the visibility may be impaired, for example, the moving image temporarily stops.

本発明は、動画像の視認性が損なわれるのを防止できる超音波診断装置を実現することにある。   An object of the present invention is to realize an ultrasonic diagnostic apparatus that can prevent the visibility of a moving image from being impaired.

上記課題を解決するため、本発明の超音波診断装置は、被検体との間で超音波を送受する探触子に駆動信号を出力すると共に探触子から出力される反射エコー信号を受信する送受信部と、該送受信部から時間的にずれて出力される反射エコー信号に基づき複数の超音波像データを再構成する画像処理部と、再構成された超音波像データ群を記憶する画像メモリと、記憶された超音波像データ群を動画像として再生させる動画処理部とを備え、動画処理部は、動画再生能力を支配する動画データ因子を設定する設定手段と、設定手段により設定された動画データ因子に基づき、画像処理部又は画像メモリから出力される超音波像データ群の動画データ因子を可変して超音波像データ群を動画記憶部に記憶させる記憶制御手段を有し、動画記憶部から超音波像データ群を読み出して表示部に表示させることを特徴とする。   In order to solve the above problems, the ultrasonic diagnostic apparatus of the present invention outputs a drive signal to a probe that transmits and receives ultrasonic waves to and from a subject and receives a reflected echo signal output from the probe. A transmission / reception unit, an image processing unit for reconstructing a plurality of ultrasonic image data based on a reflected echo signal output from the transmission / reception unit with a time shift, and an image memory for storing the reconstructed ultrasonic image data group And a moving image processing unit that reproduces the stored ultrasonic image data group as a moving image. The moving image processing unit is set by a setting unit that sets a moving image data factor that governs the moving image reproduction capability, and the setting unit. Based on the moving image data factor, the moving image data factor of the ultrasonic image data group output from the image processing unit or the image memory is changed, and storage control means for storing the ultrasonic image data group in the moving image storage unit is provided. Part Characterized in that on the display unit reads the Luo ultrasound image data group.

すなわち、動画再生能力は、CPUの使用率、データ転送バス容量、記憶部の読出し速度などの装置の処理能力により制限される。その動画再生能力を超えて動画像を表示させようとするとドロップフレームが生じる。そこで、ドロップフレームが生じた時の動画再生能力を、そのときの動画データ因子(例えば、超音波像データ群の1画像あたりのデータサイズ、超音波像データ群を表示部に表示させる表示レート、超音波像データ群を表示部に表示させる表示時間、超音波像データ群のデータ圧縮率)に関連付けて計測する。   That is, the moving image reproduction capability is limited by the processing capability of the apparatus such as the CPU usage rate, the data transfer bus capacity, and the reading speed of the storage unit. A drop frame occurs when a moving image is displayed beyond the moving image reproduction capability. Therefore, the moving image reproduction capability when the drop frame occurs is determined by the moving image data factor (for example, the data size per image of the ultrasonic image data group, the display rate for displaying the ultrasonic image data group on the display unit, Measurement is performed in association with the display time for displaying the ultrasonic image data group on the display unit and the data compression rate of the ultrasonic image data group.

そして、計測した動画再生能力よりも超音波像データ群の動画像の再生処理の負荷が小さくなるように、画像メモリの超音波像データ群を読み出して動画記憶部に記録するに際して、その超音波像データ群の動画データ因子を可変する。これにより、超音波像データ群の動画像の再生処理は、動画再生能力を超えないように制限されることになるから、動画再生中のドロップフレームの発生を抑制することができる。   When the ultrasonic image data group of the image memory is read and recorded in the moving image storage unit so that the load of the moving image reproduction process of the ultrasonic image data group is smaller than the measured moving image reproduction capability, The moving image data factor of the image data group is varied. Thereby, since the reproduction process of the moving image of the ultrasonic image data group is limited so as not to exceed the moving image reproduction capability, it is possible to suppress the occurrence of the drop frame during the reproduction of the moving image.

ところで、一般に、超音波診断においては、撮像部位が動きを伴うときは、その動きに追従するように画像の表示レートを高くするのが望ましい。一方、動きをあまり伴わないときは、表示レートよりも表示画像の鮮明度を高くするのが望ましい。そこで、上述の記憶制御手段により、撮像部位の特性に応じて、超音波像データ群の動画データ因子に優先順位を付与し、超音波像データ群の動画データ因子が設定手段の動画データ因子よりも大きいとき、優先順位が低い順に超音波像データ群の動画データ因子を設定範囲で小さくすることができる。   By the way, in general, in ultrasonic diagnosis, when an imaging region is accompanied by a movement, it is desirable to increase the display rate of the image so as to follow the movement. On the other hand, when there is little movement, it is desirable to make the display image sharper than the display rate. Therefore, the above storage control means gives priority to the moving image data factor of the ultrasonic image data group according to the characteristics of the imaging region, and the moving image data factor of the ultrasonic image data group is greater than the moving image data factor of the setting means. Is larger, the moving image data factor of the ultrasound image data group can be reduced within the set range in order of increasing priority.

例えば、動きを伴う部位(例えば、心臓や血管などの循環器系)を撮像するときは、表示レートを比較的高く維持しつつ超音波像データを圧縮することにより、心臓の動きに追従した動画像を表示できる。一方、動きをあまり伴わない部位(例えば、腹部に生じた肝臓癌など)を撮像するときには、例えば超音波像データを圧縮せずに表示レートを低くすることにより、表示画像にボケなどが生じることを抑制でき、撮像部位の微細構造を視認することが容易になる。なお、データ圧縮率とは、圧縮後の画像データ量を原画像の画像データ量で除した割合である。   For example, when imaging a part with motion (for example, a circulatory system such as the heart or blood vessels), a moving image that follows the motion of the heart by compressing the ultrasound image data while maintaining a relatively high display rate. The image can be displayed. On the other hand, when imaging a portion that does not move much (for example, liver cancer that has occurred in the abdomen), the display image may be blurred by reducing the display rate without compressing the ultrasound image data, for example. It becomes easy to visually recognize the fine structure of the imaging region. The data compression rate is a ratio obtained by dividing the amount of image data after compression by the amount of image data of the original image.

また、撮像部位が動きを伴うか否かについては、操作者が入力設定すればよいが、自動判定することもできる。例えば、送受信部から時間的にずれて出力される各反射エコー信号の相関値や、時間的にずれて撮像された各超音波像データの輝度の相関値を求める。求めた相関値が閾値を一定時間超えるとき、撮像部位が動きを伴う部位であると判定し、相関値が閾値よりも小さいときは、動きをほとんど伴わない部位であると判定することができる。   Further, whether or not the imaging region is accompanied by movement may be set by the operator, but can be automatically determined. For example, the correlation value of each reflected echo signal output with a time shift from the transmission / reception unit and the correlation value of the luminance of each ultrasonic image data imaged with a time shift are obtained. When the obtained correlation value exceeds the threshold value for a certain time, it is determined that the imaging part is a part with motion, and when the correlation value is smaller than the threshold value, it can be determined that the part has little motion.

本発明によれば、動画像の視認性が損なわれるのを防止できる超音波診断装置を実現することができる。   ADVANTAGE OF THE INVENTION According to this invention, the ultrasonic diagnosing device which can prevent that the visibility of a moving image is impaired is realizable.

(第1の実施形態) 本発明を適用した超音波診断装置の第1の実施形態について図1及び図3を参照して説明する。図1は、本実施形態の超音波診断装置の構成図である。   First Embodiment A first embodiment of an ultrasonic diagnostic apparatus to which the present invention is applied will be described with reference to FIGS. 1 and 3. FIG. 1 is a configuration diagram of the ultrasonic diagnostic apparatus of the present embodiment.

図1に示すように、超音波診断装置は、超音波像データを取得する撮像処理系と、取得された超音波像データ群を動画像として再生する表示処理系に大別される。撮像処理系は、被検体との間で超音波を送受する探触子10に駆動信号を出力すると共に探触子10から出力される反射エコー信号を受信する送受信部12と、送受信部12から時間的にずれて出力される反射エコー信号に基づき複数の超音波像データ(例えば、Bモード像データ、Mモード像データ)を再構成する画像処理部14と、再構成された超音波像データ群を記憶する画像メモリ16を備えている。なお、送受信部12、画像処理部14、画像メモリ16を制御する制御部17を有している。   As shown in FIG. 1, the ultrasonic diagnostic apparatus is roughly classified into an imaging processing system that acquires ultrasonic image data and a display processing system that reproduces the acquired ultrasonic image data group as a moving image. The imaging processing system outputs a drive signal to the probe 10 that transmits / receives ultrasonic waves to / from the subject and receives a reflected echo signal output from the probe 10, and from the transmitter / receiver 12. An image processing unit 14 for reconstructing a plurality of ultrasonic image data (for example, B-mode image data and M-mode image data) based on reflected echo signals output with a time shift, and reconstructed ultrasonic image data An image memory 16 for storing groups is provided. In addition, it has the control part 17 which controls the transmission / reception part 12, the image process part 14, and the image memory 16. FIG.

表示処理系は、画像メモリ16に記憶された超音波像データ群を動画像として表示させる動画処理部18を備えている。動画処理部18は、画像メモリ16から超音波像データ群を読出し、読み出した超音波像データをデータ転送バス20を介して表示部22に出力する。表示部22は、動画処理部18から出力される超音波像データ群を一時的に記憶するビデオメモリ24と、ビデオメモリ24の超音波像データ群を表示するディスプレイ26を有している。なお、ディスプレイ26は、操作パネル36を介して入力されたパラメータやコメントなどの文字やグラフィックスも表示する。また、動画処理部18、表示部22などにデータ転送バス20を介して制御指令を出力するCPU(Central Control Unit)28を有している。   The display processing system includes a moving image processing unit 18 that displays the ultrasonic image data group stored in the image memory 16 as a moving image. The moving image processing unit 18 reads the ultrasonic image data group from the image memory 16 and outputs the read ultrasonic image data to the display unit 22 via the data transfer bus 20. The display unit 22 includes a video memory 24 that temporarily stores an ultrasonic image data group output from the moving image processing unit 18 and a display 26 that displays the ultrasonic image data group of the video memory 24. The display 26 also displays characters and graphics such as parameters and comments input via the operation panel 36. In addition, a CPU (Central Control Unit) 28 that outputs a control command to the moving image processing unit 18 and the display unit 22 via the data transfer bus 20 is provided.

本発明の特徴に係る動画処理部18は、動画再生能力を支配する動画データ因子を設定する設定手段としての設定処理手段30と、設定処理手段30により設定された動画データ因子に基づき、画像メモリ16から出力される超音波像データ群の動画データ因子を可変して動画記憶手段32に記憶させる記憶制御手段34を有している。また、動画処理部18に、キーボードやポインティングディバイスを有する操作パネル36が接続されている。ここで、動画データ因子とは、例えば、超音波像データ群の1画像あたりのデータサイズ(バイト)、超音波像データ群を表示部22に表示させる表示レート(フレーム/秒)、超音波像データ群を表示部22に表示させる表示時間(秒)、超音波像データ群のデータ圧縮率(%)である。データサイズは、1画像の幅(ピクセル)と高さ(ピクセル)と色深度(バイト/ピクセル)を乗算したものである。データ圧縮率とは、圧縮された圧縮後の画像データ量を原画像の画像データ量で除した割合である。要するに、動画データ因子としては、超音波像データ群の動画再生の処理負荷に影響を与えるパラメータを用いればよい。   The moving image processing unit 18 according to the feature of the present invention includes a setting processing unit 30 as a setting unit that sets a moving image data factor that controls the moving image reproduction capability, and an image memory based on the moving image data factor set by the setting processing unit 30. 16 includes a storage control unit 34 that changes the moving image data factor of the ultrasonic image data group output from 16 and stores the moving image data factor in the moving image storage unit 32. An operation panel 36 having a keyboard and a pointing device is connected to the moving image processing unit 18. Here, the moving image data factor is, for example, the data size (bytes) per image of the ultrasonic image data group, the display rate (frame / second) for displaying the ultrasonic image data group on the display unit 22, and the ultrasonic image. The display time (seconds) for displaying the data group on the display unit 22 and the data compression rate (%) of the ultrasonic image data group. The data size is obtained by multiplying the width (pixel), height (pixel), and color depth (byte / pixel) of one image. The data compression rate is a ratio obtained by dividing the compressed image data amount after compression by the image data amount of the original image. In short, as the moving image data factor, a parameter that affects the processing load of moving image reproduction of the ultrasound image data group may be used.

なお、記憶制御手段34は、画像処理部14から出力される超音波像データを動画記憶手段32に記憶させるようにしてもよい。動画記憶手段32としては、SRAM(Static Random Access Memory)やDRAM(Dynamic Access Memory)を用いてもよいし、ハードディスクやCD−R、CD−RW、DVD−RW、DVD−RAMなどを用いてもよい。また、制御部17とCPU28を1つの制御手段として構成してもよい。また、説明の便宜上、動画記憶手段32を動画処理部18に有した構成を説明するが、画像メモリ16やビデオメモリ24の記憶領域の一部として確保してもよい。また、圧縮方式としてJPEG(Joint Photographic Experts Group)を用いることにより、データ圧縮率を例えば2.5〜10%にしてもよいし、MPEG(Moving Picture Experts Group)など他の圧縮方式を用いてもよい。   The storage control unit 34 may store the ultrasonic image data output from the image processing unit 14 in the moving image storage unit 32. As the moving image storage means 32, an SRAM (Static Random Access Memory) or a DRAM (Dynamic Access Memory) may be used, or a hard disk, a CD-R, a CD-RW, a DVD-RW, a DVD-RAM, or the like may be used. Good. Moreover, you may comprise the control part 17 and CPU28 as one control means. Further, for convenience of explanation, a configuration in which the moving image storage unit 32 is provided in the moving image processing unit 18 will be described. Further, by using JPEG (Joint Photographic Experts Group) as a compression method, the data compression rate may be set to 2.5 to 10%, for example, or other compression methods such as MPEG (Moving Picture Experts Group) may be used. Good.

このように構成される超音波診断装置の基本動作について説明する。被検体に探触子10を接触させる。次いで、制御部17の指令に応じて、送受信部12から探触子10に駆動信号が供給される。これによって、探触子10から撮像部位(例えば、心臓)に超音波が送波される。撮像部位により反射された超音波は、探触子10に反射エコー信号として受波される。受波された反射エコー信号は、送受信部12によりアナログディジタル変換や整相加算処理が施される。送受信部12から出力された1次元の反射エコー信号に基づいて、画像処理部14により2次元の超音波像データが再構成される。再構成された超音波像データは、画像メモリ16に記憶される。このような動画が所定間隔で繰り返されることにより、時間的にずれて撮像された複数の超音波像データが画像メモリ16に記憶される。そして、画像メモリ16から超音波像データ群が、動画処理部18により読み出されて表示部22に順次出力されることによって、撮像部位の動画像が表示部22に再生される。   A basic operation of the ultrasonic diagnostic apparatus configured as described above will be described. The probe 10 is brought into contact with the subject. Next, a drive signal is supplied from the transmission / reception unit 12 to the probe 10 in accordance with a command from the control unit 17. As a result, ultrasonic waves are transmitted from the probe 10 to the imaging region (for example, the heart). The ultrasonic wave reflected by the imaging region is received by the probe 10 as a reflected echo signal. The received reflected echo signal is subjected to analog-digital conversion and phasing addition processing by the transmission / reception unit 12. Based on the one-dimensional reflected echo signal output from the transmitting / receiving unit 12, the image processing unit 14 reconstructs two-dimensional ultrasound image data. The reconstructed ultrasonic image data is stored in the image memory 16. By repeating such a moving image at a predetermined interval, a plurality of ultrasonic image data picked up in time are stored in the image memory 16. Then, the ultrasound image data group is read from the image memory 16 by the moving image processing unit 18 and sequentially output to the display unit 22, whereby the moving image of the imaging region is reproduced on the display unit 22.

ここで、本発明の動画処理部18の制御について図2を参照して説明する。図2は、動画処理部18の制御を示すフローチャートである。まず、本発明の制御を行う前に、画像メモリ16に記憶された超音波像データ群を表示部22に動画像として表示させる。表示された動画像が一時的に停止するなど、いくつかの超音波像データが欠落するドロップフレームが発生したとき、そのときの表示処理系の動画再生能力Aを自動又は操作パネル36を介して動画データ因子Sに関連付けて計測する。動画データ因子Sとは、超音波像データ群の1画像あたりのデータ表示サイズ(バイト)、超音波像データ群を表示部22に表示させる表示レート(フレーム/秒)、超音波像データ群を表示部22に表示させる表示時間(秒)、超音波像データ群のデータ圧縮率(%)である。計測された動画再生能力Aは、例えばファイルサイズ上限値として数値化されて記憶制御手段34に保持される。このファイルサイズ上限値は、各動画データ因子Sを乗算することにより求められる。要するに、動画再生能力を客観的に判断可能に数値化すればよい。   Here, the control of the moving image processing unit 18 of the present invention will be described with reference to FIG. FIG. 2 is a flowchart showing the control of the moving image processing unit 18. First, before performing the control of the present invention, the ultrasonic image data group stored in the image memory 16 is displayed on the display unit 22 as a moving image. When a drop frame in which some ultrasonic image data is lost occurs, such as when the displayed moving image is temporarily stopped, the moving image playback capability A of the display processing system at that time is automatically or via the operation panel 36. Measurement is performed in association with the video data factor S. The moving image data factor S is a data display size (byte) per image of the ultrasonic image data group, a display rate (frame / second) for displaying the ultrasonic image data group on the display unit 22, and an ultrasonic image data group. The display time (seconds) displayed on the display unit 22 and the data compression rate (%) of the ultrasound image data group. The measured moving image reproduction ability A is digitized as a file size upper limit value and held in the storage control unit 34, for example. This file size upper limit value is obtained by multiplying each moving image data factor S. In short, the video playback capability may be quantified so that it can be objectively determined.

一方、操作者により操作パネル36を介して記録条件(以下、動画データ因子Tという。)が入力され、入力された動画データ因子Tが設定処理手段30により設定される。例えば、画像メモリ16の超音波像データ群を動画記憶手段32に記憶するに際して、心臓の撮像に適するように、超音波像データ群の1画像あたりのデータ記録サイズ(バイト)、記録レート(例えば、6〜30フレーム/秒)、記録時間(例えば、1〜120秒)、データ圧縮率(例えば、2.5〜10%)が入力設定される。ここで、動画データ因子Tのデータ記録サイズは動画データ因子Sのデータ表示サイズに対応し、同様に、記録レートは表示レートに対応し、記録時間は表示時間に対応する。なお、操作パネル36を介して入力設定するに際しては、ディスプレイ26にGUI(Graphical User Interface)を表示することにより、インタラクティブに設定してもよい。   On the other hand, a recording condition (hereinafter referred to as moving image data factor T) is input by the operator via the operation panel 36, and the input moving image data factor T is set by the setting processing means 30. For example, when the ultrasound image data group of the image memory 16 is stored in the moving image storage means 32, the data recording size (bytes) per image of the ultrasound image data group and the recording rate (for example, so as to be suitable for imaging of the heart) , 6 to 30 frames / second), recording time (for example, 1 to 120 seconds), and data compression rate (for example, 2.5 to 10%) are input and set. Here, the data recording size of the moving image data factor T corresponds to the data display size of the moving image data factor S, similarly, the recording rate corresponds to the display rate, and the recording time corresponds to the display time. In setting the input via the operation panel 36, the setting may be made interactively by displaying a GUI (Graphical User Interface) on the display 26.

図2に示すように、本発明の制御が開始されると、設定処理手段30により設定された動画データ因子T(データ記憶サイズ、記憶レート、記憶時間、データ圧縮率)が読み出される(S102)。読み出された動画データ因子Tに基づいて、推定処理負荷Bが例えば予想ファイルサイズとして数値化される(S104)。この予想ファイルサイズは、各動画データ因子Tを乗算することにより求められる。要するに、推定処理負荷Bを客観的に判断可能に数値化すればよい。次いで、推定処理負荷Bの妥当性が判断される(S106)。例えば、推定処理負荷Bと動画再生能力Aを比較することにより、推定処理負荷Bが動画再生能力Aを超過しているとき、図3に示すようなメッセージが表示される(S108)。メッセージが表示されると、操作者は操作パネル36を介して所定の動画データ因子Tを可変する(S110)。例えば、心臓の動きに追従した動画像を表示させるために、記憶レートを比較的高く(例えば、30フレーム/秒)維持しつつ、記録時間を短くしたりデータ圧縮率を悪くしたりする。このようなS102〜S110の処理が繰り返されることにより、S106の処理で推定処理負荷Bが動画再生能力Aよりも小さいと判定されることになる。そのように判定されたとき、画像メモリ16の超音波像データ群が、そのときの動画データ因子Tに従って動画記憶手段32に記憶される。   As shown in FIG. 2, when the control of the present invention is started, the moving image data factor T (data storage size, storage rate, storage time, data compression rate) set by the setting processing means 30 is read (S102). . Based on the read moving image data factor T, the estimated processing load B is quantified, for example, as an expected file size (S104). The expected file size is obtained by multiplying each moving picture data factor T. In short, the estimated processing load B may be quantified so that it can be objectively determined. Next, the validity of the estimated processing load B is determined (S106). For example, when the estimated processing load B exceeds the moving image reproduction capability A by comparing the estimated processing load B and the moving image reproduction capability A, a message as shown in FIG. 3 is displayed (S108). When the message is displayed, the operator changes a predetermined moving image data factor T via the operation panel 36 (S110). For example, in order to display a moving image following the movement of the heart, the recording time is shortened or the data compression rate is lowered while the storage rate is kept relatively high (for example, 30 frames / second). By repeating the processes of S102 to S110, it is determined that the estimated processing load B is smaller than the moving image reproduction capability A in the process of S106. When so determined, the ultrasonic image data group of the image memory 16 is stored in the moving image storage means 32 according to the moving image data factor T at that time.

操作パネル36から動画再生指令が入力されると、CPU28を専有する他のタスクに優先させて動画再生処理が実行される。動画再生処理が実行されると、動画処理部18により、動画記憶手段32の超音波像データ群が撮像時間を昇順にして順に読み出される。読み出された超音波像データ群は、データ転送バス20を介してビデオメモリ24に一時的に記憶された後、ディスプレイ26に動画像として再生される。   When a moving image reproduction command is input from the operation panel 36, the moving image reproduction process is executed with priority over other tasks dedicated to the CPU 28. When the moving image reproduction process is executed, the moving image processing unit 18 sequentially reads out the ultrasonic image data group in the moving image storage unit 32 in ascending order of imaging time. The read ultrasound image data group is temporarily stored in the video memory 24 via the data transfer bus 20 and then reproduced as a moving image on the display 26.

また、動画再生処理が実行されてからの経過時間を計時し、計時された時間が動画データ因子Tの記録時間に達したとき、最終フレームの超音波像データが表示されたとして動画再生処理を終了する。なお、最終フレームに相当する時間を計時することに代えて、最終フレームにマーカ(例えば、フレーム番号)を付与することにより、そのマーカを検出した時に動画再生処理を終了させることもできる。再生中の超音波像データのフレーム番号は、動画データ因子Tの記憶レートと再生開始からの経過時間を乗算することにより求めればよい。   In addition, the elapsed time from the execution of the moving image reproduction process is counted, and when the counted time reaches the recording time of the moving image data factor T, the moving image reproduction process is performed assuming that the ultrasonic image data of the final frame is displayed. finish. Note that, instead of counting the time corresponding to the last frame, by adding a marker (for example, a frame number) to the last frame, the moving image reproduction process can be ended when the marker is detected. The frame number of the ultrasonic image data being reproduced may be obtained by multiplying the storage rate of the moving image data factor T by the elapsed time from the start of reproduction.

一般に、動画再生能力は、CPUの使用率、データ転送バス容量、記憶部の読出し速度などの装置の処理能力により制限される。その動画再生能力を超えて動画像を表示させようとするとドロップフレームが生じる。この点、本実施形態では、装置の動画再生能力Aが動画データ因子Sに関連付けて予め計測される。そして、計測された動画再生能力Aよりも推定処理負荷Bが小さくなるように、画像メモリ16の超音波像データ群を読み出して動画記憶手段32に記録するに際して、その画像データ群の動画データ因子Tが可変される。したがって、本実施形態によれば、超音波像データ群の動画再生の推定処理負荷Bは、動画再生能力Aを超えないように制限されることになるから、動画再生中のドロップフレームの発生を抑制することができる。その結果、再生される動画は、例えば心臓の動きに安定かつスムースに追従したものとなり、動画像の視認性が損なわれるのを防止できる。   In general, the moving image reproduction capability is limited by the processing capability of the apparatus such as the usage rate of the CPU, the data transfer bus capacity, and the reading speed of the storage unit. A drop frame occurs when a moving image is displayed beyond the moving image reproduction capability. In this regard, in the present embodiment, the moving image reproduction capability A of the apparatus is measured in advance in association with the moving image data factor S. When the ultrasonic image data group in the image memory 16 is read out and recorded in the moving image storage means 32 so that the estimated processing load B is smaller than the measured moving image reproduction capability A, the moving image data factor of the image data group T is varied. Therefore, according to the present embodiment, the estimation processing load B for moving image reproduction of the ultrasound image data group is limited so as not to exceed the moving image reproduction capability A. Therefore, the generation of drop frames during moving image reproduction is prevented. Can be suppressed. As a result, the reproduced moving image is, for example, stable and smoothly following the motion of the heart, and can prevent the visibility of the moving image from being impaired.

また、S110の処理では、ディスプレイ26に表示された超音波像データに関心領域を操作パネル36を介して指定することにより、データ記憶サイズを小さくしてもよい。これにより、画像メモリ16の超音波像データは、関心領域に対応するデータに限定されて動画記憶手段92に記憶されることになるから、推定処理負荷Bを小さくすることができる。また、動画データ因子Tを小さく可変する例を説明したが、推定処理負荷Bが動画再生能力Aよりも小さいときは、動画データ因子Tを大きくしてもよい。これにより、例えば心臓の動きにより追従した視認性のよい動画像を表示できる。   In the processing of S110, the data storage size may be reduced by designating a region of interest in the ultrasonic image data displayed on the display 26 via the operation panel 36. Thereby, since the ultrasonic image data of the image memory 16 is limited to data corresponding to the region of interest and is stored in the moving image storage unit 92, the estimation processing load B can be reduced. Further, although an example in which the moving image data factor T is changed small has been described, when the estimated processing load B is smaller than the moving image reproduction capability A, the moving image data factor T may be increased. Thereby, for example, a highly visible moving image following the movement of the heart can be displayed.

(第2の実施形態) 本発明を適用した超音波診断装置の第2の実施形態について説明する。本実施形態が第1の実施形態と異なる点は、S110の処理で操作者が任意の動画データ因子Tを可変することに代えて、予め設定された優先順位が低い動画データ因子Tから順に可変することにある。したがって、第1の実施形態と同一の部分については説明を省略し、相違点について説明する。   (Second Embodiment) A second embodiment of an ultrasonic diagnostic apparatus to which the present invention is applied will be described. The present embodiment is different from the first embodiment in that, instead of the operator changing the arbitrary moving image data factor T in the processing of S110, the moving image data factor T having a lower priority order is changed in order. There is to do. Therefore, description of the same parts as those in the first embodiment is omitted, and differences will be described.

例えば、動きを伴う部位(例えば、心臓や血管などの循環器系)を撮像するときは、記憶レートの優先順位を最も高く設定すると共に、他の動画データ因子T(例えば、データ圧縮率や記録時間)の優先順位を適宜低く設定する。一方、動きをほとんど伴わない部位(例えば、腹部に生じた肝臓癌)を撮像するときは、データ圧縮率の優先順位を最も高く設定すると共に、他の動画データ因子Tの優先順位を適宜低く設定する。なお、優先順位は、操作者により操作パネル36を介して設定される。要するに、撮像部位の特性に応じて動画データ因子Tに優先順位を付与すればよい。   For example, when imaging a part with motion (for example, a circulatory system such as a heart or blood vessel), the highest priority is set for the storage rate, and other moving image data factor T (for example, data compression rate or recording) Set the priority of time) as low as appropriate. On the other hand, when imaging a site with little movement (for example, liver cancer that has occurred in the abdomen), the priority of the data compression rate is set to the highest and the priority of other moving image data factor T is set to a lower value as appropriate. To do. The priority order is set by the operator via the operation panel 36. In short, priority may be given to the moving image data factor T according to the characteristics of the imaging region.

このように設定された動画データ因子Tの優先順位は、S108の処理により図3のメッセージと共に表示される。表示された優先順位を参照することにより、操作者は、操作パネル36を介して優先順位が低く設定された動画データ因子Tから順に小さくする。また、操作者が手段で動画データ因子Tを可変することに代えて、優先順位が低い順に動画データ因子Tを設定範囲で自動的に小さくしてもよい。   The priority order of the moving image data factor T set in this way is displayed together with the message of FIG. 3 by the process of S108. By referring to the displayed priority order, the operator sequentially decreases the moving picture data factor T, which has a lower priority order, via the operation panel 36. Further, instead of the operator changing the moving image data factor T by means, the moving image data factor T may be automatically reduced within a set range in order of increasing priority.

本実施形態によれば、第1の実施形態の効果に加えて、動きを伴う部位を撮像するとき、その動きに追従した動画像を表示できる。また、動きを伴わない部位を撮像するときは、表示画像にボケなどが生じることを抑制でき、撮像部位の微細構造を視認することが容易になる。   According to the present embodiment, in addition to the effects of the first embodiment, when a part with movement is imaged, a moving image following the movement can be displayed. In addition, when imaging a part that does not move, it is possible to suppress the occurrence of blurring in the display image, and it becomes easy to visually recognize the fine structure of the imaging part.

(第3の実施形態) 本発明を適用した超音波診断装置の第3の実施形態について説明する。本実施形態が第2の実施形態と異なる点は、動画データ因子Tの優先順位を操作パネル36を介して設定することに代えて、優先順位を自動的に設定することにある。したがって、第1及び第2の実施形態と同一の部分については説明を省略し、相違点について説明する。   (Third Embodiment) A third embodiment of an ultrasonic diagnostic apparatus to which the present invention is applied will be described. This embodiment is different from the second embodiment in that the priority order is automatically set instead of setting the priority order of the moving image data factor T via the operation panel 36. Therefore, description of the same parts as those in the first and second embodiments is omitted, and differences will be described.

例えば、動画処理部18に、撮像部位が動きを伴う部位か否かについて判定する撮像部位判定手段を備える。まず、撮像部位判定手段により画像メモリ16から各超音波像データが読み出される。読み出された各超音波像データの輝度の相関値が求められる。求められた相関値が一定時間を越えて閾値を越えているとき、撮像部位は動きを伴う部位であると判定される。また、相関値が閾値よりも小さいとき、撮像部位は動きをほとんど伴わない部位であると判定される。   For example, the moving image processing unit 18 includes an imaging part determination unit that determines whether or not the imaging part is a part with movement. First, each ultrasound image data is read from the image memory 16 by the imaging region determination means. A correlation value of luminance of each read ultrasonic image data is obtained. When the obtained correlation value exceeds the threshold for a certain time, it is determined that the imaging region is a region with movement. Further, when the correlation value is smaller than the threshold value, it is determined that the imaging part is a part that hardly moves.

撮像部位が動きを伴う部位であると判定されたときは、例えば記憶レートの優先順位が最も高く設定されると共に、他の動画データ因子T(例えば、データ圧縮率や記録時間)の優先順位が予め決められた順に低く設定される。また、撮像部位が動きをほとんど伴わない部位であると判定されたときは、例えばデータ圧縮率の優先順位が最も高く設定されると共に、他の動画データ因子Tの優先順位が予め決められた順に低く設定される。要するに、撮像部位の特性に応じて動画データ因子Tに自動的に優先順位が付与される。   When it is determined that the imaging region is a region with movement, for example, the priority of the storage rate is set to the highest, and the priority of other moving image data factors T (for example, data compression rate and recording time) is set. It is set lower in the order determined in advance. Further, when it is determined that the imaging part is a part with little movement, for example, the priority order of the data compression rate is set to the highest, and the priority order of the other moving image data factor T is set in a predetermined order. Set low. In short, priority is automatically given to the moving image data factor T according to the characteristics of the imaging region.

そして、第2の実施形態と同様な処理をするに際して、推定処理負荷Bが動画再生能力Aを超過しているとき、優先順位が低い順に動画データ因子Tが自動的に設定範囲で小さくされる。これにより、第2の実施形態による効果に加えて、装置の使い勝手を向上させることができる。   When performing the same processing as in the second embodiment, when the estimated processing load B exceeds the moving image reproduction capability A, the moving image data factor T is automatically reduced within the set range in order of increasing priority. . Thereby, in addition to the effect by 2nd Embodiment, the usability of an apparatus can be improved.

なお、本実施形態では、撮像部位の特性を判定するのに超音波像データの輝度相関を用いたが、送受信部12から時間的にずれて出力される反射エコー信号の強度相関や波形相関などを用いることもできる。また、撮像部位判定手段については、動画処理部18に配置することに限らず、任意の位置に配置させることができる。   In the present embodiment, the luminance correlation of the ultrasonic image data is used to determine the characteristics of the imaging region. However, the intensity correlation or waveform correlation of the reflected echo signal that is output from the transmission / reception unit 12 with a time shift is used. Can also be used. Further, the imaging part determination means is not limited to being arranged in the moving image processing unit 18 and can be arranged at an arbitrary position.

以上、第1乃至第3の実施形態に基づいて本発明を説明したが、これに限られるものではない。例えば、撮像処理系として超音波撮像のほか、磁気共鳴撮像やX線CT撮像により取得された診断画像データ群を動画像として表示させる場合にも本発明を適用することができる。要するに、取得された診断画像データ群を動画再生用として記憶する際に、その診断画像データ群の動画再生の処理負荷を制限できれば、いずれの形態のものにも適用することができる。   Although the present invention has been described based on the first to third embodiments, the present invention is not limited to this. For example, in addition to ultrasonic imaging as an imaging processing system, the present invention can also be applied when displaying a diagnostic image data group acquired by magnetic resonance imaging or X-ray CT imaging as a moving image. In short, when the acquired diagnostic image data group is stored for moving image reproduction, any processing can be applied as long as the processing load of moving image reproduction of the diagnostic image data group can be limited.

また、画像メモリ16の超音波像データ群を動画記憶手段32に記憶するに際して、予め計測した心電情報(例えば、心電波形や心時相データ)を関連付けて記憶させてもよい。これにより、例えば心臓の拡張末期から次の拡張末期までの間の超音波像データ群に制限して動画像を再生できる。   Further, when storing the ultrasonic image data group of the image memory 16 in the moving image storage means 32, electrocardiogram information (for example, electrocardiogram waveform or cardiac time phase data) measured in advance may be stored in association with each other. Accordingly, for example, a moving image can be reproduced while being limited to the ultrasound image data group from the end diastole of the heart to the next end diastole.

また、コンピュータの性能(例えば、記憶部の読出し速度や、データ転送バス容量、CPUの処理能力が向上)が向上したときでも、例えば動きを伴う部位を撮像する場合においては、撮像部位の動きに一層追従した動画像が望まれることから、本発明を適用することができる。   Even when the performance of the computer (for example, the reading speed of the storage unit, the data transfer bus capacity, and the processing capability of the CPU is improved), for example, when imaging a region with movement, the movement of the imaging region Since a moving image that further follows is desired, the present invention can be applied.

本発明を適用した一実施形態の超音波診断装置の構成図である。1 is a configuration diagram of an ultrasonic diagnostic apparatus according to an embodiment to which the present invention is applied. 図1の動画処理部の処理を示すフローチャートである。It is a flowchart which shows the process of the moving image process part of FIG. 図2のS108の処理で表示されるメッセージの表示例である。It is a display example of the message displayed by the process of S108 of FIG.

符号の説明Explanation of symbols

10 探触子
12 送受信部
14 画像処理部
16 画像メモリ
18 動画処理部
22 表示部
24 ビデオメモリ
26 ディスプレイ
32 動画記憶手段
34 記憶制御手段
30 設定処理手段
DESCRIPTION OF SYMBOLS 10 Probe 12 Transmission / reception part 14 Image processing part 16 Image memory 18 Moving image processing part 22 Display part 24 Video memory 26 Display 32 Moving image memory | storage means 34 Storage control means 30 Setting processing means

Claims (3)

被検体との間で超音波を送受する探触子に駆動信号を出力すると共に前記探触子から出力される反射エコー信号を受信する送受信部と、該送受信部から時間的にずれて出力される反射エコー信号に基づき複数の超音波像データを再構成する画像処理部と、再構成された超音波像データ群を記憶する画像メモリと、記憶された超音波像データ群を動画像として再生させる動画処理部とを備え、
前記動画処理部は、動画再生能力を支配する動画データ因子を設定する設定手段と、該設定手段により設定された前記動画データ因子に基づき、前記画像処理部又は前記画像メモリから出力される超音波像データ群の動画データ因子を可変して該超音波像データ群を動画記憶部に記憶させる記憶制御手段を有し、前記動画記憶部から前記超音波像データ群を読み出して表示部に表示させることを特徴とする超音波診断装置。
A transmission / reception unit that outputs a drive signal to a probe that transmits / receives ultrasonic waves to / from a subject and receives a reflected echo signal output from the probe, and a time-shifted output from the transmission / reception unit An image processing unit that reconstructs a plurality of ultrasonic image data based on the reflected echo signal, an image memory that stores the reconstructed ultrasonic image data group, and a reproduction of the stored ultrasonic image data group as a moving image A video processing unit
The moving image processing unit includes a setting unit that sets a moving image data factor that governs moving image reproduction capability, and an ultrasonic wave that is output from the image processing unit or the image memory based on the moving image data factor set by the setting unit. Storage control means for changing the moving image data factor of the image data group and storing the ultrasonic image data group in the moving image storage unit, and reading out the ultrasonic image data group from the moving image storage unit and displaying it on the display unit An ultrasonic diagnostic apparatus.
前記動画データ因子は、前記超音波像データ群の1画像あたりのデータサイズ、前記超音波像データ群を前記表示部に表示させる表示レート、前記超音波像データ群を前記表示部に表示させる表示時間、前記超音波像データ群のデータ圧縮率の少なくとも1つであることを特徴とする請求項1に記載の超音波診断装置。   The moving image data factor includes a data size per image of the ultrasonic image data group, a display rate for displaying the ultrasonic image data group on the display unit, and a display for displaying the ultrasonic image data group on the display unit. The ultrasonic diagnostic apparatus according to claim 1, wherein the ultrasonic diagnostic apparatus is at least one of time and a data compression rate of the ultrasonic image data group. 前記記憶制御手段は、撮像部位の特性に応じて、前記超音波像データ群の動画データ因子に優先順位を付与し、前記超音波像データ群の動画データ因子が前記設定手段の動画データ因子よりも大きいとき、前記優先順位が低い順に前記超音波像データ群の動画データ因子を設定範囲で小さくすることを特徴とする請求項1又は2に記載の超音波診断装置。
The storage control unit gives priority to the moving image data factor of the ultrasonic image data group according to the characteristics of the imaging region, and the moving image data factor of the ultrasonic image data group is greater than the moving image data factor of the setting unit. The ultrasound diagnostic apparatus according to claim 1, wherein when the value is larger, the moving image data factor of the ultrasound image data group is decreased within a set range in descending order of priority.
JP2004112284A 2004-04-06 2004-04-06 Ultrasonic diagnostic equipment Expired - Fee Related JP4578136B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004112284A JP4578136B2 (en) 2004-04-06 2004-04-06 Ultrasonic diagnostic equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004112284A JP4578136B2 (en) 2004-04-06 2004-04-06 Ultrasonic diagnostic equipment

Publications (2)

Publication Number Publication Date
JP2005296059A true JP2005296059A (en) 2005-10-27
JP4578136B2 JP4578136B2 (en) 2010-11-10

Family

ID=35328343

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004112284A Expired - Fee Related JP4578136B2 (en) 2004-04-06 2004-04-06 Ultrasonic diagnostic equipment

Country Status (1)

Country Link
JP (1) JP4578136B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009291280A (en) * 2008-06-03 2009-12-17 Hitachi Medical Corp Medical image system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08308836A (en) * 1995-05-17 1996-11-26 Toshiba Corp Ultrasonic diagnostic device
JP2001358799A (en) * 2000-06-14 2001-12-26 Toshiba Corp Data transmission system, data transmitter used in the data transmission system, data reproducing device and data transmitter method
JP2002017732A (en) * 2000-07-11 2002-01-22 Toshiba Corp Remote ultrasonographic system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08308836A (en) * 1995-05-17 1996-11-26 Toshiba Corp Ultrasonic diagnostic device
JP2001358799A (en) * 2000-06-14 2001-12-26 Toshiba Corp Data transmission system, data transmitter used in the data transmission system, data reproducing device and data transmitter method
JP2002017732A (en) * 2000-07-11 2002-01-22 Toshiba Corp Remote ultrasonographic system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009291280A (en) * 2008-06-03 2009-12-17 Hitachi Medical Corp Medical image system

Also Published As

Publication number Publication date
JP4578136B2 (en) 2010-11-10

Similar Documents

Publication Publication Date Title
CN107003394B (en) Method and system for enhanced visualization of individual images in real-time scanning
JP4825176B2 (en) Ultrasonic diagnostic equipment
JP4210386B2 (en) Intracavitary ultrasound system
JP2014168708A (en) Ultrasound diagnostic device and method for displaying ultrasound image
JP2006297106A (en) Method and system for estimating motion
JP2008049012A (en) Ultrasonic diagnostic apparatus, and program and image display used for the same
JP5259175B2 (en) Ultrasonic diagnostic apparatus, ultrasonic image processing apparatus, and ultrasonic image processing program
JP4275573B2 (en) Ultrasonic diagnostic equipment
JP4578136B2 (en) Ultrasonic diagnostic equipment
JP2010137057A (en) Ultrasonic system and method by which a plurality of three-dimensional ultrasonic images are provided
KR100806330B1 (en) Ultrasound diagnostic system with a mass storage unit for storing ultrasound data
JP4526815B2 (en) Ultrasonic diagnostic equipment
WO2015037510A1 (en) Ultrasonic diagnosis apparatus
JP2004024559A (en) Ultrasonic diagnostic system
KR100741692B1 (en) Ultrasound diagnosis device and method of displaying ultrasound image using the same
JP3735515B2 (en) Ultrasound diagnostic system
KR101555271B1 (en) Method And Apparatus for Reconstitution Ultrasound Image
JP5072585B2 (en) Ultrasonic diagnostic apparatus, ultrasonic image processing apparatus, and ultrasonic image processing program
JP2003102730A (en) Ultrasonic diagnostic equipment
JP2006014779A (en) Ultrasonic diagnostic apparatus
JP2006288485A (en) Ultrasonic diagnostic system and image processing method
JP2010240152A (en) Ultrasonic diagnostic system
JP2784799B2 (en) Ultrasound diagnostic equipment
JPH0420338A (en) Ultrasonic diagnostic device
WO2012005026A1 (en) Ultrasound diagnostic device and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070404

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100302

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100422

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100803

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100824

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130903

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees