JP2020065614A - Radiation image processing system, image processing method and program - Google Patents
Radiation image processing system, image processing method and program Download PDFInfo
- Publication number
- JP2020065614A JP2020065614A JP2018198752A JP2018198752A JP2020065614A JP 2020065614 A JP2020065614 A JP 2020065614A JP 2018198752 A JP2018198752 A JP 2018198752A JP 2018198752 A JP2018198752 A JP 2018198752A JP 2020065614 A JP2020065614 A JP 2020065614A
- Authority
- JP
- Japan
- Prior art keywords
- transmission image
- image
- transmission
- image processing
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 142
- 230000005855 radiation Effects 0.000 title claims abstract description 48
- 238000003672 processing method Methods 0.000 title claims 7
- 230000005540 biological transmission Effects 0.000 claims abstract description 135
- 125000001475 halogen functional group Chemical group 0.000 claims abstract description 60
- 230000009467 reduction Effects 0.000 claims abstract description 28
- 238000000605 extraction Methods 0.000 claims abstract description 27
- 239000000284 extract Substances 0.000 claims abstract description 8
- 230000001678 irradiating effect Effects 0.000 claims abstract description 5
- 238000000034 method Methods 0.000 claims description 43
- 230000008569 process Effects 0.000 claims description 18
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 210000000988 bone and bone Anatomy 0.000 description 23
- 238000010586 diagram Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 14
- 230000008859 change Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 8
- 239000002872 contrast media Substances 0.000 description 8
- 230000002238 attenuated effect Effects 0.000 description 6
- 238000007459 endoscopic retrograde cholangiopancreatography Methods 0.000 description 6
- 210000004072 lung Anatomy 0.000 description 6
- 239000002184 metal Substances 0.000 description 6
- 210000000013 bile duct Anatomy 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 210000000056 organ Anatomy 0.000 description 5
- 210000000038 chest Anatomy 0.000 description 4
- 230000003902 lesion Effects 0.000 description 4
- 210000000277 pancreatic duct Anatomy 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 206010056342 Pulmonary mass Diseases 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 238000011976 chest X-ray Methods 0.000 description 2
- 210000003109 clavicle Anatomy 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 210000000496 pancreas Anatomy 0.000 description 2
- 210000001835 viscera Anatomy 0.000 description 2
- 230000003313 weakening effect Effects 0.000 description 2
- 206010033645 Pancreatitis Diseases 0.000 description 1
- 206010050466 Peripancreatic fluid collection Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 210000003445 biliary tract Anatomy 0.000 description 1
- 238000013189 cholangiography Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000000188 diaphragm Anatomy 0.000 description 1
- 210000001198 duodenum Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 210000001370 mediastinum Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000011550 stock solution Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Images
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
Abstract
Description
本発明は、被写体に放射線を照射して得られた画像（透過像）を処理するシステム、方法、およびプログラムに関する。 The present invention relates to a system, method, and program for processing an image (transmission image) obtained by irradiating a subject with radiation.
医療現場では、人体（患者）等の被写体に対してＸ線等の放射線を照射し、被写体を透過した放射線の強度分布を検出器で検出して得た画像（以下、透過像と記載する）をリアルタイムで表示しながら、医師や技師により治療や検査等の医療行為が行われている。 In the medical field, an image obtained by irradiating a subject such as a human body (patient) with radiation such as X-rays and detecting the intensity distribution of the radiation transmitted through the subject with a detector (hereinafter referred to as a transmission image) While displaying in real time, medical treatment such as treatment and examination is being performed by doctors and technicians.
医療行為の一例である、内視鏡（胃カメラ）を使って胆管および膵管を造影するＥＲＣＰ（ｅｎｄｏｓｃｏｐｉｃ ｒｅｔｒｏｇｒａｄｅ ｃｈｏｌａｎｇｉｏｐａｎｃｒｅａｔｏｇｒａｐｈｙ：内視鏡的逆行性胆道膵管造影）検査では、口から十二指腸まで内視鏡を挿入し、内視鏡の先端から膵管および胆管等の臓器の中にカテーテル（細い管）を挿入し、そのカテーテルから造影剤を注入し、臓器のＸ線写真を撮る。このとき、内視鏡径は太く、臓器に入らないので、通過が容易なカテーテルやガイドワイヤ（金属製の細いワイヤ）等のデバイスを補助的に用いることが一般的である。本明細書では、カテーテルやガイドワイヤ等のデバイスを手技用デバイスと記載する。 The endoscopic retrograde cholangiopancreatography (ERCP), which is an example of medical practice, uses the endoscope (gastroscope) to image the bile duct and pancreatic duct, and an endoscope from the mouth to the duodenum After insertion, a catheter (thin tube) is inserted from the tip of the endoscope into an organ such as a pancreatic duct and a bile duct, a contrast agent is injected from the catheter, and an X-ray photograph of the organ is taken. At this time, since the endoscope has a large diameter and does not enter the organ, a device such as a catheter or a guide wire (a thin metal wire) that can easily pass through is generally used as an auxiliary. In this specification, a device such as a catheter or a guide wire is referred to as a procedural device.
前述した透過像のリアルタイムな表示は、前述のような医療行為において、手技用デバイスが正しい位置に挿入されているか否かを確認する場合に用いられる。 The above-mentioned real-time display of the transmission image is used for confirming whether or not the procedural device is inserted in the correct position in the medical procedure as described above.
ＥＲＣＰ検査でガイドワイヤを膵管に挿入する場合、解剖学的に膵臓は脊椎を横断する位置にあるため、透過像においてガイドワイヤと椎体（脊椎を構成する個々の骨）とが重なりやすい。そのため、Ｘ線は椎体によって大きく減弱されるため、透過像では椎体が映り込んでいる領域が暗くなる。このとき、椎体と重なったガイドワイヤは、視認しにくくなるため、医師によるガイドワイヤの操作に支障をきたすという課題がある。 When the guide wire is inserted into the pancreatic duct in the ERCP examination, the guide wire and the vertebral body (individual bones forming the spine) are likely to overlap each other in the transmission image because the pancreas is anatomically located at a position crossing the spine. Therefore, since the X-rays are greatly attenuated by the vertebral body, the region in which the vertebral body is reflected becomes dark in the transmission image. At this time, the guide wire that overlaps with the vertebral body becomes difficult to visually recognize, and thus there is a problem in that the operation of the guide wire by the doctor is hindered.
そこで、透過像に映り込んだ椎体等を減弱することによって、相対的に手技用デバイスの視認性を向上させる画像処理技術の実現が望まれている。 Therefore, it is desired to realize an image processing technique that relatively improves the visibility of the procedural device by reducing the vertebral bodies and the like reflected in the transmission image.
例えば、非特許文献１には、胸部単純Ｘ線画像上に映った肺結節病変の読影を支援するためのソフトウェアの実現を目的として、透過像に映り込んだ肋骨や鎖骨を認識し減弱することで、肺野内の視認性を向上する画像処理技術について述べられている。この技術では、（１）肺野認識処理、（２）骨認識処理、（３）骨信号減弱処理、を行い、骨に起因する信号変化のみを減弱することによって、骨に重なる異常陰影や血管等の微細構造の信号をオリジナル画像のまま残し、病変の視認性を改善している。 For example, Non-Patent Document 1 recognizes and attenuates ribs and clavicles reflected in a transmission image for the purpose of realizing software for supporting the interpretation of lung nodule lesions shown on a plain chest X-ray image. Describes an image processing technique for improving visibility in the lung field. According to this technique, (1) lung field recognition processing, (2) bone recognition processing, and (3) bone signal attenuation processing are performed to attenuate only signal changes caused by bone, thereby causing abnormal shadows and blood vessels that overlap with bone. The signal of the fine structure such as is left as it is in the original image to improve the visibility of the lesion.
非特許文献１記載の技術では、前述したように、（１）肺野認識処理、（２）骨認識処理、（３）骨信号減弱処理、を行うことが述べられている。非特許文献１によると、これらの具体的な処理内容は、以下のとおりである。 As described above, the technique described in Non-Patent Document 1 describes that (1) lung field recognition processing, (2) bone recognition processing, and (3) bone signal attenuation processing are performed. According to Non-Patent Document 1, these specific processing contents are as follows.
（１）肺野認識処理では、辺縁の性質が異なる四つの領域（肺尖部、外胸郭部、横隔膜部、縦隔部）に肺野を行う分類し、各境界の性質に最適なエッジ情報を用いて領域を抽出している。 (1) In the lung field recognition processing, lung fields are classified into four regions (lung apex, external rib cage, diaphragm, mediastinum) having different peripheral properties, and the edges that are optimal for the properties of each boundary are classified. The area is extracted using the information.
（２）骨認識処理では、大量データから構築した骨のモデル情報を用いて、示す事前情報を元にした骨構造の推定値と、対象の胸部単純Ｘ線画像から計測した被写体固有の骨構造の推定結果を合わせることにより、骨の詳細構造を精度よく抽出するロバストな骨認識を実現している。 (2) In the bone recognition process, an estimated value of the bone structure based on the a priori information shown using the model information of the bone constructed from a large amount of data, and the bone structure specific to the subject measured from the plain chest X-ray image of the target By combining the estimation results of, the robust bone recognition that accurately extracts the detailed structure of the bone is realized.
（３）骨信号減弱処理では、認識された骨候補から骨の信号成分を推定し減弱を行う。推定には肋骨および鎖骨とオーバーラップしていない構造物の信号変化を利用している。 (3) In the bone signal attenuation processing, the signal component of the bone is estimated from the recognized bone candidate and is attenuated. The estimation uses the signal changes of structures that do not overlap ribs and clavicle.
前述したように、非特許文献１記載の技術は、肺結節病変の読影を支援するためのソフトウェアの実現を目的としているため、リアルタイム性は必要とされておらず、高度な画像認識処理等を用いることによって、非リアルタイム処理（オフライン処理）で透過像に映り込んだ骨等を減弱している。 As described above, since the technique described in Non-Patent Document 1 aims to realize software for supporting the interpretation of lung nodule lesions, real-time processing is not required, and advanced image recognition processing and the like are required. By using it, bones and the like reflected in the transmission image are attenuated by non-real time processing (offline processing).
一方、前述したＥＲＣＰ検査等において、リアルタイムで手技用デバイス等の視認性を向上する場合、パーソナルコンピュータ（以下、ＰＣ）等の汎用計算機上で稼働するソフトウェアによって高度な画像認識処理等を行うと多大な処理時間がかかってしまい、手技用デバイスおよび内臓等の被写体の動きが滑らかでない不自然な動きの透過像が表示されてしまう問題がある。そのため、被写体の動きが滑らかで自然な動きの透過像を表示するためには、高速な処理を実行できる特別な計算機リソースを備えた高価な装置が必要となり、不経済である。 On the other hand, in the above-mentioned ERCP inspection and the like, when improving the visibility of a surgical device in real time, it is very difficult to perform advanced image recognition processing by software operating on a general-purpose computer such as a personal computer (hereinafter, PC). However, there is a problem in that a transparent image of an unnatural movement in which the movement of the subject such as the manipulation device and the internal organs is not smooth is displayed. Therefore, in order to display a transparent image in which the movement of the subject is smooth and natural, an expensive device having special computer resources capable of performing high-speed processing is required, which is uneconomical.
本発明は、このような状況に鑑みてなされたものであり、演算量を削減し、手技用デバイスのリアルタイムな視認性を向上できる放射線画像処理システムを提供するものである。 The present invention has been made in view of such a situation, and provides a radiation image processing system capable of reducing the amount of calculation and improving the real-time visibility of a procedural device.
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。すなわち、被写体に放射線を照射して透過像を撮像する放射線画像処理システムであって、第一透過像を生成する画像生成部と、前記第一透過像の視認性を向上させるための処理を実行する画像処理部と、を備え、前記画像処理部は、前記第一透過像から低周波成分を抽出する低周波成分抽出部と、前記第一透過像を前記低周波成分で除算する除算処理部と、前記第一透過像のハローを低減するハロー低減部と、を含む。 The following is a brief description of the outline of the typical invention disclosed in the present application. That is, a radiation image processing system that irradiates a subject with radiation to capture a transmission image, and executes a process for improving the visibility of the image generation unit that generates the first transmission image and the first transmission image. An image processing unit for performing the image processing, wherein the image processing unit is a low-frequency component extraction unit that extracts a low-frequency component from the first transmission image, and a division processing unit that divides the first transmission image by the low-frequency component. And a halo reduction unit that reduces the halo of the first transmission image.
本発明によれば、手技用デバイス等の視認性を向上した透過像をリアルタイムに得ることが可能になる。上記した以外の課題、構成および効果は、以下の実施例の説明により明らかにされる。 According to the present invention, it is possible to obtain in real time a transmission image with improved visibility of a surgical device or the like. Problems, configurations, and effects other than those described above will be clarified by the following description of the embodiments.
本発明は、手技用デバイス等の視認性を向上した透過像をリアルタイムに得ることを実現する技術を提供するものである。 The present invention provides a technique for realizing a real-time transmission image with improved visibility of a surgical device or the like.
以下、添付図面を参照して本発明の実施例について説明する。なお、添付図面は本発明の原理に則った具体的な実施例と実装例を示しているが、これらは本発明の理解のためのものであり、決して本発明を限定的に解釈するために用いられるものではない。 Embodiments of the present invention will be described below with reference to the accompanying drawings. It should be noted that the attached drawings show specific examples and implementation examples according to the principle of the present invention, but these are for understanding the present invention, and are not intended to limit the present invention in any way. It is not used.
本実施例では、当業者が本発明を実施するのに十分詳細にその説明がなされているが、他の実装および形態も可能で、本発明の技術的思想の範囲と精神を逸脱することなく構成および構造の変更および多様な要素の置き換えが可能であることを理解する必要がある。したがって、以降の記述をこれに限定して解釈してはならない。 Although the present embodiment has been described in detail enough for those skilled in the art to carry out the present invention, other implementations and modes are possible without departing from the scope and spirit of the technical idea of the present invention. It should be understood that changes in configuration and structure and substitution of various elements are possible. Therefore, the following description should not be limited to this.
また、実施例を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。 In addition, in all the drawings for explaining the embodiments, the same members are denoted by the same reference symbols in principle and the repeated description thereof will be omitted.
＜放射線画像処理システムの構成例＞
図１は、実施例１の放射線画像処理システムの構成の一例を示すブロック図である。
<Example of configuration of radiation image processing system>
FIG. 1 is a block diagram illustrating an example of the configuration of the radiation image processing system according to the first embodiment.
図１に示すように、放射線画像処理システム１０１は、Ｘ線管１０２、高電圧発生部１０３、Ｘ線制御部１０４、絞り１０５、Ｘ線補償フィルタ１０６、絞り／フィルタ制御部１０７、テーブル１０９、機構制御部１１０、Ｘ線検出器１１１、検出器制御部１１２、記憶部１１３、中央処理部１１４、画像処理部１１５、入力部１１６、表示部１１７を有する。
As shown in FIG. 1, the radiation
テーブル１０９は、人等の被写体１０８を載せる寝台である。機構制御部１１０は、テーブル１０９と電気的に接続され、被写体１０８が撮影に適した位置となるように、テーブル１０９の動きを制御する。このとき、Ｘ線検出器１１１についても、テーブル１０９と一体的に移動する構造としてもよい。
The table 109 is a bed on which a subject 108 such as a person is placed. The
Ｘ線管１０２は、Ｘ線を発生させ、テーブル１０９の上に配置された被写体１０８に向けて当該Ｘ線を照射する。高電圧発生部１０３は、Ｘ線管１０２と電気的に接続され、Ｘ線管１０２に与える高電圧を発生する。Ｘ線制御部１０４は、高電圧発生部１０３と電気的に接続され、高電圧発生部１０３を制御し、Ｘ線管１０２から照射されるＸ線の線量および線質を制御する。
The
絞り１０５は、Ｘ線管１０２のＸ線照射方向に配置され、Ｘ線管１０２で発生したＸ線が照射される領域を、Ｘ線吸収率の高い金属の開閉によって制御する。Ｘ線補償フィルタ１０６は、Ｘ線吸収率の高い物質で構成され、被写体１０８のＸ線吸収率の低い部位に到達するＸ線を減衰させることによってハレーションを軽減する。
The
絞り／フィルタ制御部１０７は、絞り１０５およびＸ線補償フィルタ１０６と電気的に接続され、絞り１０５およびＸ線補償フィルタ１０６を制御する。
The diaphragm /
Ｘ線検出器１１１は、絞り１０５、Ｘ線補償フィルタ１０６およびテーブル１０９を介在してＸ線管１０２と対向するように配置され、画像生成部として機能する。具体的には、Ｘ線検出器１１１は、Ｘ線管１０２から照射され被写体１０８を透過したＸ線の強度分布を特徴量に変換し、画素毎の特徴量から構成される透過像のデータを出力する。特徴量は、例えば、輝度値及び分散値等である。本明細書では、輝度値を特徴量として有する画像を用いて説明する。
The
検出器制御部１１２は、Ｘ線検出器１１１と電気的に接続され、Ｘ線検出器１１１を制御することによって透過像のデータを取得し、画像処理部１１５に透過像のデータを入力する。検出器制御部１１２は、Ｘ線検出器１１１を制御することによって、透過像を静止画として生成してもよいし、時間的に異なるタイミングで撮影した複数の透過像を動画像として生成してもよい。動画像を生成するための撮影タイミングは、例えば、毎秒３０フレームおよび毎秒１５フレーム等の一定の時間間隔が考えられる。なお、本発明は、時間間隔に限定されない。
The
画像処理部１１５は、検出器制御部１１２と電気的に接続され、Ｘ線検出器１１１で撮影され、検出器制御部１１２を介して入力された透過像の補正処理を実行する。
The
中央処理部１１４は、Ｘ線制御部１０４、絞り／フィルタ制御部１０７、機構制御部１１０、検出器制御部１１２、記憶部１１３、画像処理部１１５、入力部１１６、表示部１１７と電気的に接続され、電気的に接続される各機能部を制御する。中央処理部１１４は、例えば、汎用計算機が有するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。
The
記憶部１１３は、半導体メモリおよび磁気ディスク等の記録媒体を備え、画像取得条件および画像等をデータとして記憶する。なお、記録媒体の種類は、これに限定されるものではない。
The
入力部１１６は、使用者が画像取得条件等を設定するためのユーザインターフェースである。入力部１１６として、キーボード、マウス、および制御用ボタン等を有してもよいし、音声入力およびジェスチャー入力など行うためのセンサ等を有してもよい。
The
表示部１１７は、補正後の画像を表示する。表示部１１７として、ディスプレイおよびプリンタ等を有してもよい。
The
Ｘ線制御部１０４、絞り／フィルタ制御部１０７、機構制御部１１０、検出器制御部１１２、および画像処理部１１５は専用のハードウェアを用いて実現しているがこれに限定されない。例えば、各ハードウェアをソフトウェアとして実現してもよい。この場合、各ハードウェアの機能を実現するプログラムを記憶部１１３に格納し、中央処理部１１４が当該プログラムにしたがって処理を実行することによって、各ハードウェアの機能を実現する。
The
画像処理部１１５の詳細については、以下に詳しく述べる。
Details of the
＜放射線画像処理システムの動作原理＞
まず、放射線（Ｘ線）が被写体を透過したときに得られる各画素の強度分布として出力される透過像Ｉｍ（ｘ，ｙ）、一次線の強度分布として出力される一次線像Ｉｐ（ｘ，ｙ）、および散乱線の強度分布として出力される散乱線像Ｉｓ（ｘ，ｙ）の特性について説明する。なお、以下の式中の（ｘ，ｙ）は画素の位置を示す。
<Operation principle of radiation image processing system>
First, a transmission image Im (x, y) output as an intensity distribution of each pixel obtained when radiation (X-rays) passes through a subject, and a primary line image Ip (x, x) output as an intensity distribution of a primary line. y) and the characteristics of the scattered radiation image Is (x, y) output as the intensity distribution of the scattered radiation will be described. In addition, (x, y) in the following equations indicates the position of the pixel.
式（１）に示すように、透過像Ｉｍ（ｘ，ｙ）は一次線像Ｉｐ（ｘ，ｙ）および散乱線像Ｉｓ（ｘ，ｙ）の和として表される。ここで、一次線像Ｉｐ（ｘ、ｙ）は式（２）で与えられ、散乱線像Ｉｓ（ｘ，ｙ）は式（３）で与えられる。なお、式（３）の記号は畳み込み演算を表す。 As shown in Expression (1), the transmission image Im (x, y) is represented as the sum of the primary line image Ip (x, y) and the scattered line image Is (x, y). Here, the primary ray image Ip (x, y) is given by the equation (2), and the scattered ray image Is (x, y) is given by the equation (3). In addition, the symbol of Formula (3) represents a convolution operation.
式（２）は、一次線像Ｉｐ（ｘ，ｙ）の強度が被写体の厚みＴ（ｘ，ｙ）に応じて指数的に減衰することを示す。式（２）におけるＩｏ（ｘ，ｙ）は、位置（ｘ，ｙ）における照射線量の強度を示し、μは単位厚みあたりの放射線減衰率（線減弱係数）を示す。式（３）は、散乱線像Ｉｓ（ｘ，ｙ）の強度が一次線像Ｉｐ（ｘ，ｙ）の強度と点拡散関数Ｓσ（Ｔ（ｘ，ｙ））の畳み込み演算で表されることを示す。点拡散関数Ｓσ（Ｔ（ｘ，ｙ））は被写体の厚みＴ（ｘ，ｙ）に応じて変化する関数である。 Expression (2) shows that the intensity of the primary line image Ip (x, y) is exponentially attenuated according to the thickness T (x, y) of the subject. Io (x, y) in the equation (2) represents the intensity of the irradiation dose at the position (x, y), and μ represents the radiation attenuation rate (linear attenuation coefficient) per unit thickness. In Expression (3), the intensity of the scattered radiation image Is (x, y) is expressed by a convolution operation of the intensity of the primary radiation image Ip (x, y) and the point diffusion function Sσ (T (x, y)). Indicates. The point diffusion function Sσ (T (x, y)) is a function that changes according to the thickness T (x, y) of the subject.
一般的に、被写体とＸ線検出器１１１の間に、グリッドと呼ばれる放射線の吸収率が高い物質と吸収率が低い物質を薄く交互に積層した板を設置し、Ｘ線検出器１１１に入射する散乱線量を低く抑える運用がなされる。したがって、透過像Ｉｍ（ｘ，ｙ）に含まれる散乱線像Ｉｓ（ｘ，ｙ）の強度は比較的弱いと考えることができる。そこで、簡単のため散乱線像Ｉｓ（ｘ，ｙ）を十分小さいものとして扱い、式（４）に示すように透過像Ｉｍ（ｘ，ｙ）は一次線像Ｉｐ（ｘ，ｙ）とほぼ等しいものと近似して、以下、本実施例の動作原理を説明する。
Generally, between the subject and the
以下の説明では、透過像Ｉｍ（ｘ，ｙ）に厚さＴｄ（ｘ，ｙ）の手技用デバイスが映り込んでいる場合を想定する。ただし、透過像Ｉｍ（ｘ，ｙ）の手技用デバイスが存在しない位置ではＴｄ（ｘ，ｙ）＝０とする。このとき、式（４）および式（２）から、透過像Ｉｍ（ｘ，ｙ）は式（５）のように表すことができる。 In the following description, it is assumed that the transmission image Im (x, y) is reflected in the manipulation device having the thickness Td (x, y). However, Td (x, y) = 0 is set at a position in the transmission image Im (x, y) where the manipulation device does not exist. At this time, the transmission image Im (x, y) can be expressed as in Expression (5) from Expression (4) and Expression (2).
また、手技用デバイスが強調表示される透過像Ｉｄ（ｘ，ｙ）は、式（６）式のように表すことができる。 Further, the transmission image Id (x, y) in which the manipulation device is highlighted can be expressed as in Expression (6).
ここで、手技用デバイスは細い金属で構成されることから、厚みＴｄ（ｘ，ｙ）は位置（ｘ，ｙ）に応じて急峻に変化する。そのため、透過像Ｉｄ（ｘ，ｙ）は低周波成分よりも高周波成分を多く含む。一方、手技用デバイスを除いた被写体（体内の臓器、骨、結果、および筋肉等）の厚みＴ（ｘ，ｙ）は位置（ｘ，ｙ）に応じて比較的緩やかに変化する。そのため、高周波成分よりも低周波成分を多く含む。したがって、手技用デバイスを除いた被写体の透過像Ｉｏ（ｘ，ｙ）ｅｘｐ（−μＴ（ｘ，ｙ））は、透過像Ｉｍ（ｘ，ｙ）の低周波成分像Ｉｍｌ（ｘ，ｙ）で近似することができる。具体的には、式（６）は式（７）のように近似できる。 Here, since the procedure device is made of a thin metal, the thickness Td (x, y) changes sharply according to the position (x, y). Therefore, the transmitted image Id (x, y) contains more high frequency components than low frequency components. On the other hand, the thickness T (x, y) of the subject (organs, bones, results, muscles, etc. in the body) excluding the manipulation device changes relatively gently according to the position (x, y). Therefore, it contains more low frequency components than high frequency components. Therefore, the transmission image Io (x, y) exp (−μT (x, y)) of the subject excluding the manipulation device is the low-frequency component image Iml (x, y) of the transmission image Im (x, y). Can be approximated. Specifically, equation (6) can be approximated as equation (7).
以上で述べた放射線画像処理システム１００の動作原理をまとめると、透過像Ｉｄ（ｘ，ｙ）は、透過像Ｉｍ（ｘ，ｙ）をその低周波成分像Ｉｍｌ（ｘ，ｙ）で除算することによって、近似的に算出できる。 To summarize the operation principle of the radiation image processing system 100 described above, the transmission image Id (x, y) is obtained by dividing the transmission image Im (x, y) by the low-frequency component image Iml (x, y). Can be calculated approximately.
＜画像処理部の構成例＞
図２は、実施例１の画像処理部１１５の構成の一例を示すブロック図である。図３は、実施例１の画像処理部１１５が実行する処理の一例を説明するフローチャートである。
<Example of configuration of image processing unit>
FIG. 2 is a block diagram illustrating an example of the configuration of the
図２に示すように、画像処理部１１５は、検出器制御部１１２から、Ｘ線検出器１１１によって撮影された透過像Ｉｍ（ｘ，ｙ）を入力画像として受け付ける（ステップＳ３０１）。透過像Ｉｍ（ｘ，ｙ）は、低周波成分抽出部２０１および除算処理部２０２に入力される。
As shown in FIG. 2, the
画像処理部１１５の低周波成分抽出部２０１は、低周波成分像Ｉｍｌ（ｘ，ｙ）を抽出し（ステップＳ３０２）、除算処理部２０２に低周波成分像Ｉｍｌ（ｘ，ｙ）を入力する。
The low frequency
なお、低周波成分抽出部２０１は、水平方向および垂直方向の低周波成分を通過させる２次元ローパスフィルタを用いて実現できる。２次元ローパスフィルタによる低周波成分の抽出方法は公知であるため、詳細な説明を省略する。２次元ローパスフィルタによる低周波成分の抽出処理は演算時間が短く、かつ、演算量が小さい。
The low-frequency
画像処理部１１５の除算処理部２０３は、式（７）に示すように、透過像Ｉｍ（ｘ，ｙ）を低周波成分像Ｉｍｌ（ｘ，ｙ）で除算することによって、透過像Ｉｄ（ｘ，ｙ）を算出する（ステップＳ３０３）。
The division processing unit 203 of the
除算処理は画素毎に行われる。なお、除算処理は公知の演算方法であるため詳細な説明は省略する。除算処理は演算時間が短く、かつ、演算量が小さい。 The division process is performed for each pixel. Since the division process is a known calculation method, detailed description will be omitted. The division process has a short calculation time and a small calculation amount.
画像処理部１１５の除算処理部２０３は、表示部１１７に透過像Ｉｄ（ｘ，ｙ）を出力し（ステップＳ３０４）、処理を終了する。
The division processing unit 203 of the
＜画像処理部の動作例＞
図４は、実施例１の画像処理部１１５が実行する処理の具体例を示す図である。
<Operation example of image processing unit>
FIG. 4 is a diagram illustrating a specific example of processing executed by the
図４（ａ）は、透過像の一例であり、人体の胸部を模したファントム（模型）を被写体１０８として撮影することによって取得された透過像の一部である。この画像には、ガイドワイヤ４０２の陰影と、中心線４０１に沿って並ぶ複数の模擬的な椎体４０３の陰影が映っている。なお、中心線４０１は、説明のために追加した線であって、実際の透過像には映っていない。
FIG. 4A is an example of a transmission image, which is a part of a transmission image acquired by photographing a phantom (model) imitating a chest of a human body as a subject 108. In this image, the shadow of the
図４（ｂ）は、図４（ａ）の画像から主要な輪郭線を抽出した画像である。図４（ａ）の画像におけるガイドワイヤ４０２および椎体４０３の位置関係は、図４（ｂ）のようになる。
FIG. 4B is an image in which main contour lines are extracted from the image of FIG. The positional relationship between the
図４（ｃ）は、図４（ａ）に示した画像の中心線４０１上の輝度値を描いたグラフである。グラフの縦軸は垂直方向の位置を示し、グラフの横軸はその位置における画像の輝度値を示す。なお、グラフに向かって左方向が大きな値となる。図４（ｃ）において、椎体４０３が存在する位置の信号の変化はゆるやかであり、ガイドワイヤ４０２が存在する位置の信号の変化が急峻であることがわかる。これは、ガイドワイヤが細い金属で構成されることから、ガイドワイヤが存在する位置では放射線が大きく減弱されて、ガイドワイヤの周囲よりも輝度値が急峻に小さくなる、すなわち、画像が急峻に暗くなることを示す。
FIG. 4C is a graph showing the luminance value on the center line 401 of the image shown in FIG. The vertical axis of the graph shows the vertical position, and the horizontal axis of the graph shows the luminance value of the image at that position. Note that the left side of the graph has a large value. In FIG. 4C, it can be seen that the change in the signal at the position where the vertebral body 403 exists is gentle and the change at the position where the
図４（ｄ）は、図４（ｃ）に示す信号から抽出された低周波成分の輝度値を示す。椎体４０３が存在する位置の信号の変化は、図４（ｃ）に示す信号の変化よりも緩やかになる。一方、ガイドワイヤ４０２が存在する位置の信号はほぼ変化していないことがわかる。これは、ガイドワイヤ４０２は細いため、当該部分では高周波成分が主な成分であり、低周波成分抽出部２０１によってその高周波成分が強く減衰されたことを示す。
FIG. 4D shows the luminance value of the low frequency component extracted from the signal shown in FIG. 4C. The change in the signal at the position where the vertebral body 403 exists is slower than the change in the signal shown in FIG. On the other hand, it can be seen that the signal at the position where the
図４（ｅ）は、図４（ｃ）に示す信号を、図４（ｄ）に示す信号で除算することによって得られた輝度値を示す。ここで、図４（ｃ）に示す信号の輝度値が変化しない場合、図４（ｃ）に示す信号と図４（ｄ）に示した信号の各輝度値は等しくなるため、図４（ｅ）に示す輝度値は１．０となる。また、図４（ｃ）に示す、椎体４０３が存在する位置の輝度値の変化は比較的ゆるやかであるため、図４（ｅ）に示す除算後の椎体４０３が存在する位置の輝度値の変化は比較的小さい。一方、ガイドワイヤ４０２が存在する位置の輝度値の変化は比較的急峻であるため、図４（ｅ）に示す除算後のガイドワイヤ４０２が存在する位置の輝度値は急峻に小さくなる。
FIG. 4 (e) shows the luminance value obtained by dividing the signal shown in FIG. 4 (c) by the signal shown in FIG. 4 (d). Here, if the luminance value of the signal shown in FIG. 4C does not change, the luminance values of the signal shown in FIG. 4C and the signal shown in FIG. The luminance value shown in () is 1.0. Further, since the change in the brightness value at the position where the vertebral body 403 exists as shown in FIG. 4C is relatively gentle, the brightness value at the position where the vertebral body 403 exists after division shown in FIG. 4E. The change in is relatively small. On the other hand, since the change in the brightness value at the position where the
このように、透過像Ｉｍ（ｘ，ｙ）をその低周波成分像Ｉｍｌ（ｘ，ｙ）で除算した場合、椎体４０３が存在する位置の信号の変化量（振幅）は緩やかに小さくなるのに対し、ガイドワイヤ４０２が存在する位置の信号の変化量は急峻に小さく。したがって、画像におけるガイドワイヤ４０２の視認性が向上するという効果が得られる。
As described above, when the transmission image Im (x, y) is divided by the low-frequency component image Iml (x, y), the change amount (amplitude) of the signal at the position where the vertebral body 403 exists is gradually reduced. On the other hand, the amount of change in the signal at the position where the
＜画像処理部における効果例＞
図５は、実施例１の効果の一例を示す図である。以下、この図を用いて、実際の透過像におけるガイドワイヤの視認性向上の効果について説明する。
<Example of effect in image processing unit>
FIG. 5 is a diagram illustrating an example of the effect of the first embodiment. Hereinafter, the effect of improving the visibility of the guide wire in the actual transmission image will be described with reference to this drawing.
図５（ａ１）は、人体の胸部を模したファントム（模型）の透過像Ｉｍ（ｘ，ｙ）であり、透過像Ｉｍ（ｘ，ｙ）にはガイドワイヤ５０１および椎体５０２等が映っている。 FIG. 5 (a1) is a transmission image Im (x, y) of a phantom (model) imitating the chest of a human body. The transmission image Im (x, y) shows the guide wire 501 and the vertebral body 502. There is.
図５（ａ２）は、図５（ａ１）の矩形部分を拡大した画像を示す。図５（ａ２）に示すように、処理前の透過像Ｉｍ（ｘ，ｙ）では、ガイドワイヤ５０１および椎体５０２が重なっている部分では画像が暗くなっており、ガイドワイヤ５０１が視認しにくい。 FIG. 5 (a2) shows an enlarged image of the rectangular portion of FIG. 5 (a1). As shown in FIG. 5 (a2), in the transmission image Im (x, y) before processing, the image is dark in the portion where the guide wire 501 and the vertebral body 502 overlap, and the guide wire 501 is difficult to visually recognize. .
図５（ｂ１）は、図５（ａ１）の透過像Ｉｍ（ｘ，ｙ）を処理することによって出力された透過像Ｉｄ（ｘ，ｙ）である。透過像Ｉｄ（ｘ，ｙ）では、ガイドワイヤ５０１が存在する位置が明瞭に表示され、椎体５０２が存在する位置が全体的に灰色となり、輪郭が薄く表示される。 FIG. 5B1 is a transmission image Id (x, y) output by processing the transmission image Im (x, y) of FIG. 5A1. In the transmission image Id (x, y), the position where the guide wire 501 is present is clearly displayed, the position where the vertebral body 502 is present is entirely gray, and the outline is displayed thin.
図５（ｂ２）は、図５（ｂ１）の矩形部分を拡大した画像を示す。図５（ｂ２）に示すように、ガイドワイヤ５０１および椎体５０２が重なっている部分でも、ガイドワイヤ５０１が明瞭に視認できる。すなわち、透過像Ｉｄ（ｘ，ｙ）は、もとの透過像Ｉｍ（ｘ，ｙ）より、ガイドワイヤ５０１の視認性が向上している。 FIG. 5 (b2) shows an enlarged image of the rectangular portion of FIG. 5 (b1). As shown in FIG. 5 (b 2), the guide wire 501 can be clearly seen even in the portion where the guide wire 501 and the vertebral body 502 overlap. That is, in the transmitted image Id (x, y), the visibility of the guide wire 501 is improved as compared with the original transmitted image Im (x, y).
＜実施例１のまとめ＞
以上で述べたように、実施例１の放射線画像処理システム１０１は、ガイドワイヤのように金属製で輪郭が急峻な手技用デバイスが存在する位置の輝度が急峻に暗くなる画像を出力できる。これによって、椎体（骨）、内臓、血管等の背景と手技用デバイスとのコントラスト差が付くため、手技用デバイスの視認性が向上する。
<Summary of Example 1>
As described above, the radiation
画像処理部１１５が実行する処理は、演算時間が短いため、リアルタイムに画像を表示できる。また、画像処理部１１５が有する低周波成分抽出部２０１および除算処理部２０２は、汎用計算機を用いて実現でき、専用な計算機リソースを用意する必要がないため、コストを抑えることができる。
The processing executed by the
次に、実施例２について説明する。実施例２では画像処理部１１５の構成および処理が一部異なる。以下、実施例１との差異を中心に実施例２について説明する。
Next, a second embodiment will be described. In the second embodiment, the configuration and processing of the
実施例２の放射線画像処理システム１０１の構成は実施例１の放射線画像処理システム１０１と同一の構成である。
The configuration of the radiation
＜画像処理部の構成例＞
図６は、実施例２の画像処理部１１５の構成の一例を示すブロック図である。
<Example of configuration of image processing unit>
FIG. 6 is a block diagram illustrating an example of the configuration of the
図６に示すように、画像処理部１１５は、低周波成分抽出部２０１、除算処理部２０２、およびハロー低減部６０１を含む。低周波成分抽出部２０１および除算処理部２０２は、実施例１と同一の構成である。
As shown in FIG. 6, the
＜画像処理部の動作例＞
図７は、実施例２の画像処理部１１５が実行する処理の具体例を示す図である。
<Operation example of image processing unit>
FIG. 7 is a diagram illustrating a specific example of processing executed by the
図７（ａ）は、透過像Ｉｄ（ｘ，ｙ）を示す図である。椎体４０３の輪郭付近、すなわち、図４（ｃ）に示した信号の輝度値が図４（ｄ）に示した信号の輝度値よりも大きくなる位置で、除算後の輝度値が大きくなる現象、すなわち、ハロー７０１が生じる。このような、輪郭付近の輝度値が大きく（明るく）なる現象は、被写体の後ろ側から「後光」が差しているように見えることから「ハロー」と呼ばれている。
FIG. 7A is a diagram showing the transmission image Id (x, y). Phenomenon in which the luminance value after division becomes large near the contour of the vertebral body 403, that is, at a position where the luminance value of the signal shown in FIG. 4C becomes larger than the luminance value of the signal shown in FIG. 4D. That is, the
手技用デバイスおよび骨のように放射線（Ｘ線）を強く減弱する物体は、透過像では、当該物体の内部は暗く（黒く）映り、周辺は明るく（白く）映る。この透過像の低周波成分は、被写体の輪郭周辺の外側では入力信号よりも若干暗くなる。すなわち、低周波成分像の輝度値が透過像の輝度値よりも小さくなる。したがって、透過像の輝度値を低周波成分像の輝度値で除算すると、１．０よりも大きい値になってハローが発生する。 In a transmission image, an object that strongly attenuates radiation (X-rays) such as a procedural device and a bone appears dark (black) inside the object and bright (white) around the periphery. The low-frequency component of this transmission image is slightly darker than the input signal outside the periphery of the contour of the subject. That is, the brightness value of the low-frequency component image becomes smaller than the brightness value of the transmission image. Therefore, when the brightness value of the transmitted image is divided by the brightness value of the low-frequency component image, the value becomes larger than 1.0 and a halo occurs.
図７（ａ）に示す透過像Ｉｄ（ｘ，ｙ）において、手技用デバイスの視認性を向上するためには、低周波成分像の通過周波数帯域を狭くし、入力信号の輝度値と低周波成分の輝度値との差を大きくすることが重要である。 In the transmission image Id (x, y) shown in FIG. 7A, in order to improve the visibility of the procedural device, the pass frequency band of the low frequency component image is narrowed, and the luminance value of the input signal and the low frequency are reduced. It is important to increase the difference from the brightness value of the component.
しかし、内視鏡のように比較的太く、かつ放射線の減弱量が大きい手技用デバイスが映った透過像に対して、通過周波数帯域の狭い低周波成分抽出を行った場合、ハローが太くかつ明るくなる。手技用デバイスの存在する位置の陰影の周囲に強いハローが生じた場合、不自然な画像になるばかりでなく、医師の誤診および病変部の見逃しに繋がる恐れがある。例えば、ＥＲＣＰでは必ず内視鏡を使用するため、医師が内視鏡の周辺にある臓器を視認する場合、ハローが目障りであり、また、胆管およびハローが重なって胆管を認識できなくなる。 However, when a low-frequency component with a narrow pass frequency band is extracted from a transmission image showing a procedure device that is relatively thick like an endoscope and has a large amount of radiation attenuation, the halo is thick and bright. Become. When a strong halo is generated around the shadow where the manipulation device is present, not only an unnatural image but also a misdiagnosis by a doctor and a missed lesion may be overlooked. For example, in ERCP, an endoscope is always used. Therefore, when a doctor visually recognizes an organ around the endoscope, the halo is obtrusive, and the bile duct and the halo overlap each other, so that the bile duct cannot be recognized.
同様に、造影剤を原液のまま使用した場合、造影剤の周辺に太くて明るいハローが生じるため、透過像における胆管壁が不自然に映るため、誤診に繋がる恐れがある。また、ＥＵＳ−ＢＤ（ＥＵＳ−ｇｕｉｄｅｄ ｂｉｌｉａｒｙ ｄｒａｉｎａｇｅ：超音波内視鏡ガイド下胆道ドレナージ）では、針（金属）を使用するためハローが発生しやすく、ハローによって針周辺の組織の認識が困難となって、医師の手技に支障をきたす恐れがある。 Similarly, when the contrast medium is used as it is, a thick and bright halo is generated around the contrast medium, and the bile duct wall in the transmission image looks unnatural, which may lead to misdiagnosis. Further, in EUS-BD (EUS-guided biliary drainage), since a needle (metal) is used, a halo is likely to occur, and the halo makes it difficult to recognize the tissue around the needle. Therefore, it may interfere with the doctor's procedure.
このように、強いハローの発生によって重大な支障が出てしまう恐れがある。そこで、実施例２ではハロー低減部６０１が、図７（ｂ）に示すようにハロー７０２を低減する処理を実行する。
As described above, the occurrence of the strong halo may cause serious trouble. Therefore, in the second embodiment, the
＜ハロー低減部の動作例＞
図８は、実施例２のハロー低減部６０１の動作の説明図である。
<Operation example of halo reduction unit>
FIG. 8 is an explanatory diagram of the operation of the
ハロー低減部６０１は、図８（ａ）または図８（ｂ）に示すような入出力特性を有する輝度値変換器として実現することができる。
The
図８（ａ）は、入力する輝度値が１．０よりも大きい場合、傾きが１．０よりも小さくなるような折れ線状の入出力特性を持った輝度値変換器を示す。当該輝度値変換器は、入力値（ｕ）が１．０以下の場合、出力値（ｖ）はｖ＝ｕの直線８０１となる特性を持ち、入力値（ｕ）が１．０以上の場合、出力値（ｖ）がｖ＝ｋ（ｕ−１）＋１の直線８０２となる特性を持つ。ただし、ｋは０．０より大きく１．０より小さい。当該起動変換器を用いることによって、１．０よりも大きい輝度値を持つハローを目立たなくすることができる。
FIG. 8A shows a brightness value converter having a linear input / output characteristic such that the slope becomes smaller than 1.0 when the input brightness value is larger than 1.0. The brightness value converter has a characteristic that when the input value (u) is 1.0 or less, the output value (v) becomes a
図８（ｂ）は、曲線８０３の入出力特性を持った輝度値変換を示す。当該輝度値変換器は、（ｕ，ｖ）＝（１．０，１．０）の周辺における曲線の傾きを連続的に変化させることによって出力画像が不自然になることを回避し、かつ、入力値（ｕ）が１．０より大きくなるハローに対応する出力値（ｖ）を小さく抑えることによって、ハローを目立たなくすることができる。また、入力値（ｕ）が１．０よりも小さい場合、出力値（ｖ）の値を入力値（ｕ）の値よりも意図的に小さくする変換を行うことによって、透過像Ｉｄ（ｘ，ｙ）において、希釈した造影剤等の薄い陰影が強調されるため、視認性を向上できる。
FIG. 8B shows the luminance value conversion having the input / output characteristic of the
なお、曲線８０３の具体的な入出力特性は、椎体４０３等の濃い陰影を弱める効果と、希釈した造影剤等の薄い陰影を強調する効果との兼ね合いに基づいて決定すればよい。例えば、事前の実験等によって、透過像における各物体の視認性を確認しながら特性を決定すればよい。
Note that the specific input / output characteristics of the
輝度値の変換は、図８（ａ）および図８（ｂ）に示すような入出力特性を持った、一次式、高次多項式、分数式、指数式、対数式、およびこれらを組み合わせた関数式で実現してもよいし、ルックアップテーブルによって実現できる。ルックアップテーブルの入出力特性は、実験的に決定すればよい。例えば、入力値（ｕ）が１．０よりも大きい場合、ハローの見え方を確認しながら、出力値（ｖ）が入力値（ｕ）より小さくなるように設定し、入力値（ｕ）が１．０よりも小さい場合、椎体４０３等の濃い陰影を弱める効果と、希釈した造影剤等の薄い陰影を強調する効果との兼ね合いに基づいて、出力値（ｖ）を設定する。 The conversion of the brightness value is performed by a linear expression, a higher order polynomial expression, a fractional expression, an exponential expression, a logarithmic expression, and a function combining these, which have input / output characteristics as shown in FIGS. 8A and 8B. It may be realized by a formula or a look-up table. The input / output characteristics of the lookup table may be experimentally determined. For example, when the input value (u) is larger than 1.0, the output value (v) is set to be smaller than the input value (u) while checking the appearance of the halo, and the input value (u) is When it is smaller than 1.0, the output value (v) is set based on the balance between the effect of weakening the dark shadow of the vertebral body 403 and the like and the effect of emphasizing the thin shadow of the diluted contrast medium and the like.
＜ハロー低減部の構成例＞
図９は、実施例２のハロー低減部６０１の構成の一例を示すブロック図である。図１０は、実施例２の画像処理部１１５が実行する処理の一例を説明するフローチャートである。
<Example of configuration of halo reduction section>
FIG. 9 is a block diagram illustrating an example of the configuration of the
ステップＳ１００１からステップＳ１００３までの処理は、ステップＳ３０１からステップＳ３０３までの処理と同一である。除算処理部２０２が算出した透過像Ｉｄ（ｘ，ｙ）は、ハロー低減部６０１に入力される。
The processing from step S1001 to step S1003 is the same as the processing from step S301 to step S303. The transmission image Id (x, y) calculated by the
ハロー低減部６０１は、透過像Ｉｄ（ｘ，ｙ）を所定の輝度値で減算する（ステップＳ１００４）。これは、ハローは、透過像Ｉｄ（ｘ，ｙ）において、輝度値が１．０よりも大きくなるという性質を持つためである。
The
具体的には、減算器９０１が、透過像Ｉｄ（ｘ，ｙ）の各画素の輝度値を所定の輝度値で減算する。減算する輝度値は任意に設定できる。例えば１．０とする。
Specifically, the
ハロー低減部６０１は、各画素について、輝度値が正成分であるか否かを判定する（ステップＳ１００５）。
The
輝度値が正成分であると判定された場合、正成分抽出部９０２が、輝度値の大きさに応じて信号成分を抽出し、低周波成分抽出部９０３が、正成分抽出部９０２によって抽出された信号から低周波成分（低周波成分像）を抽出する（ステップＳ１００６）。
When it is determined that the luminance value is a positive component, the positive
正成分抽出部９０２は、例えば、式（８）にしたがって、入力値（ｕ）から出力値（ｖ）を算出する。式（８）は、入力値（ｕ）および０のうち大きい値を出力する関数を表す。
The positive
医師の手技に支障をきたすような強いハローは低周波成分が主体である。したがって、ハロー低減部６０１は、正成分の低周波成分をハローとして抽出する。
A strong halo that interferes with a doctor's procedure is mainly composed of low frequency components. Therefore, the
なお、低周波成分抽出部９０３は、低周波成分抽出部２０１と同様に、２次元ローパスフィルタを用いて実現できる。なお、低周波成分抽出部９０３のタップ数（フィルタ長）および通過周波数特性は、抑えたいハローの周波数特性と一致するように決定してもよいし、ハローの見え方を確認しながら実験的に決定してもよい。
The low-frequency
次に、ハロー低減部６０１の減算器９０５は、正成分抽出部９０２が抽出した信号から低周波成分を減算する（ステップＳ１００７）。これによって、ハローを抑えることができる。全ての画素について処理が完了していない場合、ハロー低減部６０１はステップＳ１００５に戻り、同様の処理を実行する。全ての画素について処理が完了している場合、ハロー低減部６０１はステップＳ１００９に進む。
Next, the
ステップＳ１００５において、輝度値が負成分であると判定された場合、負成分抽出部９０４が、輝度値の大きさに応じて信号成分を抽出する（ステップＳ１００８）。全ての画素について処理が完了していない場合、ハロー低減部６０１はステップＳ１００５に戻り、同様の処理を実行する。全ての画素について処理が完了している場合、ハロー低減部６０１はステップＳ１００９に進む。
When it is determined in step S1005 that the luminance value is the negative component, the negative
負成分抽出部９０４は、例えば、式（９）にしたがって、入力値（ｕ）から出力値（ｖ）を算出する。式（９）は、入力値（ｕ）および０のうち小さい値を出力する関数を表す。
The negative
ステップＳ１００９では、加算器９０６が、減算器９０５および負成分抽出部９０４の各々の出力値を加算する（ステップＳ１００９）。さらに、加算器９０７は、加算器９０６の出力値に所定の輝度値を加算する（ステップＳ１０１０）。
In step S1009, the
次に、ハロー低減部６０１は、ルックアップテーブル９０８を用いて、希釈した造影剤等の薄い陰影の強調等を実現するための輝度値変換を実行する（ステップＳ１０１１）。
Next, the
ハロー低減部６０１は、表示部１１７に、処理された透過像Ｉｄ（ｘ，ｙ）を出力し（ステップＳ１０１２）、処理を終了する。
The
なお、低周波成分抽出部９０３および減算器９０５は、高周波成分抽出器に置き換えてもよい。また、ステップＳ１０１１の処理は省略されてもよい。
The low frequency
＜実施例２のまとめ＞
以上で述べたように、実施例２の放射線画像処理システム１０１は、手技用デバイス、造影剤の原液、および椎体のような太い骨などの周囲に発生するハローを抑えることができる。これによって、手技用デバイスの視認性がより向上するため、医師による手技を支障なく円滑に進めることができる。
<Summary of Example 2>
As described above, the radiation
また、実施例１と同様に、画像処理部１１５が実行する処理は、演算時間が短いため、リアルタイムに画像を表示できる。また、画像処理部１１５が有する低周波成分抽出部２０１、除算処理部２０２、およびハロー低減部６０１は、汎用計算機を用いて実現でき、専用な計算機リソースを用意する必要がないため、コストを抑えることができる。
Further, as in the first embodiment, the processing executed by the
＜全体のまとめ＞
（ｉ）以上で説明した本発明の一形態によれば、手技用デバイス等の視認性が向上した透過像をリアルタイムに得られる。手技用デバイスと、放射線を大きく減弱する骨等の被写体が重なるような手技において、不要なハローを目立たせずに、手技用デバイスの視認性を向上することができる。
<Overall summary>
(I) According to the embodiment of the present invention described above, it is possible to obtain a real-time transmitted image with improved visibility of a surgical device or the like. In a procedure in which the procedure device and a subject such as a bone that greatly reduces radiation overlap, the visibility of the procedure device can be improved without making unnecessary halos noticeable.
（ｉｉ）本発明を用いて実現した放射線画像処理システム１００の適用先は、ＥＲＣＰおよびＥＵＳ−ＢＤに限定されない。これら以外にも、例えば、ＰＦＣ（ｐａｎｃｒｅａｔｅｉｃ ａｎｄ ｐｅｒｉｐａｎｃｒｅａｔｉｃ ｆｌｕｉｄ ｃｏｌｌｅｃｉｏｎｓ：膵炎に伴う膵および膵周囲液体貯留に対するドレナージ）、ＰＴＣＤ（ｐｅｒｃｕｔａｎｅｏｕｓ ｔｒａｎｓｈｅｐａｔｉｃ ｃｈｏｌａｎｇｉｏｄｒａｉｎａｇｅ：経皮経肝胆道ドレナージ）、シャント造影検査（血管造影検査）等のような幅広い適用先が考えられる。 (Ii) The application destination of the radiation image processing system 100 realized by using the present invention is not limited to ERCP and EUS-BD. In addition to these, for example, PFC (pancreatic and peripancreatic fluid collections: drainage for pancreas associated with pancreatitis and peri-pancreatic fluid retention), PTCD (percutaneous transpatient cholangiography) angiography (percutaneous transhepatic biliary tract) It can be applied to a wide range of applications such as.
（ｉｉｉ）なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。また、例えば、上記した実施例は本発明を分かりやすく説明するために構成を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、各実施例の構成の一部について、他の構成に追加、削除、置換することが可能である。 (Iii) It should be noted that the present invention is not limited to the above-described embodiments, but includes various modifications. In addition, for example, the above-described embodiment is a detailed description of the configuration in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to one having all the configurations described. Further, a part of the configuration of each embodiment can be added, deleted, or replaced with another configuration.
また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、本発明は、実施例の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をコンピュータに提供し、そのコンピュータが備えるプロセッサが記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコード自体、およびそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、光ディスク、光磁気ディスク、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。 Further, each of the above-mentioned configurations, functions, processing units, processing means, etc. may be realized by hardware by designing a part or all of them with, for example, an integrated circuit. The present invention can also be realized by a program code of software that realizes the functions of the embodiments. In this case, the storage medium recording the program code is provided to the computer, and the processor included in the computer reads the program code stored in the storage medium. In this case, the program code itself read from the storage medium realizes the function of the above-described embodiment, and the program code itself and the storage medium storing the program code constitute the present invention. As a storage medium for supplying such a program code, for example, a flexible disk, a CD-ROM, a DVD-ROM, a hard disk, an SSD (Solid State Drive), an optical disk, a magneto-optical disk, a CD-R, a magnetic tape, A non-volatile memory card, ROM or the like is used.
また、本実施例に記載の機能を実現するプログラムコードは、例えば、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、Ｓｈｅｌｌ、ＰＨＰ、Ｐｙｔｈｏｎ、Ｊａｖａ（登録商標）等の広範囲のプログラムまたはスクリプト言語で実装できる。 The program code that implements the functions described in the present embodiment can be implemented in a wide range of programs or script languages such as assembler, C / C ++, perl, Shell, PHP, Python, and Java (registered trademark).
さらに、実施例の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することによって、それをコンピュータのハードディスクやメモリ等の記憶手段またはＣＤ−ＲＷ、ＣＤ−Ｒ等の記憶媒体に格納し、コンピュータが備えるプロセッサが当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしてもよい。 Furthermore, by distributing the program code of the software that realizes the functions of the embodiments via a network, the program code is stored in a storage means such as a hard disk or a memory of a computer or a storage medium such as a CD-RW or a CD-R. Alternatively, the processor included in the computer may read and execute the program code stored in the storage unit or the storage medium.
上述の実施例において、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。 In the above-mentioned embodiments, the control lines and information lines are shown to be necessary for explanation, and not all the control lines and information lines in the product are necessarily shown. All configurations may be connected to each other.
１０１ 放射線画像処理システム
１０２ Ｘ線管
１０３ 高電圧発生部
１０４ Ｘ線制御部
１０５ 絞り
１０６ Ｘ線補償フィルタ
１０７ 絞り／フィルタ制御部
１０８ 被写体
１０９ テーブル
１１０ 機構制御部
１１１ Ｘ線検出器
１１２ 検出器制御部
１１３ 記憶部
１１４ 中央処理部
１１５ 画像処理部
１１６ 入力部
１１７ 表示部
２０１、９０３ 低周波成分抽出部
２０２ 除算処理部
２０３ 除算処理部
６０１ ハロー低減部
９０１、９０５ 減算器
９０２ 正成分抽出部
９０４ 負成分抽出部
９０６、９０７ 加算器
９０８ ルックアップテーブル
101 Radiation
Claims (9)
第一透過像を生成する画像生成部と、
前記第一透過像の視認性を向上させるための処理を実行する画像処理部と、を備え、
前記画像処理部は、
前記第一透過像から低周波成分を抽出する低周波成分抽出部と、
前記第一透過像を前記低周波成分で除算する除算処理部と、
前記第一透過像のハローを低減するハロー低減部と、を含むことを特徴とする放射線画像処理システム。 A radiation image processing system for irradiating a subject with radiation and capturing a transmission image,
An image generation unit that generates a first transmission image,
An image processing unit that executes a process for improving the visibility of the first transmission image,
The image processing unit,
A low frequency component extraction unit for extracting a low frequency component from the first transmission image,
A division processing unit for dividing the first transmission image by the low frequency component,
And a halo reduction unit that reduces the halo of the first transmission image.
画像を表示する表示部を備え、
前記第一透過像は、複数の画素の輝度値から構成される画像であり、
前記除算処理部は、前記第一透過像を前記低周波成分で除算することによって第二透過像を算出して、前記第二透過像を前記ハロー低減部に出力し、
前記ハロー低減部は、
前記第二透過像の各々の画素の輝度値を第一輝度値で減算して、第三透過像を算出し、
前記第三透過像において、輝度値が正となる画素を抽出することによって第四透過像を算出し、
前記第四透過像の低周波成分を抽出することによって第五透過像を算出し、
前記第五透過像および前記第一透過像を用いて、前記ハローが低減された第六透過像を算出し、
前記表示部に、前記第六透過像を出力することを特徴とする放射線画像処理システム。 The radiation image processing system according to claim 1, wherein
Equipped with a display unit that displays images,
The first transmission image is an image composed of luminance values of a plurality of pixels,
The division processing unit calculates a second transmission image by dividing the first transmission image by the low frequency component, and outputs the second transmission image to the halo reduction unit,
The halo reduction unit,
The brightness value of each pixel of the second transmission image is subtracted by the first brightness value to calculate a third transmission image,
In the third transmission image, a fourth transmission image is calculated by extracting pixels having a positive luminance value,
The fifth transmission image is calculated by extracting the low-frequency component of the fourth transmission image,
Using the fifth transmission image and the first transmission image, to calculate the sixth transmission image in which the halo is reduced,
The radiation image processing system, wherein the sixth transmission image is output to the display unit.
前記ハロー低減部は、
前記第六透過像に対して、任意の特性を有する領域の輝度値を調整するための輝度値変換処理を実行することによって、第七透過像を算出し、
前記表示部に、前記第七透過像を出力することを特徴とする放射線画像処理システム。 The radiation image processing system according to claim 2, wherein
The halo reduction unit,
With respect to the sixth transmission image, a seventh transmission image is calculated by performing a luminance value conversion process for adjusting the luminance value of the region having an arbitrary characteristic,
The radiation image processing system, wherein the seventh transmission image is output to the display unit.
前記放射線画像処理システムは、前記透過像を生成する画像生成部と、前記透過像の視認性を向上させるための処理を実行する画像処理部と、を有し、
画像処理方法は、
前記画像生成部が、第一透過像を生成する第１のステップと、
前記画像処理部が、前記第一透過像から低周波成分を抽出し、前記第一透過像を前記低周波成分で除算することによって第二透過像を算出する第２のステップと、
前記画像処理部が、前記第二透過像のハローを低減するための処理を実行する第３のステップと、を含むことを特徴とする画像処理方法。 An image processing method executed by a radiation image processing system that irradiates a subject with radiation to generate a transmission image,
The radiation image processing system includes an image generation unit that generates the transmission image, and an image processing unit that executes a process for improving the visibility of the transmission image.
The image processing method is
A first step in which the image generation unit generates a first transmission image;
A second step in which the image processing unit extracts a low-frequency component from the first transmission image and calculates a second transmission image by dividing the first transmission image by the low-frequency component;
The image processing unit includes a third step of performing a process for reducing a halo of the second transmission image, the image processing method.
前記放射線画像処理システムは、画像を表示する表示部を有し、
前記第一透過像は、複数の画素の輝度値から構成される画像であり、
前記第３のステップは、
前記画像処理部が、前記第二透過像の各々の画素の輝度値を第一輝度値で減算して、第三透過像を算出するステップと、
前記画像処理部が、前記第三透過像において、輝度値が正となる画素を抽出することによって第四透過像を算出するステップと、
前記画像処理部が、前記第四透過像の低周波成分を抽出することによって第五透過像を算出するステップと、
前記画像処理部が、前記第五透過像および前記第一透過像を用いて、前記ハローが低減された第六透過像を算出するステップと、
前記画像処理部が、前記表示部に、前記第六透過像を出力するステップと、を含むことを特徴とする画像処理方法。 The image processing method according to claim 4, wherein
The radiation image processing system has a display unit for displaying an image,
The first transmission image is an image composed of luminance values of a plurality of pixels,
The third step is
A step in which the image processing unit subtracts the brightness value of each pixel of the second transmission image by the first brightness value to calculate a third transmission image;
The image processing unit, in the third transmission image, a step of calculating a fourth transmission image by extracting pixels having a positive luminance value,
A step of calculating the fifth transmission image by extracting the low frequency component of the fourth transmission image, the image processing unit;
The image processing unit, using the fifth transmission image and the first transmission image, a step of calculating a sixth transmission image in which the halo is reduced,
The image processing section includes a step of outputting the sixth transmission image to the display section.
前記第３のステップは、
前記画像処理部が、前記第六透過像に対して、任意の特性を有する領域の輝度値を調整するための輝度値変換処理を実行することによって、第七透過像を算出するステップと、
前記画像処理部が、前記表示部に、前記第七透過像を出力するステップと、を含むことを特徴とする画像処理方法。 The image processing method according to claim 5, wherein
The third step is
The image processing unit, for the sixth transmission image, by performing a luminance value conversion process for adjusting the luminance value of the region having an arbitrary characteristic, a step of calculating a seventh transmission image,
The image processing section outputs the seventh transmission image to the display section, and the image processing method.
第一透過像を受け付ける第１の手順と、
前記第一透過像から低周波成分を抽出し、前記第一透過像を前記低周波成分で除算することによって第二透過像を算出する第２の手順と、
前記第二透過像のハローを低減するための処理を実行する第３の手順と、を前記計算機に実行させることを特徴とするプログラム。 A program to be executed by a computer that processes a transmission image generated by irradiating a subject with radiation,
A first procedure for receiving a first transmission image,
A second step of calculating a second transmission image by extracting a low frequency component from the first transmission image and dividing the first transmission image by the low frequency component;
A program for causing the computer to execute a third procedure for executing a process for reducing the halo of the second transmission image.
前記計算機は、画像を表示する表示装置と接続し、
前記第一透過像は、複数の画素の輝度値から構成される画像であり、
前記第３の手順は、
前記第二透過像の各々の画素の輝度値を第一輝度値で減算して、第三透過像を算出する手順と、
前記第三透過像において、輝度値が正となる画素を抽出することによって第四透過像を算出する手順と、
前記第四透過像の低周波成分を抽出することによって第五透過像を算出する手順と、
前記第五透過像および前記第一透過像を用いて、前記ハローが低減された第六透過像を算出する手順と、
前記表示装置に前記第六透過像を出力する手順と、を含むことを特徴とするプログラム。 The program according to claim 7,
The computer is connected to a display device for displaying images,
The first transmission image is an image composed of luminance values of a plurality of pixels,
The third step is
A step of calculating a third transmission image by subtracting the luminance value of each pixel of the second transmission image by the first luminance value;
In the third transmission image, a procedure of calculating a fourth transmission image by extracting pixels having a positive luminance value,
A procedure of calculating a fifth transmission image by extracting the low frequency component of the fourth transmission image,
Using the fifth transmission image and the first transmission image, a procedure of calculating the sixth transmission image in which the halo is reduced,
A step of outputting the sixth transmission image to the display device, the program.
前記第３の手順は、
前記第六透過像に対して、任意の特性を有する領域の輝度値を調整するための輝度値変換処理を実行することによって、第七透過像を算出する手順と、
前記表示装置に前記第七透過像を出力する手順と、を含むことを特徴とするプログラム。 The program according to claim 8,
The third step is
With respect to the sixth transmission image, by performing a brightness value conversion process for adjusting the brightness value of the region having an arbitrary characteristic, a procedure of calculating a seventh transmission image,
And a step of outputting the seventh transmission image to the display device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018198752A JP7150558B2 (en) | 2018-10-22 | 2018-10-22 | Radiation image processing system, image processing method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018198752A JP7150558B2 (en) | 2018-10-22 | 2018-10-22 | Radiation image processing system, image processing method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020065614A true JP2020065614A (en) | 2020-04-30 |
| JP7150558B2 JP7150558B2 (en) | 2022-10-11 |
Family
ID=70388852
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018198752A Active JP7150558B2 (en) | 2018-10-22 | 2018-10-22 | Radiation image processing system, image processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7150558B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022264468A1 (en) * | 2021-06-18 | 2022-12-22 | 株式会社日立製作所 | Radiological image processing device, image processing method, and system |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006223891A (en) * | 2006-05-15 | 2006-08-31 | Konica Minolta Holdings Inc | Radiation image processor |
| JP2013215593A (en) * | 2013-06-10 | 2013-10-24 | Canon Inc | Image processor, image processing system, image processing method, and memory medium |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3733260B2 (en) | 1999-04-30 | 2006-01-11 | キヤノン株式会社 | Image processing apparatus and image processing method |
| JP4059257B2 (en) | 2005-04-26 | 2008-03-12 | コニカミノルタホールディングス株式会社 | Radiation image processing method and radiation image processing apparatus |
-
2018
- 2018-10-22 JP JP2018198752A patent/JP7150558B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006223891A (en) * | 2006-05-15 | 2006-08-31 | Konica Minolta Holdings Inc | Radiation image processor |
| JP2013215593A (en) * | 2013-06-10 | 2013-10-24 | Canon Inc | Image processor, image processing system, image processing method, and memory medium |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022264468A1 (en) * | 2021-06-18 | 2022-12-22 | 株式会社日立製作所 | Radiological image processing device, image processing method, and system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7150558B2 (en) | 2022-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7194143B2 (en) | Systems and methods to facilitate review of liver tumor cases | |
| US7869637B2 (en) | Histogram calculation for auto-windowing of collimated X-ray image | |
| JP2010162278A (en) | X-ray image diagnostic apparatus | |
| JP5341471B2 (en) | Radiographic image processing apparatus, image processing method, X-ray fluoroscopic apparatus, and control method thereof | |
| JP4512313B2 (en) | Automatic optimization imaging system and method | |
| JP2012517267A (en) | Medical display system for displaying X-ray images | |
| JP2017221483A (en) | Medical image processing device and program | |
| JP7150558B2 (en) | Radiation image processing system, image processing method, and program | |
| US10079003B2 (en) | Method and device for imaging a region of interest | |
| CN109118468B (en) | Method, system, equipment and storage medium for fusing X-ray esophageal radiography images | |
| JP4830564B2 (en) | Medical imaging system | |
| JPWO2020059306A1 (en) | Image processing device, image processing method, and image processing program | |
| JP6776171B2 (en) | Radiation imaging device, image processing device and image processing program | |
| JP6956554B2 (en) | X-ray diagnostic equipment and image processing program | |
| JP4692245B2 (en) | Phase contrast X-ray imaging system for asbestos and phase contrast X-ray imaging method for asbestos | |
| JP7366870B2 (en) | Learning device, method and program, trained model, and radiographic image processing device, method and program | |
| US11813095B2 (en) | Radiation imaging apparatus, radiation imaging method, and non-transitory computer-readable storage medium | |
| JP2006255217A (en) | X-ray image diagnostic apparatus | |
| CN112137634A (en) | X-ray imaging method, device, equipment and medium | |
| JP2007244738A (en) | Medical image system | |
| JP2020031857A (en) | X-ray diagnostic apparatus | |
| JP2009054013A (en) | Image processor | |
| JP2014068815A (en) | Medical image display device, control method for the same and program | |
| JPH10229519A (en) | X-ray image digital processor | |
| CN112438743B (en) | Radiation image processing system and image processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20210226 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20210311 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210617 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20211027 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220524 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220525 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220722 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220830 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220928 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7150558 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |