JP6865718B2 - Endoscope - Google Patents

Endoscope Download PDF

Info

Publication number
JP6865718B2
JP6865718B2 JP2018135922A JP2018135922A JP6865718B2 JP 6865718 B2 JP6865718 B2 JP 6865718B2 JP 2018135922 A JP2018135922 A JP 2018135922A JP 2018135922 A JP2018135922 A JP 2018135922A JP 6865718 B2 JP6865718 B2 JP 6865718B2
Authority
JP
Japan
Prior art keywords
prism
image
light
component
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018135922A
Other languages
Japanese (ja)
Other versions
JP2018171507A5 (en
JP2018171507A (en
Inventor
祐一 竹永
祐一 竹永
晴康 片平
晴康 片平
Original Assignee
パナソニックi−PROセンシングソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックi−PROセンシングソリューションズ株式会社 filed Critical パナソニックi−PROセンシングソリューションズ株式会社
Priority to JP2018135922A priority Critical patent/JP6865718B2/en
Publication of JP2018171507A publication Critical patent/JP2018171507A/en
Publication of JP2018171507A5 publication Critical patent/JP2018171507A5/ja
Application granted granted Critical
Publication of JP6865718B2 publication Critical patent/JP6865718B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Optical Elements Other Than Lenses (AREA)
  • Endoscopes (AREA)
  • Studio Devices (AREA)

Description

本開示は、内視鏡に関する。 The present disclosure relates to an endoscope .

従来、3色分解プリズムを用いた内視鏡システムが知られている(例えば、特許文献1参照)。この内視鏡システムは、R(赤色)、G(緑色)、B(青色)の3色の組み合わせで体内の部位が表現されたカラー撮像画像を取得し、この撮像画像に対し、指定された波長成分を強調する画像処理を施す。 Conventionally, an endoscope system using a three-color separation prism is known (see, for example, Patent Document 1). This endoscope system acquires a color image in which a part of the body is expressed by a combination of three colors of R (red), G (green), and B (blue), and is designated for this image. Image processing that emphasizes the wavelength component is performed.

特開2013−116353号公報Japanese Unexamined Patent Publication No. 2013-116353

特許文献1に記載の内視鏡システムでは、RGBの3色以外にIR光(赤外光)成分を加味すると、内視鏡による撮像画像の画質が不十分であった。 In the endoscope system described in Patent Document 1, the image quality of the image captured by the endoscope is insufficient when the IR light (infrared light) component is added in addition to the three colors of RGB.

本開示は、上記事情に鑑みてなされたものであり、赤外光成分を加味した画質を向上できる内視鏡を提供する。 The present disclosure has been made in view of the above circumstances, and provides an endoscope capable of improving image quality in consideration of an infrared light component.

本開示は、患部からの光をIR成分、青色成分、赤色成分、緑色成分にそれぞれ分解するIRプリズム、青色プリズム、赤色プリズムおよび緑色プリズムからなる4つのプリズムを有し、使用者が手で把持可能なカメラヘッドを有する、手術時に使用される内視鏡であって、前記IRプリズム、前記青色プリズム、前記赤色プリズム、前記緑色プリズムのうち、前記患部に最も近い側に配置されたプリズムを第1プリズム、前記第1プリズムに隣接する前記患部から2番目に近い側に配置されたプリズムを第2プリズム、前記第2プリズムに隣接する前記患部から3番目に近い側に配置されたプリズムを第3プリズムとし、前記第1プリズムと前記第2プリズムとの第1の境界、および前記第2プリズムと前記第3プリズムとの第2の境界で光を反射させ、前記IRプリズム、前記青色プリズム、前記赤色プリズム、前記緑色プリズムのそれぞれの出射面に対向させて接続して前記カメラヘッド内に設けられ、前記IRプリズム、前記青色プリズム、前記赤色プリズム、前記緑色プリズムのそれぞれで反射した出射光を入射して撮像する、IRイメージセンサ、青色イメージセンサ、赤色イメージセンサ、緑色イメージセンサのそれぞれを更に有する、内視鏡を提供する。 The present disclosure has four prisms including an IR prism, a blue prism, a red prism, and a green prism that decompose light from an affected area into an IR component, a blue component, a red component, and a green component, respectively, and the user grasps the light by hand. An endoscope used at the time of surgery having a possible camera head, wherein the prism arranged on the side closest to the affected part among the IR prism, the blue prism, the red prism, and the green prism is the first. The first prism, the prism arranged on the second closest side to the affected part adjacent to the first prism is the second prism, and the prism arranged on the third closest side to the affected part adjacent to the second prism is the second prism. Three prisms are used, and light is reflected at the first boundary between the first prism and the second prism and the second boundary between the second prism and the third prism, and the IR prism, the blue prism, and the like. The emitted light reflected by each of the IR prism, the blue prism, the red prism, and the green prism is provided in the camera head by being connected to the emission surfaces of the red prism and the green prism so as to face each other. Provided is an endoscope having each of an IR image sensor, a blue image sensor, a red image sensor, and a green image sensor that are incidentally imaged.

本開示によれば、赤外光成分を加味して、内視鏡により撮像された撮像画像の画質を向上できる。 According to the present disclosure, the image quality of an image captured by an endoscope can be improved by adding an infrared light component.

第1の実施形態における内視鏡の一例を示す外観図External view showing an example of the endoscope in the first embodiment 内視鏡の概略構成例を示す模式図Schematic diagram showing a schematic configuration example of an endoscope 4色分解プリズムの構造例を示す模式図Schematic diagram showing a structural example of a 4-color separation prism 4色分解プリズムの分光特性の一例を示すグラフA graph showing an example of the spectral characteristics of a 4-color separation prism 第1の実施形態における内視鏡システムの構成例を示すブロック図Block diagram showing a configuration example of the endoscope system according to the first embodiment 表示部に表示された同時出力モード時の画像例を示す模式図Schematic diagram showing an example of an image displayed on the display unit in the simultaneous output mode 表示部に表示された重畳出力モード時の画像例を示す模式図Schematic diagram showing an example of an image displayed on the display unit in the superimposed output mode 3色分解プリズムの分光特性を示すグラフGraph showing the spectral characteristics of the three-color separation prism

以下、本開示の実施形態について、図面を用いて説明する。 Hereinafter, embodiments of the present disclosure will be described with reference to the drawings.

(本開示の一形態を得るに至った経緯) (Background to obtain one form of this disclosure)

内視鏡を用いた手術では、蛍光物質であるインドシアニングリーン(ICG:Indocyamine Green)を体内に投与し、過剰に集積した腫瘍等の部位(患部)に近赤外光を当てて患部を光らせ、患部を含む部位を撮像することがある。ICGは、近赤外光(例えばピーク波長805nm、750〜810nm)で励起すると、より長波長の近赤外光(例えばピーク波長835nm)で蛍光発光する物質である。 In endoscopic surgery, a fluorescent substance, indocyanine green (ICG), is administered into the body, and near-infrared light is applied to the excessively accumulated tumor or other site (affected area) to illuminate the affected area. , The site including the affected area may be imaged. ICG is a substance that, when excited by near-infrared light (for example, peak wavelength 805 nm, 750 to 810 nm), fluoresces with longer wavelength near-infrared light (for example, peak wavelength 835 nm).

イメージセンサが1個である単板式カメラが、IR成分を含む光を受光して患部の画像を取得する場合、イメージセンサの入射面に4分割されたR(赤色)成分,G(緑色)成分,B(青色)成分、及びIR成分用のフィルタを設ける。そのため、所望の色再現性及び解像度を得ようとすると、イメージセンサのサイズが大きくなる。このため、内視鏡に単板式カメラを適用することは困難である。 When a single-plate camera with one image sensor receives light containing an IR component and acquires an image of the affected area, the R (red) component and G (green) component divided into four on the incident surface of the image sensor. , B (blue) component, and IR component filters are provided. Therefore, the size of the image sensor becomes large when trying to obtain the desired color reproducibility and resolution. Therefore, it is difficult to apply a single-plate camera to an endoscope.

また、特許文献1に記載の内視鏡システムに示されるように、3色分解プリズムを用いた3板式カメラが、IR成分を含む光を受光して患部の画像を取得する場合、図8に示すように、IR成分(例えば800nm以上の波長を有する光)の信号強度が小さい。 Further, as shown in the endoscopic system described in Patent Document 1, when a three-plate camera using a three-color separation prism receives light containing an IR component and acquires an image of the affected area, FIG. 8 shows. As shown, the signal intensity of the IR component (for example, light having a wavelength of 800 nm or more) is small.

図8は、3色分解プリズムの分光特性を示すグラフである。図8では、縦軸は各色の透過率を表し、横軸は波長を表す。この透過率は、R成分,G成分,B成分用の各プリズムへの入射光の光量と、各プリズムに対応する撮像素子への入射光の光量と、の比率に相当する。h11は、R成分の光の透過率を示す。h12は、G成分の光の透過率を示す。h13は、B成分の光の透過率を示す。尚、h11は、IR成分の光の透過率も含んでいる。 FIG. 8 is a graph showing the spectral characteristics of the three-color separation prism. In FIG. 8, the vertical axis represents the transmittance of each color, and the horizontal axis represents the wavelength. This transmittance corresponds to the ratio of the amount of incident light to each prism for the R component, G component, and B component to the amount of incident light to the image sensor corresponding to each prism. h11 indicates the light transmittance of the R component. h12 indicates the light transmittance of the G component. h13 indicates the light transmittance of the B component. In addition, h11 also includes the light transmittance of the IR component.

図8に示すように、R成分(波形h11参照)の光を受光するイメージセンサによりIR成分の光が取得されるが、IR成分(例えば波長800nm以上の成分)の透過率は、R成分,G成分,B成分の光の透過率と比較すると、低い。そのため、IR成分の信号強度が小さく、IR成分により得られる画像(IR画像)は不鮮明となる。 As shown in FIG. 8, the light of the IR component is acquired by the image sensor that receives the light of the R component (see waveform h11), but the transmittance of the IR component (for example, the component having a wavelength of 800 nm or more) is the R component. Compared with the light transmittance of G component and B component, it is low. Therefore, the signal strength of the IR component is small, and the image (IR image) obtained by the IR component becomes unclear.

一方、特許文献1の内視鏡システムがIR成分の信号強度を大きくするためにIR成分を増幅すると、画像がぼけたりノイズが強調されたりする。そのため、IR画像の画質が低下する。従って、増幅されたIR成分により得られた画像では、IR成分を含む所望の部位(患部)を目視することが困難である。 On the other hand, when the endoscope system of Patent Document 1 amplifies the IR component in order to increase the signal strength of the IR component, the image is blurred or noise is emphasized. Therefore, the image quality of the IR image is deteriorated. Therefore, in the image obtained by the amplified IR component, it is difficult to visually recognize the desired site (affected part) containing the IR component.

以下、赤外光成分を加味した画質を向上できる内視鏡及び内視鏡システムについて説明する。 Hereinafter, an endoscope and an endoscope system capable of improving image quality by adding an infrared light component will be described.

以下の実施形態の内視鏡は、腹腔内等の体内の部位(対象物)を観察するために用いられる。 The endoscope of the following embodiment is used for observing a part (object) in the body such as the abdominal cavity.

(第1の実施形態)
[内視鏡の構成]
図1は第1の実施形態における内視鏡10の外観を示す模式図である。図2は内視鏡10の概略構成を示す模式図である。内視鏡10は、使用者が片手で取扱い可能な医療器具である。内視鏡10は、例えば、スコープ11、マウントアダプタ12、リレーレンズ13、カメラヘッド14、操作スイッチ19及び光源コネクタ18を含んで構成される。
(First Embodiment)
[Endoscope configuration]
FIG. 1 is a schematic view showing the appearance of the endoscope 10 in the first embodiment. FIG. 2 is a schematic view showing a schematic configuration of the endoscope 10. The endoscope 10 is a medical device that can be handled by the user with one hand. The endoscope 10 includes, for example, a scope 11, a mount adapter 12, a relay lens 13, a camera head 14, an operation switch 19, and a light source connector 18.

スコープ11は、体内に挿入される、例えば硬性内視鏡の主要部であり、末端から先端まで光を導くことが可能な細長い導光部材である。スコープ11は、先端に撮像窓11zを有し、撮像窓11zから入射した光学像が伝送される光ファイバと、光源コネクタ18から導入された光Lを先端まで導く光ファイバと、を有する。撮像窓11zには、光学ガラスや光学プラスチック等の光学材料が用いられる。 The scope 11 is a main part of a rigid endoscope, for example, which is inserted into the body, and is an elongated light guide member capable of guiding light from the end to the tip. The scope 11 has an imaging window 11z at its tip, and has an optical fiber through which an optical image incident from the imaging window 11z is transmitted and an optical fiber that guides the light L introduced from the light source connector 18 to the tip. An optical material such as optical glass or optical plastic is used for the image pickup window 11z.

マウントアダプタ12は、スコープ11をカメラヘッド14に取り付けるための部材である。マウントアダプタ12には、種々のスコープが着脱自在に装着可能である。また、マウントアダプタ12には、光源コネクタ18が装着される。 The mount adapter 12 is a member for attaching the scope 11 to the camera head 14. Various scopes can be detachably attached to the mount adapter 12. Further, the light source connector 18 is attached to the mount adapter 12.

光源コネクタ18は、光源装置(不図示)から、体内の部位(患部等)を照明するための照明光を導入する。この照明光は、可視光及びIR光を含む。光源コネクタ18に導入された光は、スコープ11を通ってスコープ11の先端まで導かれ、撮像窓11zから体内の部位(患部等)に照射される。光源は、例えば、LED光源である。尚、光源は、LED光源の代わりに、キセノンランプやハロゲンランプ等の光源でもよい。 The light source connector 18 introduces illumination light for illuminating a part (affected part or the like) in the body from a light source device (not shown). This illumination light includes visible light and IR light. The light introduced into the light source connector 18 is guided to the tip of the scope 11 through the scope 11 and is irradiated to a part of the body (affected part or the like) from the imaging window 11z. The light source is, for example, an LED light source. The light source may be a light source such as a xenon lamp or a halogen lamp instead of the LED light source.

リレーレンズ13は、スコープ11を通して伝達される光学像を撮像面に収束させる。リレーレンズ13は、複数のレンズを有し、操作スイッチ19の操作量に応じて、レンズを移動させて焦点調整及び倍率調整を行う。 The relay lens 13 converges the optical image transmitted through the scope 11 on the imaging surface. The relay lens 13 has a plurality of lenses, and moves the lens to adjust the focus and the magnification according to the amount of operation of the operation switch 19.

カメラヘッド14は、使用者が手で把持可能な筐体を有し、4色分解プリズム20(図3参照)、4個のイメージセンサ230,231,232,233(図3参照)、及び電子基板250を有する(図5参照)。 The camera head 14 has a housing that can be grasped by the user by hand, and has a four-color separation prism 20 (see FIG. 3), four image sensors 230, 231,232, 233 (see FIG. 3), and an electron. It has a substrate 250 (see FIG. 5).

4色分解プリズム20は、リレーレンズ13で収束された光を、R光(R成分)、G光(G成分)、B光(B成分)、の3原色光及びIR光(IR成分)に分解する4板方式のプリズムである。イメージセンサ230〜233は、4色分解プリズム20で分解され、各々の撮像面に結像した光学像を画像信号(電気信号)に変換する。 The four-color separation prism 20 converts the light converged by the relay lens 13 into three primary color light and IR light (IR component) of R light (R component), G light (G component), and B light (B component). It is a 4-plate prism that disassembles. The image sensors 230 to 233 are decomposed by the four-color separation prism 20 and convert the optical image formed on each imaging surface into an image signal (electric signal).

イメージセンサ230〜233には、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等のイメージセンサが用いられる。 For the image sensors 230 to 233, image sensors such as CCD (Charge Coupled Device) and CMOS (Complementary Metal Oxide Sensor) are used.

4個のイメージセンサ230〜233は、IR成分、B成分、R成分、及びG成分の光をそれぞれ受光する専用のセンサである。そのため、1個のイメージセンサでIR成分、R成分、G成分、及びB成分の光を受光する単板式カメラと異なり、個々のイメージセンサとしてサイズの小さいイメージセンサを採用できる。例えば、1/3type(4.8mm×3.6mm)のサイズのイメージセンサが用いられる。尚、単板式のカメラの場合、少なくとも2/3type(8.8mm×6.6mm)のサイズのイメージセンサが必要であった。 The four image sensors 230 to 233 are dedicated sensors that receive light of the IR component, the B component, the R component, and the G component, respectively. Therefore, unlike a single-panel camera that receives light of IR component, R component, G component, and B component with one image sensor, a small-sized image sensor can be adopted as each image sensor. For example, an image sensor having a size of 1/3 type (4.8 mm × 3.6 mm) is used. In the case of a single-panel camera, an image sensor having a size of at least 2/3 type (8.8 mm × 6.6 mm) was required.

電子基板250(図5参照)には、例えば、LVDS(Low Volt Digital Signal)方式で信号を出力する信号出力回路と、タイミングジェネレータ(TG:Timing Generator)の回路(TG回路)と、を含む回路が搭載される。 The electronic board 250 (see FIG. 5) includes, for example, a signal output circuit that outputs a signal in an LVDS (Low Volt Digital Signal) system, and a circuit (TG circuit) of a timing generator (TG: Timing Generator). Is installed.

信号出力回路は、各イメージセンサ230〜233で撮像された画像のRGB信号及びIR信号を、LVDS(Low Volt Digital Signal)方式でパルス信号として出力する。TG回路は、カメラヘッド14内の各部にタイミング信号(同期信号)等を供給する。尚、RGB信号は、R成分、G成分、及びB成分の少なくとも1つを含む信号である。 The signal output circuit outputs the RGB signal and IR signal of the image captured by each image sensor 230 to 233 as a pulse signal by the LVDS (Low Volt Digital Signal) method. The TG circuit supplies timing signals (synchronous signals) and the like to each part in the camera head 14. The RGB signal is a signal containing at least one of an R component, a G component, and a B component.

カメラヘッド14には、後述するCCU(Camera Control Unit)30に対して画像信号を伝送するための信号ケーブル14zが装着される。 A signal cable 14z for transmitting an image signal to a CCU (Camera Control Unit) 30, which will be described later, is attached to the camera head 14.

[4色分解プリズムの構成]
図3は4色分解プリズム20の構造の一例を示す図である。
[Structure of 4-color separation prism]
FIG. 3 is a diagram showing an example of the structure of the four-color separation prism 20.

4色分解プリズム20は、リレーレンズ13により導かれる入射光を、R成分、G成分、B成分の3原色の光及びIR成分の光に分解する。4色分解プリズム20では、IR分解プリズム220、青色分解プリズム221、赤色分解プリズム222、及び緑色分解プリズム223が、光軸方向に順に組み付けられる。 The four-color separation prism 20 decomposes the incident light guided by the relay lens 13 into light of the three primary colors of the R component, the G component, and the B component, and light of the IR component. In the four-color separation prism 20, the IR decomposition prism 220, the blue decomposition prism 221 and the red decomposition prism 222, and the green decomposition prism 223 are assembled in this order in the optical axis direction.

IR用のイメージセンサ230は、IR分解プリズム220の出射面220cと対向して配置される。青色用のイメージセンサ231は、青色分解プリズム221の出射面221cと対向して配置される。赤色用のイメージセンサ232は、赤色分解プリズム222の出射面222cと対向して配置される。緑色用のイメージセンサ233は、緑色分解プリズム223の出射面223cと対向して配置される。 The image sensor 230 for IR is arranged so as to face the exit surface 220c of the IR decomposition prism 220. The blue image sensor 231 is arranged so as to face the exit surface 221c of the blue decomposition prism 221. The red image sensor 232 is arranged so as to face the exit surface 222c of the red decomposition prism 222. The green image sensor 233 is arranged so as to face the exit surface 223c of the green decomposition prism 223.

イメージセンサ230〜233は、例えば、水平(H)方向及び垂直(V)方向に配列した各画素を含むCCD又はCMOSイメージセンサである。イメージセンサ230〜233は、IR及びR,G,Bの各色に分解された光が各撮像面に結像した光学像を電気信号に変換する。 The image sensors 230 to 233 are, for example, CCD or CMOS image sensors including pixels arranged in the horizontal (H) direction and the vertical (V) direction. The image sensors 230 to 233 convert the optical image formed by the light decomposed into IR and R, G, and B colors on each imaging surface into an electric signal.

IR分解プリズム220では、入射光は、IR分解プリズム220の入射面220aに入射される。入射面220aと対向する反射面220bで反射された光は、IR分解プリズム220の入射面220aの境界で全反射され、入射面220aと対向する出射面220cから出射され、IR用のイメージセンサ230に入射される。反射面220bには、IR反射膜240が例えば蒸着によって形成される。IR分解プリズム220は、入射光のうち、IR成分の光を反射させ、その他の光(B成分、R成分及びG成分の光)を透過させる。IR用のイメージセンサ230は、反射面220b及び入射面220aで反射された光を入射し、受光する。このようにIR分解プリズム220において光が進行するよう、IR分解プリズム220が成形される。 In the IR decomposition prism 220, the incident light is incident on the incident surface 220a of the IR decomposition prism 220. The light reflected by the reflecting surface 220b facing the incident surface 220a is totally reflected at the boundary of the incident surface 220a of the IR decomposition prism 220, emitted from the emitting surface 220c facing the incident surface 220a, and is emitted from the exit surface 220c facing the incident surface 220a. Is incident on. An IR reflective film 240 is formed on the reflective surface 220b, for example, by vapor deposition. The IR decomposition prism 220 reflects the light of the IR component among the incident light and transmits other light (light of the B component, the R component and the G component). The image sensor 230 for IR incidents the light reflected by the reflecting surface 220b and the incident surface 220a and receives the light. In this way, the IR decomposition prism 220 is formed so that light travels in the IR decomposition prism 220.

青色分解プリズム221では、IR分解プリズム220を透過した光(入射光)は、青色分解プリズム221の入射面221aに入射される。入射面221aと対向する反射面221bで反射された光は、青色分解プリズム221の入射面221aの境界で全反射され、入射面221aと対向する出射面221cから出射され、青色用のイメージセンサ231に入射される。反射面221bには、青色反射膜241が例えば蒸着によって形成される。青色分解プリズム221は、入射光のうち、B成分の光を反射させ、その他の光(R成分及びG成分の光)を透過させる。青色用のイメージセンサ231は、反射面221b及び入射面221aで反射された光を入射し、受光する。このように青色分解プリズム221において光が進行するよう、青色分解プリズム221が成形される。 In the blue decomposition prism 221, the light (incident light) transmitted through the IR decomposition prism 220 is incident on the incident surface 221a of the blue decomposition prism 221. The light reflected by the reflecting surface 221b facing the incident surface 221a is totally reflected at the boundary of the incident surface 221a of the blue decomposition prism 221 and emitted from the exit surface 221c facing the incident surface 221a. Is incident on. A blue reflective film 241 is formed on the reflective surface 221b by, for example, vapor deposition. The blue decomposition prism 221 reflects the light of the B component among the incident light and transmits the other light (light of the R component and the G component). The blue image sensor 231 receives the light reflected by the reflecting surface 221b and the incident surface 221a and receives the light. In this way, the blue decomposition prism 221 is formed so that light travels in the blue decomposition prism 221.

赤色分解プリズム222では、青色分解プリズム221を透過した光(入射光)は、赤色分解プリズム222の入射面222aに入射される。入射面222aと対向する反射面222bで反射された光は、赤色分解プリズム222の入射面222aの境界で全反射され、入射面222aと対向する出射面222cから出射され、赤色用のイメージセンサ232に入射される。反射面222bには、赤色反射膜242が例えば蒸着によって形成される。赤色分解プリズム222は、入射光のうち、R成分の光を反射させ、その他の光(G成分の光)を透過させる。赤色用のイメージセンサ232は、反射面222b及び入射面222aで反射された光を入射し、受光する。このように赤色分解プリズム222において光が進行するよう、赤色分解プリズム222が成形される。 In the red decomposition prism 222, the light (incident light) transmitted through the blue decomposition prism 221 is incident on the incident surface 222a of the red decomposition prism 222. The light reflected by the reflecting surface 222b facing the incident surface 222a is totally reflected at the boundary of the incident surface 222a of the red decomposition prism 222, emitted from the emitting surface 222c facing the incident surface 222a, and is emitted from the exit surface 222c for red. Is incident on. A red reflective film 242 is formed on the reflective surface 222b, for example, by vapor deposition. The red decomposition prism 222 reflects the light of the R component among the incident light and transmits the other light (light of the G component). The red image sensor 232 receives the light reflected by the reflecting surface 222b and the incident surface 222a and receives the light. In this way, the red decomposition prism 222 is formed so that light travels in the red decomposition prism 222.

緑色分解プリズム223では、赤色分解プリズム222を透過した光(入射光)は、緑色分解プリズム223の入射面223aに入射し、入射面223aと対向する出射面223cから出射され、緑色用のイメージセンサ233に入射される。このように緑色分解プリズム223において光が進行するよう、緑色分解プリズム223が成形される。 In the green decomposition prism 223, the light (incident light) transmitted through the red decomposition prism 222 is incident on the incident surface 223a of the green decomposition prism 223 and emitted from the exit surface 223c facing the incident surface 223a, and is an image sensor for green. It is incident on 233. In this way, the green decomposition prism 223 is formed so that light travels in the green decomposition prism 223.

ここで、IR用のイメージセンサ230は、そのまま各画素値(信号レベル)の電気信号を出力してもよいが、水平(H)及び垂直(V)方向に隣接する画素の画素値を加算するH/V画素加算処理を行い、H/V画素加算処理後の画素値の電気信号を出力してもよい。 Here, the image sensor 230 for IR may output an electric signal of each pixel value (signal level) as it is, but adds pixel values of adjacent pixels in the horizontal (H) and vertical (V) directions. The H / V pixel addition processing may be performed, and the electric signal of the pixel value after the H / V pixel addition processing may be output.

H/V画素加算されると、例えば、IR用のイメージセンサ230の画素値が「30」程度である場合、画素加算を行うことで、IR成分の画素値が「120」(=30×4)となる。 When H / V pixels are added, for example, when the pixel value of the image sensor 230 for IR is about "30", the pixel value of the IR component becomes "120" (= 30 × 4) by performing the pixel addition. ).

従来のIR成分の画素値が「10」程度であるとすると、本実施形態の内視鏡10によれば、IR用のイメージセンサ230を独立に設けたことで、従来と比較すると、およそ3倍〜12倍のIR成分の画素値が得られる。 Assuming that the pixel value of the conventional IR component is about "10", according to the endoscope 10 of the present embodiment, the image sensor 230 for IR is provided independently, so that it is about 3 as compared with the conventional one. A pixel value of an IR component of 2 to 12 times can be obtained.

また、本実施形態のRGB用の各イメージセンサ231,232,233の画素値が「100」程度であるとする。この場合、H/V画素加算を加味すると、R成分、G成分、B成分の各信号レベルとIR成分の信号レベルとが同程度となり、RGB画像及びIR画像を見易くなる。RGB画像は、R成分、G成分、B成分の少なくとも1つの信号により得られる画像である。IR画像は、IR成分の信号により得られる画像である。 Further, it is assumed that the pixel values of the RGB image sensors 231, 232, and 233 of the present embodiment are about "100". In this case, when the H / V pixel addition is added, the signal levels of the R component, the G component, and the B component and the signal level of the IR component become about the same, making it easier to see the RGB image and the IR image. The RGB image is an image obtained by at least one signal of the R component, the G component, and the B component. The IR image is an image obtained by the signal of the IR component.

[4色分解プリズムの分光特性]
図4は4色分解プリズム20の分光特性の一例を示すグラフである。図4の縦軸は、各透過率(%)を示し、各プリズムへの入射光の光量に対する、各プリズムに対するイメージセンサ230〜233への入射光の光量の比率に相当する。図4の横軸は、各イメージセンサ230〜233に入射する光の波長(nm)を表す。
[Spectroscopic characteristics of 4-color separation prism]
FIG. 4 is a graph showing an example of the spectral characteristics of the four-color separation prism 20. The vertical axis of FIG. 4 indicates each transmittance (%), and corresponds to the ratio of the amount of light incident on the image sensors 230 to 233 to each prism to the amount of light incident on each prism. The horizontal axis of FIG. 4 represents the wavelength (nm) of light incident on each image sensor 230 to 233.

図4では、波形h1(実線)は、IR用のイメージセンサ230に入射するIR成分の光の分光特性を示す。4色分解プリズム20に入射した光のうち、IR用のイメージセンサ230に入射するIR成分の光の透過率は、波長800〜1000nmにかけて、波長900nm付近で透過率が70%程度となるピーク波形を有する。 In FIG. 4, the waveform h1 (solid line) shows the spectral characteristics of the light of the IR component incident on the image sensor 230 for IR. Of the light incident on the four-color separation prism 20, the transmittance of the light of the IR component incident on the image sensor 230 for IR is a peak waveform in which the transmittance is about 70% at a wavelength of around 900 nm over a wavelength of 800 to 1000 nm. Has.

波形h2(一点鎖線)は、赤色用のイメージセンサ232に入射するR成分の光の分光特性を示す。赤色用のイメージセンサ232に入射するR成分の光の透過率は、波長600nm付近で透過率が80%程度となるピーク波形を有する。 The waveform h2 (dashed line) shows the spectral characteristics of the light of the R component incident on the image sensor 232 for red. The transmittance of the light of the R component incident on the image sensor 232 for red has a peak waveform in which the transmittance is about 80% at a wavelength of around 600 nm.

波形h3(点線)は、青色用のイメージセンサ231に入射するB成分の光の分光特性を示す。青色用のイメージセンサ231に入射するB成分の光の透過率は、波長450nm近辺で透過率が60%を超えるピーク波形を有する。 The waveform h3 (dotted line) shows the spectral characteristics of the light of the B component incident on the blue image sensor 231. The transmittance of the light of the B component incident on the blue image sensor 231 has a peak waveform having a transmittance of more than 60% in the vicinity of a wavelength of 450 nm.

波形h4(二点鎖線)は、緑色用のイメージセンサ233に入射するG成分の光の分光特性を示す。緑色用のイメージセンサ233に入射するG成分の光の透過率は、波長530nm近辺で透過率が90%程度となるピーク波形を有する。 The waveform h4 (dashed-dotted line) shows the spectral characteristics of the light of the G component incident on the image sensor 233 for green. The transmittance of the light of the G component incident on the green image sensor 233 has a peak waveform in which the transmittance is about 90% at a wavelength of around 530 nm.

このように、4色分解プリズム20で分散されたIR成分、R成分、B成分、及びG成分の光の透過率は、いずれも60%を超える。従って、IR成分、R成分、B成分、及びG成分の各画素値を好適に得られ、IR成分の信号を大きく増幅しなくても済む。これにより、患部を撮像した場合に、IR成分を含めて撮像画像の色再現性が向上する。 As described above, the light transmittances of the IR component, the R component, the B component, and the G component dispersed by the four-color separation prism 20 all exceed 60%. Therefore, the pixel values of the IR component, the R component, the B component, and the G component can be preferably obtained, and the signal of the IR component does not have to be greatly amplified. As a result, when the affected area is imaged, the color reproducibility of the captured image including the IR component is improved.

[内視鏡システムの構成]
図5は内視鏡システム5の構成を示すブロック図である。内視鏡システム5は、内視鏡10、CCU30、及び表示部40を含んで構成される。内視鏡10のカメラヘッド14は、前述した4色分解プリズム20及びイメージセンサ230,231,232,233を有する。図5では、カメラヘッド14は、更に、各素子駆動部141i,141r,141b,141g,駆動信号発生部142、同期信号発生部143、及び信号出力部145を有する。
[Endoscope system configuration]
FIG. 5 is a block diagram showing the configuration of the endoscope system 5. The endoscope system 5 includes an endoscope 10, a CCU 30, and a display unit 40. The camera head 14 of the endoscope 10 has the above-mentioned four-color separation prism 20 and image sensors 230, 231, 232, and 233. In FIG. 5, the camera head 14 further includes each element drive unit 141i, 141r, 141b, 141g, a drive signal generation unit 142, a synchronization signal generation unit 143, and a signal output unit 145.

素子駆動部141iは、イメージセンサ230を駆動信号に従って駆動する。素子駆動部141rは、イメージセンサ231を駆動信号に従って駆動する。素子駆動部141bは、イメージセンサ232を駆動信号に従って駆動する。素子駆動部141gは、イメージセンサ233を駆動信号に従って駆動する。 The element drive unit 141i drives the image sensor 230 according to the drive signal. The element drive unit 141r drives the image sensor 231 according to the drive signal. The element drive unit 141b drives the image sensor 232 according to the drive signal. The element drive unit 141g drives the image sensor 233 according to the drive signal.

駆動信号発生部142は、各素子駆動部141i,141r,141b,141gに対し、駆動信号を発生する。同期信号発生部143は、タイミングジェネレータ(TG)開路の機能に相当し、駆動信号発生部142等に同期信号(タイミング信号)を供給する。 The drive signal generation unit 142 generates a drive signal for each element drive unit 141i, 141r, 141b, 141g. The synchronization signal generation unit 143 corresponds to the function of opening the timing generator (TG), and supplies the synchronization signal (timing signal) to the drive signal generation unit 142 and the like.

信号出力部145は、信号ケーブル14zを介してイメージセンサ230,231,232,233からの電気信号を、例えばLVDS方式でCCU30に伝送する。信号出力部145は、信号ケーブル14zを介して、同期信号発生部143からの同期信号をCCU30に伝送してもよい。信号出力部145は、信号ケーブル14zを介して、操作スイッチ19の操作信号をCCU30に伝送してもよい。信号出力部145は、信号出力回路の機能に相当する。 The signal output unit 145 transmits the electric signals from the image sensors 230, 231, 232, and 233 to the CCU 30 via the signal cable 14z, for example, by the LVDS method. The signal output unit 145 may transmit the synchronization signal from the synchronization signal generation unit 143 to the CCU 30 via the signal cable 14z. The signal output unit 145 may transmit the operation signal of the operation switch 19 to the CCU 30 via the signal cable 14z. The signal output unit 145 corresponds to the function of the signal output circuit.

CCU30は、CCU30の内部又は外部のメモリ(不図示)が保持するプログラムを実行することで、各種機能を実現する。各種機能は、RGB信号処理部22、IR信号処理部23及び出力部28の機能を含む。 The CCU 30 realizes various functions by executing a program held by a memory (not shown) inside or outside the CCU 30. Various functions include the functions of the RGB signal processing unit 22, the IR signal processing unit 23, and the output unit 28.

RGB信号処理部22は、イメージセンサ231,232,233からのB成分、R成分、G成分の電気信号を、表示部40に表示可能な映像信号に変換し、出力部28に出力する。 The RGB signal processing unit 22 converts the electric signals of the B component, the R component, and the G component from the image sensors 231, 232, and 233 into video signals that can be displayed on the display unit 40, and outputs the electric signals to the output unit 28.

IR信号処理部23は、イメージセンサ230からのIR成分の電気信号を映像信号に変換し、出力部28に出力する。また、IR信号処理部23は、ゲイン調整部23zを有してもよい。ゲイン調整部23zは、IR用のイメージセンサ230からのIR成分の電気信号を映像信号に変換する際、増幅度(ゲイン)を調整する。ゲイン調整部23zは、例えば、RGB成分の映像信号の信号強度とIR成分の映像信号の信号強度とを略同一に調整してもよい。 The IR signal processing unit 23 converts the electric signal of the IR component from the image sensor 230 into a video signal and outputs it to the output unit 28. Further, the IR signal processing unit 23 may have a gain adjusting unit 23z. The gain adjusting unit 23z adjusts the amplification degree (gain) when converting the electric signal of the IR component from the image sensor 230 for IR into a video signal. For example, the gain adjusting unit 23z may adjust the signal strength of the video signal of the RGB component and the signal strength of the video signal of the IR component substantially the same.

ゲイン調整部23zにより、使用者がRGB画像に対するIR画像を任意の強度で再現可能である。尚、IR成分の電気信号の増幅度が調整される代わりに、又はこの調整とともに、RGB信号処理部22は、RGB成分の電気信号の増幅度を調整してもよい。 The gain adjusting unit 23z allows the user to reproduce an IR image with respect to an RGB image with an arbitrary intensity. Instead of adjusting the amplification degree of the electric signal of the IR component, or in addition to this adjustment, the RGB signal processing unit 22 may adjust the amplification degree of the electric signal of the RGB component.

RGB信号処理部22及びIR信号処理部23は、信号処理を行う際、同期信号発生部143からの同期信号を受け取り、この同期信号に従って動作する。これにより、RGB各色成分の画像(映像)及びIR成分の画像は、時間的なずれが生じないように調整される。 When performing signal processing, the RGB signal processing unit 22 and the IR signal processing unit 23 receive the synchronization signal from the synchronization signal generation unit 143 and operate according to the synchronization signal. As a result, the image (video) of each RGB color component and the image of the IR component are adjusted so as not to cause a time lag.

出力部28は、同期信号発生部143からの同期信号に従い、RGB各色成分の映像信号及びIR成分の映像信号の少なくとも一方を表示部40に出力する。例えば、出力部28は、同時出力モード及び重畳出力モードのいずれかに基づいて、映像信号を出力する。 The output unit 28 outputs at least one of the video signal of each RGB color component and the video signal of the IR component to the display unit 40 according to the synchronization signal from the synchronization signal generation unit 143. For example, the output unit 28 outputs a video signal based on either the simultaneous output mode or the superimposed output mode.

同時出力モードでは、出力部28は、RGB画像G1とIR画像G2(図6参照)とを別画面により同時に出力する。同時出力モードにより、RGB画像とIR画像とを別画面にて比較して、患部tgを観察できる。 In the simultaneous output mode, the output unit 28 simultaneously outputs the RGB image G1 and the IR image G2 (see FIG. 6) on separate screens. In the simultaneous output mode, the RGB image and the IR image can be compared on a separate screen, and the affected area tg can be observed.

重畳出力モードでは、出力部28は、RGB画像とIR画像とが重畳された合成画像GZを出力する。重畳出力モードにより、例えば、RGB画像内で、ICG及び照明光としてのIR光により蛍光発光した患部tgを明瞭に観察できる。 In the superimposed output mode, the output unit 28 outputs a composite image GZ in which an RGB image and an IR image are superimposed. In the superimposed output mode, for example, the affected portion tg fluorescently emitted by ICG and IR light as illumination light can be clearly observed in an RGB image.

尚、RGB信号処理部22、IR信号処理部23及び出力部28は、CCU30内のプロセッサがメモリと協働してソフトウェアにより処理することを例示したが、それぞれ専用のハードウェアで構成されてもよい。 Although the RGB signal processing unit 22, the IR signal processing unit 23, and the output unit 28 exemplify that the processor in the CCU 30 processes by software in cooperation with the memory, they may be configured by dedicated hardware. Good.

表示部40は、CCU30からの映像信号に基づいて、内視鏡10で撮像され、CCU30から出力される患部tg等の対象物の画像を画面に表示する。同時出力モードの場合、表示部40は、画面を複数に分割(例えば2分割)し、各画面にRGB画像G1及びIR画像G2を並べて表示する(図6参照)。重畳出力モードの場合、表示部40は、RGB画像G1とIR画像G2とが重ねられた合成画像GZを1画面で表示する(図7参照)。 Based on the video signal from the CCU 30, the display unit 40 displays an image of an object such as the affected portion tg, which is imaged by the endoscope 10 and output from the CCU 30, on the screen. In the simultaneous output mode, the display unit 40 divides the screen into a plurality of screens (for example, divides the screen into two), and displays the RGB image G1 and the IR image G2 side by side on each screen (see FIG. 6). In the superimposed output mode, the display unit 40 displays the composite image GZ on which the RGB image G1 and the IR image G2 are superimposed on one screen (see FIG. 7).

このように、内視鏡システム5では、内視鏡10を使用して体内の部位を撮像する場合、蛍光物質であるインドシアニングリーン(ICG)を体内に投与し、過剰に集積した腫瘍等の部位(患部)に近赤外光を当てて患部を光らせて患部を撮像してもよい。 As described above, in the endoscope system 5, when the endoscope 10 is used to image a part of the body, indocyanine green (ICG), which is a fluorescent substance, is administered into the body to cause an excessively accumulated tumor or the like. The affected area may be imaged by shining a near-infrared light on the site (affected area) to illuminate the affected area.

使用者が操作スイッチ19を操作して光源コネクタ18に導入された光Lは、スコープ11の先端側に導かれ、撮像窓11zから投射されることで、患部を含む患部周囲の部位を照明する。患部等で反射された光は、撮像窓11zを通してスコープ11の後端側に導かれ、リレーレンズ13で収束し、カメラヘッド14の4色分解プリズム20に入射する。 The light L introduced into the light source connector 18 by the user operating the operation switch 19 is guided to the tip side of the scope 11 and projected from the imaging window 11z to illuminate the area around the affected area including the affected area. .. The light reflected by the affected area or the like is guided to the rear end side of the scope 11 through the imaging window 11z, converges by the relay lens 13, and is incident on the four-color separation prism 20 of the camera head 14.

4色分解プリズム20では、入射した光のうち、IR分解プリズム220によって分解したIR成分の光は、IR用のイメージセンサ230で赤外光成分の光学像として撮像される。青色分解プリズム221によって分解したB成分の光は、青色用のイメージセンサ231で青色成分の光学像として撮像される。赤色分解プリズム222によって分解したR成分の光は、赤色用のイメージセンサ232で赤色成分の光学像として撮像される。緑色分解プリズム223によって分解したG成分の光は、緑色用のイメージセンサ233で緑色成分の光学像として撮像される。 In the four-color separation prism 20, of the incident light, the light of the IR component decomposed by the IR decomposition prism 220 is imaged as an optical image of the infrared light component by the image sensor 230 for IR. The light of the B component decomposed by the blue decomposition prism 221 is imaged as an optical image of the blue component by the image sensor 231 for blue. The light of the R component decomposed by the red decomposition prism 222 is imaged as an optical image of the red component by the image sensor 232 for red. The light of the G component decomposed by the green decomposition prism 223 is imaged as an optical image of the green component by the image sensor 233 for green.

IR用のイメージセンサ230で変換されたIR成分の電気信号は、CCU30内のIR信号処理部23で映像信号に変換され、出力部28に出力される。可視光用のイメージセンサ231,232,233でそれぞれ変換されたB成分、R成分、G成分の各電気信号は、CCU30内のRGB信号処理部22で各映像信号に変換され、出力部28に出力される。IR成分の映像信号及びB成分、R成分、G成分の各映像信号は、同期して、表示部40に出力される。 The electric signal of the IR component converted by the image sensor 230 for IR is converted into a video signal by the IR signal processing unit 23 in the CCU 30 and output to the output unit 28. The electric signals of the B component, the R component, and the G component converted by the image sensors 231, 232, and 233 for visible light are converted into each video signal by the RGB signal processing unit 22 in the CCU 30, and are converted into the output unit 28. It is output. The video signal of the IR component and the video signals of the B component, the R component, and the G component are synchronously output to the display unit 40.

表示部40には、出力部28で同時出力モードが設定されている場合、RGB画像G1とIR画像G2とが同時に2画面で表示される。図6は表示部40に表示された同時出力モード時の画像を示す模式図である。RGB画像G1は、患部tgを含む部位を可視光を照射して撮像したカラー画像である。IR画像G2は、患部tgを含む部位をIR光を照射して撮像した白黒画像(任意な色設定可能)である。 When the simultaneous output mode is set in the output unit 28, the RGB image G1 and the IR image G2 are simultaneously displayed on the display unit 40 on two screens. FIG. 6 is a schematic view showing an image displayed on the display unit 40 in the simultaneous output mode. The RGB image G1 is a color image obtained by irradiating a portion including the affected portion tg with visible light. The IR image G2 is a black-and-white image (arbitrary color setting is possible) obtained by irradiating a portion including the affected portion tg with IR light.

表示部40には、出力部28で重畳出力モードが設定されている場合、RGB画像G1とIR画像G2とが重畳(合成)された合成画像GZが表示される。図7は表示部40に表示された重畳出力モード時の画像を示す模式図である。 When the superimposed output mode is set in the output unit 28, the display unit 40 displays the composite image GZ in which the RGB image G1 and the IR image G2 are superimposed (combined). FIG. 7 is a schematic view showing an image displayed on the display unit 40 in the superimposed output mode.

[効果等]
内視鏡10によれば、内視鏡10に4色分解プリズム20を用い、IR光に対し大きな透過率を有するIR分解プリズム220から出射されるIR光を、IR用のイメージセンサ230が受光する。そのため、内視鏡10は、IR光の受光量を増大できる。従って、IR成分の信号を過大に増幅させる必要が無くなり、IR成分を加味した内視鏡10による撮像画像の画質の低下を抑制できる。
[Effects, etc.]
According to the endoscope 10, the image sensor 230 for IR receives the IR light emitted from the IR decomposition prism 220, which uses a four-color separation prism 20 for the endoscope 10 and has a large transmittance for IR light. To do. Therefore, the endoscope 10 can increase the amount of IR light received. Therefore, it is not necessary to excessively amplify the signal of the IR component, and it is possible to suppress the deterioration of the image quality of the image captured by the endoscope 10 in which the IR component is added.

4色分解プリズム20を用いることで、単板式カメラのイメージセンサと比べ、イメージセンサのサイズを小さくでき、内視鏡10を小型化できる。例えば、単板式カメラのイメージセンサのサイズは、1インチ又は38mmであり、本実施形態のイメージセンサ230〜233のサイズは、1/3インチ以下である。 By using the four-color separation prism 20, the size of the image sensor can be reduced as compared with the image sensor of the single-plate camera, and the endoscope 10 can be made smaller. For example, the size of the image sensor of the single-plate camera is 1 inch or 38 mm, and the size of the image sensors 230 to 233 of the present embodiment is 1/3 inch or less.

また、4色分解プリズム20がIRカットフィルタを用いていないので、内視鏡システム5は、RGB画像とIR画像とを同時に出力可能である。そのため、ユーザは、例えば、患者の患部を含む全体の部位をRGB画像で確認できるとともに、蛍光発光した患部をIR画像で確認でき、患部周辺における患部の位置を視認し易くなる。ここでのRGB画像は、RGB成分の画像であり、IR画像は、IR成分の画像である。 Further, since the four-color separation prism 20 does not use the IR cut filter, the endoscope system 5 can output an RGB image and an IR image at the same time. Therefore, for example, the user can confirm the entire part including the affected part of the patient with an RGB image, and can confirm the affected part with fluorescence emission with an IR image, so that the position of the affected part around the affected part can be easily visually recognized. The RGB image here is an image of an RGB component, and the IR image is an image of an IR component.

また、IR成分の光を電気信号に変換するIR用のイメージセンサ230は、H/V画素加算処理を行い、加算された画素値の電気信号を出力してもよい。これにより、内視鏡10は、IR成分の信号強度を更に増大でき、表示部40により表示されるIR成分の画像をより強調でき、患部を視認し易くなる。 Further, the image sensor 230 for IR that converts the light of the IR component into an electric signal may perform an H / V pixel addition process and output an electric signal of the added pixel value. As a result, the endoscope 10 can further increase the signal strength of the IR component, can further emphasize the image of the IR component displayed by the display unit 40, and makes it easier to visually recognize the affected area.

また、内視鏡システム5は、RGB各成分の信号強度とIR成分の信号強度とが略同等になるように、ゲイン調整してもよい。この場合、RGB各成分の画素値とIR成分の画素値とを均一化でき、画像を見え易くできる。 Further, the endoscope system 5 may adjust the gain so that the signal strength of each RGB component and the signal strength of the IR component are substantially equal to each other. In this case, the pixel value of each RGB component and the pixel value of the IR component can be made uniform, and the image can be easily seen.

また、内視鏡システム5は、RGB各成分の信号強度とIR成分による信号強度との間で差を持たせるように、ゲイン調整してもよい。この場合、内視鏡システム5は、ユーザ所望の画質でRGB画像及びIR画像を表示できる。 Further, the endoscope system 5 may adjust the gain so as to have a difference between the signal strength of each RGB component and the signal strength of the IR component. In this case, the endoscope system 5 can display the RGB image and the IR image with the image quality desired by the user.

また、4色分解プリズム20を使用する場合、3色分解プリズムを使用する場合と比較すると、IR用のイメージセンサに入射されるIR成分の信号強度が大きくなる。そのため、RGB成分の画素値とIR成分の画素値との差が小さくなり、CCU30によりIR用のイメージセンサ230から出力される電気信号を過度に増幅しなくても、RGB成分とIR成分との間でバランス良く色を再現できる。従って、内視鏡システム5は、ノイズの増幅を抑制しながら、鮮明なRGB成分及びIR成分を含む画像が得られる。 Further, when the four-color separation prism 20 is used, the signal intensity of the IR component incident on the image sensor for IR is higher than that when the three-color separation prism is used. Therefore, the difference between the pixel value of the RGB component and the pixel value of the IR component becomes small, and the RGB component and the IR component can be combined without excessively amplifying the electric signal output from the image sensor 230 for IR by the CCU 30. Colors can be reproduced in a well-balanced manner. Therefore, the endoscope system 5 can obtain an image containing a clear RGB component and an IR component while suppressing noise amplification.

また、RGB画像とIR画像とが同時に2画面で表示されることで、ユーザは両画像を見比べて確認でき、ユーザの利便性が向上する。 Further, since the RGB image and the IR image are displayed on the two screens at the same time, the user can compare and confirm both images, and the convenience of the user is improved.

また、RGB画像とIR画像とが重畳して1画面で表示されること、ユーザは1つの画像でRGB成分及びIR成分の画像を確認でき、ユーザの利便性が向上する。 Further, the RGB image and the IR image are superimposed and displayed on one screen, and the user can confirm the image of the RGB component and the IR component on one image, which improves the convenience of the user.

(他の実施形態)
以上のように、本開示における技術の例示として、第1の実施形態を説明した。しかし、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。
(Other embodiments)
As described above, the first embodiment has been described as an example of the technique in the present disclosure. However, the technique in the present disclosure is not limited to this, and can be applied to embodiments in which changes, replacements, additions, omissions, etc. have been made.

第1の実施形態では、内視鏡10として硬性内視鏡を例示したが、4色分解プリズム20をも用いれば他の構成を有する硬性内視鏡でもよく、軟性内視鏡でもよい。 In the first embodiment, a rigid endoscope is exemplified as the endoscope 10, but if a four-color separation prism 20 is also used, a rigid endoscope having another configuration may be used, or a flexible endoscope may be used.

第1の実施形態では、生体内に光造影剤としてICGを投与することを例示したが、ICG以外の光造影剤が投与されてもよい。この場合、光造影剤を励起するための励起光の波長に応じて、非可視光の波長領域における分光特性を定めてもよい。 In the first embodiment, the administration of ICG as a photocontrast agent in vivo has been exemplified, but a photocontrast agent other than ICG may be administered. In this case, the spectral characteristics in the wavelength region of invisible light may be determined according to the wavelength of the excitation light for exciting the photocontrast agent.

第1の実施形態では、赤外光の波長領域において蛍光発光する薬品を用いたが、紫外光の波長領域において蛍光発光する薬品を用いてもよい。この場合でも、近赤外域で蛍光発光する光造影剤を用いた場合と同様に、内視鏡は、蛍光発光された患部の画像を撮像できる。 In the first embodiment, a chemical that fluoresces in the wavelength region of infrared light is used, but a chemical that fluoresces in the wavelength region of ultraviolet light may be used. Even in this case, the endoscope can capture an image of the affected portion that has undergone fluorescence emission, as in the case of using a photocontrast agent that emits fluorescence in the near infrared region.

第1の実施形態では、4色分解プリズム20において、光の入射側から、IR分解プリズム220、青色分解プリズム221、赤色分解プリズム222、及び緑色分解プリズム223の順に配置されることを例示したが、この配置順序は一例であり、他の配置順序でもよい。 In the first embodiment, in the four-color separation prism 20, the IR decomposition prism 220, the blue decomposition prism 221 and the red decomposition prism 222, and the green decomposition prism 223 are arranged in this order from the incident side of the light. , This arrangement order is an example, and may be another arrangement order.

第1の実施形態では、プロセッサの一例としてCCU30を説明した。プロセッサは、内視鏡システム5を制御すれば、物理的にどのように構成してもよい。従って、プロセッサは、CCU30に限定されない。ただし、プログラム可能なCCU30を用いれば、プログラムの変更により処理内容を変更できるので、プロセッサの設計の自由度を高めることができる。また、プロセッサは、1つの半導体チップで構成してもよいし、物理的に複数の半導体チップで構成してもよい。複数の半導体チップで構成する場合、第1の実施形態の各制御をそれぞれ別の半導体チップで実現してもよい。この場合、それらの複数の半導体チップで1つのプロセッサを構成すると考えることができる。また、プロセッサは、半導体チップと別の機能を有する部材(コンデンサ等)で構成してもよい。また、プロセッサが有する機能とそれ以外の機能とを実現するように、1つの半導体チップを構成してもよい。また、電子基板250に搭載される回路についても、プログラム可能な回路を用いれば、プログラムの変更により処理内容を変更できる。また、回路の数は1つでも複数でもよい。 In the first embodiment, the CCU 30 has been described as an example of the processor. The processor may be physically configured in any way as long as it controls the endoscope system 5. Therefore, the processor is not limited to the CCU 30. However, if the programmable CCU 30 is used, the processing content can be changed by changing the program, so that the degree of freedom in processor design can be increased. Further, the processor may be composed of one semiconductor chip or may be physically composed of a plurality of semiconductor chips. When composed of a plurality of semiconductor chips, each control of the first embodiment may be realized by a separate semiconductor chip. In this case, it can be considered that one processor is composed of those plurality of semiconductor chips. Further, the processor may be composed of a member (capacitor or the like) having a function different from that of the semiconductor chip. Further, one semiconductor chip may be configured so as to realize the functions of the processor and other functions. Further, with respect to the circuit mounted on the electronic board 250, if a programmable circuit is used, the processing content can be changed by changing the program. Further, the number of circuits may be one or a plurality.

(本開示の実施形態の概要)
本開示の実施形態の内視鏡10は、4色分解プリズム20と、4個のイメージセンサ230〜233と、アウトプットデバイスと、を備える。4色分解プリズム20は、対象物からの光を3原色光及び赤外光に分解する。イメージセンサ230〜233は、分解された3原色光及び赤外光の光学像をそれぞれ電気信号に変換する。アウトプットデバイスは、変換された電気信号を出力する。アプトプットデバイスは、例えば信号出力部145である。
(Outline of Embodiments of the present disclosure)
The endoscope 10 of the embodiment of the present disclosure includes a four-color separation prism 20, four image sensors 230 to 233, and an output device. The four-color separation prism 20 decomposes light from an object into three primary color light and infrared light. The image sensors 230 to 233 convert the decomposed optical images of the three primary color lights and the infrared light into electric signals, respectively. The output device outputs the converted electrical signal. The output device is, for example, a signal output unit 145.

これにより、内視鏡10は、3原色光及び赤外光の各々に専用のイメージセンサ230〜233を備えるので、検出される赤外光の信号強度を増大できる。従って、赤外光についての過大な信号増幅が不要となり、内視鏡10は、赤外光成分を加味した画質を向上できる。また、内視鏡10は、4色分解プリズム20を用いることで、単板方式のイメージセンサを用いる場合と比較すると、内視鏡10のイメージセンサを小型化でき、例えば1/3インチ以下にできる。その結果、内視鏡10を小型化できる。 As a result, since the endoscope 10 is provided with dedicated image sensors 230 to 233 for each of the three primary color lights and the infrared light, the signal intensity of the detected infrared light can be increased. Therefore, excessive signal amplification for infrared light becomes unnecessary, and the endoscope 10 can improve the image quality in consideration of the infrared light component. Further, by using the four-color separation prism 20, the endoscope 10 can reduce the size of the image sensor of the endoscope 10 as compared with the case of using a single plate type image sensor, for example, to 1/3 inch or less. it can. As a result, the endoscope 10 can be miniaturized.

また、イメージセンサ230は、複数の画素を用いて赤外光の光学像を電気信号に変換する際、隣接する画素の画素値を加算してもよい。アウトプットデバイスは、加算された画素値の電気信号を出力してもよい。 Further, the image sensor 230 may add the pixel values of adjacent pixels when converting an optical image of infrared light into an electric signal using a plurality of pixels. The output device may output an electrical signal of the added pixel values.

これにより、内視鏡10は、赤外光の信号強度を更に増大でき、赤外光成分を含む画像を一層鮮明化できる。 As a result, the endoscope 10 can further increase the signal intensity of infrared light and further sharpen the image including the infrared light component.

本開示の実施形態の内視鏡システム5は、内視鏡10、プロセッサ、メモリ、及びディスプレイを備える。プロセッサは、メモリと協働して、3原色光の光学像が変換された第1の電気信号を第1の映像信号に変換し、赤外光の光学像が変換された第2の電気信号を第2の映像信号に変換してもよい。ディスプレイは、第1の映像信号及び第2の映像信号に基づいて表示してもよい。プロセッサは、例えばCCU30である。ディスプレイは、例えば表示部40である。 The endoscope system 5 of the embodiment of the present disclosure includes an endoscope 10, a processor, a memory, and a display. The processor cooperates with the memory to convert the first electric signal in which the optical image of the three primary colors is converted into the first video signal, and the second electric signal in which the optical image of infrared light is converted. May be converted into a second video signal. The display may display based on the first video signal and the second video signal. The processor is, for example, a CCU30. The display is, for example, a display unit 40.

これにより、内視鏡システム5は、3原色光及び赤外光の各々に専用のイメージセンサ230〜233を備えるので、検出される赤外光の信号強度を増大できる。従って、赤外光についての過大な信号増幅が不要となり、内視鏡システム5は、赤外光成分を加味した画質を向上できる。また、内視鏡システム5では、4色分解プリズム20を用いることで、単板方式のイメージセンサを用いる場合と比較すると、内視鏡10のイメージセンサを小型化でき、例えば1/3インチ以下にできる。その結果、内視鏡10を小型化できる。 As a result, since the endoscope system 5 is provided with dedicated image sensors 230 to 233 for each of the three primary color lights and the infrared light, the signal intensity of the detected infrared light can be increased. Therefore, excessive signal amplification for infrared light becomes unnecessary, and the endoscope system 5 can improve the image quality in consideration of the infrared light component. Further, in the endoscope system 5, by using the four-color separation prism 20, the image sensor of the endoscope 10 can be downsized as compared with the case of using the single plate type image sensor, for example, 1/3 inch or less. Can be done. As a result, the endoscope 10 can be miniaturized.

また、プロセッサは、メモリと協働して、第1の映像信号の信号強度と第2の映像信号の信号強度とを略均等に調整してもよい。 Further, the processor may adjust the signal strength of the first video signal and the signal strength of the second video signal substantially evenly in cooperation with the memory.

これにより、内視鏡システム5は、3原色光により得られる画像と赤外光により得られる画像との画素値を均一化でき、画像を見え易くできる。また、3原色光により得られる画像と赤外光により得られる画像との画素値を均一化する場合でも、4色分解プリズム20により得られる赤外光の信号強度を大きくできるので、プロセッサでの信号強度の増幅度を小さくでき、画質の劣化を抑制できる。 As a result, the endoscope system 5 can make the pixel values of the image obtained by the three primary color lights and the image obtained by the infrared light uniform, and make the image easier to see. Further, even when the pixel values of the image obtained by the three primary color lights and the image obtained by the infrared light are made uniform, the signal intensity of the infrared light obtained by the four-color separation prism 20 can be increased, so that the processor can be used. The degree of amplification of signal strength can be reduced, and deterioration of image quality can be suppressed.

また、ディスプレイは、第1の映像信号及び第2の映像信号を同時に表示してもよい。 Further, the display may simultaneously display the first video signal and the second video signal.

これにより、ユーザは、3原色光により得られる画像と赤外光により得られる画像とを同時に確認できるので、赤外光を加味して対象物の視認性良く観察できる。 As a result, the user can simultaneously confirm the image obtained by the three primary color lights and the image obtained by the infrared light, so that the object can be observed with good visibility by adding the infrared light.

本開示は、赤外光成分を加味した画質を向上できる内視鏡等に有用である。 The present disclosure is useful for endoscopes and the like that can improve image quality by adding an infrared light component.

5 内視鏡システム
10 内視鏡
11 スコープ
11z 撮像窓
12 マウントアダプタ
13 リレーレンズ
14 カメラヘッド
14z 信号ケーブル
18 光源コネクタ
19 操作スイッチ
20 4色分解プリズム
22 RGB信号処理部
23 IR信号処理部
23z ゲイン調整部
28 出力部
30 CCU
40 表示部
141i,141b,141r,141g 素子駆動部
142 駆動信号発生部
143 同期信号発生部
145 信号出力部
220 IR分解プリズム
221 青色分解プリズム
222 赤色分解プリズム
223 緑色分解プリズム
220a,221a,222a,223a 入射面
220b,221b,222b 反射面
220c,221c,222c,223c 出射面
230,231,232,233 イメージセンサ
240 IR反射膜
241 青色反射膜
242 赤色反射膜
250 電子基板
h1,h2,h3,h4,h11 波形
G1 RGB画像
G2 IR画像
GZ 合成画像
tg 患部
5 Endoscope system 10 Endoscope 11 Scope 11z Imaging window 12 Mount adapter 13 Relay lens 14 Camera head 14z Signal cable 18 Light source connector 19 Operation switch 20 4 Color separation prism 22 RGB signal processing unit 23 IR signal processing unit 23z Gain adjustment Part 28 Output part 30 CCU
40 Display unit 141i, 141b, 141r, 141g Element drive unit 142 Drive signal generator 143 Synchronous signal generator 145 Signal output unit 220 IR decomposition prism 221 Blue decomposition prism 222 Red decomposition prism 223 Green decomposition prism 220a, 221a, 222a, 223a Incident surface 220b, 221b, 222b Reflective surface 220c, 221c, 222c, 223c Exit surface 230, 231,232, 233 Image sensor 240 IR Reflective film 241 Blue reflective film 242 Red reflective film 250 Electronic substrate h1, h2, h3, h4 h11 Waveform G1 RGB image G2 IR image GZ composite image tg Affected area

Claims (7)

患部からの光をIR成分、青色成分、赤色成分、緑色成分にそれぞれ分解するIRプリズム、青色プリズム、赤色プリズムおよび緑色プリズムからなる4つのプリズムを有し、使用者が手で把持可能なカメラヘッドを有する、手術時に使用される内視鏡であって、
前記IRプリズム、前記青色プリズム、前記赤色プリズム、前記緑色プリズムのうち、前記患部に最も近い側に配置されたプリズムを第1プリズム、前記第1プリズムに隣接する前記患部から2番目に近い側に配置されたプリズムを第2プリズム、前記第2プリズムに隣接する前記患部から3番目に近い側に配置されたプリズムを第3プリズムとし、
前記第1プリズムと前記第2プリズムとの第1の境界、および前記第2プリズムと前記第3プリズムとの第2の境界で光を反射させ、
前記IRプリズム、前記青色プリズム、前記赤色プリズム、前記緑色プリズムのそれぞれの出射面に対向させて接続して前記カメラヘッド内に設けられ、前記IRプリズム、前記青色プリズム、前記赤色プリズム、前記緑色プリズムのそれぞれで反射した出射光を入射して撮像する、IRイメージセンサ、青色イメージセンサ、赤色イメージセンサ、緑色イメージセンサのそれぞれを更に有する、
内視鏡
A camera head that has four prisms consisting of an IR prism, a blue prism, a red prism, and a green prism that decomposes light from the affected area into IR components, blue components, red components, and green components, respectively, and can be grasped by the user. An endoscope used during surgery that has
Of the IR prism, the blue prism, the red prism, and the green prism, the prism arranged on the side closest to the affected portion is placed on the first prism, the side closest to the affected portion adjacent to the first prism. The arranged prism is referred to as a second prism, and the prism arranged on the third closest side to the affected portion adjacent to the second prism is referred to as a third prism.
Light is reflected at the first boundary between the first prism and the second prism and at the second boundary between the second prism and the third prism.
The IR prism, the blue prism, the red prism, and the green prism are connected to each other of the IR prism, the blue prism, the red prism, and the green prism so as to face each other and are provided in the camera head. It also has an IR image sensor, a blue image sensor, a red image sensor, and a green image sensor that incident and image the emitted light reflected by each of the above.
Endoscope .
前記IRプリズムを介して出力されるIR画像と、前記青色プリズム、前記赤色プリズムおよび前記緑色プリズムから出力されるRGB画像とを同時出力、もしくは前記IR画像と前記RGB画像とが重畳された合成画像を出力する信号出力部を更に有する、
請求項1に記載の内視鏡
The IR image output via the IR prism and the RGB image output from the blue prism, the red prism, and the green prism are simultaneously output, or a composite image in which the IR image and the RGB image are superimposed. Further has a signal output unit that outputs
The endoscope according to claim 1.
前記第1プリズムの出射面に到達する第1プリズム光は、前記第1の境界で反射する、
請求項1に記載の内視鏡
The light of the first prism reaching the exit surface of the first prism is reflected at the first boundary.
The endoscope according to claim 1.
前記第2プリズムの出射面に到達する第2プリズム光は、前記第1の境界および前記第2の境界で反射する、
請求項3に記載の内視鏡
The second prism light that reaches the exit surface of the second prism is reflected at the first boundary and the second boundary.
The endoscope according to claim 3.
前記第3プリズムの出射面に到達する第3プリズム光は、前記第2の境界で反射する、
請求項4に記載の内視鏡
The light of the third prism reaching the exit surface of the third prism is reflected at the second boundary.
The endoscope according to claim 4.
前記第1プリズムは前記IRプリズムである、
請求項1に記載の内視鏡
The first prism is the IR prism.
The endoscope according to claim 1.
前記IRプリズムの出射面と前記第2プリズムの出射面とは、前記IRプリズムの患部側入射面に垂直に入射する入射光線を挟んで反対に配置される、
請求項6に記載の内視鏡
The exit surface of the IR prism and the exit surface of the second prism are arranged opposite to each other with an incident light beam perpendicular to the incident surface on the affected portion side of the IR prism.
The endoscope according to claim 6.
JP2018135922A 2018-07-19 2018-07-19 Endoscope Active JP6865718B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018135922A JP6865718B2 (en) 2018-07-19 2018-07-19 Endoscope

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018135922A JP6865718B2 (en) 2018-07-19 2018-07-19 Endoscope

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016188772A Division JP6388237B2 (en) 2016-09-27 2016-09-27 4-color prism

Publications (3)

Publication Number Publication Date
JP2018171507A JP2018171507A (en) 2018-11-08
JP2018171507A5 JP2018171507A5 (en) 2019-02-21
JP6865718B2 true JP6865718B2 (en) 2021-04-28

Family

ID=64108015

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018135922A Active JP6865718B2 (en) 2018-07-19 2018-07-19 Endoscope

Country Status (1)

Country Link
JP (1) JP6865718B2 (en)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3507122B2 (en) * 1994-04-11 2004-03-15 キヤノン株式会社 Color separation optical system or TV camera having color separation optical system
US5910816A (en) * 1995-06-07 1999-06-08 Stryker Corporation Imaging system with independent processing of visible an infrared light energy
JPH0911445A (en) * 1995-06-29 1997-01-14 Toppan Printing Co Ltd Quadri-spectral camera and inspecting method of print using the same
JP4214363B2 (en) * 2002-06-20 2009-01-28 株式会社ジェイエイアイコーポレーション Image pickup apparatus having optical system with image magnification correction function
JP4047217B2 (en) * 2003-05-01 2008-02-13 キヤノン株式会社 Ophthalmic equipment
JP4506678B2 (en) * 2006-01-16 2010-07-21 ソニー株式会社 Prism optical system and imaging device
US20090303317A1 (en) * 2006-02-07 2009-12-10 Novadaq Technologies Inc. Near infrared imaging
JP2008250122A (en) * 2007-03-30 2008-10-16 Fujinon Corp Color separation optical system and imaging apparatus
CN102036599B (en) * 2008-03-18 2013-06-19 诺瓦达克技术公司 Imaging system for combined full-color reflectance and near-infrared imaging
JP5695808B1 (en) * 2013-04-19 2015-04-08 オリンパスメディカルシステムズ株式会社 Endoscope device

Also Published As

Publication number Publication date
JP2018171507A (en) 2018-11-08

Similar Documents

Publication Publication Date Title
US10412355B2 (en) Endoscope and endoscopic system
US10560671B2 (en) Medical camera
JP7219002B2 (en) Endoscope
JP5041936B2 (en) Biological observation device
JP6388240B2 (en) Optical device
JP2016032494A (en) Endoscope system, operation method for endoscope system, light source apparatus, and operation method for light source apparatus
JP6389377B2 (en) Endoscopy processor
JP6132251B1 (en) Endoscope and endoscope system
JP6388237B2 (en) 4-color prism
JP7028574B2 (en) Endoscope and camera head
JP6865718B2 (en) Endoscope
JP7041226B2 (en) Medical optical microscope
JP6865719B2 (en) Medical light microscope
JP6388241B2 (en) Optical device and endoscope
JP6168436B1 (en) Endoscope and endoscope system
JP2005152130A (en) Endoscope imaging system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190107

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190107

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190129

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190530

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190723

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20190731

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190924

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191113

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20191205

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200422

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20200422

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200519

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20200602

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20200626

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20200630

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20200707

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20200915

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201019

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20201224

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20210209

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20210323

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20210323

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210406

R150 Certificate of patent or registration of utility model

Ref document number: 6865718

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250