JP2014103597A - Imaging apparatus - Google Patents

Imaging apparatus Download PDF

Info

Publication number
JP2014103597A
JP2014103597A JP2012255506A JP2012255506A JP2014103597A JP 2014103597 A JP2014103597 A JP 2014103597A JP 2012255506 A JP2012255506 A JP 2012255506A JP 2012255506 A JP2012255506 A JP 2012255506A JP 2014103597 A JP2014103597 A JP 2014103597A
Authority
JP
Japan
Prior art keywords
filter arrangement
color
filter
color filters
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012255506A
Other languages
Japanese (ja)
Other versions
JP6017276B2 (en
Inventor
Kazunori Yoshizaki
和徳 吉崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2012255506A priority Critical patent/JP6017276B2/en
Publication of JP2014103597A publication Critical patent/JP2014103597A/en
Application granted granted Critical
Publication of JP6017276B2 publication Critical patent/JP6017276B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Optical Filters (AREA)
  • Endoscopes (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an imaging apparatus which can obtain a multiband image where miniaturization and resolution are secured.SOLUTION: An imaging apparatus includes: an objective optical system 1 for image-forming a light flux from an object; a division element 2 which includes a first face 2a1 and a second face 2b1, divides a light flux made incident on the first face via the objective optical system into two light fluxes of a reflection light flux and a transmission light flux and reflects the transmission light flux on the second face; a first filter arrangement region 5a1 which includes an imaging element 5, and in which a normal line of an imaging face in the imaging element is arranged in a direction crossing a rotational symmetry axis of the objective optical system, a plurality of color filters are disposed and on which the reflection light flux in the two optical fluxes divided on the first face is made incident; and a second filter arrangement region 5a2 in which a plurality of color filters including at least one type of color filter whose transmission wavelength characteristic differs from the color filter arranged in the first filter arrangement region are disposed and on which the transmission light flux reflected on the second face is made incident.

Description

本発明は、例えば内視鏡観察に好適な、多バンド画像を取得する撮像装置に関するものである。   The present invention relates to an imaging apparatus that acquires a multiband image suitable for, for example, endoscopic observation.

内視鏡観察において多バンド画像を取得する撮像装置では、小型化と解像力の確保を両立させることが重要な課題となっている。
内視鏡観察における多バンド画像の取得に際し、例えば、Ｒ，Ｇ，Ｂの透過波長域を持つ３種類のカラーフィルタが配置された撮像素子を１つ備えた単板式の撮像装置を用いた場合、Ｒ，Ｇ，Ｂごとに対応する透過波長域を持つ１種類のカラーフィルタが配置された撮像素子を３つ備えた３板式の撮像装置に比べて、撮像領域全体において夫々の種類のカラーフィルタの占める割合が少なくなり、各色の情報量が少なくなるので、その分、解像力が確保できないという課題がある。３板式の撮像素子を用いたり、撮像素子を２次元方向に大きくすれば、解像力が確保できるが、それでは撮像装置が大型化してしまい、内視鏡先端挿入部の小型化を実現することが難しくなる。 In an imaging apparatus that acquires a multi-band image in endoscopic observation, it is an important issue to achieve both miniaturization and ensuring of resolving power.
When acquiring a multi-band image in endoscopic observation, for example, when using a single-plate image pickup device including one image pickup element in which three types of color filters having transmission wavelength ranges of R, G, and B are arranged , Each type of color filter in the entire imaging region as compared to a three-plate type imaging device provided with three imaging elements in which one type of color filter having a transmission wavelength range corresponding to each of R, G, and B is arranged As the proportion of the color decreases and the amount of information of each color decreases, there is a problem that the resolution cannot be ensured accordingly. If a three-plate image sensor is used or the image sensor is enlarged in the two-dimensional direction, the resolving power can be ensured, but this will increase the size of the image pickup device and make it difficult to reduce the size of the endoscope tip insertion portion. Become.

従来、内視鏡観察において多バンド画像を取得する撮像装置としては、例えば、次の特許文献１，２に記載のものがある。
特許文献１に記載のものは、例えば、図７に示すように、２つの撮像素子５１，５２を、互いに９０度を向くように配置し、夫々の撮像素子の基板と接続する配線の接続部５１ａ，５２ａを備えていない側面同士が互いに向き合うように近接させて、内視鏡挿入先端部内の配置スペースを効率よく活用することで、内視鏡挿入先端部の小型化を図っている。 Conventionally, as an imaging device that acquires a multiband image in endoscopic observation, for example, there are devices described in Patent Documents 1 and 2 below.
As disclosed in Patent Document 1, for example, as shown in FIG. 7, two image pickup devices 51 and 52 are arranged so as to face each other at 90 degrees, and wiring connection portions that connect to the substrates of the respective image pickup devices. The side surfaces not provided with 51a and 52a are brought close to each other so as to face each other, and the arrangement space in the endoscope insertion tip portion is efficiently utilized, thereby reducing the size of the endoscope insertion tip portion.

また、特許文献２に記載の撮像素子は、夫々分光特性が異なる複数種類のカラーフィルタを、例えば、図８に示すように、所定の色のカラーフィルタＣ１を規則的に配置するとともに、カラーフィルタＣ１が存在しない画素位置にカラーフィルタＣ１とは夫々色の異なるカラーフィルタＣ２〜Ｃ５をランダムに配置することで、解像力の低下の抑制と偽色の低減を図っている。   In addition, the image sensor described in Patent Document 2 has a plurality of types of color filters having different spectral characteristics, for example, regularly arranged color filters C1 of predetermined colors as shown in FIG. Color filters C2 to C5, which are different in color from the color filter C1, are randomly arranged at pixel positions where C1 does not exist, thereby suppressing a reduction in resolution and reducing false colors.

特許第４８４１３９１号公報Japanese Patent No. 4841391 特開２０１１−１３５６２３号公報JP 2011-135623 A

しかし、特許文献１に記載の撮像装置のように、撮像素子を２つ用いる構成では、２つの撮像素子の夫々に基板に接続する配線の配置スペースが必要となり、撮像装置が大型化してしまう。また、２つの撮像素子が互いに９０度を向いて近接配置する構成では、いずれか一方の撮像素子の長辺が内視鏡挿入先端部の径の大きさを定めてしまうこととなるため、内視鏡挿入先端部の径を撮像素子の長辺よりも小型化することが困難となる。
しかも、撮像素子を２つ用いる構成では、夫々の撮像素子で得られた情報を用いてデモザイクや画像の合成等の画像処理を行った場合、夫々の撮像素子の個体差を原因とする検出値のズレにより、処理した画像の精度が低下し易くなる。このため、夫々の撮像素子の個体差を原因とする検出値のズレを解消するための煩雑な表示較正処理が必要となる。 However, in the configuration using two imaging elements as in the imaging apparatus described in Patent Document 1, an arrangement space for wirings connected to the substrate is required for each of the two imaging elements, and the imaging apparatus becomes large. In the configuration in which the two image sensors are arranged close to each other at 90 degrees, the long side of one of the image sensors determines the size of the diameter of the endoscope insertion tip. It becomes difficult to make the diameter of the endoscope insertion tip smaller than the long side of the image sensor.
In addition, in the configuration using two image sensors, when image processing such as demosaicing or image composition is performed using information obtained by each image sensor, a detection value caused by individual differences between the image sensors. Due to the deviation, the accuracy of the processed image tends to be lowered. For this reason, a complicated display calibration process for eliminating the deviation of the detection value caused by the individual difference of each image sensor is required.

また、特許文献２に記載の撮像素子のように、１つの撮像素子における各画素位置に複数種類のカラーフィルタを割り当てて配置する構成では、上述したように、撮像領域全体において夫々の種類のカラーフィルタの占める割合が少なくなり、各色の情報量が少なくなるため、解像度を確保することが難しい。また、内視鏡観察においては狭帯域光観察が重要な一つの観察手法となっているが、１つの撮像素子に配置される複数種類のカラーフィルタに狭帯域のカラーフィルタを含む場合、撮影された情報から狭帯域の単板の画像を作り出すデモザイクが難しく、解像力を確保することが難しい。   Further, as described above, in the configuration in which a plurality of types of color filters are allocated and arranged at each pixel position in one image sensor as in the image sensor described in Patent Document 2, as described above, each type of color is used in the entire image capturing area. Since the proportion of the filter decreases and the information amount of each color decreases, it is difficult to ensure the resolution. In addition, narrow-band light observation is an important observation method in endoscopic observation, but it is photographed when narrow-band color filters are included in multiple types of color filters arranged in one image sensor. It is difficult to create a demosaic image with a narrow band from a single piece of information, and it is difficult to ensure resolution.

本発明は、このような従来の問題点に鑑みてなされたものであり、小型化と解像力を確保して多バンド画像を取得することが可能な撮像装置を提供することを目的としている。   The present invention has been made in view of such a conventional problem, and an object of the present invention is to provide an imaging device capable of acquiring a multiband image while ensuring miniaturization and resolving power.

上記目的を達成するため、本発明による撮像装置は、物体からの光束を結像させるための対物光学系と、第１の面と第２の面を有し、前記第１の面で前記対物光学系を経て入射した光束を反射光束と透過光束の２つの光束に分割するとともに、前記第２の面で前記透過光束を反射させる分割素子と、前記分割素子で分割された反射光束の像と透過光束の像とを撮像する１つの撮像素子を有し、前記撮像素子は、撮像面の法線が前記対物光学系の回転対象軸に対し交差する向きに配置され、且つ、複数のカラーフィルタが配置されていて前記分割素子の前記第1の面で分割された前記２つの光束のうちの前記反射光束が入射する第１のフィルタ配置領域と、前記第１のフィルタ配置領域に配置されたカラーフィルタとは透過波長特性が異なるカラーフィルタを少なくとも１種類含む複数のカラーフィルタが配置されていて前記第２の面で反射した前記透過光束が入射する第２のフィルタ配置領域を備えることを特徴としている。   In order to achieve the above object, an imaging apparatus according to the present invention includes an objective optical system for forming an image of a light beam from an object, a first surface, and a second surface, and the objective surface is the first surface. A splitting element that splits a light flux incident through the optical system into two light fluxes, a reflected light flux and a transmitted light flux, and reflects the transmitted light flux on the second surface; and an image of the reflected light flux split by the splitting element; A plurality of color filters, each of which has an image pickup device for picking up an image of a transmitted light beam, the image pickup device being arranged in a direction in which a normal line of an image pickup surface intersects a rotation target axis of the objective optical system; Are arranged in the first filter arrangement region where the reflected light beam of the two light beams divided by the first surface of the dividing element is incident, and the first filter arrangement region Color filters with different transmission wavelength characteristics from color filters A plurality of color filters including at least one type of filter are arranged, and a second filter arrangement region on which the transmitted light beam reflected by the second surface is incident is provided.

また、本発明の撮像装置においては、前記第１のフィルタ配置領域と前記第２のフィルタ配置領域のうちの一方のフィルタ配置領域には、Ｒ，Ｇ，Ｂの夫々の波長域の光を透過させる３種類のカラーフィルタが配置され、他方のフィルタ配置領域には、前記Ｒ，Ｇ，Ｂの夫々の波長域の光を透過させる３種類のカラーフィルタのいずれとも透過波長域が異なる少なくとも１種類のカラーフィルタが配置されているのが好ましい。   In the imaging apparatus of the present invention, light in each of the R, G, and B wavelength ranges is transmitted through one of the first filter placement region and the second filter placement region. The three types of color filters to be transmitted are arranged, and the other filter arrangement region has at least one type of transmission wavelength region different from any of the three types of color filters that transmit light in the wavelength regions of R, G, and B. It is preferable that the color filter is disposed.

また、本発明の撮像装置においては、前記他方のフィルタ配置領域には、前記Ｒ，Ｇ，Ｂの夫々の波長域の光を透過させる３種類のカラーフィルタの透過波長域に比べて狭帯域の光を透過させる同一種類のカラーフィルタが配置されているのが好ましい。   In the imaging apparatus of the present invention, the other filter arrangement region has a narrower band than the transmission wavelength regions of the three types of color filters that transmit light in the R, G, and B wavelength regions. The same type of color filter that transmits light is preferably disposed.

また、本発明の撮像装置においては、前記第１のフィルタ配置領域と前記第２のフィルタ配置領域のうちの一方のフィルタ配置領域には、透過ピーク波長を短波長側に持つカラーフィルタが配置され、他方のフィルタ配置領域には、前記一方のフィルタ配置領域に配置されたいずれのカラーフィルタよりも透過ピーク波長を長波長側に持つカラーフィルタが配置されているのが好ましい。   In the imaging device of the present invention, a color filter having a transmission peak wavelength on the short wavelength side is arranged in one of the first filter arrangement area and the second filter arrangement area. In the other filter arrangement region, it is preferable that a color filter having a transmission peak wavelength on the longer wavelength side than any color filter arranged in the one filter arrangement region is arranged.

また、本発明の撮像装置においては、前記第１のフィルタ配置領域と前記第２のフィルタ配置領域のうちの一方のフィルタ配置領域には、Ｒ，Ｇ，Ｂの夫々の波長域の光を透過させる３種類のカラーフィルタのうちの１種類又は２種類のカラーフィルタが配置され、他方のフィルタ配置領域には、前記Ｒ，Ｇ，Ｂの夫々の波長域の光を透過させる３種類のカラーフィルタのうちの前記一方のフィルタ領域に配置されていない残りの種類のカラーフィルタを少なくとも含むカラーフィルタが配置されているのが好ましい。   In the imaging apparatus of the present invention, light in each of the R, G, and B wavelength ranges is transmitted through one of the first filter placement region and the second filter placement region. One or two of the three types of color filters are arranged, and the other filter arrangement region has three types of color filters that transmit light in the R, G, and B wavelength ranges. It is preferable that a color filter including at least the remaining types of color filters not disposed in the one filter region is disposed.

また、本発明の撮像装置においては、前記分割素子の前記第１の面は、前記対物光学系を経て入射した光束の一部を前記撮像素子の前記第１のフィルタ配置領域に向けて反射させるのが好ましい。   In the imaging device of the present invention, the first surface of the dividing element reflects a part of the light beam incident through the objective optical system toward the first filter arrangement region of the imaging element. Is preferred.

また、本発明の撮像装置においては、前記分割素子の前記第１の面が、前記対物光学系を経て入射した光束の一部を前記撮像素子の前記第１のフィルタ配置領域から外れる方向に反射させるとともに、更に、前記第１のフィルタ配置領域から外れる方向に反射した後の前記反射光束を、前記撮像素子の前記第１のフィルタ配置領域に入射するように、反射させる反射部材を有するのが好ましい。   In the imaging apparatus of the present invention, the first surface of the splitting element reflects a part of the light beam incident through the objective optical system in a direction away from the first filter arrangement region of the imaging element. And a reflecting member that reflects the reflected light beam reflected in a direction away from the first filter arrangement area so as to be incident on the first filter arrangement area of the imaging device. preferable.

また、本発明の撮像装置においては、前記撮像素子の前記一方のフィルタ配置領域に配置された前記複数のカラーフィルタを経て出力される情報を用いて、前記他方のフィルタ配置領域に配置された前記複数のカラーフィルタを経て出力される情報に対するデモザイクを行う画像処理部、を更に有するのが好ましい。   In the imaging device of the present invention, the information output through the plurality of color filters arranged in the one filter arrangement region of the imaging element is used to arrange the one arranged in the other filter arrangement region. It is preferable to further include an image processing unit that performs demosaicing on information output through a plurality of color filters.

本発明によれば、小型化と解像力を確保して多バンド画像を取得することが可能な撮像装置が得られる。   According to the present invention, it is possible to obtain an imaging apparatus capable of obtaining a multiband image while ensuring miniaturization and resolving power.

本発明の第１実施形態にかかる撮像装置の全体構成を模式的に示す説明図である。It is explanatory drawing which shows typically the whole structure of the imaging device concerning 1st Embodiment of this invention. 図１の撮像装置に用いられる撮像素子の第１及び第２のフィルタ配置領域に備えられる、カラーフィルタの配置例を模式的に示す平面図で、(a)は一例を示す図、(b)は他の例を示す図である。FIG. 2 is a plan view schematically showing an example of the arrangement of color filters provided in the first and second filter arrangement regions of the image sensor used in the imaging device of FIG. 1, (a) is a diagram showing an example, and (b). FIG. 8 is a diagram showing another example. 図１の撮像装置の比較例にかかる従来の撮像装置に用いられる撮像素子のフィルタ配置領域に備えられる、カラーフィルタの配置例を模式的に示す平面図で、(a)は図２(a)の例に対する比較例を示す図、(b)は図２(b)の例に対する比較例を示す図である。FIG. 2A is a plan view schematically showing an arrangement example of color filters provided in a filter arrangement region of an imaging element used in a conventional imaging apparatus according to a comparative example of the imaging apparatus in FIG. 1, and FIG. The figure which shows the comparative example with respect to this example, (b) is a figure which shows the comparative example with respect to the example of FIG.2 (b). 図１の撮像装置に用いられる撮像素子の第１及び第２のフィルタ配置領域に備えられる、カラーフィルタの配置の組合せを示す表である。3 is a table showing combinations of color filter arrangements provided in first and second filter arrangement regions of an image sensor used in the imaging apparatus of FIG. 1. 本発明の第２実施形態にかかる撮像装置の構成を示す説明図で、(a)は撮像素子の第１及び第２のフィルタ配置領域に備えられる、カラーフィルタの配置例を模式的に示す平面図、(b)は第１及び第２のフィルタ配置領域に備えられる、カラーフィルタの透過ピーク帯域を模式的に示すグラフである。It is explanatory drawing which shows the structure of the imaging device concerning 2nd Embodiment of this invention, (a) is a plane which shows typically the example of arrangement | positioning of the color filter with which the 1st and 2nd filter arrangement | positioning area | region of an image pick-up element is equipped. FIG. 4B is a graph schematically showing transmission peak bands of color filters provided in the first and second filter arrangement regions. 本発明の第３実施形態にかかる撮像装置の全体構成を模式的に示す説明図である。It is explanatory drawing which shows typically the whole structure of the imaging device concerning 3rd Embodiment of this invention. 特許文献１に記載の撮像装置における撮像素子の配置構成例を示す断面図である。FIG. 11 is a cross-sectional view illustrating an arrangement configuration example of image pickup elements in the image pickup apparatus described in Patent Literature 1. 特許文献２に記載の撮像素子におけるカラーフィルタの配置構成例を示す説明図である。FIG. 10 is an explanatory diagram illustrating an example of an arrangement configuration of color filters in an image sensor described in Patent Literature 2.

実施例の説明に先立ち、本発明の作用効果について説明する。
本発明の撮像装置は、物体からの光束を結像させるための対物光学系と、第１の面と第２の面を有し、前記第１の面で前記対物光学系を経て入射した光束を反射光束と透過光束の２つの光束に分割するとともに、前記第２の面で前記透過光束を反射させる分割素子と、前記分割素子で分割された反射光束の像と透過光束の像とを撮像する１つの撮像素子を有し、前記撮像素子は、撮像面の法線が前記対物光学系の回転対象軸に対し交差する向きに配置され、且つ、複数のカラーフィルタが配置されていて前記分割素子の前記第１の面で分割された前記２つの光束のうちの前記反射光束が入射する第１のフィルタ配置領域と、前記第１のフィルタ配置領域に配置されたカラーフィルタとは透過波長特性が異なるカラーフィルタを少なくとも１種類含む複数のカラーフィルタが配置されていて前記第２の面で反射した前記透過光束が入射する第２のフィルタ配置領域を備える。
本発明のように１つの撮像素子に２つのフィルタ配置領域を設けて、分割素子で分割された反射光束と透過光束を夫々のフィルタ配置領域に入射させるとともに、一方のフィルタ配置領域には、他方のフィルタ配置領域に配置されたいずれのカラーフィルタとも透過波長特性が異なるカラーフィルタを少なくとも１種類含む複数のカラーフィルタを配置すれば、例えば、一方のフィルタ配置領域での色の情報をデモザイクする際に、他方のフィルタ配置領域での色の情報を用いることでより多くの情報を用いることができ、１つの撮像素子に複数のカラーフィルタを配置して得た色の情報のみを用いたデモザイクに比べて、精度の高いデモザイクが可能となる。 Prior to the description of the embodiments, the effects of the present invention will be described.
An imaging apparatus according to the present invention includes an objective optical system for forming a light beam from an object, a first surface, and a second surface, and the light beam incident on the first surface via the objective optical system. Is divided into two light fluxes, a reflected light flux and a transmitted light flux, a splitting element that reflects the transmitted light flux on the second surface, and an image of the reflected light flux and an image of the transmitted light flux split by the splitting element are captured. The image pickup device is arranged in a direction in which a normal line of the image pickup surface intersects a rotation target axis of the objective optical system, and a plurality of color filters are arranged and the division is performed. The first filter arrangement region where the reflected light beam of the two light beams divided by the first surface of the element is incident and the color filter disposed in the first filter arrangement region are transmission wavelength characteristics. At least one color filter with different A plurality of color filters including comprises a second filter arrangement region in which the transmitted light beam reflected by the second surface be disposed is incident.
As in the present invention, two filter arrangement regions are provided in one image sensor, and the reflected light beam and the transmitted light beam divided by the division element are incident on the respective filter arrangement regions. If a plurality of color filters including at least one color filter having a transmission wavelength characteristic different from any of the color filters arranged in the filter arrangement region are arranged, for example, when demosaicing color information in one filter arrangement region In addition, more information can be used by using the color information in the other filter arrangement region, and the demosaic using only the color information obtained by arranging a plurality of color filters in one image sensor. Compared to this, it is possible to perform a demosaicing with high accuracy.

この点について、詳しく説明する。
一般に、カラー画像を撮影する単板式の撮像装置に用いられる撮像素子は、画素に対応した光検出器の集合体と、光検出器の上方にモザイク状に配置された複数種類のカラーフィルタを有している。光検出器は、それ自体で輝度情報を検出するが色情報は検出しない。このため、撮像素子では、各光検出器の上部に複数種類のカラーフィルタを配置し、複数種類のカラーフィルタを透過した色の光を夫々の光検出器で受光することで、夫々の色についての情報を取得する。
しかし、各光検出器が受光した情報は、当該検出器の上部に配置されたカラーフィルタを透過した単色の情報であり、光検出器の集合体によって、撮像素子の全画素領域において、画素ごとに全種類のカラーフィルタの色についての情報が検出されるわけではない。従って、撮像素子で撮像した情報をそのまま用いても、同一画素位置に複数種類の色の情報が重なったカラー画像が得られない。
このため、カラー画像を撮影する単板式の撮像装置では、一般に、画像処理装置が、撮像素子における夫々の画素位置で得られた単色の情報を用いて、当該カラーフィルタの色ごとに、当該画素位置で得られた色とは異なる種類の色が得られる他の画素位置において、当該画素位置で得られた色と同じ種類の色の情報を補間して、全画素領域の情報を作り出す画像加工処理（デモザイク）を行う。そして、デモザイクされた当該カラーフィルタの色ごとの全画素領域の情報を重ね合わせることで、全画素領域のカラー画像を得ている。
デモザイクは、当該画素位置の周囲の画素位置で得られた色の情報と当該画素位置で得られた色の情報とにおける輝度の相関値を用いて演算することにより行う。 This point will be described in detail.
In general, an image sensor used in a single-plate imaging device that captures a color image has a set of photodetectors corresponding to pixels and a plurality of types of color filters arranged in a mosaic pattern above the photodetectors. doing. The photodetector itself detects luminance information but not color information. For this reason, in the imaging device, a plurality of types of color filters are arranged on the top of each photodetector, and light of the color that has passed through the plurality of types of color filters is received by each photodetector, so that each color is received. Get information about.
However, the information received by each photodetector is single-color information transmitted through a color filter arranged on the upper portion of the detector, and is collected for each pixel in the entire pixel region of the image sensor by the aggregate of photodetectors. However, information on the colors of all types of color filters is not detected. Therefore, even if the information picked up by the image pickup device is used as it is, a color image in which information of a plurality of types of colors is overlapped at the same pixel position cannot be obtained.
For this reason, in a single-plate imaging device that captures a color image, generally, the image processing device uses the single-color information obtained at each pixel position in the imaging device for each pixel of the color filter. Image processing that interpolates information on the same type of color as the color obtained at the pixel position at other pixel positions where a different type of color from the color obtained at the position is obtained, and creates information for all pixel areas Perform processing (demosaic). And the color image of all the pixel areas is obtained by superimposing the information of all the pixel areas for each color of the color filter that has been demosaiced.
The demosaic is performed by calculating using the luminance correlation value between the color information obtained at the pixel positions around the pixel position and the color information obtained at the pixel position.

ところで、撮像素子の画素領域の大きさに制約がなければ、光検出器の集合体の上方に配置されるカラーフィルタの種類を増やすことで、解像力を確保しながらダイナミックレンジを広げることや、色再現性を向上させることができる。
しかし、例えば、内視鏡先端挿入部に配置されるような、小型化が求められる撮像装置においては、撮像素子の大きさに制約があるため、光検出器の集合体の上方に配置されるカラーフィルタの種類を増やすと、撮像領域に占める夫々の色の情報量が減少する。また、デモザイクに用いる当該画素位置の周囲の画素位置で得られる色の情報には、当該画素位置から離れた画素位置で得られた色の情報も含まれることとなるが、当該画素位置から離れた画素位置の光強度は、当該画素位置での光強度を反映しにくくなる。このため、デモザイクした当該カラーフィルタの色ごとの全画素領域の情報の精度が低下し、デモザイクされた当該カラーフィルタの色ごとの全画素領域の情報を重ね合わせても、全画素領域のカラー画像の精度が低下し、解像力が低下してしまう。 By the way, if there is no restriction on the size of the pixel area of the image sensor, increasing the types of color filters arranged above the aggregate of photodetectors can increase the dynamic range while ensuring resolution, Reproducibility can be improved.
However, for example, in an imaging apparatus that is required to be miniaturized, such as that disposed in an endoscope distal end insertion portion, the size of the imaging element is limited, so that it is disposed above the aggregate of photodetectors. When the types of color filters are increased, the information amount of each color occupying the imaging area is reduced. Further, the color information obtained at the pixel positions around the pixel position used for the demosaic includes the color information obtained at the pixel position away from the pixel position. The light intensity at the pixel position is less likely to reflect the light intensity at the pixel position. For this reason, the accuracy of the information of all the pixel areas for each color of the demosaiced color filter is reduced, and even if the information of all the pixel areas for each color of the demosaiced color filter is superimposed, the color image of all the pixel areas The accuracy of the image quality decreases and the resolving power decreases.

従って、特許文献２に記載の撮像素子のように、１つの画像が形成される撮像領域に複数種類のカラーフィルタを配置した構成では、大きさに制約のある撮像素子に採用した場合、上述したように、デモザイクの精度が落ち、解像力が確保できない。そして、カラーフィルタの種類を増やすことが難しいため、ダイナミックレンジをより一層広げることや、色再現性をより一層向上することが難しい。   Accordingly, in the configuration in which a plurality of types of color filters are arranged in an imaging region where one image is formed as in the imaging device described in Patent Document 2, the above-described configuration is used when the imaging device is limited in size. As described above, the accuracy of the demosaic is lowered and the resolving power cannot be secured. Since it is difficult to increase the types of color filters, it is difficult to further expand the dynamic range and further improve color reproducibility.

しかるに、本発明の撮像装置のように、１つの撮像素子に２つの撮像領域を設け、夫々の撮像領域に複数のカラーフィルタを配置するフィルタ領域を設ければ、ダイナミックレンジを広げるためや、色再現性を向上させるためにカラーフィルタの種類を増やしても、特許文献２に記載の撮像素子に比べて撮像領域に占める夫々の色の情報量の減少を抑えることができ、精度の高いデモザイクを行うことができ、解像力を確保することができる。   However, as in the image pickup apparatus of the present invention, if two image pickup regions are provided in one image pickup device and a filter region in which a plurality of color filters are arranged in each image pickup region is provided, in order to widen the dynamic range, Even if the number of types of color filters is increased in order to improve reproducibility, a decrease in the amount of information of each color occupying the imaging area can be suppressed as compared with the imaging element described in Patent Document 2, and a highly accurate demosaic can be achieved. Can be performed, and the resolving power can be secured.

１つの画像が形成される撮像領域に占めるカラーフィルタの割合の低下を抑えながら、カラーフィルタの種類を増やすことは、特許文献１に記載の撮像装置のように２つの撮像素子を設けることでも可能であるが、夫々の撮像素子には個体差があり、検出値にズレを生じ、デモザイクを行うと２つの撮像素子の個体差による輝度や色等の検出値のズレが、デモザイクの精度を低下させてしまう。このため、各撮像素子の個体差を原因とする検出値のズレを解消するための煩雑なキャリブレーション（表示較正処理）が必要となる。   It is possible to increase the number of types of color filters while suppressing a decrease in the proportion of the color filter in the imaging region where one image is formed, even by providing two imaging elements as in the imaging device described in Patent Document 1. However, there are individual differences between the image sensors, and the detected values are shifted. When demosaic is performed, the detected values such as brightness and color are shifted due to individual differences between the two image sensors, and the accuracy of the demosaic is reduced. I will let you. For this reason, complicated calibration (display calibration processing) for eliminating the deviation of the detection value caused by the individual difference of each image sensor is required.

しかるに、本発明の撮像装置のように、１つの撮像素子に２つのフィルタ配置領域を設ければ、特許文献１に記載のような従来の２つの撮像素子を設けたタイプの撮像装置における夫々の撮像素子の個体差を原因とする検出値のズレを解消するための煩雑な表示較正処理が不要となり、より高精度なデモザイクを行うことができ、解像力を確保できる。また、２つの撮像素子で構成する場合に比べて基板配線を減らすことができ、その分の配置スペースが不要となり、撮像装置を小型化することができる。   However, as in the image pickup apparatus of the present invention, if two filter arrangement regions are provided in one image pickup element, each of the conventional image pickup apparatuses provided with two image pickup elements as described in Patent Document 1 is used. A complicated display calibration process for eliminating the deviation of the detection value caused by the individual difference between the image pickup elements is not required, so that more accurate demosaic can be performed and the resolving power can be secured. In addition, substrate wiring can be reduced as compared with the case where two imaging elements are used, and the corresponding arrangement space is not required, and the imaging apparatus can be reduced in size.

また、本発明の撮像装置のように、２つのフィルタ配置領域を設ければ、２つのフィルタ配置領域のうちの一方にＲ，Ｇ，Ｂのカラーフィルタを配置し、他方に特定波長のカラーフィルタを配置することにより、例えば、動画像を取得して表示装置で表示する際に、通常の可視光観察時はＲ，Ｇ，Ｂのカラーフィルタから得られた情報をデモザイク及び合成したカラー画像を表示し、必要に応じて別のフィルタ配置領域の画像の表示に切り替えることも可能となる。また、Ｒ，Ｇ，Ｂのカラー画像を表示しながら狭帯域の画像を重畳して表示することも可能となる。   Further, when two filter arrangement areas are provided as in the image pickup apparatus of the present invention, R, G, B color filters are arranged in one of the two filter arrangement areas, and a color filter of a specific wavelength is arranged in the other. For example, when a moving image is acquired and displayed on a display device, a color image obtained by demosaicing and combining information obtained from R, G, and B color filters during normal visible light observation is obtained. It is also possible to switch to display of an image in another filter arrangement area as necessary. In addition, it is possible to display a narrow band image while displaying R, G, B color images.

また、本発明の撮像装置のように、撮像面の法線が前記対物光学系の回転対象軸に対し交差する向きに撮像素子を配置すれば、撮像素子の長辺が内視鏡挿入先端部の径の大きさを定めてしまうことがなく、内視鏡挿入先端部を小型化し易くなる。なお、本発明の撮像装置における撮像素子の形状は、撮像面が対物光学系の回転対象軸に沿う方向に伸び、長辺方向に２つのフィルタ配置領域を備えた長方形となるが、一般に、内視鏡先端挿入部は対物光学系の回転対象軸方向に沿って長く伸びる構成であるため、内視鏡先端挿入部の小型化を阻害しない。
従って、本発明の撮像装置によれば、小型化と解像力が確保された多バンド画像の取得が可能な撮像装置が実現できる。 Further, as in the imaging device of the present invention, if the imaging element is arranged in a direction in which the normal of the imaging surface intersects the rotation target axis of the objective optical system, the long side of the imaging element is the endoscope insertion tip. Therefore, it is easy to reduce the size of the endoscope insertion tip. The shape of the image sensor in the image pickup apparatus of the present invention is a rectangle having an image pickup surface extending in a direction along the rotation target axis of the objective optical system and having two filter arrangement regions in the long side direction. Since the endoscope tip insertion portion is configured to extend long along the rotation target axis direction of the objective optical system, it does not hinder downsizing of the endoscope tip insertion portion.
Therefore, according to the imaging apparatus of the present invention, it is possible to realize an imaging apparatus capable of acquiring a multiband image with a small size and a high resolving power.

また、本発明の撮像装置においては、前記第１のフィルタ配置領域と前記第２のフィルタ配置領域のうちの一方のフィルタ配置領域には、Ｒ，Ｇ，Ｂの夫々の波長域の光を透過させる３種類のカラーフィルタが配置され、他方のフィルタ配置領域には、前記Ｒ，Ｇ，Ｂの夫々の波長域の光を透過させる３種類のカラーフィルタのいずれとも透過波長域が異なる少なくとも１種類のカラーフィルタが配置されているのが好ましい。
第１のフィルタ配置領域と第２のフィルタ配置領域のうちの一方のフィルタ配置領域に配置されるカラーフィルタをＲ，Ｇ，Ｂのカラーフィルタで構成すれば、通常の可視光画像が取得可能となる。 In the imaging apparatus of the present invention, light in each of the R, G, and B wavelength ranges is transmitted through one of the first filter placement region and the second filter placement region. The three types of color filters to be transmitted are arranged, and the other filter arrangement region has at least one type of transmission wavelength region different from any of the three types of color filters that transmit light in the wavelength regions of R, G, and B. It is preferable that the color filter is disposed.
If a color filter arranged in one of the first filter arrangement area and the second filter arrangement area is composed of R, G, and B color filters, a normal visible light image can be acquired. Become.

また、本発明の撮像装置においては、前記他方のフィルタ配置領域には、前記Ｒ，Ｇ，Ｂの夫々の波長域の光を透過させる３種類のカラーフィルタの透過波長域に比べて狭帯域の光を透過させる同一種類のカラーフィルタが配置されているのが好ましい。
他方のフィルタ配置領域に配置されるカラーフィルタを狭帯域の光を透過させる同一種類のカラーフィルタで構成すれば、１つの画像が形成される撮像領域全体で同一種類の波長域の情報が得られるので、デモザイクを行うことなく、例えばＮＢＩなどの、内視鏡で重要とされる波長域の画像が取得可能となり、また、画像を取得する際のノイズの影響を最小限に抑えることができる。 In the imaging apparatus of the present invention, the other filter arrangement region has a narrower band than the transmission wavelength regions of the three types of color filters that transmit light in the R, G, and B wavelength regions. The same type of color filter that transmits light is preferably disposed.
If the color filter arranged in the other filter arrangement region is composed of the same type of color filter that transmits narrow-band light, information of the same type of wavelength region can be obtained in the entire imaging region where one image is formed. Therefore, it is possible to acquire an image in a wavelength region important for an endoscope, such as NBI, without performing demosaicing, and it is possible to minimize the influence of noise when acquiring an image.

また、本発明の撮像装置においては、前記第１のフィルタ配置領域と前記第２のフィルタ配置領域のうちの一方のフィルタ配置領域には、透過ピーク波長を短波長側に持つカラーフィルタが配置され、他方のフィルタ配置領域には、前記一方のフィルタ配置領域に配置されたいずれのカラーフィルタよりも透過ピーク波長を長波長側に持つカラーフィルタが配置されているのが好ましい。
光学系の屈折率は波長に応じて異なり、結像位置（像面の位置）は波長ごとに異なる。しかるに、一方のフィルタ配置領域に相対的に短波長を透過するカラーフィルタを配置し、他方のフィルタ配置領域に相対的に長波長を透過するカラーフィルタを配置すれば、１つの画像が形成される夫々の撮像領域に結像する各波長の長さの差を小さくすることができ、１つの画像が形成される夫々の撮像領域において、像面を揃え易くなり、像面を合わせるための調整を簡易化できる。 In the imaging device of the present invention, a color filter having a transmission peak wavelength on the short wavelength side is arranged in one of the first filter arrangement area and the second filter arrangement area. In the other filter arrangement region, it is preferable that a color filter having a transmission peak wavelength on the longer wavelength side than any color filter arranged in the one filter arrangement region is arranged.
The refractive index of the optical system varies depending on the wavelength, and the imaging position (image plane position) varies with the wavelength. However, if a color filter that transmits a relatively short wavelength is arranged in one filter arrangement area and a color filter that transmits a relatively long wavelength is arranged in the other filter arrangement area, one image is formed. It is possible to reduce the difference between the lengths of the wavelengths formed in the respective imaging regions, and to easily align the image planes in each imaging region where one image is formed, and to adjust the image planes. It can be simplified.

また、本発明の撮像装置においては、前記第１のフィルタ配置領域と前記第２のフィルタ配置領域のうちの一方のフィルタ配置領域には、Ｒ，Ｇ，Ｂの夫々の波長域の光を透過させる３種類のカラーフィルタのうちの１種類又は２種類のカラーフィルタが配置され、他方のフィルタ配置領域には、前記Ｒ，Ｇ，Ｂの夫々の波長域の光を透過させる３種類のカラーフィルタのうちの前記一方のフィルタ領域に配置されていない残りの種類のカラーフィルタを少なくとも含むカラーフィルタが配置されているのが好ましい。
このようにすれば、２つのフィルタ配置領域のいずれか一方を経て出力された情報を用いて、他方のフィルタ配置領域を経て出力された画像についてＲ，Ｇ，Ｂのデモザイクをすることができる。また、Ｒ，Ｇ，Ｂの夫々の波長域の光を透過させる３種類のカラーフィルタを、２つのフィルタ配置領域のいずれかの領域に分けて配置すれば、夫々のフィルタ配置領域に配置されるカラーフィルタの種類を減らすことができるので、デモザイクの精度が向上し、高解像力を確保することができる。 In the imaging apparatus of the present invention, light in each of the R, G, and B wavelength ranges is transmitted through one of the first filter placement region and the second filter placement region. One or two of the three types of color filters are arranged, and the other filter arrangement region has three types of color filters that transmit light in the R, G, and B wavelength ranges. It is preferable that a color filter including at least the remaining types of color filters not disposed in the one filter region is disposed.
In this way, it is possible to perform R, G, and B demosaicing on an image output via the other filter arrangement area using information output via either one of the two filter arrangement areas. In addition, if three types of color filters that transmit light in each wavelength region of R, G, and B are arranged separately in one of the two filter arrangement regions, they are arranged in the respective filter arrangement regions. Since the types of color filters can be reduced, the accuracy of the demosaic can be improved and high resolution can be ensured.

また、本発明の撮像装置においては、前記分割素子の前記第１の面は、前記対物光学系を経て入射した光束の一部を前記撮像素子の前記第１のフィルタ配置領域に向けて反射させるのが好ましい。
例えば、分割素子の第１の面にハーフミラーを用いれば、簡易な構成で分割した光束を夫々のフィルタ配置領域に入射させることが可能となる。 In the imaging device of the present invention, the first surface of the dividing element reflects a part of the light beam incident through the objective optical system toward the first filter arrangement region of the imaging element. Is preferred.
For example, if a half mirror is used for the first surface of the splitting element, it is possible to make the light beam split with a simple configuration enter each filter arrangement region.

また、本発明の撮像装置においては、前記分割素子の前記第１の面が、前記対物光学系を経て入射した光束の一部を前記撮像素子の前記第１のフィルタ配置領域から外れる方向に反射させるとともに、更に、前記第１のフィルタ配置領域から外れる方向に反射した後の前記反射光束を、前記撮像素子の前記第１のフィルタ配置領域に入射するように、反射させる反射部材を有するのが好ましい。
例えば、分割素子の第１の面に偏光ビームスプリッタを用いれば、上記反射部材を介して第１、第２のフィルタ配置領域までの光路長を同じにすることができ、１つの画像が形成される夫々の撮像領域における結像状態の調整を簡易化できる。 In the imaging apparatus of the present invention, the first surface of the splitting element reflects a part of the light beam incident through the objective optical system in a direction away from the first filter arrangement region of the imaging element. And a reflecting member that reflects the reflected light beam reflected in a direction away from the first filter arrangement area so as to be incident on the first filter arrangement area of the imaging device. preferable.
For example, if a polarization beam splitter is used on the first surface of the splitting element, the optical path lengths to the first and second filter arrangement regions can be made the same through the reflecting member, and one image is formed. It is possible to simplify the adjustment of the imaging state in each imaging region.

また、本発明の撮像装置においては、前記撮像素子の前記一方のフィルタ配置領域に配置された前記複数のカラーフィルタを経て出力される情報を用いて、前記他方のフィルタ配置領域に配置された前記複数のカラーフィルタを経て出力される情報に対するデモザイクを行う画像処理部、を更に有するのが好ましい。
一方のフィルタ配置領域に配置されるカラーフィルタを経て出力される情報を用いて他方のフィルタ配置領域に配置されるカラーフィルタを経て出力される情報に対するデモザイクを行えば、１つのフィルタ配置領域に複数のカラーフィルタが配置された単板で得られる情報のみを用いたデモザイクに比べて、デモザイクに用いる色の情報の種類や量を増やすことができるため、精度の高いデモザイクが可能となり、解像力を確保し易くなる。 In the imaging device of the present invention, the information output through the plurality of color filters arranged in the one filter arrangement region of the imaging element is used to arrange the one arranged in the other filter arrangement region. It is preferable to further include an image processing unit that performs demosaicing on information output through a plurality of color filters.
If the demosaic is performed on the information output via the color filter arranged in the other filter arrangement area using the information outputted via the color filter arranged in one filter arrangement area, a plurality of filters are provided in one filter arrangement area. Compared to a demosaic that uses only the information obtained with a single plate with a color filter, the type and amount of color information used in the demosaic can be increased, enabling highly accurate demosaic and ensuring resolution. It becomes easy to do.

第１実施形態
図１は本発明の第１実施形態にかかる撮像装置の全体構成を模式的に示す説明図である。図２は図１の撮像装置に用いられる撮像素子の第１及び第２のフィルタ配置領域に備えられる、カラーフィルタの配置例を模式的に示す平面図で、(a)は一例を示す図、(b)は他の例を示す図である。図３は図１の撮像装置の比較例にかかる従来の撮像装置に用いられる撮像素子のフィルタ配置領域に備えられる、カラーフィルタの配置例を模式的に示す平面図で、(a)は図２(a)の例に対する比較例を示す図、(b)は図２(b)の例に対する比較例を示す図である。図４は図１の撮像装置に用いられる撮像素子の第１及び第２のフィルタ配置領域に備えられる、カラーフィルタの配置の組合せを示す表である。 First Embodiment FIG. 1 is an explanatory diagram schematically showing the overall configuration of an imaging apparatus according to a first embodiment of the present invention. FIG. 2 is a plan view schematically showing an example of the arrangement of color filters provided in the first and second filter arrangement regions of the image sensor used in the imaging apparatus of FIG. 1, and FIG. (b) is a diagram showing another example. 3 is a plan view schematically showing an arrangement example of color filters provided in a filter arrangement region of an image sensor used in a conventional imaging apparatus according to a comparative example of the imaging apparatus in FIG. 1, and FIG. The figure which shows the comparative example with respect to the example of (a), (b) is a figure which shows the comparative example with respect to the example of FIG.2 (b). FIG. 4 is a table showing combinations of color filter arrangements provided in the first and second filter arrangement regions of the image sensor used in the imaging apparatus of FIG.

第１実施形態の撮像装置は、対物光学系１と、分割素子２と、λ／４板３と、ミラー４と、撮像素子５と、画像処理装置６を有している。図１中、７は表示装置である。   The imaging apparatus according to the first embodiment includes an objective optical system 1, a dividing element 2, a λ / 4 plate 3, a mirror 4, an imaging element 5, and an image processing device 6. In FIG. 1, reference numeral 7 denotes a display device.

対物光学系１は、物体からの光束を結像させる。
分割素子２は、第１の面としての偏光ビームスプリッタ面２ａ１を持つ偏光ビームスプリッタ２ａと、第２の面としてのミラー面２ｂ１を持つミラー２ｂを有して構成されている。
偏光ビームスプリッタ２ａは、対物光学系１を経た光束が偏光ビームスプリッタ面２ａ１に入射する位置に配置されている。偏光ビームスプリッタ面２ａ１は、入射光束中のＰ波，Ｓ波の偏光成分に応じて反射光束と透過光束の２つの光束に分割する。また、偏光ビームスプリッタ面２ａ１は、反射光束が撮像素子５とは反対側（ここではミラー４側）に向かうように配置されている。
また、偏光ビームスプリッタ２ａは、矢印ＡＢ方向に移動可能に構成されており、偏光ビームスプリッタ面２ａ１で分割された、撮像素子５の後述する第１のフィルタ配置領域５ａ１に入射する光束の光路長と後述する第２のフィルタ配置領域５ａ２に入射する光束の光路長や、撮像面での結像位置を微調整することができるようになっている。
なお、図１の例では、分割素子２を、偏光ビームスプリッタ２ａとミラー２ｂとを独立した部材で構成したが、分割素子２は、偏光ビームスプリッタ２ａとミラー２ｂとが一体化したプリズムで構成されていてもよい。
ミラー２ｂは、対物光学系１を経て偏光ビームスプリッタ面２ａ１で分割された光束のうちの透過光束がミラー面２ｂ１に入射する位置に配置されている。ミラー面２ｂ１は、入射する光束を、撮像素子５の第２のフィルタ配置領域５ａ２に入射するように、反射させる。
λ／４板３は、偏光ビームスプリッタ面２ａ１で反射した光束の位相を９０度変換するとともに、ミラー４で反射した光束の位相を９０度変換する。
ミラー４は、偏光ビームスプリッタ面２ａ１で反射し、λ／４板３で位相を９０度変換された光束を、撮像素子５の第１のフィルタ配置領域５ａ１に入射するように、折り返し方向に反射させる。 The objective optical system 1 forms an image of a light beam from an object.
The splitting element 2 includes a polarizing beam splitter 2a having a polarizing beam splitter surface 2a1 as a first surface and a mirror 2b having a mirror surface 2b1 as a second surface.
The polarization beam splitter 2a is disposed at a position where the light beam that has passed through the objective optical system 1 enters the polarization beam splitter surface 2a1. The polarization beam splitter surface 2a1 divides the light beam into two light beams, a reflected light beam and a transmitted light beam, according to the polarization components of the P wave and S wave in the incident light beam. Further, the polarization beam splitter surface 2a1 is disposed so that the reflected light beam is directed to the side opposite to the imaging element 5 (here, the mirror 4 side).
The polarization beam splitter 2a is configured to be movable in the direction of the arrow AB, and the optical path length of a light beam incident on a first filter arrangement region 5a1 (described later) of the image sensor 5 divided by the polarization beam splitter surface 2a1. The optical path length of a light beam incident on a second filter arrangement region 5a2 described later and the image formation position on the imaging surface can be finely adjusted.
In the example of FIG. 1, the splitting element 2 is composed of the polarization beam splitter 2 a and the mirror 2 b independent members, but the splitting element 2 is composed of a prism in which the polarization beam splitter 2 a and the mirror 2 b are integrated. May be.
The mirror 2b is disposed at a position where a transmitted light beam out of the light beam split by the polarization beam splitter surface 2a1 through the objective optical system 1 enters the mirror surface 2b1. The mirror surface 2b1 reflects the incident light beam so that it enters the second filter arrangement region 5a2 of the image sensor 5.
The λ / 4 plate 3 converts the phase of the light beam reflected by the polarization beam splitter surface 2a1 by 90 degrees and converts the phase of the light beam reflected by the mirror 4 by 90 degrees.
The mirror 4 reflects the light beam reflected by the polarization beam splitter surface 2a1 and having the phase converted by 90 ° by the λ / 4 plate 3 in the folding direction so as to enter the first filter arrangement region 5a1 of the image sensor 5. Let

撮像素子５は、カラーフィルタ配置部５ａと画素に対応した光検出器の集合体からなる撮像部５ｂを有し、細長状に形成されている。また、撮像素子５は、撮像面の法線が対物光学系１の回転対象軸に対し交差する向き（図１の例では垂直）に配置されている。
カラーフィルタ配置部５ａは、第１のフィルタ配置領域５ａ１と第２のフィルタ配置領域５ａ２を有している。
第１のフィルタ配置領域５ａ１には、図２(a)に示すように、複数のカラーフィルタとして、Ｒ，Ｇ，Ｂの夫々の波長域の光を透過させる３種類のカラーフィルタが、例えばベイヤ配列等の所定の配列でモザイク状に配置されている。
また、第２のフィルタ配置領域５ａ２には、少なくとも１種類のカラーフィルタがＲ，Ｇ，Ｂ以外の波長域の光を透過させるカラーフィルタである、複数のカラーフィルタとして、例えば、図２(a)に示すように、Ｒ，Ｇ，Ｂに対して補色関係にあるＣｙ（シアン），Ｍ（マゼンタ），Ｙ（イエロー）の夫々の波長域の光を透過させる３種類のカラーフィルタが、ベイヤ配列等の所定の配列でモザイク状に配置されている。なお、第２のフィルタ配置領域５ａ２における複数のフィルタの配置構成は、図２(b)に示すように、狭帯域Ｎの光を透過させる同一種類のカラーフィルタを第２のフィルタ配置領域５ａ２における全画素領域に配置したものでもよい。 The imaging element 5 has a color filter arrangement unit 5a and an imaging unit 5b composed of an aggregate of photodetectors corresponding to pixels, and is formed in an elongated shape. Further, the image sensor 5 is arranged in a direction (vertical in the example of FIG. 1) in which the normal line of the imaging surface intersects the rotation target axis of the objective optical system 1.
The color filter placement unit 5a has a first filter placement area 5a1 and a second filter placement area 5a2.
In the first filter arrangement region 5a1, as shown in FIG. 2 (a), as a plurality of color filters, three types of color filters that transmit light in each of the R, G, and B wavelength regions are, for example, Bayer. They are arranged in a mosaic pattern in a predetermined arrangement such as an arrangement.
In the second filter arrangement region 5a2, a plurality of color filters in which at least one type of color filter transmits light in a wavelength region other than R, G, and B are shown in FIG. ), Three types of color filters that transmit light in the respective wavelength regions of Cy (cyan), M (magenta), and Y (yellow), which are complementary to R, G, and B, are Bayer. They are arranged in a mosaic pattern in a predetermined arrangement such as an arrangement. The arrangement configuration of the plurality of filters in the second filter arrangement area 5a2 is the same as that in the second filter arrangement area 5a2, as shown in FIG. 2B. It may be arranged in the entire pixel area.

画像処理装置６は、図示省略した中央処理演算装置に設けられていて、画像処理部６ａを有し、撮像素子５に接続している。画像処理部６ａは、撮像素子５の第１のフィルタ配置領域５ａ１に配置された複数のカラーフィルタから出力された情報を用いて、第２のフィルタ配置領域５ａ２に配置された複数のカラーフィルタから出力される情報のデモザイクや合成等の画像処理を行うことができるように構成されている。なお、画像処理部６ａは、撮像素子５における同一のフィルタ配置領域に配置された複数種類のカラーフィルタから出力された情報を用いて、当該フィルタ配置領域に配置された複数のカラーフィルタから出力される情報のデモザイクや合成等の画像処理も行うこともできる。
表示装置７は、画像処理装置６で画像処理された後の情報を表示する。 The image processing device 6 is provided in a central processing unit (not shown), has an image processing unit 6 a, and is connected to the image sensor 5. The image processing unit 6a uses the information output from the plurality of color filters arranged in the first filter arrangement region 5a1 of the image sensor 5 from the plurality of color filters arranged in the second filter arrangement region 5a2. It is configured to be able to perform image processing such as demosaicing or composition of the output information. Note that the image processing unit 6a uses information output from a plurality of types of color filters arranged in the same filter arrangement area in the image sensor 5, and outputs the information from the plurality of color filters arranged in the filter arrangement area. It is also possible to perform image processing such as demosaicing and synthesis of information.
The display device 7 displays information after image processing by the image processing device 6.

このように構成された第１実施形態の撮像装置では、物体からの光束は、対物光学系１を経て、偏光ビームスプリッタ２ａに入射する。偏光ビームスプリッタ２ａに入射した光束は、偏光ビームスプリッタ面２ａ１で直線偏光のＳ偏光成分とＰ偏光成分のうちの一方の偏光成分の反射光束と、他方の成分の透過光束とに分離される。   In the imaging apparatus of the first embodiment configured as described above, the light beam from the object enters the polarization beam splitter 2a through the objective optical system 1. The light beam incident on the polarization beam splitter 2a is separated by the polarization beam splitter surface 2a1 into a reflected light beam of one of the linearly polarized S-polarized component and a P-polarized component and a transmitted light beam of the other component.

偏光ビームスプリッタ面２ａ１で反射した一方の偏光成分の直線偏光の光束は、λ／４板３を通り、偏光状態が円偏光に変換され、ミラー４に入射する。ミラー４で反射した光束は、再びλ／４板３を通り、偏光状態が円偏光から他方の偏光成分の直線偏光に変換され、再び偏光ビームスプリッタ２ａに入射し、偏光ビームスプリッタ面２ａ１を透過して、撮像素子５の第１のフィルタ配置領域５ａ１に結像する。このとき、第１のフィルタ配置領域５ａ１には、複数のカラーフィルタとして、Ｒ，Ｇ，Ｂの夫々の波長域の光を透過させる３種類のカラーフィルタがモザイク状の配列で配置されている。このため、撮像部５ｂにおける第１のフィルタ配置領域５ａ１に対応する撮像領域に配置されている複数の光検出器を介して、Ｒ，Ｇ，Ｂの各色がモザイク状に点在する単板式の情報が取得される。   The linearly polarized light beam of one polarization component reflected by the polarization beam splitter surface 2 a 1 passes through the λ / 4 plate 3, the polarization state is converted to circularly polarized light, and enters the mirror 4. The light beam reflected by the mirror 4 passes through the λ / 4 plate 3 again, the polarization state is converted from the circularly polarized light to the linearly polarized light of the other polarization component, enters the polarizing beam splitter 2a again, and passes through the polarizing beam splitter surface 2a1. Then, an image is formed on the first filter arrangement region 5a1 of the image sensor 5. At this time, in the first filter arrangement region 5a1, as the plurality of color filters, three types of color filters that transmit light in the R, G, and B wavelength regions are arranged in a mosaic arrangement. For this reason, a single-plate type in which each color of R, G, and B is scattered in a mosaic manner through a plurality of photodetectors arranged in the imaging region corresponding to the first filter arrangement region 5a1 in the imaging unit 5b. Information is acquired.

一方、対物光学系１を経て偏光ビームスプリッタ２ａに入射したときに偏光ビームスプリッタ面２ａ１を透過した他方の偏光成分の直線偏光の光束は、ミラー２ｂのミラー面２ｂ１で反射し、撮像素子５の第２のフィルタ配置領域５ａ２に結像する。このとき、第２のフィルタ配置領域５ａ２には、複数のカラーフィルタとして、Ｒ，Ｇ，Ｂ以外の波長帯域の光を透過させる複数種類のカラーフィルタ（例えば、Ｒ，Ｇ，Ｂに対して補色関係にあるＣｙ（シアン），Ｍ（マゼンタ），Ｙ（イエロー）の波長帯域の光を透過させるカラーフィルタ）がモザイク状の配列で配置されている。又は全領域を狭帯域Ｎの波長帯域の光を透過させる同一種類のカラーフィルタが配置されている。このため、撮像部５ｂにおける第２のフィルタ配置領域５ａ２に対応する位置に配置されている複数の光検出器を介してＣｙ，Ｍ，Ｙの色がモザイク状に点在する単板式の情報、又は狭帯域Ｎの色からなる単板式の情報が取得される。   On the other hand, the linearly polarized light beam of the other polarization component that has passed through the polarization beam splitter surface 2 a 1 when entering the polarization beam splitter 2 a via the objective optical system 1 is reflected by the mirror surface 2 b 1 of the mirror 2 b, and The image is formed on the second filter arrangement region 5a2. At this time, in the second filter arrangement region 5a2, as a plurality of color filters, a plurality of types of color filters that transmit light in wavelength bands other than R, G, and B (for example, complementary colors for R, G, and B). The color filters that transmit light in the wavelength bands of Cy (cyan), M (magenta), and Y (yellow), which are related, are arranged in a mosaic pattern. Alternatively, the same type of color filter that transmits light in the wavelength band of the narrow band N is disposed in the entire area. For this reason, single-plate information in which the colors of Cy, M, and Y are scattered in a mosaic manner through a plurality of photodetectors arranged at positions corresponding to the second filter arrangement region 5a2 in the imaging unit 5b, Alternatively, single-plate information consisting of a narrow band N color is acquired.

画像処理装置６の画像処理部６ａは、撮像素子５の第１のフィルタ配置領域５ａ１に配置された複数のカラーフィルタから出力される情報を用いて、第２のフィルタ配置領域５ａ２に配置された複数のカラーフィルタから出力される情報のデモザイクを行う。次いで、デモザイクされた当該カラーフィルタの色ごとの全座標領域の情報を重ね合わせて、全座標領域のカラー画像を合成する。
表示装置７は、画像処理部６によるデモザイク及び合成等の画像処理を経て作成されたカラー画像を表示する。 The image processing unit 6a of the image processing device 6 is arranged in the second filter arrangement area 5a2 using information output from the plurality of color filters arranged in the first filter arrangement area 5a1 of the imaging device 5. Demosaicing of information output from a plurality of color filters. Next, the information of all the coordinate areas for each color of the color filter that has been demosaiced is superimposed to synthesize a color image of all the coordinate areas.
The display device 7 displays a color image created through image processing such as demosaicing and synthesis by the image processing unit 6.

第１実施形態の撮像装置によれば、１つの撮像素子５に２つのフィルタ配置領域５ａ１，５ａ２を設けて、分割素子２で分割された反射光束と透過光束を夫々のフィルタ配置領域５ａ１，５ａ２に入射させるとともに、フィルタ配置領域５ａ１，５ａ２のうちの一方のフィルタ配置領域には、他方のフィルタ配置領域に配置されたいずれのカラーフィルタとも透過波長特性が異なるカラーフィルタを少なくとも１種類含む複数のカラーフィルタを配置したので、一方のフィルタ配置領域での色の情報をデモザイクする際に、他方のフィルタ配置領域での色の情報を用いることで、より多くの情報を用いることができ、精度の高いデモザイクが可能となる。しかも、第１実施形態の撮像装置によれば、１つの撮像素子５の撮像面上に２つのフィルタ配置領域５ａ１，５ａ２を設けたので、特許文献１に記載のような従来２つの撮像素子を設けたタイプの撮像装置における夫々の撮像素子の個体差を原因とする検出値のズレを解消するための煩雑な表示較正処理が不要となり、より高精度なデモザイクを行うことができ、解像力を確保できる。また、２つの撮像素子で構成する場合に比べて基板配線を減らすことができ、その分の配置スペースが不要となり、撮像装置を小型化することができる。   According to the imaging apparatus of the first embodiment, two filter arrangement regions 5a1 and 5a2 are provided in one image pickup device 5, and the reflected light flux and the transmitted light beam divided by the division element 2 are respectively provided in the filter arrangement regions 5a1 and 5a2. A plurality of color filters including at least one color filter having a transmission wavelength characteristic different from any of the color filters arranged in the other filter arrangement region, in one of the filter arrangement regions 5a1 and 5a2. Since the color filter is arranged, when demosaicing the color information in one filter arrangement area, more information can be used by using the color information in the other filter arrangement area. High demosaicing is possible. Moreover, according to the imaging apparatus of the first embodiment, since the two filter arrangement regions 5a1 and 5a2 are provided on the imaging surface of one imaging element 5, two conventional imaging elements as described in Patent Document 1 are provided. Eliminates the need for complicated display calibration processing to eliminate deviations in detection values caused by individual differences in each image sensor in the type of imaging device provided, enabling more accurate demosaic processing and ensuring resolving power it can. In addition, substrate wiring can be reduced as compared with the case where two imaging elements are used, and the corresponding arrangement space is not required, and the imaging apparatus can be reduced in size.

そして、第１実施形態の撮像装置によれば、第１のフィルタ配置領域５ａ１に配置される複数のカラーフィルタを、Ｒ，Ｇ，Ｂの夫々の波長帯域の光を透過させるカラーフィルタで構成したので、通常の可視光画像が取得可能となる。ここで、第２のフィルタ配置領域５ａ２に配置される複数のカラーフィルタを、Ｒ，Ｇ，Ｂに対して補色関係にあるＣｙ，Ｍ，Ｙの波長域の光を透過させるカラーフィルタで構成した場合には、デモザイクの精度が上がるとともに、合成した画像の色再現性（色再現範囲）が向上する。   According to the imaging apparatus of the first embodiment, the plurality of color filters arranged in the first filter arrangement region 5a1 are configured by color filters that transmit light in the R, G, and B wavelength bands. Therefore, a normal visible light image can be acquired. Here, the plurality of color filters arranged in the second filter arrangement region 5a2 are configured by color filters that transmit light in the Cy, M, and Y wavelength regions that are complementary to R, G, and B. In this case, the accuracy of the demosaic is improved and the color reproducibility (color reproduction range) of the synthesized image is improved.

また、第２のフィルタ配置領域に配置されるカラーフィルタを、狭帯域Ｎの光を透過させる同一種類のカラーフィルタで構成した場合には、１つの画像が形成される撮像領域全体で同一種類の波長域の情報が得られるので、デモザイクを行うことなく、例えばＮＢＩなどの、内視鏡で重要とされる波長域の画像が取得可能となり、また、画像を取得する際のノイズの影響を最小限に抑えることができる。   Further, when the color filters arranged in the second filter arrangement area are configured by the same type of color filter that transmits the light of the narrow band N, the same type of color filter is formed in the entire imaging area where one image is formed. Since information on the wavelength range can be obtained, it is possible to acquire an image in the wavelength range important for an endoscope, such as NBI, without performing demosaicing, and minimize the influence of noise when acquiring the image. To the limit.

これに対し、特許文献２に記載の撮像素子のように、１つの撮像素子における各画素位置に複数種類のカラーフィルタを割り当てて配置する構成では、撮像領域全体において夫々のカラーフィルタの占める割合が少なくなり、撮像領域に占める夫々の色の情報量が少なくなるため、解像度を確保することが難しい。   On the other hand, in the configuration in which a plurality of types of color filters are allocated and arranged at each pixel position in one image sensor as in the image sensor described in Patent Document 2, the proportion of each color filter in the entire image area is Since the information amount of each color occupying in the imaging area is reduced, it is difficult to ensure the resolution.

図３(a)は図２(a)の例に対する比較例にかかるカラーフィルタの配置例を示す図である。
図３(a)に示す比較例の撮像素子では、第１実施形態の撮像装置における１つのフィルタ配置領域と同じ大きさの領域に、Ｒ，Ｇ，Ｂ，Ｃｙ，Ｍ，Ｙの夫々の波長域の光を透過させる６種類のカラーフィルタが配置されている。
このように構成された図３(a)に示す比較例の撮像素子では、図２(a)の例に比べて、撮像領域に占める夫々の色の情報量が半減するため、高精度なデモザイクを行うことができない。その結果、デモザイクされた当該カラーフィルタの色ごとの全画素領域の情報を重ね合わせても、全画素領域のカラー画像の精度が低下し、解像力が低下してしまう。 FIG. 3A is a diagram illustrating an arrangement example of color filters according to a comparative example with respect to the example of FIG.
In the imaging device of the comparative example shown in FIG. 3A, each wavelength of R, G, B, Cy, M, and Y is in the same size as one filter arrangement region in the imaging device of the first embodiment. Six types of color filters that transmit light in the region are arranged.
In the image pickup device of the comparative example shown in FIG. 3A configured as described above, the information amount of each color in the image pickup region is halved compared to the example of FIG. Can not do. As a result, even if the information of all the pixel areas for each color of the color filter that has been demosaiced is superimposed, the accuracy of the color image in all the pixel areas is lowered, and the resolution is lowered.

図３(b)は図２(b)の例に対する比較例にかかるカラーフィルタの配置例を示す図である。
図３(b)に示す比較例の撮像素子では、第１実施形態の撮像装置における１つのフィルタ配置領域と同じ大きさの領域に、Ｒ，Ｇ，Ｂの夫々の波長域の光を透過させるカラーフィルタと狭帯域Ｎの光を透過させるカラーフィルタの合計４種類のカラーフィルタが配置されている。
このように構成された図３(b)に示す比較例の撮像素子では、図２(b)の例に比べて、撮像領域に占める夫々の色の情報量が少なくなるため、解像度を確保することが難しい。また、１つの画像が形成される撮像領域全体で同一種類の波長域の情報を得る構成ではないため、デモザイクを行わなければ、例えばＮＢＩなどの、内視鏡で重要とされる波長域（狭帯域Ｎ）の画像を取得することができない。しかも、各色の情報のデモザイクを行う際に、１つの画像が形成される撮像領域全体で同一種類の波長域の情報を用いることができないため、高精度なデモザイクを行うことができない。その結果、デモザイクされた当該カラーフィルタの色ごとの全座標領域の情報を重ね合わせても、全座標領域のカラー画像の精度が低下し、解像力が低下してしまう。 FIG. 3B is a diagram illustrating an arrangement example of color filters according to a comparative example with respect to the example of FIG.
In the imaging device of the comparative example shown in FIG. 3B, light in each of the R, G, and B wavelength ranges is transmitted through a region having the same size as one filter arrangement region in the imaging device of the first embodiment. A total of four color filters, a color filter and a color filter that transmits light in a narrow band N, are arranged.
In the comparative example of the imaging device shown in FIG. 3B configured as described above, the amount of information of each color in the imaging region is reduced as compared with the example of FIG. It is difficult. In addition, since it is not a configuration that obtains information of the same type of wavelength region in the entire imaging region where one image is formed, a wavelength region (narrow, for example, NBI) that is important for an endoscope is used without demosaicing. An image in band N) cannot be acquired. In addition, when demosaicing information of each color is performed, information of the same type of wavelength region cannot be used in the entire imaging region where one image is formed, and therefore high-precision demosaicing cannot be performed. As a result, even if the information of all the coordinate areas for each color of the color filter that has been demosaiced is superimposed, the accuracy of the color image in all the coordinate areas is lowered, and the resolution is lowered.

なお、第一実施形態の撮像装置における第１及び第２のフィルタ配置領域５ａ１，５ａ２に配置されるカラーフィルタの組合せは、図２に示した組合せに限定されるものではなく、例えば、図４の表に示すような組合せであってもよい。   Note that the combination of the color filters arranged in the first and second filter arrangement regions 5a1 and 5a2 in the imaging device of the first embodiment is not limited to the combination shown in FIG. The combinations shown in the table may be used.

例えば、第１のフィルタ配置領域５ａ１にＲ，Ｇ，Ｂのフィルタ、第２のフィルタ配置領域５ａ２に赤外及び／又は紫外のフィルタを配置してもよい。このようにすれば、医療分野において、患部、術部を可視光と共に特定波長で観察することができる。   For example, R, G, and B filters may be arranged in the first filter arrangement region 5a1, and infrared and / or ultraviolet filters may be arranged in the second filter arrangement region 5a2. In this way, in the medical field, it is possible to observe the affected area and the surgical site at a specific wavelength together with visible light.

また、例えば、第１のフィルタ配置領域５ａ１にＲ，Ｇ，Ｂのフィルタ、第２のフィルタ配置領域５ａ２にＬＲ（ライトレッド），ＬＧ（ライトグリーン），ＬＢ（ライトブルー）のフィルタを配置してもよい。このようにすれば、同種の色について異なる透過波長域を持つフィルタを経た情報が得られるので、ダイナミックレンジを広げることができる。   Further, for example, R, G, B filters are arranged in the first filter arrangement area 5a1, and LR (light red), LG (light green), LB (light blue) filters are arranged in the second filter arrangement area 5a2. May be. In this way, information obtained through filters having different transmission wavelength ranges for the same color can be obtained, so that the dynamic range can be expanded.

また、例えば、第１のフィルタ配置領域５ａ１にＲ，Ｇ，Ｂのフィルタ、第２のフィルタ配置領域５ａ２にＷ（白）のフィルタを配置してもよい。このようにすれば、第２のフィルタ配置領域５ａ２に配置されたＷのフィルタを経て取得された色の情報を基準として用いて、第１のフィルタ配置領域５ａ１に配置されたＲ，Ｇ，Ｂの夫々のフィルタを経て取得された色の情報のデモザイクを行う際に、夫々の色の情報が算出し易くなり、しかも、撮像領域全体で同一種類の波長域の情報を用いることができるので、高精度なデモザイクを行うことができ、解像力を確保できる。   Further, for example, R, G, B filters may be arranged in the first filter arrangement area 5a1, and W (white) filters may be arranged in the second filter arrangement area 5a2. In this way, R, G, B arranged in the first filter arrangement area 5a1 using the color information acquired through the W filter arranged in the second filter arrangement area 5a2 as a reference. When performing demosaicing of the color information acquired through the respective filters, it becomes easy to calculate the information of each color, and furthermore, information of the same type of wavelength region can be used in the entire imaging region. High-precision demosaic can be performed, and resolution can be secured.

また、第１のフィルタ配置領域５ａ１と第２のフィルタ配置領域５ａ２のうちの一方のフィルタ配置領域には、Ｒ，Ｇ，Ｂの夫々の波長域の光を透過させる３種類のカラーフィルタのうちの１種類又は２種類のカラーフィルタを配置し、他方のフィルタ配置領域には、Ｒ，Ｇ，Ｂの夫々の波長域の光を透過させる３種類のカラーフィルタのうちの一方のフィルタ領域に配置されていない残りの種類のカラーフィルタを少なくとも含むカラーフィルタを配置してもよい。   Also, one of the first filter arrangement area 5a1 and the second filter arrangement area 5a2 has three kinds of color filters that transmit light in the R, G, and B wavelength ranges. One type or two types of color filters are arranged, and the other filter arrangement region is arranged in one of the three types of color filters that transmit light in the R, G, and B wavelength ranges. A color filter including at least the remaining types of color filters that have not been performed may be arranged.

例えば、第１のフィルタ配置領域５ａ１にＧのフィルタ、第２のフィルタ配置領域５ａ２にＲ，Ｂ，Ｃｙ，Ｏｒ（オレンジ）のフィルタを配置してもよい。このようにすれば、カラーフィルタの種類が増えるので色再現性を向上させることができ、しかも、第１のフィルタ配置領域５ａ１にＧのフィルタのみを配置したことにより１つの画像が形成される撮像領域全体で同一種類の波長域の情報が得られるので、第２のフィルタ配置領域５ａ２に配置されたＲ，Ｂ，Ｃｙ，Ｏｒの夫々の波長帯域の光を透過させるカラーフィルタを経て取得された各色の情報のデモザイクを行う際に、撮像領域全体でＧの色の情報を用いることで、高精度なデモザイクを行うことができる。   For example, a G filter may be arranged in the first filter arrangement area 5a1, and an R, B, Cy, Or (orange) filter may be arranged in the second filter arrangement area 5a2. In this way, since the number of types of color filters increases, color reproducibility can be improved, and moreover, imaging in which one image is formed by arranging only the G filter in the first filter arrangement region 5a1. Since information of the same type of wavelength region can be obtained in the entire region, the information is obtained through a color filter that transmits light in each wavelength band of R, B, Cy, Or disposed in the second filter region 5a2. When performing demosaic of information of each color, it is possible to perform demosaic with high accuracy by using the information of G color in the entire imaging region.

また、例えば、第１のフィルタ配置領域５ａ１にＧのフィルタ、第２のフィルタ配置領域５ａ２にＲ，Ｂのフィルタを配置してもよい。このようにすれば、夫々のフィルタのフィルタ配置領域に配置されるフィルタの種類を減らすことができ、しかも、第１のフィルタ配置領域５ａ１にＧのフィルタのみを配置したことにより１つの画像が形成される撮像領域全体で同一種類の波長域の情報が得られるので、高精度なデモザイクを行うことができ、高解像力を確保することができる。   Further, for example, a G filter may be arranged in the first filter arrangement area 5a1, and an R and B filter may be arranged in the second filter arrangement area 5a2. In this way, the types of filters arranged in the filter arrangement area of each filter can be reduced, and one image is formed by arranging only the G filter in the first filter arrangement area 5a1. Since information of the same type of wavelength region can be obtained in the entire imaging region, high-accuracy demosaic can be performed and high resolution can be ensured.

また、例えば、第１のフィルタ配置領域５ａ１にＧ，Ｗのフィルタ、第２のフィルタ配置領域５ａ２にＲ，Ｂのフィルタを配置してもよい。このようにしても、夫々のフィルタのフィルタ配置領域に配置されるフィルタの種類を減らすことができ、また、Ｗのフィルタを経て取得された色の情報を基準として用いて、他の色の情報とのデモザイクを行うことにより、夫々の色の情報が算出し易くなるので、高精度なデモザイクを行うことができ、高解像力を確保することができる。   For example, G and W filters may be arranged in the first filter arrangement area 5a1, and R and B filters may be arranged in the second filter arrangement area 5a2. Even in this case, the types of filters arranged in the filter arrangement area of each filter can be reduced, and information on other colors can be obtained using the color information obtained through the W filter as a reference. By performing the demosaic, it is easy to calculate the information of each color, so it is possible to perform a highly accurate demosaic and secure a high resolution.

なお、第１実施形態の撮像装置における２つのフィルタ配置領域５ａ１，５ａ２に配置されるカラーフィルタの組合せは、互いに入れ替えたものであってもよい。
また、例えば、図２(a)に示したように、一方のフィルタ配置領域５ａ１に配置される複数のカラーフィルタを、Ｒ，Ｇ，Ｂの夫々の波長帯域の光を透過させるカラーフィルタで構成し、他方のフィルタ配置領域５ａ２に配置される複数のカラーフィルタを、Ｒ，Ｇ，Ｂに対して補色関係にあるＣｙ，Ｍ，Ｙの波長域の光を透過させるカラーフィルタで構成する場合に、夫々のフィルタ配置領域におけるカラーフィルタの配置を、一方のフィルタ配置領域における当該画素位置に配置されるカラーフィルタに対し、他方のフィルタ配置領域における対応する画素位置に配置されるカラーフィルタが捕色関係となるように各カラーフィルタを配置するのが好ましい。このようにすれば、対応する画素位置ごとに夫々の色の情報が算出し易くなるので、高精度なデモザイクを行うことができ、高解像力を確保することができる。 Note that the combination of the color filters arranged in the two filter arrangement regions 5a1 and 5a2 in the imaging device of the first embodiment may be replaced with each other.
Further, for example, as shown in FIG. 2A, the plurality of color filters arranged in one filter arrangement region 5a1 are configured by color filters that transmit light in the R, G, and B wavelength bands. When the plurality of color filters arranged in the other filter arrangement region 5a2 are configured by color filters that transmit light in the wavelength ranges of Cy, M, and Y that are complementary to R, G, and B. The color filter arranged in each filter arrangement area captures the color filter arranged in the corresponding pixel position in the other filter arrangement area with respect to the color filter arranged in the pixel position in one filter arrangement area. It is preferable to arrange each color filter so as to have a relationship. In this way, it becomes easy to calculate the information of each color for each corresponding pixel position, so that highly accurate demosaic can be performed and high resolution can be ensured.

第２実施形態
図５は本発明の第２実施形態にかかる撮像装置の構成を示す説明図で、(a)は撮像素子の第１及び第２のフィルタ配置領域に備えられる、カラーフィルタの配置例を模式的に示す平面図、(b)は第１及び第２のフィルタ配置領域に備えられる、カラーフィルタの透過ピーク帯域を模式的に示すグラフである。
第２実施形態の撮像装置では、第１のフィルタ配置領域５ａ１に配置された全ての種類のカラーフィルタλ1〜λ3が、透過ピーク波長を短波長側に持つカラーフィルタで構成され、第２のフィルタ配置領域５ａ２に配置された全ての種類のカラーフィルタλ4〜λ6が、透過ピーク波長を長波長側に持つカラーフィルタで構成されている。なお、ここでは、透過ピーク波長λｎは、図５(b)に示すように、λ１＜λ２＜λ３＜λ４＜λ５＜λ６となっている。
その他の構成は、第１実施形態の撮像装置と略同じである。 Second Embodiment FIG. 5 is an explanatory view showing the configuration of an image pickup apparatus according to a second embodiment of the present invention. (A) is an arrangement of color filters provided in the first and second filter arrangement areas of the image pickup device. The top view which shows an example typically, (b) is a graph which shows typically the permeation | transmission peak zone | band of a color filter with which the 1st and 2nd filter arrangement | positioning area | region is equipped.
In the imaging device according to the second embodiment, all types of color filters λ 1 to λ 3 arranged in the first filter arrangement region 5a1 are configured by color filters having transmission peak wavelengths on the short wavelength side. All types of color filters λ 4 to λ 6 arranged in the filter arrangement region 5a2 are formed of color filters having a transmission peak wavelength on the long wavelength side. Here, the transmission peak wavelength λn is λ1 <λ2 <λ3 <λ4 <λ5 <λ6, as shown in FIG. 5B.
Other configurations are substantially the same as those of the imaging apparatus of the first embodiment.

第２実施形態の撮像装置によれば、第１のフィルタ配置領域５ａ１に相対的に短波長を透過するカラーフィルタを配置し、第２のフィルタ配置領域５ａ２に相対的に長波長を透過するカラーフィルタを配置したので、１つの画像が形成される夫々の撮像領域に結像する各波長の長さの差を小さくすることができ、１つの画像が形成される夫々の撮像領域において、像面を揃え易くなり、像面を合わせるための調整を簡易化できる。
その他の作用効果は、第１実施形態の撮像装置と略同じである。 According to the imaging device of the second embodiment, a color filter that transmits a relatively short wavelength is arranged in the first filter arrangement region 5a1, and a color that transmits a relatively long wavelength in the second filter arrangement region 5a2. Since the filter is arranged, the difference in length between the wavelengths formed in the respective imaging regions where one image is formed can be reduced, and the image plane can be reduced in each imaging region where one image is formed. And the adjustment for matching the image plane can be simplified.
Other functions and effects are substantially the same as those of the imaging device of the first embodiment.

第３実施形態
図６は本発明の第３実施形態にかかる撮像装置の全体構成を模式的に示す説明図である。
第３実施形態の撮像装置は、分割素子２が、第１の面としてのハーフミラー面２ａ１’を持つハーフミラー２ａ’と、第２の面としてのミラー面２ｂ１を持つミラー２ｂを有して構成されている。
ハーフミラー２ａ’は、対物光学系１を経て入射した光束がハーフミラー面２ａ１’に入射するように配置されていて、ハーフミラー面２ａ１’で、反射光束と透過光束の２つの光束に分割する。また、ハーフミラー面２ａ１’は、反射光束が撮像素子５の第１のフィルタ配置領域に向かうように配置されている。
また、第３実施形態の撮像装置では、λ／４板３，ミラー４は、配置されていない。
その他の構成は、第１実施形態の撮像装置と略同じである。 Third Embodiment FIG. 6 is an explanatory diagram schematically showing the overall configuration of an imaging apparatus according to a third embodiment of the present invention.
In the imaging device of the third embodiment, the dividing element 2 includes a half mirror 2a ′ having a half mirror surface 2a1 ′ as a first surface and a mirror 2b having a mirror surface 2b1 as a second surface. It is configured.
The half mirror 2a ′ is arranged so that the light beam incident through the objective optical system 1 is incident on the half mirror surface 2a1 ′, and the half mirror surface 2a1 ′ splits the reflected light beam and the transmitted light beam into two light beams. . Further, the half mirror surface 2 a 1 ′ is arranged so that the reflected light beam is directed to the first filter arrangement region of the image sensor 5.
Further, in the imaging apparatus of the third embodiment, the λ / 4 plate 3 and the mirror 4 are not arranged.
Other configurations are substantially the same as those of the imaging apparatus of the first embodiment.

このように構成された第３実施形態の撮像装置では、物体からの光束は、対物光学系１を経てハーフミラー２ａ’に入射する。ハーフミラー２ａ’に入射した光は、ハーフミラー面２ａ１’で反射光束と、透過光束とに分離される。
ハーフミラー面２ａ１’で反射した光束は、撮像素子５の第１のフィルタ配置領域５ａ１に結像する。
一方、対物光学系１を経てハーフミラー２ａ’に入射したときにハーフミラー面２ａ１’を透過した光束は、ミラー２ｂのミラー面２ｂ１で反射され、撮像素子５の第２のフィルタ配置領域５ａ２に結像する。 In the imaging apparatus according to the third embodiment configured as described above, the light beam from the object enters the half mirror 2a ′ via the objective optical system 1. The light incident on the half mirror 2a ′ is separated into a reflected light beam and a transmitted light beam by the half mirror surface 2a1 ′.
The light beam reflected by the half mirror surface 2 a 1 ′ forms an image on the first filter arrangement region 5 a 1 of the image sensor 5.
On the other hand, the light beam that has passed through the half mirror surface 2a1 ′ when entering the half mirror 2a ′ via the objective optical system 1 is reflected by the mirror surface 2b1 of the mirror 2b, and enters the second filter arrangement region 5a2 of the image sensor 5. Form an image.

第３実施形態の撮像装置によれば、分割素子２の第１の面をハーフミラー面２ａ１’で構成し、ハーフミラー面２ａ１’で反射した光束が撮像素子５の第１のフィルタ配置領域５ａ１に結像するようにしたので、第１実施形態や第２実施形態の撮像装置における直線偏光成分の位相を変換するためのλ／４板３やミラー４を設ける必要がなくなり、構成を簡素化できる。
その他の作用効果は、第１実施形態の撮像装置と略同じである。 According to the imaging apparatus of the third embodiment, the first surface of the splitting element 2 is configured by the half mirror surface 2a1 ′, and the light beam reflected by the half mirror surface 2a1 ′ is the first filter arrangement region 5a1 of the imaging device 5. Therefore, it is not necessary to provide the λ / 4 plate 3 and the mirror 4 for converting the phase of the linearly polarized light component in the imaging device of the first embodiment or the second embodiment, and the configuration is simplified. it can.
Other functions and effects are substantially the same as those of the imaging device of the first embodiment.

本発明の撮像装置は、小型化と解像力を確保した多バンド画像の観察が求められる分野に有用である。   The image pickup apparatus of the present invention is useful in a field where observation of a multiband image in which downsizing and resolving power are required is required.

１ 対物光学系
２ 分割素子
２ａ 偏光ビームスプリッタ
２ａ１ 偏光ビームスプリッタ面
２ａ’ ハーフミラー
２ａ１’ ハーフミラー面
２ｂ ミラー
２ｂ１ ミラー面
３ λ／４板
４ ミラー
５ 撮像素子
５ａ カラーフィルタ配置部
５ａ１ 第１のフィルタ配置領域
５ａ２ 第２のフィルタ配置領域
５ｂ 撮像部
６ 画像処理装置
６ａ 画像処理部
７ 画像表示装置
５１，５２ 撮像素子
５１ａ，５２ａ 接続部
Ｃ１，Ｃ２，Ｃ３，Ｃ４，Ｃ５ カラーフィルタ DESCRIPTION OF SYMBOLS 1 Objective optical system 2 Split element 2a Polarization beam splitter 2a1 Polarization beam splitter surface 2a 'Half mirror 2a1' Half mirror surface 2b Mirror 2b1 Mirror surface 3 (lambda) / 4 board 4 Mirror 5 Image pick-up element 5a Color filter arrangement | positioning part 5a1 1st filter Arrangement area 5a2 Second filter arrangement area 5b Imaging section 6 Image processing apparatus 6a Image processing section 7 Image display apparatuses 51, 52 Imaging elements 51a, 52a Connection sections C1, C2, C3, C4, C5 Color filter

Claims (8)

物体からの光束を結像させるための対物光学系と、
第１の面と第２の面を有し、前記第１の面で前記対物光学系を経て入射した光束を反射光束と透過光束の２つの光束に分割するとともに、前記第２の面で前記透過光束を反射させる分割素子と、
前記分割素子で分割された反射光束の像と透過光束の像とを撮像する１つの撮像素子を有し、
前記撮像素子は、撮像面の法線が前記対物光学系の回転対象軸に対し交差する向きに配置され、且つ、複数のカラーフィルタが配置されていて前記分割素子の前記第１の面で分割された前記２つの光束のうちの前記反射光束が入射する第１のフィルタ配置領域と、前記第１のフィルタ配置領域に配置されたカラーフィルタとは透過波長特性が異なるカラーフィルタを少なくとも１種類含む複数のカラーフィルタが配置されていて前記第２の面で反射した前記透過光束が入射する第２のフィルタ配置領域を備えることを特徴とする撮像装置。 An objective optical system for imaging the light flux from the object;
A first surface and a second surface, the light beam incident on the first surface via the objective optical system is divided into two light beams, a reflected light beam and a transmitted light beam; A splitting element that reflects the transmitted light beam;
One imaging element that captures an image of the reflected light beam and an image of the transmitted light beam divided by the dividing element;
The image pickup device is arranged in a direction in which a normal line of the image pickup surface intersects a rotation target axis of the objective optical system, and a plurality of color filters are arranged and divided by the first surface of the division device. The first filter arrangement region where the reflected light beam of the two light beams is incident and the color filter arranged in the first filter arrangement region include at least one color filter having different transmission wavelength characteristics. An image pickup apparatus comprising: a second filter arrangement region in which a plurality of color filters are arranged and the transmitted light flux reflected by the second surface is incident. 前記第１のフィルタ配置領域と前記第２のフィルタ配置領域のうちの一方のフィルタ配置領域には、Ｒ，Ｇ，Ｂの夫々の波長域の光を透過させる３種類のカラーフィルタが配置され、他方のフィルタ配置領域には、前記ＲＧＢの夫々の波長域の光を透過させる３種類のカラーフィルタのいずれとも透過波長域が異なる少なくとも１種類のカラーフィルタが配置されていることを特徴とする請求項１に記載の撮像装置。   In one of the first filter arrangement region and the second filter arrangement region, three types of color filters that transmit light in the R, G, and B wavelength ranges are arranged, The other filter arrangement region is characterized in that at least one color filter having a transmission wavelength range different from any of the three types of color filters that transmit light in each of the RGB wavelength ranges is arranged. Item 2. The imaging device according to Item 1. 前記他方のフィルタ配置領域には、前記Ｒ，Ｇ，Ｂの夫々の波長域の光を透過させる３種類のカラーフィルタの透過波長域に比べて狭帯域の光を透過させる同一種類のカラーフィルタが配置されていることを特徴とする請求項２に記載の撮像装置。   In the other filter arrangement region, the same type of color filter that transmits light in a narrow band as compared with the transmission wavelength regions of the three types of color filters that transmit light in the respective wavelength regions of R, G, and B is provided. The imaging apparatus according to claim 2, wherein the imaging apparatus is arranged. 前記第１のフィルタ配置領域と前記第２のフィルタ配置領域のうちの一方のフィルタ配置領域には、透過ピーク波長を短波長側に持つカラーフィルタが配置され、他方のフィルタ配置領域には、前記一方のフィルタ配置領域に配置されたいずれのカラーフィルタよりも透過ピーク波長を長波長側に持つカラーフィルタが配置されていることを特徴とする請求項１に記載の撮像装置。   A color filter having a transmission peak wavelength on the short wavelength side is arranged in one of the first filter arrangement region and the second filter arrangement region, and in the other filter arrangement region, The image pickup apparatus according to claim 1, wherein a color filter having a transmission peak wavelength on a longer wavelength side than any of the color filters arranged in one filter arrangement region is arranged. 前記第１のフィルタ配置領域と前記第２のフィルタ配置領域のうちの一方のフィルタ配置領域には、Ｒ，Ｇ，Ｂの夫々の波長域の光を透過させる３種類のカラーフィルタのうちの１種類又は２種類のカラーフィルタが配置され、他方のフィルタ配置領域には、前記Ｒ，Ｇ，Ｂの夫々の波長域の光を透過させる３種類のカラーフィルタのうちの前記一方のフィルタ領域に配置されていない残りの種類のカラーフィルタを少なくとも含むカラーフィルタが配置されていることを特徴とする請求項１に記載の撮像装置。   One of the first filter arrangement area and the second filter arrangement area is one of three types of color filters that transmit light in the R, G, and B wavelength ranges. Two or more types of color filters are arranged, and the other filter arrangement region is arranged in the one filter region of the three types of color filters that transmit light in the R, G, and B wavelength regions. The image pickup apparatus according to claim 1, wherein a color filter including at least a remaining type of color filter is disposed. 前記分割素子の前記第１の面は、前記対物光学系を経て入射した光束の一部を前記撮像素子の前記第１のフィルタ配置領域に向けて反射させることを特徴とする請求項２〜５のいずれかに記載の撮像装置。   The first surface of the splitting element reflects a part of a light beam incident through the objective optical system toward the first filter arrangement region of the imaging element. The imaging device according to any one of the above. 前記分割素子の前記第１の面が、前記対物光学系を経て入射した光束の一部を前記撮像素子の前記第１のフィルタ配置領域から外れる方向に反射させるとともに、
更に、前記第１のフィルタ配置領域から外れる方向に反射した後の前記反射光束を、前記撮像素子の前記第１のフィルタ配置領域に入射するように、反射させる反射部材を有することを特徴とする請求項２〜５のいずれかに記載の撮像装置。 The first surface of the splitting element reflects a part of the light beam incident through the objective optical system in a direction away from the first filter arrangement region of the imaging element, and
And a reflecting member configured to reflect the reflected light flux after being reflected in a direction deviating from the first filter arrangement area so as to enter the first filter arrangement area of the imaging device. The imaging device according to claim 2. 前記撮像素子の前記一方のフィルタ配置領域に配置された前記複数のカラーフィルタを経て出力される情報を用いて、前記他方のフィルタ配置領域に配置された前記複数のカラーフィルタを経て出力される情報に対するデモザイクを行う画像処理部、を更に有することを特徴とする請求項２〜７のいずれかに記載の撮像装置。   Information output through the plurality of color filters arranged in the other filter arrangement area using information outputted through the plurality of color filters arranged in the one filter arrangement area of the image sensor The imaging apparatus according to claim 2, further comprising an image processing unit that performs demosaicing on the image.
JP2012255506A 2012-11-21 2012-11-21 Imaging device Expired - Fee Related JP6017276B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012255506A JP6017276B2 (en) 2012-11-21 2012-11-21 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012255506A JP6017276B2 (en) 2012-11-21 2012-11-21 Imaging device

Publications (2)

Publication Number Publication Date
JP2014103597A true JP2014103597A (en) 2014-06-05
JP6017276B2 JP6017276B2 (en) 2016-10-26

Family

ID=51025714

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012255506A Expired - Fee Related JP6017276B2 (en) 2012-11-21 2012-11-21 Imaging device

Country Status (1)

Country Link
JP (1) JP6017276B2 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015093295A1 (en) * 2013-12-20 2015-06-25 オリンパス株式会社 Endoscopic device
WO2016129062A1 (en) * 2015-02-10 2016-08-18 オリンパス株式会社 Image processing device, endoscope system, imaging device, image processing method, and program
WO2017203897A1 (en) * 2016-05-27 2017-11-30 オリンパス株式会社 Objective optical system and endoscope provided with same
WO2017217189A1 (en) * 2016-06-17 2017-12-21 オリンパス株式会社 Objective optical system and endoscope device provided with same
CN109729273A (en) * 2019-01-21 2019-05-07 上海体育学院 Image-pickup method, system, device, computer equipment and storage medium
WO2019146275A1 (en) * 2018-01-26 2019-08-01 ソニーセミコンダクタソリューションズ株式会社 Imaging device and electronic device
US11571111B2 (en) 2016-10-21 2023-02-07 Olympus Corporation Endoscope scope, endoscope processor, and endoscope adaptor
JP7443176B2 (en) 2020-07-15 2024-03-05 シャープ株式会社 Optical scanning device and image forming device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004329583A (en) * 2003-05-08 2004-11-25 Pentax Corp Solid-state image pickup element, electronic endoscope and electronic endoscope device
JP2005185513A (en) * 2003-12-25 2005-07-14 Pentax Corp Electronic endoscope and electronic endoscope apparatus
JP2011015439A (en) * 2003-11-11 2011-01-20 Olympus Corp Multi-spectrum image pickup device
WO2011149576A1 (en) * 2010-05-28 2011-12-01 C2Cure, Inc. Two sensor imaging systems
WO2012002115A1 (en) * 2010-06-28 2012-01-05 オリンパスメディカルシステムズ株式会社 Endoscope device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004329583A (en) * 2003-05-08 2004-11-25 Pentax Corp Solid-state image pickup element, electronic endoscope and electronic endoscope device
JP2011015439A (en) * 2003-11-11 2011-01-20 Olympus Corp Multi-spectrum image pickup device
JP2005185513A (en) * 2003-12-25 2005-07-14 Pentax Corp Electronic endoscope and electronic endoscope apparatus
WO2011149576A1 (en) * 2010-05-28 2011-12-01 C2Cure, Inc. Two sensor imaging systems
WO2012002115A1 (en) * 2010-06-28 2012-01-05 オリンパスメディカルシステムズ株式会社 Endoscope device

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10159404B2 (en) 2013-12-20 2018-12-25 Olympus Corporation Endoscope apparatus
WO2015093295A1 (en) * 2013-12-20 2015-06-25 オリンパス株式会社 Endoscopic device
US10835104B2 (en) 2015-02-10 2020-11-17 Olympus Corporation Image processing device, endoscope system, image processing method, and program
WO2016129062A1 (en) * 2015-02-10 2016-08-18 オリンパス株式会社 Image processing device, endoscope system, imaging device, image processing method, and program
CN107205618A (en) * 2015-02-10 2017-09-26 奥林巴斯株式会社 Image processing apparatus, endoscopic system, camera device, image processing method and program
JPWO2016129062A1 (en) * 2015-02-10 2017-12-07 オリンパス株式会社 Image processing apparatus, endoscope system, imaging apparatus, image processing method, and program
WO2017203897A1 (en) * 2016-05-27 2017-11-30 オリンパス株式会社 Objective optical system and endoscope provided with same
US10893793B2 (en) 2016-05-27 2021-01-19 Olympus Corporation Objective optical system and endoscope device including the same
JP6257874B1 (en) * 2016-05-27 2018-01-10 オリンパス株式会社 Objective optical system and endoscope apparatus including the same
CN109068956B (en) * 2016-05-27 2021-01-12 奥林巴斯株式会社 Objective optical system and endoscope device provided with objective optical system
CN109068956A (en) * 2016-05-27 2018-12-21 奥林巴斯株式会社 Objective lens optical system and the endoscope apparatus for having objective lens optical system
CN109328026A (en) * 2016-06-17 2019-02-12 奥林巴斯株式会社 Objective lens optical system and the endoscope apparatus for having objective lens optical system
US10852526B2 (en) 2016-06-17 2020-12-01 Olympus Corporation Objective optical system and endoscope apparatus using the same
JP6317050B1 (en) * 2016-06-17 2018-04-25 オリンパス株式会社 Objective optical system and endoscope apparatus including the same
WO2017217189A1 (en) * 2016-06-17 2017-12-21 オリンパス株式会社 Objective optical system and endoscope device provided with same
CN109328026B (en) * 2016-06-17 2021-03-19 奥林巴斯株式会社 Objective optical system and endoscope device provided with objective optical system
US11571111B2 (en) 2016-10-21 2023-02-07 Olympus Corporation Endoscope scope, endoscope processor, and endoscope adaptor
WO2019146275A1 (en) * 2018-01-26 2019-08-01 ソニーセミコンダクタソリューションズ株式会社 Imaging device and electronic device
CN111630452A (en) * 2018-01-26 2020-09-04 索尼半导体解决方案公司 Imaging device and electronic apparatus
CN111630452B (en) * 2018-01-26 2022-01-14 索尼半导体解决方案公司 Imaging device and electronic apparatus
CN109729273A (en) * 2019-01-21 2019-05-07 上海体育学院 Image-pickup method, system, device, computer equipment and storage medium
JP7443176B2 (en) 2020-07-15 2024-03-05 シャープ株式会社 Optical scanning device and image forming device
US11933964B2 (en) 2020-07-15 2024-03-19 Sharp Kabushiki Kaisha Optical scanning apparatus and image forming apparatus

Also Published As

Publication number Publication date
JP6017276B2 (en) 2016-10-26

Similar Documents

Publication Publication Date Title
JP6017276B2 (en) Imaging device
US9494768B2 (en) Image capturing module and image capturing apparatus
US20100245826A1 (en) One chip image sensor for measuring vitality of subject
JPWO2017061432A1 (en) Imaging apparatus, imaging program, and imaging method
JP5959513B2 (en) Spectral imaging device
WO2015025676A1 (en) Image pickup apparatus
JP2018160800A (en) Imaging apparatus and imaging method
JP2021510313A (en) Time-correlated light source modulation for endoscopy
US10602919B2 (en) Imaging device
EP3021577A1 (en) Imaging device
WO2017217189A1 (en) Objective optical system and endoscope device provided with same
US20110317018A1 (en) Image sensor and method using near infrared signal
JP2009088844A (en) Color separation stereo camera
JP2009153074A (en) Image photographing apparatus
JP6692749B2 (en) Multispectral camera
US8363134B2 (en) Color imaging device, imaging apparatus using the same, and filter
JP4533261B2 (en) Imaging device
JP4344257B2 (en) Imaging apparatus and color separation optical system
JP2007298279A (en) Color measuring device
JP6019611B2 (en) Imaging device
WO2013111824A1 (en) Image processing device, image pickup device and image processing method
KR101242929B1 (en) Muti-spectral camera system
JP7150514B2 (en) Imaging device and imaging method
JPH10243409A (en) Two-board type image pickup device
US11353316B1 (en) Interferometry with pixelated color discriminating elements combined with pixelated polarization masks

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150904

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160609

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160906

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160928

R151 Written notification of patent or utility model registration

Ref document number: 6017276

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees