JP2011176710A - Imaging apparatus - Google Patents
Imaging apparatus Download PDFInfo
- Publication number
- JP2011176710A JP2011176710A JP2010040328A JP2010040328A JP2011176710A JP 2011176710 A JP2011176710 A JP 2011176710A JP 2010040328 A JP2010040328 A JP 2010040328A JP 2010040328 A JP2010040328 A JP 2010040328A JP 2011176710 A JP2011176710 A JP 2011176710A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- image
- pixels
- color
- transparent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、カラー画像を撮像する撮像素子を複数用いた撮像装置に関する。 The present invention relates to an imaging apparatus using a plurality of imaging elements that capture color images.
現在一般的に用いられている撮像装置は、赤(R)、緑(G)、青(B)のカラーフィルタを有した撮像素子が使われている。このカラーフィルタにより、入射した光を赤、緑、青の成分に分離することでカラー化している。図9に示すように撮像素子の各画素毎に色の異なるカラーフィルタが並べられており、2つの緑(G)フィルタと、1つの赤(R)フィルタと、1つの青(B)フィルタを一組(太線で囲った領域)として、撮像素子の受光面全面を覆っている。このような構成のいわゆるベイヤー配列方式の撮像素子は、入射した光が吸収型のカラーフィルタにより吸収されて大きく光量が低下してしまうのに加え、最近の高精細化に伴い画素サイズが小さくなり得られる光量が低下しているため、光の取り込み量が少なくなり、感度が低下してしまうという問題がある。 An imaging device that is currently used generally uses an imaging device having red (R), green (G), and blue (B) color filters. By this color filter, the incident light is separated into red, green and blue components for colorization. As shown in FIG. 9, different color filters are arranged for each pixel of the image sensor, and two green (G) filters, one red (R) filter, and one blue (B) filter are arranged. The entire light receiving surface of the image sensor is covered as a set (area surrounded by a thick line). In the so-called Bayer array type imaging device having such a configuration, incident light is absorbed by the absorption type color filter and the amount of light is greatly reduced. In addition, the pixel size is reduced with recent high definition. Since the amount of light obtained is reduced, there is a problem that the amount of light taken in is reduced and the sensitivity is lowered.
一方、カラーフィルタに、より透過率の高い補色カラーフィルタであるシアン、マゼンタ、イエローを用いた撮像素子も使われている。この補色カラーフィルタは、画素間の差信号により色信号が生成されるため、本来想定している光の三原色と異なる色となってしまうという問題がある。例えば青の色情報を得るには、緑と青情報を持つシアンと赤と青の情報を持つマゼンタの信号を加え、赤と緑の情報を持つイエローの信号を差し引くことで求めることができる。原理上ではこのように青の情報を求めることができるが、実際には他の波長域の情報も載ってしまい、それが誤った情報となり、結果的にノイズとなってしまう。 On the other hand, image sensors using cyan, magenta, and yellow, which are complementary color filters with higher transmittance, are also used as color filters. Since this complementary color filter generates a color signal based on a difference signal between pixels, there is a problem that the color becomes different from the originally assumed three primary colors of light. For example, blue color information can be obtained by adding cyan signals having green and blue information and magenta signals having red and blue information, and subtracting yellow signals having red and green information. In principle, blue information can be obtained in this way, but in reality, information on other wavelength ranges is also included, which becomes incorrect information, resulting in noise.
補色フィルタによる高感度化におけるこのような問題を解決するために、透明フィルタを有した撮像素子が提案されている(例えば、特許文献1参照)。これは、図10に示すように、赤(R)フィルタと青(B)フィルタを水平方向、垂直方向それぞれに3画素おきにオフセット構造に配置し、その間に透明フィルタ(Y)を配置することにより、感度の向上を図ることができる。 In order to solve such a problem in increasing sensitivity by using a complementary color filter, an image sensor having a transparent filter has been proposed (for example, see Patent Document 1). As shown in FIG. 10, a red (R) filter and a blue (B) filter are arranged in an offset structure every three pixels in the horizontal and vertical directions, and a transparent filter (Y) is arranged therebetween. As a result, the sensitivity can be improved.
また、被写体を撮影するだけでなく撮像装置を応用する例として、被写体などの対象物体までの距離(奥行)を求めるものがある。これは左右2台のカメラ(撮像装置)を用い、その左右の画像の位置ずれ量を求め、三角測量の原理により三次元位置を算出する技術が多く提案されている(例えば、特許文献2参照)。 Further, as an example of applying an imaging apparatus in addition to photographing a subject, there is a method for obtaining a distance (depth) to a target object such as a subject. Many techniques have been proposed in which two right and left cameras (imaging devices) are used, the amount of positional deviation between the left and right images is obtained, and the three-dimensional position is calculated based on the principle of triangulation (see, for example, Patent Document 2). ).
しかしながら、特許文献1の方法では、透明画素を用いるため感度が向上するものの、透明画素と比較して色を取得する画素が非常に少なく、色の解像度としては大きく低下してしまっており、実質の解像度は低下してしまうという問題がある。また、透明フィルタと赤フィルタと青フィルタを用いており、緑信号を得るには透明フィルタと赤フィルタと青フィルタから算出するしかなく、結果的に緑信号は補色から得ており、ノイズが多くなるという問題は残ったままである。また、透明フィルタの代わりに緑フィルタを用いた例も提示されているが、この場合緑画素が非常に多く配置されており、人の目の感度(視感度)に対応した明るさは向上するものの、実際の光に対する感度としてはあくまでも可視光域の約1/3である緑波長域しか使えていないため、カラー画像として感度が向上しているとは言い難い。
However, in the method of
一方、特許文献2の方法では、左右2台の撮像装置でそれぞれの画像の位置ずれ量を算出するため、左右の画像の同じ画素値(映像の信号値)を比較するには2台の撮像装置はほぼ同じ特性を示す撮像装置である必要がある。すなわち、2台の撮像装置のそれぞれの撮像素子同士は同じフィルタの組み合わせである必要があり、1台が赤画素、緑画素、青画素を有する撮像素子であれば、もう一方も同じ組み合わせである必要がある。この構成で感度を向上させる場合には、例えば特許文献1の撮像素子を左右それぞれの撮像装置に適用すればよいが、それと引き換えに特許文献1の課題である解像度の低下を招いてしまう。感度向上とは別に、正確な色情報を得るためには、赤画素、緑画素、青画素に加え他の色画素を用いる必要があるが、これも同じく解像度の低下を招いてしまうという問題がある。
On the other hand, in the method of Patent Document 2, since the amount of positional deviation of each image is calculated by the two right and left imaging devices, two imaging devices are used to compare the same pixel value (video signal value) of the left and right images. The device needs to be an imaging device that exhibits substantially the same characteristics. That is, the image sensors of the two image pickup devices need to have the same filter combination. If one image sensor has a red pixel, a green pixel, and a blue pixel, the other also has the same combination. There is a need. In the case of improving the sensitivity with this configuration, for example, the imaging device of
本発明は、このような事情に鑑みてなされたもので、複数台の撮像装置を使用して、カラーの合成画像と距離情報を得ることができる撮像装置において、解像度の低下を招くことなく感度を向上し、さらには多くの色情報の取得が可能な撮像装置を提供することを目的とする。 The present invention has been made in view of such circumstances, and in an imaging apparatus capable of obtaining a color composite image and distance information using a plurality of imaging apparatuses, sensitivity is not reduced. It is another object of the present invention to provide an image pickup apparatus that can improve the image quality and can acquire a large amount of color information.
本発明は、カラー画像を取得するとともに、被写体までの距離情報を取得するために、入射した光を光電変換して画像信号を出力する2系統の撮像素子と、前記2系統の画像信号に基づき被写体までの距離情報を求める距離情報取得部と、前記2系統の画像信号を合成して前記カラー画像を得る合成部とを備える撮像装置であって、前記撮像素子のうち第1の撮像素子は透明画素と光の3原色のうち第1の原色画素と第2の原色画素とを一組とした画素構成を有し、第2の撮像素子は透明画素と光の3原色のうち、第3の原色画素と、前記第1または第2のいずれかの原色画素とを一組とした画素構成を有していることを特徴とする。 The present invention is based on two image sensors that photoelectrically convert incident light and output an image signal to acquire a color image and distance information to a subject, and the two image signals. An imaging apparatus comprising: a distance information acquisition unit that obtains distance information to a subject; and a synthesis unit that obtains the color image by synthesizing the two systems of image signals, and the first imaging element of the imaging elements includes: Among the three primary colors of the transparent pixel and light, the first primary color pixel and the second primary color pixel have a set of pixel configurations, and the second imaging element is the third of the three primary colors of the transparent pixel and light. The primary color pixel and one of the first or second primary color pixels have a pixel configuration as a set.
本発明は、前記第1及び第2の撮像素子の一組の画素構成は、透明画素が2つずつであることを特徴とする。 The present invention is characterized in that the pair of pixel configurations of the first and second imaging elements has two transparent pixels.
本発明は、前記距離情報取得部は、前記2系統の画像信号のうち、少なくとも透明画素の信号同士のマッチングをとって、前記2系統の間の視差量を算出し、該視差量に基づき、被写体までの距離情報を求めることを特徴とする。 In the present invention, the distance information acquisition unit calculates a parallax amount between the two systems by matching at least transparent pixel signals among the two systems of image signals, and based on the parallax amount, It is characterized by obtaining distance information to a subject.
本発明は、前記合成部は、低照度の画素については、前記2系統の画像信号のうち、いずれか1系統の透明画素の信号に置き換えることを特徴とする。 The present invention is characterized in that the synthesizer replaces a low illuminance pixel with a transparent pixel signal of any one of the two systems of image signals.
本発明は、前記第1または第2の撮像素子の透明画素の信号と、該撮像素子の2つの原色画素の信号とに基づき、3原色のうちの、残りの1つの原色画素の信号を生成する原色信号生成部を備えることを特徴とする。 The present invention generates a signal of the remaining one primary color pixel of the three primary colors based on the signal of the transparent pixel of the first or second image sensor and the signal of the two primary color pixels of the image sensor. And a primary color signal generation unit.
本発明によれば、複数台の撮像装置を使用して、カラーの合成画像と距離情報を得ることができる撮像装置において、解像度の低下を招くことなく感度を向上し、さらには多くの色情報の取得が可能になるという効果が得られる。 According to the present invention, in an imaging device that can obtain a color composite image and distance information using a plurality of imaging devices, the sensitivity is improved without causing a decrease in resolution, and more color information is obtained. Can be obtained.
以下、図面を参照して、本発明の一実施形態による撮像装置を説明する。図1は同実施形態の構成を示すブロック図である。この図において、符号11、12は、撮像素子であり、入射した光を電気信号に変換して出力する。符号21、22は、撮像素子11、12の光入射面に設けられたカラーフィルタである。符号31、32は、撮像素子11、12の光入射面に像を結像させるレンズであり、それぞれ複数枚のレンズから構成されていてもよい。符号4は、2つの撮像素子11、12から出力する信号を入力して、画素毎の相関を求めて、視差を検出して、その視差を示す視差信号Pと、その視差に応じた距離情報Dとを出力する相関検出部(距離情報取得部)である。符号5は、相関検出部4から入力された視差信号Pに基づいて、視差の補正を行う視差補正部である。本実施形態では、視差補正部5は、撮像素子11に基づく赤画素の信号と青画素の信号とについて、視差を補正し、撮像素子12の視点からの信号B’rr、Rrrに変換する。符号6は、視差補正部5から出力する信号と、撮像素子12から出力する信号に基づいて、画像合成を行って赤画素の電気信号Rcと、緑画素の電気信号Gcと、青画素の電気信号Bcとからなる合成画像の信号を出力する合成部である。
Hereinafter, an imaging apparatus according to an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing the configuration of the embodiment. In this figure,
被写体からの光は、レンズ31、32によって撮像素子11、12の入射面に結像する。撮像素子11、12は、結像した光を光電変換し、電気信号を出力する。カラーフィルタ21は、透明(W)と赤色(R)と緑色(G)のフィルタを備え、撮像素子11は、透明画素の電気信号Wrと赤画素の電気信号Rrと緑画素の電気信号Grとを出力する。カラーフィルタ22は、透明(W)と青色(B)と緑色(G)のフィルタを備え、撮像素子12は、透明画素の電気信号Wlと青画素の電気信号Blと緑画素の電気信号Glとを出力する。符号7は、撮像素子11が出力した電気信号に基づき、青画素の電気信号B’rを生成する。符号8は、撮像素子12が出力した電気信号に基づき、赤画素の電気信号R’lを生成する。符号9は、合成部6が出力する合成画像の信号と、青色信号生成部7が出力する青色画素の信号と、青色信号生成部8が出力する青色画素の信号とを、CIE(国際照明委員会)標準表色系であるXYZ表色系に変換する色空間変換部である。
Light from the subject is imaged on the incident surfaces of the
次に、図2を参照して、図1に示す撮像素子11、12に設けられているカラーフィルタ21、22のフィルタの配置位置について説明する。図2は、レンズ31、32側から見た撮像素子11、12それぞれの一部分を示す図である。撮像素子11は、例えば左右2台ある撮像装置の右側撮像装置に用いる撮像素子であり、2つの透明フィルタの画素(W)(以下、透明画素(W)と称する)と、1つの赤フィルタの画素(R)(以下、赤画素(R)と称する)と、1つの緑フィルタ画素(G)(以下、緑画素(G)と称する)とを一組(太い線の領域)として構成されている。一方、撮像素子12は、例えば左側撮像装置に用いる撮像素子であり、2つの透明画素(W)と、1つの緑画素(G)と、1つの青フィルタの画素(B)(以下、青画素(B)と称する)とを一組(太い線の領域)として構成されている。
Next, with reference to FIG. 2, the arrangement positions of the filters of the
ここで、右用の撮像素子11の右用のカラーフィルタ21の透過特性について説明する。図3は、図1に示すカラーフィルタ21の光透過特性を示す図である。図3において、横軸は、光の波長を示し、縦軸は、フィルタの透過率を示している。右用のカラーフィルタ21は透明画素(W)と赤画素(R)と緑画素(G)とにより構成されているため、それぞれの透過率は図3に示したようになる。ここでは、簡単な例として透明画素の透過率を100%とし、赤画素と緑画素のいずれも最大の透過率で100%を示すようにしている。透明画素(W)の透過率はどの波長域においても吸収されることなく全波長域に渡り100%の透過を示すため透明であり、赤画素(R)は400nmから600nm程の波長域で吸収されるため赤の波長域での透過しかないため赤となる。緑画素(G)も短波長の青波長域と長波長の赤波長域の吸収のため緑となる。
Here, the transmission characteristics of the
図4は、図1に示すカラーフィルタ22の光透過特性を示す図である。同様に、図4において、横軸は、光の波長を示し、縦軸は、フィルタの透過率を示している。左用のカラーフィルタ22は透明画素(W)と緑画素(G)青画素(B)とにより構成されているため、それぞれの透過率は図4に示したようになる。これも同様に青画素の最大の透過率で100%を示すようにしている。
FIG. 4 is a diagram showing the light transmission characteristics of the
ここで、右用のカラーフィルタ21は全波長域にわたる情報を取得する透明画素(W)と光の三原色のうちの赤画素(R)と緑画素(G)とがあるため、これらの信号を用いて、右用撮像素子11では存在しない青画素(B)を擬似的ではあるが取得することが可能である。例えば、青色信号生成部7は、撮像素子11が出力する透明画素の信号Wrから、それぞれに予め設定された係数を乗じた赤画素の信号Rrと緑画素の信号Grとを差し引くことで擬似的な青画素の信号B’rを得る。このとき、赤画素の信号Rrおよび緑画素の信号Grに乗じる係数として、例えば、図3で示した透明画素の透過率の全波長域の積分値に対する赤画素および緑画素の透過率の全波長域の積分値を用いる。同様に、左用カラーフィルタ22は全波長域にわたる情報を取得する透明画素(W)と光の三原色のうちの緑画素(G)と青画素(B)とがあるため、赤色信号生成部8は、左用撮像素子12では存在しない赤画素(R)を擬似的ではあるが取得可能である。青色信号生成部7と同様に、赤色信号生成部8は、撮像素子12が出力する透明画素の信号Wlから、それぞれに予め設定された係数を乗じた緑画素の信号Glと青画素の信号Blとを差し引くことで擬似的な赤画素の信号R’lを得る。
Here, the
例えば、このようにして左用カラーフィルタ22から算出した擬似的な赤画素(R’)と右用カラーフィルタ21の赤画素(R)の特性を比較した結果を図5に示す。長波長を透過し三原色のうち赤を示す透過特性を示すものの多少透過特性が異なり、Rと比較しR’ではより幅広い波長域を透過していることが分かる。一般的に、このように他の色情報から擬似的に算出した色は、波長域が広がる傾向にあり、これが前述したノイズの一因となる。詳細は後述するとして、この擬似的に求めた色(ここでは例えば赤)と本来の色とが関係付けられれば、擬似的に求めた色を本来の色に置き換えることも可能であるし、また擬似的な色と本来の色との差分を取ることで、新たな透過特性のカラーフィルタを有する画素情報としても利用でき、この場合正確な色情報の取得に大きく貢献する。
For example, FIG. 5 shows a result of comparing the characteristics of the pseudo red pixel (R ′) calculated from the
次に、右用撮像素子11と左用撮像素子12を用いて、相関検出部4がステレオマッチング法により対象物体までの距離(奥行)を算出する方法を説明する。右用撮像素子11と左用撮像素子12は、同一の被写体を撮影しているが、左右にある程度の距離(基線長)をもって配置されているため、視差が生じ左右では少しずつ異なる画像が取得できる。例えば、図6に示すように最も奥にある木601と、その手前にある家602と、最も手前にある木603とを、左右の撮像装置で取得した場合、右用撮像装置で撮像して得られた画像において、木601と家602との横方向のずれ量がi、木603と家602との横方向のずれ量がjとなる。一方、左用撮像装置で撮像して得られる画像においては、木601’と家602’との横方向のずれ量がi’、木603’と家602’との横方向のずれ量がj’となる。このとき、i’はiより大きくなっており、j’はjより大きくなっている。また、その変化量はi’/iより、j’/jのほうが大きくなっている。これは、手前に位置するものと、奥に位置するものとでは、視差による見かけの移動量が異なり、手間にあるものほど大きく動いて見えることによる。すなわち、左用撮像装置の画像(左画像という)と右用撮像装置の画像(右画像という)とにおいてこの変化量(視差量という)を見ることで、対象物体までの距離(奥行)を推定することが可能となる。奥行の絶対値としては、この視差量から公知の三角測量法の原理を用い距離情報を計算すればよい。
Next, a method in which the correlation detection unit 4 calculates the distance (depth) to the target object by the stereo matching method using the
なお、ここでは、ずれ量を算出する基準として、家602、602’を用いているが、家602、602’などのような画像中の被写体ではなく、各々の画像の中心、左端、右端など、画像中の所定の点または垂線を基準にしてもよい。
また、視差量として、上述の基準からの距離の左画像と右画像との差を用いてもよい。
相関検出部4は、このようにして算出した視差量を示す視差信号Pと、距離情報Dとを出力する。なお、本実施形態では、視差量として、撮像素子12の視点から見た画像中の画素各々について、その画素に対応する撮像素子11の視点から見た画像中の画素までのずれを用いる。例えば、左画像中で、ある画素についての視差量は、左に10画素である。例えば、左を負、右を正とするなど、この左右を正負を用いて表し、上述の視差量の例を−10画素としてもよい。これは、この視差量を、後述する視差補正部5において、撮像素子11が出力した信号に基づく画像を、撮像素子12の視点から見た画像に補正するのに用いるためである。
Here, the
Further, as the amount of parallax, a difference between the left image and the right image at a distance from the above-described reference may be used.
The correlation detection unit 4 outputs a parallax signal P indicating the parallax amount calculated in this way and distance information D. In the present embodiment, as the amount of parallax, for each pixel in the image viewed from the viewpoint of the
視差量を求めることで奥行情報が求められることは前述した通りであるが、この視差量を求めるには、左右の撮像装置で得られた画像を比較して同じ画像の位置(画素位置)を特定する必要がある。例えば、左画像のある画素が捉えた被写体は、右画像のどの画素で同じ被写体を捉えているかを特定する必要がある。このように2つの画像の対応付けをすることを一般的にステレオマッチングという。ステレオマッチングには、様々な手法が提案されている。本実施形態では、相関検出部4は、縦と横が3画素ずつの計9画素のブロックを用い、左画像のブロックが、右画像のどの位置に相当するかを比較しながらマッチングを行う。すなわち、相互検出部4は、左画像の画素Aが捉えた被写体は、右画像のどの画素で同じ被写体を捉えているかを特定するときには、左画像の画素Aを中心とするブロックと、右画像の画素各々を中心とするブロック各々との正規相互相関を算出し、正規相互相関が最も大きな値となるブロックの中心の画素が、画素Aと同じ被写体を捕らえていると判定する。なお、正規相互相関を算出する対象のブロックを画素Aの位置に応じた範囲の画素を中心とするブロックに限定してもよい。、画素でのマッチングでは同じ画素値を持った画素が多く存在するため、このようにいくつかの画素をセットにしてマッチングを行い、すべての画素が良い一致を示した画素位置を用いる。 As described above, the depth information is obtained by obtaining the amount of parallax. However, in order to obtain the amount of parallax, the images obtained by the left and right imaging devices are compared and the position (pixel position) of the same image is obtained. Need to be identified. For example, for a subject captured by a pixel in the left image, it is necessary to specify which pixel in the right image captures the same subject. Such association of two images is generally called stereo matching. Various methods have been proposed for stereo matching. In the present embodiment, the correlation detection unit 4 uses a block of 9 pixels in total of 3 pixels in the vertical and horizontal directions, and performs matching while comparing which position in the right image the block of the left image corresponds to. That is, when the subject detected by the pixel A of the left image identifies which pixel of the right image the same subject is captured by the mutual detection unit 4, a block centered on the pixel A of the left image and the right image The normal cross-correlation with each block centered on each of the pixels is calculated, and it is determined that the pixel at the center of the block where the normal cross-correlation has the largest value captures the same subject as the pixel A. Note that the block for which normal cross-correlation is calculated may be limited to a block centered on a pixel in a range corresponding to the position of the pixel A. Since there are many pixels having the same pixel value in pixel matching, matching is performed by setting several pixels in this way, and pixel positions at which all the pixels show a good match are used.
また、セットを構成する画素ごとにセット中での位置に応じた重み付けをして、セットの中でも特定の画素のマッチングを重視することを行うようにしてもよい。また、画素値そのものではなく、これら画素値から輝度値を算出し、その値でマッチングしても良い。このマッチングの手法は従来提案されている種々の方法を用いることができる。以上のような左右画像でのマッチングでは、左右で同じ画素値(画像の信号値)を探索するので、被写体の同じ位置を捉えた左右の画像は同じ画素値を持つことが望ましい。そのためには、マッチングする画素のカラーフィルタ特性も同一であることが望ましい。そこで、本実施形態における相関検出部4は、右用撮像素子11と左用撮像素子12のそれぞれの緑画素(G)同士、及び透明画素(W)同士をマッチングする。これにより、左右の撮像素子で異なる赤画素(R)と青画素(B)とのマッチングを行わなくとも4画素のうち3画素を用いたステレオマッチングが可能なため、左右画像から視差量の推定が可能となり、異なるカラーフィルタ特性を有する右用撮像素子11と左用撮像素子12とで視差マップの算出が可能となる。透明画素(W)で得た画像はすべての波長域の光を利用した画像であり、また緑画素(G)などのカラーフィルタを通した画素と比較して2倍の透明画素(W)で得た画像であるため、カラーフィルタを通した画素で得た画像と比較し、暗い低照度の被写体までをも捉えることができる。そのため、このように、マッチングに透明画素(W)を用いることで、低輝度部のマッチングを精度良く行うことが可能となる。
Moreover, weighting according to the position in the set may be performed for each pixel constituting the set, and importance may be placed on matching of specific pixels in the set. Further, instead of the pixel value itself, a luminance value may be calculated from these pixel values, and matching may be performed using the value. For this matching method, various conventionally proposed methods can be used. In the matching between the left and right images as described above, the same pixel value (image signal value) is searched for on the left and right. Therefore, it is desirable that the left and right images that capture the same position of the subject have the same pixel value. For this purpose, it is desirable that the color filter characteristics of the matching pixels are also the same. Therefore, the correlation detection unit 4 in the present embodiment matches the green pixels (G) and the transparent pixels (W) of the
さらに、相関検出部4は、例えば、左画像において、その画素を中心とするブロックの緑画素(G)の平均値が、予め設定された閾値よりも小さいなど、低照度の画素については、透明画素(W)同士のみのマッチングとしてもよい。カラーフィルタを通した画素で得た画像では、低照度の画素において、画素値に対して、ノイズの影響が大きくなる。そのため、このように、低照度の画素において、透明画素(W)同士のみをマッチングすることで、低輝度部のマッチングを精度良く行うことが可能となる。なお、低照度であるか否かの判定は、上述の判定方法に限らず、その他の判定方法であってもよい。例えば、その画素の緑画素(G)の画素値が閾値よりも小さいか否かで判定してもよいし、その画素の透明画素(W)の画素値が閾値より小さいか否かで判定してもよい。
また、低照度の画素であれば、透明画素(W)同士のみのマッチングとし、低照度の画素でなければ、緑画素(G)同士のみのマッチングとするようにしてもよい。
Furthermore, for example, the correlation detection unit 4 is transparent for pixels with low illuminance such as an average value of green pixels (G) of a block centered on the pixel in the left image, which is smaller than a preset threshold value. Only the pixels (W) may be matched. In an image obtained with pixels that have passed through a color filter, the influence of noise increases on the pixel value in pixels with low illuminance. Therefore, in this way, by matching only the transparent pixels (W) in the low illuminance pixels, it is possible to perform matching of the low luminance part with high accuracy. Note that the determination of whether or not the illumination is low is not limited to the above-described determination method, and may be another determination method. For example, the determination may be made based on whether the pixel value of the green pixel (G) of the pixel is smaller than the threshold value, or by determining whether the pixel value of the transparent pixel (W) of the pixel is smaller than the threshold value. May be.
Further, if the pixel has a low illuminance, only the transparent pixels (W) may be matched, and if not a low illuminance pixel, only the green pixels (G) may be matched.
この時、右用撮像素子11の赤画素(R)と左用撮像素子12の青画素(B)とは、他の画素のマッチング結果によりほぼ正確な視差量が推定できる。例えば、周囲の透明画素(W)や緑画素(G)の視差量が横に5画素分であったならば、赤画素(R)と青画素(B)との視差量も横に5画素分であると予測できる。すなわち、図5で示したように、右用撮像素子11の右用カラーフィルタ21の赤画素(R)と左用撮像素子12の左用カラーフィルタ22から算出した擬似的な赤画素(R’)との視差量が、推定できることとなり、同じ被写体を異なるカラーフィルタである赤画素(R)と擬似的な赤画素(R’)とで見ていることになる。同様に、右用撮像素子11の右用カラーフィルタ21の擬似的な青画素(B’)と左用撮像素子12の左用カラーフィルタ22から算出した青画素(B)との視差量についても推定することができる。これらから、カラーフィルタ特性の同じ緑画素(G)に加え、青画素(B)、擬似的な青画素(B’)、赤画素(R)、擬似的な赤画素(R’)という5つのフィルタ特性をもつ画像の取得が可能となる。これにより、例えば擬似的に算出した色の代わりに本来の色を用いノイズの低減したR、G、Bを用いることも可能であるし、R’とRの差分によって得られるR’’、またB’とBの差分によって得られるB’’、という新たな波長域の情報により、3原色より多い色であるマルチバンドにより、多くの色情報を得ることとなり、より正確な色情報の取得が可能となる。これにより、感度を上げるために採用した透明画素による色情報の欠落を十分にカバーすることが可能となる。
At this time, the red pixel (R) of the
本実施形態では、視差補正部5は、撮像素子11からの赤画素(R)の信号Rrと、青色信号生成部7からの擬似青画素(B’)の信号B’rとを、相関検出部4からの視差信号Pに従い、撮像素子12の視点からの画像の赤画素(R)の信号Rrr、擬似青画素(B’)の信号B’rrに変換し、出力する。
In the present embodiment, the parallax correction unit 5 detects the correlation between the signal Rr of the red pixel (R) from the
合成部6は、撮像素子12からの緑画素(G)の信号Gl、青画素(B)の信号Blと、視差補正部5からの赤画素(R)の信号Rrrとを、赤、緑、青の3原色からなるカラー画像の信号Rc、Gc、Bcとして出力する。ただし、合成部6は、低照度の画素については、上述の信号Gl、Bl、Rrrを、撮像素子12からの透明画素(W)の信号Wlに置き換えて、信号Rc、Gc、Bcとして出力する。透明画素(W)で得た画像はすべての波長域の光を利用した画像であり、また緑画素(G)などのカラーフィルタを通した画素と比較して2倍の透明画素(W)で得た画像であるため、このように低照度の領域を透明画素(W)で得た画像に置き換えることで、赤や緑や青の画素ではノイズに紛れて捉えられなかった、すなわち画素値で比較的0に近い値の被写体も捉えることができる。また、人間の目は、照度が低いと、色を認識することができないため、このように、低照度の領域を透明画素(W)で得た画像としても、その画像を見ることで、人間が得ることができる情報量は減らない。なお、低照度の画素であるか否かの判定方法は、相関検出部4で説明した方法を用いることができるが、相関検出部4と同じ方法でなくてよい。
The combining unit 6 converts the signal Gl of the green pixel (G) and the signal Bl of the blue pixel (B) from the
色空間変換部9は、合成部6からのカラー画像の信号Rc、Gc、Bcと、視差補正部5からの擬似青画素(B’)の信号B’rrと、赤色信号生成部8からの擬似赤画素(R’)の信号R’lとを、XYZ表色系に変換する。この変換は、(1)式に示すように、これらの信号Rc、Gc、Bc、R’l、B’rrからなるベクトルを、予め設定された行列に乗算することで行う。これにより、前述のように、赤画素(R)、緑画素(G)、青画素(B)の情報に加えて、擬似赤画素(R’)、擬似青画素(B’)の情報を用いるので、3原色より多くの色情報を用いており、より正確な色情報を取得できる。また、ウィナー推定に代表される低次元から高次元の情報を推定する手法を用いてもよい。
The color
なお、緑画素は右用カラーフィルタ21と左用カラーフィルタ22で同一のものを用いており、右用撮像素子11と左用撮像素子12とでは、透明画素の2つ同士と緑画素の1つ同士とが同一の透過特性を有しており、4画素を単位とする残りの1つの画素が異なる透過特性を示しているが、この構成に限るものではない。例えば、図7に示すように、右用撮像素子71と左用撮像素子72とでは、透明画素(W)の2つ同士が同一の透過特性を有しており、右用撮像素子71の赤画素(R)と左用撮像素子72の青画素(B)とは異なる色の為当然ながら全く異なる透過特性を有しており、右用撮像素子71の緑画素(G1)と左用撮像素子72の緑画素(G2)とは同じ緑色ではあるものの異なる透過特性を有している。
The
この緑画素の透過特性を図8に示す。ほぼ同じ波長域の緑であるが、緑画素(G1)と緑画素(G2)とでは若干透過特性が異なる。この場合、右用撮像素子71と左用撮像素子72とで透過特性の同じ画素同士でステレオマッチングを行い、左右の撮像装置の対応を取る。これにより、緑画素(G1)と緑画素(G2)との対応が取れ、また赤画素(R)と青画素(B)とは前述したのと同様に対応が取れる。赤画素(R)と青画素(B)とは前述の通り、擬似的に算出した擬似赤画素(R’)と赤画素(R)と、あるいは、擬似青画素(B’)と青画素(B)とでその差分を取るなどして色情報を多くすることが可能であったが、同様に緑画素(G1)と緑画素(G2)とで色情報を多くすることが可能である。
The transmission characteristics of this green pixel are shown in FIG. Although it is green in substantially the same wavelength region, the green pixel (G1) and the green pixel (G2) have slightly different transmission characteristics. In this case, the
また、上記の例では透明画素を2つ用いているが、透明画素を1つ用い、右用撮像素子と左用撮像素子とで同じ透過特性を有する緑画素、異なる透過特性を有する赤画素、異なる透過特性を有する青画素を用いる構成などでも良い。すなわち、右用撮像素子と左用撮像素子とで同じ透過特性を有する画素が少なくとも2つあれば精度よくステレオマッチングでき、残りの2画素はそのマッチング情報をもとにマッチングを取ることで色情報を取得することが可能である。右用撮像素子と左用撮像素子とで同じ透過特性を有する画素が3つあれば、更にステレオマッチングの精度は向上する。 In the above example, two transparent pixels are used. However, one transparent pixel is used, and the right image sensor and the left image sensor have the same transmission characteristics, the red pixels have different transmission characteristics, and the different. A configuration using blue pixels having transmission characteristics may also be used. That is, if at least two pixels having the same transmission characteristics are used for the right image sensor and the left image sensor, stereo matching can be performed accurately, and the remaining two pixels can perform color information by matching based on the matching information. It is possible to obtain. If there are three pixels having the same transmission characteristics in the right image sensor and the left image sensor, the accuracy of stereo matching is further improved.
また、前述した説明においては、透明画素(W)をすべての可視波長域で透過する透明画素としている。光利用効率の向上においては透過率が100%であることが望ましいが、例えば赤外波長域を吸収するために赤外吸収フィルタを設けた場合はその影響で可視波長域も吸収されることがある。しかし、右用撮像素子11と左用撮像素子12とで同じ透過特性であればステレオマッチングが可能であり、赤画素や緑画素や青画素よりはるかに透過率が高いため、光の利用効率が高い高感度な撮像装置を実現することができる。
In the above description, the transparent pixel (W) is a transparent pixel that transmits in all visible wavelength regions. In order to improve the light utilization efficiency, it is desirable that the transmittance is 100%. However, for example, when an infrared absorption filter is provided to absorb the infrared wavelength region, the visible wavelength region may be absorbed due to the influence. is there. However, if the
また、図1や図7に示した画素の配置はこれに限るものではないが、撮像素子内で同じ透過特性を有する透明画素は、図1や図7に示すように互いに対角に配置されているのが望ましい。これは、上下もしくは左右に配置させるより対角にする方が、画像処理によって被写体の位置情報を処理する際、より精度良く位置情報を算出することが可能なためである。また、前述の説明においては、撮像装置を左右に配置した例で説明したが、撮像装置の視差により視差量を算出可能であれば良く、すなわち撮像装置の配置は左右だけでなく、上下はもちろん、同一の被写体を撮影できる状況であればどのような配置でも構わない。 In addition, the arrangement of the pixels shown in FIGS. 1 and 7 is not limited to this, but the transparent pixels having the same transmission characteristics in the image sensor are arranged diagonally to each other as shown in FIGS. It is desirable. This is because the position information can be calculated with higher accuracy when the position information of the subject is processed by the image processing, when the position is diagonal rather than the vertical or horizontal arrangement. In the above description, the example in which the imaging devices are arranged on the left and right has been described. However, it is only necessary that the amount of parallax can be calculated based on the parallax of the imaging device. Any arrangement is possible as long as the same subject can be photographed.
また、前述の説明においては、撮像装置の撮像素子は4つの画素を一組とし、透明画素が2つ、緑画素が1つ、赤画素または青画素が1つという構成の例で説明をしたが、3つの画素を一組とした撮像装置でも構わない。このときは、透明画素が1つと、緑画素が1つ、赤画素または青画素が1つという構成がある。この場合、透明画素と緑画素が、2つの撮像装置で同じ透過特性を示す画素となりステレオマッチングが可能となる。そして赤画素と青画素で、擬似的な赤と擬似的な青を算出し、前述したように赤画素と擬似的な赤画素とで、また青画素と擬似的な青画素とで、比較することで色情報を多く取得することができ、感度が高いながらも色の正確な画像の取得が可能となる。 In the above description, the image pickup device of the image pickup apparatus has been described as an example of a configuration in which four pixels are set as one set, two transparent pixels, one green pixel, and one red pixel or blue pixel. However, an image pickup apparatus in which three pixels are combined may be used. In this case, there is a configuration in which there is one transparent pixel, one green pixel, and one red pixel or blue pixel. In this case, the transparent pixel and the green pixel become pixels having the same transmission characteristics in the two imaging devices, and stereo matching is possible. Then, the pseudo red and the pseudo blue are calculated with the red pixel and the blue pixel, and compared with the red pixel and the pseudo red pixel as described above, and with the blue pixel and the pseudo blue pixel. As a result, a large amount of color information can be acquired, and an accurate image of the color can be acquired even though the sensitivity is high.
また、透明画素が1つと、赤画素が1つ、緑画素または青画素が1つ、という構成でも同様の効果があり、透明画素が1つと、青画素が1つ、赤画素または緑画素が1つ、という構成でも構わない。この3つの画素を一組として、2つの撮像装置でステレオマッチングは、従来の4つの画素を一組としたマッチングと比較し、少ない画素で同様の効果が得られるため、同じ撮像素子のサイズで同じ画素の大きさであれば、画素数が多くなるためより高解像度の画像が得られることになり、同じ撮像素子で同じ解像度の画像であれば、大きな画素を配置することが可能になるため、より高感度の撮像装置が得られることになり、同じ画素の大きさで同じ解像度の画像であれば、画素数が少なくなるためより小さな撮像素子で実現できるためコストメリットが生じる。 In addition, the same effect can be obtained with the configuration of one transparent pixel, one red pixel, one green pixel or blue pixel, and one transparent pixel, one blue pixel, red pixel or green pixel. One configuration may be used. Stereo matching with two imaging devices using these three pixels as a set can be compared with conventional matching with four pixels as a set, and the same effect can be obtained with fewer pixels. If the pixels have the same size, the number of pixels increases, so a higher-resolution image can be obtained. If the images have the same resolution with the same image sensor, it is possible to arrange large pixels. Therefore, an image pickup device with higher sensitivity can be obtained, and an image having the same pixel size and the same resolution can be realized with a smaller image pickup device because the number of pixels is reduced, resulting in a cost merit.
また、本実施形態では、撮像素子12の視点からの画像(左画像)を生成するようにしたが、撮像素子11の視点からの画像(右画像)を生成するようにしてもよい。その場合、相関検出部4は、右画像に対する左画像のずれ量を視差量として検出する。また、視差補正部5は、撮像素子12からの青画素(B)の信号Blと、赤色信号生成部8からの擬似赤画素(R’)の信号R’lとについて、視差を補正する。また、合成部6は、撮像素子11からの赤画素(R)の信号Rr、緑画素(G)の信号Gr、透明画素(W)の信号Wrと、視差補正部5が視差を補正した青画素(B)の信号とからカラー画像を生成する。
In this embodiment, the image (left image) from the viewpoint of the
以上説明したように、透明画素を使用することにより、暗い被写体までも撮影できるようになるため、暗い部分でも左右の撮像装置のステレオマッチングが可能になる。また、暗い部分は透明画素により取得し、明るい部分は通常のRGBで取得するため、通常のRGBのフィルタではノイズに紛れて取得しづらい低輝度部分まで撮影できるようになる。実際暗いところでは色の認識ができなくなってくるため、暗い部分は色情報が欠落しても問題は少ない。 As described above, by using a transparent pixel, it becomes possible to photograph even a dark subject, so that stereo matching of the left and right imaging devices can be performed even in a dark part. In addition, since a dark part is acquired by a transparent pixel and a bright part is acquired by normal RGB, it is possible to capture a low-luminance part that is difficult to acquire due to noise by a normal RGB filter. In fact, since it becomes impossible to recognize the color in a dark place, there is little problem even if the color information is lost in the dark part.
なお、図1における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像取得処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。 1 is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into a computer system and executed to execute image acquisition processing. You may go. Here, the “computer system” includes an OS and hardware such as peripheral devices. The “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. Further, the “computer-readable recording medium” refers to a volatile memory (RAM) in a computer system that becomes a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. In addition, those holding programs for a certain period of time are also included.
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。 The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line. The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, what is called a difference file (difference program) may be sufficient.
複数の撮像装置によって被写体までの距離情報を取得するともに、複数の撮像装置により得られた画像を合成することが不可欠な用途にも適用できる。 The distance information to the subject can be acquired by a plurality of imaging devices, and the present invention can be applied to an application in which it is indispensable to combine images obtained by the plurality of imaging devices.
11…右用撮像素子、12…左用撮像素子、21…右用カラーフィルタ、22…左用カラーフィルタ、31、32…レンズ、4…相関検出部、5…視差補正部、6…合成部
DESCRIPTION OF
Claims (5)
前記撮像素子のうち第1の撮像素子は透明画素と光の3原色のうち第1の原色画素と第2の原色画素とを一組とした画素構成を有し、第2の撮像素子は透明画素と光の3原色のうち、第3の原色画素と、前記第1または第2のいずれかの原色画素とを一組とした画素構成を有していることを特徴とする撮像装置。 In order to acquire a color image and to acquire distance information to the subject, two image pickup devices that photoelectrically convert incident light and output an image signal, and a distance to the subject based on the two image signals An imaging apparatus comprising: a distance information acquisition unit for obtaining information; and a combining unit that combines the image signals of the two systems to obtain the color image
Of the image sensors, the first image sensor has a pixel configuration in which a first primary color pixel and a second primary color pixel are combined as a pair of transparent pixels and the three primary colors of light, and the second image sensor is transparent. An image pickup apparatus having a pixel configuration in which a third primary color pixel and one of the first or second primary color pixels among the three primary colors of pixels and light are combined.
を特徴とする請求項1に記載の撮像装置。 The distance information acquisition unit calculates a parallax amount between the two systems by matching at least transparent pixel signals of the two systems of image signals, and based on the parallax amount, the distance to the subject The imaging apparatus according to claim 1, wherein information is obtained.
を特徴とする請求項1に記載の撮像装置。 Primary color signal generation for generating a signal of the remaining one primary color pixel among the three primary colors based on the signal of the transparent pixel of the first or second image sensor and the signal of the two primary color pixels of the image sensor The imaging apparatus according to claim 1, further comprising: a unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010040328A JP5186517B2 (en) | 2010-02-25 | 2010-02-25 | Imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010040328A JP5186517B2 (en) | 2010-02-25 | 2010-02-25 | Imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011176710A true JP2011176710A (en) | 2011-09-08 |
JP5186517B2 JP5186517B2 (en) | 2013-04-17 |
Family
ID=44689137
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010040328A Expired - Fee Related JP5186517B2 (en) | 2010-02-25 | 2010-02-25 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5186517B2 (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013174510A (en) * | 2012-02-24 | 2013-09-05 | Resonant Systems Inc | Stereo camera unit and automobile monitor system |
JP2013224922A (en) * | 2012-03-21 | 2013-10-31 | Ricoh Co Ltd | Multi-lens camera apparatus and vehicle including the same |
JP2015050494A (en) * | 2013-08-30 | 2015-03-16 | 日立オートモティブシステムズ株式会社 | Imaging device |
WO2016104235A1 (en) * | 2014-12-26 | 2016-06-30 | コニカミノルタ株式会社 | Stereo imaging device and moving body |
US9596454B2 (en) | 2013-05-24 | 2017-03-14 | Sony Semiconductor Solutions Corporation | Imaging apparatus and imaging method |
WO2018030135A1 (en) * | 2016-08-08 | 2018-02-15 | ソニー株式会社 | Imaging device and image processing method |
WO2017171412A3 (en) * | 2016-03-30 | 2018-08-02 | 엘지전자 주식회사 | Image processing apparatus and mobile terminal |
JP7372322B2 (en) | 2018-12-14 | 2023-10-31 | ウーブン バイ トヨタ,ユーエス,インコーポレイティド | Multispectral Multipolarization (MSMP) filtering to improve perception for color blindness |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009050030A (en) * | 2008-12-01 | 2009-03-05 | Toshiba Corp | Solid-state imaging apparatus |
JP2009117976A (en) * | 2007-11-02 | 2009-05-28 | Panasonic Corp | Image picking-up device |
JP2011515045A (en) * | 2008-02-29 | 2011-05-12 | イーストマン コダック カンパニー | Sensor with multi-viewpoint image acquisition |
-
2010
- 2010-02-25 JP JP2010040328A patent/JP5186517B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009117976A (en) * | 2007-11-02 | 2009-05-28 | Panasonic Corp | Image picking-up device |
JP2011515045A (en) * | 2008-02-29 | 2011-05-12 | イーストマン コダック カンパニー | Sensor with multi-viewpoint image acquisition |
JP2009050030A (en) * | 2008-12-01 | 2009-03-05 | Toshiba Corp | Solid-state imaging apparatus |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013174510A (en) * | 2012-02-24 | 2013-09-05 | Resonant Systems Inc | Stereo camera unit and automobile monitor system |
JP2013224922A (en) * | 2012-03-21 | 2013-10-31 | Ricoh Co Ltd | Multi-lens camera apparatus and vehicle including the same |
US9596454B2 (en) | 2013-05-24 | 2017-03-14 | Sony Semiconductor Solutions Corporation | Imaging apparatus and imaging method |
US9979951B2 (en) | 2013-05-24 | 2018-05-22 | Sony Semiconductor Solutions Corporation | Imaging apparatus and imaging method including first and second imaging devices |
JP2015050494A (en) * | 2013-08-30 | 2015-03-16 | 日立オートモティブシステムズ株式会社 | Imaging device |
WO2016104235A1 (en) * | 2014-12-26 | 2016-06-30 | コニカミノルタ株式会社 | Stereo imaging device and moving body |
WO2017171412A3 (en) * | 2016-03-30 | 2018-08-02 | 엘지전자 주식회사 | Image processing apparatus and mobile terminal |
WO2018030135A1 (en) * | 2016-08-08 | 2018-02-15 | ソニー株式会社 | Imaging device and image processing method |
JP7372322B2 (en) | 2018-12-14 | 2023-10-31 | ウーブン バイ トヨタ,ユーエス,インコーポレイティド | Multispectral Multipolarization (MSMP) filtering to improve perception for color blindness |
Also Published As
Publication number | Publication date |
---|---|
JP5186517B2 (en) | 2013-04-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5186517B2 (en) | Imaging device | |
US9615030B2 (en) | Luminance source selection in a multi-lens camera | |
EP2664153B1 (en) | Imaging system using a lens unit with longitudinal chromatic aberrations and method of operating | |
JP5206796B2 (en) | Image input device | |
US20130033579A1 (en) | Processing multi-aperture image data | |
US20130113988A1 (en) | Flash system for multi-aperture imaging | |
JP5406151B2 (en) | 3D imaging device | |
US9008412B2 (en) | Image processing device, image processing method and recording medium for combining image data using depth and color information | |
WO2016137239A1 (en) | Generating an improved depth map usinga multi-aperture imaging system | |
KR20170074602A (en) | Apparatus for outputting image and method thereof | |
US10109063B2 (en) | Image processing in a multi-channel camera | |
JP5927570B2 (en) | Three-dimensional imaging device, light transmission unit, image processing device, and program | |
JP2015053578A (en) | Color image pickup device and color image pickup method | |
WO2018116972A1 (en) | Image processing method, image processing device, and recording medium | |
JP2015046019A (en) | Image processing device, imaging device, imaging system, image processing method, program, and storage medium | |
JPWO2015133130A1 (en) | Video imaging device, signal separation device, and video imaging method | |
JP2011109620A (en) | Image capturing apparatus, and image processing method | |
JP2020120204A (en) | Image processing device, image processing method, and program | |
US10593717B2 (en) | Image processing apparatus, image processing method, and imaging apparatus | |
KR20130020435A (en) | Apparatus and method for reconstructing color image based on multi-spectrum using bayer color filter array camera | |
JP2013102362A (en) | Optical device, image processing method and program | |
JP7445508B2 (en) | Imaging device | |
WO2023286496A1 (en) | Image processing device and method, and imaging device | |
JP2024080560A (en) | Method and apparatus for applying a bokeh effect to an image | |
JP5920144B2 (en) | Imaging apparatus and imaging method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120223 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121221 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130121 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5186517 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160125 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |