JP2015046813A - Imaging device, imaging method, and program - Google Patents
Imaging device, imaging method, and program Download PDFInfo
- Publication number
- JP2015046813A JP2015046813A JP2013177732A JP2013177732A JP2015046813A JP 2015046813 A JP2015046813 A JP 2015046813A JP 2013177732 A JP2013177732 A JP 2013177732A JP 2013177732 A JP2013177732 A JP 2013177732A JP 2015046813 A JP2015046813 A JP 2015046813A
- Authority
- JP
- Japan
- Prior art keywords
- image
- correction coefficient
- output level
- imaging
- calculating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像装置、撮像方法、及びプログラムに関する。 The present invention relates to an imaging apparatus, an imaging method, and a program.
従来、複数の撮像素子を有する複眼撮像装置が知られている。また、撮像装置において、白色の被写体の色あいを調整する、いわゆるホワイトバランス(以下、ホワイトバランスという。)が知られている。 Conventionally, a compound eye imaging apparatus having a plurality of imaging elements is known. In addition, so-called white balance (hereinafter referred to as white balance) for adjusting the color of a white subject in an imaging apparatus is known.
複眼撮像装置において、各撮像素子の分光特性の固有差を減らすために、各撮像素子におけるホワイトバランスで、異なるホワイトバランスの補正係数を用いる方法が知られている(例えば、特許文献1参照)。 In a compound-eye imaging apparatus, a method of using different white balance correction coefficients for white balance in each image sensor is known in order to reduce the inherent difference in spectral characteristics of each image sensor (see, for example, Patent Document 1).
しかしながら、従来の方法では、複眼撮像装置において各撮像素子で撮像される画像でホワイトバランスの補正係数を別々に算出していたため、色あいを均一にすることが難しかった。 However, in the conventional method, since the white balance correction coefficient is calculated separately for each image picked up by each image pickup device in the compound-eye image pickup device, it is difficult to make the hue uniform.
本発明の1つの側面は、複数の撮像素子を有する撮像装置において色あいを均一にできる撮像装置を提供することを目的とする。 An object of one aspect of the present invention is to provide an imaging device capable of uniform color tone in an imaging device having a plurality of imaging elements.
一態様における、画像を出力する複数の撮像素子を有する撮像装置であって、前記画像の画素値の積算値に基づいて算出された前記撮像素子ごとの出力レベルを示す相対値を予め記憶しておく記憶手段と、前記相対値を用いて、前記複数の撮像素子のうちの一つの撮像素子の出力レベルと、前記複数の撮像素子のうち他の撮像素子の出力レベルとが、同一の出力レベルになるように補正する感度差補正係数を算出する算出手段と、画像からホワイトバランスの補正係数を演算する演算手段と、を有し、前記演算手段は、前記複数の撮像素子が出力する画像に対して前記算出手段によって算出された前記感度差補正係数に基づいて補正した画像を結合した一つの画像に基づいてホワイトバランスの補正係数を演算することを特徴とする。 In one aspect, an imaging apparatus having a plurality of imaging elements that output an image, storing in advance a relative value indicating an output level for each of the imaging elements calculated based on an integrated value of pixel values of the image The output level of one of the plurality of image sensors and the output level of the other image sensor of the plurality of image sensors are the same output level using the storage means and the relative value And calculating means for calculating a white balance correction coefficient from the image, and the calculating means outputs an image output from the plurality of image sensors. On the other hand, a white balance correction coefficient is calculated based on one image obtained by combining images corrected based on the sensitivity difference correction coefficient calculated by the calculation means.
複数の撮像素子を有する撮像装置において色あいを均一にすることができる。 Color tone can be made uniform in an imaging apparatus having a plurality of imaging elements.
以下、本発明の実施の形態について説明する。 Embodiments of the present invention will be described below.
<実施形態>
<全体構成>
複数の撮像素子を有する複眼撮像装置は、例えば魚眼レンズや超広角レンズなどの広角なレンズ有する撮像素子を複数使用し、全方位(以下、全天球という。)を一度に撮像する全天球撮像システム(以下、単に撮像システムという。)などである。本実施形態の一例として、以下、撮像システムを例にして説明する。
<Embodiment>
<Overall configuration>
A compound-eye imaging device having a plurality of imaging elements uses a plurality of imaging elements having wide-angle lenses such as fish-eye lenses and super-wide-angle lenses, for example, and omnidirectional imaging for imaging all directions (hereinafter referred to as omnidirectional spheres) at once. A system (hereinafter simply referred to as an imaging system). Hereinafter, an imaging system will be described as an example of this embodiment.
図1は、本発明の一実施形態に係る撮像システムの全体構成の一例を示す図である。図1は、断面図である。 FIG. 1 is a diagram illustrating an example of the overall configuration of an imaging system according to an embodiment of the present invention. FIG. 1 is a cross-sectional view.
撮像システム10は、撮像体12と、筐体14と、シャッター・ボタン18と、を有する。
The
撮像体12は、結像光学系20A、及び20Bと、固体撮像素子22A、及び22Bと、を有する。
The imaging body 12 includes imaging
筐体14は、撮像システム10に係る部品を収納する。
The
結像光学系20A、及び20Bは、例えば魚眼レンズ、広角レンズなどのレンズである。
The imaging
結像光学系20Aは、例えば6群7枚の魚眼レンズなど複数のレンズで構成された光学系でもよい。結像光学系20Bも同様である。
なお、結像光学系20A、及び20Bは、プリズム、フィルタ、絞りなどレンズ以外の光学要素を有してもよい。
The imaging
The imaging
結像光学系20A、及び20Bは、例えば180度以上の画角を有する。なお、画角は190度以上であってもよい。
The imaging
固体撮像素子22A、及び22Bは、CCD(Charge Coupled Device)、または(Complementary Metal Oxide Semiconductor)など光学センサを有する撮像素子である。各固体撮像素子22A、及び22Bは、シャッター・ボタン18が押下されると、シャッターを切る。
The solid-
結像光学系20Aは、固体撮像素子22Aに対して位置関係が定まる。位置関係は、結像光学系20Aの光軸が固体撮像素子22Aの受光領域の中心部に直交し、かつ、受光領域が結像面となるように定められる。同様に、結像光学系20Bは、固体撮像素子22Bに対して位置関係が定まる。
The positional relationship of the imaging
固体撮像素子22A、及び22Bは、結像光学系20A、及び20Bによって集光された光を画像信号に変換する。
The solid-
なお、撮像システム10は、筐体14の内部にコントローラ(図示せず)、またはバッテリ(図示せず)などを有してもよい。
Note that the
図1に示す場合では、結像光学系20A、及び20Bは、光軸が同一となり、かつ、互いに逆向きになるように設置されている。固体撮像素子22A、及び22Bは、集光した光から画像信号を生成し、出力する。画像信号に基づく各画像は、詳細は後述する画像処理によって双方がつなぎ合わせられる。撮像システム10は、立体角4πラジアンの画像(以下、全天球画像という。)を生成する。全天球画像は、撮影地点から見渡すことのできる全方向を撮影した画像である。なお、全天球画像は、水平面のみ360度を撮影した、いわゆるパノラマ画像でもよい。
In the case shown in FIG. 1, the imaging
結像光学系20A、及び20Bの画角が180度を超える場合、固体撮像素子22A、及び22Bが生成する画像信号に基づく各画像は、同じ被写体を写す。画像信号に基づく各画像の双方をつなぎ合わせる際、各画像に写された被写体が参考となる。
When the angle of view of the imaging
生成された全天球画像は、撮像システム10に接続されたディスプレイ、または画像形成装置などの出力装置(図示せず)に出力される。また、生成された全天球画像は、SD(登録商標)カード、USBメモリ、またはコンパクトフラッシュ(登録商標)などの記憶媒体に出力されてもよい。
The generated omnidirectional image is output to a display connected to the
<ハードウェア構成>
図2は、本発明の一実施形態に係る撮像システムのハードウェア構成の一例を示す図である。
<Hardware configuration>
FIG. 2 is a diagram illustrating an example of a hardware configuration of an imaging system according to an embodiment of the present invention.
撮像システム10は、デジタル・スチルカメラ・プロセッサ(以下、単に、プロセッサという。)100と、鏡胴ユニット102と、を有する。
The
プロセッサ100は、画像データ転送処理回路126と、SDRAMC(Synchronous Dynamic Random Access Memory Controller)128と、を有する。
The
また、プロセッサ100は、ISP(Image Signal Processor)108A、及び108Bと、DMAC(Direct Memory Access Controller)110と、を有する。
In addition, the
さらに、プロセッサ100は、メモリアクセス調停回路(以下、ARBMEMC(Arbitration Memory Controller)という。)112と、MEMC(Memory Controller)114と、を有する。
Further, the
そのうえ、プロセッサ100は、歪曲補正・画像合成処理回路118と、DMAC122と、画像処理回路124と、CPU(Central Processing Unit)130と、リサイズ処理回路132と、を有する。
In addition, the
また、プロセッサ100は、JPEG(Joint Photographic Exports Group)処理回路134と、H.264処理回路136と、メモリカード制御処理回路140と、USB(Unversal Serial Bus)処理回路146と、ペリフェラル通信処理回路150と、を有する。
In addition, the
ならびに、プロセッサ100は、音声ユニット152と、シリアル通信処理回路158と、LCD(Liquid Crystal Display)ドライバ162と、ブリッジ回路168と、を有する。
In addition, the
プロセッサ100には、SDRAM(Synchronous Dynamic Random Access Memory)138と、メモリカードスロット142と、フラッシュROM(Read−Only Memory)144と、が接続されている。
The
また、プロセッサ100には、USBコネクタ148と、スピーカ154と、マイク156と、無線NIC(Network Interface Card)160と、LCDモニタ164と、電源スイッチ166と、が接続されている。
Further, a
ISP108A、及びISP108Bは、入力された画像信号に基づく画像データに、ホワイトバランス、ガンマ補正、歪曲補正、画像合成などの処理を行う。 The ISP 108A and ISP 108B perform processing such as white balance, gamma correction, distortion correction, and image synthesis on image data based on the input image signal.
DMAC110、及び122は、メモリに対する処理の制御を行う。メモリに対する処理は、例えばメモリへ画像データを書き込み、または読み出しする処理などである。
The
ARBMEMC112は、各メモリへアクセスする処理を調停する処理を行う。
The
MEMC114は、メモリを制御する処理を行う。MEMC114には、SDRAM116が接続されている。SDRAM116は、ISP108A、及びISP108Bが処理を行う際、処理に用いるデータなどが記憶される。 The MEMC 114 performs processing for controlling the memory. An SDRAM 116 is connected to the MEMC 114. The SDRAM 116 stores data used for processing when the ISP 108A and ISP 108B perform processing.
歪曲補正・画像合成処理回路118は、固体撮像素子22A、及び22Bから出力される画像信号を処理する。歪曲補正・画像合成処理回路118は、例えば、歪曲補正などの処理を行う。
The distortion correction / image synthesis processing circuit 118 processes the image signals output from the solid-
歪曲補正・画像合成処理回路118には、3軸加速度センサ120が接続されている。3軸加速度センサ120は、撮像システム10の姿勢、及び向きなどの情報を出力する。歪曲補正・画像合成処理回路118は、3軸加速度センサ120からの情報に基づいて、いわゆる天地補正処理を行ってもよい。なお、3軸加速度センサ120はジャイロセンサなどでもよい。さらに、歪曲補正・画像合成処理回路118は、天地補正処理の処理に限られない。例えば、手ぶれ補正処理などを行ってもよい。
A
画像処理回路124は、各種の画像処理を行う。画像処理回路124は、リサイズ処理回路132と、JPEG処理回路と、H.264処理回路136と、に画像データを処理させる制御を行う。
The
画像データ転送処理回路126は、画像処理回路124から出力された画像データを転送する処理を行う。
The image data
SDRAMC128は、SDRAM138の制御を行う。SDRAM138には、プロセッサ100で処理される画像データなど各種のデータが記憶される。
The
CPU130は、各種の処理、及び各種のハードウェアの制御を行う。
The
リサイズ処理回路132は、画像データのサイズを拡大、または縮小する処理を行う。
The resizing
JPEG処理回路134は、画像データをJPEG圧縮、及び伸張するコーデック(Codec)処理を行う。 The JPEG processing circuit 134 performs codec processing that compresses and decompresses image data.
H.264処理回路136は、動画圧縮、及び伸張するコーデック処理を行う。 H. The H.264 processing circuit 136 performs codec processing for moving image compression and expansion.
なお、静止画のコーデック処理は、JPEG、及びH.264の形式に限られない。例えば、静止画のコーデック処理は、GIF(Graphics Interchange Format)、またはPDF(Portable Document Format)などでもよい。また、静止画のコーデック処理は、Microsoft Windows Bitmap Image、またはRAW image formatなど圧縮処理を行わない形式でもよい。さらに、これらを組み合わせて、複数の形式でコーデックした出力を行ってもよい。 Note that the codec processing of still images includes JPEG and H.264. The format is not limited to H.264. For example, the codec processing of a still image may be GIF (Graphics Interchange Format) or PDF (Portable Document Format). Further, the codec processing of the still image may be a format that does not perform compression processing such as Microsoft Windows Bitmap Image or RAW image format. Furthermore, these may be combined and output in a plurality of formats.
また、動画のコーデック処理は、MP4(MPEG−4 Part14)などでもよい。また、AVI(Audio Video Interleave)など圧縮処理を行わない形式でもよい。さらに、これらを組み合わせて、複数の形式でコーデックした出力を行ってもよい。 Also, the codec processing of the moving image may be MP4 (MPEG-4 Part 14) or the like. Moreover, the format which does not perform compression processing, such as AVI (Audio Video Interleave), may be sufficient. Furthermore, these may be combined and output in a plurality of formats.
メモリカード制御処理回路140は、メモリカードスロット142に接続されているメモリカード(図示せず)に対する読み込み、または書き込みなどの処理の制御を行う。メモリカードスロット142には、メモリカードなど外部の記憶媒体が接続される。
The memory card
フラッシュROM144は、CPU130が実行するプログラム、及び各種のパラメータを記憶する。フラッシュROM144に記憶されているプログラム、及び各種のパラメータは、メインメモリ(図示せず)、またはCPU130のレジスタなどにロードされ、CPU130によって実行される。
The
USB処理回路146は、USBコネクタ148を介して接続されるPC(Personal Computer)など外部装置(図示せず)とのUSB通信を制御する。
The
ペリフェラル通信処理回路150は、電源スイッチ166による入力を制御する。
The peripheral
音声ユニット152は、スピーカ154と、マイク156と、を制御し、音声の入出力を制御する。音声ユニット152は、マイク156からの音声入力を制御する。音声ユニット152は、スピーカ154への音声出力を制御する。
The
シリアル通信処理回路158は、PCなど外部装置(図示せず)とのシリアル通信を制御する。シリアル通信処理回路158は、接続されている無線NIC160を制御して、ネットワークを介して外部装置と通信を行う。
The serial
なお、外部装置との接続は、USB通信、及びシリアル通信に限られない。例えば、IEEE(The Institute of Electrical and Electronics Engineers,Inc.)1394、及びThunderbolt(登録商標)などの規格に準じた通信でもよい。また、Bluetooth(登録商標)、またはNFC(Near Field Communication)などの無線による通信でもよい。 The connection with the external device is not limited to USB communication and serial communication. For example, communication conforming to standards such as IEEE (The Institute of Electrical and Electronics Engineers, Inc.) 1394 and Thunderbolt (registered trademark) may be used. Further, wireless communication such as Bluetooth (registered trademark) or NFC (Near Field Communication) may be used.
LCDドライバ162は、接続されているLCDモニタ164を制御する回路である。LCDドライバ162は、LCDモニタ164へ出力する画像信号を制御する。LCDモニタ164は、出力された画像信号に基づいて、各種の表示を行う。
The
各要素間での送受信は、ブリッジ回路168を介して送受信されてもよい。 Transmission / reception between the elements may be performed via the bridge circuit 168.
鏡胴ユニット102は、結像光学系20A、及び20Bと、固体撮像素子22A、及び22Bと、を有する。固体撮像素子22A、及び22Bは、CPU130によって制御される。
The
なお、歪曲補正・画像合成処理回路118による処理は、歪曲補正などの処理に限られない。例えば、シェーディング(Shading)補正、欠陥画素補正、オプティカル・ブラック(Optical Black)補正、リニア(Linear)補正、または色空間を変換する処理などが行われてもよい。 Note that the processing by the distortion correction / image composition processing circuit 118 is not limited to processing such as distortion correction. For example, shading correction, defective pixel correction, optical black correction, linear correction, or color space conversion processing may be performed.
なお、歪曲補正・画像合成処理回路118による処理は、歪曲補正・画像合成処理回路118が処理を行うに限られない。例えば、歪曲補正・画像合成処理回路118による処理の全部または一部を、画像処理回路124、またはCPU130などが処理を行ってもよい。また、同様に、ISP108A、ISP108B、及び画像処理回路124による処理の全部または一部は、歪曲補正・画像合成処理回路118、またはCPU130などが処理を行ってもよい。
Note that the processing performed by the distortion correction / image synthesis processing circuit 118 is not limited to the processing performed by the distortion correction / image synthesis processing circuit 118. For example, the
なお、回路による各処理は、回路によって行われることに限られない。例えば、各処理の一部または全部は、ソフトウェア、またはファームウェアによって処理されてもよい。 Each process by the circuit is not limited to being performed by the circuit. For example, part or all of each process may be processed by software or firmware.
<機能ブロック図>
図3は、本発明の一実施形態に係る撮像システムの一例を示す機能ブロック図である。
<Functional block diagram>
FIG. 3 is a functional block diagram illustrating an example of an imaging system according to an embodiment of the present invention.
撮像システム10は、撮像部1001と、画像処理部1002と、制御部1003と、出力部1004と、を有する。
The
撮像部1001は、固体撮像素子22A、及び22Bによって撮像を行う。
The
画像処理部1002は、各種の画像処理を行う。画像処理部1002は、前処理部10021と、後処理部10022と、歪曲補正・画像合成処理部10023と、を有する。
The
制御部1003は、撮像システム10のハードウェア、及び処理の制御を行う。
The
出力部1004は、画像処理部1002によって画像処理された画像を出力する。
The
<全体処理>
図4は、本発明の一実施形態に係る撮像システムによる全体処理の一例を示す図である。
<Overall processing>
FIG. 4 is a diagram illustrating an example of overall processing by the imaging system according to the embodiment of the present invention.
ステップS101Aでは、図3の撮像部1001は、図2の固体撮像素子22Aによって撮像処理を行う。
In step S101A, the
ステップS101Bでは、ステップS101Aと同様に、図3の撮像部1001は、図2の固体撮像素子22Bによって撮像処理を行う。
In step S101B, as in step S101A, the
ステップS102Aでは、図3の画像処理部1002は、ステップS101Aで撮像された画像に前処理を行う。前処理は、オプティカル・ブラック補正処理、欠陥画素補正処理、リニア補正処理、シェーディング処理、及び領域分割平均処理などである。
In step S102A, the
ステップS102Bでは、ステップS102Aと同様に、図3の画像処理部1002は、ステップS101Bで撮像された画像に前処理を行う。
In step S102B, as in step S102A, the
ステップS103Aでは、図3の制御部1003は、ステップS102Aで前処理された画像を図2のDMAC110によってメモリへ記憶する。
In step S103A, the
ステップS103Bでは、図3の制御部1003は、ステップS103Aと同様に、ステップS102Bで前処理された画像を図2のDMAC110によってメモリへ記憶する。
In step S103B, as in step S103A, the
ステップS104Aでは、図3の画像処理部1002は、ステップS103Aで図2のDMAC110によって記憶された画像に後処理を行う。後処理は、ホワイトバランス、ガンマ補正処理、ベイヤー(Bayer)補間処理、YUV変換処理、エッジ(Edge)強調処理、及び色補正処理などである。
In step S104A, the
ステップS104Bでは、図3の画像処理部1002は、ステップS103Bで図2のDMAC110によって記憶された画像に後処理を行う。
In step S104B, the
ステップS105Aでは、図3の制御部1003は、ステップS104Aで後処理された画像を図2のDMAC110によって記憶する。
In step S105A, the
ステップS105Bでは、図3の制御部1003は、ステップS105Aと同様に、ステップS104Bで後処理された画像を図2のDMAC110によって記憶する。
In step S105B, the
ステップS106では、図3の画像処理部1002は、ステップS105A、及びステップS105Bで記憶された画像に後述する歪曲補正処理、及び後述する画像合成処理を行う。
In step S106, the
ステップS107では、図3の出力部1004は、ステップS106で処理された画像をファイル、または画像信号などで出力する。
In step S107, the
<歪曲補正・画像合成処理>
撮像システム10は、図4のステップS105A、及びステップS105Bで記憶される2つの画像を画像合成処理して全天球画像を生成する。
<Distortion correction and image composition processing>
The
画像合成処理は、歪曲補正・画像合成処理部10023によって処理が行われる。
The image composition processing is performed by the distortion correction / image
図5は、本発明の一実施形態に係る歪曲補正・画像合成部の一例を示す機能ブロック図である。 FIG. 5 is a functional block diagram showing an example of a distortion correction / image synthesis unit according to an embodiment of the present invention.
歪曲補正・画像合成処理部10023は、位置検出用歪み補正部202と、つなぎ位置検出部204と、テーブル修正部206と、テーブル生成部208と、画像合成用歪み補正部210と、画像合成部212と、を有する。また、歪曲補正・画像合成処理部10023は、位置検出用変換テーブル220と、検出結果データ222と、画像合成用変換テーブル224と、を有する。なお、歪曲補正・画像合成処理部10023は、表示画像生成部214を有してもよい。
The distortion correction / image synthesis processing unit 10027 includes a position detection
図6は、本発明の一実施形態に係る歪曲補正・画像合成部による全体処理の一例を示すフローチャートである。 FIG. 6 is a flowchart showing an example of overall processing by the distortion correction / image composition unit according to the embodiment of the present invention.
ステップS200では、歪曲補正・画像合成処理部10023は、処理を開始する。例えば、歪曲補正・画像合成処理部10023は、図1のシャッター・ボタン18が押された際、処理を開始する。
In step S200, the distortion correction / image synthesis processing unit 10027 starts processing. For example, the distortion correction / image composition processing unit 10027 starts processing when the
処理を開始されると歪曲補正・画像合成処理部10023には、部分画像0、及び部分画像1の画像が入力される。部分画像0は、例えば図2の固体撮像素子22Aによって撮像された画像に基づいた画像である。部分画像1は、例えば図2の固体撮像素子22Bによって撮像された画像に基づいた画像である。
When the processing is started, the
ステップS201では、歪曲補正・画像合成処理部10023は、部分画像0、及び部分画像1に後述する位置検出用歪み補正を行う。歪曲補正・画像合成処理部10023は、後述する位置検出用歪み補正によって、位置検出用補正画像(以下、単に、補正画像という場合もある。)0、及び位置検出用補正画像1を生成する。
In step S <b> 201, the distortion correction / image composition processing unit 10025 performs position detection distortion correction described later on the
ステップS202では、歪曲補正・画像合成処理部10023は、位置検出用補正画像0、及び位置検出用補正画像1によって、後述するつなぎ位置検出を行う。
In step S <b> 202, the distortion correction / image composition processing unit 10027 performs joint position detection, which will be described later, using the position
ステップS203では、歪曲補正・画像合成処理部10023は、つなぎ位置検出に基づいて、後述する位置合わせの修正を行う。 In step S <b> 203, the distortion correction / image composition processing unit 10025 corrects alignment described later based on the connection position detection.
ステップS204では、歪曲補正・画像合成処理部10023は、後述する画像合成用変換テーブルを生成する。 In step S204, the distortion correction / image composition processing unit 10027 generates an image composition conversion table to be described later.
ステップS205では、歪曲補正・画像合成処理部10023は、ステップS204で生成された部分画像0、及び部分画像1に後述する画像合成用変換テーブルに基づいた歪み補正を行う。
In step S205, the distortion correction / image synthesis processing unit 10027 performs distortion correction on the
ステップS206では、歪曲補正・画像合成処理部10023は、ステップS205で生成された補正画像0、及び補正画像1を合成し、全天球画像を生成する。
In step S206, the distortion correction / image synthesis processing unit 10027 synthesizes the corrected
合成は、補正画像0と補正画像1の双方に重複して存在する領域(以下、重複領域という。)の画素について補正画像0と補正画像1の双方が有する画素をブレンドする処理などである。合成は、重複領域以外の画素について補正画像0、または補正画像1の画素をそのまま使用する。
The combination includes a process of blending pixels of both the corrected
歪曲補正・画像合成処理部10023は、合成によって、補正画像0と補正画像1から1つの全天球画像が生成する。
The distortion correction / image synthesis processing unit 10027 generates one omnidirectional image from the corrected
<位置検出用歪み補正>
位置検出用歪み補正は、図5の位置検出用歪み補正部202がステップS200で入力された部分画像0、及び部分画像1に対して行う処理である。位置検出用歪み補正は、つなぎ位置検出の処理を行うための前段の処理として行われる。
<Distortion correction for position detection>
The position detection distortion correction is a process performed by the position detection
位置検出用歪み補正は、位置検出用変換テーブル220を用いて、位置検出用補正画像0、及び位置検出用補正画像1を生成する。位置検出用変換テーブル220は、レンズの設計データなどに基づいて生成されたデータである。
In the position detection distortion correction, the position
部分画像0、及び部分画像1は、面積エリアを成す2次元の受光領域を有する固体撮像素子で撮像された画像である。部分画像0、及び部分画像1は、平面座標系(x、y)で表現された画像である。
The
位置検出用補正画像0、及び位置検出用補正画像1は、球面座標系(θ、φ)で表現された画像である。
The position
図7は、本発明の一実施形態に係る撮像システムにおける魚眼レンズの射影関係の一例を説明する図である。 FIG. 7 is a diagram illustrating an example of the projection relationship of the fisheye lens in the imaging system according to an embodiment of the present invention.
図7(A)に示すように、光学系の光軸に対してφの入射角で入射した光は、図7(B)に示すように、像高hの位置に画像形成される。像高hと、入射角φと、の関係は、所定の投影モデルに応じた射影関数で決定される。射影関数は、光学系の性質によって決定される。等距離射影方式の投影モデルの光学系は、焦点距離fとして、下記の(式1)のように表現できる。 As shown in FIG. 7A, light incident at an incident angle of φ with respect to the optical axis of the optical system forms an image at the position of the image height h as shown in FIG. 7B. The relationship between the image height h and the incident angle φ is determined by a projection function corresponding to a predetermined projection model. The projection function is determined by the properties of the optical system. The optical system of the equidistant projection type projection model can be expressed as the following (formula 1) as the focal length f.
図8は、本発明の一実施形態に係る全天球画像のデータ構造の一例を説明する図である。 FIG. 8 is a diagram for explaining an example of the data structure of the omnidirectional image according to the embodiment of the present invention.
図8(A)、及び(B)の縦軸は、光軸に対して垂直方向の角度を示す垂直角度φである。角度φの範囲は、0度から180度である。なお、角度φの範囲は、−90度から90度としてもよい。 8A and 8B is a vertical angle φ indicating an angle in a direction perpendicular to the optical axis. The range of the angle φ is 0 degree to 180 degrees. The range of the angle φ may be −90 degrees to 90 degrees.
図8(A)、及び(B)の横軸は、光軸に対して水平方向の角度を示す水平角度θである。角度θの範囲は、0度から360度である。なお、。角度θの範囲は、−180度から180度としてもよい。 8A and 8B is a horizontal angle θ indicating an angle in the horizontal direction with respect to the optical axis. The range of the angle θ is 0 degree to 360 degrees. In addition ,. The range of the angle θ may be -180 degrees to 180 degrees.
球面座標系の各座標(θ、φ)は、(式1)で説明した射影関数によって平面座標系の各座標(x、y)と対応付けられる。 Each coordinate (θ, φ) in the spherical coordinate system is associated with each coordinate (x, y) in the planar coordinate system by the projection function described in (Equation 1).
図9は、本発明の一実施形態に係る平面座標系から球面座標系への変換の一例を説明する図である。 FIG. 9 is a diagram illustrating an example of conversion from a planar coordinate system to a spherical coordinate system according to an embodiment of the present invention.
図9(A)は、球面座標系の各座標(θ、φ)と平面座標系の各座標(x、y)を対応付けさせた変換テーブルの一例である。変換テーブルは、球面座標系の各座標に対応する平面座標系の座標を記憶する。変換テーブルは、例えば図5の位置検出用変換テーブル220、及び画像合成用変換テーブル224である。 FIG. 9A is an example of a conversion table in which each coordinate (θ, φ) in the spherical coordinate system is associated with each coordinate (x, y) in the plane coordinate system. The conversion table stores the coordinates of the planar coordinate system corresponding to the coordinates of the spherical coordinate system. The conversion tables are, for example, the position detection conversion table 220 and the image composition conversion table 224 of FIG.
図9(B)は、図9(A)で示した変換テーブルに基づいて、平面座標系である部分画像から球面座標系である補正画像に変換する一例を説明する図である。 FIG. 9B is a diagram for explaining an example of conversion from a partial image that is a planar coordinate system to a corrected image that is a spherical coordinate system based on the conversion table shown in FIG.
図9(A)の場合、θ軸方向、及びφ軸方向の1画素は、1/10度分である。したがって、変換テーブルは、3600×1800のレコードを有する。 In the case of FIG. 9A, one pixel in the θ-axis direction and the φ-axis direction is 1/10 degree. Therefore, the conversion table has 3600 × 1800 records.
なお、変換テーブルは、図9(A)に示した形式に限られない。例えば、レコードの単位は、レンズの画角、または補正画像の画素数などによって変更されてもよい。 Note that the conversion table is not limited to the format shown in FIG. For example, the unit of the record may be changed depending on the angle of view of the lens or the number of pixels of the corrected image.
図5の位置検出用変換テーブル220は、レンズの設計データ、及び(式1)で示した射影関数に基づいて、理想状態のレンズから算出されたデータである。 The position detection conversion table 220 in FIG. 5 is data calculated from the lens in an ideal state based on the lens design data and the projection function shown in (Equation 1).
なお、平面座標系から球面座標系への変換は、変換テーブルを用いて行うに限られない。例えば、1または複数の関数を用いて行ってもよい。 The conversion from the plane coordinate system to the spherical coordinate system is not limited to using the conversion table. For example, one or a plurality of functions may be used.
位置検出用歪み補正は、図5の位置検出用変換テーブル220を用いて行われる。位置検出用歪み補正は、図5の位置検出用変換テーブル220に基づいて位置検出用補正画像0、及び1にマッピング(Mapping)する部分画像0、及び1の対応する画素の座標を算出する。位置検出用歪み補正は、算出された部分画像0、及び1の座標値の画素値を参照し、位置検出用補正画像0、及び1を生成する。
The position detection distortion correction is performed using the position detection conversion table 220 of FIG. In the position detection distortion correction, the coordinates of the corresponding pixels of the
図10は、本発明の一実施形態に係る位置検出用補正画像を用いたマッピングの一例を説明する図である。 FIG. 10 is a diagram illustrating an example of mapping using the position detection correction image according to the embodiment of the present invention.
位置検出用歪み補正によって生成された位置検出用補正画像0、及び1は、図10に示すようにマッピングできる。したがって、例えばレンズ0で撮像された部分画像0は、全天球画像の上半球部分にマッピングされ、レンズ1で撮像された部分画像1は、全天球画像の下半球部分にマッピングされる。レンズ0、及びレンズ1の画角が180度以上である場合、部分画像0と部分画像1との重複領域が発生する。
The position
<つなぎ位置検出>
つなぎ位置検出は、重複領域においてつなぎ位置を検出する。
<Connecting position detection>
In the connection position detection, a connection position is detected in the overlapping region.
垂直角度φは、極となる0度または180度に近づくにつれて水平角度θと実際の距離との乖離が大きくなる。垂直角度φが0度または180度の場合、水平方向の距離が0となり、水平方向に並ぶ画素はすべて同じ方位を表現する。水平方向の距離の変化量は、極となる0度または180度に近づくにつれて大きくなり、90度の場合、最も小さくなる。水平方向の距離の変化量は、水平方向に画像がずれた場合に歪み方が変化する量となるため、垂直角度φが0度または180度に近づくほどつなぎ位置検出精度が悪化する。 As the vertical angle φ approaches 0 ° or 180 ° as a pole, the difference between the horizontal angle θ and the actual distance increases. When the vertical angle φ is 0 degree or 180 degrees, the distance in the horizontal direction is 0, and all the pixels arranged in the horizontal direction express the same direction. The amount of change in the distance in the horizontal direction increases as it approaches 0 or 180 degrees, which is the pole, and is the smallest at 90 degrees. The amount of change in the distance in the horizontal direction is the amount by which the distortion changes when the image is shifted in the horizontal direction. Therefore, as the vertical angle φ approaches 0 degrees or 180 degrees, the joint position detection accuracy deteriorates.
図5の位置検出用変換テーブル220は、図10に示すように、レンズ0及び1の光軸が極であるφ=0度または180度となる射影をするように生成される。また、図5の位置検出用変換テーブル220は、図10に示すように、重複領域がφ=90度±((全画角−180度)/2)となる射影をするように生成される。図10の場合、レンズ0の光軸は、マッピングした図のθ軸、及びφ軸と一致する。このように図5の位置検出用変換テーブル220を生成するため、重複領域は、図10に示すように、垂直角度φ90度を中心として生成される。水平方向の距離の変化量が最も少ない領域が重複領域となるため、画像が水平方向にずれた場合、図5のつなぎ位置検出部204は、精度良くつなぎ位置検出を行うことができる。
As shown in FIG. 10, the position detection conversion table 220 in FIG. 5 is generated so that the projection is such that φ = 0 degrees or 180 degrees where the optical axes of the
図11は、本発明の一実施形態に係るつなぎ位置検出の処理の一例を説明するフローチャートである。図11の処理は、図6のステップS202で行われる処理の一例である。 FIG. 11 is a flowchart illustrating an example of a connection position detection process according to an embodiment of the present invention. The process of FIG. 11 is an example of the process performed in step S202 of FIG.
図12は、本発明の一実施形態に係るつなぎ位置検出の処理、及び検出結果データの一例を説明する図である。以下、パターン画像300の場合を例に説明する。
FIG. 12 is a diagram for explaining an example of connection position detection processing and detection result data according to an embodiment of the present invention. Hereinafter, the case of the
ステップS300では、図5のつなぎ位置検出部204は、図6のステップS201で歪み補正が行われ、位置検出用補正画像0、及び1が生成された際、つなぎ位置検出の処理を開始する。
In step S300, the joint
ステップS301では、図5のつなぎ位置検出部204は、重複領域内で任意の範囲をパターン画像として設定する。パターン画像300は、図内で「☆」と示されている画素を中心に、縦11画素×横11画素の範囲をパターン画像に設定する。なお、θ軸の極である0度及び360度はつながっているため、画像の右端と左端は、連続してパターン画像に設定してもよい。
In step S301, the connection
ステップS302では、図5のつなぎ位置検出部204は、位置検出用補正画像0においてステップS301でされたパターン画像300をパターンマッチングする。図5のつなぎ位置検出部204は、パターンマッチングによってパターン画像300と同一の画像のある箇所を検出する。パターンマッチングは、例えばパターン画像300を利用したテンプレートマッチング法などである。
In step S302, the connection
ステップS303では、図5のつなぎ位置検出部204は、ステップS302で検出された位置検出用補正画像0と位置検出用補正画像1のパターン画像300のずれ量(Δθ、Δφ)を算出する。具体的には、図5のつなぎ位置検出部204は、図12(B)で示すように、ステップS301で設定した「☆」と示されている画素の座標についてずれ量(Δθ、Δφ)を算出する。
In step S303, the joint
ずれ量(Δθ、Δφ)は、位置検出用補正画像1の任意の座標(θ、φ)をずれ量(Δθ、Δφ)移動させると位置検出用補正画像0と一致する補正量を示す。図5のつなぎ位置検出部204は、ずれ量(Δθ、Δφ)を図5の検出結果データ222として出力する。
The shift amounts (Δθ, Δφ) indicate correction amounts that coincide with the position
ステップS304では、図5のつなぎ位置検出部204は、つなぎ位置検出の処理を終了させる。
In step S304, the connection
<位置合わせの修正>
図5のテーブル修正部206は、図5の検出結果データ222に基づいて図5の位置検出用変換テーブル220を修正する。位置合わせの修正は、図6のステップS203で行われる処理の一例である。
<Correction of alignment>
The
図13は、本発明の一実施形態に係る位置合わせの修正の一例を説明する図である。 FIG. 13 is a diagram for explaining an example of alignment correction according to an embodiment of the present invention.
修正テーブル400は、位置合わせの修正によって図9(A)の球面座標系の各座標(θ、φ)を修正する一例である。位置合わせの修正によって、位置合わせの修正前では(θ、φ)に対応していた(x、y)が(θ+Δθ、φ+Δφ)に対応するように変更される。 The correction table 400 is an example of correcting each coordinate (θ, φ) of the spherical coordinate system in FIG. 9A by correcting the alignment. By the alignment correction, (x, y) corresponding to (θ, φ) before the alignment correction is changed to correspond to (θ + Δθ, φ + Δφ).
<画像合成用変換テーブル>
図5のテーブル生成部208は、位置合わせの修正で生成された修正テーブル400を回転変換させて図5の画像合成用変換テーブル224を生成する。
<Conversion table for image composition>
The
図14は、本発明の一実施形態に係る画像合成用変換テーブルの生成の一例を説明するフローチャートである。画像合成用変換テーブルの生成は、図6のステップS204で行われる処理の一例である。 FIG. 14 is a flowchart illustrating an example of generation of an image composition conversion table according to an embodiment of the present invention. The generation of the image composition conversion table is an example of the process performed in step S204 of FIG.
ステップS400では、図5のテーブル生成部208は、位置合わせの修正によって図5の位置検出用変換テーブル220を修正された際に開始する。
In step S400, the
ステップS401では、図5のテーブル生成部208は、画像合成用の球面座標系(θg、φg)に対応する位置検出用の球面座標系(θd、φd)を算出する。
In step S401, the
図15は、本発明の一実施形態に係る画像合成におけるマッピングの一例を説明する図である。 FIG. 15 is a diagram illustrating an example of mapping in image composition according to an embodiment of the present invention.
図5のテーブル生成部208は、回転変換によって図10に示した光軸を垂直方向とした軸から図15で示すように光軸を水平方向とした軸に軸を回転させて変換する。
The
位置検出用の球面座標系(θd、φd)は、動径を1とした場合、(θg、φg)と、(θg、φg)に対応する3次元座標系(xg、yg、zg)と、(θd、φd)対応する3次元座標系(xd、yd、zd)を用いて下記(式5)のように示せる。 The spherical coordinate system (θd, φd) for position detection has (θg, φg) and a three-dimensional coordinate system (xg, yg, zg) corresponding to (θg, φg) when the moving radius is 1. (Θd, φd) Using the corresponding three-dimensional coordinate system (xd, yd, zd), it can be expressed as (Equation 5) below.
図5の位置検出用変換テーブル220は、光軸が球面の極に、画像間の重複部分が球面赤道近傍に射影されていたため、全天球画像の上下方向と撮影された画像の上下方向が一致していない。撮像システム10は、図5の画像合成用変換テーブル224を用いる回転変換によって、全天球画像の上下方向と撮影された画像の上下方向を一致させることができる。
In the position detection conversion table 220 in FIG. 5, since the optical axis is projected onto the spherical pole and the overlapping portion between the images is projected near the spherical equator, the vertical direction of the omnidirectional image and the vertical direction of the captured image are Does not match. The
ステップS402では、図5のテーブル生成部208は、図5の画像合成用変換テーブル224に基づいて位置検出用の球面座標系(θd、φd)に対応する部分画像における座標(x、y)を算出する。算出によって、図5の画像合成用変換テーブル224が生成される。
In step S402, the
なお、図5の位置検出用変換テーブル220、及び画像合成用変換テーブル224は、整数値による算出に限られない。例えば、小数点以下の値を重み係数として、周辺の画素から補間を行ってもよい。補間は、例えばバイリニア法(Bi−linear interpolation)、バイキュービック法(Bi−cubic convolution)などを用いて算出してもよい。 Note that the position detection conversion table 220 and the image composition conversion table 224 in FIG. 5 are not limited to calculations using integer values. For example, interpolation may be performed from surrounding pixels using a value after the decimal point as a weighting factor. The interpolation may be calculated using, for example, a bi-linear method (Bi-linear interpolation), a bi-cubic method (Bi-cubic conversion), or the like.
ステップS403では、図5のテーブル生成部208は、すべての座標について算出が終了した場合、処理を終了する。
In step S403, the
<画像合成用変換テーブルに基づいた歪み補正>
図5の画像合成用歪み補正部210は、図5の変換データの一例である画像合成用変換テーブル224に基づいて部分画像0、及び部分画像1に歪み補正を行い、画像合成用補正画像0、及び画像合成用補正画像1を生成する。部分画像0、及び部分画像1は、図5の画像合成用歪み補正部210による処理によって、図15で示した全天球画像のようにマッピングが行われる。
<Distortion correction based on conversion table for image composition>
The image synthesis
図10で示した全天球画像では、重複領域が赤道付近にマッピングされるのに対して、図15で示した全天球画像では、部分画像0、及び部分画像1の中心部分が歪みの少ない赤道付近にマッピングされる。
In the omnidirectional image shown in FIG. 10, the overlapping region is mapped near the equator, whereas in the omnidirectional image shown in FIG. 15, the central portions of the
図6のステップS202のつなぎ位置検出に用いるテーブルと図6のステップS205の画像合成に用いるテーブルを別のテーブルを用いる構成によって、精度良くつなぎ位置検出を行うことができる。 By using different tables for the connection position detection in step S202 of FIG. 6 and the table used for image composition in step S205 of FIG. 6, the connection position detection can be performed with high accuracy.
<ホワイトバランス>
図16は、本発明の一実施形態に係るホワイトバランスのための処理を説明するデータフロー図である。
<White balance>
FIG. 16 is a data flow diagram illustrating processing for white balance according to an embodiment of the present invention.
ステップS501Aでは、固体撮像素子22Aは、撮像によってRawRGBデータAを生成する。同様に、ステップS501Bでは、固体撮像素子22Bは、撮像によってRawRGBデータBを生成する。
In step S501A, the solid-
ステップS502では、図2のISP108Bは、ステップS501Bで生成されたRawRGBデータBに感度差補正係数を乗算して補正RawRGBデータBを生成する。 In step S502, the ISP 108B of FIG. 2 multiplies the RawRGB data B generated in step S501B by the sensitivity difference correction coefficient to generate corrected RawRGB data B.
なお、感度差補正係数が1.0である補正を行って、各撮像素子から出力される画像が均一の処理となるようにしてもよい。 It should be noted that correction with a sensitivity difference correction coefficient of 1.0 may be performed so that an image output from each imaging element is processed uniformly.
感度差補正係数は、固体撮像素子22Aと固体撮像素子22Bの固体撮像素子による感度の個体差を補正する係数である。RawRGBデータBの各画素の値に、感度差補正係数を乗算するとRawRGBデータAと出力レベルを同一に揃えることができる。感度差補正係数は、固体撮像素子22Aの相対値をA、固体撮像素子22Bの相対値をBとした場合、下記(式6)のように示すことができる。
The sensitivity difference correction coefficient is a coefficient for correcting an individual difference in sensitivity between the solid-
なお、相対値は、全画素のうちRedの値をGreen/Redで乗算、及び全画素のうちBlueの値をGreen/Blueで乗算し、Greenの出力レベルに各色の値を同一にしてから積算して、算出されてもよい。 The relative values are multiplied after the red value of all pixels is multiplied by green / red, and the blue value of all pixels is multiplied by green / blue, and the values of each color are made equal to the green output level. And may be calculated.
また、相対値は、画像を所定の領域に分割して領域ごとに算出されてもよい。 The relative value may be calculated for each area by dividing the image into predetermined areas.
相対値A、及び相対値Bは、予め算出され、メモリ(図示せず)などに記憶される。ここで、相対値A、及びBは、予め算出されていると、処理スピードが向上する。しかしながら、必ずしも相対値が記憶されている必要は無く、適宜に、求められてもよい。このような仕組みは、時間が経過、または温度の変化などによって、レンズなどの光学系、または光学センサなどの固体撮像素子などに変化が生じた場合、変化の影響を少なくすることができる。 The relative value A and the relative value B are calculated in advance and stored in a memory (not shown) or the like. Here, if the relative values A and B are calculated in advance, the processing speed is improved. However, the relative value is not necessarily stored, and may be obtained as appropriate. Such a mechanism can reduce the influence of a change when a change occurs in an optical system such as a lens or a solid-state imaging device such as an optical sensor due to the passage of time or a change in temperature.
なお、予め感度差補正係数を算出し、感度差補正係数を記憶してもよい。 Note that the sensitivity difference correction coefficient may be calculated in advance and the sensitivity difference correction coefficient may be stored.
また、相対値は、積算した値(積算値)を画素数で除算し、平均値としてもよい。 The relative value may be an average value obtained by dividing the integrated value (integrated value) by the number of pixels.
さらに、感度差補正係数は、各個体撮像素子の出力を平均化させるために、各相対値の平均値を算出し、各相対値に感度差補正係数を乗算すると平均値となる値でもよい。 Further, the sensitivity difference correction coefficient may be a value that becomes an average value when an average value of each relative value is calculated and the relative value is multiplied by the sensitivity difference correction coefficient in order to average the outputs of the individual image pickup devices.
ステップS503では、ステップS501Aで生成されたRawRGBデータA、及びステップS502で生成された補正RawRGBデータBを結合する。結合によって、RawRGBデータAと、補正RawRGBデータBと、が結合した結合画像が生成される。 In step S503, the RawRGB data A generated in step S501A and the corrected RawRGB data B generated in step S502 are combined. As a result of the combination, a combined image in which the RawRGB data A and the corrected RawRGB data B are combined is generated.
ステップS504では、ステップS503で生成された結合画像を用いてホワイトバランスの補正係数が算出される。ホワイトバランスの補正係数の算出は、具体的には、結合画像から白色と推定される領域を検出する。白色の領域におけるRed、Green、及びBlueの値において、ホワイトバランス補正の係数は、RGBの値の対比が1:1:1となるようにRed、及びBlueの色データに対して乗算するゲインの値を求めることで算出される。 In step S504, a white balance correction coefficient is calculated using the combined image generated in step S503. Specifically, the white balance correction coefficient is calculated by detecting an area estimated to be white from the combined image. In the red, green, and blue values in the white region, the white balance correction coefficient is a gain that is multiplied with the red and blue color data so that the contrast of the RGB values is 1: 1: 1. Calculated by finding the value.
なお、ホワイトバランスの補正係数は、ゲインの値に限られない。例えば、加算する値、またはゲインの値と加算する値を組み合わせて用いてもよい。 The white balance correction coefficient is not limited to the gain value. For example, a value to be added, or a combination of a gain value and a value to be added may be used.
撮像システム10は、結合画像を用いることで固体撮像素子の生成する画像を用いる場合より画素数が多く用いられるため、ホワイトバランスの補正係数を算出する際、白色と推定される領域のデータを得られる確率を高くすることができる。
Since the
なお、ホワイトバランスの補正係数の算出は、検出された白色の画素の被写体を追尾する処理を行ってもよい。 The white balance correction coefficient may be calculated by tracking the detected white pixel subject.
結合画像を用いることで、ホワイトバランスの補正係数の算出に用いられる画像を1つにすることができるため、従来のホワイトバランス用のアルゴリズム及び装置などを転用することができる。 By using the combined image, it is possible to make one image used for calculating the white balance correction coefficient, so it is possible to divert conventional white balance algorithms and devices.
さらに、結合画像を用いることで、被写体が異なるなどの撮像条件の影響を少なくすることができる。そのため、各個体撮像素子ごとにホワイトバランスの補正係数を算出する場合よりも均一のホワイトバランスの補正係数を算出することができる。 Furthermore, by using the combined image, it is possible to reduce the influence of imaging conditions such as different subjects. Therefore, it is possible to calculate a white balance correction coefficient that is more uniform than when a white balance correction coefficient is calculated for each individual image sensor.
図2のISP108A、及びISP108Bは、結合画像を用いて算出されたホワイトバランスの補正係数に基づいてホワイトバランスを行う。撮像システム10は、ホワイトバランスが補正された画像を、図5の部分画像0、及び部分画像1として全天球画像を生成するための処理を行う。撮像システム10は、結合画像を用いて算出されたホワイトバランスの補正係数に基づいて補正された画像を用いることで、色あいが均一となった全天球画像を生成することができる。
The ISP 108A and ISP 108B in FIG. 2 perform white balance based on the white balance correction coefficient calculated using the combined image. The
なお、ホワイトバランスは、RawRGBデータA、及びRawRGBデータBに行われるに限られない。例えば、ホワイトバランスは、図6のステップS206で合成された画像に行われてもよい。 The white balance is not limited to the RawRGB data A and the RawRGB data B. For example, white balance may be performed on the image synthesized in step S206 of FIG.
なお、撮像システム10は、撮像素子が2つの場合に限られない。例えば、3つ以上の撮像素子を有してもよい。さらに、撮像システム10は、1つの撮像素子の撮像角度を変えて、複数の部分画像を撮像するでもよい。
Note that the
また、撮像システム10は、魚眼レンズを用いる光学系に限られない。例えば、広角レンズを用いてもよい。
Further, the
なお、撮像システム10は、アセンブラ、C、C++、C#、及びJava(登録商標)などのレガシープログラミング言語やオブジェクト指向プログラミング言語などで記述されたコンピュータ実行可能なプログラムによって実現されてもよい。プログラムは、ROM、またはEEPROM(Electrically Erasable Programmable ROM)などの記録媒体に格納して頒布することができる。プログラムは、EPROM(Erasable Programmable ROM)などの記録媒体に格納して頒布することができる。プログラムは、フラッシュメモリ、フレキシブルディスク、CD−ROM、CD−RW、DVD−ROM、DVD−RAM、またはDVD−RWなどの記録媒体に格納して頒布することができる。プログラムは、ブルーレイディスク、SD(登録商標)カード、またはMOなど装置可読な記録媒体に格納して、あるいは電気通信回線を通じて頒布することができる。
The
また、機能の一部または全部は、例えばフィールド・プログラマブル・ゲート・アレイ(FPGA)などのプログラマブル・デバイス(PD)上に実装することができる。または機能の一部または全部は、ASIC(特定用途向集積)として実装することができる。 Also, some or all of the functions can be implemented on a programmable device (PD) such as a field programmable gate array (FPGA). Alternatively, some or all of the functions can be implemented as an ASIC (application specific integration).
機能の一部または全部は、PDにダウンロードする回路構成データ(ビットストリームデータ)、回路構成データを生成するためのHDL(Hardware Description Language)などで記述され、PDにダウンロードして実現されてもよい。さらに、機能の一部または全部は、VHDL(VHSIC(Very High Speed Integrated Circuits)HDL)、またはVerilog−HDLなどで記述され、PDにダウンロードして実現されてもよい。 Part or all of the functions are described in circuit configuration data (bit stream data) downloaded to the PD, HDL (Hardware Description Language) for generating the circuit configuration data, and may be realized by downloading to the PD. . Furthermore, part or all of the functions may be described in VHDL (VHSIC (Very High Speed Integrated Circuits) HDL), Verilog-HDL, or the like, and may be realized by downloading to PD.
以上、本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。 The preferred embodiments of the present invention have been described in detail above, but the present invention is not limited to such specific embodiments, and various modifications can be made within the scope of the gist of the present invention described in the claims. Can be changed.
10 全天球撮像システム
12 撮像体
14 筐体
18 シャッター・ボタン
20A、20B 結像光学系
22A、22B 固体撮像素子
202 位置検出用歪み補正部
204 つなぎ位置検出部
206 テーブル修正部
208 テーブル生成部
210 画像合成用歪み補正部
212 画像合成部
220 位置検出用変換テーブル
222 検出結果データ
224 画像合成用変換テーブル
300 パターン画像
310 位置検出用補正画像0
400 修正テーブル
1001 撮像部
1002 画像処理部
10021 前処理部
10022 後処理部
10023 歪曲補正・画像合成処理部
1003 制御部
1004 出力部
DESCRIPTION OF
400 Correction table 1001
Claims (6)
前記画像の画素値の積算値に基づいて算出された前記撮像素子ごとの出力レベルを示す相対値を予め記憶しておく記憶手段と、
前記相対値を用いて、前記複数の撮像素子のうちの一つの撮像素子の出力レベルと、前記複数の撮像素子のうち他の撮像素子の出力レベルとが、同一の出力レベルになるように補正する感度差補正係数を算出する算出手段と、
画像からホワイトバランスの補正係数を演算する演算手段と、を有し、
前記演算手段は、
前記複数の撮像素子が出力する画像に対して前記算出手段によって算出された前記感度差補正係数に基づいて補正した画像を結合した一つの画像に基づいてホワイトバランスの補正係数を演算する撮像装置。 An imaging apparatus having a plurality of imaging elements for outputting images,
Storage means for storing in advance a relative value indicating an output level for each of the image sensors calculated based on an integrated value of pixel values of the image;
Using the relative value, the output level of one of the plurality of image sensors is corrected so that the output level of the other image sensor of the plurality of image sensors becomes the same output level. Calculating means for calculating a sensitivity difference correction coefficient to be
Calculating means for calculating a white balance correction coefficient from the image,
The computing means is
An imaging apparatus that calculates a white balance correction coefficient based on a single image obtained by combining images corrected based on the sensitivity difference correction coefficient calculated by the calculation unit with respect to images output from the plurality of imaging elements.
画像の画素値の積算値に基づいて算出された撮像素子ごとの出力レベルを示す相対値を用いて、複数の撮像素子のうちの一つの撮像素子の出力レベルと、複数の撮像素子のうち他の撮像素子の出力レベルとが、同一の出力レベルになるように補正する予め算出された感度差補正係数を記憶する記憶手段と、
画像からホワイトバランスの補正係数を演算する演算手段と、を有し、
前記演算手段は、
前記感度差補正係数に基づいて補正した画像を結合した一つの画像に基づいてホワイトバランスの補正係数を演算する撮像装置。 An imaging apparatus having a plurality of imaging elements for outputting images,
Using the relative value indicating the output level for each image sensor calculated based on the integrated value of the pixel values of the image, the output level of one of the plurality of image sensors and the other of the plurality of image sensors Storage means for storing a sensitivity difference correction coefficient calculated in advance so as to correct the output level of the image sensor to the same output level;
Calculating means for calculating a white balance correction coefficient from the image,
The computing means is
An imaging apparatus that calculates a white balance correction coefficient based on one image obtained by combining images corrected based on the sensitivity difference correction coefficient.
前記画像の画素値の積算値に基づいて前記撮像素子ごとの出力レベルを示す相対値を算出する相対値算出手段と、
前記相対値を用いて、前記複数の撮像素子のうちの一つの撮像素子の出力レベルと、前記複数の撮像素子のうち他の撮像素子の出力レベルとが、同一の出力レベルになるように補正する感度差補正係数を算出する算出手段と、
画像からホワイトバランスの補正係数を演算する演算手段と、を有し、
前記演算手段は、
前記複数の撮像素子が出力する画像に対して前記算出手段によって算出された前記感度差補正係数に基づいて補正した画像を結合した一つの画像に基づいてホワイトバランスの補正係数を演算する撮像装置。 An imaging apparatus having a plurality of imaging elements for outputting images,
A relative value calculating means for calculating a relative value indicating an output level for each of the image sensors based on an integrated value of pixel values of the image;
Using the relative value, the output level of one of the plurality of image sensors is corrected so that the output level of the other image sensor of the plurality of image sensors becomes the same output level. Calculating means for calculating a sensitivity difference correction coefficient to be
Calculating means for calculating a white balance correction coefficient from the image,
The computing means is
An imaging apparatus that calculates a white balance correction coefficient based on a single image obtained by combining images corrected based on the sensitivity difference correction coefficient calculated by the calculation unit with respect to images output from the plurality of imaging elements.
前記変換手段によって変換された複数の画像間をつなぐ位置を検出するつなぎ位置検出手段と、
前記つなぎ位置検出手段による検出結果に基づいて前記変換データを修正する修正手段と、
前記修正手段によって修正された変換データに基づいて複数の画像を合成する合成手段を有する請求項1乃至3のいずれかに記載の撮像装置。 Conversion means for converting an image subjected to white balance based on a white balance correction coefficient calculated by the calculation means into a different coordinate system based on conversion data;
A connection position detecting means for detecting a position connecting a plurality of images converted by the conversion means;
Correction means for correcting the conversion data based on a detection result by the connection position detection means;
The imaging apparatus according to claim 1, further comprising a combining unit that combines a plurality of images based on the conversion data corrected by the correcting unit.
前記相対値を用いて、前記複数の撮像素子のうちの一つの撮像素子の出力レベルと、前記複数の撮像素子のうち他の撮像素子の出力レベルとが、同一の出力レベルになるように補正する感度差補正係数を算出する算出手順と、
画像からホワイトバランスの補正係数を演算する演算手順と、を有し、
前記演算手順は、
前記複数の撮像素子が出力する画像に対して前記算出手順によって算出された前記感度差補正係数に基づいて補正した画像を結合した一つの画像に基づいてホワイトバランスの補正係数を演算する撮像方法。 A storage procedure for storing in advance a relative value indicating an output level for each image sensor calculated based on an integrated value of pixel values of an image output from each image sensor of an image pickup device having a plurality of image sensors;
Using the relative value, the output level of one of the plurality of image sensors is corrected so that the output level of the other image sensor of the plurality of image sensors becomes the same output level. A calculation procedure for calculating a sensitivity difference correction coefficient to be performed;
A calculation procedure for calculating a white balance correction coefficient from the image,
The calculation procedure is as follows:
An imaging method for calculating a white balance correction coefficient based on one image obtained by combining images corrected based on the sensitivity difference correction coefficient calculated by the calculation procedure with respect to images output from the plurality of imaging elements.
前記相対値を用いて、前記複数の撮像素子のうちの一つの撮像素子の出力レベルと、前記複数の撮像素子のうち他の撮像素子の出力レベルとが、同一の出力レベルになるように補正する感度差補正係数を算出する算出手順と、
画像からホワイトバランスの補正係数を演算する演算手順と、を有し、
前記演算手順は、
前記複数の撮像素子が出力する画像に対して前記算出手順によって算出された前記感度差補正係数に基づいて補正した画像を結合した一つの画像に基づいてホワイトバランスの補正係数を演算する撮像方法を
コンピュータに実行させるプログラム。 A storage procedure for storing in advance a relative value indicating an output level for each image sensor calculated based on an integrated value of pixel values of an image output from each image sensor of an image pickup device having a plurality of image sensors;
Using the relative value, the output level of one of the plurality of image sensors is corrected so that the output level of the other image sensor of the plurality of image sensors becomes the same output level. A calculation procedure for calculating a sensitivity difference correction coefficient to be performed;
A calculation procedure for calculating a white balance correction coefficient from the image,
The calculation procedure is as follows:
An imaging method for calculating a white balance correction coefficient based on a single image obtained by combining images corrected based on the sensitivity difference correction coefficient calculated by the calculation procedure with respect to images output from the plurality of imaging elements. A program to be executed by a computer.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013177732A JP6291748B2 (en) | 2013-08-29 | 2013-08-29 | Imaging apparatus, imaging method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013177732A JP6291748B2 (en) | 2013-08-29 | 2013-08-29 | Imaging apparatus, imaging method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015046813A true JP2015046813A (en) | 2015-03-12 |
JP6291748B2 JP6291748B2 (en) | 2018-03-14 |
Family
ID=52671983
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013177732A Active JP6291748B2 (en) | 2013-08-29 | 2013-08-29 | Imaging apparatus, imaging method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6291748B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017219730A (en) * | 2016-06-08 | 2017-12-14 | 株式会社ザクティ | Imaging device |
JP2019012881A (en) * | 2017-06-29 | 2019-01-24 | キヤノン株式会社 | Imaging control device and control method of the same |
JP2021057919A (en) * | 2020-12-28 | 2021-04-08 | 株式会社リコー | Imaging apparatus and imaging method |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI788838B (en) * | 2021-05-07 | 2023-01-01 | 宏茂光電股份有限公司 | Method for coordinate transformation from spherical to polar |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04372289A (en) * | 1991-06-21 | 1992-12-25 | Canon Inc | Image pickup device |
JPH06261333A (en) * | 1993-03-08 | 1994-09-16 | Canon Inc | Image pickup device |
JP2003008978A (en) * | 2001-06-21 | 2003-01-10 | Nikon Corp | Image signal processor, microscope system, and microscope |
JP2005167956A (en) * | 2003-12-03 | 2005-06-23 | Samsung Electro Mech Co Ltd | Digital auto white balancing device |
JP2006059202A (en) * | 2004-08-20 | 2006-03-02 | Iwate Univ | Imaging device and image correction method |
JP2011030091A (en) * | 2009-07-28 | 2011-02-10 | Fujifilm Corp | Compound eye image pickup device and method for adjusting white balance of the same |
-
2013
- 2013-08-29 JP JP2013177732A patent/JP6291748B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04372289A (en) * | 1991-06-21 | 1992-12-25 | Canon Inc | Image pickup device |
JPH06261333A (en) * | 1993-03-08 | 1994-09-16 | Canon Inc | Image pickup device |
JP2003008978A (en) * | 2001-06-21 | 2003-01-10 | Nikon Corp | Image signal processor, microscope system, and microscope |
JP2005167956A (en) * | 2003-12-03 | 2005-06-23 | Samsung Electro Mech Co Ltd | Digital auto white balancing device |
JP2006059202A (en) * | 2004-08-20 | 2006-03-02 | Iwate Univ | Imaging device and image correction method |
JP2011030091A (en) * | 2009-07-28 | 2011-02-10 | Fujifilm Corp | Compound eye image pickup device and method for adjusting white balance of the same |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017219730A (en) * | 2016-06-08 | 2017-12-14 | 株式会社ザクティ | Imaging device |
JP2019012881A (en) * | 2017-06-29 | 2019-01-24 | キヤノン株式会社 | Imaging control device and control method of the same |
JP7000050B2 (en) | 2017-06-29 | 2022-01-19 | キヤノン株式会社 | Imaging control device and its control method |
JP2021057919A (en) * | 2020-12-28 | 2021-04-08 | 株式会社リコー | Imaging apparatus and imaging method |
JP7215472B2 (en) | 2020-12-28 | 2023-01-31 | 株式会社リコー | Imaging device and imaging method |
Also Published As
Publication number | Publication date |
---|---|
JP6291748B2 (en) | 2018-03-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6721065B2 (en) | Imaging device, image processing device and method | |
US10834316B2 (en) | Image processing apparatus, image processing method, and imaging system | |
JP6065474B2 (en) | Imaging control apparatus, imaging control method, and program | |
JP2017208619A (en) | Image processing apparatus, image processing method, program and imaging system | |
JP5846172B2 (en) | Image processing apparatus, image processing method, program, and imaging system | |
JP6291748B2 (en) | Imaging apparatus, imaging method, and program | |
JP6665917B2 (en) | Image processing device | |
JP6222205B2 (en) | Image processing device | |
JP5796611B2 (en) | Image processing apparatus, image processing method, program, and imaging system | |
JP7383911B2 (en) | Imaging system, image processing device, imaging device and program | |
JP2016040883A (en) | Image processing device, image processing method, image processing system, and program | |
CN108476290B (en) | Electronic device for providing panoramic image and control method thereof | |
JP6079838B2 (en) | Image processing apparatus, program, image processing method, and imaging system | |
JP6439845B2 (en) | Image processing device | |
JP2020078065A (en) | Imaging apparatus, information processing apparatus, correction amount setting method, and program | |
JP2021005828A (en) | Imaging apparatus, imaging system, method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160809 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170419 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170606 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170807 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180116 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180129 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6291748 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |