JP5704984B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP5704984B2 JP5704984B2 JP2011062928A JP2011062928A JP5704984B2 JP 5704984 B2 JP5704984 B2 JP 5704984B2 JP 2011062928 A JP2011062928 A JP 2011062928A JP 2011062928 A JP2011062928 A JP 2011062928A JP 5704984 B2 JP5704984 B2 JP 5704984B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging
- image data
- channel
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
- H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
- H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Studio Devices (AREA)
- Color Television Image Signal Generators (AREA)
- Image Processing (AREA)
Description
図1により異なるカメラで撮像した画像を合成する方法を説明する。図1は二台のカメラ101と102を用意して同じ被写体107を撮像する一例を示している。
図3の模式図により実施例の撮像装置の概観を説明する。図3(a)はカメラボディ301の前面(被写体側)を、図3(b)はカメラボディ301の背面をそれぞれ示す。
図5のフローチャートにより本実施例の撮像装置による撮像処理を説明する。
図6のブロック図により撮像部401-409の構成例を説明する。なお、図6には撮像部401の構成例を示すが、他の撮像部402-408も同様の構成を有する。
図8のブロック図により画像生成部420の構成例を説明する。
if (m+n=2l, l∈N)
I'(m, n) = I(m, n);
if (m+n≠2l, l∈N)
I'(m, n) = {I(m-1, n) + I(m+1, n) + I(m, n-1) + I(m, n+1)}/4; …(1)
図10に空白のセルとして示すように、位置合わせ画素は、カラー画素と同様に、X方向、Y方向に交互に当該画素が存在する存在しないを繰り返す。そこで、位置合わせするために、位置合せ画素の配列を45度回転して通常の正方格子の配列として考える。式(2)は、このような座標変換を行う行列を示す。
┌ ┐
M = │ 1/2 1/2│
│-1/2 1/2│ …(2)
└ ┘
┌ ┐ ┌ ┐
│h│= M│m│
│k│ │n│ …(3)
└ ┘ └ ┘
┌ ┐ ┌ ┐┌ ┐
│h'│ │a b c││h│
│k'│=│d e f││k│ …(4)
│ 1│ │0 0 1││1│
└ ┘ └ ┘└ ┘
ここで、(h, k)は特徴点の位置、
(h', k')は対応点の位置。
x' = Ax …(5)
ここで、xとx'は1×3行列、
Aは3×3行列。
X = (x1 X2 … xn) …(6)
X' = (x1' x2' … xn') …(7)
X' = AX …(8)
A = X'XT(XXT)-1 …(9)
ここで、Tは転置行列を表す。
┌ ┐ ┌ ┐-1┌ ┐┌ ┐
│m'│ │M 0│ │M 0││m│
│n'│=│0 1│ A│0 1││n│ …(10)
│ 1│ └ ┘ └ ┘│1│
└ ┘ └ ┘
再サンプリング部804は、式(10)によって算出される位置ずれ量に従い、位置合せ画像のカラー画素の再サンプリングを行う。カラー画素は、その半数がない状態にあるので、式(10)の両辺に式(3)のような座標変換を適用すると式(11)が得られる。
┌ ┐ ┌ ┐┌ ┐
│h'│ │M 0││m│
│k'│= A│0 1││n│ …(11)
│ 1│ └ ┘│1│
└ ┘ └ ┘
ここで、(h', k')は位置合せ画像の変換後の座標。
上記では、多眼カメラが格子状に配列された九つの撮像部を有する例を説明した。しかし、撮像部は二つ以上あればよく、本実施例は、撮像部の数と配置によって限定されるわけではない。
┌ ┐
M = │1/2 0 │
│ 0 1/2│ …(12)
└ ┘
上記では、一つの撮像部当り、共通素子を一種類、固有素子を三種類とする例を説明した。しかし、各色成分それぞれ異なる撮像部によって撮影してもよく、本実施例は、固有素子の種類の数に限定されるわけではない。
T1n+1 = Tnn+1 - T1n …(13)
また、フィルタC1=C10として撮像部401-409を構成することも可能である。画像生成部420は、共通の撮像特性を有する撮像部によって取得された画像データから、共通の撮像特性を有する撮像素子を有する二つの撮像部によって取得された画像データの画像間の位置ずれ量を算出する処理を繰り返す。そして、算出した位置ずれ量を累積することで、一つの撮像部によって取得された画像データの基準画像に対して、他の撮像部によって取得された画像データの画像の位置ずれ量を算出する。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステムあるいは装置のコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行する処理である。
Claims (5)
- 被写体から互いに異なる特性の画像データを取得するための複数の撮像手段と、
前記複数の撮像手段によって取得された画像データの画像間の位置ずれ量を算出する算出手段と、
前記位置ずれ量を用いて、前記複数の撮像手段によって取得された画像データの画像間の位置ずれを補正した多チャネル画像の画像データを生成する生成手段とを有し、
前記複数の撮像手段はそれぞれ、当該撮像手段に固有の撮像特性を有する撮像素子、および、前記複数の撮像手段に共通の撮像特性を有する撮像素子を有し、
前記算出手段は、前記共通の撮像特性を有する撮像素子によって取得された画像データから前記位置ずれ量を算出し、
前記複数の撮像手段には、前記固有の撮像特性が同一の撮像素子を有する複数の撮像手段が含まれることを特徴とする撮像装置。 - 前記共通の撮像特性は、前記複数の撮像手段すべてに共通であることを特徴とする請求項1に記載された撮像装置。
- 前記生成手段は、前記固有の撮像特性を有する撮像素子によって取得された画像データから前記多チャネル画像の画像データを生成することを特徴とする請求項1または請求項2に記載された撮像装置。
- 前記固有の撮像特性を有する撮像素子は、前記複数の撮像手段の間において、互いに異なる波長透過特性のフィルタを有することを特徴とする請求項1から請求項3の何れか一項に記載された撮像装置。
- 前記固有の撮像特性を有する撮像素子は、前記複数の撮像手段の間において、光に対する感度特性が互いに異なることを特徴とする請求項1から請求項3の何れか一項に記載された撮像装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011062928A JP5704984B2 (ja) | 2011-03-22 | 2011-03-22 | 撮像装置 |
US13/411,932 US8860852B2 (en) | 2011-03-22 | 2012-03-05 | Image capturing apparatus |
CN201210078223.0A CN102694973B (zh) | 2011-03-22 | 2012-03-19 | 摄像设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011062928A JP5704984B2 (ja) | 2011-03-22 | 2011-03-22 | 撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012199805A JP2012199805A (ja) | 2012-10-18 |
JP5704984B2 true JP5704984B2 (ja) | 2015-04-22 |
Family
ID=46860240
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011062928A Active JP5704984B2 (ja) | 2011-03-22 | 2011-03-22 | 撮像装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8860852B2 (ja) |
JP (1) | JP5704984B2 (ja) |
CN (1) | CN102694973B (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2011253779A1 (en) * | 2011-12-01 | 2013-06-20 | Canon Kabushiki Kaisha | Estimation of shift and small image distortion |
KR102121558B1 (ko) * | 2013-03-15 | 2020-06-10 | 삼성전자주식회사 | 비디오 이미지의 안정화 방법, 후처리 장치 및 이를 포함하는 비디오 디코더 |
US9736406B2 (en) * | 2015-01-22 | 2017-08-15 | Canon Kabushiki Kaisha | Image capturing apparatus and control method thereof |
EA034651B1 (ru) * | 2015-06-15 | 2020-03-03 | Эгроувинг Лтд | Устройство формирования многоспектральных изображений |
JP6751155B2 (ja) * | 2016-11-24 | 2020-09-02 | 富士フイルム株式会社 | 画像処理装置、撮像装置、及び画像処理方法 |
CN108898171B (zh) * | 2018-06-20 | 2022-07-22 | 深圳市易成自动驾驶技术有限公司 | 图像识别处理方法、***及计算机可读存储介质 |
CN113260835A (zh) | 2018-12-14 | 2021-08-13 | 光谱Md公司 | 用于高精度多孔径光谱成像的***和方法 |
CN113260303A (zh) | 2018-12-14 | 2021-08-13 | 光谱Md公司 | 用于评估、愈合预测和治疗创伤的机器学习***和方法 |
JP2020098412A (ja) | 2018-12-17 | 2020-06-25 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6529640B1 (en) | 1998-06-09 | 2003-03-04 | Nikon Corporation | Image processing apparatus |
JP2002171430A (ja) | 2000-11-30 | 2002-06-14 | Canon Inc | 複眼撮像系、撮像装置および電子機器 |
US7859588B2 (en) | 2007-03-09 | 2010-12-28 | Eastman Kodak Company | Method and apparatus for operating a dual lens camera to augment an image |
EP2202682A4 (en) * | 2007-10-15 | 2011-06-01 | Nippon Telegraph & Telephone | PICTURE PRODUCTION METHOD, DEVICE, PROGRAM THEREFOR AND DATA CARRIER WITH RECORDED PROGRAM |
JP2009153074A (ja) * | 2007-12-21 | 2009-07-09 | Olympus Corp | 画像撮影装置 |
JP5034927B2 (ja) * | 2007-12-25 | 2012-09-26 | 凸版印刷株式会社 | 情報取得装置、情報取得方法および情報取得プログラム |
US8144927B2 (en) | 2008-01-31 | 2012-03-27 | Max-Viz, Inc. | Video image processing and fusion |
JP5078148B2 (ja) | 2008-03-10 | 2012-11-21 | 株式会社リコー | 画像処理装置及び画像撮像装置 |
JP4825239B2 (ja) | 2008-05-19 | 2011-11-30 | アキュートロジック株式会社 | カラー撮像装置 |
JP5108840B2 (ja) | 2009-07-29 | 2012-12-26 | クラリオン株式会社 | 車両用周辺監視装置および車両用周辺画像表示方法 |
KR101635101B1 (ko) * | 2009-11-19 | 2016-06-30 | 삼성전자주식회사 | 렌즈 왜곡과 색수차를 보정하는 장치 및 방법 |
-
2011
- 2011-03-22 JP JP2011062928A patent/JP5704984B2/ja active Active
-
2012
- 2012-03-05 US US13/411,932 patent/US8860852B2/en active Active
- 2012-03-19 CN CN201210078223.0A patent/CN102694973B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN102694973B (zh) | 2015-04-01 |
US20120242870A1 (en) | 2012-09-27 |
CN102694973A (zh) | 2012-09-26 |
JP2012199805A (ja) | 2012-10-18 |
US8860852B2 (en) | 2014-10-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5704984B2 (ja) | 撮像装置 | |
JP4699995B2 (ja) | 複眼撮像装置及び撮像方法 | |
JP5725975B2 (ja) | 撮像装置及び撮像方法 | |
US9538085B2 (en) | Method of providing panoramic image and imaging device thereof | |
JP6711612B2 (ja) | 画像処理装置、画像処理方法、および撮像装置 | |
JP5984493B2 (ja) | 画像処理装置、画像処理方法、撮像装置およびプログラム | |
CN103688536B (zh) | 图像处理装置、图像处理方法 | |
JP6380972B2 (ja) | 画像処理装置および撮像装置 | |
JPH08116490A (ja) | 画像処理装置 | |
JP2011147109A (ja) | 撮像装置及び画像処理装置 | |
JP2011250125A (ja) | 画像処理装置およびその方法 | |
JP4796871B2 (ja) | 撮像装置 | |
JP2013009274A (ja) | 画像処理装置および画像処理方法、プログラム | |
JP2012186755A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
CN103888641A (zh) | 图像处理装置及图像再对焦方法 | |
JP5896680B2 (ja) | 撮像装置、画像処理装置、及び画像処理方法 | |
JP2009258005A (ja) | 三次元測定装置及び三次元測定方法 | |
JP5363872B2 (ja) | 画像補正装置及びそのプログラム | |
JP2009064225A (ja) | 画像処理装置及び画像処理方法 | |
EP3497928B1 (en) | Multi camera system for zoom | |
JP5743769B2 (ja) | 画像処理装置および画像処理方法 | |
JP2010273261A (ja) | 画像処理装置、撮像装置 | |
JP6585890B2 (ja) | 画像処理装置、画像処理方法およびプログラム、並びに撮像装置 | |
JP2019208214A (ja) | 画像処理装置、画像処理方法およびプログラム、並びに撮像装置 | |
US20210203899A1 (en) | Image processing device, image processing method, and imaging device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140130 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140919 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141020 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150126 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150224 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5704984 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |