JP6618271B2 - 画像処理装置およびその制御方法、撮像装置 - Google Patents
画像処理装置およびその制御方法、撮像装置 Download PDFInfo
- Publication number
- JP6618271B2 JP6618271B2 JP2015094440A JP2015094440A JP6618271B2 JP 6618271 B2 JP6618271 B2 JP 6618271B2 JP 2015094440 A JP2015094440 A JP 2015094440A JP 2015094440 A JP2015094440 A JP 2015094440A JP 6618271 B2 JP6618271 B2 JP 6618271B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- file
- unit
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/139—Format conversion, e.g. of frame-rate or size
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Television Signal Processing For Recording (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
図1は本発明の実施形態に係る画像処理装置の一例としての撮像装置100、より具体的にはデジタル一眼レフカメラの機能構成例を示すブロック図である。
制御部として機能するマイクロコンピュータ123は、ROMやRAMを有し、ROMや不揮発性メモリ130に記憶されたプログラムをRAMに読み込んで実行し、撮像装置100の各部を制御することで、撮像装置100の各種の機能を実現する。
ズーム駆動部103は、例えばDCモータやステッピングモータを有し、マイクロコンピュータ123の制御によって撮影レンズ101の変倍レンズ位置を変化させることにより撮影レンズ101の焦点距離を変化させる。
メモリコントローラ119は、映像信号処理回路116から入力された未処理のデジタル画像・音声データをバッファメモリ122に格納したり、処理済みのデジタル画像・音声データをメモリ120に格納したりする。メモリコントローラ119はまた、バッファメモリ122やメモリ120に格納された画像・音声データを映像信号処理回路116に出力する。メモリ120は撮像装置100から取り外し可能である場合もある。メモリコントローラ119は、メモリ120に格納されているデジタル画像・音声データをインターフェイス121を介して外部装置に出力可能である。
不揮発性メモリ(EEPROM)130はプログラムや設定情報などを記憶する。電源部131は、撮像装置100の各部に必要な電源を供給する
通常画像抽出部601(第2取得手段)は、撮像素子112から読み出される通常画像と右画像から、通常画像を抽出して現像処理部602および可逆圧縮処理部606に出力する。
右画像抽出部605(第1取得手段)は、撮像素子112から出力される通常画像と右画像から、右画像のみを抽出して可逆圧縮処理部606に出力する。
非可逆圧縮処理部603は、現像処理後の通常画像に対して例えばJPEG形式などの規格に従った非可逆圧縮処理を行って非可逆圧縮画像を生成する。非可逆圧縮処理部603は、非可逆圧縮画像をメモリインターフェイス604およびメモリコントローラ119を経由して、バッファメモリ122に出力する。
S102で通常画像抽出部601が通常画像を、右画像抽出部605が右画像を抽出する。抽出した画像のデータは、メモリインターフェイス604およびメモリコントローラ119を介してバッファメモリ122に保存する。
次のS110と、S120およびS121と、S130とは並列処理が可能であるが、メモリ120の空き状況や、映像信号処理回路116の処理スピード等に応じて、少なくとも一部を順序処理してもよい。
S120で現像処理部602は、通常画像に対して上述した現像処理を適用し、非可逆圧縮処理部603に出力する。
IFD部802〜805は画像データ部806〜809に格納される画像データに関連する撮影情報やパラメータなどのメタデータA〜Dと、画像データ部806〜809までのオフセット値E〜H、次のIFD部へのオフセット値を格納する領域である。最後のIFD部には、次のIFD部が存在しないことを示す特定のオフセット値が格納される。また、IFD部802〜805のそれぞれは、対応する画像データ部に格納されている画像データのサイズ(縦横の画素数)や、縮小画像であるかどうかの情報や、右/左画像の種別といった情報をメタデータA〜Dに含んでいる。従って、画像ファイル810を用いた処理を行う装置は、IFD部802〜805を参照することで、複数の画像データの中から用途に応じた適切な画像データを読み出すことができる。
画像ファイル810はTIFFヘッダ部811、0thIFD部812〜3rdIFD部815、サムネイル画像部817、表示用画像部816、通常画像部818、右画像部819で構成されている。
TIFFヘッダ部811はTIFFファイル構造であることを識別するためのデータを格納する。
1stIFD部812は、サムネイル画像部817に関連する撮影情報やパラメータなどのメタデータAとサムネイル画像部817までのオフセット値Eを格納する。
2ndIFD部814は、通常画像部818に関連する撮影情報やパラメータなどのメタデータCと通常画像部818までのオフセット値Gを格納する。
3rdIFD部815は、右画像部819に関連する撮影情報やパラメータなどのメタデータDと右画像部819までのオフセット値Hを格納する。
これらオフセット値E〜Hにより、画像ファイル内の各画像データの開始位置を特定できる。
サムネイル画像部817は主表示装置128などにメモリ120の画像一覧画面などのインデックス表示を行う際などに利用するためのサムネイル画像を格納する領域であり、表示用画像を間引くなどして縮小した画像である。
右画像部819は、RAW形式の右画像を可逆圧縮処理部606で可逆圧縮した右画像を格納する領域である。通常画像から右画像を減算することで左画像に相当する画像を生成することができる。右画像と左画像とから、リフォーカス処理や視点変更処理、立体画像生成処理などを行うことができる。
S1602でCPU1は、TIFFヘッダ部811から最初(N=0)のIFD部(0thIFD部812)の開始位置を特定し、0thIFD部812を読み出し、RAM3に保存する。
S1603でCPU1は、0thIFD部812に対応する0th画像部(表示用画像部816)が、サムネイル画像(縮小画像)を格納しているかどうか、0thIFD部812の情報から判別する。本実施形態では、0th画像部は表示用画像部816であるため、CPU1は処理をS1604に進め、Nを1増加させて処理をS1602に戻す。
S1605でCPU1は、1st画像部(サムネイル画像部817)からサムネイル画像データを読み出し、RAM3の表示画像用領域に保存する。
S1606でCPU1は、サムネイル画像を予め定められたレイアウトで表示部6に表示させる。
S1607でCPU1は、0thIFD部812に対応する0th画像部(表示用画像部816)が、表示用画像を格納しているかどうか、0thIFD部812の情報から判別する。本実施形態では、0th画像部は表示用画像部816であるため、CPU1は処理をS1608に進める。
S1609でCPU1は、表示用画像を予め定められたレイアウトで表示部6に表示させる。
S1610でCPU1は、0thIFD部812に対応する0th画像部(表示用画像部816)が、通常画像を格納しているかどうか、0thIFD部812の情報から判別する。本実施形態では、0th画像部は表示用画像部816であるため、CPU1は処理をS1612に進め、0thIFD部812に対応する0th画像部(表示用画像部816)が、右画像を格納しているかどうか、0thIFD部812の情報から判別する。本実施形態では0th画像部は表示用画像部816であるため、CPU1は処理をS1604に進め、Nを1増加させて処理をS1602に戻す。
S1611でCPU1は、2nd画像部(通常画像部818)から通常画像データを読み出し、RAM3に保存する。そしてCPU1は処理をS1604に進め、Nを1増加させて処理をS1602に戻す。
S1613でCPU1は、3rd画像部(右画像部819)から右画像データを読み出し、RAM3に保存する。
S1616でCPU1は、現像処理後の右画像および左画像に対し、リフォーカス処理、視点変更処理、デフォーカスマップ生成処理、立体画像生成処理など、視差画像を用いる画像処理を行う。
また、通常画像が存在せず、右画像と左画像を取得する(読み出す)構成であれば、右画像と左画像から生成した通常画像と、右画像と左画像の一方を格納した画像ファイルを生成すればよい。
次に、本発明の第2実施形態について説明する。本実施形態は、映像信号処理回路の構成および画像ファイル生成動作以外は第1実施形態と同様であるため、相異点についてのみ説明する。
図6(c)は、本実施形態の映像信号処理回路116の機能構成例を示すブロック図であり、第1の実施形態と同じ構成要素には図6(a)または(b)と同じ参照数字を付し、重複する説明は省略する。本実施形態の映像信号処理回路116は、図6(b)における左画像抽出部901の代わりに図6(a)の右画像抽出部605を有し、右画像生成部902の代わりに左画像生成部902’を有する。ただし、左画像生成部902’は、通常画像と視差画像との差分を求めるという点において右画像生成部902と実質的には同じ構成要素である。
次のS110と、S120およびS121と、S130と、S1210およびS1211と、S1220およびS1221とは並列処理が可能である。ただし、メモリ120の空き状況や、映像信号処理回路116の処理スピード等に応じて、少なくとも一部を順序処理してもよい。
S1211で非可逆圧縮処理部603は、現像処理後の右画像に対して非可逆圧縮処理を適用して非可逆圧縮画像(右)を生成するとともに、非可逆圧縮画像(右)を縮小して右サムネイル画像を生成する。非可逆圧縮処理部603は右サムネイル画像をメモリインターフェイス604およびメモリコントローラ119を介してバッファメモリ122に保存する。
4thIFD部1102は、左サムネイル画像部1105に関連する撮影情報やパラメータなどのメタデータJと左サムネイル画像部1105までのオフセット値Mを格納する。
5thIFD部1103は、右画像部819に関連する撮影情報やパラメータなどのメタデータDと右画像部819までのオフセット値Hを格納する。
これらオフセット値H、L、Mにより、画像ファイル内の各画像データの開始位置が特定できる。
なお、第2実施形態において、右サムネイル画像と左サムネイル画像の代わりに右表示用画像と左表示用画像を含めた画像ファイルを生成するように構成してもよい。この場合、画像ファイルの構造は図14の様になる。図12との比較から分かるように、右サムネイル画像部1104および左サムネイル画像部1105が右表示用画像部1304および左表示用画像部1305となる。また、3rdIFD部1301、4thIFD部1302が右表示用画像部1304、左表示用画像部1305に対応した情報を有するようになる。
なお、第2実施形態において、右サムネイル画像と左サムネイル画像の代わりではなく、右表示用画像と左表示用画像をさらに含めた画像ファイルを生成するように構成してもよい。この場合、画像ファイルの構造は図15の様になる。図12との比較から分かるように、右表示用画像部1304および左表示用画像部1305がサムネイル画像の後で、右画像の前に追加(挿入)されている。また、5thIFD部1401、6thIFD部1402が右表示用画像部1304、左表示用画像部1305に対応した情報を有するようになる。また、右画像部819に対応するIFD部は7thIFD部1403に位置が変更されている。
上述の実施形態では視差画像を格納する画像ファイルの生成に本発明を適用した場合について説明した。しかしながら、本発明は、視差画像と通常画像のような、一部と全体、あるいは一方が他方から生成されるという関係を有する他の画像を格納する画像ファイルの生成にも適用可能である。
Claims (9)
- 複数のマイクロレンズを有し、当該複数のマイクロレンズそれぞれに複数の光電変換部が割り当てられて、該複数の光電変換部ごとに1つの画素をなす撮像素子における、前記複数の光電変換部のうちのいずれかより出力される信号で構成される第1画像のデータを取得する第1取得手段と、
前記複数の光電変換部より出力される信号を加算または合成して得られる第2画像のデータを取得する第2取得手段と、
前記第2画像のサムネイル画像のデータを生成するサムネイル生成手段と、
画像データを、前記サムネイル画像のデータ、前記第2画像のデータ、および前記第1画像のデータの順に格納した画像ファイルを生成するファイル生成手段と、を有し、
前記ファイル生成手段は、前記サムネイル画像のデータと、前記第2画像のデータとを前記画像ファイル内で隣接する領域に格納し、前記第1取得手段が取得可能な第1画像のデータのうち、前記画像ファイルに格納する前記第1画像のデータと前記第2画像のデータとから生成可能な第1画像のデータを格納しないように前記画像ファイルを生成することを特徴とする画像処理装置。 - 前記ファイル生成手段は、前記第2画像のデータを複数、前記画像ファイルに格納することを特徴とする請求項1に記載の画像処理装置。
- 前記ファイル生成手段は、前記第1画像の現像処理前のデータを前記画像ファイルに格納することを特徴とする請求項1または請求項2に記載の画像処理装置。
- 前記ファイル生成手段は、前記第2画像の現像処理前のデータと、現像処理後のデータとを前記画像ファイルに格納することを特徴とする請求項1から請求項3のいずれか1項に記載の画像処理装置。
- 前記ファイル生成手段は、前記第1画像の現像処理前のデータと、現像処理後のデータとを前記画像ファイルに格納することを特徴とする請求項1から請求項4のいずれか1項に記載の画像処理装置。
- 前記現像処理後のデータが、解像度の異なる複数のデータを含むことを特徴とする請求項4または請求項5に記載の画像処理装置。
- 前記第1画像のデータと、前記第2画像のデータとを生成可能な撮像素子と、
請求項1から請求項6のいずれか1項に記載の画像処理装置と、を有することを特徴とする撮像装置。 - 第1取得手段が、複数のマイクロレンズを有し、当該複数のマイクロレンズそれぞれに複数の光電変換部が割り当てられて、該複数の光電変換部ごとに1つの画素をなす撮像素子における、前記複数の光電変換部のうちのいずれかより出力される信号で構成される第1画像のデータを取得する第1取得工程と、
第2取得手段が、前記複数の光電変換部より出力される信号を加算または合成して得られる第2画像のデータを取得する第2取得工程と、
サムネイル生成手段が、前記第2画像のサムネイル画像のデータを生成するサムネイル生成工程と、
ファイル生成手段が、画像データを、前記サムネイル画像のデータ、前記第2画像のデータ、および前記第1画像のデータの順に格納した画像ファイルを生成するファイル生成工程と、を有し、
前記ファイル生成工程において前記ファイル生成手段は、前記サムネイル画像のデータと、前記第2画像のデータとを前記画像ファイル内で隣接する領域に格納し、前記第1取得手段が取得可能な第1画像のデータのうち、前記画像ファイルに格納する前記第1画像のデータと前記第2画像のデータとから生成可能な第1画像のデータを格納しないように前記画像ファイルを生成することを特徴とする画像処理装置の制御方法。 - コンピュータを、請求項1から請求項6のいずれか1項に記載の画像処理装置が有する各手段として機能させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015094440A JP6618271B2 (ja) | 2015-05-01 | 2015-05-01 | 画像処理装置およびその制御方法、撮像装置 |
US15/569,246 US10382740B2 (en) | 2015-05-01 | 2016-04-25 | Image processing apparatus, method for controlling the same, and image capture apparatus |
PCT/JP2016/002172 WO2016178310A1 (en) | 2015-05-01 | 2016-04-25 | Image processing apparatus, method for controlling the same, and image capture apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015094440A JP6618271B2 (ja) | 2015-05-01 | 2015-05-01 | 画像処理装置およびその制御方法、撮像装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016213622A JP2016213622A (ja) | 2016-12-15 |
JP2016213622A5 JP2016213622A5 (ja) | 2018-05-24 |
JP6618271B2 true JP6618271B2 (ja) | 2019-12-11 |
Family
ID=56080435
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015094440A Active JP6618271B2 (ja) | 2015-05-01 | 2015-05-01 | 画像処理装置およびその制御方法、撮像装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10382740B2 (ja) |
JP (1) | JP6618271B2 (ja) |
WO (1) | WO2016178310A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7365133B2 (ja) * | 2019-04-19 | 2023-10-19 | キヤノン株式会社 | 通信装置およびその制御方法、プログラム |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4410804A (en) | 1981-07-13 | 1983-10-18 | Honeywell Inc. | Two dimensional image panel with range measurement capability |
JP3531003B2 (ja) * | 2001-03-30 | 2004-05-24 | ミノルタ株式会社 | 画像処理装置、画像処理プログラムが記録された記録媒体、および、画像再生装置 |
JP4415508B2 (ja) * | 2001-04-20 | 2010-02-17 | 株式会社富士通ゼネラル | 監視画像録画装置 |
JP2005026800A (ja) * | 2003-06-30 | 2005-01-27 | Konica Minolta Photo Imaging Inc | 画像処理方法、撮像装置、画像処理装置及び画像記録装置 |
JP4932660B2 (ja) | 2007-10-05 | 2012-05-16 | 富士フイルム株式会社 | 画像記録装置及び画像記録方法 |
US8300962B2 (en) * | 2009-01-30 | 2012-10-30 | Sony Corporation | Recording device, recording method, recording medium, reproducing device, reproducing method, editing device, and editing method |
US8457470B2 (en) * | 2009-07-13 | 2013-06-04 | Echostar Technologies L.L.C. | Systems and methods for a common image data array file |
CN102860019B (zh) | 2010-04-28 | 2015-07-29 | 富士胶片株式会社 | 立体图像再生装置及方法、立体摄像装置、立体显示器装置 |
JPWO2012039180A1 (ja) | 2010-09-24 | 2014-02-03 | 富士フイルム株式会社 | 撮像デバイス及び撮像装置 |
JP5871535B2 (ja) * | 2011-09-22 | 2016-03-01 | キヤノン株式会社 | 撮像装置及び撮像装置の制御方法 |
JP5911276B2 (ja) * | 2011-12-02 | 2016-04-27 | キヤノン株式会社 | 撮像装置およびその制御方法、画像処理装置 |
US9521395B2 (en) * | 2011-10-04 | 2016-12-13 | Canon Kabushiki Kaisha | Imaging apparatus and method for controlling same |
JP6053276B2 (ja) * | 2011-12-02 | 2016-12-27 | キヤノン株式会社 | 撮像装置およびその制御方法、画像処理装置 |
-
2015
- 2015-05-01 JP JP2015094440A patent/JP6618271B2/ja active Active
-
2016
- 2016-04-25 WO PCT/JP2016/002172 patent/WO2016178310A1/en active Application Filing
- 2016-04-25 US US15/569,246 patent/US10382740B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US10382740B2 (en) | 2019-08-13 |
JP2016213622A (ja) | 2016-12-15 |
WO2016178310A1 (en) | 2016-11-10 |
US20180124377A1 (en) | 2018-05-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9279955B2 (en) | Image pickup apparatus, control method thereof, and program | |
EP2618585B1 (en) | Monocular 3d-imaging device, shading correction method for monocular 3d-imaging device, and program for monocular 3d-imaging device | |
JP5054583B2 (ja) | 撮像装置 | |
JP5893713B1 (ja) | 撮像装置、撮像方法、処理プログラム | |
US20160044233A1 (en) | Image capturing apparatus capable of storing focus detection data | |
US8525921B2 (en) | Image capturing apparatus and control method therefor | |
JP5665013B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP4764854B2 (ja) | 撮像装置、画像再生装置、撮像方法、システム及びプログラム | |
KR20120114177A (ko) | 광각 화상을 생성 가능한 화상 처리 장치 | |
JP5231771B2 (ja) | 立体画像撮影装置 | |
JP2011075675A (ja) | 複眼撮像装置 | |
JP2012226184A5 (ja) | 撮像装置およびその制御方法 | |
US20130100251A1 (en) | Image capturing device and image capturing method | |
JP6618271B2 (ja) | 画像処理装置およびその制御方法、撮像装置 | |
JP2008310187A (ja) | 画像処理装置及び画像処理方法 | |
JP2014137704A (ja) | 撮像装置 | |
KR101643614B1 (ko) | 복수의 표시부들 각각에 다른 영상을 디스플레이할 수 있는 디지털 영상 신호 처리 장치 및 이의 제어 방법 | |
JP2015139018A (ja) | 電子機器及び制御プログラム | |
JP7421008B2 (ja) | 撮像装置、撮像方法、及びプログラム | |
JP5648563B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP5641352B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP6592330B2 (ja) | 撮像装置及び撮像方法 | |
WO2020137664A1 (ja) | 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム | |
JP2017034344A (ja) | 撮像装置及びその制御方法 | |
JP2014222268A (ja) | 撮像装置および撮像装置の制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180404 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180404 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190218 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190418 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190805 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190925 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191015 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191112 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6618271 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |