JP7447947B2 - Electronics - Google Patents
Electronics Download PDFInfo
- Publication number
- JP7447947B2 JP7447947B2 JP2022133973A JP2022133973A JP7447947B2 JP 7447947 B2 JP7447947 B2 JP 7447947B2 JP 2022133973 A JP2022133973 A JP 2022133973A JP 2022133973 A JP2022133973 A JP 2022133973A JP 7447947 B2 JP7447947 B2 JP 7447947B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- image
- information
- electronic device
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 claims description 568
- 238000006243 chemical reaction Methods 0.000 claims description 72
- 230000003321 amplification Effects 0.000 claims description 21
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 21
- 238000009825 accumulation Methods 0.000 claims description 20
- 239000000758 substrate Substances 0.000 claims 6
- 230000006870 function Effects 0.000 description 151
- 238000012545 processing Methods 0.000 description 74
- 230000000875 corresponding effect Effects 0.000 description 71
- 238000004891 communication Methods 0.000 description 66
- 238000010586 diagram Methods 0.000 description 50
- 238000000034 method Methods 0.000 description 35
- 230000004048 modification Effects 0.000 description 25
- 238000012986 modification Methods 0.000 description 25
- 230000008569 process Effects 0.000 description 24
- 230000035508 accumulation Effects 0.000 description 16
- 230000035945 sensitivity Effects 0.000 description 16
- 239000004973 liquid crystal related substance Substances 0.000 description 13
- 230000008859 change Effects 0.000 description 12
- 238000012546 transfer Methods 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 10
- 238000010191 image analysis Methods 0.000 description 8
- 230000002829 reductive effect Effects 0.000 description 8
- 230000004044 response Effects 0.000 description 8
- 239000004065 semiconductor Substances 0.000 description 8
- 239000000284 extract Substances 0.000 description 7
- 230000036961 partial effect Effects 0.000 description 6
- 238000011161 development Methods 0.000 description 5
- 230000003595 spectral effect Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 3
- 238000002161 passivation Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 229910052757 nitrogen Inorganic materials 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Television Signal Processing For Recording (AREA)
Description
本発明は、電子機器に関する。 The present invention relates to electronic equipment .
撮像領域毎に異なる露光時間で撮影を行う撮像装置が知られている（特許文献１参照）。しかし、撮像領域毎の撮影条件の記録については何も触れられていない。 2. Description of the Related Art An imaging device that performs imaging with different exposure times for each imaging area is known (see Patent Document 1). However, nothing is mentioned about recording the imaging conditions for each imaging area.
本発明の第１の態様によると、電子機器は、第１撮像条件で撮像動作が行われる第１領域と、第２撮像条件で撮像動作が行われる第２領域とを含む撮像領域を有する撮像素子と、前記第１領域で撮像された第１被写体の第１画像データと、前記第２領域で撮像された第２被写体の第２画像データと、前記第１撮像条件に関する第１データと、前記第２撮像条件に関する第２データと、前記第１領域の用途に関する第３データと、前記第２領域の用途に関する第４データとを有するファイルを記録部に記録する制御部とを備える。 According to a first aspect of the present invention, an electronic device has an imaging area including a first area where an imaging operation is performed under a first imaging condition and a second area where an imaging operation is performed under a second imaging condition. an element, first image data of a first subject imaged in the first area , second image data of the second subject imaged in the second area, and first data regarding the first imaging condition; The control unit records in a recording unit a file having second data regarding the second imaging condition , third data regarding the use of the first area, and fourth data regarding the use of the second area .
（第１の実施の形態）
始めに、実施の形態による電子機器（例えば撮像装置１０）に搭載する積層型撮像素子２２について説明する。なお、この積層型撮像素子２２は、本願出願人が先に出願したＷＯ２０１３／１６４９１５号公報に記載されているものである。図２３は、積層型撮像素子２２の断面図である。撮像素子２２は、入射光に対応した画素信号を出力する裏面照射型撮像チップ２１１１と、画素信号を処理する信号処理チップ２１１２と、画素信号を記憶するメモリチップ２１１３とを備える。これら撮像チップ２１１１、信号処理チップ２１１２およびメモリチップ２１１３は積層されており、Ｃｕ等の導電性を有する接続部２１０９により互いに電気的に接続される。
(First embodiment)
First, the
なお、図２３に示すように、入射光は主に白抜き矢印で示すＺ軸プラス方向へ向かって入射する。また、座標軸に示すように、Ｚ軸に直交する紙面左方向をＸ軸プラス方向、Ｚ軸およびＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。以降のいくつかの図においては、図２３の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。 Note that, as shown in FIG. 23, the incident light mainly enters in the positive Z-axis direction indicated by the white arrow. Further, as shown in the coordinate axes, the left direction of the paper plane perpendicular to the Z axis is the X-axis plus direction, and the front direction of the paper plane orthogonal to the Z axis and the X axis is the Y-axis plus direction. In the following several figures, coordinate axes are displayed based on the coordinate axes in FIG. 23 so that the orientation of each figure can be understood.
撮像チップ２１１１は、例えば、ＣＭＯＳイメージセンサである。撮像チップ２１１１は、具体的には、裏面照射型のＭＯＳイメージセンサである。撮像チップ２１１１は、マイクロレンズ層２１０１、カラーフィルタ層２１０２、パッシベーション層２１０３、半導体層２１０６、および配線層１０８を有する。撮像チップ２１１１は、Ｚ軸プラス方向に向かってマイクロレンズ層２１０１、カラーフィルタ層２１０２、パッシベーション層２１０３、半導体層２１０６、および配線層２１０８の順に配置されている。
The
マイクロレンズ層２１０１は、複数のマイクロレンズＬを有する。マイクロレンズＬは、入射した光を後述する光電変換部２１０４に集光する。カラーフィルタ層２１０２は、複数のカラーフィルタＦを有する。カラーフィルタ層２１０２は、分光特性の異なる複数種類のカラーフィルタＦを有する。カラーフィルタ層２１０２は、具体的には、主に赤色成分の光を透過させる分光特性の第１フィルタ（Ｒ）と、主に緑色成分の光を透過させる分光特性の第２フィルタ（Ｇｂ、Ｇｒ）と、主に青色成分の光を透過させる分光特性の第３フィルタ（Ｂ）と、を有する。カラーフィルタ層１０２は、例えば、ベイヤー配列により第１フィルタ、第２フィルタおよび第３フィルタが配置されている。パッシベーション層２１０３は、窒素膜や酸化膜で構成され、半導体層２１０６を保護する。
The
半導体層２１０６は、光電変換部２１０４および読出回路２１０５を有する。半導体層２１０６は、光の入射面である第１面２１０６ａと第１面２１０６ａの反対側の第２面２１０６ｂとの間に複数の光電変換部２１０４を有する。半導体層２１０６は、光電変換部２１０４がＸ軸方向およびＹ軸方向に複数配列されている。光電変換部２１０４は、光を電荷に変換する光電変換機能を有する。また、光電変換部２１０４は、光電変換信号による電荷を蓄積する。光電変換部２１０４は、例えば、フォトダイオードである。半導体層２１０６は、光電変換部２１０４よりも第２面２１０６ｂ側に読出回路１０５を有する。半導体層２１０６は、読出回路２１０５がＸ軸方向およびＹ軸方向に複数配列されている。読出回路２１０５は、複数のトランジスタにより構成され、光電変換部２１０４によって光電変換された電荷により生成される画像データを読み出して配線層２１０８へ出力する。
The
配線層２１０８は、複数の金属層を有する。金属層は、例えば、Ａｌ配線、Ｃｕ配線等である。配線層２１０８は、読出回路２１０５により読み出された画像データが出力される。画像データは、接続部２１０９を介して配線層２１０８から信号処理チップ２１１２へ出力される。
The
なお、接続部２１０９は、光電変換部２１０４ごとに設けられていてもよい。また、接続部２１０９は、複数の光電変換部２１０４ごとに設けられていてもよい。接続部２１０９が複数の光電変換部２１０４ごとに設けられている場合、接続部２１０９のピッチは、光電変換部２１０４のピッチよりも大きくてもよい。また、接続部２１０９は、光電変換部２１０４が配置されている領域の周辺領域に設けられていてもよい。
Note that the
信号処理チップ２１１２は、複数の信号処理回路を有する。信号処理回路は、撮像チップ２１１１から出力された画像データに対して信号処理を行う。信号処理回路は、例えば、画像データの信号値を増幅するアンプ回路、画像データのノイズの低減処理を行う相関二重サンプリング回路およびアナログ信号をデジタル信号に変換するアナログ／デジタル（Ａ／Ｄ）変換回路等である。信号処理回路は、光電変換部２１０４ごとに設けられていてもよい。
The
また、信号処理回路は、複数の光電変換部２１０４ごとに設けられていてもよい。信号処理チップ２１１２は、複数の貫通電極２１１０を有する。貫通電極２１１０は、例えばシリコン貫通電極である。貫通電極２１１０は、信号処理チップ２１１２に設けられた回路を互いに接続する。貫通電極２１１０は、撮像チップ２１１１の周辺領域、メモリチップ２１１３にも設けられてもよい。なお、信号処理回路を構成する一部の素子を撮像チップ２１１１に設けてもよい。例えば、アナログ／デジタル変換回路の場合、入力電圧と基準電圧の比較を行う比較器を撮像チップ２１１１に設け、カウンター回路やラッチ回路等の回路を、信号処理チップ２１１２に設けてもよい。
Furthermore, a signal processing circuit may be provided for each of the plurality of
メモリチップ２１１３は、複数の記憶部を有する。記憶部は、信号処理チップ２１１２で信号処理が施された画像データを記憶する。記憶部は、例えば、ＤＲＡＭ等の揮発性メモリである。記憶部は、光電変換部２１０４ごとに設けられていてもよい。また、記憶部は、複数の光電変換部２１０４ごとに設けられていてもよい。記憶部に記憶された画像データは、後段の画像処理部に出力される。
図２４は、撮像チップ２１１１の画素配列と単位領域２１３１を説明する図である。特に、撮像チップ２１１１を裏面（撮像面）側から観察した様子を示す。画素領域には例えば２０００万個以上の画素がマトリックス状に配列されている。図２４の例では、隣接する２画素×２画素の４画素が一つの単位領域２１３１を形成する。図の格子線は、隣接する画素がグループ化されて単位領域２１３１を形成する概念を示す。単位領域２１３１を形成する画素の数は、これに限られず１０００個程度、例えば３２画素×３２画素でもよいし、それ以上でもそれ以下でもよく、１画素であってもよい。
FIG. 24 is a diagram illustrating the pixel array and
画素領域の部分拡大図に示すように、図２４の単位領域２１３１は、緑色画素Ｇｂ、Ｇｒ、青色画素Ｂおよび赤色画素Ｒの４画素から成るいわゆるベイヤー配列を内包する。緑色画素Ｇｂ、Ｇｒは、カラーフィルタＦとして緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素Ｂは、カラーフィルタＦとして青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素Ｒは、カラーフィルタＦとして赤色フィルタを有する画素であって赤色波長帯の光を受光する。
As shown in the partially enlarged view of the pixel region, the
本実施形態において、１ブロックにつき単位領域２１３１を少なくとも１つ含むように複数のブロックが定義される。すなわち、１ブロックの最小単位は１つの単位領域２１３１となる。上述したように、１つの単位領域２１３１を形成する画素の数として取り得る値のうち、最も小さい画素の数は１画素である。したがって、１ブロックを画素単位で定義する場合、１ブロックを定義し得る画素の数のうち最小の画素の数は１画素となる。各ブロックはそれぞれ異なる制御パラメータで各ブロックに含まれる画素を制御できる。各ブロックは、そのブロック内の全ての単位領域２１３１、すなわち、そのブロック内の全ての画素が同一の撮像条件で制御される。つまり、あるブロックに含まれる画素群と、別のブロックに含まれる画素群とで、撮像条件が異なる光電変換信号を取得できる。制御パラメータの例は、フレームレート、ゲイン、間引き率、光電変換信号を加算する加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数（語長）等である。撮像素子２２は、行方向（撮像チップ２１１１のＸ軸方向）の間引きのみでなく、列方向（撮像チップ２１１１のＹ軸方向）の間引きも自在に行える。さらに、制御パラメータは、画像処理におけるパラメータであってもよい。
In this embodiment, a plurality of blocks are defined so that each block includes at least one
図２５は、単位領域２１３１における回路を説明する図である。図２５の例では、隣接する２画素×２画素の４画素により一つの単位領域２１３１を形成する。なお、上述したように単位領域２１３１に含まれる画素の数はこれに限られず、１０００画素以上でもよいし、最小１画素でもよい。単位領域２１３１の二次元的な位置を符号Ａ～Ｄにより示す。
FIG. 25 is a diagram illustrating a circuit in the
単位領域２１３１に含まれる画素のリセットトランジスタ（ＲＳＴ）は、画素ごとに個別にオンオフ可能に構成される。図２５において、画素Ａのリセットトランジスタをオンオフするリセット配線２３００が設けられており、画素Ｂのリセットトランジスタをオンオフするリセット配線２３１０が、上記リセット配線２３００とは別個に設けられている。同様に、画素Ｃのリセットトランジスタをオンオフするリセット配線２３２０が、上記リセット配線２３００、２３１０とは別個に設けられている。他の画素Ｄに対しても、リセットトランジスタをオンオフするための専用のリセット配線２３３０が設けられている。
The reset transistor (RST) of the pixel included in the
単位領域２１３１に含まれる画素の転送トランジスタ（ＴＸ）についても、画素ごとに個別にオンオフ可能に構成される。図２５において、画素Ａの転送トランジスタをオンオフする転送配線２３０２、画素Ｂの転送トランジスタをオンオフする転送配線２３１２、画素Ｃの転送トランジスタをオンオフする転送配線２３２２が、別個に設けられている。他の画素Ｄに対しても、転送トランジスタをオンオフするための専用の転送配線２３３２が設けられている。
The transfer transistors (TX) of the pixels included in the
さらに、単位領域２１３１に含まれる画素の選択トランジスタ（ＳＥＬ）についても、画素ごとに個別にオンオフ可能に構成される。図２５において、画素Ａの選択トランジスタをオンオフする選択配線２３０６、画素Ｂの選択トランジスタをオンオフする選択配線２３１６、画素Ｃの選択トランジスタをオンオフする選択配線２３２６が、別個に設けられている。他の画素Ｄに対しても、選択トランジスタをオンオフするための専用の選択配線２３３６が設けられている。
Furthermore, the selection transistors (SEL) of the pixels included in the
なお、電源配線２３０４は、単位領域２１３１に含まれる画素Ａから画素Ｄで共通に接続されている。同様に、出力配線２３０８は、単位領域２１３１に含まれる画素Ａから画素Ｄで共通に接続されている。また、電源配線２３０４は複数の単位領域間で共通に接続されるが、出力配線２３０８は単位領域２１３１ごとに個別に設けられる。負荷電流源２３０９は、出力配線２３０８へ電流を供給する。負荷電流源２３０９は、撮像チップ２１１１側に設けられてもよいし、信号処理チップ２１１２側に設けられてもよい。
Note that the
単位領域２１３１のリセットトランジスタおよび転送トランジスタを個別にオンオフすることにより、単位領域２１３１に含まれる画素Ａから画素Ｄに対して、電荷の蓄積開始時間、蓄積終了時間、転送タイミングを含む電荷蓄積を制御することができる。また、単位領域２１３１の選択トランジスタを個別にオンオフすることにより、各画素Ａから画素Ｄの光電変換信号を共通の出力配線２３０８を介して出力することができる。
By individually turning on and off the reset transistor and transfer transistor of the
ここで、単位領域２１３１に含まれる画素Ａから画素Ｄについて、行および列に対して規則的な順序で電荷蓄積を制御する、いわゆるローリングシャッタ方式が公知である。ローリングシャッタ方式により行ごとに画素を選択してから列を指定すると、図２５の例では「ＡＢＣＤ」の順序で光電変換信号が出力される。
Here, a so-called rolling shutter method is known in which charge accumulation is controlled in a regular order for rows and columns for pixels A to D included in the
このように単位領域２１３１を基準として回路を構成することにより、単位領域２１３１ごとに電荷蓄積時間を制御することができる。換言すると、単位領域２１３１間で異なったフレームレートによる光電変換信号をそれぞれ出力させることができる。また、撮像チップ２１１１において一部のブロックに含まれる単位領域２１３１に電荷蓄積（撮像）を行わせる間に他のブロックに含まれる単位領域２１３１を休ませることにより、撮像チップ２１１１の所定のブロックでのみ撮像を行わせて、その光電変換信号を出力させることができる。さらに、フレーム間で電荷蓄積（撮像）を行わせるブロック（蓄積制御の対象ブロック）を切り替えて、撮像チップ２１１１の異なるブロックで逐次撮像を行わせて、光電変換信号を出力させることもできる。
By configuring the circuit with the
上記の通り、単位領域２１３１のそれぞれに対応して出力配線２３０８が設けられている。撮像素子２２は撮像チップ２１１１、信号処理チップ２１１２およびメモリチップ２１１３を積層しているので、これら出力配線２３０８に接続部２１０９を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。
As described above,
図１は、第１の実施の形態に係る撮像装置の構成を示すブロック図である。撮像装置１０は、レンズ一体型のカメラである。撮像装置１０は、撮像光学系２１と、撮像素子２２と、制御部２３と、液晶モニタ２４と、メモリカード２５と、操作部２６と、ＤＲＡＭ２７と、フラッシュメモリ２８と、録音部２９とを備える。
FIG. 1 is a block diagram showing the configuration of an imaging device according to a first embodiment. The
撮像光学系２１は、複数のレンズから構成され、撮像素子２２の撮像面に被写体像を結像させる。なお図１では、撮像光学系２１を１枚のレンズとして図示している。
The imaging
撮像素子２２は例えばＣＭＯＳやＣＣＤ等の撮像素子であり、撮像光学系２１により結像された被写体像を撮像して撮像信号を出力する。制御部２３は、撮像装置１０の各部を制御する電子回路であり、ＣＰＵとその周辺回路とから構成される。不揮発性の記憶媒体であるフラッシュメモリ２８には、予め所定の制御プログラムが書き込まれている。制御部２３は、フラッシュメモリ２８から制御プログラムを読み込んで実行することにより、各部の制御を行う。この制御プログラムは、揮発性の記憶媒体であるＤＲＡＭ２７を作業用領域として使用する。
The
液晶モニタ２４は、液晶パネルを利用した表示装置である。制御部２３は、所定周期（例えば６０分の１秒）ごとに撮像素子２２に繰り返し被写体像を撮像させる。そして、撮像素子２２から出力された撮像信号に種々の画像処理を施していわゆるスルー画を作成し、液晶モニタ２４に表示する。液晶モニタ２４には、上記のスルー画以外に、例えば撮像パラメータ（撮像条件）を設定する設定画面等が表示される。
The liquid crystal monitor 24 is a display device using a liquid crystal panel. The
制御部２３は、撮像素子２２から出力された撮像信号に基づき、後述する画像ファイルを作成し、可搬性の記録媒体であるメモリカード２５に画像ファイルを記録する。操作部２６は、プッシュボタン等の種々の操作部材を有し、それら操作部材が操作されたことに応じて制御部２３に操作信号を出力する。録音部２９は、例えばマイクロフォン等により構成され、環境音を音声信号に変換して制御部２３に入力する。なお、可搬性の記録媒体であるメモリカード２５に画像ファイル４０を記録するのではなく、撮像装置１０に内蔵された不図示の記録媒体であるハードディスク等に記録してもよい。
The
図２（ａ）は、撮像素子２２の撮像面３０を模式的に示す平面図であり、図２（ｂ）は撮像面３０の一部領域３０ａを拡大した平面図である。図２（ｂ）に示すように、撮像面３０には、撮像画素３１が二次元状に多数配列されている。撮像画素３１は、それぞれ不図示の色フィルタを有している。色フィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３種類からなり、図２（ｂ）における「Ｒ」、「Ｇ」、および「Ｂ」という表記は、撮像画素３１が有する色フィルタの種類を表している。図２（ｂ）に示すように、撮像素子２２の撮像面３０には、このような各色フィルタを備えた撮像画素３１が、いわゆるベイヤー配列に従って配列されている。
FIG. 2A is a plan view schematically showing the
赤フィルタを有する撮像画素３１は、入射光のうち、赤色の波長帯の光を光電変換して受光信号（光電変換信号）を出力する。同様に、緑フィルタを有する撮像画素３１は、入射光のうち、緑色の波長帯の光を光電変換して受光信号を出力する。また、青フィルタを有する撮像画素３１は、入射光のうち、青色の波長帯の光を光電変換して受光信号を出力する。
The
本実施形態の撮像素子２２は、隣接する２画素×２画素の計４つの撮像画素３１から成る単位グループ３２ごとに、制御部２３によって個別に制御可能に構成されている。例えば、互いに異なる２つの単位グループ３２について、同時に電荷蓄積を開始したときに、一方の単位グループ３２では電荷蓄積開始から１／３０秒後に電荷の読み出し、すなわち受光信号の読み出しを行い、他方の単位グループ３２では電荷蓄積開始から１／１５秒後に電荷の読み出しを行うことができる。換言すると、撮像素子２２は、１回の撮像において、単位グループ３２ごとに異なる露光時間（電荷蓄積時間であり、いわゆるシャッタースピード）を設定することができる。
The
撮像素子２２は、上述した露光時間以外にも、撮像信号の増幅率（いわゆるＩＳＯ感度）を単位グループ３２ごとに異ならせることが可能である。撮像素子２２は、電荷蓄積を開始するタイミングや受光信号を読み出すタイミングを単位グループ３２ごとに変化させることができる。すなわち、撮像素子２２は、動画撮像時のフレームレートを単位グループ３２ごとに変化させることができる。
In addition to the above-mentioned exposure time, the
以上をまとめると、撮像素子２２は、単位グループ３２ごとに、露光時間、増幅率、フレームレート等の撮像条件を異ならせることが可能に構成されている。例えば、撮像画素３１が有する不図示の光電変換部から撮像信号を読み出すための不図示の読み出し線が、単位グループ３２ごとに設けられ、単位グループ３２ごとに独立して撮像信号を読み出し可能に構成すれば、単位グループ３２ごとに露光時間（シャッタースピード）を異ならせることができる。また、光電変換された電荷により生成された撮像信号を増幅する不図示の増幅回路を単位グループ３２ごとに独立して設け、増幅回路による増幅率を増幅回路ごとに独立して制御可能に構成すれば、単位グループ３２ごとに信号の増幅率（ＩＳＯ感度）を異ならせることができる。
To summarize the above, the
なお、単位グループ３２を構成する撮像画素３１の数は、上述した２×２の４画素でなくてもよい。単位グループ３２は、少なくとも１個の撮像画素３１を有していればよいし、逆に、４個より多くの撮像画素３１を有していてもよい。また、単位グループ３２ごとに異ならせることが可能な撮像条件は、上述したもの以外であってもよい。例えば、単位グループ３２ごとに独立して制御可能な区画（１区画が１つの単位グループ３２に対応する）を有する液晶パネルを撮像素子２２に設け、オンオフ可能な減光フィルタとして利用すれば、単位グループ３２ごとに明るさ（絞り値）を制御することが可能になる。
Note that the number of
次に、制御部２３が作成しメモリカード２５に記録する画像ファイル４０について説明する。図３は、本実施の形態に係る画像ファイルの構成を示す模式図である。画像ファイル４０は、ヘッダ部４１と、データ部４２の２つのブロックから成る。
Next, the
ヘッダ部４１は、画像ファイル４０の先頭に位置するブロックであり、ファイル基本情報部４３と、マスク部４４と、撮像情報部４５とが、以上に述べた順序で格納されている。ファイル基本情報部４３には、例えば画像ファイル４０内の各部（ヘッダ部４１、データ部４２、マスク部４４、撮像情報部４５等）のサイズやオフセットが記録される。マスク部４４には、後述する撮像条件情報やマスク情報等が記録される。撮像情報部４５には、例えば撮像装置１０の機種名や撮像光学系２１の情報（例えば収差等の光学特性に関する情報）等、撮像に関する情報が記録される。データ部４２は、ヘッダ部４１の後ろに位置するブロックであり、画像情報や音声情報等が記録される。
The header section 41 is a block located at the beginning of the
次に、撮像装置１０が有する撮像機能と、各撮像機能により作成（記録）される画像ファイル４０について説明する。ユーザは、操作部２６が有する操作部材に対して所定の操作を行い、以下に説明する各撮像機能を切り替える（選択する）ことができる。制御部２３は、選択されている撮像機能に基づき撮像を行い、画像ファイル４０を作成してメモリカード２５に記録する。
Next, the imaging functions possessed by the
（１）静止画撮像機能Ａ（単一の静止画）
静止画撮像機能Ａは、撮像画面を複数の部分領域に区切り、それら複数の部分領域に対して個別に撮像条件を設定して静止画を撮像する機能である。
(1) Still image capture function A (single still image)
The still image imaging function A is a function that divides the imaging screen into a plurality of partial areas, sets imaging conditions individually for the plurality of partial areas, and images a still image.
図４（ａ）に、撮像素子２２の撮像画面５０（撮像範囲）と被写体５１とを模式的に示す。図４（ａ）に示した被写体５１を、静止画撮像機能Ａにより撮像する手順について説明する。制御部２３は、本撮像前に、一度、被写体５１を撮像する。以下、この本撮像に先立って行われる撮像を、予備撮像と称する。なお、予備撮像は、例えばライブビュー画像（いわゆるスルー画）の作成のために行われる撮像を兼ねていてもよい。
FIG. 4A schematically shows an imaging screen 50 (imaging range) of the
制御部２３は、予備撮像により得られた被写体５１の画像（被写体５１が写り込んでいる画像）に対して、所定の画像解析処理を実行する。画像解析処理は、例えば周知の被写体検出技術（特徴量を演算して所定の被写体が存在する範囲を検出する技術）により、主要被写体部分と背景部分とを検出する処理である。画像解析処理によって、撮像画面５０は、主要被写体部分が存在する主要被写体領域５２と、背景部分が存在する背景領域５３とに分割される。
The
なお、図４（ａ）では、被写体５１を大まかに含む領域を主要被写体領域５２として図示しているが、主要被写体領域５２は、被写体５１の外形に沿った形状であってもよい。つまり、被写体５１以外のものをできるだけ含まないように主要被写体領域５２を設定してもよい。
Note that in FIG. 4A, an area roughly including the subject 51 is illustrated as the
制御部２３は、主要被写体領域５２内の各単位グループ３２と、背景領域５３内の各単位グループ３２とで、異なる撮像条件を設定する。例えば、前者の各単位グループ３２には、後者の各単位グループ３２に比べて高速なシャッタースピードを設定する。このようにすると、本撮像において、主要被写体領域５２では像ぶれが発生しにくくなる。
The
また、背景領域５３に存在する太陽等の光源の影響で、主要被写体領域５２が逆光状態となっている場合には、前者の各単位グループ３２に、相対的に高めのＩＳＯ感度を設定したり、低速なシャッタースピードを設定する。また、後者の各単位グループ３２に、相対的に低めのＩＳＯ感度を設定したり、高速なシャッタースピードを設定したりする。このようにすると、本撮像において、逆光状態の主要被写体領域５２の黒つぶれや、光量の大きい背景領域５３の白飛びを防止することができる。
Furthermore, if the
なお、画像解析処理は、上述した主要被写体部分と背景部分とを検出する処理とは異なる処理であってもよい。例えば、撮像画面５０全体のうち、明るさが一定以上の部分（明るすぎる部分）や明るさが一定未満の部分（暗すぎる部分）を検出する処理であってもよい。画像解析処理をこのような処理とした場合、制御部２３は、前者の領域に含まれる単位グループ３２について、露出値（Ｅｖ値）が他の領域に含まれる単位グループ３２よりも低くなるようにシャッタースピードやＩＳＯ感度を設定する。また、後者の領域に含まれる単位グループ３２については、露出値（Ｅｖ値）が他の領域に含まれる単位グループ３２よりも高くなるようにシャッタースピードやＩＳＯ感度を設定する。このようにすることで、本撮像により得られる画像のダイナミックレンジを、撮像素子２２の本来のダイナミックレンジよりも広げることができる。
Note that the image analysis process may be a process different from the process of detecting the main subject part and the background part described above. For example, it may be a process of detecting a portion of the
図５は、静止画撮像機能Ａを用いて撮像した場合に作成される画像ファイル４０の構成を模式的に示す図である。マスク部４４には、識別情報６０と、撮像条件情報６１と、マスク情報６２ａが、以上に述べた順序で記録される。識別情報６０は、この画像ファイル４０が静止画撮像機能Ａによって作成されたものである旨を表す情報である。
FIG. 5 is a diagram schematically showing the structure of an
撮像条件情報６１は、単位グループ３２にどのような用途（目的、役割）が存在するかを表す情報である。例えば、上述したように、撮像画面５０（図４（ａ））を主要被写体領域５２と背景領域５３とに分割する場合、各々の単位グループ３２は、主要被写体領域５２に属するか、背景領域５３に属するかのいずれかである。つまり、単位グループ３２は、「主要被写体部分を静止画撮像する」という用途か、「背景部分を静止画撮像する」という用途か、のいずれかの用途を有している。撮像条件情報６１は、この画像ファイル４０の作成に際し、単位グループ３２に「主要被写体部分を静止画撮像する」、「背景部分を静止画撮像する」という２種類の用途が存在したこと、並びに、これらの用途ごとに割り当てられた一意な番号を表す情報である。例えば、１という番号が「主要被写体部分を静止画撮像する」用途を、２という番号が「背景部分を静止画撮像する」用途にそれぞれ割り当てられる。
The
マスク情報６２ａは、各々の単位グループ３２の用途（目的、役割）を表す情報である。本実施形態では、マスク情報６２ａを、「撮像条件情報６１に割り当てられた番号を、単位グループ３２の位置に合わせて二次元マップの形で表現した情報」としている。つまり、二次元状に配列された単位グループ３２を２つの整数ｘ、ｙによる二次元座標（ｘ、ｙ）で特定するとき、（ｘ、ｙ）の位置に存在する単位グループ３２の用途は、マスク情報６２ａの（ｘ、ｙ）の位置に存在する番号により表現される。例えば、マスク情報６２ａの座標（３，５）の位置に「１」という番号が入っていた場合、座標（３，５）に位置する単位グループ３２には、「主要被写体部分を静止画撮像する」という用途が与えられたことがわかる。換言すると、座標（３，５）に位置する単位グループ３２は、主要被写体領域５２に属することがわかる。
The
図４（ａ）に示した撮像画面５０に対応するマスク情報６２ａの例を、図４（ｂ）に示す。主要被写体領域５２に属する単位グループ３２の位置には「１」が、背景領域５３に属する単位グループ３２の位置には「２」がそれぞれ格納されている。
An example of the
データ部４２には、マスク情報６２ｂと、画像情報６４と、Ｔｖ値マップ６５と、Ｓｖ値マップ６６と、Ｂｖ値マップ６７と、Ａｖ値情報６８とが、以上に述べた順序で格納される。マスク情報６２ｂは、マスク部４４に格納されるマスク情報６２ａと同一の情報である。ここで、マスク部４４とデータ部４２の両方に同一のマスク情報６２ａ、６２ｂを格納しているのは、画像ファイル４０の扱いが容易になるようにするためである。
The data section 42 stores mask
詳細は後述するが、他の機能により作成される画像ファイル４０では、マスク部４４とデータ部４２に互いに異なるマスク情報６２ａ、６２ｂを格納することがある。静止画撮像機能Ａにおいて、例えばデータ部４２にマスク情報６２ｂを格納し、マスク部４４にはマスク情報６２ａを格納しないことにすると、機能ごとに画像ファイル４０の構造が変化することになる。このようにすると、画像ファイル４０の扱いが煩雑になるため、本実施形態では、あえてマスク部４４とデータ部４２の両方に同一のマスク情報６２ａ、６２ｂを入れ、機能ごとの画像ファイル４０の構造の違いを最小限にしている。なお、マスク情報６２ａ、６２ｂのいずれか一方を省略してもよく、その場合には、画像ファイル４０が占有する記憶領域のサイズを削減することが可能となる。また、マスク情報６２ａ、６２ｂの両方が記録されていた場合であっても、識別情報によりマスク情報６２ａ、６２ｂの両方を読み込む必要があるか否かがわかるので、一方が再生処理等に不要であると判断した場合には、その一方の読み込みをスキップすることで、ファイル読み込み時間を短縮することができる。
Although details will be described later, in the
なお、以下の説明では、マスク部４４に格納されるマスク情報６２ａと、データ部４２に格納されるマスク情報６２ｂとを、マスク情報６２と総称する。
In the following description, the
画像情報６４は、本撮像により撮像素子２２から出力された撮像信号を、種々の画像処理を施す前の形で記録した情報であり、いわゆるＲＡＷ画像データである。Ｔｖ値マップ６５は、単位グループ３２ごとに設定されたシャッタースピードを表すＴｖ値を、単位グループ３２の位置に合わせて二次元マップの形で表現した情報である。例えば座標（ｘ、ｙ）に位置する単位グループ３２に設定されたシャッタースピードは、Ｔｖ値マップ６５の座標（ｘ、ｙ）に格納されているＴｖ値を調べることで判別可能である。
The
Ｓｖ値マップ６６は、単位グループ３２ごとに設定されたＩＳＯ感度を表すＳｖ値を、Ｔｖ値マップ６５と同様に二次元マップの形で表現した情報である。Ｂｖ値マップ６７は、本撮像に際して単位グループ３２ごとに測定された被写体輝度、すなわち、各々の単位グループ３２に入射した被写体光の輝度を表すＢｖ値を、Ｔｖ値マップ６５と同様に二次元マップの形で表現した情報である。Ａｖ値情報６８は、本撮像時の絞り値を表す情報である。本実施形態において、Ａｖ値は、Ｔｖ値、Ｓｖ値、Ｂｖ値とは異なり、単位グループ３２ごとに存在する値ではない。従って、Ｔｖ値、Ｓｖ値、Ｂｖ値とは違い、Ａｖ値は単一の値のみが格納され、複数の値を二次元状にマップした情報とはなっていない。
The
以上のように、制御部２３は、静止画撮像機能Ａによる撮像を行うことにより、単位グループ３２ごとに撮像条件が設定可能な撮像素子２２により生成された画像情報６４と、単位グループ３２ごとの撮像条件に関するデータ（撮像条件情報６１、マスク情報６２、Ｔｖ値マップ６５、Ｓｖ値マップ６６、Ｂｖ値マップ６７等）とが関連付けられた画像ファイル４０を、メモリカード２５に記録する。このような画像ファイルの保存形式を、本明細書では一括保存形式（時系列型）と呼ぶ。
As described above, by performing imaging using the still image imaging function A, the
なお上述の説明では、画像情報６４がＲＡＷ画像データであるものとして説明を行ったが、ＲＡＷ画像データではなく圧縮（現像）された画像データであってもよい。
In the above description, the
（２）動画撮像機能Ａ（単一の動画）
動画撮像機能Ａは、撮像画面を複数の部分領域に区切り、それら複数の部分領域に対して個別に撮像条件を設定して、動画を撮像する機能である。静止画撮像機能Ａとの違いは、静止画ではなく動画を撮像する点である。静止画ではなく動画を撮像するため、静止画撮像機能Ａで述べた「各々の単位グループ３２の用途」が、フレームごとに変化する可能性がある。
(2) Video imaging function A (single video)
The video imaging function A is a function that divides the imaging screen into a plurality of partial areas, sets imaging conditions individually for the plurality of partial areas, and images a video. The difference from the still image capturing function A is that a moving image is captured instead of a still image. Since a moving image is captured instead of a still image, the "use of each
図６（ａ）に、撮像素子２２の撮像画面５０（撮像範囲）と、被写体５１とを模式的に示す。制御部２３は、本撮像前に予備撮像を行う。そして、予備撮像により得られた被写体５１の画像（被写体５１が写り込んでいる画像）に対して、所定の画像解析処理を実行する。画像解析処理によって、撮像画面５０は、主要被写体部分が存在する主要被写体領域５２と、背景部分が存在する背景領域５３とに分割される。制御部２３は、主要被写体領域５２内の各単位グループ３２と、背景領域５３内の各単位グループ３２とで、異なる撮像条件を設定して、１フレーム目の本撮像を行い、画像データを作成する。このときのマスク情報６２の例を、図６（ｂ）に示す。図６（ｂ）に示したマスク情報６２では一例として、主要被写体領域５２に属する単位グループ３２に「１」という番号を、背景領域５３に属する単位グループ３２に「２」という番号を割り振っている。
FIG. 6A schematically shows an imaging screen 50 (imaging range) of the
次に、制御部２３は、１フレーム目の画像データに対して、画像解析処理を実行し、主要被写体部分と背景部分とを検出する。これにより、１フレーム目の画像データは、図６（ｃ）に示すように、主要被写体領域５２と背景領域５３とに分割される。制御部２３は、主要被写体領域５２内の各単位グループ３２と、背景領域５３内の各単位グループ３２とで、異なる撮像条件を設定して、２フレーム目の本撮像を行い、画像データを作成する。このときのマスク情報６２の例を、図６（ｄ）に示す。
Next, the
予備撮像の結果に対応するマスク情報６２（図６（ｂ））と、１フレーム目の本撮像の結果に対応するマスク情報６２（図６（ｄ））とでは、異なる時刻に撮像を行っている（時間差がある）ため、例えば被写体５１が移動している場合や、ユーザが撮像装置１０を動かした場合に・BR>Aこれら２つのマスク情報６２が異なる内容になる。換言すると、マスク情報６２は、時間経過に伴い変化する動的情報である。従って、ある単位グループ３２において、１フレーム目の本撮像時と２フレーム目の本撮像時とで、異なる撮像条件が設定されることになる。
The mask information 62 (FIG. 6(b)) corresponding to the result of preliminary imaging and the mask information 62 (FIG. 6(d)) corresponding to the result of main imaging of the first frame are obtained by imaging at different times. Therefore, for example, when the subject 51 is moving or when the user moves the
制御部２３は、画像ファイル４０に、各フレームの画像情報６４と共に、各フレームのマスク情報６２ｂ、Ｔｖ値マップ６５、Ｓｖ値マップ６６、Ｂｖ値マップ６７、およびＡｖ値情報６８を記録する。従って、撮像後に、画像ファイル４０から、撮像時の情報を余すところなく取得することができ、動画再生等にそれらの情報を有効活用することができる。
The
なお、３フレーム目以降の本撮像時の処理は、上述した２フレーム目の処理と同様であるので、説明を省略する。制御部２３は、撮像が完了するまで（例えば所定の時間が経過するか、ユーザが所定の撮像終了操作を行うまで）上述した処理を繰り返し実行する。
Note that the processing during the main imaging of the third frame and subsequent frames is the same as the processing for the second frame described above, so a description thereof will be omitted. The
図７は、動画撮像機能Ａを用いて撮像した場合に作成される画像ファイル４０の構成を模式的に示す図である。以下、図５に示した静止画撮像機能Ａの場合との違いについて詳述する。
FIG. 7 is a diagram schematically showing the structure of an
識別情報６０は、この画像ファイル４０が動画撮像機能Ａによって作成されたものである旨を表す。撮像条件情報６１は、静止画撮像機能Ａの撮像条件情報６１にフレームレートを付け加えたものである。つまり、撮像条件情報６１は、この画像ファイル４０の作成に際し、単位グループ３２に例えば「主要被写体部分を６０ｆｐｓで動画撮像する」、「背景部分を３０ｆｐｓで動画撮像する」という２種類の用途が存在したこと、並びに、これらの用途ごとに割り当てられた一意な番号を表す情報である。例えば、１という番号が「主要被写体部分を６０ｆｐｓで動画撮像する」用途を、２という番号が「背景部分を３０ｆｐｓで動画撮像する」用途にそれぞれ割り当てられる。
The
マスク情報６２ａは、上述した静止画撮像機能Ａと同様の情報である。ただし動画撮像の場合、前述の通り、マスク情報６２はフレームごとに変化する動的情報なので、どのフレームのマスク情報６２がヘッダ部４１に記録されるのかを決めなければならない。本実施形態では、１フレーム目の撮像の際に各単位グループ３２に設定された撮像条件を表すマスク情報６２ａ、すなわち、図６（ｂ）に例示したマスク情報６２を、ヘッダ部４１に記録する。このようにしたのは、静止画撮像機能Ａの説明でも述べた通り、画像ファイル４０の扱いが煩雑になることを防ぐためである。
The
データ部４２には、１フレームごとに、１フレーム分のブロック７０が撮像順に格納される。１つのブロック７０は、マスク情報６２と、画像情報６４と、Ｔｖ値マップ６５と、Ｓｖ値マップ６６と、Ｂｖ値マップ６７と、Ａｖ値情報６８とから成る。また、データ部４２には、フレームごとのブロック７０と共に、音声情報７１が格納される。音声情報７１は、動画再生を行いやすいように、１フレーム分の情報ごとに分割され、ブロック７０と多重化されてデータ部４２に格納されている。なお、音声情報７１の多重化は、１フレーム分でなく、所定数のフレーム分ごとに行ってもよい。ブロック７０内の各情報は、１フレーム毎に記録されることを除き、静止画撮像機能Ａの場合と同様であるので説明を省略する。
In the data section 42, blocks 70 for one frame are stored in the order of imaging for each frame. One
なお、画像ファイル４０に、各フレームの画像情報と共に、各フレームのマスク情報６２ｂを記録するものに限定されない。例えば、監視カメラによる動画撮像の場合のように、同一の撮像シーンが連続するようなときには、撮像シーンの変化、即ちマスク情報６２に変化が生じるまで、初期フレームのマスク情報６２を使用する。この場合、制御部２３は、第１フレーム目の撮像の際に設定されたマスク情報６２ａをヘッダ部４１に記録する。第２フレーム目の撮像の際に設定されたマスク情報６２が第１フレーム目のマスク情報６２ａと同一の場合には、制御部２３は、データ部４２の第２フレーム目のブロック７０にはマスク情報６２ｂを記録せず、かつ、マスク情報６２ｂが無いことを示す情報（マスク有無情報）を付与する。マスク有無情報として、例えば「１」という番号が付与されている場合にはデータ部４２にマスク情報６２ｂが記録されていることを示し、「０」という番号が付与されている場合にはデータ部４２にマスク情報６２ｂが付与されていないことを示す。即ち、上記の第２フレーム目のブロック７０にはマスク有無情報として「０」が付与される。
Note that the
以後のフレームについても、撮像されたシーンが第１フレーム目と同一の場合には、データ部４２のそれぞれのブロック７０には、マスク情報６２ｂは記録されず、上記のマスク有無情報として「０」が付与される。撮像されたシーンが第１フレーム目で撮像されたシーンから変化した場合には、制御部２３は、データ部４２の当該フレームのブロック７０に、マスク有無情報として「１」を付与し、シーンの変化に応じて設定されたマスク情報６２ｂを記録する。これにより、同一の撮像シーンが連続するような場合には、データ部４２のマスク情報６２ｂを削減して、記憶領域のサイズを削減することが可能となる。
Regarding subsequent frames, if the captured scene is the same as the first frame, the
さらには、撮像シーンが直前のフレームと同一の場合には、直前のマスク情報６２を使用するようにしても良い。この場合、制御部２３は、第１フレーム目の撮像の際に設定されたマスク情報６２ａをヘッダ部４１に記録する。第２フレーム目の撮像の際に設定されたマスク情報６２が第１フレーム目のマスク情報６２ａと同一の場合には、制御部２３は、データ部４２の第２フレーム目のブロック７０にはマスク情報６２ｂを記録せず、かつ、マスク情報６２ｂが直前のフレームのマスク情報６２ａと同一であることを示す情報（マスク同一情報）を付与する。このマスク同一情報として、例えば「１」という番号が付与されている場合には、直前のフレームと撮像シーンが異なるためデータ部４２にマスク情報６２ｂが記録されていることを示す。「０」という番号が付与されている場合には、直前のフレームと撮像シーンが同一のためデータ部４２にマスク情報６２ｂが付与されていないことを示す。即ち、第２フレーム目のブロック７０にはマスク同一情報として「０」が付与される。
Furthermore, if the captured scene is the same as the immediately previous frame, the immediately
第３フレーム目の撮像シーンが第２フレーム目の撮像シーンと異なる場合には、制御部２３は、第３フレーム目のマスク情報６２を設定し、データ部４２の第３フレーム目のブロック７０に、マスク同一情報として「１」を付与し、マスク情報６２ｂを記録する。以後のフレームにおいても、制御部２３は、直前のフレームの撮像シーンと異なる撮像シーンが得られた場合にはデータ部４２の当該フレームのブロック７０にマスク同一情報として「１」を付与した上でマスク情報６２ｂを記録し、同一の撮像シーンが得られた場合にはマスク同一情報として「０」を付与しマスク情報６２ｂを記録しない。これにより、同一の撮像シーンが連続するような場合には、データ部４２のマスク情報６２ｂを削減して、記憶領域のサイズを削減することが可能となる。
If the captured scene of the third frame is different from the captured scene of the second frame, the
以上のように、制御部２３は、動画撮像機能Ａによる撮像を行うことにより、単位グループ３２ごとに撮像条件が設定可能な撮像素子２２により生成された画像情報６４と、単位グループ３２ごとの撮像条件に関するデータ（撮像条件情報６１、マスク情報６２、Ｔｖ値マップ６５、Ｓｖ値マップ６６、Ｂｖ値マップ６７等）とが関連付けられた画像ファイル４０を、メモリカード２５に記録する。このような画像ファイルの保存形式を、本明細書では一括保存形式（時系列型）と呼ぶ。
As described above, by performing imaging using the video imaging function A, the
（３）静止画撮像機能Ｂ（複数の静止画）
静止画撮像機能Ｂは、１回の撮像で、互いに撮像条件が異なる、同一の被写体に関する静止画を同時に複数枚撮像する機能である。
(3) Still image capture function B (multiple still images)
The still image capturing function B is a function that simultaneously captures a plurality of still images of the same subject under different imaging conditions in one image capture.
図８（ａ）に、撮像素子２２の撮像面３０を模式的に示す。また、図８（ｂ）に、撮像面３０の一部領域３０ｂを拡大した模式図を示す。静止画撮像機能Ｂでは、二次元状に配置された複数の単位グループ３２を、更に複数の大グループ８１に分類する。このとき、ある大グループ８１に属する単位グループ３２が、撮像面８０全体に一様に配置されるように単位グループ３２を分類する。例えば図８（ｂ）では、全ての単位グループ３２を、２×２の４つの単位グループ３２から成るブロック８２に分割し、各ブロック８２の左上の単位グループ３２を１つ目の大グループ８１１に、左下の単位グループ３２を２つ目の大グループ８１２に、右上の単位グループ３２を３つ目の大グループ８１３に、右下の単位グループ３２を４つ目の大グループ８１４に分類している。なお図８（ｂ）では、模式的に図示した四角形１つが１つの単位グループ３２を表しており、四角形の中に記載した数字は、その単位グループ３２が属する大グループ８１の種類を表している。
FIG. 8A schematically shows the
制御部２３は、本撮像の際、１つ目の大グループ８１１に属する単位グループ３２と、２つ目の大グループ８１２に属する単位グループ３２と、３つ目の大グループ８１３に属する単位グループ３２と、４つ目の大グループ８１４に属する単位グループ３２とで、撮像条件を異ならせる。例えば、シャッタースピードやＩＳＯ感度を互いに異なる値に設定して本撮像を行う。制御部２３は、このようにして撮像した画像情報を画像ファイル４０に記録する。ここで記録される画像情報は、図８（ｃ）に模式的に示すように、各画素値を大グループ８１ごとに集約して利用することを意図したものである。
During main imaging, the
例えば、図８（ｃ）に示すように、１つ目の大グループ８１１に属する単位グループ３２に対応する画素値だけを画像情報６４から抽出して二次元状に並べると、撮像素子２２の画素数の１／４の画素値から成る第１の画像情報６４１が得られる。同様に、２つ目の大グループ８１に属する単位グループ３２に対応する画素値だけを画像情報６４から抽出して二次元状に並べると、撮像素子２２の画素数の１／４の画素値から成り、上述した第１の画像情報６４１とは異なる撮像条件で撮像された、第１の画像情報６４１と同一の被写体５１が写っている第２の画像情報６４２が得られる。同様に、第３の画像情報６４３、第４の画像情報６４４が得られる。これら４つの画像情報６４１、６４２、６４３、６４４は、全て、同一の被写体５１を撮像した画像であり、且つ、互いに撮像条件が異なる画像である。つまり、最初に述べたように、１回の撮像で、互いに撮像条件が異なる、同一の被写体５１に関する４つの静止画が同時に撮像されたといえる。
For example, as shown in FIG. 8C, if only the pixel values corresponding to the
なお、画像ファイル４０内の画像情報６４は、撮像素子２２の各撮像画素３１からの画素出力を、撮像画素３１の位置通りに配列した画像である。つまり、上述した４つの画像情報６４１、６４２、６４３、６４４を作成する処理は、メモリカード２５から画像ファイル４０を読み出す再生時や現像時に行われることになる。また、その画像情報６４は、必ずしも４つの画像情報６４１、６４２、６４３、６４４を作成するためだけのものではない。画像情報６４をそのまま利用（再生等）してしまうと、隣接する単位グループ３２ごとに撮像条件が異なっているため、例えば市松模様が現れた不自然な画像になってしまう。しかしながら、画像ファイル４０には、単位グループ３２ごとの撮像条件（例えばＴｖ値、Ｓｖ値等）が記録されているので、それらの撮像条件と画像情報６４とを組み合わせて現像すれば、そのような不自然な画像となることを防ぐことができる。例えば、他の単位グループ３２よりも露出値（Ｅｖ値）が高い単位グループ３２では、他の単位グループ３２よりも明るさを抑えて現像を行えばよい。
Note that the
以上では単位グループ３２を４つの大グループ８１１、８１２、８１３、８１４に分類した例について説明したが、４つに限らず、任意の数の大グループ８１に分類し、任意の数の静止画を同時に撮像してよい。また、大グループ８１のレイアウト（単位グループ３２の分類方法）も、２×２の単位グループ３２を１つずつ異なる大グループ８１に分類するというものに限らない。
An example in which the
この点について、図９（ａ）、（ｂ）に例を挙げる。図９（ａ）では、全ての単位グループ３２を、３×３の計９個の組に区切り、各々の組において、前記組に含まれる９個の単位グループ３２を、それぞれ１～９番目の大グループ８１に割り当てている。このようなレイアウトを採用することで、１回の撮像で、撮像条件が異なる９つの画像６４１～６４９を同時に撮像することができる。また、図９（ｂ）では、全ての単位グループ３２を、３×３の計９個の組に区切り、各々の組において、左上隅の単位グループ３２を１つ目の大グループ８１に割り当て、右下の２×２の計４個の単位グループ３２を、２つ目の大グループ８１に割り当てている。残りの４個の単位グループ３２は、撮像に利用しないものとしている。このようにすると、１回の撮像で、撮像条件が異なる２つの画像６４１、６４２を同時に撮像することができるが、２つ目の大グループ８１に対応する画像６４２は、１つ目の大グループ８１に対応する画像６４１に比べて、４倍の画素数を有する画像になる。つまり、１回の撮像で、撮像条件が異なる２つの画像６４１、６４２を同時に撮像することができ、且つ、それら２つの画像６４１、６４２は、互いに画素数が異なるものとなる。
Examples of this point are shown in FIGS. 9(a) and 9(b). In FIG. 9(a), all
図１０は、静止画撮像機能Ｂを用いて撮像した場合に作成される画像ファイル４０の構成を模式的に示す図である。以下、図５に示した静止画撮像機能Ａの場合との違いについて詳述する。
FIG. 10 is a diagram schematically showing the structure of an
識別情報６０は、この画像ファイル４０が静止画撮像機能Ｂによって作成されたものである旨を表す。撮像条件情報６１は、単位グループ３２にどのような用途が存在するかを表す情報である。静止画撮像機能Ｂにおいては、各々の単位グループ３２は、例えば「第１の画像情報６４１を構成する」という用途か、「第２の画像情報６４２を構成する」という用途か、「第３の画像情報６４３を構成する」という用途か、「第４の画像情報６４４を構成する」という用途か、のいずれかの用途を有している。撮像条件情報６１は、この画像ファイル４０の作成に際し、単位グループ３２にそれら４種類の用途が存在したこと、並びに、これらの用途ごとに割り当てられた一意な番号を表す情報である。例えば、１～４の番号が、それぞれ「第１～第４の画像情報６４１～６４４を構成する」用途に割り当てられる。
The
静止画撮像機能Ｂにおけるマスク情報６２ａは、静止画撮像機能Ａの場合と同様に、各々の単位グループ３２の用途を表す情報である。すなわち、マスク情報６２ａは、「撮像条件情報６１に割り当てられた番号を、単位グループ３２の位置に合わせて二次元マップの形で表現した情報」である。例えば、マスク情報６２ａの座標（３，５）に「１」という番号が入っていた場合、座標（３，５）の単位グループ３２は１番目の大グループ８１１に属する、すなわち、第１の画像情報６４１を構成することがわかる。
The
なお、本実施形態において、「０」という番号を持つ大グループ８１は、撮像に利用されなかった単位グループ３２を表す特別な大グループ８１である。つまり、マスク情報６２ａにおいて「０」という番号が割り振られている単位グループ３２は、撮像に利用されておらず（本撮像時に撮像信号が読み出されておらず）、データ部４２に記録されている画像情報６４には、その単位グループ３２に関する情報が含まれていない（または、その単位グループ３２に関する情報として、有効でないダミーの情報が記録されている）ことを表す。
Note that in this embodiment, the
例えば、同時に３通りの撮像条件で撮像できれば十分であり、４通りの撮像条件で撮像する必要がない場合には、図８（ｂ）に示した単位グループ３２のうち、「４」と書かれた単位グループ３２のマスク情報６２ａに「０」という番号を割り当てればよい。
For example, if it is sufficient to capture images under three different imaging conditions at the same time, and there is no need to capture images under four imaging conditions, "4" is written in the
データ部４２の構成は、静止画撮像機能Ａと同一である。すなわち、データ部４２には、マスク情報６２ｂと、画像情報６４と、Ｔｖ値マップ６５と、Ｓｖ値マップ６６と、Ｂｖ値マップ６７と、Ａｖ値情報６８とが格納される。また、マスク情報６２ｂは、マスク部４４に格納されるマスク情報６２ａと同一の情報である。
The configuration of the data section 42 is the same as that of the still image capturing function A. That is, the data section 42 stores mask
なお、マスク情報６２ｂとして、マスク部４４のマスク情報６２ａと同一の情報ではなく、単位グループ３２の各々の有効・無効を表す情報を格納してもよい。例えば、撮像に利用されていない（撮像時に撮像信号が読み出されていない）単位グループ３２に数値「０」、撮像に利用された（撮像時に撮像信号が読み出された）単位グループ３２に数値「１」を割り当て、それを単位グループ３２の位置に合わせて二次元状に配列したマップをマスク情報６２ｂとしてデータ部４２に格納してもよい。後述する動画撮像機能Ｂや混合撮像機能においても同様である。
Note that the
以上のように、制御部２３は、静止画撮像機能Ｂによる撮像を行うことにより、単位グループ３２ごとに撮像条件が設定可能な撮像素子２２により生成された画像情報６４と、単位グループ３２ごとの撮像条件に関するデータ（撮像条件情報６１、マスク情報６２、Ｔｖ値マップ６５、Ｓｖ値マップ６６、Ｂｖ値マップ６７等）とが関連付けられた画像ファイル４０を、メモリカード２５に記録する。このような画像ファイルの保存形式を、本明細書では一括保存形式（画像集合型）と呼ぶ。
As described above, by performing the imaging using the still image imaging function B, the
（４）動画撮像機能Ｂ（複数の動画）
動画撮像機能Ｂは、１回の撮像で、互いに撮像条件が異なる、同一の被写体に関する動画を同時に撮像する機能である。静止画撮像機能Ｂとの違いは、静止画ではなく動画を撮像する点である。動画の撮像ではあるものの、動画撮像機能Ａのように、ある大グループ８１に分類された単位グループ３２が、フレームごとに異なる大グループ８１に分類されることはない。ただし、フレームレートの設定によっては、あるフレームに含まれていた（あるフレームで有効であった）単位グループ３２が、別のフレームには含まれていない（別のフレームでは無効である）ことがある。以下、フレームレートの設定別に、動画撮像機能Ｂについて説明する。
(4) Video imaging function B (multiple videos)
The moving image capturing function B is a function of simultaneously capturing moving images of the same subject under different imaging conditions in one image capturing. The difference from still image capturing function B is that a moving image is captured instead of a still image. Although it is a moving image capturing function, unlike the moving image capturing function A, the
（４－１）全ての大グループ８１でフレームレートが統一されている場合
図１１は、全ての大グループ８１において、フレームレートが同一の場合の動画撮像機能Ｂの説明図である。この場合、大グループ８１ごとに異なる撮像条件とは、フレームレート以外の撮像条件（例えばシャッタースピードやＩＳＯ感度等）である。露出時間は異なるとしても、フレームレート、すなわち信号読み出しの周期は同一であるため、全ての大グループ８１において、撮像信号の読み出しはフレームレートに対応する所定周期Ｔ１ごとに行われる。
(4-1) When all
全ての単位グループ３２において同一のフレームレートで撮像が行われるので、全てのフレームにおいて、全ての単位グループ３２が撮像に利用されている。換言すると、全てのフレームにおいて、全ての単位グループ３２から撮像信号が読み出され、全てのフレームの画像情報６４に、全ての単位グループ３２から読み出された撮像信号が含まれている。例えば、撮像開始時刻ｔ０から所定周期Ｔ１だけ後の時刻ｔ１に、１つ目の画像情報６４が作成される。この画像情報６４には、１番目の大グループ８１における１フレーム目（図１１で＃１と表記したフレーム。以下同様）の画像と、２番目の大グループ８１における１フレーム目の画像と、３番目の大グループ８１における１フレーム目の画像と、４番目の大グループ８１における１フレーム目の画像と、が含まれる。２つ目以降の画像情報６４についても同様である。
Since imaging is performed at the same frame rate in all
（４－２）大グループ８１ごとにフレームレートが統一されていない場合
図１２は、全ての大グループ８１に、互いに異なるフレームレートが設定されている場合の動画撮像機能Ｂの説明図である。この例において、１番目の大グループ８１１には６０ｆｐｓ、２番目の大グループ８１２には５０ｆｐｓ、３番目の大グループ８１３には２４ｆｐｓ、４番目の大グループ８１４には２５ｆｐｓのフレームレートがそれぞれ設定されている。
(4-2) When the frame rate is not unified for each
このように、大グループ８１同士でフレームレートが異なる場合、制御部２３は、もっとも早いフレームレートを基準として各フレームを記録する。つまり、６０ｆｐｓに対応する所定周期Ｔ２（約１６．７ミリ秒）ごとに、画像情報６４が記録される。例えば、撮像開始時刻ｔ０から所定周期Ｔ２だけ後の時刻ｔ１１には、１番目の大グループ８１１に属する単位グループ３２から読み出された撮像信号に基づく画像情報６４が作成され、画像ファイル４０に記録される。時刻ｔ１１の時点では、他の大グループ８１２、８１３、８１４において１フレーム目の撮像信号の読み出しが為されていないため、この画像情報６４には、それらの撮像信号は含まれていない。なお図１２では、特定の単位グループ３２から撮像信号が読み出されておらず、画像情報６４にその撮像信号が含まれていないことを、「Ｘ」という記号で表記している。
In this way, when the
時刻ｔ１１から所定周期Ｔ２だけ後の時刻ｔ１２では、１番目の大グループ８１１の２回目（２フレーム目）の本撮像だけでなく、２番目の大グループ８１２（５０ｆｐｓ）の１回目（１フレーム目）の本撮像も完了している。そこで、制御部２３は、１番目の大グループ８１１に属する単位グループ３２と２番目の大グループ８１２に属する単位グループ３２から読み出した撮像信号を、画像ファイル４０に記録する。３番目の大グループ８１３に属する単位グループ３２や４番目の大グループ８１４に属する単位グループ３２からは撮像信号が読み出されず、画像ファイル４０にも記録されない。
At time t12, which is a predetermined period T2 after time t11, not only the second (second frame) main imaging of the first large group 811 but also the first (first frame) imaging of the second large group 812 (50 fps) is performed. ) has also been completed. Therefore, the
このように、大グループ８１同士でフレームレートが異なる場合、画像情報６４の一部が欠落している（無効になっている）ことがある。制御部２３は、フレームごとに記録するマスク情報６２ｂによって、特定の単位グループ３２に対応する撮像信号が画像情報６４に含まれていないことを示す。具体的なマスク情報６２ｂの構成については後に述べる。
In this way, when the
図１３は、動画撮像機能Ｂを用いて撮像した場合に作成される画像ファイル４０の構成を模式的に示す図である。以下、図７に示した動画撮像機能Ａや図１０に示した静止画撮像機能Ｂの場合との違いについて詳述する。
FIG. 13 is a diagram schematically showing the structure of an
識別情報６０は、この画像ファイル４０が動画撮像機能Ｂによって作成されたものである旨を表す。撮像条件情報６１は、単位グループ３２にどのような用途が存在するかを表す情報である。動画撮像機能Ｂにおける撮像条件情報６１は、静止画撮像機能Ｂの撮像条件情報６１にフレームレートを付け加えたものである。つまり、撮像条件情報６１は、この画像ファイル４０の作成に際し、単位グループ３２に例えば「６０ｆｐｓの動画である第１の画像情報６４１を構成する」、「５０ｆｐｓの動画である第２の画像情報６４２を構成する」、「２４ｆｐｓの動画である第３の画像情報６４３を構成する」、「２５ｆｐｓの動画である第４の画像情報６４４を構成する」という４種類の用途が存在したこと、並びに、これらの用途ごとに割り当てられた一意な番号を表す情報である。例えば、１～４の番号が、それぞれ「第１～第４の画像情報６４１～６４４を構成する」用途に割り当てられる。
The
動画撮像機能Ｂにおけるマスク情報６２ａは、静止画撮像機能Ｂの場合と同様に、各々の単位グループ３２の用途を表す情報である。すなわち、マスク情報６２ａは、「撮像条件情報６１に割り当てられた番号を、単位グループ３２の位置に合わせて二次元マップの形で表現した情報」である。例えば、マスク情報６２ａの座標（３，５）に「１」という番号が入っていた場合、座標（３，５）の単位グループ３２は１番目の大グループ８１１に属する、すなわち、第１の画像情報６４１を構成することがわかる。
The
データ部４２の構成は、動画撮像機能Ａと同一である。すなわち、データ部４２には、１フレームごとに、１フレーム分のブロック７０が撮像順に格納される。１つのブロック７０は、マスク情報６２ｂと、画像情報６４と、Ｔｖ値マップ６５と、Ｓｖ値マップ６６と、Ｂｖ値マップ６７と、Ａｖ値情報６８とから成る。また、データ部４２には、フレームごとのブロック７０と共に、音声情報７１が格納される。
The configuration of the data section 42 is the same as that of the moving image capturing function A. That is, in the data section 42, blocks 70 for one frame are stored in the order of imaging for each frame. One
マスク情報６２ｂには、上述した撮像条件情報６１により特定される番号（例えば１～４の番号）だけでなく、「０」という番号が格納されることがある。この「０」という番号は、対応するフレームにおいて、単位グループ３２が、撮像に利用されていない（撮像時に撮像信号が読み出されていない）ことを表す。上述のように、フレームレートが異なる複数の動画を撮像する場合、あるフレームの画像情報６４には、特定の単位グループ３２に対応する撮像信号が格納されていないことがある。このような場合、制御部２３は、前記フレームにおいて、その単位グループ３２に対応するマスク情報６２の数値を「０」に設定する。ここで、マスク情報６２ｂの数値が「０」に設定された単位グループ３２については、画像情報６４以外の情報、すなわち、Ｔｖ値マップ６５内のＴｖ値、Ｓｖ値マップ６６内のＳｖ値、Ｂｖ値マップ６７内のＳｖ値についても、有効な値が記録されない。
The
なお、マスク情報６２ｂの数値が「０」に設定された単位グループ３２について、その単位グループ３２の前フレームにおける撮像信号を、画像情報６４に記録するようにしてもよい。Ｔｖ値マップ６５内のＴｖ値、Ｓｖ値マップ６６内のＳｖ値、Ｂｖ値マップ６７内のＳｖ値についても同様に、前フレームにおける値を記録するようにしてもよい。後述する混合撮像機能についても同様である。
Note that for a
また、上述した（４－２）のように大グループ８１同士でフレームレートが異なる場合であっても、データ部４２にマスク情報６２ｂを記録しなくても良い。例えば、上述した、１番目の大グループ８１１には６０ｆｐｓ、２番目の大グループ８１２には５０ｆｐｓ、３番目の大グループ８１３には２４ｆｐｓ、４番目の大グループ８１４には２５ｆｐｓのフレームレートがそれぞれ設定されている場合であっても、所定の周期で全ての大グループ８１を構成する単位グループ３２から撮像信号が読み出される。即ち、所定の周期ごとに、何れの単位グループ３２にもマスク情報６２として「０」が格納されないフレームが規則性を有して現れる。制御部２３（記録制御部、生成部）は、この規則性を示す情報を生成してヘッダ部４１に記録し、データ部４２にマスク情報６２ｂを記録しない。この場合、制御部２３は、規則性を示す情報として、図１２に示す場合を例に挙げると、第１フレームは大グループ８１１が有効かつ大グループ８１２～８１４が無効、第２フレームは大グループ８１１、８１２が有効かつ大グループ８１３、８１４が無効、第３フレームは大グループ８１１～８１４が有効を示す情報をヘッダ部４１に記録すれば良い。規則性を有する情報が記録されることにより、各フレーム毎にマスク情報６２ｂを記録する必要がなくなり、画像ファイル４０が占有する記録領域のサイズを削減できる。
Furthermore, even if the
以上のように、制御部２３は、動画撮像機能Ｂによる撮像を行うことにより、単位グループ３２ごとに撮像条件が設定可能な撮像素子２２により生成された画像情報６４と、単位グループ３２ごとの撮像条件に関するデータ（撮像条件情報６１、マスク情報６２、Ｔｖ値マップ６５、Ｓｖ値マップ６６、Ｂｖ値マップ６７等）とが関連付けられた画像ファイル４０を、メモリカード２５に記録する。このような画像ファイルの保存形式を、本明細書では一括保存形式（画像集合型）と呼ぶ。
As described above, by performing imaging using the video imaging function B, the
（５）混合撮像機能（動画と静止画）
混合撮像機能は、静止画撮像機能Ｂと動画撮像機能Ｂを組み合わせた機能であり、１回の撮像で、互いに撮像条件が異なる、同一の被写体に関する静止画と動画を同時に撮像する機能である。
(5) Mixed imaging function (video and still images)
The mixed imaging function is a function that combines the still image imaging function B and the video imaging function B, and is a function that simultaneously images a still image and a video of the same subject under different imaging conditions in one imaging.
混合撮像機能において、制御部２３は、静止画撮像機能Ｂや動画撮像機能Ｂと同様に、二次元状に配置された複数の単位グループ３２を、更に複数の大グループ８１に分類する。制御部２３は、一部の大グループ８１について、動画撮像機能Ｂと同様に動画撮像を行う。制御部２３は、その動画撮像中に、残りの大グループ８１を用いて、静止画撮像機能Ｂと同様に静止画撮像を行う。この静止画撮像は、例えば一定周期で繰り返し行ってもよいし（自動撮像）、ユーザにより特定の操作が為されたことに応じて行ってもよい（手動撮像）。
In the mixed imaging function, similarly to the still image imaging function B and the moving image imaging function B, the
図１４は、混合撮像機能の説明図である。ここでは４つの大グループ８１１～８１４を仮定し、そのうち１番目の大グループ８１１で６０ｆｐｓの動画撮像を、２番目の大グループ８１２で５０ｆｐｓの動画撮像を、３番目と４番目の大グループ８１３、８１４で静止画を撮像するものとしている。 FIG. 14 is an explanatory diagram of the mixed imaging function. Here, four large groups 811 to 814 are assumed, among which the first large group 811 captures a video at 60 fps, the second large group 812 captures a video at 50 fps, the third and fourth large groups 813, In step 814, a still image is captured.
制御部２３は、動画撮像機能Ｂと同様に、もっとも早いフレームレート（例えば６０ｆｐｓ）を基準として、各フレームを記録する。静止画撮像が行われない間、３番目と４番目の大グループ８１３、８１４に属する単位グループ３２については、常に撮像信号の読み出しが行われない。つまり、フレームごとに記録される画像情報６４には、静止画に対応する３番目と４番目の大グループ８１３、８１４に属する単位グループ３２の撮像信号が含まれない。制御部２３は、静止画撮像を行った場合、静止画撮像が完了したタイミング（３番目と４番目の大グループ８１３、８１４に属する単位グループ３２から撮像信号を読み出したタイミング）で、直後のフレームに対応する画像情報６４に、静止画撮像により読み出した撮像信号を含ませる。
Similarly to the video imaging function B, the
図１５は、混合撮像機能を用いて撮像した場合に作成される画像ファイル４０の構成を模式的に示す図である。以下、図１３に示した動画撮像機能Ｂの場合との違いについて詳述する。
FIG. 15 is a diagram schematically showing the structure of an
識別情報６０は、この画像ファイル４０が混合撮像機能によって作成されたものである旨を表す。撮像条件情報６１は、単位グループ３２にどのような用途が存在するかを表す情報である。混合撮像機能における撮像条件情報６１は、例えばこの画像ファイル４０の作成に際し、単位グループ３２に「６０ｆｐｓの動画である第１の画像情報６４１を構成する」、「３０ｆｐｓである動画である第２の画像情報６４２を構成する」、「静止画である第３の画像情報６４３を構成する」、「静止画である第４の画像情報６４４を構成する」という４種類の用途が存在したこと、並びに、これらの用途ごとに割り当てられた一意な番号を表す情報である。例えば、１～４の番号が、それぞれ「第１～第４の画像情報６４１～６４４を構成する」用途に割り当てられる。
混合撮像機能におけるマスク情報６２ａは、動画撮像機能Ｂの場合と同様に、各々の単位グループ３２の用途を表す情報である。すなわち、マスク情報６２ａは、「撮像条件情報６１に割り当てられた番号を、単位グループ３２の位置に合わせて二次元マップの形で表現した情報」である。例えば、マスク情報６２ａの座標（３，５）に「１」という番号が入っていた場合、座標（３，５）の単位グループ３２は１番目の大グループ８１１に属する、すなわち、第１の画像情報６４１を構成することがわかる。
The
混合撮像機能では、ヘッダ部４１に、更にインデックス部７３が追加されている。インデックス部７３には、データ部４２に記録されている複数のブロック７０（複数のフレームにそれぞれ対応する）のうち、どのブロック７０に静止画が格納されているかを表すインデックス情報７４が記録されている。インデックス情報７４には、例えば、「５フレーム目の画像情報６４に含まれる第３の画像情報６４３に静止画が含まれている」というような情報が１つないし複数（静止画撮像の回数分だけ）含まれている。インデックス部７３は、多数のブロック７０の中から、静止画を素早く検索できるように設けられている。
In the mixed imaging function, an
なお、インデックス情報７４は、フレーム数に基づき静止画の記録位置を特定するものでなくてもよい。例えば、動画の再生時刻に基づき静止画の記録位置を特定することもできる。この場合、インデックス情報７４は、例えば「３分１５秒時点の画像情報６４に含まれる第３の画像情報６４３に静止画が含まれている」というような情報となる。
Note that the
制御部２３は、混合撮像機能による撮像中に静止画の撮像を行う度に、静止画の撮像を行ったフレーム番号や時刻をインデックス部７３にインデックス情報７４として追記する。なお、メモリカード２５内の画像ファイル４０のインデックス部７３に直接追記するのではなく、ＤＲＡＭ２７に一時記憶しておき、混合撮像機能の終了時に、メモリカード２５内の画像ファイル４０のインデックス部７３にＤＲＡＭ２７内の情報を転送するようにしてもよい。
Each time a still image is captured during imaging using the mixed imaging function, the
データ部４２の構成は、動画撮像機能Ｂと同一である。すなわち、データ部４２には、１フレームごとに、１フレーム分のブロック７０が撮像順に格納される。１つのブロック７０は、マスク情報６２と、画像情報６４と、Ｔｖ値マップ６５と、Ｓｖ値マップ６６と、Ｂｖ値マップ６７と、Ａｖ値情報６８とから成る。また、データ部４２には、フレームごとのブロック７０と共に、音声情報７１が格納される。
The configuration of the data section 42 is the same as that of the moving image capturing function B. That is, in the data section 42, blocks 70 for one frame are stored in the order of imaging for each frame. One
以上のように、制御部２３は、混合撮像機能による撮像を行うことにより、単位グループ３２ごとに撮像条件が設定可能な撮像素子２２により生成された画像情報６４と、単位グループ３２ごとの撮像条件に関するデータ（撮像条件情報６１、マスク情報６２、Ｔｖ値マップ６５、Ｓｖ値マップ６６、Ｂｖ値マップ６７等）とが関連付けられた画像ファイル４０を、メモリカード２５に記録する。このような画像ファイルの保存形式を、本明細書では一括保存形式（画像集合型）と呼ぶ。
As described above, by performing imaging using the mixed imaging function, the
次に、制御部２３による画像の再生処理について説明する。画像の再生処理は、上述した種々の撮像機能によってメモリカード２５に記録された画像ファイル４０から、被写体の画像を作成する処理である。制御部２３は、作成した画像を、例えば液晶モニタ２４に表示したり、メモリカード２５に上述した画像ファイル４０とは別のファイルとして記録したりする。
Next, image reproduction processing by the
制御部２３は、画像ファイル４０（図５、図７、図１０、図１３、図１５）を開き、まずファイル基本情報部４３を読み出す。これにより、画像ファイル４０のマスク部４４やデータ部４２等のオフセットおよびサイズが判明する。次に制御部２３は、画像ファイル４０のマスク部４４から、識別情報６０を読み出す。これにより、制御部２３は、この画像ファイル４０がどの撮像機能により作成されたファイルであるかを認識する。以降の処理は、撮像機能毎に異なる。そこで、以下、画像の再生処理を、上述した撮像機能ごとに説明する。
The
（１）静止画撮像機能Ａ（単一の静止画）
画像ファイル４０が、図５に示す、静止画撮像機能Ａにより作成されたファイルであると認識すると、制御部２３は、マスク部４４から、撮像条件情報６１およびマスク情報６２ａを読み出す。これにより、制御部２３は、撮像画面全体のうち、どの範囲（どの単位グループ３２）が主要被写体部分なのか、あるいは背景部分なのかを識別することができ、主要被写体部分と背景部分とで画作りを変化させることができる。例えば、主要被写体部分はより先鋭になるようにエッジ強調処理を施し、背景部分にはぼかし処理を施して主要被写体部分を強調することができる。
(1) Still image capture function A (single still image)
When recognizing that the
次に制御部２３は、データ部４２から、画像情報６４、Ｔｖ値マップ６５、Ｓｖ値マップ６６、Ｂｖ値マップ６７、およびＡｖ値情報６８を読み出す。そして、Ｔｖ値マップ６５、Ｓｖ値マップ６６、Ｂｖ値マップ６７、およびＡｖ値情報６８に基づいて、画像情報６４にいわゆる現像処理を実行する。画像情報６４がＲＡＷデータである場合は、制御部２３は、例えば、色情報を有していない画像情報６４に対して、周知のデモザイク処理を実行し、色情報を有する画像を作成する。また、制御部２３は、Ｓｖ値マップ６６等に基づき、色彩や明るさ等の調整、ノイズ軽減等の画像処理を行う。例えば、Ｓｖ値が大きい（感度が高い）単位グループ３２には、他の単位グループ３２に比べてノイズが乗りやすい。そこで、制御部２３は、Ｓｖ値が大きいほど、ノイズ軽減の強度を高く（強く）する。制御部２３は、以上のようにして作成された画像を、例えば液晶モニタ２４に表示したり、メモリカード２５に記録したりする。
Next, the
以上のように、制御部２３は、静止画撮像機能Ａにより作成された画像ファイル４０を再生するに際し、画像情報６４等のデータ部４２に記録されている情報よりも先に、マスク部４４に記録されている撮像条件情報６１およびマスク情報６２ａを読み出す。マスク部４４はデータ部４２よりも前に記録されているので、再生処理に際し発生するシークを最小限にすることができる。
As described above, when reproducing the
なお、前述の通り、データ部４２には、ヘッダ部４１に格納されているマスク情報６２ａと同一のマスク情報６２ｂが格納されている。そこで、制御部２３は、マスク情報６２ａの代わりに、データ部４２からマスク情報６２ｂを読み出してもよい。
Note that, as described above, the data section 42 stores mask
（２）動画撮像機能Ａ（単一の動画）
画像ファイル４０が、図７に示す、動画撮像機能Ａにより作成されたファイルであると認識すると、制御部２３は、マスク部４４からマスク情報６２ａを読み出す。制御部２３は、撮像画面全体のうち、どの範囲（どの単位グループ３２）が主要被写体部分なのか、あるいは背景部分なのかを判別する。次に、制御部２３は、マスク部４４から撮像条件情報６１を読み出す。これにより、制御部２３は、主要被写体部分と背景部分のフレームレートを認識する。次に制御部２３は、データ部４２の先頭のブロック７０から順に、画像情報６４、Ｔｖ値マップ６５、Ｓｖ値マップ６６、Ｂｖ値マップ６７、およびＡｖ値情報６８を読み出して、動画を構成する各フレームを作成する。
(2) Video imaging function A (single video)
When recognizing that the
制御部２３は、各フレームを作成するに際し、ブロック７０から、まずマスク情報６２ｂを読み出す。そして、前記フレームにおいて、どの範囲（どの単位グループ３２）が主要被写体部分なのか、あるいは背景部分なのかを識別する。その後、制御部２３は、静止画撮像機能Ａの説明で述べたように、主要被写体部分と背景部分とで異なる画像処理を実行する。制御部２３は、以上のようにして作成したフレームから成る動画を、例えば液晶モニタ２４に表示したり、メモリカード２５に記録したりする。
When creating each frame, the
以上のように、制御部２３は、動画撮像機能Ａにより作成された画像ファイル４０を再生するに際し、ブロック７０内に記録されている画像情報６４等の情報よりも先に、マスク情報６２ｂを読み出す。マスク情報６２ｂは画像情報６４等よりも前に記録されているので、再生処理に際し発生するシークを最小限にすることができる。
As described above, when playing back the
なお、データ部４２の先頭ブロックのマスク情報６２ｂとマスク部４４に記録されたマスク情報６２ａとが同じ情報であるため、制御部２３は、マスク部４４からマスク情報６２ａを読み出さないようしてもよい。
Note that since the
（３）静止画撮像機能Ｂ（複数の静止画）
画像ファイル４０が、図１０に示す、静止画撮像機能Ｂにより作成されたファイルであると認識すると、制御部２３は、マスク部４４から、撮像条件情報６１およびマスク情報６２ａを読み出す。これにより、制御部２３は、同時に何種類の静止画が撮像されたのか、また、どの単位グループ３２がどの静止画を構成しているのかを識別する。すなわち、大グループ８１が何個存在し、各単位グループ３２がどの大グループ８１に属しているのかを識別する。
(3) Still image capture function B (multiple still images)
When recognizing that the
次に制御部２３は、データ部４２から、画像情報６４、Ｔｖ値マップ６５、Ｓｖ値マップ６６、Ｂｖ値マップ６７、およびＡｖ値情報６８を読み出す。そして、制御部２３は、大グループ８１ごとに、Ｔｖ値マップ６５、Ｓｖ値マップ６６、Ｂｖ値マップ６７、およびＡｖ値情報６８に基づいて、画像情報６４にいわゆる現像処理を実行し静止画を作成する。これにより、複数の静止画（例えば４つの静止画）が作成される。制御部２３は、以上のようにして作成された画像を、例えば液晶モニタ２４に表示したり、メモリカード２５に記録したりする。
Next, the
以上のように、制御部２３は、静止画撮像機能Ｂにより作成された画像ファイル４０を再生するに際し、画像情報６４等のデータ部４２に記録されている情報よりも先に、マスク部４４に記録されている撮像条件情報６１およびマスク情報６２ａを読み出す。マスク部４４はデータ部４２よりも前に記録されているので、再生処理に際し発生するシークを最小限にすることができる。
As described above, when reproducing the
なお、前述の通り、データ部４２には、ヘッダ部４１に格納されているマスク情報６２ａと同一のマスク情報６２ｂが格納されている。そこで、マスク情報６２ａの代わりに、データ部４２からマスク情報６２ｂを読み出してもよい。
Note that, as described above, the data section 42 stores mask
（４）動画撮像機能Ｂ（複数の動画）
画像ファイル４０が、図１３に示す、動画撮像機能Ｂにより作成されたファイルであると認識すると、制御部２３は、マスク部４４からマスク情報６２ａと撮像条件情報６１を読み出す。これにより、制御部２３は、同時に何種類の動画が撮像されたのか、どの単位グループ３２がどの動画を構成しているのか、および、各動画のフレームレートを識別する。すなわち、大グループ８１が何個存在し、各単位グループ３２がどの大グループ８１に属しており、各大グループ８１はどのようなフレームレートで撮像されたのかを識別する。次に制御部２３は、データ部４２の先頭のブロック７０から順に、画像情報６４、Ｔｖ値マップ６５、Ｓｖ値マップ６６、Ｂｖ値マップ６７、およびＡｖ値情報６８を読み出して、各動画を構成する各フレームを作成する。
(4) Video imaging function B (multiple videos)
When the
制御部２３は、各フレームを作成するに際し、ブロック７０から、まずマスク情報６２ｂを読み出す。そして、制御部２３は、前記ブロック７０の画像情報６４にどの大グループ８１に対応する画素信号が含まれているのかを識別する。その後、制御部２３は、各大グループ８１に対応するフレームを作成するが、前記ブロック７０の画像情報６４に画素信号が含まれていない大グループ８１については、フレームを作成しない。制御部２３は、以上のようにして作成したフレームから成る動画を、例えば液晶モニタ２４に表示したり、メモリカード２５に記録したりする。
When creating each frame, the
以上のように、制御部２３は、動画撮像機能Ｂにより作成された画像ファイル４０を再生するに際し、ブロック７０内に記録されている画像情報６４等の情報よりも先に、マスク情報６２ａ、６２ｂを読み出す。マスク情報６２ａ、６２ｂは画像情報６４等よりも前に記録されているので、再生処理に際し発生するシークを最小限にすることができる。
As described above, when reproducing the
なお、データ部４２の先頭ブロックのマスク情報６２ｂとマスク部４４に記録されたマスク情報６２ａとが同じ情報であるため、制御部２３は、マスク部４４からマスク情報６２ａを読み出さないようしてもよい。
Note that since the
（５）混合撮像機能（動画と静止画）
画像ファイル４０が、図１５に示す、混合撮像機能により作成されたファイルであると認識すると、制御部２３は、マスク部４４からマスク情報６２ａと撮像条件情報６１を読み出す。これにより、制御部２３は、同時に何種類の動画と何種類の静止画が撮像されたのか、どの単位グループ３２がどの静止画および動画を構成しているのか、および、各動画のフレームレートを識別する。すなわち、制御部２３は、大グループ８１が何個存在し、各大グループ８１は静止画なのか動画なのか、動画であればそのフレームレートはいくつか、各単位グループ３２がどの大グループ８１に属しているかを識別する。次に制御部２３は、データ部４２の先頭のブロック７０から順に、画像情報６４、Ｔｖ値マップ６５、Ｓｖ値マップ６６、Ｂｖ値マップ６７、およびＡｖ値情報６８を読み出して、各動画を構成する各フレーム、および、各静止画を作成する。
(5) Mixed imaging function (video and still images)
When recognizing that the
制御部２３は、動画の各フレームや静止画を作成するに際し、ブロック７０から、まずマスク情報６２ｂを読み出す。そして、前記ブロック７０の画像情報６４にどの大グループ８１に対応する画素信号が含まれているのかを識別する。その後、制御部２３は、各大グループ８１に対応するフレームや静止画を作成するが、前記ブロック７０の画像情報６４に画素信号が含まれていない大グループ８１については、フレームや静止画を作成しない。制御部２３は、以上のようにして作成したフレームから成る動画や静止画を、例えば液晶モニタ２４に表示したり、メモリカード２５に記録したりする。
The
以上のように、制御部２３は、混合撮像機能により作成された画像ファイル４０を再生するに際し、ブロック７０内に記録されている画像情報６４等の情報よりも先に、マスク情報６２ａ、６２ｂを読み出す。マスク情報６２ａ、６２ｂは画像情報６４等よりも前に記録されているので、再生処理に際し発生するシークを最小限にすることができる。
As described above, when reproducing the
なお、データ部４２の先頭ブロックのマスク情報６２ｂとマスク部４４に記録されたマスク情報６２ａとが同じ情報であるため、制御部２３は、マスク部４４からマスク情報６２ａを読み出さないようしてもよい。
Note that since the
画像の再生処理は、上述した種々の撮像機能によってメモリカード２５に記録された画像ファイル４０から、被写体の画像を作成する処理としたが、メモリカード２５に記録される前の画像ファイル４０に対して、静止画や動画を作成する処理であってもよい。制御部２３は、静止画や動画作成された後に、圧縮処理を施すようにしてもよい。
The image reproduction process is a process of creating an image of the subject from the
なお、撮像装置１０とは異なる電子機器（以後、再生装置と称する）が、上述した再生処理を実行するようにしてもよい。例えば、メモリカード２５を撮像装置１０から取り外し、撮像装置１０の外部に設けたＰＣ等の再生装置にメモリカード２５を装着すると、再生装置がメモリカード２５から画像ファイル４０を読み出して、上述した再生処理を実行し、画像を再生するようにしてもよい。また、撮像装置１０と再生装置との間で無線通信等のデータ通信を行うことにより、画像情報６４等の授受を行うようにしてもよい
Note that an electronic device (hereinafter referred to as a playback device) different from the
上述した第１の実施の形態による撮像装置によれば、次の作用効果が得られる。
（１）撮像素子２２は、複数の単位グループ３２（撮像領域）を有しており、単位グループ３２毎に撮像条件が設定可能である。制御部２３は、撮像素子２２により生成された画像情報６４（画像データ）と、単位グループ３２毎の、撮像条件に関する撮像条件情報６１、マスク情報６２、Ｔｖ値マップ６５、Ｓｖ値マップ６６、Ｂｖ値マップ６７等のデータ（撮像条件データ）とを関連付けて記録する。このようにしたので、各々の画素にどのような撮像条件が適用されているのかを、撮像結果である画像ファイル４０の再生時等に知ることができる、使い勝手のよい撮像装置１０を提供することができる。
According to the imaging device according to the first embodiment described above, the following effects can be obtained.
(1) The
（２）画像情報６４に関連づけて記録される、撮像条件に関する情報には、例えば撮像素子２２により被写体を撮像するときの露出に関する情報や、撮像素子２２により撮像された被写体の明るさに関する情報が含まれる。具体的には、撮像素子２２により撮像された被写体の輝度に関する情報であるＢｖ値マップ６７、不図示の光電変換部による電荷の蓄積時間であるＴｖ値マップ６５、不図示の増幅部による増幅率であるＳｖ値マップ６６等が含まれる。これらの情報は、いずれも、撮像素子２２の撮像動作に関する情報であると言うことができる。このようにしたので、画像ファイル４０の再生時に、より適切な画像処理を行うことができる。
(2) The information related to the imaging conditions recorded in association with the
（３）制御部２３は、画像情報６４に関連付けて、撮像の都度変化する撮像条件に関する情報を記録する。このようにしたので、画像ファイル４０ごとに適切な情報が付加され、再生時により適切な画像処理を行うことができる。
(3) The
（４）制御部２３は、画像情報６４にそれぞれ対応する撮像条件に関する複数の情報を、単一の画像ファイル４０内に時系列順に記録する。このようにしたので、例えば画像ファイル４０に動画が記録されている場合に、それらの情報に基づく画像処理を容易に行うことができる。
(4) The
（５）制御部２３は、ヘッダ部４１と画像情報６４を記録するデータ部４２（画像データ部）とを有する画像ファイル４０において、ヘッダ部４１及びデータ部４２のうち、少なくともいずれか一方に、撮像条件に関する情報を記録する。このようにしたので、例えば画像ファイル４０の再生時に、各々の画素にどのような撮像条件が適用されているのかを知ることができる。
(5) In the
（６）制御部２３は、複数の単位グループ３２毎の用途に関する撮像条件情報６１およびマスク情報６２を、画像情報６４に関連付けて記録する。このようにしたので、例えば画像ファイル４０の再生時に、各々の画素にどのような撮像条件が適用されているのかを知ることができる。
(6) The
（７）マスク情報６２は、時間経過に伴い変化する動的情報を含んでいる。具体的には、画像情報６４に、単位グループ３２に属する撮像画素３１から読み出された画素信号に対応する画素値が含まれるか否かを表す情報か、もしくは、複数の単位グループ３２の各々が互いに異なる複数のグループのいずれに分類されたかを表す情報を含んでいる。このようにしたので、例えば画像ファイル４０の再生時に、動的情報を利用した画像処理を行うことができる。
(7) The
（８）マスク情報６２は、時間経過に伴い変化しない静的情報を含んでいる。具体的には、複数の単位グループ３２の役割を表す情報を含んでいる。また、マスク情報６２ａは、撮像当初において、複数の単位グループ３２の各々が互いに異なる複数のグループのいずれに分類されたかを表す情報を含んでいる。このようにしたので、例えば画像ファイル４０の再生時に、静的情報を利用した画像処理を行うことができる。
(8) The
（９）制御部２３は、複数の画像情報６４にそれぞれ対応する複数のマスク情報６２ｂを、単一の画像ファイル４０内に時系列順に記録する。このようにしたので、例えば画像ファイル４０の再生時に、撮像条件を時系列順に追跡することができる。
(9) The
（１０）制御部２３は、ヘッダ部４１と画像情報６４を記録するデータ部４２（画像データ部）とを有する画像ファイル４０において、ヘッダ部４１及びデータ部４２のうち、少なくともいずれか一方に、マスク情報６２を記録する。このようにしたので、例えば画像ファイル４０の再生時に、各々の画素にどのような撮像条件が適用されているのかを知ることができる。
(10) In the
（１１）複数の単位グループ３２には、第１のフレームレートで撮像される単位グループ３２と、第１のフレームレートより遅い第２のフレームレートで撮像される単位グループ３２とが含まれ、制御部２３は、第１のフレームレートに基づき、複数の画像情報６４を記録する。このようにしたので、全てのフレームに関する情報を漏れなく確実に記録することができる。
(11) The plurality of
（１２）制御部２３は、複数の画像情報６４の撮像期間に対応する音声情報７１（音声データ）を、複数の画像情報６４に関連づけて記録する。このようにしたので、音声も含めた動画再生を行うことが可能となる。
(12) The
（１３）制御部２３は、画像情報６４の撮像パターンに関する情報と、画像情報６４の保存方式に関する情報と、単位グループ３２ごとの撮像条件に関する情報と、の少なくとも１つを、ヘッダ部４１とデータ部４２との２つのブロックから成る画像ファイル４０のヘッダ部４１に記録する。このようにしたので、例えば画像ファイル４０の再生時に、各々の画素にどのような撮像条件が適用されているのかを知ることができる。
(13) The
（第２の実施の形態）
第２の実施の形態に係る撮像装置は、第１の実施の形態に係る撮像装置１０と同様の構成を有しているが、静止画撮像機能Ｂ、動画撮像機能Ｂ、混合撮像機能における画像ファイル４０の記録方式が、第１の実施の形態とは異なっている。以下、この点について詳述する。
(Second embodiment)
The imaging device according to the second embodiment has a configuration similar to that of the
前述の通り、静止画撮像機能Ｂ、動画撮像機能Ｂ、および混合撮像機能は、一回の撮像で、同一の被写体に関する静止画や動画を、同時に複数撮像する機能である。本実施形態において、制御部２３は、このようにして複数撮像された静止画や動画を、単一の画像ファイル４０ではなく、複数の画像ファイル４０に分割して記録する。このとき、制御部２３は、分割して記録されたそれぞれの画像ファイル４０同士を、関連付けて記録する。従って、それら複数の画像ファイル４０は、便宜上別々のファイルとして記録されるものの、第１の実施の形態と同様に、単一の撮像により得られたファイルであるという情報は損なわれない。換言すると、後からそれら複数の画像ファイル４０を扱う際に、第１の実施の形態と同様に、単一の撮像により得られたものであると認識して扱うことができる。
As described above, the still image capturing function B, the moving image capturing function B, and the mixed image capturing function are functions that simultaneously capture a plurality of still images and moving images of the same subject in one image capturing. In this embodiment, the
図１６は、メモリカード２５のディレクトリ構造を模式的に示す図である。メモリカード２５のルートディレクトリ９０には、ＤＣＩＭディレクトリ９１ａが存在する。また、ＤＣＩＭディレクトリ９１ａ内には、更に、画像保存用のサブディレクトリ９１ｂが存在する。静止画撮像機能Ｂ、動画撮像機能Ｂ、および混合撮像機能による１回の撮像の都度、制御部２３は、このサブディレクトリ９１ｂ内に、撮像セットディレクトリ９２を１つ作成する。つまり、１つの撮像セットディレクトリ９２が、１回の撮像に対応している。
FIG. 16 is a diagram schematically showing the directory structure of the
撮像セットディレクトリ９２には、１つの管理データファイル９３と、単位グループ３２の用途ごとに、サブディレクトリ９４が作成される。例えば、単位グループ３２の用途が４つ存在する場合には、サブディレクトリ９４が４つ作成される。各々のサブディレクトリ９４には、単位グループ３２の用途に応じた画像ファイル４０が少なくとも１つ作成される。例えば、単位グループ３２の用途が動画撮像である場合、その用途に対応するサブディレクトリ９４内には、動画ファイル４０１が１つだけ記録される。また、単位グループ３２の用途が静止画撮像である場合、その用途に対応するサブディレクトリ９４内には、静止画ファイル４０２が撮像回数分だけ記録される。なお、静止画撮像機能Ｂの場合、１回の撮像では用途ごとに１つの静止画ファイル４０２のみが記録されることになるので、各サブディレクトリ９４内には、１つの静止画ファイル４０２が記録されることになる。
In the imaging set
図１７（ａ）は、管理データファイル９３の構造を模式的に示す図である。管理データファイル９３は、各サブディレクトリ９４内に記録されている画像ファイル４０同士を関連付ける情報が記録されたファイルであり、ファイル基本情報部４３と、マスク部４４と、インデックス部７３と、撮像情報部４５とから成る。ファイル基本情報部４３、マスク部４４、および撮像情報部４５は、図１５等で説明した画像ファイル４０における同名の各部と同一である。インデックス部７３には、各々のサブディレクトリ９４が単位グループ３２のどの用途に対応するのかを表すレイアウト情報９６が記録される。
FIG. 17(a) is a diagram schematically showing the structure of the management data file 93. The management data file 93 is a file in which information that associates the image files 40 recorded in each
図１７（ｂ）は、サブディレクトリ９４内に記録される静止画ファイル４０２の構造を模式的に示す図である。静止画ファイル４０２には、マスク情報６２ｂと、画像情報６４と、Ｔｖ値マップ６５と、Ｓｖ値マップ６６と、Ｂｖ値マップ６７と、Ａｖ値情報６８とが記録される。Ａｖ値情報６８については、図１０で説明したものと同様であるため、説明を省略する。
FIG. 17(b) is a diagram schematically showing the structure of the
マスク情報６２ｂと、画像情報６４と、Ｔｖ値マップ６５と、Ｓｖ値マップ６６と、Ｂｖ値マップ６７は、それぞれ、図１０で説明した同名の情報から、１つの大グループ８１に対応する値だけを抽出して二次元状に配列した情報である。例えば、図１０で説明した画像ファイル４０において、マスク情報６２ｂは、「撮像条件情報６１に割り当てられた番号を、単位グループ３２の位置に合わせて二次元マップの形で表現した情報」であり、マスク情報６２ｂに含まれる値の個数は、単位グループ３２の個数と同一であった。これに対し、静止画ファイル４０２におけるマスク情報６２ｂは、それら全ての値から、本サブディレクトリ９４に対応する大グループ８１に対応する値のみを抽出して二次元マップの形で表現した情報である。画像情報６４、Ｔｖ値マップ６５、Ｓｖ値マップ６６、Ｂｖ値マップ６７についても同様に、１つの静止画ファイル４０２には、１つの大グループ８１に対応する値のみが含まれている。
The
図１８は、サブディレクトリ９４内に記録される動画ファイル４０１の構造を模式的に示す図である。動画ファイル４０１には、１フレームごとに、１フレーム分のブロック７０が撮像順に格納される。１つのブロック７０は、マスク情報６２ｂと、画像情報６４と、Ｔｖ値マップ６５と、Ｓｖ値マップ６６と、Ｂｖ値マップ６７と、Ａｖ値情報６８とから成る。また、動画ファイル４０１には、フレームごとのブロック７０と共に、音声情報７１が格納される。Ａｖ値情報６８については、図１３で説明したものと同様であるため、説明を省略する。
FIG. 18 is a diagram schematically showing the structure of a
マスク情報６２ｂと、画像情報６４と、Ｔｖ値マップ６５と、Ｓｖ値マップ６６と、Ｂｖ値マップ６７は、それぞれ、図１３で説明した同名の情報から、１つの大グループ８１に対応する値だけを抽出して二次元状に配列した情報である。この点については、上述した静止画ファイル４０２の場合と同様であるので、説明を省略する。
The
以上のように、制御部２３は、単位グループ３２ごとに撮像条件が設定可能な撮像素子２２により生成された画像情報６４と、単位グループ３２ごとの撮像条件に関するデータ（撮像条件情報６１、マスク情報６２、Ｔｖ値マップ６５、Ｓｖ値マップ６６、Ｂｖ値マップ６７等）とを関連付けてメモリカード２５に記録する。第１の実施の形態とは異なり、単一の画像ファイル４０という形ではないものの、メモリカード２５に記録される管理データファイル９３と、動画ファイル４０１と、静止画ファイル４０２は、管理データファイル９３内のレイアウト情報９６によって互いに関連付けられている。このような画像ファイルの保存形式を、本明細書では分割保存形式と呼ぶ。
As described above, the
上述した第２の実施の形態による撮像装置によれば、第１の実施の形態と同様の作用効果が得られる。 According to the imaging device according to the second embodiment described above, the same effects as those of the first embodiment can be obtained.
（第３の実施の形態）
本実施の形態では、上述した第１の実施の形態や第２の実施の形態にて説明した画像ファイル４０を生成する撮像装置１０を有する遠隔画像撮影システムについて説明する。本実施の形態の遠隔画像撮影システムでは、複数のクライアントからの依頼に応じて撮影者が画像の撮影を行い、撮影した画像をクライアントに送信する。なお、以下では、４人のクライアントによって撮影の依頼が行われる場合を一例に挙げて説明を行う。
(Third embodiment)
In this embodiment, a remote image capturing system including the
図２９は、第３の実施の形態の遠隔画像撮像システム７００の要部構成を模式的に示すブロック図である。遠隔画像撮像システム７００は、撮像装置１０と、クライアントＡの電子機器７１１と、クライアントＢの電子機器７１２と、クライアントＣの電子機器７１３と、クライアントＤの電子機器７１４とを備える。なお、以後の説明では、電子機器７１１～７１４を総称する場合には、電子機器７１０と呼ぶ。撮像装置１０と電子機器７１０とは、通信回線網７２０を介して接続される。通信回線網７２０は、例えばインターネット回線や携帯または固定電話回線などの通信回線である。
FIG. 29 is a block diagram schematically showing the main configuration of a remote
電子機器７１０は、例えば通信回路網７２０に接続し各種情報の送受信が可能なコンピュータ、テレビ、スマートフォンやタブレット等の携帯情報端末などである。また、電子機器７１０は、通信機能を備えるデジタルカメラであっても良い。各クライアントＡ～Ｄの電子機器７１１～７１４は、画像を撮影する際の撮影条件等、各種の設定に関する情報（以後、設定情報と呼ぶ）や、撮影指示を、通信回路網７２０を介して撮像装置１０へ送信する。また、各クライアントＡ～Ｄの電子機器７１１～７１４は、撮影指示に従って撮像装置１０により撮影された画像を、通信回路網７２０を介して受信する。
The
撮像装置１０は、上述した第１および第２の実施の形態の撮像装置１０に通信回路網７２０を介して情報の送受信をするための通信部１０１を設けたものである。通信部１０１は、制御部２３の制御に従って通信回路網７２０と接続する。通信部１０１は、所定のプロトコルに従って、通信回路網７２０と接続して、電子機器７１０からの設定情報や撮影指示を通信回路網７２０を介して受信する。また、通信部１０１は、所定のプロトコルに従って、通信回路網７２０と接続して、生成された画像を通信回路網７２０を介して電子機器７１０に送信する。
The
撮像装置１０の制御部２３は、撮像制御部２３１と画像処理部２３２とを備える。撮像制御部２３１は、通信部１０１が受信した設定情報や撮影指示に従って、撮像素子２２の各単位グループ３２ごとに撮影条件の設定および撮影制御を行う。画像処理部２３２は、撮像素子２２により生成された撮像信号に基づいて、上述した第１および第２の実施の形態にて説明した各種の保存形式の内の少なくとも１つの保存形式を用いて画像ファイル４０を生成する。
以下、クライアントＡ～Ｄからの設定情報や撮影指示を例示しながら、撮像素子２２に対する撮影条件の設定や撮影制御について説明を行う。
The
Hereinafter, setting information on shooting conditions and shooting control for the
＜例１＞
図３０に、例１において、撮影の対象となる被写体と背景とを模式的に示す。図３０（ａ）では、飛行中の飛行機を被写体Ｓ１として撮影する場合を例として示す。この場合、空や雲が背景Ｓ２となる。図３０（ａ）に示す撮影の対象を、各クライアントＡ～Ｄは、以下の通りに撮影条件Ａ１～Ｄ１を設定したものとする。（１）撮影条件Ａ１：被写体Ｓ１を適正露出とし、クライアントＡが所望する任意のタイミングにて静止画を撮影する。（２）撮影条件Ｂ１：背景Ｓ２を適正露出とし、クライアントＢが所望する任意のタイミングにて静止画を撮影する。（３）撮影条件Ｃ１：ハイダイナミックレンジ（以下、ＨＤＲ）により被写体Ｓ１および背景Ｓ２を適正露出とし、クライアントＣが所望する任意のタイミングにて静止画を撮影する。（４）撮影条件Ｄ１：背景Ｓ２を適正露出として、動画を撮影する。
<Example 1>
FIG. 30 schematically shows a subject to be photographed and a background in Example 1. In FIG. 30(a), a case where an airplane in flight is photographed as the subject S1 is shown as an example. In this case, the sky and clouds become the background S2. It is assumed that each of the clients A to D has set the imaging conditions A1 to D1 as follows for the object to be photographed shown in FIG. 30(a). (1) Photographing conditions A1: Subject S1 is exposed appropriately, and a still image is photographed at any timing desired by client A. (2) Photographing condition B1: The background S2 is set to an appropriate exposure, and a still image is photographed at any timing desired by the client B. (3) Photographing conditions C1: The subject S1 and the background S2 are properly exposed using high dynamic range (hereinafter referred to as HDR), and a still image is photographed at any timing desired by the client C. (4) Shooting condition D1: A video is shot with the background S2 set to an appropriate exposure.
撮像制御部２３１は、上記の撮影条件Ａ１～Ｄ１が設定条件として受信されると、図８に示したようにして、撮像素子２２の撮像面３０において、各ブロック８２内の複数の単位グループ３２に対して撮影条件Ａ１～Ｄ１を設定する。たとえば、撮像制御部２３１は、ブロック８２の左上の単位グループ２３に撮影条件Ａ１を設定し、左下の単位グループ３２に撮影条件Ｂ１を設定し、右上の単位グループ３２に撮影条件Ｃ１を設定し、右下の単位グループ３２に撮影条件Ｄ１を設定する。
When the above-mentioned imaging conditions A1 to D1 are received as setting conditions, the
撮像制御部２３１は、電子機器７１０からの撮影指示が受信されると、撮像素子２２に対して撮影動作を行わせて撮像信号を出力させる。この場合、クライアントＡの電子機器７１１からの撮影指示が受信されると、撮像制御部２３１は、各ブロック８２に左上の単位グループ３２に対して、撮影条件Ａ１での撮影を行わせ、撮像信号を出力させる。クライアントＢの電子機器７１２からの撮影指示が受信されると、撮像制御部２３１は、各ブロック８２に左下の単位グループ３２に対して、撮影条件Ｂ１での撮影を行わせ、撮像信号を出力させる。クライアントＣの電子機器７１３からの撮影指示が受信されると、撮像制御部２３１は、各ブロック８２に右上の単位グループ３２に対して、撮影条件Ｃ１での撮影を行わせ、撮像信号を出力させる。クライアントＤの電子機器７１４からの撮影指示が受信されると、撮像制御部２３１は、各ブロック８２に右下の単位グループ３２に対して、撮影条件Ｄ１での撮影を行わせ、所定のフレームレートにて撮像信号を出力させる。
When the
撮影条件Ａ１～Ｄ１により撮影される画像ＰＡ～ＰＤを、それぞれ図３０（ｂ）～図３０（ｅ）に模式的に示す。なお、図３０（ｂ）～図３０（ｅ）では、適正露出により撮影された被写体Ｓ１や背景Ｓ２に対してドットを付与して示し、アンダー露光となりシルエットが撮影された被写体Ｓ１については斜線を付与して示す。 Images PA to PD photographed under photographing conditions A1 to D1 are schematically shown in FIGS. 30(b) to 30(e), respectively. In addition, in FIGS. 30(b) to 30(e), dots are added to the subject S1 and background S2 that were photographed with proper exposure, and diagonal lines are added to the subject S1 whose silhouette was photographed due to underexposure. Add and show.
撮影条件Ａ１で撮影されると、図３０（ｂ）に示すように、被写体Ｓ１を適正露出とすることにより、空や雲等の背景Ｓ２がオーバー露光となった画像ＰＡが生成される。撮影条件Ｂ１で撮影されると、図３０（ｃ）に示すように、背景Ｓ２を適正露出とすることにより、被写体Ｓ１はアンダー露光となりシルエットとなった画像ＰＢが生成される。撮影条件Ｃ１で撮影されると、図３０（ｄ）に示すように、被写体Ｓ１および背景Ｓ２が適正露出となった画像ＰＣが生成される。撮影条件Ｄ１で撮影されると、図３０（ｅ）に示すように、背景Ｓ２が適正露出となり被写体Ｓ１がシルエットとなった画像ＰＤが動画として生成される。上記の画像ＰＡ～ＰＤは、撮像素子２２の撮像面３０上の全ての画素を用いて撮影した場合と比較して、同一の画角、構図の画像となるが、解像度がそれぞれ１／４の画像となる。
When a photograph is taken under the photographing condition A1, as shown in FIG. 30(b), an image PA is generated in which the subject S1 is properly exposed and the background S2 such as the sky and clouds is overexposed. When a photograph is taken under the photographing condition B1, as shown in FIG. 30(c), by setting the background S2 to a proper exposure, the subject S1 is underexposed and an image PB in which the subject S1 is silhouetted is generated. When a photograph is taken under the photographing condition C1, an image PC is generated in which the subject S1 and the background S2 are properly exposed, as shown in FIG. 30(d). When a photograph is taken under the photographing condition D1, an image PD in which the background S2 is properly exposed and the subject S1 is a silhouette is generated as a moving image, as shown in FIG. 30(e). The above images PA to PD have the same angle of view and composition, but each has a resolution of 1/4 compared to the case where all pixels on the
画像処理部２３２は、撮像素子２２から出力された撮像信号を用いて、たとえば、第２の実施の形態にて説明した一括保存形式や分割保存形式により画像ファイル４０を生成する。たとえば分割保存形式にて生成された画像ファイル４０のうち、画像ＰＡに対応する静止画ファイル４０２は、通信部１０１を介してクライアントＡの電子機器７１１に送信される。生成された画像ファイル４０のうち、画像ＰＢに対応する静止画ファイル４０２は、通信部１０１を介してクライアントＢの電子機器７１２に送信される。生成された画像ファイル４０のうち、画像ＰＣに対応する静止画ファイル４０２は、通信部１０１を介してクライアントＣの電子機器７１３に送信される。生成された画像ファイル４０のうち、画像ＰＤに対応する動画ファイル４０１は、通信部１０１を介してクライアントＤの電子機器７１４に送信される。なお、上述した例１において、動画を撮影している際には、画像ＰＤに対応する画像データが順次、通信部１０１を介してクライアントＤの電子機器７１４に送信されてもよい。
The
例１にて説明した遠隔画像撮影システム７００では、各クライアントＡ～Ｄからの異なる撮影要求（すなわち設定条件や撮影指示）に対して、それぞれの撮影要求に応じて撮影条件の設定や変更、撮影開始と終了を行うことができる。これにより、各クライアントＡ～Ｄのそれぞれが所望する撮影条件により撮影される異なる画像を、１台の撮像装置１０を用いて生成することができる。
In the remote
＜例２＞
例２においては、制御部２３は、撮像装置１０から電子機器７１０へ画像ファイル４０を送信する際のタイミングを制御する。以下、各クライアントＡ～Ｄから動画の撮影の指示が無い場合と、動画の撮影の指示が有る場合とについて説明する。
<Example 2>
In Example 2, the
－動画の撮影指示が無い場合－
動画の撮影指示が無い場合の例として、図３０（ａ）に示す撮影の対象を、各クライアントＡ～Ｄは、以下の通りに撮影条件Ａ２～Ｄ２を設定したものとする。（１）撮影条件Ａ２：被写体Ｓ１を適正露出とし、クライアントＡが所望する任意のタイミングにて静止画を撮影する。（２）撮影条件Ｂ２：背景Ｓ２を適正露出とし、クライアントＢが所望する任意のタイミングにて静止画を撮影する。（３）撮影条件Ｃ２：ハイダイナミックレンジ（以下、ＨＤＲ）により被写体Ｓ１および背景Ｓ２を適正露出とし、クライアントＣが所望する任意のタイミングにて静止画を撮影する。（４）撮影条件Ｄ２：背景Ｓ２を適正露出として、所定の時間間隔ごとに静止画を撮影するインターバル静止画撮影（タイムラプス撮影）を行う。
-When there is no instruction to shoot a video-
As an example of a case where there is no video shooting instruction, each of the clients A to D sets shooting conditions A2 to D2 as follows for the shooting target shown in FIG. 30(a). (1) Photographing condition A2: Subject S1 is exposed appropriately, and a still image is photographed at any timing desired by client A. (2) Photographing condition B2: The background S2 is set to an appropriate exposure, and a still image is photographed at any timing desired by the client B. (3) Photographing condition C2: Subject S1 and background S2 are properly exposed using high dynamic range (hereinafter referred to as HDR), and a still image is photographed at any timing desired by client C. (4) Photographing condition D2: Perform interval still image photography (time-lapse photography) in which still images are photographed at predetermined time intervals with the background S2 set to appropriate exposure.
この例の場合には、上記の例１の場合と同様に、各クライアントＡ～Ｄの電子機器７１１～７１４からの撮影指示を受信するごとに、撮像制御部２３１は撮像素子２２を制御して撮像信号を出力させ、画像処理部２３２は画像ファイル４０を生成する。制御部２３は、通信部１０１を制御して、生成した画像ファイル４０を、撮影指示を送信した電子機器７１０に送信させる。
In this example, as in the case of Example 1 above, the
－動画の撮影指示が有る場合－
動画の撮影指示が有る場合には、制御部２３は、通信部１０１を制御して、生成した画像ファイル４０を、生成する動画のフレームレートに応じたタイミングで電子機器７１０に送信する。
まず、動画の撮影指示が有る場合の第１の例として、図３０（ａ）に示す撮影の対象を、各クライアントＡ～Ｄは、以下の通りに撮影条件Ａ３～Ｄ３を設定したものとする。（１）撮影条件Ａ３：フレームレート１２０ｆｐｓにて動画を撮影する。（２）撮影条件Ｂ３：フレームレート６０ｆｐｓにて動画を撮影する。（３）撮影条件Ｃ３：被写体Ｓ１を適正露出、低感度、低速シャッタ速度にて静止画を撮影する。（４）撮影条件Ｄ３：所定の時間間隔ごとに静止画を撮影するインターバル静止画撮影（タイムラプス撮影）を行う。
-If there is an instruction to shoot a video-
When there is an instruction to shoot a video, the
First, as a first example when there is a video shooting instruction, each client A to D sets shooting conditions A3 to D3 as follows for the shooting target shown in FIG. 30(a). . (1) Shooting condition A3: Shoot a video at a frame rate of 120 fps. (2) Shooting condition B3: Shoot a video at a frame rate of 60 fps. (3) Photographing condition C3: A still image of the subject S1 is photographed with proper exposure, low sensitivity, and slow shutter speed. (4) Photographing condition D3: Perform interval still image photography (time-lapse photography) in which still images are photographed at predetermined time intervals.
この場合、制御部２３は、通信部１０１を制御して、最速のフレームレート（すなわち撮影条件Ａ３の１２０ｆｐｓ）の動画に対応する動画ファイル４０１を送信するタイミングで、他の撮影条件Ｂ３～Ｄ３で撮影され、生成された動画ファイル４０１や静止画ファイル４０２を電子機器７１０に送信する。すなわち、通信部１０１は、撮影条件Ａ３で１フレームの動画ファイル４０１が生成されるタイミングである１／１２０［ｓ］ごとに画像ファイル４０を電子機器７１０に送信する。
In this case, the
この場合、撮影条件Ｂ３で生成される１フレームの動画ファイル４０１は１／６０［ｓ］ごとに生成されるので、通信部１０１は、画像ファイル４０を送信する２回のタイミングのうちの１回で撮影条件Ｂ３の動画ファイル４０１を送信する。撮影条件Ｃ３またはＤ３にて生成された静止画ファイル４０２は、生成された後、通信部１０１が画像ファイル４０を送信するタイミングになるまでＤＲＡＭ２７等の記憶媒体に一時的に格納される。通信部１０１は、画像ファイル４０を送信するタイミングで、これらの静止画ファイル４０２を電子機器７１０に送信する。なお、静止画ファイル４０２が生成されたタイミングと、撮影条件Ａ３で生成された動画ファイル４０１のタイミングとが揃った場合には、静止画ファイル４０２はＤＲＡＭ２７に格納されることなく、通信部１０１によって電子機器７１０に送信される。
In this case, since the one-
次に、動画の撮影指示が有る場合の第２の例として、図３０（ａ）に示す撮影の対象を、各クライアントＡ～Ｄは、以下の通りに撮影条件Ａ４～Ｄ４を設定したものとする。
（１）撮影条件Ａ４：フレームレート６０ｆｐｓにて動画を撮影する。
（２）撮影条件Ｂ４：フレームレート５０ｆｐｓにて動画を撮影する。
（３）撮影条件Ｃ５：被写体Ｓ１を適正露出、低感度、低速シャッタ速度にて静止画を撮影する。
（４）撮影条件Ｄ５：所定の時間間隔ごとに静止画を撮影するインターバル静止画撮影（タイムラプス撮影）を行う。
Next, as a second example when there is an instruction to shoot a video, each client A to D sets shooting conditions A4 to D4 as shown below for the shooting target shown in FIG. 30(a). do.
(1) Shooting condition A4: Shoot a video at a frame rate of 60 fps.
(2) Shooting condition B4: Shoot a video at a frame rate of 50 fps.
(3) Photographing condition C5: A still image of the subject S1 is photographed with proper exposure, low sensitivity, and slow shutter speed.
(4) Photographing condition D5: Perform interval still image photography (time-lapse photography) in which still images are photographed at predetermined time intervals.
この場合、制御部２３は、通信部１０１を制御して、最速のフレームレート（すなわち撮影条件Ａ４の６０ｆｐｓ）の動画に対応する動画ファイル４０１を送信するタイミングで、他の撮影条件Ｂ３～Ｄ３で撮影され、生成された動画ファイル４０１や静止画ファイル４０２を電子機器７１０に送信する。すなわち、通信部１０１は、撮影条件Ａ４で１フレームの動画ファイル４０１が生成されるタイミングである１／６０［ｓ］ごとに画像ファイル４０を電子機器７１０に送信する。
In this case, the
この場合、撮影条件Ｂ４で生成される１フレームの動画ファイル４０１は１／５０［ｓ］ごとに生成される。生成された後、通信部１０１が撮影条件Ａ４で生成された動画ファイル４０１を送信するタイミングになるまでＤＲＡＭ２７等の記憶媒体に一時的に格納される。通信部１０１は、撮影条件Ａ４の動画ファイル４０１を送信するタイミングで、撮影条件Ｂ４の動画ファイル４０１を電子機器７１０に送信する。撮影条件Ｃ４またはＤ４にて生成された静止画ファイル４０２については、第１の例の場合と同様に、生成された後、通信部１０１が撮影条件Ａ４の動画ファイル４０１を送信するタイミングになるまでＤＲＡＭ２７等の記憶媒体に一時的に格納される。通信部１０１は、撮影条件Ａ４の動画ファイル４０１を送信するタイミングで、これらの静止画ファイル４０２を電子機器７１０に送信する。なお、静止画ファイル４０２が生成されたタイミングと、撮影条件Ａ４で生成された動画ファイル４０１のタイミングとが揃った場合には、静止画ファイル４０２はＤＲＡＭ２７に格納されることなく、通信部１０１によって電子機器７１０に送信される。なお、上述した例２においても、動画を撮影している際には、画像データが順次、通信部１０１を介してクライアントＤの電子機器７１４に送信されてもよい。
In this case, a one-
＜例３＞
遠隔画像撮影システム７００では、クライアント数に応じて撮像装置１０の撮像素子２２を単位グループ３２に分割すると、生成される各クライアントごとの画像の解像度が低下する。例３の遠隔画像撮影システム７００の撮像装置１０では、撮影を指示するクライアント数を、各クライアントが所望する要求解像度を満たすことが可能な範囲内に制限する。たとえば、撮像素子２２の解像度が８Ｋ（７６８０×４３２０）の場合に、クライアントが所望する要求解像度がフルハイビジョン（ＦＨＤ）の解像度（１９２０×１０８０）であるとすると、制御部２３は、クライアント数を１６に制限する。また、クライアントが所望する要求解像度が４Ｋ解像度（３８４０×２１６０）であるとすると、制御部２３は、クライアント数を４に制限する。すなわち、４人のクライアントＡ～Ｄからの撮影指示に従って要求解像度４Ｋで撮影を行っている際に、新たなクライアントから撮影の指示があったとしても、制御部２３はその新たなクライアントからの撮影指示を受け付けないようにする。
<Example 3>
In the remote
例３にて説明した遠隔画像撮影システム７００では、各クライアントＡ～Ｄが要求する解像度を満たした状態で、各クライアントＡ～Ｄからの異なる撮影要求に対して、それぞれの撮影要求に応じて撮影条件の設定や変更、撮影開始と終了を行うことができる。
なお、通信回路網７２０の通信回線速度により電子機器７１０に送信可能な解像度による制限を付加しても良い。
In the remote
Note that a limit may be added on the resolution that can be transmitted to the
＜例４＞
例４においては、異なる画像を撮影可能なクライアント数の上限以上のクライアントから設定指示が行われた場合について説明する。以下の説明では、クライアントＡ～Ｄからの設定指示に従って撮像装置１０が備える撮像素子２２の単位グループ３２に撮影条件が割り当てられた後に、さらにクライアントＥの電子機器７１５から設定指示が送信された場合を例に挙げて説明する。この場合の例として、図３０（ａ）に示す撮影の対象を、各クライアントＡ～Ｅは、以下の通りに撮影条件Ａ５～Ｅ５を設定したものとする。
（１）撮影条件Ａ５：フレームレート６０ｆｐｓにて動画を撮影する。
（２）撮影条件Ｂ５：被写体Ｓ１を適正露出にて、クライアントＢが所望する任意のタイミングで静止画を撮影する。
（３）撮影条件Ｃ５：自動露出制御にて、クライアントＣが所望する任意のタイミングで静止画を撮影する。
（４）撮影条件Ｄ５：背景Ｓ２を適正露出にて、所定の時間間隔ごとに静止画を撮影するインターバル静止画撮影（タイムラプス撮影）を行う。
（５）撮影条件Ｅ５：自動露出制御にて、クライアントＥが所望する任意のタイミングで静止画を撮影する。
<Example 4>
In Example 4, a case will be described in which setting instructions are issued from clients whose number is equal to or greater than the upper limit of the number of clients that can take different images. In the following explanation, a case where a setting instruction is further transmitted from the electronic device 715 of client E after imaging conditions are assigned to the
(1) Shooting condition A5: Shoot a video at a frame rate of 60 fps.
(2) Shooting condition B5: Shoot a still image of the subject S1 at appropriate exposure at any timing desired by client B.
(3) Shooting condition C5: Shoot a still image at any timing desired by client C using automatic exposure control.
(4) Photographing condition D5: Perform interval still image photography (time-lapse photography) in which still images are photographed at predetermined time intervals with the background S2 at appropriate exposure.
(5) Shooting condition E5: A still image is shot at any timing desired by the client E using automatic exposure control.
上記の各撮影条件Ａ５～Ｅ５のうち、撮影条件Ｃ５と撮影条件Ｅ５とは静止画を撮影するタイミング以外、すなわち自動露出制御をする点で一致するので、類似する撮影条件と見なすことができる。この場合、撮像制御部２３１は、撮影条件Ｅ５を撮影条件Ｃ５に統合する。撮像制御部２３１は、撮影条件Ｃ５での撮影に利用する単位グループ３２を撮影条件Ｅ５での撮影にも利用する。すなわち、撮像制御部２３１は、クライアントＣの電子機器７１３から撮影指示を受信した場合と、クライアントＥの電子機器７１５から撮影指示を受信した場合とで、同一の単位グループ３２に撮影動作を行わせる。
Among the above-mentioned photographing conditions A5 to E5, photographing conditions C5 and E5 can be regarded as similar photographing conditions because they match except for the timing of photographing a still image, that is, in automatic exposure control. In this case, the
なお、撮影条件Ｃ５とＥ５とを統合する場合には、クライアントＥに対して、クライアントＣの撮影に用いる単位グループ３２を利用してクライアントＥからの撮影指示を実行する旨を報知すると良い。この場合、制御部２３は、通信部１０１を制御して、撮影条件の統合に関する情報をクライアントＥの電子機器７１５に送信する。電子機器７１５は、撮影条件の統合に関する情報を受信した場合には、たとえば、モニタを備える場合にはモニタにメッセージを表示し、スピーカーを備える場合にはスピーカーからメッセージを出力することにより、クライアントＥに撮影条件が統合される旨を報知すれば良い。
In addition, when integrating the imaging conditions C5 and E5, it is preferable to inform the client E that the
撮影条件Ｃ５とＥ５とが統合された場合、クライアントＣからの撮影指示に応じて出力された撮像信号から画像処理部２３２が静止画ファイル４０２を生成すると、制御部２３は、通信部１０１を制御して、その静止画ファイル４０２をクライアントＣの電子機器７１３へ送信する。クライアントＥからの撮影指示に応じて出力された撮像信号から画像処理部２３２が静止画ファイル４０２を生成した場合には、制御部２３は、通信部１０１を制御して、その静止画ファイル４０２をクライアントＥの電子機器７１５へ送信する。
When the imaging conditions C5 and E5 are integrated, when the
なお、撮像素子２２の単位グループ２３に撮影条件が設定される前に、クライアントＣの電子機器７１３からの設定指示と、クライアントＥの電子機器７１５からの設定指示とを受信した場合には、撮像制御部２３１は、先に受信した設定指示を優先して単位グループ３２に撮影条件を割り当てる。また、撮影条件Ｃに従って撮像素子２２の撮影が行われている最中や、静止画ファイル４０２が生成されている最中にクライアントＥの電子機器７１５から設定指示を受信した場合には、通信部１０１による静止画ファイル４０２のクライアントＣの電子機器７１３への送信が終了した後に、撮像制御部２３１は撮影条件の統合を行う。
Note that if a setting instruction from the
また、上記の説明では、撮像制御部２３１がクライアントＥの撮影条件Ｅ５と統合する撮影条件を自動的に決定したが、クライアントＥ自身が統合する撮影条件をＡ５～Ｄ５の中から選択可能にしても良い。この場合、制御部２３は、通信部１０１を制御して、撮影条件Ａ５～Ｄ５の内容を示す情報をクライアントＥの電子機器７１５に送信する。クライアントＥの電子機器７１５は、受信した撮影条件Ａ５～Ｄ５の内容を示す情報を、たとえばモニタ等に表示する。クライアントＥは、たとえば操作ボタンやタッチパネル等の操作部材を操作することにより、表示された撮影条件Ａ５～Ｄ５の中から何れかの撮影条件を選択する。クライアントＥによる撮影条件の選択が行われると、電子機器７１５は選択された撮影条件を撮像装置１０に送信する。撮像制御部２３１は、受信した撮影条件をクライアントＥの撮影条件Ｅ５と統合する。
Furthermore, in the above explanation, the
なお、上述した説明では、静止画の撮影に対する撮影条件を統合する場合を例に挙げて説明したが、動画の撮影に対する撮影条件を統合しても良い。この場合の例として、図３０（ａ）に示す撮影の対象を、各クライアントＡ～Ｄが以下の通りに撮影条件Ａ６～Ｄ６を設定した後に、クライアントＥが以下の撮影条件Ｅ６を設定したものとする。
（１）撮影条件Ａ６：ＥＶ値±０にて、フレームレート６０ｆｐｓで動画を撮影する。なお、シャッタースピードは１／１２０を許容する。
（２）撮影条件Ｂ６：被写体Ｓ１を適正露出にて、クライアントＢが所望する任意のタイミングで静止画を撮影する。
（３）撮影条件Ｃ６：自動露出制御にて、クライアントＣが所望する任意のタイミングで静止画を撮影する。
（４）撮影条件Ｄ６：背景Ｓ２を適正露出にて、所定の時間間隔ごとに静止画を撮影するインターバル静止画撮影（タイムラプス撮影）を行う。
（５）撮影条件Ｅ６：ＥＶ値－０．３ＥＶにて、フレームレート６０ｆｐｓで動画を撮影する。
Note that, in the above description, the case where the shooting conditions for still image shooting are integrated is given as an example, but the shooting conditions for moving image shooting may be integrated. As an example of this case, each of the clients A to D sets the imaging conditions A6 to D6 as shown below for the object to be photographed shown in FIG. 30(a), and then the client E sets the following imaging condition E6. shall be.
(1) Shooting condition A6: Shoot a video at a frame rate of 60 fps at an EV value of ±0. Note that a shutter speed of 1/120 is allowed.
(2) Shooting condition B6: Shoot a still image of the subject S1 at appropriate exposure at any timing desired by client B.
(3) Shooting condition C6: Shoot a still image at any timing desired by client C using automatic exposure control.
(4) Photographing condition D6: Perform interval still image photography (time-lapse photography) in which still images are photographed at predetermined time intervals with the background S2 at appropriate exposure.
(5) Shooting condition E6: Shoot a video at an EV value of -0.3EV and a frame rate of 60 fps.
上記の各撮影条件Ａ６～Ｅ６のうち、撮影条件Ｃ６と撮影条件Ｅ６とは動画を撮影する際の露出条件が異なる。この場合、撮像制御部２３１は、撮影条件Ｅ６を撮影条件Ｃ６に統合し、撮影条件Ｃ６での撮影に利用する単位グループ３２を撮影条件Ｅ６での撮影にも利用する。撮像制御部２３１は、動画を撮影する際のフレームレートを１２０ｆｐｓに設定し、第２ｎフレーム（ｎは正の整数）では、クライアントＣの撮影条件Ｃ６に従ってＥＶ値を±０に設定し、第（２ｎ＋１）フレームでは、クライアントＥの撮影条件Ｅ６に従ってＥＶ値を－０．３ＥＶに設定して、動画を撮影する。これにより、撮影条件Ｃ６で撮影された動画と、撮影条件Ｅ６で撮影された動画とが交互に、すなわちフレームレート６０ｆｐｓで生成される。
Among the above shooting conditions A6 to E6, shooting condition C6 and shooting condition E6 have different exposure conditions when shooting a moving image. In this case, the
例４にて説明した遠隔画像撮影システム７００では、クライアント数が上限数を超える場合であっても、要求する撮影条件のうち類似する撮影条件同士を統合して撮影を行うことができる。
In the remote
＜例５＞
例５においては、複数のクライアントＡ～Ｄのうち少なくとも１人のクライアントから絞りの変更が要求された場合について説明する。以下の説明では、クライアントＡの撮影条件Ａ７に絞りの変更が含まれる場合を例に挙げる。この場合、他のクライアントＢ～Ｄの撮影条件Ｂ７～Ｄ７に、絞りの変更禁止が含まれているか否かに応じて撮像制御部２３１の処理が異なる。
<Example 5>
In Example 5, a case will be described in which at least one client among a plurality of clients A to D requests to change the aperture. In the following description, a case will be exemplified in which client A's photographing condition A7 includes a change in aperture. In this case, the processing of the
撮影条件Ｂ７～Ｄ７に絞りの変更禁止が含まれている場合には、撮像制御部２３は、クライアントＡからの撮影条件Ａ７に従った撮影を行わない。すなわち、撮像制御部２３は、撮影条件Ａ７による撮影の要求を却下する。
If photographing conditions B7 to D7 include prohibition of changing the aperture, the
撮影条件Ｂ７～Ｄ７に絞りの変更禁止が含まれていない場合には、撮像制御部２３は、クライアントＡの撮影条件Ａ７に従って絞り（不図示）を駆動させる。クライアントＢ～Ｄからの撮影指示に対しては、撮像制御部２３１は、撮影条件Ｂ７～Ｄ７で要求される露出となるように、ＩＳＯ感度やシャッタースピードを変更後の絞りに応じて変更する。なお、絞りの変更によりクライアントＢ～Ｄが所望するボケ具合とは異なるボケ具合の画像となる場合には、画像処理部２３２により生成された画像に対して画像処理を施すことによりボケ具合を補正する。
なお、撮影条件Ｂ７～Ｄ７に動画の撮影が含まれる場合には、撮像制御部２３１は、要求されているフレームレートに対してシャッタースピードが極端に速くならないように、撮影条件Ａ７の絞りの変更に制限を加えてもよい。たとえば、フレームレートが６０ｆｐｓの場合には、撮像制御部２３１は、シャッタースピードが１／６０［ｓ］～１／２４０［ｓ］の範囲内となるように絞りの変更を制限してよい。
When photographing conditions B7 to D7 do not include prohibition of changing the aperture, the
Note that when shooting conditions B7 to D7 include shooting a moving image, the
例５にて説明した遠隔画像撮影システム７００では、複数の撮影条件の中に撮像装置１０の絞りの変更を含む場合であっても、複数の異なる撮影条件が設定された複数の画像を１つの撮像装置１０で撮影することができる。
In the remote
＜例６＞
例６では、クライアントの撮像条件に含まれる解像度が異なる場合に、解像度に応じて各撮影条件に設定する単位ブロック３２の個数を異ならせる。この場合の例として、図３０（ａ）に示す撮影の対象を、各クライアントＡ、Ｂは、以下の通りに撮影条件Ａ８、Ｂ８を設定したものとする。
（１）撮影条件Ａ８：フレームレート６０ｆｐｓで動画を撮影する。
（２）撮影条件Ｂ８：高解像度で静止画を撮影する。
<Example 6>
In Example 6, when the resolutions included in the client's imaging conditions are different, the number of unit blocks 32 set for each imaging condition is made different depending on the resolution. As an example of this case, it is assumed that the clients A and B have set the shooting conditions A8 and B8 as follows for the object to be shot shown in FIG. 30(a).
(1) Shooting condition A8: Shoot a video at a frame rate of 60 fps.
(2) Shooting condition B8: Shoot a still image at high resolution.
撮像制御部２３１は、上記の撮像条件Ａ８、Ｂ８が設定条件として受信されると、撮像素子２２の撮像面３０において、各ブロック８２内の４個の単位グループ３２に対して撮影条件Ａ８、Ｂ８を設定する。たとえば、撮像制御部２３１は、ブロック８２の４個の単位グループ３２のうち１個の単位グループ３２（たとえば左上の単位グループ２３）に撮影条件Ａ８を設定する。撮像制御部２３１は、ブロック８２の４個の単位グループ３２のうち他の３個の単位グループ３２に撮影条件Ｂ８を設定する。
When the
なお、画像処理部２３２は、撮影条件Ｂ８が設定された単位グループ３２からの撮像信号を用いて静止画を生成する場合には、ブロック８２の左上の単位グループ３２に対応するデータを周囲の単位グループ３２に対応するデータから補間処理を行うことにより生成してよい。また、撮影条件Ａ８による動画の撮影のタイミングと、撮影条件Ｂ８による静止画の撮影のタイミングが一致した場合には、画像処理部２３２は、動画の撮影に用いられたブロック８２の左上の単位グループ３２のデータを高解像度の静止画を生成するためのデータとして使用してよい。
Note that when generating a still image using the imaging signal from the
例６にて説明した遠隔画像撮影システム７００では、クライアントが設定した撮影条件に基づいて各撮影条件を設定する撮像素子２２の単位グループ３２の個数を異ならすことができるので、クライアントが所望する解像度を有する複数の異なる画像を１つの撮像装置１０にて生成することができる。
In the remote
＜例７＞
例７の遠隔画像撮影システム７００では、同一の画像を本撮影する前に、画像内の複数の領域を複数のクライアントで分担して露出調整等を行うことにより撮影条件を設定し、設定した撮影条件にて本撮影を行う。以下の説明では、１つの画像に対して３人のクライアントＡ、Ｂ、Ｃが分担して撮影条件を設定する場合を例に挙げる。
<Example 7>
In the remote
例７では、図３１（ａ）に示す画像Ｐに対して、図３１（ｂ）に示すように画像Ｐ内を領域Ｓ３（人物の顔に対応する領域）、領域Ｓ４（人物の顔以外に対応する領域）、領域Ｓ５（背景に対応する領域）の３つに分割する例を用いて説明する。画像Ｐ内の領域Ｓ３に対してクライアントＡが撮影条件Ａ９を設定し、領域Ｓ４に対してクライアントＢが撮影条件Ｂ９を設定し、領域Ｓ５に対してクライアントＣが撮影条件Ｃ９を設定する場合を説明する。 In Example 7, for the image P shown in FIG. 31(a), as shown in FIG. An example will be described in which the area is divided into three areas: a corresponding area) and an area S5 (an area corresponding to the background). Here is a case where client A sets shooting condition A9 for area S3 in image P, client B sets shooting condition B9 for area S4, and client C sets shooting condition C9 for area S5. explain.
撮像制御部２３１は、単位グループ３２ごとに異なる撮影条件を設定することなく撮像素子２２に撮影動作を行わせ、撮像信号を出力させる。画像処理部２３２は、出力された撮像信号を用いて、クライアントＡ、Ｂ、Ｃ用に３つの同一の画像、すなわち図３１（ａ）に示す画像Ｐを生成し、通信部１０１は、画像ＰをクライアントＡ～Ｃの電子機器７１１～７１３にそれぞれ送信する。
The
各電子機器７１１～７１３は、受信した画像Ｐをモニタ等に表示する。クライアントＡ～Ｃは、モニタに表示された画像を確認しながら、それぞれが担当する領域Ｓ３～Ｓ５に対して個別に露出調整をする。この場合、電子機器７１１は、たとえば公知の顔認識や物体認識等の被写体領域認識処理を用いて、画像Ｐから領域Ｓ３を抽出する。電子機器７１２は、被写体領域認識処理を用いて、画像Ｐから領域Ｓ４を抽出する。電子機器７１３は、被写体認識処理を用いて、画像Ｐから領域Ｓ５を抽出する。
Each of the
各クライアントＡ～Ｃは、画像全体の輝度変化等の状況を確認しながら、担当する領域Ｓ３～Ｓ５の露出調節をする。クライアントＡにより調整された領域Ｓ３の露出を表す各種のパラメータは領域Ｓ３と関連付けされて電子機器７１１により撮影条件Ａとして送信される。クライアントＢにより調整された領域Ｓ４の露出を表す各種のパラメータは領域Ｓ４と関連付けされて電子機器７１２により撮影条件Ｂとして送信される。クライアントＣにより調整された領域Ｓ５の露出を表す各種のパラメータは領域Ｓ５と関連付けされて電子機器７１４により撮影条件Ｃとして送信される。
Each of the clients A to C adjusts the exposure of the areas S3 to S5 for which they are responsible, while checking conditions such as changes in brightness of the entire image. Various parameters representing the exposure of the region S3 adjusted by the client A are transmitted as the photographing condition A by the
撮像制御部２３１は、通信部１０１が撮影条件Ａ～Ｃを受信すると、撮像素子２２の撮像面３０のうち領域Ｓ３～Ｓ５に対応する位置の単位グループ３２に対して、受信した撮影条件Ａ～Ｃを設定する。撮像制御部２３１は、受信した撮影指示に従って、撮像素子２２に撮影動作を行わせ、撮像信号を出力させる。画像処理部２３２は、出力された撮像信号を用いて画像ファイル４０を生成する。
なお、各クライアントＡ～Ｃによる領域Ｓ３～Ｓ５ごとの露出調整が過度となりすぎないように、調整可能な量に制限を設けてもよい。たとえば、上述した例において、人物の顔に相当する領域Ｓ３に対する調整可能な量を、人物の顔以外の部分に相当する領域Ｓ４に対する露出の＋２／３ＥＶに制限してよい。
When the
Note that a limit may be set on the adjustable amount so that the exposure adjustment for each region S3 to S5 by each of the clients A to C does not become too excessive. For example, in the example described above, the adjustable amount for the region S3 corresponding to a person's face may be limited to +2/3 EV of the exposure for the region S4 corresponding to a portion other than the person's face.
図３１に示す例では、１人の人物が撮影される画像に対して、複数のクライアントが露出を調整する場合を説明したが、複数の人物が撮影される画像に対して、複数のクライアントのそれぞれが撮影対象となる異なる人物の露出を調整してもよい。この場合について、以下で説明を行う。 In the example shown in FIG. 31, a case has been described in which multiple clients adjust the exposure for an image in which one person is photographed. The exposure of different people to be photographed may be adjusted. This case will be explained below.
図３２（ａ）は、一例として３人の人物が撮影される画像Ｐを示し、図３２（ｂ）は、画像Ｐ内を領域Ｓ６（図の紙面左側の人物に対応する領域）、領域Ｓ７（図の中央の人物に対応する領域）、領域Ｓ８（図の紙面右側の人物に対応する領域）、背景領域Ｓ９の４つに分割したものとする。画像Ｐ内の領域Ｓ６に対してクライアントＡが撮影条件Ａ１０を設定し、領域Ｓ７に対してクライアントＢが撮影条件Ｂ１０を設定し、領域Ｓ８に対してクライアントＣが撮影条件Ｃ１０を設定する場合を説明する。 FIG. 32(a) shows an image P in which three people are photographed as an example, and FIG. 32(b) shows an area S6 (an area corresponding to the people on the left side of the figure) in the image P, an area S7 It is assumed that the area is divided into four areas: (an area corresponding to the person in the center of the figure), an area S8 (an area corresponding to the person on the right side of the figure), and a background area S9. A case is assumed in which client A sets shooting condition A10 for area S6 in image P, client B sets shooting condition B10 for area S7, and client C sets shooting condition C10 for area S8. explain.
上述した場合と同様にして、各クライアントＡ～Ｃの電子機器７１１～７１３は、同一の画像Ｐをそれぞれ受信すると、受信した画像ファイルの画像をモニタ等に表示する。クライアントＡ～Ｃは、モニタに表示された画像を確認しながら、それぞれが担当する領域Ｓ６～Ｓ８に対して個別に露出調整をする。この場合も、電子機器７１１は、たとえば公知の顔認識や物体認識等の被写体領域認識処理を用いて、画像Ｐから領域Ｓ６を抽出する。電子機器７１２は、被写体領域認識処理を用いて、画像Ｐから領域Ｓ７を抽出する。電子機器７１３は、被写体認識処理を用いて、画像Ｐから領域Ｓ８を抽出する。
Similarly to the case described above, when the
各クライアントＡ～Ｃは、画像全体の輝度変化等の状況を確認しながら、担当する領域Ｓ６～Ｓ８の露出調節をする。クライアントＡにより調整された領域Ｓ６の露出を表す各種のパラメータは領域Ｓ６と関連付けされて電子機器７１１により撮影条件Ａとして送信される。クライアントＢにより調整された領域Ｓ７の露出を表す各種のパラメータは領域Ｓ７と関連付けされて電子機器７１２により撮影条件Ｂとして送信される。クライアントＣにより調整された領域Ｓ８の露出を表す各種のパラメータは領域Ｓ８と関連付けされて電子機器７１４により撮影条件Ｃとして送信される。以後、上述した場合と同様にして、撮像制御部２３１による単位グループ３２への撮影条件の設定と、撮像素子２２による撮影動作とが行われ、画像処理部２３２により画像ファイル４０が生成される。
Each of the clients A to C adjusts the exposure of the areas S6 to S8 for which they are responsible, while checking the situation such as changes in brightness of the entire image. Various parameters representing the exposure of the area S6 adjusted by the client A are transmitted as the photographing condition A by the
または、画像Ｐを図３２（ｃ）に示すように人物に対応する領域Ｓ６～Ｓ８を、さらに顔に対応する領域Ｓ６１～Ｓ８１と、顔以外に対応する領域Ｓ６１～Ｓ８２とに分割してもよい。この場合、各クライアントＡ～Ｃは、領域Ｓ６１～Ｓ８１、すなわち人物の顔が所望する露出となるように、領域Ｓ６１～Ｓ８１と領域Ｓ６２～８２とのそれぞれに対して露出調整を行うことができる。なお、人物の顔に対応する領域Ｓ６１～Ｓ８１の露出調整を行うことにより、調整後の領域Ｓ６１～Ｓ８１の露出に応じて、人物の顔以外に対応する領域Ｓ６２～Ｓ８２の露出が自動的に調整されてもよい。また、人物の顔以外に対応する領域Ｓ６２～Ｓ８２の露出調整を行うことにより、調整後の領域Ｓ６２～Ｓ８２の露出に応じて、人物の顔に対応する領域Ｓ６１～Ｓ８１の露出が自動的に調整されてもよい。 Alternatively, as shown in FIG. 32(c), the image P may be further divided into areas S6 to S8 corresponding to people into areas S61 to S81 corresponding to faces and areas S61 to S82 corresponding to areas other than faces. good. In this case, each of the clients A to C can adjust the exposure for each of the areas S61 to S81, that is, the person's face, so that the desired exposure is obtained for each of the areas S61 to S81 and the areas S62 to S82. . Note that by adjusting the exposure of areas S61 to S81 corresponding to a person's face, the exposure of areas S62 to S82 corresponding to areas other than the person's face will be automatically adjusted according to the adjusted exposure of areas S61 to S81. May be adjusted. Furthermore, by adjusting the exposure of areas S62 to S82 corresponding to areas other than the person's face, the exposure of areas S61 to S81 corresponding to the person's face is automatically adjusted according to the adjusted exposure of areas S62 to S82. May be adjusted.
図３２を用いて説明した例において、撮像装置１０で生成された画像にクライアントＡ～Ｃが露出調整を所望する人物の顔が含まれている場合に、クライアントＡ～Ｃと領域Ｓ６～Ｓ８とを自動的に関連付けてもよい。この場合、クライアントＡ～Ｃ側の電子機器７１１～７１３が、露出調整の対象として所望する人物の顔に関する情報、たとえば顔画像を予め有する。電子機器７１１～７１３は、たとえば公知のテンプレートマッチング等を用いて受信した画像上で顔画像を検出する。
In the example described using FIG. 32, when the image generated by the
なお、上述した画像遠隔撮影システム７００を、たとえば監視カメラを有する監視システムとして用いることができる。この場合、複数のクライアントは、たとえば、警備会社と監視カメラを設置した家の家主とである。警備会社と家主とは、生成される画像のうちそれぞれ監視対象として注視したい範囲がことなることが考えられる。この場合に、警備会社と家主とは、それぞれが注視したい範囲に対して所望する画像が得られるように、異なる撮影条件を設定することが可能になる。
Note that the above-described remote
また、上述した画像遠隔撮影システム７００は、撮像装置１０と電子機器７１０とが通信回路網７２０を介して画像や各種情報の送受信を行うものとして説明したが、この例に限定されない。たとえば、画像遠隔撮影システム７００は、通信回路網７２０と接続されて画像や情報の送受信を行うサーバ装置を有してもよい。この場合、撮像装置１０と電子機器７１０との間で、サーバ装置を経由して画像や各種情報の送受信を行う。また、撮像装置１０で出力された撮像信号を用いて、サーバ装置が、画像処理部２３２と同様にして、画像ファイル４０を生成してもよい。
Further, although the above-described remote
例７における遠隔画像撮影システム７００では、１つの画像Ｐの複数の領域Ｓ６～Ｓ８ごとに異なるクライアントにて露出調節を行って各領域Ｓ６～Ｓ８に対する撮影条件を設定して撮影を行うことができる。これにより、撮影条件の設定のために要する作業を複数のクライアントで分担可能になり、作業効率の向上に寄与することができる。
In the remote
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。 The following modifications are also within the scope of the invention, and it is also possible to combine one or more of the modifications with the embodiments described above.
（変形例１）
第１の実施の形態では、第１の画像情報６４１や第２の画像情報６４２を、画像ファイル４０の再生時に作成すると説明したが、これを予め画像ファイル４０に記録するようにしてもよい。換言すると、第２の実施の形態では、大グループ８１ごとに別々のサブディレクトリ９４に別々のファイルとして記録していた動画や静止画を、単一の画像ファイル４０に記録するようにしてもよい。この場合、画像ファイル４０内に記録される１フレーム分のデータは、それぞれ１つの大グループ８１に対応するものとなる。
(Modification 1)
In the first embodiment, it has been explained that the
例えば、第２の実施の形態において２つのファイルに分けて記録されていた２つの動画（第１の動画と第２の動画）を、単一の画像ファイル４０に記録する場合を考える。このとき、データ部４２の先頭から順に、第１の動画の１フレーム目、２フレーム目、３フレーム目、…に関するデータを時系列順に記録し、その後に、第２の動画の１フレーム目、２フレーム目、３フレーム目、…に関するデータを時系列順に記録することができる。このようにすると、再生処理の負荷を低減することができる。
For example, consider a case where two moving images (a first moving image and a second moving image), which were recorded separately in two files in the second embodiment, are recorded in a
また、これとは異なる記録方法として、第１の動画の各フレームに関するデータと、第２の動画の各フレームに関するデータとを、各フレームの時系列順に記録することもできる。つまり、第１の動画の１フレーム目、第２の動画の１フレーム目、第１の動画の２フレーム目、…のように、２つの動画の各フレームが撮像の時系列順に配列された形で記録されていてもよい。このようにすると、記録処理の負荷を低減することができる。 Furthermore, as a recording method different from this, data regarding each frame of the first moving image and data regarding each frame of the second moving image may be recorded in chronological order of each frame. In other words, each frame of the two videos is arranged in the chronological order of imaging, such as the first frame of the first video, the first frame of the second video, the second frame of the first video, etc. may be recorded. In this way, the load of recording processing can be reduced.
上記のように、第１の画像情報６４１や第２の画像情報６４２等をそれぞれ画像ファイル４０に記録する場合には、以下のような記録方式とすることにより、マスク情報６２ｂを削減することができる。なお、以下の説明においては、図１４に示すようにして混合撮像機能にて画像ファイル４０が生成された場合を例に挙げて説明を行う。また、図２６に、このときに生成される画像ファイル４０の構造を模式的に示す。なお、１フレーム分のデータ、即ち１つのブロック７０と１つの音声情報との組を、便宜上、フレームデータ７と呼ぶ。
As described above, when recording the
画像ファイル４０には、１～４の大グループ８１に対応する画像情報６４を含むフレームデータ７が、時系列順に個別に記録される。なお、各々のフレームデータ７に含まれるＴｖ値マップ６５等についても、当然に、各々の画像情報に対応する状態であるものとする。図１４に示す混合撮像機能にて撮像が行われた場合では、第１フレーム目で撮像された画像情報６４（即ち第１の画像情報６４１）が１番目のフレームデータ７としてデータ部４２に記録される。第２フレーム目で撮像された画像情報６４（即ち第１の画像情報６４１と第２の画像情報６４２）とがそれぞれ２番目、３番目のフレームデータ７として記録される。第３フレーム目で撮像された画像情報６４（即ち第１の画像情報６４１、第２の画像情報６４２、第３の画像情報６４３）がそれぞれ４番目、５番目、６番目のフレームデータ７として記録される。
In the
図２６に、生成された画像ファイル４０の構造を模式的に示す。上記のようにして画像情報６４が記録される際に、各フレームデータ７にはマスク情報６２ｂに代えて、上述したヘッダ部４１のマスク部４４に記録された識別情報６０として割り当てられた一意な番号に対応する画像識別情報６２１と、次フレームデータ７の記録位置を示す次画像アドレス６２２とが記録される。即ち、図２７に画像ファイル４０のデータ部４２のみを模式的に示した場合のように、第１番目および第２番目のフレームデータ７の画像識別情報６２１には第１の画像情報６４１であることを表す「１」の番号が記録される。第３番目のフレームデータ７の画像識別情報６２１には、第２の画像情報６４２であることを表す「２」の番号が記録される。この結果、実施の形態の場合のように、マスク情報６２ｂをデータ部４２に記録する場合と比較して、記録領域のサイズを削減することができる。
なお、次画像アドレス６２２として、次フレームデータ７の記録位置を示すものに代えて、同一の画像識別情報６２１を有する次画像が記録されたフレームデータ７の記録位置を示すものでも良い。
FIG. 26 schematically shows the structure of the generated
Note that instead of indicating the recording position of the
上記のような画像ファイル４０を再生する場合には、制御部２３は、データ部４２の画像識別情報６２１と次画像アドレス６２２とを参照しながら、再生すべき画像情報６４を検索する。図２７において、画像情報６４２を検索する場合には、制御部２３は、第１番目のフレームデータ７の画像識別情報６２１を参照して画像情報６４２ではないことを判断し、次画像アドレス６２２を参照して第２番目のフレームデータ７にスキップする。第２番目のフレームデータ７における画像識別情報６２１も画像情報６４２ではないことを示しているので、制御部２３は、次画像アドレス６２２を参照して第３番目のフレームデータ７にスキップする。第３番目のフレームデータ７の画像識別情報６２１には画像情報６４２が記録されていることを示す番号「２」が記録されているので、制御部２３は、このフレームデータ７から画像情報６４２を読み込む。従って、画像を読み出す際に、所望の画像とは異なる画像情報６４、Ｔｖ値マップ６５、Ｓｖ値マップ６６、Ｂｖ値マップ６７、Ａｖ値情報６８をスキップできるので、所望の画像を検索するために要する時間を短縮できる。
When reproducing the
（変形例２）
第１の実施の形態の説明において、動画撮像機能Ｂ、および混合撮像機能により作成される画像ファイル４０のデータ部４２には、画像情報６４や各種のマップ情報が、撮像素子２２における単位グループ３２の配列通りに記録されると述べた。これを、単位グループ３２の配列とは異なる配列にして記録してもよい。以下、この点について詳述する。
(Modification 2)
In the description of the first embodiment,
図１９は、変形例２の説明図である。ここでは、図８（ｂ）と同様に、単位グループ３２を４つの大グループ８１に分類している。ただし、その後に制御部２３が生成する画像情報６４は、単位グループ３２の配列通りに撮像信号を配列したものではない。具体的には、大グループ８１ごとに撮像信号を集約した後に、それらを連結することにより、画像情報６４を生成している。例えば、画像情報６４を２×２の４つの領域に区切ったとき、左上の領域には、１番目の大グループ８１に属する単位グループ３２からの撮像信号が集約され、左下の領域には、２番目の大グループ８１に属する単位グループ３２からの撮像信号が集約され、右上の領域には、３番目の大グループ８１に属する単位グループ３２からの撮像信号が集約され、右下の領域には、４番目の大グループ８１に属する単位グループ３２からの撮像信号が集約されている。
FIG. 19 is an explanatory diagram of modification example 2. Here, the
なお、以上のように、画像情報６４における撮像信号の配列を変更する場合には、Ｔｖ値マップ６５やＳｖ値マップ６６、マスク情報６２等の配列も、これに合わせて変更する必要がある。
Note that, as described above, when changing the arrangement of imaging signals in the
また、これ以外の方法で、画像情報６４の配列を変更してもよい。つまり、画像ファイル４０内において、画像情報６４内の配列と、その他の撮像条件に関する情報（マスク情報６２等）内の配列とが対応してさえいれば、その配列自体はどのようなものであってもよい。
Further, the arrangement of the
（変形例３）
動画撮像機能Ｂないし混合撮像機能において、フレームごとに単位グループ３２の用途を変化させてもよい。例えば図２０に示すように、奇数フレームでは単位グループ３２が１～４番目の大グループ８１にそれぞれ分類されるようにし、撮像条件が異なる４つの画像情報６４１、６４２、６４３、６４４を含む画像情報６４が得られるようにする。そして、偶数フレームでは単位グループ３２が５番目の大グループ８１にのみ分類されるようにし、単一の画像情報６４のみが得られるようにする。つまり、撮像条件が異なり画素数が相対的に少ない複数の画像と、画素数が相対的に多い単一画像とを、時分割的に撮像してもよい。また、上述した変形例１や変形例２にこの変形例３を適用することもできる。
(Modification 3)
In the video imaging function B or the mixed imaging function, the purpose of the
（変形例４）
動画撮像機能Ｂないし混合撮像機能において、１つの単位グループ３２が複数の用途を有するようにしてもよい。例えば図２１に示すように、単位グループ３２が１～４番目の大グループ８１にそれぞれ分類され、且つ、全ての単位グループ３２が５番目の大グループ８１にも分類されるようにしてもよい。この場合、前者の分類に従って画像ファイル４０の再生（現像等）を行うと、４つの画像情報６４１、６４２、６４３、６４４を含む画像情報６４が得られ、後者の分類に従って画像ファイル４０の再生（現像等）を行うと、より画素数が多い単一の画像情報６４が得られることになる。
(Modification 4)
In the video imaging function B or the mixed imaging function, one
（変形例５）
静止画撮像機能Ｂの説明において、マスク情報６２上で「０」という番号が割り振られている単位グループ３２は、撮像に利用されておらず、データ部４２に記録されている画像情報６４には、その単位グループ３２に関する情報が含まれていないことを表すと述べたが、静止画撮像機能Ａや動画撮像機能Ａにおいても、「０」という番号が同様の意味を持つようにしてもよい。
(Modification 5)
In the description of the still image imaging function B, the
また、ヘッダ部４１のマスク情報６２において、「０」という番号が撮像に利用されていないことを表すものとしてもよい。例えば、静止画撮像機能Ｂや動画撮像機能Ｂにおいて、撮像画面全体を２×２の４つの単位グループ３２で区切って、それら４つの単位グループ３２にそれぞれ異なる用途を割り当てる場合、単位グループ３２の縦方向の数（行数）が奇数であれば、１行だけ余りの行が生じることになる。このような場合に、その余りの１行を撮像に用いないこととして、ヘッダ部４１に記録するマスク情報６２では、その余りの１行に「０」という番号を割り当てることとしてもよい。
Furthermore, in the
なお、上述した「０」という番号は一例であって、他の番号を、上述した「０」という番号と同様の扱いとしてもよい。 Note that the number "0" mentioned above is just an example, and other numbers may be treated in the same way as the number "0" mentioned above.
（変形例６）
画像ファイル４０の構造は、上述した各実施の形態と異なっていてもよい。また、画像ファイル４０に記録される撮像条件に関する情報は、第１の実施の形態等で説明した情報と異なっていてもよい。例えば、Ｓｖ値マップ６６など、一部の情報の記録を省略してもよい。逆に、上述したものとは別の情報を更に追加してもよい。また、記録形態は上述した実施形態と異なっていてもよい。例えば、Ａｖ値情報６８を、Ｔｖ値やＳｖ値等と同様に、単位グループ３２ごとのＡｖ値を二次元状に配列したＡｖ値マップとして記録してもよい。データ部４２に、上述した種々の情報とは異なる情報を更に記録してもよい。例えば、周知の測距技術により測定された被写体までの距離情報をデータ部４２に記録してもよい。また、この距離情報は、単位グループ３２ごとに測定された被写体までの距離を二次元状に配列した、いわゆるデプスマップであってもよい。別の例としては、撮像光学系２１の状態（例えば焦点距離等）に関する情報を記録することもできる。また、これらの情報が動画の撮影中に変化することを考慮して、これらの情報をフレームごとに記録してもよい。
(Modification 6)
The structure of the
または、マスク情報６２の記録を省略しても良い。この場合、制御部２３は、再生時に、Ｔｖ値マップ６５や、Ｓｖ値マップ６６や、Ｂｖ値マップ６７を用いて、マスク情報６２に相当する各々の単位グループ３２の用途（目的、役割）を表す情報（マスク相当情報）を生成する。例えば、制御部２３は、Ｔｖ値マップ６５および／またはＳｖ値マップ６６を参照する。制御部２３は、参照したＴｖ値マップ６５上において、同一のシャッタースピードが格納された座標（ｘ、ｙ）を同一の領域と見なす。
Alternatively, recording of the
例えば、図２８（ａ）に示すように、Ｔｖ値マップ６５において、シャッタースピードが互いに異なる領域Ｒ１とＲ２とが存在する場合、制御部２３は、領域Ｒ１とＲ２とに対応する撮像画面５０上のそれぞれの領域が主要被写体領域５２と背景領域５３とに相当すると判断する。例えば領域１におけるシャッタースピードが領域２のシャッタースピードよりも高速の場合には、制御部２３は、領域Ｒ１に対応する撮像画面５０上の領域を主要被写体領域５２と見なし、領域Ｒ２に対応する撮像画面５０上の領域を背景領域５３と見なす。そして、制御部２３は、図２８（ｂ）に示すマスク相当情報６３を生成する。図２８（ｂ）においては、主要被写体５２に含まれる単位グループ３２の位置には「１」が、背景領域５３に含まれる単位グループ３２の位置には「２」がそれぞれ格納される。
For example, as shown in FIG. 28(a), when there are regions R1 and R2 with different shutter speeds in the
なお、Ｓｖ値マップ６６を用いる場合には、制御部２３は、同一のＩＳＯ感度が格納された座標（ｘ、ｙ）を同一の領域と見なして、同様にしてマスク相当情報６３を生成することができる。Ｔｖ値マップ６５およびＳｖ値マップ６６の両方を用いる場合には、制御部２３は、同一のシャッタースピードが格納された座標と同一のＩＳＯ感度とが格納された座標とを同一の領域と見なすことができるので、領域の分割を詳細に行うことができる。また、制御部２３は、Ｔｖ値マップ６５および／またはＳｖ値マップ６６に加えてＢｖ値マップ６７を参照することにより、被写体輝度の分布を領域の分割に用いることができるので、さらに領域の分割精度を向上させることができる。
Note that when using the
さらに、制御部２３は、Ｂｖ値マップ６７を参照してマスク相当情報６３を生成しても良い。この場合、制御部２３は、所定の範囲内の被写体輝度が格納された座標（ｘ、ｙ）を同一の領域と見なして、上述した場合と同様にしてマスク相当情報６３を生成する。上述した距離情報、即ちデプスマップが記録されている場合には、制御部２３は、デプスマップとＢｖ値マップ６７とを用いてマスク相当情報６３を生成することができる。この場合、制御部２３は、Ｂｖ値マップ６７を参照して同一の領域に分割された領域内のうち、同一の被写体距離が格納された座標（ｘ、ｙ）を同一の領域と見なして、マスク相当情報６３を生成する。例えば、被写体輝度が低い領域について、黒い色をした被写体自体に対応する領域とその被写体の影に対応する領域とを分割することができる。
Further, the
以上のようにして、制御部２３は、画像ファイル４０にマスク情報６２が記録されていない場合であっても、再生時に撮像条件に基づいてマスク相当情報を生成することができる。従って、画像ファイル４０にマスク情報６２を記録する必要が無くなり、画像ファイル４０が占有する記録領域を削減できる。
なお、以上の説明では、Ｔｖ値マップ６５や、Ｓｖ値マップ６６や、Ｂｖ値マップ６７を用いて、静止画撮像機能Ａや動画撮像機能Ａのときに生成されたマスク情報６２に相当するマスク相当情報６３を生成する場合を説明したが、この例に限定されない。例えば、制御部２３は、Ｔｖ値マップ６５やＳｖ値マップ６６を参照して、同一のシャッタースピードが格納された座標と同一のＩＳＯ感度が格納された座標とに対応する単位グループ３２が同一の画像情報６４を構成するものとし見なして、静止画撮像機能Ｂや動画撮像機能Ｂや混合撮像機能の際に生成されたマスク情報６２に相当するマスク相当情報６３を生成できる。
As described above, even if the
In addition, in the above explanation, the mask corresponding to the
（変形例７）
上述した各実施の形態では、撮像素子２２と制御部２３とを有する単一の電子機器である撮像装置について説明したが、本発明はこのような実施形態に限定されない。例えば、外部に設けられた撮像素子２２を制御する電子機器にも本発明を適用することができる。以下、撮像素子２２を備えた撮像ユニット１００１を、外部機器から制御する形態について詳述する。
(Modification 7)
In each of the embodiments described above, an imaging device that is a single electronic device including the
図２２は、変形例７に係る撮像システムの構成を模式的に示すブロック図である。図２２に示す撮像システム１０００は、撮像ユニット１００１と、電子機器１００２とから成る。撮像ユニット１００１は、第１の実施の形態で説明した撮像光学系２１と撮像素子２２とを備え、更に、第１通信部１００３を備えている。また、電子機器１００２は、第１の実施の形態で説明した制御部２３、液晶モニタ２４、メモリカード２５、操作部２６、ＤＲＡＭ２７、フラッシュメモリ２８、および録音部２９を備え、更に、第２通信部１００４を備えている。第１通信部１００３および第２通信部１００４は、例えば周知の無線通信技術や光通信技術等により、双方向のデータ通信を行うことができる。また、撮像ユニット１００１と電子機器１００２とが有線ケーブル等による有線接続により、第１通信部１００３および第２通信部１００４は、双方向のデータ通信を行う構成であってもよい。
FIG. 22 is a block diagram schematically showing the configuration of an imaging system according to Modification Example 7. An
変形例７に係る撮像システム１０００では、制御部２３は、第２通信部１００４および第１通信部１００３を介したデータ通信により、撮像素子２２の制御を行う。例えば、所定の制御データを撮像ユニット１００１との間で送受信することにより、単位グループ３２ごとに異なる撮像条件を設定したり、各々の単位グループ３２から撮像信号を読み出したりする。
In the
以上に述べたように、撮像システム１０００において、単位グループ３２ごとの制御を行っているのは、制御部２３である。電子機器１００２は、撮像素子２２を備えていないが、電子機器１００２の外部に設けられた撮像素子２２（撮像ユニット１００１）を制御することにより、第１の実施の形態と同様の制御を行う。つまり、本発明は、撮像素子２２を有していない電子機器に適用することが可能である。
As described above, in the
（変形例８）
画像情報６４のデータ量を削減するために、画像情報６４を周知の可逆圧縮技術により圧縮して記録してもよい。また、画像情報６４を、隣接する画素との差分値の形で記録してもよい。例えば、ある画素の画素値（撮像信号）を記録する位置に、その左隣の画素との差分値を記録するようにしてもよい。または、所定領域内の全画素の画素値の平均値との差分値を記録するようにしたり、全画素の平均値との差分値を記録するようにしてもよい。
(Modification 8)
In order to reduce the data amount of the
また、動画の場合には、前のフレームの同じ位置の画素値との差分値を記録するようにすれば、更にデータ量を削減することができる。あるいは、前のフレームの同じ位置の画素値と値が異なるときだけ画素値を記録するようにし、前フレームと画素値が同一である場合にはその画素値を記録しないようにしてもよい。これは撮像条件（Ｓｖ値やＴｖ値等）について適用することも可能である。例えば、ある単位グループ３２について、前フレームとＳｖ値が同一である場合、そのＳｖ値を記録しないようにしてもよい。
Furthermore, in the case of a moving image, the amount of data can be further reduced by recording the difference value between the pixel value and the pixel value at the same position in the previous frame. Alternatively, a pixel value may be recorded only when the value is different from the pixel value at the same position in the previous frame, and the pixel value may not be recorded when the pixel value is the same as the previous frame. This can also be applied to imaging conditions (Sv value, Tv value, etc.). For example, if the Sv value of a
なお、以上で述べたような形で画像情報６４を記録する場合、再生時（現像時）に、それらの形から元の画素値を復元する処理を実行する必要がある。
Note that when the
（変形例９）
動画撮像機能Ｂや混合撮像機能の際に、大グループ８１同士でフレームレートが異なる場合、制御部２３は最も早いフレームレートを基準として各フレームを記録するものとしたが、この例に限定されない。例えば、制御部２３は、それぞれのフレームレートの最小公倍数に相当するフレームレートにて各フレームを記録しても良い。図１４に示すように、１番目の大グループ８１１で６０ｆｐｓの動画撮像を、２番目の大グループ８１２で５０ｆｐｓの動画撮像をする場合に、６０ｆｐｓと５０ｆｐｓの最小公倍数である３００コマ／秒でフレームを記録する。即ち、６０ｆｐｓに設定された大グループ８１１からの撮像信号に基づく画像情報６４は５コマごとに記録し、５０ｆｐｓに設定された第グループ８１２からの撮像信号に基づく画像情報６４については６コマごとに記録すれば良い。
(Modification 9)
When the
（変形例１０）
上述した各実施の形態では、本発明をレンズ一体型カメラに適用した例について説明を行ったが、例えばレンズ交換型カメラに本発明を適用することも可能である。また、本発明はカメラに限らず、ＰＣ、携帯電話、スマートフォン、タブレット等のカメラ付き電子機器にも適用可能である。
(Modification 10)
In each of the embodiments described above, an example in which the present invention is applied to a lens-integrated camera has been described, but it is also possible to apply the present invention to, for example, a lens-interchangeable camera. Moreover, the present invention is applicable not only to cameras but also to electronic devices with cameras such as PCs, mobile phones, smartphones, and tablets.
本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。 As long as the characteristics of the present invention are not impaired, the present invention is not limited to the embodiments described above, and other forms that can be considered within the scope of the technical idea of the present invention are also included within the scope of the present invention. .
１０…撮像装置、２１…撮像光学系、２２…撮像素子、２３…制御部、２４…液晶モニタ、２５…メモリカード、２６…操作部、２７…ＤＲＡＭ、２８…フラッシュメモリ、２９…録音部、１０１…通信部、２３１…撮像制御部、２３２…画像処理部、７００…遠隔画像撮影システム、７１０…電子機器
DESCRIPTION OF
Claims (22)
前記第１領域で撮像された第１被写体の第１画像データと、前記第２領域で撮像された第２被写体の第２画像データと、前記第１撮像条件に関する第１データと、前記第２撮像条件に関する第２データと、前記第１領域の用途に関する第３データと、前記第２領域の用途に関する第４データとを有するファイルを記録部に記録する制御部とを備える電子機器。 an imaging device having an imaging region including a first region where an imaging operation is performed under a first imaging condition and a second region where an imaging operation is performed under a second imaging condition;
first image data of the first subject imaged in the first area , second image data of the second subject imaged in the second area, first data regarding the first imaging condition, and the second image data. An electronic device comprising : a control unit that records in a recording unit a file having second data regarding imaging conditions , third data regarding the use of the first area, and fourth data regarding the use of the second area .
前記第３データは、前記第１被写体に関する情報を有し、The third data includes information regarding the first subject,
前記第４データは、前記第２被写体に関する情報を有する電子機器。The fourth data is an electronic device having information regarding the second subject.
前記第３データは、前記第１画像データに関する情報を有し、The third data has information regarding the first image data,
前記第４データは、前記第２画像データに関する情報を有する電子機器。The fourth data is an electronic device having information regarding the second image data.
前記第３データは、前記第１画像データが静止画像データと動画像データとのうちいずれの画像データであるかに関する情報を有し、The third data has information regarding whether the first image data is still image data or moving image data,
前記第４データは、前記第２画像データが静止画像データと動画像データとのうちいずれの画像データであるかに関する情報を有する電子機器。The fourth data includes information regarding whether the second image data is still image data or moving image data.
前記制御部は、前記第３データと前記第４データとを前記ファイルのヘッダ部に格納し、前記第１画像データ、前記第２画像データ、前記第１データおよび前記第２データを前記ファイルのデータ部に格納する電子機器。The control unit stores the third data and the fourth data in a header section of the file, and stores the first image data, the second image data, the first data, and the second data in the file. Electronic equipment stored in the data section.
前記撮像領域は、光を電荷に変換する複数の光電変換部を有し、
前記第１領域は、前記複数の光電変換部のうち少なくとも１つの前記光電変換部を含み、
前記第２領域は、前記複数の光電変換部のうち少なくとも１つの前記光電変換部を含み、
前記制御部は、前記第１領域の前記光電変換部で変換された電荷により生成される第１信号に基づいて前記第１画像データを生成し、前記第２領域の前記光電変換部で変換された電荷により生成される第２信号に基づいて前記第２画像データを生成する電子機器。 The electronic device according to any one of claims 1 to 5 ,
The imaging area includes a plurality of photoelectric conversion units that convert light into charges,
The first region includes at least one photoelectric conversion unit among the plurality of photoelectric conversion units,
The second region includes at least one photoelectric conversion unit among the plurality of photoelectric conversion units,
The control unit generates the first image data based on a first signal generated by the charges converted by the photoelectric conversion unit in the first area, and generates the first image data based on the first signal generated by the charges converted by the photoelectric conversion unit in the second area. An electronic device that generates the second image data based on a second signal generated by the electric charge.
前記第１データは、前記第１領域の前記光電変換部で変換された電荷の蓄積時間に関する情報を有し、
前記第２データは、前記第２領域の前記光電変換部で変換された電荷の蓄積時間に関する情報を有する電子機器。 The electronic device according to claim 6 ,
The first data includes information regarding the accumulation time of charges converted by the photoelectric conversion unit in the first region,
The second data includes information regarding an accumulation time of charges converted by the photoelectric conversion unit in the second region.
前記制御部は、前記第１領域の前記光電変換部で変換された電荷の蓄積時間と、前記第２領域の前記光電変換部で変換された電荷の蓄積時間とが異なる蓄積時間になるように前記撮像素子を制御する電子機器。 The electronic device according to claim 7 ,
The control unit is configured such that an accumulation time of charges converted by the photoelectric conversion unit in the first region and an accumulation time of charges converted by the photoelectric conversion unit in the second region are different. An electronic device that controls the image sensor.
前記第１領域の前記光電変換部と前記第２領域の前記光電変換部とは、前記撮像領域において行方向に並んで配置される電子機器。 The electronic device according to any one of claims 6 to 8 ,
The photoelectric conversion unit in the first area and the photoelectric conversion unit in the second area are electronic devices arranged side by side in the row direction in the imaging area.
前記第１領域の前記光電変換部と前記第２領域の前記光電変換部とは、隣に並んで配置される電子機器。 The electronic device according to claim 9 ,
The photoelectric conversion section in the first region and the photoelectric conversion section in the second region are electronic devices arranged side by side.
前記第１領域の前記光電変換部と前記第２領域の前記光電変換部とは、前記撮像領域において列方向に並んで配置される電子機器。 The electronic device according to any one of claims 6 to 8 ,
The photoelectric conversion unit in the first area and the photoelectric conversion unit in the second area are electronic devices arranged side by side in a column direction in the imaging area.
前記第１領域の前記光電変換部と前記第２領域の前記光電変換部とは、隣に並んで配置される電子機器。 The electronic device according to claim 11 ,
The photoelectric conversion section in the first region and the photoelectric conversion section in the second region are electronic devices arranged side by side.
前記第１領域は、前記複数の光電変換部のうち、行方向に並んで配置される２つ以上の前記光電変換部を含み、
前記第２領域は、前記複数の光電変換部のうち、前記行方向に並んで配置される２つ以上の前記光電変換部を含む電子機器。 The electronic device according to any one of claims 6 to 8 ,
The first region includes two or more photoelectric conversion units arranged side by side in the row direction among the plurality of photoelectric conversion units,
The second region is an electronic device including two or more of the photoelectric conversion units arranged side by side in the row direction among the plurality of photoelectric conversion units.
前記第１領域は、前記複数の光電変換部のうち、列方向に並んで配置される２つ以上の前記光電変換部を含み、
前記第２領域は、前記複数の光電変換部のうち、前記列方向に並んで配置される２つ以上の前記光電変換部を含む電子機器。 The electronic device according to any one of claims 6 to 8 ,
The first region includes two or more of the photoelectric conversion units arranged side by side in a column direction among the plurality of photoelectric conversion units,
The second area is an electronic device including two or more of the photoelectric conversion units arranged in line in the column direction among the plurality of photoelectric conversion units.
前記第１領域は、前記複数の光電変換部のうち、行方向と列方向とに並んで配置される３つ以上の前記光電変換部を含み、
前記第２領域は、前記複数の光電変換部のうち、前記行方向と前記列方向とに並んで配置される３つ以上の前記光電変換部を含む電子機器。 The electronic device according to any one of claims 6 to 8 ,
The first region includes three or more of the photoelectric conversion units arranged in line in a row direction and a column direction among the plurality of photoelectric conversion units,
The second area is an electronic device including three or more of the photoelectric conversion units arranged in line in the row direction and the column direction among the plurality of photoelectric conversion units.
前記撮像素子は、前記第１信号を増幅する第１増幅部と、前記第２信号を増幅する第２増幅部とを有し、
前記制御部は、前記第１増幅部で増幅された前記第１信号に基づいて前記第１画像データを生成し、前記第２増幅部で増幅された前記第２信号に基づいて前記第２画像データを生成する電子機器。 The electronic device according to any one of claims 6 to 15 ,
The image sensor includes a first amplification section that amplifies the first signal, and a second amplification section that amplifies the second signal,
The control unit generates the first image data based on the first signal amplified by the first amplification unit, and generates the second image data based on the second signal amplified by the second amplification unit. Electronic equipment that generates image data.
前記第１データは、前記第１増幅部の増幅率に関する情報を有し、
前記第２データは、前記第２増幅部の増幅率に関する情報を有する電子機器。 The electronic device according to claim 16 ,
The first data includes information regarding the amplification factor of the first amplification section,
The second data includes information regarding the amplification factor of the second amplification section.
前記制御部は、前記第１増幅部の増幅率と、前記第２増幅部の増幅率とが異なる増幅率になるように前記撮像素子を制御する電子機器。 The electronic device according to claim 17 ,
The control section is an electronic device that controls the image sensor so that the amplification factor of the first amplification section and the amplification factor of the second amplification section are different from each other.
前記撮像素子は、前記第１信号をデジタル信号に変換する第１変換部と、前記第２信号をデジタル信号に変換する第２変換部とを有し、
前記制御部は、前記第１変換部でデジタル信号に変換された前記第１信号に基づいて前記第１画像データを生成し、前記第２変換部でデジタル信号に変換された前記第２信号に基づいて前記第２画像データを生成する電子機器。 The electronic device according to any one of claims 6 to 18 ,
The image sensor includes a first converter that converts the first signal into a digital signal, and a second converter that converts the second signal into a digital signal,
The control unit generates the first image data based on the first signal converted into a digital signal by the first conversion unit, and generates the first image data based on the second signal converted to a digital signal by the second conversion unit. An electronic device that generates the second image data based on .
前記撮像素子は、前記複数の光電変換部が配置される第１基板と、前記第１変換部と前記第２変換部とが配置される第２基板とを有する電子機器。 The electronic device according to claim 19 ,
The image sensor is an electronic device including a first substrate on which the plurality of photoelectric conversion sections are arranged, and a second substrate on which the first conversion section and the second conversion section are arranged.
前記撮像素子は、前記第１変換部でデジタル信号に変換された前記第１信号を記憶する第１記憶部と、前記第２変換部でデジタル信号に変換された前記第２信号を記憶する第２記憶部とを有する電子機器。 The electronic device according to claim 19 ,
The image sensor includes a first storage unit that stores the first signal converted to a digital signal by the first conversion unit, and a second storage unit that stores the second signal converted to a digital signal by the second conversion unit. An electronic device having two storage units.
前記撮像素子は、前記複数の光電変換部が配置される第１基板と、前記第１変換部と前記第２変換部とが配置される第２基板と、前記第１記憶部と前記第２記憶部とが配置される第３基板とを有する電子機器。 The electronic device according to claim 21 ,
The image sensor includes a first substrate on which the plurality of photoelectric conversion sections are arranged, a second substrate on which the first conversion section and the second conversion section are arranged, the first storage section and the second substrate. An electronic device comprising: a storage section; and a third substrate on which a storage section is arranged.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022133973A JP7447947B2 (en) | 2020-11-12 | 2022-08-25 | Electronics |
| JP2024029910A JP2024051145A (en) | 2020-11-12 | 2024-02-29 | Electronics |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020188969A JP7131595B2 (en) | 2020-11-12 | 2020-11-12 | playback equipment and electronic equipment |
| JP2022133973A JP7447947B2 (en) | 2020-11-12 | 2022-08-25 | Electronics |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020188969A Division JP7131595B2 (en) | 2020-11-12 | 2020-11-12 | playback equipment and electronic equipment |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2024029910A Division JP2024051145A (en) | 2020-11-12 | 2024-02-29 | Electronics |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2022167973A JP2022167973A (en) | 2022-11-04 |
| JP2022167973A5 JP2022167973A5 (en) | 2023-02-14 |
| JP7447947B2 true JP7447947B2 (en) | 2024-03-12 |
Family
ID=74666965
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020188969A Active JP7131595B2 (en) | 2020-11-12 | 2020-11-12 | playback equipment and electronic equipment |
| JP2022133973A Active JP7447947B2 (en) | 2020-11-12 | 2022-08-25 | Electronics |
| JP2024029910A Pending JP2024051145A (en) | 2020-11-12 | 2024-02-29 | Electronics |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020188969A Active JP7131595B2 (en) | 2020-11-12 | 2020-11-12 | playback equipment and electronic equipment |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2024029910A Pending JP2024051145A (en) | 2020-11-12 | 2024-02-29 | Electronics |
Country Status (1)
| Country | Link |
|---|---|
| JP (3) | JP7131595B2 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005197952A (en) | 2004-01-06 | 2005-07-21 | Sony Corp | Imaging device and imaging method |
| JP2005210369A (en) | 2004-01-22 | 2005-08-04 | Konica Minolta Photo Imaging Inc | Image processing apparatus and image processing method |
| JP2009246757A (en) | 2008-03-31 | 2009-10-22 | Casio Comput Co Ltd | Imaging device, imaging method and program |
| US20100231738A1 (en) | 2009-03-11 | 2010-09-16 | Border John N | Capture of video with motion |
| JP2015186171A (en) | 2014-03-26 | 2015-10-22 | 株式会社ニコン | Imaging apparatus, method for controlling the same, and control program |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013164915A1 (en) * | 2012-05-02 | 2013-11-07 | 株式会社ニコン | Imaging device |
-
2020
- 2020-11-12 JP JP2020188969A patent/JP7131595B2/en active Active
-
2022
- 2022-08-25 JP JP2022133973A patent/JP7447947B2/en active Active
-
2024
- 2024-02-29 JP JP2024029910A patent/JP2024051145A/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005197952A (en) | 2004-01-06 | 2005-07-21 | Sony Corp | Imaging device and imaging method |
| JP2005210369A (en) | 2004-01-22 | 2005-08-04 | Konica Minolta Photo Imaging Inc | Image processing apparatus and image processing method |
| JP2009246757A (en) | 2008-03-31 | 2009-10-22 | Casio Comput Co Ltd | Imaging device, imaging method and program |
| US20100231738A1 (en) | 2009-03-11 | 2010-09-16 | Border John N | Capture of video with motion |
| JP2015186171A (en) | 2014-03-26 | 2015-10-22 | 株式会社ニコン | Imaging apparatus, method for controlling the same, and control program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2024051145A (en) | 2024-04-10 |
| JP2022167973A (en) | 2022-11-04 |
| JP7131595B2 (en) | 2022-09-06 |
| JP2021029052A (en) | 2021-02-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10958848B2 (en) | Electronic apparatus | |
| US8416303B2 (en) | Imaging apparatus and imaging method | |
| US10638037B2 (en) | Image-capturing device and image processing device | |
| CN1770820A (en) | Method and apparatus for removing hot pixels in a digital camera | |
| CN101662586A (en) | Image capturing apparatus capable of displaying live preview image | |
| JP2016192605A (en) | Electronic apparatus, recording medium and program | |
| US20240089402A1 (en) | Electronic apparatus, reproduction device, reproduction method, recording medium, and recording method | |
| JP6613554B2 (en) | Image processing apparatus and program | |
| WO2017175802A1 (en) | Image processing device, electronic apparatus, playback device, playback program, and playback method | |
| WO2016052434A1 (en) | Electronic apparatus, reproduction device, reproduction method, recording medium, and recording method | |
| JP7447947B2 (en) | Electronics | |
| JP6520035B2 (en) | Electronics | |
| JP5223950B2 (en) | Imaging apparatus, display control program, and display control method | |
| WO2016052436A1 (en) | Electronic apparatus, reproduction device, reproduction method, recording medium, and recording method | |
| JP6794649B2 (en) | Electronics and recording programs | |
| JP2018137762A (en) | Electronic apparatus | |
| US20240214689A1 (en) | Image-capturing device and image processing device | |
| JP2019169988A (en) | data structure | |
| JP2021040325A (en) | Electronic apparatus and program | |
| WO2018181611A1 (en) | Electronic device | |
| JP2010232909A (en) | Imaging apparatus, and drive control method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220825 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230206 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230606 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230711 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230911 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231108 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240130 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240212 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7447947 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |