JP5126344B2 - 撮像装置、撮像方法及びプログラム - Google Patents

撮像装置、撮像方法及びプログラム Download PDF

Info

Publication number
JP5126344B2
JP5126344B2 JP2010257662A JP2010257662A JP5126344B2 JP 5126344 B2 JP5126344 B2 JP 5126344B2 JP 2010257662 A JP2010257662 A JP 2010257662A JP 2010257662 A JP2010257662 A JP 2010257662A JP 5126344 B2 JP5126344 B2 JP 5126344B2
Authority
JP
Japan
Prior art keywords
photographing
unit
image
shooting
image signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010257662A
Other languages
English (en)
Other versions
JP2012109835A (ja
JP2012109835A5 (ja
Inventor
和久 松永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2010257662A priority Critical patent/JP5126344B2/ja
Priority to US13/295,296 priority patent/US8531554B2/en
Priority to CN201110362097.7A priority patent/CN102469265B/zh
Priority to KR1020110120491A priority patent/KR101256326B1/ko
Publication of JP2012109835A publication Critical patent/JP2012109835A/ja
Publication of JP2012109835A5 publication Critical patent/JP2012109835A5/ja
Application granted granted Critical
Publication of JP5126344B2 publication Critical patent/JP5126344B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/75Circuitry for compensating brightness variation in the scene by influencing optical camera components

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Stroboscope Apparatuses (AREA)

Description

本発明は、シーンプログラム機能を有するデジタルカメラ等に好適な撮像装置、撮像方法及びプログラムに関する。
一般的なデジタルカメラで、撮影しようとする被写体の構図や光源環境、撮影パターン等を予め特定し、撮影に適した設定を自動的に行なうシーンプログラム機能を有した機種が多数存在している。
この種のシーンプログラム機能で所謂「夜景と人物」モードと呼ばれる設定モードでは、被写界深度を深めに設定し、夜景を背景として、補助光により適切な光量で照明された人物を被写体とした撮影を行なう。
この種の「夜景と人物」モードで、補助光を使用して近景の被写体の画像を撮影した後、補助光を使用せずに複数の画像を連続撮影し、これら複数の画像を特徴点のズレに基づいて補正して合成画像を生成し、その合成画像をさらに上記近景の被写体の画像と合成する、多重露光の技術が考えられている。(例えば、特許文献1)
特開2010−114566号公報
この合成画像は、結果として長いシャッタ時間で撮影した、全体が「少し暗い」画像となる。一方で、上記連続撮影前に取得した画像は、補助光を使用した近景のみが「非常に明るく」、且つ背景が「非常に暗い」画像となる。
したがって、上記連続撮影から得た合成画像とその前に撮影した画像とでは、背景も近景の人物もそれぞれ輝度が大きく異なるために位置合わせを行なうのが難しいという不具合がある。
本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、夜景と補助光を使用した近景の人物とを撮影する際、多重露光後に近景部分と背景部分それぞれの位置合わせを高い成功率で実現することが可能な撮像装置、撮像方法及びプログラムを提供することにある。
請求項1記載の発明は、被写体の画像を撮影して画像信号を出力する撮影手段と、上記撮影手段での撮影に同期して被写体方向に発光するフラッシュ発光手段と、上記撮影手段が出力する画像信号を保持する保持手段と、所定のシャッタ速度により上記フラッシュ発光手段での発光なしに上記撮影手段で撮影させる第1の撮影制御手段と、上記所定のシャッタ速度より高いシャッタ速度により上記フラッシュ発光手段での発光なしに上記撮影手段で撮影させる第2の撮影制御手段と、上記所定のシャッタ速度より高いシャッタ速度により上記フラッシュ発光手段での発光を伴って上記撮影手段で撮影させる第3の撮影制御手段と、上記第1の撮影制御手段による撮影で上記保持手段が保持する画像信号と、上記第2の撮影制御手段による撮影で上記保持手段が保持する画像信号とで位置合わせを行ない、第1のズレ量を算出する第1の位置合わせ手段と、上記第2の撮影制御手段による撮影で上記保持手段が保持する画像信号と、上記第3の撮影制御手段による撮影で上記保持手段が保持する画像信号とで位置合わせを行ない、第2のズレ量を算出する第2の位置合わせ手段と、上記算出した第1及び第2のズレ量を用い、上記第1の撮影制御手段による撮影で上記保持手段が保持する画像信号と、上記第3の撮影制御手段による撮影で上記保持手段が保持する画像信号とで位置合わせして合成画像の画像信号を取得する画像合成手段と、上記画像合成手段で得た画像信号を媒体に保存させる保存手段とを具備したことを特徴とする。
請求項2記載の発明は、上記請求項1記載の発明において、適正な絞り値及びシャッタ速度を取得する自動露出手段をさらに具備し、上記第1の撮影制御手段は、上記フラッシュ発光手段での発光なしに上記自動露出手段で得たシャッタ速度により上記撮影手段で撮影させることを特徴とする。
請求項3記載の発明は、上記請求項1記載の発明において、適正な絞り値及びシャッタ速度を取得する自動露出手段をさらに具備し、上記第1の撮影制御手段は、上記フラッシュ発光手段での発光なしに上記自動露出手段で得たシャッタ速度により高いシャッタ速度により上記撮影手段で複数回撮影させることを特徴とする
請求項4記載の発明は、上記請求項3記載の発明において、上記第1の撮影制御手段による撮影で上記保持手段が保持する複数の画像信号中、1つを基準として、残る他の位置合わせを行なう第3の位置合わせ手段をさらに具備し、上記第1の位置合わせ手段は、上記第3の位置合わせ手段で基準とした画像信号と、上記第2の撮影制御手段による撮影で上記保持手段が保持する画像信号とで位置合わせを行なうことを特徴とする。
請求項5記載の発明は、上記請求項4記載の発明において、上記第3の位置合わせ手段は、位置合わせ時に第3のズレ量を算出し、上記第3の位置合わせ手段が算出した第3のズレ量に基づいて上記第1の撮影制御手段による撮影の合否を判定する判定手段をさらに具備し、上記画像合成手段は、上記判定手段での判定結果、上記第1の撮影制御手段による撮影が不合格であると判定した場合に、位置合わせによる合成画像の画像信号の取得を停止し、上記保存手段は、上記第3の撮影制御手段による撮影で上記保持手段が保持する画像信号のみを媒体に保存することを特徴とする。
請求項6記載の発明は、上記請求項4記載の発明において、上記第3の位置合わせ手段は、位置合わせ時に第3のズレ量を算出し、上記第3の位置合わせ手段が算出した第3のズレ量に基づいて上記第1の撮影制御手段による撮影の合否を判定する判定手段をさらに具備し、上記画像合成手段は、上記判定手段での判定結果、上記第1の撮影制御手段による撮影が合格であると判定した場合に、上記算出した第1及び第2のズレ量を用い、上記第1の撮影制御手段による撮影で上記保持手段が保持する画像信号と、上記第3の撮影制御手段による撮影で上記保持手段が保持する画像信号とで、射影変換行列を用いて位置合わせして合成画像の画像信号を取得することを特徴とする。
請求項7記載の発明は、上記請求項1記載の発明において、上記画像合成手段は、上記算出した第1及び第2のズレ量の少なくとも一方が所定のしきい値以下である場合に、上記第1の撮影制御手段による撮影で上記保持手段が保持する画像信号と、上記第3の撮影制御手段による撮影で上記保持手段が保持する画像信号とを位置合わせをせずに合成して画像信号を取得することを特徴とする。
請求項8記載の発明は、上記請求項1記載の発明において、上記第1の撮影制御手段による撮影で上記保持手段が保持する画像信号に基づき、上記第2の撮影制御手段による撮影で上記保持手段が保持する画像信号に対するゲイン補正を行なうゲイン補正手段をさらに具備し、上記第1の位置合わせ手段は、上記ゲイン補正後の画像信号と上記第1の撮影制御手段による撮影で上記保持手段が保持する画像信号とで位置合わせを行ない、第1のズレ量を算出することを特徴とする。
請求項9記載の発明は、上記請求項1記載の発明において、上記第1及び第2の位置合わせ手段の少なくとも一方は、画像中の互いに離間した複数ポイントそれぞれでズレ量を算出し、上記画像合成手段は、上記複数のポイントそれぞれでズレ量がゼロとなるよう少なくとも一方の画像を変形して合成画像の画像信号を取得することを特徴とする。
請求項10記載の発明は、被写体の画像を撮影して画像信号を出力する撮影部、上記撮影部での撮影に同期して被写体方向に発光するフラッシュ発光部、及び上記撮影部が出力する画像信号を保持する保持部を備えた装置での撮像方法であって、所定のシャッタ速度により上記フラッシュ発光部での発光なしに上記撮影部で撮影させる第1の撮影制御工程と、上記所定のシャッタ速度より高いシャッタ速度により上記フラッシュ発光部での発光なしに上記撮影部で撮影させる第2の撮影制御工程と、上記所定のシャッタ速度より高いシャッタ速度により上記フラッシュ発光部での発光を伴って上記撮影部で撮影させる第3の撮影制御工程と、上記第1の撮影制御工程での撮影で上記保持部が保持する画像信号と、上記第2の撮影制御工程での撮影で上記保持部が保持する画像信号とで位置合わせを行ない、第1のズレ量を算出する第1の位置合わせ工程と、上記第2の撮影制御工程での撮影で上記保持部が保持する画像信号と、上記第3の撮影制御工程での撮影で上記保持部が保持する画像信号とで位置合わせを行ない、第2のズレ量を算出する第2の位置合わせ工程と、上記算出した第1及び第2のズレ量を用い、上記第1の撮影制御工程での撮影で上記保持部が保持する画像信号と、上記第3の撮影制御工程での撮影で上記保持部が保持する画像信号とで位置合わせして合成画像の画像信号を取得する画像合成工程とを有したことを特徴とする。
請求項11記載の発明は、被写体の画像を撮影して画像信号を出力する撮影部、上記撮影部での撮影に同期して被写体方向に発光するフラッシュ発光部、及び上記撮影部が出力する画像信号を保持する保持部を備えた装置が内蔵したコンピュータが実行するプログラムであって、上記コンピュータを、所定のシャッタ速度により上記フラッシュ発光部での発光なしに上記撮影部で撮影させる第1の撮影制御手段、上記所定のシャッタ速度より高いシャッタ速度により上記フラッシュ発光部での発光なしに上記撮影部で撮影させる第2の撮影制御手段、上記所定のシャッタ速度より高いシャッタ速度により上記フラッシュ発光部での発光を伴って上記撮影部で撮影させる第3の撮影制御手段、上記第1の撮影制御手段での撮影で上記保持部が保持する画像信号と、上記第2の撮影制御手段での撮影で上記保持部が保持する画像信号とで位置合わせを行ない、第1のズレ量を算出する第1の位置合わせ手段、上記第2の撮影制御手段での撮影で上記保持部が保持する画像信号と、上記第3の撮影制御手段での撮影で上記保持部が保持する画像信号とで位置合わせを行ない、第2のズレ量を算出する第2の位置合わせ手段、及び上記算出した第1及び第2のズレ量を用い、上記第1の撮影制御手段での撮影で上記保持部が保持する画像信号と、上記第3の撮影制御手段での撮影で上記保持部が保持する画像信号とで位置合わせして合成画像の画像信号を取得する画像合成手段として機能させることを特徴とする。
本発明によれば、夜景と補助光を使用した近景の人物とを撮影する際、多重露光後に近景部分と背景部分それぞれの位置合わせを高い成功率で実現することが可能となる。
本発明の一実施形態に係るデジタルカメラの機能回路の概略構成を示すブロック図。 同実施形態に係るシーンプログラム「夜景と人物」モード設定の処理内容を示すフローチャート。 同実施形態に係る図2の「夜景と人物」モードサブルーチンの処理内容を示すフローチャート。 同実施形態に係る図3のフラッシュ画像位置合わせサブルーチンの処理内容を示すフローチャート。 同実施形態に係る連続撮影シーケンスを示す図。
以下、本発明をデジタルカメラに適用した場合の一実施形態について図面を参照して説明する。
図1は、本実施形態に係るデジタルカメラ10の回路構成を示すものである。同図では、カメラ筐体の前面に配設される光学レンズユニット11を介して、例えばCMOSイメージセンサ12の撮像面上に被写体の光像を入射して結像させる。
スルー画像表示、あるいはライブビュー画像表示とも称されるモニタ状態では、このCMOSイメージセンサ12での撮像により得た画像信号をAGC・A/D変換部13に送り、相関二乗サンプリングや自動ゲイン調整、A/D変換処理を実行してデジタル化する。このデジタル値の画像データはシステムバスSBを介してバッファメモリであるDRAM14に保持される。
このDRAM14に保持された画像データに対して、画像処理部15が適宜必要な画像処理を施す。画像処理部15は、デモザイク部15a、特徴量演算部15b、ブロックマッチング部15c、及び画像変形合成加算部15dを備える。また、画像処理部15には、主として上記ブロックマッチング部15cによるブロック単位での画像マッチング処理で使用するためのSRAM16が接続される。
画像処理部15では、CMOSイメージセンサ12に備えられるベイヤー配列のカラーフィルタの構成に応じた画像データ(以下「RAW(生)データ」と称する)に対してマトリックス演算、画素補間処理、ガンマ補正処理等をデモザイク処理することで、デジタル現像処理を施して輝度色差系(YUV)の画像データに変換する。
画像処理部15は、その画像データから表示用に画素数及び階調ビットを大幅に減じた画像データを作成し、システムバスSBを介して表示コントローラ17へ送る。表示コントローラ17は、送られてきた画像データに基づいて表示部18を駆動し、スルー画像を表示させる。
表示部18は、例えばバックライト付きのカラー液晶パネルで構成される。この表示部18の上部に一体にして透明導電膜を用いたタッチパネル19が構成される。このタッチパネル19でユーザが手指等で表面をタッチ操作すると、タッチパネルコントローラ20が操作座標の位置を算出し、算出した座標信号を上記システムバスSBを介して後述するCPU24に送出する。
また、上記光学レンズユニット11と同じくカメラ筐体前面には、マイクロホン21が配設され、被写体方向の音声が入力される。マイクロホン21は入力した音声を電気信号化し、音声処理部22へ出力する。
音声処理部22は、音声単体での録音時、音声付き静止画像撮影時、及び動画像の撮影時にマイクロホン21から入力する音声信号をデジタルデータ化する。さらに音声処理部22は、デジタル化した音声データの音圧レベルを検出する一方で、該音声データを所定のデータファイル形式、例えばAAC(moving picture experts group−4 Advanced Audio Coding)形式でデータ圧縮して音声データファイルを作成し、後述する記録媒体へ送出する。
加えて音声処理部22は、PCM音源等の音源回路を備え、音声の再生時に送られてくる音声データファイルの圧縮を解いてアナログ化し、このデジタルカメラ10の筐体背面側に設けられるスピーカ23を駆動して、拡声放音させる。
以上の回路をCPU24が統括して制御する。このCPU24は、メインメモリ25、プログラムメモリ26と直接接続される。メインメモリ25は、例えばSRAMで構成され、ワークメモリとして機能する。プログラムメモリ26は、例えばフラッシュメモリなどの電気的に書換可能な不揮発性メモリで構成され、後述するシーンプログラムの「夜景と人物」モードでの制御を含む動作プログラムやデータ等を固定的に記憶する。
CPU24はプログラムメモリ26から必要なプログラムやデータ等を読出し、メインメモリ25に適宜一時的に展開記憶させながら、このデジタルカメラ10全体の制御動作を実行する。
さらに上記CPU24は、キー操作部27から直接入力される各種キー操作信号、及び上記タッチパネルコントローラ20から入力されるタッチパネル19でのタッチ操作に応じた座標信号に対応して制御動作を実行する。
キー操作部27は、例えば電源キー、シャッタレリーズキー、ズームアップ/ダウンキー、撮影モードキー、再生モードキー、メニューキー、カーソル(「↑」「→」「↓」「←」)キー、セットキー、解除キー、ディスプレイキー等を備える。
CPU24は、システムバスSBを介して上記AGC・A/D変換部13、DRAM14、画像処理部15、表示コントローラ17、タッチパネルコントローラ20、及び音声処理部22の他、さらにレンズ駆動部28、フラッシュ駆動部29、イメージセンサ(IS)駆動部30、及びメモリカードコントローラ31と接続される。
レンズ駆動部28は、CPU24からの制御信号を受けてレンズ用DCモータ(M)32の回転を制御し、上記光学レンズユニット11を構成する複数のレンズ群中の一部、具体的にはズームレンズ及びフォーカスレンズの位置をそれぞれ個別に光軸方向に沿って移動させる。
フラッシュ駆動部29は、静止画像撮影時にCPU24からの制御信号を受けて複数の白色高輝度LEDで構成されるフラッシュ部33を撮影タイミングに同期して点灯駆動する。
イメージセンサ駆動部30は、その時点で設定されている撮影条件等に応じて上記CMOSイメージセンサ12の走査駆動を行なう。
上記画像処理部15は、上記キー操作部27のシャッタレリーズキー操作に伴う画像撮影時に、AGC・A/D変換部13から送られてきてDRAM14に保持される画像データをデモザイク処理し、さらに所定のデータファイル形式、例えばJPEG(Joint Photographic Experts Group)であればDCT(離散コサイン変換)やハフマン符号化等のデータ圧縮処理を施してデータ量を大幅に削減した画像データファイルを作成する。作成した画像データファイルはシステムバスSB、メモリカードコントローラ31を介してメモリカード34に記録される。
また画像処理部15は、再生モード時にメモリカード34からメモリカードコントローラ31を介して読出されてくる画像データをシステムバスSBを介して受取り、DRAM14に保持させた上で、このDRAM14に保持させた画像データを記録時とは逆の手順で圧縮を解く伸長処理により元のサイズの画像データを得、これをシステムバスSBを介して表示コントローラ17に出力し、表示部18で表示させる。
メモリカードコントローラ31は、カードコネクタ35を介してメモリカード34と接続される。メモリカード34は、このデジタルカメラ10に着脱自在に装着され、このデジタルカメラ10の記録媒体となる画像データ等の記録用メモリであり、内部には不揮発性メモリであるフラッシュメモリと、その駆動回路とが設けられる。
次に上記実施形態の動作について説明する。
なお、以下に示す動作は、撮影モード下でシーンプログラムの中の1つ、「夜景と人物」モードを設定した後、当該モードでの撮影を実行する際、CPU24がプログラムメモリ26に記憶されている動作プログラムやデータを読出してメインメモリ25に展開して記憶させた上で実行するものである。
プログラムメモリ26に記憶されている動作プログラム等は、このデジタルカメラ10の製造工場出荷時にプログラムメモリ26に記憶されていたものに加え、例えばこのデジタルカメラ10のバージョンアップに際して、デジタルカメラ10をパーソナルコンピュータと接続することにより外部から新たな動作プログラム、データ等をダウンロードして記憶するものも含む。
図2は、電源投入後に撮影モードでシーンプログラムの複数あるモードの中から「夜景と人物」モードを選択して設定する際の処理内容を示す。電源投入後にCPU24は、初期化として前回電源が切断された際に記憶した各種設定状態の情報をプログラムメモリ26から読出して設定を行なう(ステップM101)。
その後、キー操作部27のメニューキーが操作されたか否かを判断する(ステップM102)。ここでメニューキーが操作されていないと判断した場合には、メニュー項目が既に表示されているか否かを判断する(ステップM111)。ここでメニュー項目が表示されていないと判断した場合には、その他の処理を実行した後(ステップM103)、再び上記ステップM102に戻る。
こうしてその他の処理を実行しながら、メニューキーが操作されるのを待機する。
また、キー操作部27のメニューキーが操作された場合、上記ステップM102でそれを判断し、次に各種のメニュー項目を表示部18で一覧表示させた上で(ステップM104)、それらメニュー項目の中からシーンプログラムが選択されたか否かを判断する(ステップM105)。
ここでシーンプログラム以外のメニュー項目が選択されたと判断した場合には、その操作に対応したその他の処理を実行する(ステップM103)。
また、メニュー項目としてシーンプログラムが選択された場合、上記ステップS105でそれを判断し、次にシーンプログラムを構成する複数のシーンプログラムモードを表示部18で一覧表示させた上で(ステップM106)、それらモードの中から「夜景と人物」モードが選択されたか否かを判断する(ステップM107)。
ここで「夜景と人物」モード以外のシーンプログラムモードが選択された場合には、そのモードに応じた処理動作を行なうが(ステップM109)、本実施形態ではその詳細についての説明は省略する。
また、上記ステップM107で「夜景と人物」モードが選択されたと判断した場合には、その操作に応じて「夜景と人物」モードでの処理動作を行なう(ステップM108)。その後、シーンプログラムモードが解除されたか否かを判断する(ステップM110)。
ここでシーンプログラムモードが解除されていると判断した場合には、上記ステップM102に戻る。また、シーンプログラムモードが解除されていないと判断した場合には、上記ステップM107に戻る。
図3は、上記ステップM108の「夜景と人物」モード処理のより詳細な内容を示すサブルーチンである。
なお、以下の動作において、キー操作部27の一部を構成するシャッタレリーズキーは2段階の操作ストロークを有し、全ストロークの半分程度に相当する第1の操作ストローク、所謂「半押し」操作によりその時点でのAE(自動露出)値及びAF(自動合焦)位置(光学レンズユニット11内のフォーカスレンズの位置)をロックし、さらなる全ストロークに相当する第2の操作ストローク、所謂「全押し」操作により静止画像の撮影を実行するものとする。
その動作当初にCPU24は、AE処理及びAF処理を実行して適切な露出値及び合焦位置を取得する。取得した露出値から所定のスルー画像のフレームレート、例えば30[フレーム/秒]に合ったシャッタ速度と絞り値を設定すると共に、光学レンズユニット11のフォーカスレンズ位置を制御する(ステップS101)。
この状態でCPU24は、CMOSイメージセンサ12から順次得られる画像信号をAGC・A/D変換部13でデジタル化させ、DRAM14に保持させた上で画像処理部15のデモザイク部15aによりデモザイク処理を施して原色(RGB)系の画像データに変換させる。
CPU24は、変換した画像データから画素数及び階調ビットを大幅に減じた画像データを作成し、システムバスSBを介して表示コントローラ17へ送って表示部18でスルー画像を表示させる(ステップS102)。
このスルー画像を表示した状態で、CPU24はキー操作部27の一部を構成するシャッタレリーズキーが半押し操作されたか否かを判断する(ステップS103)。ここでシャッタレリーズキーが半押し操作されていないと判断した場合は、上記図2の処理に戻る。
「夜景と人物」モードが選択されている最中は、上記ステップS101〜S103の処理を繰返し実行し、スルー画像を表示部18で表示しながら、シャッタレリーズキーが半押し操作されるのを待機する。
スルー画像の表示状態からシャッタレリーズキーが半押し操作された場合、上記ステップS103でそれを判断するとCPU24は、その時点でのAE値及びAF位置をロックする(ステップS104)。
その上でCPU24は、CMOSイメージセンサ12から順次得られる画像信号に基づいて表示部18でスルー画像を表示させる(ステップS105)。
このスルー画像を表示した状態で、CPU24はキー操作部27の一部を構成するシャッタレリーズキーがさらに全押し操作されたか否かを判断する(ステップS106)。ここでシャッタレリーズキーが全押し操作されていないと判断した場合は、続けて同シャッタレリーズキーが依然として半押し操作されたままであるか否かを判断する(ステップS107)。
シャッタレリーズキーが半押し操作されたままであることを確認した場合、再び上記ステップS105に戻る。
こうしてステップS105〜S107の処理を繰返し実行することで、AE値及びAF位置をロックした状態から、スルー画像を表示しながら、シャッタキーの全押し操作の待機と半押し操作の確認とを続行する。
シャッタレリーズキーの半押し操作が解除された場合、CPU24は上記ステップS107でそれを判断し、それまでロックしていたAE値及びAF位置を解除した後(ステップS108)、上記図2の処理に戻る。
また、上記ステップS106でシャッタキーが全押し操作されたと判断した場合、CPU24はその時点でロックされているAE値に基づき、非フラッシュ撮影での適正露出から2段(2EV)高いシャッタ速度、例えば適正なシャッタ速度が「1/15[秒]」であれば「1/60[秒]」、を設定した上で複数枚、例えば6枚の静止画像を連続して撮影する(ステップS109)。
このときの撮影により得られる静止画像はいずれも当然ながら適正な露出値から「−2EV」の露出が不足した画像となるが、絞り値ではなくシャッタ速度をより高速化することで対応しているため、個々の静止画像については「手ブレ」「像ブレ」が発生しにくい撮影となる。
また、所謂「ローリングシャッタ」撮影と呼称される技術により、CMOSイメージセンサ12の垂直転送路の読出しタイミングを制御し、連続する画像の電荷読出しを複数位置で一部同時に行なうことにより、時間的に隣り合う連続した静止画像の電荷読出しのタイミングを一部重複させることで、複数画像の連写撮影をより短時間に完了する。
続いて最終的な合成・保存には使用しない、非フラッシュ撮影でのダミーの静止画像を1枚撮影する(ステップS110)。さらに続けて、近景に存在する筈の人物を撮影するべく、上記ダミー画像から連続してフラッシュ部33を発光させた上での静止画像を1枚撮影する(ステップS111)。
図5は、上記6枚の非フラッシュによる静止画像の撮影と、続くダミー用の非フラッシュによる静止画像の撮影、及びフラッシュを用いた静止画像の撮影の動作シーケンスを示す。同図で縦軸が撮像素子であるCMOSイメージセンサ12の垂直方向の撮影位置、横軸が時間となる。
図示する如く6枚の非フラッシュによる静止画像の撮影では、上述したように適正露出に対して「−2EV」の露出不足の状態としており、非フラッシュであるがためにどうしても低い(長い)シャッタ速度となる。
その後のダミーの非フラッシュによる撮影では、フラッシュ撮影と同一の充分速いシャッタ速度t1、例えば「1/125[秒]」とする。
さらに続くフラッシュ部33による発光を伴って充分速いシャッタ速度t1、例えば「1/125[秒]」で撮影を行なう。
以上合計、8枚の連続した静止画像のRAWデータをDRAM14に保持した状態で、全画像のホワイトバランス(WB)値を特徴量演算部15bにより計測する(ステップS112)。
次いで、DRAM14に保持する全8枚分の連続した静止画像のRAWデータをデモザイク部15aによりデモザイク処理して輝度色差系のYUVデータに変換する(ステップS113)。
次に、非フラッシュ撮影で得た6枚の静止画像間の位置合わせを行なうべく、ブロックマッチング部15cがSRAM16を用いて、例えばRANSAC(RANdom SAmple Consensus)による射影変換行列を併用した演算を実行する(ステップS114)。
この場合、連続して撮影した6枚の静止画像の中で時間的に中央に位置するもの、すなわち3枚目の静止画像と4枚目の静止画像を候補とし、且つ後にフラッシュ撮影を行なった静止画像と時間的により近いものとして4枚目の静止画像を選択する。そして、この4枚目の静止画像を基準として、1,2,3,5,6枚目の各静止画像と基準となる4枚目の静止画像との間で射影変換行列を演算する。
この射影変換行列の演算により、1,2,3,5,6枚目の各静止画像と、基準となる4枚目の静止画像との間のズレ量、すなわちズレの大きさと方向を示す行列を特徴量として算出する。
上記演算の結果により、1,2,3,5,6枚目の各静止画像と、基準となる4枚目の静止画像との間で、いずれも算出したズレ量の大きさが予め設定したしきい値以下であるか否かにより、非フラッシュ画像群の位置合わせが成功したか否かを判断する(ステップS115)。
ここで1,2,3,5,6枚目の各静止画像と、基準となる4枚目の静止画像との間で、いずれも算出したズレ量の大きさが予め設定したしきい値以下であり、非フラッシュ画像群の位置合わせが成功したと判断した場合には、上記6枚の非フラッシュ撮影中の基準となる4枚目の静止画像と1枚のフラッシュ撮影による画像との位置合わせを行なう(ステップS116)。
図4は、上記ステップS116の位置合わせ処理のより詳細な内容を示すサブルーチンである。そのはじめに、上記8枚目に撮影したフラッシュ部33を用いた静止画像と、7枚目に撮影した非フラッシュの静止画像とでブロックマッチング部15cによるブロックマッチング処理及びRANSACによる射影変換行列を併用した演算で位置合わせを行ない、両静止画像のズレ量を表す射影変換行列Aを求める(ステップS301)。
ここで上記8枚目に撮影したフラッシュ部33を用いた静止画像では、シャッタ速度が高く、且つフラッシュを用いているために近景に存在する被写体(人物)が明るく写っている筈であるため、画像中の一部被写体が明るく、且つ背景が非常に暗い画像となる。
一方の非フラッシュによるダミー画像は、シャッタ速度が高く、且つフラッシュを用いていないために近景及び背景が全面にわたって非常に暗い画像となる。
したがって、これら2つの静止画像では、シャッタ速度が同一であるからことも、背景の輝度などが略等しいために射影変換行列Aを比較的容易、且つ確実に算出できる。
次に、7枚目に撮影した非フラッシュの静止画像と、上記6枚連続で撮影した非フラッシュの静止画像中の、基準となる4枚目の静止画像とで、露出を合わせるためのゲイン補正する(ステップS302)。
ここで上記7枚目の非フラッシュによるダミー画像は、シャッタ速度が高く、且つフラッシュを用いていないために近景及び背景が全面にわたって非常に暗い画像となる。
一方で、上記4枚目に撮影した非フラッシュの静止画像は、シャッタ速度が低く、且つフラッシュを用いていないために近景及び背景が全体にやや暗い画像となる。
これら2つの静止画像では、共に非フラッシュの撮影であり、シャッタ速度の違いにより輝度値が異なるだけで輝度の変化パターンは同一であるため、一方を基準としてシャッタ速度の比に応じたゲインを算出し、算出したゲインを他方の輝度値に乗ずることで、原理的には同一の輝度の静止画像となる。
こうして一方をゲイン補正した、7枚目に撮影した非フラッシュの静止画像と、上記6枚連続で撮影した非フラッシュの静止画像中の、基準となる4枚目の静止画像とでブロックマッチング部15cによるブロックマッチング処理及びRANSACによる射影変換行列を併用した演算で位置合わせを行ない、両静止画像のズレ量を表す射影変換行列Bを求める(ステップS303)。
その後、上記ステップS301,S303で射影変換行列A,Bを共に求めることができたか否かを判断する(ステップS304)。
ここで2つの射影変換行列A,Bを共に求めることができたと判断した場合にのみ、上記8枚目に撮影したフラッシュ部33を用いた静止画像を、上記6枚連続で撮影した非フラッシュの静止画像中の、基準となる4枚目の静止画像に対して上記射影変換行列A,Bを用いて複数の特徴となるポイントを基準に位置合わせする(ステップS305)。なおここでは、フラッシュ撮影による画像を変形して位置合わせしたが、非フラッシュの4枚目の静止画像を変形して位置合わせするようにしても良い。ただしその場合には、上記ステップS114で求めた特徴量(ズレ量)を修正する必要がある。
その後、フラッシュ撮影による静止画像と非フラッシュ撮影による4枚目の静止画像とを合成し(ステップS306)、以上でこの図4のサブルーチンを終了して、上記図3の処理に戻る。
この場合、射影変換行列の積「A*B」に基づき、一方の静止画像の背景部分を画像変形合成加算部15dで座標変換した後に位置合わせを行なうことで、非フラッシュで撮影したダミーの静止画像を挟んだ前後の時間差によるズレ量を補正して、近景の人物と背景とを正しく合成できる。
また、上記ステップS304で2つの射影変換行列A,Bの少なくとも一方を求めることができなかったと判断した場合には、上記ステップS305の処理を行なわずに合成し、この図4のサブルーチンを終了して、上記図3の処理に戻る。
図3においては、上記ステップS116でのフラッシュ撮影による画像の位置合わせの処理後、その合成画像に対し、さらに上記6枚連続で撮影した非フラッシュの静止画像中、基準となる4枚目の静止画像を除いた残る1,2,3,5,6枚目の計5枚の静止画像についても上記ステップS114で算出した特徴量(ズレ量)に基づいて位置合わせを行ない、画像を合成する(ステップS117)。
この場合、特に非フラッシュの計5枚の静止画像による合成に関し、HDR(High Dynamic Range)合成技術を用いて、特に背景部分のダイナミックレンジを拡大して、特に「黒ツブレ」が生じている部分を減少させる。
その後、合成後の静止画像を最終画像とし、例えばJPEGフォーマットに従ったデータ圧縮を施してデータファイル化した後、得た画像データファイルを本デジタルカメラ10の記録媒体であるメモリカード34に保存し(ステップS118)、以上で一連の処理を終了して、上記図2の処理に戻る。
また、上記ステップS115で非フラッシュ撮影による1,2,3,5,6枚目の各静止画像と、基準となる4枚目の静止画像との間で、いずれも算出したズレ量の大きさが予め設定したしきい値より大きく、非フラッシュ画像群の位置合わせが失敗したと判断した場合には、画像の暗部が大きく、位置合わせが困難であった場合や、手ブレあるいは像ブレにより画像合成を行なうと観賞に耐えない画像となってしまう可能性が高い画像であるものとして、8枚目のフラッシュ部33を用いた静止画像の画像データのみを単体で最終画像として設定する(ステップS119)。
そして、上記ステップS118に進み、例えばJPEGフォーマットに従ったデータ圧縮を施してデータファイル化した後、得た画像データファイルを本デジタルカメラ10の記録媒体であるメモリカード34に保存し、以上で一連の処理を終了して、上記図2の処理に戻る。
以上詳記した如く本実施形態によれば、夜景と近景の人物とを撮影する際、フラッシュ部33を使用しない撮影と、フラッシュ部33を使用する撮影との間に、フラッシュを使用しないダミーの撮影を挟んで実行し、各画像と中間に位置する親和性の高いダミーの画像とのズレ量を射影変換行列で求めた後、求めた射影変換行列に基づいてフラッシュ部33を使用しない撮影で得た背景と、フラッシュ部33を使用する撮影で得た近景の人物の画像を合成するものとしたので、近景部分と背景部分それぞれの位置合わせを高い成功率で実現することが可能となる。
なお上記実施形態では、上記図5でも示したように非フラッシュ撮影による画像を連続して複数、例えば6枚分取得するものとして説明したが、本発明はこれに限らず、適正な露出、具体的には絞り値を開放としてできる限りシャッタ速度を高速化した設定で非フラッシュの撮影により1枚分の静止画像を取得し、その後にダミー用の非フラッシュ撮影に移行するものとしても良い。
この場合、一連の動作を最少3回の画像撮影で完了できるため、画像処理部15での演算量を減じて負担を軽減し、且つ時間を含めて動作をコンパクトにできる。
これとは逆に本実施形態で説明した如く、非フラッシュ撮影による画像を適正露出より高いシャッタ速度で連続して複数に分けて取得する場合には、非フラッシュ撮影時に手ブレ、像ブレが発生する可能性を低減し、画像合成の成功率を上げることができると共に、HDR合成技術を用いて背景部分の画像のダイナミックレンジを上げることができる。
また上記実施形態の如く、非フラッシュ撮影による画像を適正露出より高いシャッタ速度で連続して複数に分けて取得する場合に、そのうちの1つの画像を基準とし、同様の他の画像との位置合わせ、及びダミー用の非フラッシュ撮影の画像との位置合わせを行なうものとしたので、処理を簡略化して位置合わせの可否を容易に判断できる。
さらに上記実施形態では、非フラッシュ撮影による連続した複数画像の位置合わせを失敗したと判断した場合に、これら合成を失敗したと判断した一連の非フラッシュ画像を使用せず、フラッシュ部33を用いて撮影した画像のみを保存するものとしたため、画像の暗部が大きく、位置合わせが困難であった場合や、手ブレあるいは像ブレにより画像合成を行なうと観賞に耐えない画像となってしまう可能性が高い画像に対してはあえて画像合成を行なわず、フラッシュ部33を用いて近景に人物が写っていると思われる静止画像のみを確実に記録できる。
また上記実施形態では、非フラッシュ撮影による連続した複数画像の位置合わせを成功したと判断した場合に、例えばRANSACによる射影変換行列を用いた位置合わせで最終的な合成画像を得るものとしたので、安定した高い成功率での位置合わせが可能となる。
さらに上記実施形態では示さなかったが、合成を行なおうとする複数の画像間でのズレ量が無いか、あるいはあったとしても所定のしきい値より低い場合には、画像に対する変形を行なわないで合成するものとしても良く、画像処理部15での負担を軽減して処理を単純化できる。
また上記実施形態において、非フラッシュ撮影により得た画像と、ダミー用の非フラッシュ撮影による画像とで一方の画像にゲイン補正を施して輝度値レベルを揃えた上で他方の画像と位置合わせを行なうものとしたので、位置合わせ時の演算精度を上げてより精緻な位置合わせが実現できる。
さらに本実施形態では、非フラッシュ撮影により得た画像と、フラッシュ撮影により得た画像とで位置合わせを行なう際、複数の特徴点となるポイントに基づいて画像を変形した上で合成するものとした。これにより、異なるタイミングで取得した画像の合成に際し、位置の変化等を勘案してより正確で自然な画像を合成して取得することができる。
なお上記実施形態では、非フラッシュ撮影で6枚分の画像を取得した後にダミー用の非フラッシュ撮影で画像を取得し、その後にフラッシュ撮影で画像を取得する場合について説明したが、ダミー用の非フラッシュ撮影で画像を取得する場合を挟んで、前後の画像取得の順序を入れ換えるものとしても良い。
しかしながら、人物の撮影に際しては、フラッシュ撮影を終えた直後に被写体となった人物が動いてしまう事態が多いものと考えられるので、フラッシュ撮影前に位置合わせ用の非フラッシュ撮影の画像を取得してしまうような、本実施形態の順序の方が、位置合わせを成功する確率が高まるものと考えられる。この場合、まずダミー用の非フラッシュ撮影で画像を取得し、その後に非フラッシュ撮影で6枚分の画像を取得しても良い。
また本発明はデジタルカメラに適用した場合の実施形態について説明したものであるが、本発明はこれに限らず、フラッシュを伴う撮影が可能なカメラ機能を有する電子機器であれば、携帯電話端末やモバイルタイプのパーソナルコンピュータ、電子ブック端末やPDA(Personal Digital Assistants:個人向け情報携帯端末)等であっても同様に実施が可能となる。
その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組み合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件による適宜の組み合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。
10…デジタルカメラ、11…光学レンズユニット、12…CMOSイメージセンサ、13…AGC・A/D変換部、14…DRAM、15…画像処理部、16…SRAM、17…表示コントローラ、18…表示部、19…タッチパネル、20…タッチパネルコントローラ、21…マイクロホン、22…音声処理部、23…スピーカ、24…CPU、25…メインメモリ、26…プログラムメモリ、27…キー操作部、28…レンズ駆動部、29…フラッシュ駆動部、30…イメージセンサ(IS)駆動部、31…メモリカードコントローラ、32…レンズ用DCモータ(M)、33…フラッシュ部、34…メモリカード、35…カードコネクタ、SB…システムバス。

Claims (11)

  1. 被写体の画像を撮影して画像信号を出力する撮影手段と、
    上記撮影手段での撮影に同期して被写体方向に発光するフラッシュ発光手段と、
    上記撮影手段が出力する画像信号を保持する保持手段と、
    所定のシャッタ速度により上記フラッシュ発光手段での発光なしに上記撮影手段で撮影させる第1の撮影制御手段と、
    上記所定のシャッタ速度より高いシャッタ速度により上記フラッシュ発光手段での発光なしに上記撮影手段で撮影させる第2の撮影制御手段と、
    上記所定のシャッタ速度より高いシャッタ速度により上記フラッシュ発光手段での発光を伴って上記撮影手段で撮影させる第3の撮影制御手段と、
    上記第1の撮影制御手段による撮影で上記保持手段が保持する画像信号と、上記第2の撮影制御手段による撮影で上記保持手段が保持する画像信号とで位置合わせを行ない、第1のズレ量を算出する第1の位置合わせ手段と、
    上記第2の撮影制御手段による撮影で上記保持手段が保持する画像信号と、上記第3の撮影制御手段による撮影で上記保持手段が保持する画像信号とで位置合わせを行ない、第2のズレ量を算出する第2の位置合わせ手段と、
    上記算出した第1及び第2のズレ量を用い、上記第1の撮影制御手段による撮影で上記保持手段が保持する画像信号と、上記第3の撮影制御手段による撮影で上記保持手段が保持する画像信号とで位置合わせして合成画像の画像信号を取得する画像合成手段と、
    上記画像合成手段で得た画像信号を媒体に保存させる保存手段と
    を具備したことを特徴とする撮像装置。
  2. 適正な絞り値及びシャッタ速度を取得する自動露出手段をさらに具備し、
    上記第1の撮影制御手段は、上記フラッシュ発光手段での発光なしに上記自動露出手段で得たシャッタ速度により上記撮影手段で撮影させる
    ことを特徴とする請求項1記載の撮像装置。
  3. 適正な絞り値及びシャッタ速度を取得する自動露出手段をさらに具備し、
    上記第1の撮影制御手段は、上記フラッシュ発光手段での発光なしに上記自動露出手段で得たシャッタ速度により高いシャッタ速度により上記撮影手段で複数回撮影させる
    ことを特徴とする請求項1記載の撮像装置。
  4. 上記第1の撮影制御手段による撮影で上記保持手段が保持する複数の画像信号中、1つを基準として、残る他の位置合わせを行なう第3の位置合わせ手段をさらに具備し、
    上記第1の位置合わせ手段は、上記第3の位置合わせ手段で基準とした画像信号と、上記第2の撮影制御手段による撮影で上記保持手段が保持する画像信号とで位置合わせを行なう
    ことを特徴とする請求項3記載の撮像装置。
  5. 上記第3の位置合わせ手段は、位置合わせ時に第3のズレ量を算出し、
    上記第3の位置合わせ手段が算出した第3のズレ量に基づいて上記第1の撮影制御手段による撮影の合否を判定する判定手段をさらに具備し、
    上記画像合成手段は、上記判定手段での判定結果、上記第1の撮影制御手段による撮影が不合格であると判定した場合に、位置合わせによる合成画像の画像信号の取得を停止し、
    上記保存手段は、上記第3の撮影制御手段による撮影で上記保持手段が保持する画像信号のみを媒体に保存する
    ことを特徴とする請求項4記載の撮像装置。
  6. 上記第3の位置合わせ手段は、位置合わせ時に第3のズレ量を算出し、
    上記第3の位置合わせ手段が算出した第3のズレ量に基づいて上記第1の撮影制御手段による撮影の合否を判定する判定手段をさらに具備し、
    上記画像合成手段は、上記判定手段での判定結果、上記第1の撮影制御手段による撮影が合格であると判定した場合に、上記算出した第1及び第2のズレ量を用い、上記第1の撮影制御手段による撮影で上記保持手段が保持する画像信号と、上記第3の撮影制御手段による撮影で上記保持手段が保持する画像信号とで、射影変換行列を用いて位置合わせして合成画像の画像信号を取得する
    ことを特徴とする請求項4記載の撮像装置。
  7. 上記画像合成手段は、上記算出した第1及び第2のズレ量の少なくとも一方が所定のしきい値以下である場合に、上記第1の撮影制御手段による撮影で上記保持手段が保持する画像信号と、上記第3の撮影制御手段による撮影で上記保持手段が保持する画像信号とを位置合わせをせずに合成して画像信号を取得する
    ことを特徴とする請求項1記載の撮像装置。
  8. 上記第1の撮影制御手段による撮影で上記保持手段が保持する画像信号に基づき、上記第2の撮影制御手段による撮影で上記保持手段が保持する画像信号に対するゲイン補正を行なうゲイン補正手段をさらに具備し、
    上記第1の位置合わせ手段は、上記ゲイン補正後の画像信号と上記第1の撮影制御手段による撮影で上記保持手段が保持する画像信号とで位置合わせを行ない、第1のズレ量を算出する
    ことを特徴とする請求項1記載の撮像装置。
  9. 上記第1及び第2の位置合わせ手段の少なくとも一方は、画像中の互いに離間した複数ポイントそれぞれでズレ量を算出し、
    上記画像合成手段は、上記複数のポイントそれぞれでズレ量がゼロとなるよう少なくとも一方の画像を変形して合成画像の画像信号を取得する
    ことを特徴とする請求項1記載の撮像装置。
  10. 被写体の画像を撮影して画像信号を出力する撮影部、上記撮影部での撮影に同期して被写体方向に発光するフラッシュ発光部、及び上記撮影部が出力する画像信号を保持する保持部を備えた装置での撮像方法であって、
    所定のシャッタ速度により上記フラッシュ発光部での発光なしに上記撮影部で撮影させる第1の撮影制御工程と、
    上記所定のシャッタ速度より高いシャッタ速度により上記フラッシュ発光部での発光なしに上記撮影部で撮影させる第2の撮影制御工程と、
    上記所定のシャッタ速度より高いシャッタ速度により上記フラッシュ発光部での発光を伴って上記撮影部で撮影させる第3の撮影制御工程と、
    上記第1の撮影制御工程での撮影で上記保持部が保持する画像信号と、上記第2の撮影制御工程での撮影で上記保持部が保持する画像信号とで位置合わせを行ない、第1のズレ量を算出する第1の位置合わせ工程と、
    上記第2の撮影制御工程での撮影で上記保持部が保持する画像信号と、上記第3の撮影制御工程での撮影で上記保持部が保持する画像信号とで位置合わせを行ない、第2のズレ量を算出する第2の位置合わせ工程と、
    上記算出した第1及び第2のズレ量を用い、上記第1の撮影制御工程での撮影で上記保持部が保持する画像信号と、上記第3の撮影制御工程での撮影で上記保持部が保持する画像信号とで位置合わせして合成画像の画像信号を取得する画像合成工程と
    を有したことを特徴とする撮像方法。
  11. 被写体の画像を撮影して画像信号を出力する撮影部、上記撮影部での撮影に同期して被写体方向に発光するフラッシュ発光部、及び上記撮影部が出力する画像信号を保持する保持部を備えた装置が内蔵したコンピュータが実行するプログラムであって、
    上記コンピュータを、
    所定のシャッタ速度により上記フラッシュ発光部での発光なしに上記撮影部で撮影させる第1の撮影制御手段、
    上記所定のシャッタ速度より高いシャッタ速度により上記フラッシュ発光部での発光なしに上記撮影部で撮影させる第2の撮影制御手段、
    上記所定のシャッタ速度より高いシャッタ速度により上記フラッシュ発光部での発光を伴って上記撮影部で撮影させる第3の撮影制御手段、
    上記第1の撮影制御手段での撮影で上記保持部が保持する画像信号と、上記第2の撮影制御手段での撮影で上記保持部が保持する画像信号とで位置合わせを行ない、第1のズレ量を算出する第1の位置合わせ手段、
    上記第2の撮影制御手段での撮影で上記保持部が保持する画像信号と、上記第3の撮影制御手段での撮影で上記保持部が保持する画像信号とで位置合わせを行ない、第2のズレ量を算出する第2の位置合わせ手段、及び
    上記算出した第1及び第2のズレ量を用い、上記第1の撮影制御手段での撮影で上記保持部が保持する画像信号と、上記第3の撮影制御手段での撮影で上記保持部が保持する画像信号とで位置合わせして合成画像の画像信号を取得する画像合成手段
    として機能させることを特徴とするプログラム。
JP2010257662A 2010-11-18 2010-11-18 撮像装置、撮像方法及びプログラム Expired - Fee Related JP5126344B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2010257662A JP5126344B2 (ja) 2010-11-18 2010-11-18 撮像装置、撮像方法及びプログラム
US13/295,296 US8531554B2 (en) 2010-11-18 2011-11-14 Image capturing apparatus, image capturing method, and storage medium storing program for image capturing
CN201110362097.7A CN102469265B (zh) 2010-11-18 2011-11-15 摄像装置及摄像方法
KR1020110120491A KR101256326B1 (ko) 2010-11-18 2011-11-17 촬상 장치, 촬상 방법 및 촬상 프로그램을 기록한 기록 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010257662A JP5126344B2 (ja) 2010-11-18 2010-11-18 撮像装置、撮像方法及びプログラム

Publications (3)

Publication Number Publication Date
JP2012109835A JP2012109835A (ja) 2012-06-07
JP2012109835A5 JP2012109835A5 (ja) 2012-10-11
JP5126344B2 true JP5126344B2 (ja) 2013-01-23

Family

ID=46064046

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010257662A Expired - Fee Related JP5126344B2 (ja) 2010-11-18 2010-11-18 撮像装置、撮像方法及びプログラム

Country Status (4)

Country Link
US (1) US8531554B2 (ja)
JP (1) JP5126344B2 (ja)
KR (1) KR101256326B1 (ja)
CN (1) CN102469265B (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6025470B2 (ja) * 2012-09-13 2016-11-16 キヤノン株式会社 撮像装置、制御方法、プログラム及び記憶媒体
JP6080503B2 (ja) * 2012-11-06 2017-02-15 キヤノン株式会社 画像処理装置
KR101716928B1 (ko) * 2013-08-22 2017-03-15 주식회사 만도 차량 카메라의 영상 처리 방법 및 이를 이용하는 영상 처리 장치
US11062293B2 (en) 2013-12-10 2021-07-13 De Lage Landen Financial Services Method and system for negotiating, generating, documenting, and fulfilling vendor financing opportunities
CN105704404B (zh) * 2014-11-27 2020-07-28 广东中星微电子有限公司 应用于双通道图像传感器的图像处理方法及装置
CN105049704A (zh) * 2015-06-17 2015-11-11 青岛海信移动通信技术股份有限公司 一种拍照的方法和设备
GB201522455D0 (en) * 2015-12-18 2016-02-03 Schofield Murray Flashgun for use with mobile devices
JP6752679B2 (ja) * 2016-10-15 2020-09-09 キヤノン株式会社 撮像システム
US10345681B2 (en) * 2016-10-17 2019-07-09 Nokia Of America Corporation Compressive imaging using structured illumination
CN107274371A (zh) * 2017-06-19 2017-10-20 信利光电股份有限公司 一种显示屏及终端设备
US11503216B2 (en) 2019-04-22 2022-11-15 Canon Kabushiki Kaisha Image capturing apparatus, method of controlling the same, and storage medium for controlling exposure
CN116668836B (zh) * 2022-11-22 2024-04-19 荣耀终端有限公司 拍照处理方法和电子设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001183575A (ja) * 1999-12-22 2001-07-06 Olympus Optical Co Ltd 電子カメラ
JP2004214836A (ja) 2002-12-27 2004-07-29 Minolta Co Ltd 撮像装置
JP4323969B2 (ja) * 2004-01-16 2009-09-02 キヤノン株式会社 撮影装置
JP2007288235A (ja) * 2006-04-12 2007-11-01 Sony Corp 撮像装置および撮像方法
JP2008199518A (ja) 2007-02-15 2008-08-28 Olympus Corp カメラ
JP4865648B2 (ja) 2007-07-02 2012-02-01 富士フイルム株式会社 撮影装置
JP5181603B2 (ja) 2007-09-28 2013-04-10 カシオ計算機株式会社 撮像装置及びプログラム
US8525888B2 (en) * 2008-01-17 2013-09-03 Nikon Corporation Electronic camera with image sensor and rangefinding unit
JP5246590B2 (ja) 2008-11-05 2013-07-24 カシオ計算機株式会社 撮像装置、画像生成方法及びプログラム
JP5412953B2 (ja) * 2009-05-20 2014-02-12 リコーイメージング株式会社 撮像装置
KR101229600B1 (ko) * 2010-05-14 2013-02-04 가시오게산키 가부시키가이샤 촬상 장치, 손떨림 보정 방법 및 기록 매체
US8224176B1 (en) * 2011-01-10 2012-07-17 Eastman Kodak Company Combined ambient and flash exposure for improved image quality

Also Published As

Publication number Publication date
US20120127345A1 (en) 2012-05-24
KR20120053976A (ko) 2012-05-29
CN102469265A (zh) 2012-05-23
JP2012109835A (ja) 2012-06-07
CN102469265B (zh) 2014-12-10
KR101256326B1 (ko) 2013-04-18
US8531554B2 (en) 2013-09-10

Similar Documents

Publication Publication Date Title
JP5126344B2 (ja) 撮像装置、撮像方法及びプログラム
TWI420902B (zh) 相機、相機之控制程式及相機之控制方法
JP4900401B2 (ja) 撮影装置およびプログラム
TWI293846B (en) Image pickup device with brightness correcting function and method of correcting brightness of image
JP5214476B2 (ja) 撮像装置及び画像処理方法並びにプログラム
JP2009053748A (ja) 画像処理装置、画像処理プログラムおよびカメラ
JP2009212899A (ja) 撮像装置
JP5642344B2 (ja) 画像処理装置、画像処理方法、および、画像処理プログラム
JP2007300581A (ja) 動画撮影装置および動画撮影プログラム
JP2017168982A (ja) 撮像装置、撮像装置の制御方法及びプログラム
CN105072315A (zh) 电子摄像机以及摄像控制方法
JP5156991B2 (ja) 撮像装置、撮像方法および撮像プログラム
JP2007142851A (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP5185085B2 (ja) 画像処理装置、画像処理方法、および、画像処理プログラム
JP2012257112A (ja) 撮像装置およびプログラム
JP2010141609A (ja) 撮像装置
JP5482427B2 (ja) 撮像装置、手ブレ補正方法、プログラム
JP2005277618A (ja) 撮像装置、シェーディング補正装置、及びシェーディング補正方法
JP2010119051A (ja) 撮像装置及び撮像方法
JP2008124793A (ja) 撮像装置、撮像方法
JP5191941B2 (ja) 撮像装置、画像処理装置、画像処理方法、および、画像処理プログラム
JP2006191305A (ja) カメラ付き携帯端末装置
JP5613145B2 (ja) 撮影装置およびプログラム
JP5696525B2 (ja) 撮像装置、撮像方法及びプログラム
JP2010245686A (ja) 撮像装置、画像処理方法、および、画像処理プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120827

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120827

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20120831

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20120924

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121002

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121015

R150 Certificate of patent or registration of utility model

Ref document number: 5126344

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151109

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees