JP4622809B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP4622809B2 JP4622809B2 JP2005315392A JP2005315392A JP4622809B2 JP 4622809 B2 JP4622809 B2 JP 4622809B2 JP 2005315392 A JP2005315392 A JP 2005315392A JP 2005315392 A JP2005315392 A JP 2005315392A JP 4622809 B2 JP4622809 B2 JP 4622809B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- frames
- unit
- subject
- moving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
Description
本発明の撮像装置は、被写体の位置の時間的変化に応じたボケ効果を付加した動画像を迅速、容易に生成可能とすることを目的とする。
また、好ましくは、前記動画像の生成に並行して、前記撮像装置から前記被写体までの距離に関する情報を随時取得する取得部をさらに備え、前記決定部は、前記距離に関する情報に基づいて、前記混合比を決定しても良い。
り構成される動画像の表示を行っても良い。
本発明の別の撮像装置は、移動する被写体像を連続的に撮像して、複数フレームの第1画像により構成される動画像を生成する第1撮像部と、前記第1撮像部と同期して前記移動する被写体像を連続的に撮像して、前記第1画像よりも画素数が少なく、かつ、焦点調節または露光量決定用の複数フレームの第2画像を生成する第2撮像部と、前記複数フレームの第1画像のそれぞれを、その画像に含まれる前記移動する被写体像の画面内位置に応じて、複数の領域に分割する分割部と、前記複数フレームの第1画像とその画像に対応する前記第2画像とを合成する際の混合比を、前記複数の領域ごとに決定する決定部と、前記複数フレームの第1画像とその画像に対応する前記第2画像とを、前記混合比に基づいて、前記複数の領域ごとに合成して前記複数フレームの第3画像を生成する合成部とを備える。
≪第1実施形態≫
図1は、第1実施形態の電子カメラの構成を示すブロック図である。
電子カメラ1は、撮影レンズ11と、レンズ駆動部(回路)12と、撮像素子13と、信号処理部(回路)14と、画像処理部(回路)15と、圧縮伸長処理部(回路)16と、カードI/F17と、操作部材18と、表示制御部(回路)19と、モニタ20と、測光部(回路)21と、CPU22と、データバス23とを有する。なお、信号処理部14、画像処理部15、圧縮伸長処理部16、カードI/F17、表示制御部19およびCPU22は、データバス23を介して接続される。
撮像素子13は、撮影レンズ11を通過した光速を光電変換して被写体像のアナログ画像信号を生成する。撮像素子13は、静止画像の撮像、静止画像の連続撮像、および動画像の撮像が可能な撮像素子であり、例えば、CCD撮像素子、CMOS型撮像素子などで構成される。なお、撮像素子13は、非レリーズ時にも所定間隔ごとに被写体を露光してアナログ画像信号(スルー画像信号)を出力することができる。このスルー画像信号は、それぞれ後述のAF演算およびAE演算やファインダ用画像の生成などに使用される。
画像処理部15は、デジタルデータに画像処理を施して撮影画像データを生成する。また、画像処理部15は、スルー画像信号に基づいてファインダ用画像データを順次生成する。また、後述する「ボケ強調モード」では、画像処理部15は、ボケ効果を付加するための画像処理を行う。
カードI/F17には、記録媒体24を接続するためのコネクタが形成されている。記録媒体24は、公知の半導体メモリや小型ハードディスク、DVDなどの光ディスクなどで構成される。そして、カードI/F17は、記録媒体24に対する撮影画像データの書
き込みおよび読み込みを制御する。
表示制御部19は、モニタ20に画像を表示するための各種制御を行う。モニタ20は、例えば、液晶表示素子により構成され、主として電子カメラ1の背面部分に配置される。モニタ20には、撮影画像データの再生画面や電子カメラ1の各種設定を変更するための設定画面などを表示できる。
CPU22は、不図示のROMに格納されたシーケンスプログラムにしたがって、電子カメラ1の各部の動作を制御する。また、CPU22は、スルー画像信号に基づいて公知のコントラスト方式のAF演算や公知のAE演算などを実行する。なお、AF演算の方法はコントラスト方式に限定されず、例えば、公知の位相差方式などであっても良い。
「ボケ強調モード」は、画像処理によって前景または背景をぼかして、主要被写体を浮かび上がらせたポートレート撮影調の動画像を生成するモードである。
はじめに、画像処理部15の詳細な構成について、図2を用いて説明する。
スイッチ31は、2つの入力端子AおよびBと、出力端子Cとを備える。入力端子Aには、信号処理部14からの出力がデータバス23を介して接続される。また、入力端子Bには、圧縮伸長処理部16からの出力がデータバス23を介して接続される。スイッチ31は、撮影モードが設定されているときには入力端子Aと出力端子Cとを接続し、再生モードが設定されているときには入力端子Bと出力端子Cとを接続する。
スイッチ31により接続された入力端子からの出力は、出力端子Cから、LPF32、DLY回路33、動き検出回路34にそれぞれ接続される。
DLY回路33は、LPF32におけるデータ処理時間に相当する時間だけ、出力端子Cから入力されたデジタルデータ(画像データ)を遅延させて、遅延画像データを、LPF32からの出力画像データと同じタイミングで、混合回路35に出力する。
子Cから入力されたデジタルデータ(画像データ)をもとに、前フレーム画像中の移動する主要被写体領域の分割された各ブロックの、両フレーム間の動きベクトルを算出し、前フレーム画像中の当該被写体領域を、算出された動きベクトル分だけシフトさせて、入力された現フレーム画像における主要被写体領域の位置を算出する。この位置情報は、混合回路35に出力される。
なお、混合回路35は、動き検出回路34で抽出した主要被写体領域については、LPF32およびDLY回路33から出力される画像データの混合比を、例えば0(LPF32):1(DLY回路33)とし、その他の領域については、例えば0.75(LPF32):0.25(DLY回路33)とする。すなわち、LPF32から出力される画像データをX、DLY回路33から出力される画像データをY、LPF32から出力される画像データの混合比をKとすると、混合回路35は、以下の式にしたがって、画像データの混合を行う。
ただし、式1において、Kは、0≦K≦1である。
ここで、動き検出回路34において、さらに、移動する主要被写体の動き量を算出し、この動き量が大きいほど上述のその他の領域における混合比Kの値を大きくするように制御すると、動きの大きさによって付加されるボケ効果の大きさが変化する動画像を生成することができる。
なお、上記の方法に代えて、面積変調(dither)による混合を行う構成としても良い。面積変調とは、一般的なインクジェットプリンタの階調表現に利用される方法であり、1つの画素を、それより小さいドットの集合体として表現する際に、異なる色のインクドットの面積比で混合比を表現するものである。マクロ的にこの画素を見ると、あたかもその混合比でインクが混合されたように見える。例えば、C、M、Yの3色素でフルカラーを表現する場合、1画素をNドット、そのうちのC、M、Yのドット数をそれぞれNC、NM、NYとすると、NC=0.5N、NM=0.5N、NY=0では、この画素は、マクロ的には青色に見える。また、NC=0.5N、NM=0、NY=0.5Nでは、この画素は、マクロ的には緑色に見える。何れの場合も、実際には色素の加算が行われているわけではない。これと同様に、1画素のドット数がN、ボケ効果の大きい画像のドット数をNOF、ボケ効果の小さい画像のドット数をNIFとして混合を行うことにより、実際の加算を行わなくても、混合比をコントロールできる。
ステップS1において、CPU22は、操作部材18を介したユーザ操作により、撮像開始が指示されたか否かを判定する。CPU22は、撮像開始が指示されるまで待機し、撮像開始が指示されると、ステップS2に進む。
、スイッチ31の入力端子Aと出力端子Cとが接続されるように、スイッチ31に対して制御信号を出力する。
ステップS4において、CPU22は、画像処理部15の動き検出回路34を介して、出力端子Cから入力されたデジタルデータ(画像データ)をもとに、主要被写体抽出を行う。なお、1フレーム目の画像データに関しては、焦点検出領域に基づいて主要被写体抽出を行うようにしても良い。また、モニタ20上にカーソル等を表示して、操作部材18を介したユーザ操作により指定させるようにしても良い。さらに、撮像画像の輪郭画像と予め登録されている輪郭パターンとのマッチングなどの手法を用いるようにしても良い。
ステップS8において、CPU22は、画像処理部15の動き検出回路34を介して、前フレームのデジタルデータ(画像データ)、および出力端子Cから入力されたデジタルデータ(画像データ)をもとに、前フレームの主要被写体領域を分割した各ブロックについて、現フレームとの間の動きベクトルを算出し、前フレームの主要被写体領域を、算出された動きベクトルの分だけ移動させて、現フレームにおける主要被写体領域の位置情報を得て、主要被写体領域を特定する。
ステップS9において、CPU22は、ステップS8の主要被写体抽出および動き検出の結果に基づいて、画像処理部15の混合回路15を介して、混合比を決定する。移動する主要被写体領域に適用される前述の混合比を、前フレームと現フレームとで変化させないものとすれば、同じ混合比が適用される領域(主要被写体領域)が動きベクトルの分だけ移動したことになる。
9を介して、モニタ20に順次出力し、電気的なボケ効果の付加された画像を表示する。
ステップS12において、CPU22は、信号処理部14内の不図示のバッファメモリに一時保存した全てのデジタルデータ(画像データ)の処理が終了したか否かを判定する。CPU22は、全てのデジタルデータ(画像データ)の処理が終了すると、信号処理部14内の不図示のバッファメモリに一時保存した全ての画像データ(混合後の画像データ)を、カードI/F17を介して記録媒体24に記録して、一連の処理を終了する。一方、全ての画像データの処理が終了していない場合、ステップS7に戻り、ステップS7以降の処理を繰り返す。
回路33、動き検出回路34、合成回路36を1つの処理ブロックとして、この処理ブロックを複数備える。そして、各々の処理ブロックの合成回路36の出力を、図2と同様の構成の混合回路35に入力する。
なお、第1実施形態では、LPF32において、デジタルフィルタ処理によって、画面全領域に画面内低域通過フィルタ処理を施す例を示したが、点拡がり関数による畳み込み演算処理など他の方法を用いて高域空間周波成分を抑制する構成としても良い。
図5は、第2実施形態の電子カメラの構成を示すブロック図である。
電子カメラ51は、第1実施形態の電子カメラ1の測光部21に代えて、撮像素子52および光路分岐部材53を備える。その他の構成については、第1実施形態の電子カメラ1と同様の符号を用いて説明する。撮像素子52は、撮像素子13よりも画素数が少なく、焦点調節または露光量決定用の情報を取得する際に用いられる撮像素子である。したがって、撮像素子52は、第1実施形態の電子カメラ1の測光部21と同様の機能を有するように構成することができる。
撮像素子52は、撮像素子13と同期して(同じフレーム周波数で)駆動され、同時に映像信号が出力される。撮像素子52の画素数は、撮像素子13の画素数より少ないため、撮像素子52により生成される画像データは、撮像素子13により生成される画像データよりも解像度が低く、高域空間周波数成分が抑制されている。
以上説明したように、第2実施形態によれば、移動する被写体像を連続的に撮像して、複数フレームの第1画像により構成される動画像を生成する第1撮像部と、第1撮像部と
同期して移動する被写体像を連続的に撮像して、第1画像よりも画素数が少なく、かつ、焦点調節または露光量決定用の複数フレームの第2画像を生成する第2撮像部とを備える。そして、複数フレームの第1画像のそれぞれを、その画像に含まれる移動する被写体像の画面内位置に応じて、複数の領域に分割する。さらに、複数フレームの第1画像とその画像に対応する第2画像とを合成する際の混合比を、複数の領域ごとに決定し、複数フレームの第1画像とその画像に対応する第2画像とを、決定した混合比に基づいて、複数の領域ごとに合成して複数フレームの第3画像を生成する。したがって、第1実施形態と同様に、被写体の位置の時間的変化に応じたボケ効果を付加した動画像を迅速、容易に生成することができる。
また、第1実施形態および第2実施形態において、混合比を時間経過とともに徐々に変化させるようにしても良い。例えば、被写体領域と背景領域とにおける混合比を連動して変化させれば、画像全体のボケ効果を徐々に変化させることができる。また、被写体領域と背景領域との一方の混合比を固定し、他方の混合比を変化させれば、画像における被写体領域また背景領域のボケ効果のみを徐々に変化させることができる。また、被写体領域と背景領域とのうち、一方のボケ効果を大きくし他方のボケ効果を小さくするように混合比を変化させれば、例えば、被写体領域にピントが合っていて、かつ、背景領域がボケている画像から、被写体領域がボケていて、かつ、背景領域にピントが合った画像へと徐々に変化する動画像を生成することができる。このように、混合比を時間経過とともに徐々に変化させることにより、動画像において様々な表現を実現することができる。
Claims (6)
- 移動する被写体像を連続的に撮像して、複数フレームの第1画像により構成される動画像を生成する撮像部と、
前記動画像の生成に並行して、前記複数フレームの第1画像それぞれの画面内全領域について、高域空間周波数成分を抑制して、前記第1画像の各フレームに対応づけられた前記複数フレームの第2画像を生成する画像生成部と、
前記複数フレームの第1画像のそれぞれを、その画像に含まれる前記移動する被写体像の画面内位置に応じて、複数の領域に分割する分割部と、
前記複数フレームの第1画像とその画像に対応する前記第2画像とを合成する際の混合比を、前記複数の領域ごとに決定する決定部と、
前記複数フレームの第1画像とその画像に対応する前記第2画像とを、前記混合比に基づいて、前記複数の領域ごとに合成して前記複数フレームの第3画像を生成する合成部と
を備えたことを特徴とする撮像装置。 - 請求項1に記載の撮像装置において、
前記決定部は、前記複数の領域のうち前記被写体像を含む領域については、前記第1画像と前記第2画像との何れか一方の画像の混合比を他方の画像の混合比よりも大きく決定し、前記複数の領域のうち前記被写体像を含む領域を除く領域については、前記第1画像と前記第2画像とのうち前記他方の画像の混合比を前記一方の画像の混合比よりも大きく決定する
ことを特徴とする撮像装置。 - 請求項1に記載の撮像装置において、
前記移動する被写体像の動き量を算出する動き検出部をさらに備え、
前記決定部は、前記被写体像の動き量に応じて、前記被写体像を含む領域、または前記被写体像を含む領域を除く領域における前記混合比を決定する
ことを特徴とする撮像装置。 - 請求項1に記載の撮像装置において、
前記動画像の生成に並行して、前記撮像装置から前記被写体までの距離に関する情報を随時取得する取得部をさらに備え、
前記決定部は、前記距離に関する情報に基づいて、前記混合比を決定する
ことを特徴とする撮像装置。 - 請求項1に記載の撮像装置において、
前記動画像を表示する表示部をさらに備え、
前記撮像部は、予備的な撮像により構図確認用の動画像であるスルー画像を生成し、
前記表示部は、前記スルー画像の生成動作と並行して、前記合成部により生成した前記複数フレームの第3画像により構成される動画像の表示を行う
ことを特徴とする撮像装置。 - 移動する被写体像を連続的に撮像して、複数フレームの第1画像により構成される動画像を生成する第1撮像部と、
前記第1撮像部と同期して前記移動する被写体像を連続的に撮像して、前記第1画像よりも画素数が少なく、かつ、焦点調節または露光量決定用の複数フレームの第2画像を生成する第2撮像部と、
前記複数フレームの第1画像のそれぞれを、その画像に含まれる前記移動する被写体像の画面内位置に応じて、複数の領域に分割する分割部と、
前記複数フレームの第1画像とその画像に対応する前記第2画像とを合成する際の混合
比を、前記複数の領域ごとに決定する決定部と、
前記複数フレームの第1画像とその画像に対応する前記第2画像とを、前記混合比に基づいて、前記複数の領域ごとに合成して前記複数フレームの第3画像を生成する合成部と
を備えたことを特徴とする撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005315392A JP4622809B2 (ja) | 2005-10-28 | 2005-10-28 | 撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005315392A JP4622809B2 (ja) | 2005-10-28 | 2005-10-28 | 撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007124396A JP2007124396A (ja) | 2007-05-17 |
JP4622809B2 true JP4622809B2 (ja) | 2011-02-02 |
Family
ID=38147730
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005315392A Expired - Fee Related JP4622809B2 (ja) | 2005-10-28 | 2005-10-28 | 撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4622809B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6465703B2 (ja) * | 2015-03-10 | 2019-02-06 | キヤノン株式会社 | 画像信号処理装置、画像信号処理方法、及びプログラム |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS58116876A (ja) * | 1981-12-29 | 1983-07-12 | Canon Inc | 映像信号処理装置 |
JPS63113378U (ja) * | 1987-01-17 | 1988-07-21 | ||
JPH0334784A (ja) * | 1989-06-30 | 1991-02-14 | Casio Comput Co Ltd | 画像処理装置 |
JPH06121326A (ja) * | 1992-10-02 | 1994-04-28 | Sony Corp | 2板式ccdカメラ |
JP2002290831A (ja) * | 2001-03-26 | 2002-10-04 | Minolta Co Ltd | 画像処理装置、表示装置、プログラムおよび記憶媒体 |
JP2003198922A (ja) * | 2001-12-28 | 2003-07-11 | Mitsubishi Electric Corp | ソフトフォーカス処理装置、撮像装置及び携帯端末 |
JP2004207985A (ja) * | 2002-12-25 | 2004-07-22 | Fuji Photo Film Co Ltd | デジタルカメラ |
-
2005
- 2005-10-28 JP JP2005315392A patent/JP4622809B2/ja not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS58116876A (ja) * | 1981-12-29 | 1983-07-12 | Canon Inc | 映像信号処理装置 |
JPS63113378U (ja) * | 1987-01-17 | 1988-07-21 | ||
JPH0334784A (ja) * | 1989-06-30 | 1991-02-14 | Casio Comput Co Ltd | 画像処理装置 |
JPH06121326A (ja) * | 1992-10-02 | 1994-04-28 | Sony Corp | 2板式ccdカメラ |
JP2002290831A (ja) * | 2001-03-26 | 2002-10-04 | Minolta Co Ltd | 画像処理装置、表示装置、プログラムおよび記憶媒体 |
JP2003198922A (ja) * | 2001-12-28 | 2003-07-11 | Mitsubishi Electric Corp | ソフトフォーカス処理装置、撮像装置及び携帯端末 |
JP2004207985A (ja) * | 2002-12-25 | 2004-07-22 | Fuji Photo Film Co Ltd | デジタルカメラ |
Also Published As
Publication number | Publication date |
---|---|
JP2007124396A (ja) | 2007-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100886298B1 (ko) | 영상 프로세서 및 영상 처리 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체 | |
JP4720859B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2006293009A (ja) | 自動焦点調節装置及び焦点調節方法 | |
JP5326758B2 (ja) | カメラ、画像処理装置、および画像処理プログラム | |
JP5212046B2 (ja) | デジタルカメラおよび画像処理装置並びに画像処理プログラム | |
JP4586707B2 (ja) | 画像処理装置、電子カメラおよび画像処理プログラム | |
JP4742813B2 (ja) | 画像処理装置および画像処理方法 | |
JP3444281B2 (ja) | 画像処理システム、撮像装置、画像処理方法及びその方法の処理プログラムが記録された記録媒体 | |
JP2008109482A (ja) | 撮像装置、画像記録処理方法及び画像記録処理プログラム | |
JP5950755B2 (ja) | 画像処理装置、制御方法、プログラム及び記憶媒体 | |
JP4622809B2 (ja) | 撮像装置 | |
JP2005117399A (ja) | 画像処理装置 | |
JP4710351B2 (ja) | デジタルカメラ及びプログラム | |
US20110228132A1 (en) | Camera and image composition program | |
JP2010171769A (ja) | 電子カメラ | |
JP7183015B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP6226536B2 (ja) | 撮像装置及びその制御方法 | |
JP5417920B2 (ja) | 画像処理装置、画像処理方法、電子カメラおよび画像処理プログラム | |
JP2010050599A (ja) | 電子カメラ | |
JP5510318B2 (ja) | 電子カメラ | |
JP2016208118A (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN111698389A (zh) | 图像处理设备、摄像设备、图像处理方法以及存储介质 | |
JP2005051393A (ja) | 撮像装置 | |
CN112640430A (zh) | 成像元件、摄像装置、图像数据处理方法及程序 | |
JP7478006B2 (ja) | 撮像装置及びその制御方法、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080905 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101001 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101005 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101018 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4622809 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131112 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131112 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |