JP2012044380A

JP2012044380A - 撮像装置

Info

Publication number: JP2012044380A
Application number: JP2010182736A
Authority: JP
Inventors: Koichi Washisu; 晃一鷲巣
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2010-08-18
Filing date: 2010-08-18
Publication date: 2012-03-01
Anticipated expiration: 2030-08-18
Also published as: JP5725758B2

Abstract

【課題】動画撮影においても信頼性の低下や画像負荷の増大を招くことなく背景のぼかし効果を得る。
【解決手段】被写体像を撮影する撮影手段１０１と、撮影手段により撮影された画像内の主被写体領域と背景領域とを判別する判別手段１０３と、判別手段で判別された背景領域に対してぼかし処理を行う背景画像処理手段１０４と、撮影手段の撮影状態に合わせて判別手段の動作を制御する判別制御手段１０２と、背景画像処理手段でぼかし処理をした複数の画像より動画像を作成する動画像作成手段１０５とを有する。
【選択図】図１

Description

本発明は、ビデオカメラやデジタルカメラなどの動画撮影を行う撮像装置に関するものである。

近年の撮影装置（カメラ）においては静止画時の画像の背景部分をぼかす事で主被写体を強調する研究が進められている。例えば特許文献１においては撮影絞りを変更した２枚の画像を比較する事で背景領域を抽出し、その領域に対して画像処理でぼかし効果を得ている。

特開２００１−１５７１０７

上述の特許文献１に開示された技術は静止画撮影の様に１枚しか画像を必要としない条件に適用されている。しかしながら、動画像においては頻繁に絞りを開閉させる必要があることによる品質、信頼性の問題や画像処理負荷が増大すると云う問題がある。

（発明の目的）
本発明の目的は、動画撮影においても信頼性の低下や画像負荷の増大を招くことなく背景のぼかし効果を得ることができる撮像装置を提供することである。

上記目的を達成するために、本発明の撮像装置は、被写体像を撮影する撮影手段と、前記撮影手段により撮影された画像内の主被写体領域と背景領域とを判別する判別手段と、前記判別手段で判別された前記背景領域に対してぼかし処理を行う背景画像処理手段と、前記撮影手段の撮影状態に合わせて前記判別手段の動作を制御する判別制御手段と、前記背景画像処理手段でぼかし処理をした複数の画像より動画像を作成する動画像作成手段とを有することを特徴とするものである。

本発明によれば、動画撮影においても信頼性の低下や画像負荷の増大を招くことなく背景のぼかし効果を得ることができる。

本発明の実施例１である撮影装置を示すブロック図である。実施例１での撮影手段および判別制御手段を示すブロック図である。実施例１での判別手段を示すブロック図である。実施例１の背景ぼかし処理を説明する図である。実施例１の動画像作成を説明する図である。実施例１の背景ぼかし処理の別方式を説明する図である。実施例２である撮像装置を示すブロック図である。実施例２の背景ぼかし処理を説明する図である。実施例３の背景ぼかし処理を説明する図である。実施例４の背景ぼかし処理を説明する図である。実施例５における撮像素子の構成を示す図である。

本発明を実施するための形態は、以下の実施例１ないし５に示す通りである。

図１は本発明の実施例１における撮像装置のブロック図である。図１において１０１は撮影光学系、撮像素子、および撮影絞りやシャッタ、ストロボなどの要素およびそれらを制御する制御部から構成される撮影手段である。撮影手段１０１で撮影された画像は判別手段１０３に入力され、得られた画像内の主被写体領域と背景領域の分離を行う。

ここで主被写体と背景の分離には様々な手法があるが実施例１においては撮影絞りを変化させた２枚の画像差よりそれを行う。その動作詳細に関しては後述するが、本発明のポイントは判別手段１０３が判別制御手段１０２により撮影開始時と構図変更時にのみ動作するように制御されている事である。

判別制御手段１０２は撮影手段１０１の撮影状態に合わせて判別手段１０３の動作を制御する。この制御に関しての詳細は後述する。

判別手段１０３で画像内の主被写体領域と背景領域の分離が行われたら、背景画像処理手段１０４はその情報に基づいて撮影手段１０１で得られる画像の背景領域にぼかし処理を施す。ぼかし処理は色々な手法があるが、例えば対象となる背景の画素の輝度及び対象画素近傍の画素の輝度に夫々重み付けて足し合わせる事により得た新たな画素を対象画素の輝度とする方法などがある。

動画像作成手段１０５は上記の様にして得られた、時間的にずれて並んだ複数の背景ぼかし画像をつなぎ合わせて動画とする。上記構成により背景をぼかした動画を作成する事ができる。

ここで、図２を用いて判別制御手段１０２の動作の詳細を説明する。図２において判別制御手段１０２には構図変更検出部１０２ａおよび判別動作制御部１０２ｂが設けられている。構図変更検出部１０２ａは、撮影手段１０１に設けられた撮像素子１０１ａの撮影情報より得られる画像の動きベクトルと、同じく撮影手段１０１に設けられた角速度計などの振動検出部１０１ｂの出力である振動情報に基づいて撮影構図の変更を検出している。例えば動きベクトルが検出されているのに振動検出部１０１ｂの出力が無い場合には被写体が動いているだけで撮影構図の変更は無いと検出し、反対の場合にも追尾撮影と判定する。共に同じタイミングで出力が発生した時はそれを捕らえて構図変更として検出する。勿論システムの簡素化の観点から動きベクトル或いは振動検出部１０１ｂの出力の何れかを捕らえて構図変更として検出してもよい。そして、構図変更検出部１０２ａが構図変更を検出した時には判別動作制御部１０２ｂが判別手段１０３に対して判別動作を行わせる。

又、撮影手段１０１に設けられる撮影開始操作部１０１ｃが操作され、撮影が開始される時にもその信号は判別制御手段１０２の撮影開始検出部１０２ｃに出力される。そして、撮影開始検出部１０２ｃが撮影開始を検出した時には判別動作制御部１０２ｂが判別手段１０３に対して判別動作を行わせる。

この様に撮影開始初期および構図変更が行われた時のみ判別手段１０３を動作させている為に主被写体と背景の分離を行う負荷が大きく低減できる。

図３は判別手段１０３の詳細を説明する図である。判別手段１０３には追尾部１０３ａ、背景分離部１０３ｂ、画質変更部１０３ｃが設けられている。背景分離部１０３ｂは追尾部１０３ａの追尾情報および画質変更部１０３ｃからの画質変更タイミングに基づいて主被写体と背景の分離を行う。

実施例１における背景分離方法について以下に述べる。画質変更部１０３ｃは撮影手段１０１の撮影光学系に含まれる撮影絞りを変更させて複数枚、たとえば２枚の画像を取り込む。たとえば撮影絞りＦ４．０の画像と、撮影絞りＦ１３の画像を時間間隔をあけずに撮影し、その画像を取り込む。図４にて４０１はＦ４．０で撮影した画像、４０２はＦ１３で撮影した背景認識用の画像であり、背景のボケ方が夫々異なる。

尚、これらの画像４０１，４０２は被写体振れの影響も同一にする為に同じ露光時間で撮像している。そのため、Ｆ１３の画像４０２はＦ４．０で撮影した画像４０１に比較して露出がアンダーになっている。そこで、それを補正する為にＦ１３の画像４０２がＦ４．０の画像４０１と同じ明るさになる様に画像のゲインアップを行っている。

この様にして得られた画像をそれらの動きベクトルの差に基づいて位置合わせすることで画像４０３を得る。ここで位置合わせ合成を行うのは２枚の画像を撮影する間での手振れの影響を排除する為である。

背景分離部１０３ｂは、画像４０１，４０２の画質比較により画像４０３におけるボケの差がある領域（ボケ変化部）を背景と認識し、主被写体との輪郭抽出を行う。そして、その背景抽出を行った情報を背景画像処理手段１０４に出力する。背景分離部１０３ｂの背景抽出情報は追尾部１０３ａにも入力している。追尾部１０３ａは、背景分離部１０３ｂで得られた輪郭情報と撮影手段１０１の撮影情報の動きベクトルとから主被写体の移動情報を更新し、その情報を背景分離部１０３ｂに出力する。具体的には輪郭領域における動きベクトルを出力する。背景分離部１０３ｂは追尾部１０３ａの動きベクトルに基づいて輪郭情報の更新を行い、背景画像処理手段１０４に出力する。背景画像処理手段１０４は前述した様に背景領域にぼかし処理を施す。これにより画像４０４を得る。そして、動画像作成手段１０５は上記の様にして得られた、時間的にずれて並んだ複数の背景ぼかし画像をつなぎ合わせて動画とする。

図５は背景画像処理以降の画像状況を説明しており、撮影開始の１枚目の画像或いはカメラの構図変更やパンニングが行われた時にはサブの画像として絞りを絞りゲインアップした画像５０１ｓを取得する。この画像５０１ｓを通常絞り（Ｆ４．０）の画像５０１と比較して前述した方法で背景をぼかした画像５０１ａを得る。その後は主被写体（輪郭）を追尾しながら画像５０２、５０３・・・の背景をぼかして画像５０２ａ、５０３ａ・・を作成する。そして、その作成した画像を連続させて動画を得る。

このように背景領域の抽出は撮影開始時および構図変更時にのみ行うだけなので、そのための演算負荷や絞りを駆動するメカの負荷を大幅に低減させる事ができる。尚、図４においては画像４０１と画像４０２を比較して輪郭抽出を行い、その結果を元に画像４０１に対して背景ぼかし処理を行っている。しかし、そのような方法ばかりではなく、実際に録画される画像よりも小さいサイズの画像を、絞りを変化させて２枚用意し、その比較より得られる輪郭情報に基づいて録画画像に背景ぼかし処理を行ってもよい。

図６は上記のぼかし処理を説明する図であり、動画撮影に使用する画像６０１とは別により小さいサイズで絞りを変化させた２枚の画像６０２，６０３を撮影する（互いの画像の露出調整は行う）。そして、画像６０２，６０３を位置合わせ後に比較する事で画像６０４に示されるように背景部分の抽出を行う。その結果得られた輪郭情報に基づいて画像６０１の背景を背景画像処理手段１０４によりぼかし、画像６０５を得る。そして、その後に取得される画像と連続させて動画像を得る。

実施例１においては、画質変更手段は、撮影される画像毎に撮影絞りの大きさを変更する絞り制御手段である。

以上の構成により軽い負荷により背景をぼかした動画像を得る事が可能になった。

図７および図８により本発明の実施例２を説明する。実施例２と実施例１の違いは判別手段１０３における画質変更部１０３ｃの違いであり、その違いについて以下に説明する。

実施例１においては絞りを変更することで画像の画質を変更していた。それは絞りを変更することで背景のボケが変化するので、背景のボケを変更した２枚の画像を比較する事で背景部分を抽出する為であった。実施例２においては絞りの変更では無く、被写体を照明する画像と照明しない画像の主被写体の明るさを比較して背景との分離を行っている。

図７は撮影手段１０１および画質変更部１０３ｃの詳細を説明する図であり、２０１は撮影光学系であり、公知の屈曲光学系２０１ａで撮像素子２０１ｆに被写体像を結像する。２０１ｂは絞り制御部２０１ｈで制御される絞りである。２０１ｃは照明制御部２０１ｇで制御されて被写体への照明を投光するストロボ或いはＬＥＤなどの照明部である照明光源である。２０１ｄは照明光源２０１ｃの照明光を所定のパターン状にするパターン膜であり、記録画像作成時には退避して照明光源２０１ｃの投光をパターン無しにする（判別手段１０３の作動時にはパターン膜２０１ｄは挿入されている）。

２０１ｅは防振制御部２０１ｉで制御されて矢印の方向に移動する事で撮影手段１０１に加わる振れを軽減する振れ補正光学系である。

図８は照明光源２０１ｃ、パターン膜２０１ｄを使用した画質変更を説明する図である。８０１は記録画像であり、記録画像取得後に主被写体認識用により小さいサイズの画像８０２，８０３を２枚取得する。画像８０２は画像８０１をリサイズしたものと同様であり、画像８０１をリサイズして用いてもよい。８０３は照明光源２０１ｃ、パターン膜２０１ｄを用いた画像であり、撮像装置に近い主被写体はパターン投光で照明されているが、背景にはパターン投光が届いていない。尚、照明光源２０１ｃの強さは主被写体までの距離が近いほど弱くする事で調光している訳であるが、判別手段１０３の動作時にはより弱い照明にして背景が照明されないようにしている。

画像８０２，８０３を位置あわせして比較すると主被写体領域のみ明るさが変化している為に（照明されている為に）その情報に基づいて主被写体と背景を分離する事ができる。尚、照明光を弱くしている為に外乱ノイズに弱くなっているが、パターン状の投光の為、その周波数成分を抽出する事で照明領域の検出精度を向上させている。

画像８０４で求めた主被写体と背景の輪郭情報に基づいて背景画像処理手段１０４を動作させて画像８０５のように背景をぼかし、その後の画像は画像８０４の輪郭情報と追尾部１０３ａの追尾情報に基づいて背景を画像処理する。

判別手段１０３の動作は実施例１と同様に撮影開始時および構図変更時であり、それ以外では作動させない為に照明投光が連続する事はないので、省電力になるばかりでなく、撮影する側の違和感を軽減することができる。

以上の様に、画質変更部１０３ｃは、撮影される画像毎に撮影被写体へ補助光を照射する照明部２０１ｃと、照明部２０１ｃの照明光量を撮影される画像毎に変化させる照明制御部２０１ｇを有し、撮影被写体に対して所定のパターン投光を行うことで２画像の画質を変更して背景と主被写体の分離を行っている。

図９は本発明の実施例３における画質変更を説明する図である。実施例３と実施例１の違いは判別手段１０３における画質変更部１０３ｃの違いであり、その違いについて以下に説明する。実施例１においては絞りを変更することで画像の画質を変更していた。それは絞りを変更することで背景のボケが変化するので、背景のボケを変更した２枚の画像を比較する事で背景部分を抽出する為であった。実施例３においては絞りの変更では無く、撮影瞳位置のずれを利用して主被写体と背景との分離を行っている。

図９において、９０１は記録画像であり、記録画像取得後に主被写体認識用により小さいサイズの画像９０２，９０３を２枚取得する。画像９０２は画像９０１をリサイズしたものと同様であり、画像９０１をリサイズして用いてもよい。

９０２は図７における振れ補正光学系２０１ｅを防振制御部２０１ｉで制御して最も左端（左瞳）に位置させて撮影した画像である。又、９０３は同様に振れ補正光学系２０１ｅを防振制御部２０１ｉで制御して最も右端（右瞳）に位置させて撮影した画像である。画像９０２，９０３をピントのあった主被写体を中心に位置あわせして比較すると左右の背景は瞳の差によりずれが生ずる。そのため、ずれが生じている領域を背景と認識して主被写体と背景を分離する事ができる。

画像９０４で求めた主被写体と背景の輪郭情報に基づいて背景画像処理手段１０４を動作させて画像９０５のように背景をぼかし、その後の画像は画像９０４の輪郭情報と追尾部１０３ａの追尾情報に基づいて背景をぼかし処理する。

判別手段１０３の動作は実施例１と同様に撮影開始時および構図変更時であり、それ以外では作動させない為に振れ補正光学系２０１ｅを連続的に移動させる事はないので、省電力になるばかりでなく、撮影する側の違和感を軽減することができる。

以上の様に画質変更手段は撮影される画像毎に撮影手段の光学瞳位置を変更する瞳位置変更部を設ける事で背景と主被写体の分離を行っている。

図１０は本発明の実施例４における背景分離を説明する図である。実施例３までにおいては画質を変更した２枚の画像の比較より背景と主被写体の分離を行っていた。それに対して精度は劣るもののより簡易に背景と被写体を分離する方法として画像のコントラスト評価値を利用する方法がある。画像における背景領域はピントがあっていない為に僅かではあるが主被写体よりもコントラストが低い。そのため、判別手段１０３はコントラストの低い領域を背景と認識して背景画像処理手段１０４を動作させても良い。

図１０において、１００１は記録画像であり、この記録画像１００１においては主被写体にピントがあっており（合焦）、背景はピントが外れている（非合焦）。画像１００２では判別手段１０３がこの画像のコントラスト評価値を算出し、評価値の低い領域を背景として抽出する。画像１００２で求めた主被写体と背景の輪郭情報に基づいて背景画像処理手段１０４を動作させて画像１００３のように背景をぼかし、その後の画像は画像１００２の輪郭情報と追尾部１０３ａの追尾情報に基づいて背景をぼかし処理する。

判別手段１０３の動作は実施例１と同様に撮影開始時および構図変更時であり、それ以外では作動させない為にコントラスト評価値算出が連続する事はないので、省電力になるばかりでなく、撮影する側の違和感を軽減することができる。

以上の様に判別手段１０３は撮影手段１０１により撮像素子１０１ａに結像された像のコントラスト評価値に基づいて画像内の主被写体領域と背景領域とを判別している。

図１１は本発明の実施例５における背景分離を行う撮像素子の構成を示す図である。実施例３においては絞りの変更では無く、撮影瞳位置のずれを利用して主被写体と背景との分離を行っていた。そして、そのための手段として振れ補正光学系２０１ｅを左右に移動させて２画像を取得していた。

実施例５においては撮影瞳のずれを撮像素子の構造で行っている。

図１１（ａ）は撮像素子１１０１を示す図であり、撮像素子１１０１は複数の光電変換素子で構成されている。ここで、１１０２ａは４つの光電変換素子を各々ＲＧＢのカラーフィルタで覆い、いわゆるベイヤー配列としたベイヤーユニットであり、このユニットが１１０２ｂ・・より順に２次元状に配列されている。

図１１（ｂ）はベイヤーユニット１１０２ａの拡大図である。１１０３ａ，１１０３ｂ，１１０３ｃ，１１０３ｄは各々各色フィルタの光電変換素子であり、１１０４ａ，１１０４ｂ，１１０４ｃ，１１０４ｄは光電変換素子１１０３ａ〜１１０３ｄよりもサイズの小さい光電変換素子である。１１０７ａ，１１０７ｄはＧ（緑）のカラーフィルタ上に形成されたマイクロレンズ、１１０７ｂはＲ（赤）のカラーフィルタ上に形成されたマイクロレンズ、１１０７ｃはＢ（青）カラーフィルタ上に形成されたマイクロレンズである。各々大小の光電変換素子１１０３，１１０４を跨ぐように配置されている。１１０５は各光電変換素子への光線分離を行うマスクであり、各光電変換素子上に孔１１０５ａ，１１０６ａ，１１０５ｂ，１１０６ｂ，１１０５ｃ，１１０６ｃ，１１０５ｄ，１１０６ｄが設けられて互いの光電変換素子に入射する被写体光束が干渉しない構造になっている。尚、マスク１１０５は専用のマスクを配置してもよいが、各光電変換素子への配線のレイアウトで構成してもよい。

上記構造において通常撮影においては光電変換素子１１０３ａ，１１０３ｂ，・・の出力を用いて画像を形成する。そして、実施例３の様に被写体抽出の為の２画像は光電変換素子１１０３ａ，１１０３ｂ，・・の出力で形成される画像Ａと光電変換素子１１０４ａ，１１０４ｂ，・・で形成される画像Ｂの比較を行う。

この後は図９に示す動作と同様であり、画像Ａは画像９０１および９０２、画像Ｂは画像９０３となる。但し、画像Ｂを形成する光電変換素子１１０４ａ，１１０４ｂ，・・は光電変換素子１１０３ａ，１１０３ｂ，・・より小さいために感度が低くなっている。そのため、画像Ｂに関してはゲインアップを行い、画像Ａと同じ明るさにしている。

画像Ａ，Ｂをピントのあった主被写体を中心に位置あわせして比較すると、左右の背景は瞳の差によりずれが生ずる。それは、ひとつのマイクロレンズ１１０７のなかに左右でずれた光電変換素子１１０３，１１０４が設けられている為に撮影瞳がずれた状態と等しくなる為である。そのため、ずれが生じている領域を背景と認識して主被写体と背景を分離する事ができる。

画像Ａ，Ｂで求めた主被写体と背景の輪郭情報に基づいて背景画像処理手段１０４を動作させて背景をぼかし、その後の画像は画像Ａ，Ｂによる輪郭情報と追尾部１０３ａの追尾情報に基づいて背景をぼかし処理する。

判別手段１０３の動作は実施例１と同様に撮影開始時および構図変更時であり、それ以外では作動させない為に画像Ａ，Ｂの比較が連続する事はないので、省電力になるばかりでなく、撮影する側の違和感を軽減することができる。

以上の様に撮像素子１１０１の異なる領域（光電変換素子１１０３、１１０４）に結像された像の撮像信号相関値に基づいて判別手段１０３は画像内の主被写体領域と背景領域との分離を行っている。

本発明はビデオカメラの動画用途で説明されているが、デジタルカメラの動画モード、監視カメラ、Ｗｅｂカメラ、携帯電話などにも広く展開できる。

１０１撮影手段
１０２判別制御手段
１０３判別手段
１０４背景画像処理手段
１０５動画像作成手段

Claims

被写体像を撮影する撮影手段と、
前記撮影手段により撮影された画像内の主被写体領域と背景領域とを判別する判別手段と、
前記判別手段で判別された前記背景領域に対してぼかし処理を行う背景画像処理手段と、
前記撮影手段の撮影状態に合わせて前記判別手段の動作を制御する判別制御手段と、
前記背景画像処理手段でぼかし処理をした複数の画像より動画像を作成する動画像作成手段とを有することを特徴とする撮像装置。
前記判別制御手段は、前記撮影手段による撮影が開始される初期に前記判別手段を動作させることを特徴とする請求項１に記載の撮像装置。
前記判別制御手段は、前記撮影手段による構図が変更された後に前記判別手段を動作させることを特徴とする請求項１に記載の撮像装置。
前記判別制御手段は、前記撮影手段の撮影情報により構図変更を検出する構図変更検出手段を更に備えることを特徴とする請求項３に記載の撮像装置。
前記判別制御手段は、前記撮影手段が備える振動検出手段の振動情報により構図変更を検出する構図変更検出手段を更に備えることを特徴とする請求項３に記載の撮像装置。
前記判別制御手段は、前記撮影手段の撮影情報および振動検出手段の振動情報により構図変更を検出する構図変更検出手段を更に備える事を特徴とする請求項３に記載の撮像装置。
前記判別手段は、判別した前記主被写体領域と前記背景領域の情報に基づいて前記主被写体領域或いは前記背景領域の追尾を行う追尾手段を更に備え、
前記主被写体領域と前記背景領域を判別した後には前記追尾手段の出力に基づいて前記背景画像処理手段にぼかし処理を行わせることを特徴とする請求項１ないし６のいずれか１項に記載の撮像装置。
前記判別手段は、互いの画質を異ならせた複数枚の画像を取得する画質変更手段と、前記互いの画質比較により前記背景領域を分離する背景分離手段とを有することを特徴とする請求項１ないし７のいずれか１項に記載の撮像装置。
前記動画像作成手段は、前記画質変更手段で取得された複数枚の画像のいずれかを用いて前記背景画像処理手段によりぼかし処理を行った画像から動画像を作成することを特徴とする請求項８に記載の撮像装置。
前記動画像作成手段は、前記画質変更手段で取得された複数枚の画像とは異なる画像を用いて前記背景画像処理手段によりぼかし処理を行った画像から動画像を作成することを特徴とする請求項８に記載の撮像装置。
前記画質変更手段は、撮影される画像毎に撮影絞りの大きさを変更する絞り制御手段を有することを特徴とする請求項８ないし１０のいずれか１項に記載の撮像装置。
前記画質変更手段は、撮影される画像毎に前記撮影手段の光学瞳位置を変更する瞳位置変更手段を有することを特徴とする請求項８ないし１０のいずれか１項に記載の撮像装置。
前記画質変更手段は、撮影される画像毎に撮影被写体へ補助光を照明する照明手段と、前記照明手段の照明光量を撮影される画像毎に変化させる照明制御手段とを有することを特徴とする請求項８ないし１０のいずれか１項に記載の撮像装置。
前記照明手段は、撮影被写体に対して所定のパターン投光を行うことを特徴とする請求項１３に記載の撮像装置。
前記判別手段は、前記撮影手段により撮像素子上に結像された像のコントラスト評価値に基づいて前記画像内の前記主被写体領域と前記背景領域とを判別することを特徴とする請求項１ないし７のいずれか１項に記載の撮像装置。
前記判別手段は、前記撮影手段により撮像素子上の異なる領域に結像された像の撮像信号相関値に基づいて前記画像内の前記主被写体領域と前記背景領域とを判別することを特徴とする請求項１ないし７のいずれか１項に記載の撮像装置。