JP5300756B2 - 撮像装置及び画像処理方法 - Google Patents

Description

本発明は、固体撮像素子を用いた撮像装置により得られた画像に対するボカし処理に関する。

従来、画像の上下をボカしたジオラマ風の撮影は、光学的に実現されていた。光学的に実現するには、例えば、特殊レンズであるチルトシフトレンズを用いて俯瞰撮影を行う。また、ジオラマ風に限らず、画像のボカし効果は画像処理で実現することもできる。特許文献１では、通常の撮影画像をボカした画像と元画像をある比率で混合して合成することによりソフトフォーカスのような効果が得られる技術が開示されている。また、特許文献２では、通常撮影画像を縮小→フィルタ→拡大することにより、良好なボケ画像を得られる技術が開示されている。

特開２０００−６９２７７号広報 特開２００４−１０２９０４号広報

しかしながら、画像処理で高画質なジオラマ風の静止画像を実現するためには、ボケの度合いを変化させた複数の段階のボカし処理が必要となる。一方、静止画撮影の準備時におけるライブ画像の表示や動画記録を行う際にもジオラマ風の画像を得たいという要求もある。この場合、多数のフレームについてのジオラマ風の画像をリアルタイムに生成しなければならない。したがって、このような様々な撮影状況においてジオラマ風の画像を適切に得るためには、高画質化が要請される一方で処理速度の低下やメモリ等のリソースの制限も課題となる。

本発明は上述した問題点を解決するためのものであり、ジオラマ風の特殊効果画像を、静止画記録の時は高画質で生成でき、ライブ画像表示または動画記録の時は高速に生成できるようにする。

上記目的を達成するために、本発明の撮像装置は、撮像手段から入力された撮影画像に基づくライブ画像の表示と静止画の記録が可能な撮像装置であって、１枚の撮影画像から１枚以上のボケ画像を生成する生成手段と、前記１枚の撮影画像と前記生成手段により生成されたボケ画像とをそれぞれ領域を変えて合成する合成手段と、ライブ画像を表示する際は静止画の記録を行う際よりも少ない数のボケ画像を生成して前記１枚の撮影画像と前記生成したボケ画像との合成を行うように、前記生成手段及び前記合成手段を制御する制御手段と、を有することを特徴とする。

また、本発明の撮像装置は、撮像手段から入力された撮影画像に基づく静止画の記録と動画の記録が可能な撮像装置であって、１枚の撮影画像から１枚以上のボケ画像を生成する生成手段と、前記１枚の撮影画像と前記生成手段により生成されたボケ画像とをそれぞれ領域を変えて合成する合成手段と、動画を記録する際は静止画の記録を行う際よりも少ない数のボケ画像を生成して前記１枚の撮影画像と前記生成したボケ画像との合成を行うように、前記生成手段及び前記合成手段を制御する制御手段と、を有することを特徴とする。

本発明によれば、ジオラマ風の特殊効果画像を、静止画記録の時は高画質で生成でき、ライブ画像表示または動画記録の時は高速に生成できる。

本実施形態の撮像装置の構成を示す図 本実施形態の撮像装置のうちの、デジタル信号処理部の構成を示す図 本実施形態の動作フロー 本実施形態の効果を説明する図

以下、本発明に係る実施の形態を図面を用いて詳細に説明する。

（第１の実施形態）
図１は第１の実施形態の撮像装置の構成を示す図である。
光学系１０１は、入射した光を固体撮像素子上に結像させることで被写体を撮像する。光学系制御部１０２は、光学系１０１の露出やズーム、フォーカス、光学式ブレ補正等を制御する。固体撮像素子１０３は、結像させた光学像を電気信号に変換する。撮像系制御部１０４は、固体撮像素子を駆動するための制御系である。アナログ信号処理部１０５は、固体撮像素子の出力にクランプ、ゲインをかける等の処理を行なう。アナログ／デジタル（Ａ／Ｄ）変換部１０６は、アナログ信号にデジタル変換を行ない画像データとして出力する。本実施形態では、光学系１０１からＡ／Ｄ変換部１０６までを含めて撮像手段とする。また、撮像装置は、撮像手段から出力された撮影画像の画像データを不図示の外部記憶装置に単独フレームで記録することで静止画撮影を可能としている。また、連続して複数フレーム記録することで動画撮影を可能としている。デジタル信号処理部１０７は、Ａ／Ｄ変換したデジタル信号の撮影画像に対して後述の画像処理を行い出力画像を生成する。内部記憶部１０８は、デジタル信号処理部１０７にて出力画像を生成する際に一時的に画像データを格納する。インターフェース（Ｉ／Ｆ）部１０９は、生成した画像データを最終的に保存するための外部記憶装置とつながっている。画像表示部１１０は、生成された画像をライブ画像として表示する電子ファインダとしての機能を有する。ＣＰＵ１００は、上記各ブロックの機能を制御するとともに、後述の動作フローを制御する。

図２は本実施形態の撮像装置のうちの、デジタル信号処理部１０７の構成を示す図である。
入力した撮影画像の画像データは、輝度信号処理を施す輝度信号処理部２０１と、色信号処理を施す色信号処理部２０２を経て合成画像生成部２０３に入力される。内部記憶部１０８は合成画像生成時に一時記憶するのに使用したり、ライブ画像を画像表示部１１０に表示するのに使用される。また、画像圧縮部２０４にて圧縮して出力した画像データは、インターフェース部１０９を介して外部記憶装置に保存される。さらに、合成画像生成部２０３は、入力画像を縮小する画像縮小部２０５と、縮小した画像を拡大する画像拡大部２０６と、複数の処理画像を合成するための画像合成部２０７から構成されており、それぞれのブロックは内部記憶部１０８と接続されている。ＣＰＵ１００は、通常撮影時は選択された画像サイズに応じてこれらそれぞれのブロックに縮小及び拡大を行わせ、合成時には縮小又は拡大させるとともに必要に応じて、内部記憶部１０８に処理した画像を一時記憶させる。

図３（ａ）は、静止画又は動画の撮影及び記録に先立ってその構図を決定するためのライブ画像の表示時の動作フローである。ライブ画像表示では、撮影画像に対してジオラマ風の特殊効果処理を行うが、処理された画像の記録はせずにリアルタイムな表示を行う。本動作フローは、ＣＰＵ１００の制御のもの実行される。

ライブ表示時において、ジオラマ風のライブ画像を通常撮影のライブ画像の場合やジオラマ風の静止画撮影の場合と同じ処理性能と同じメモリ量を用いて生成すると、処理速度低下による表示の遅延やフレームレートの低下が生じてしまう。したがって、ライブ表示時はこれらの不都合の発生を回避することを優先する。

本実施形態のジオラマ風の撮影モードに入ると、ＣＰＵ１００は、手動もしくは自動で決定したボケ度合いを入力し、そのボケ度合いにより画像の縮小率を決定する（Ｓ３０１）。例えば、ユーザはボケ度合いを、「強」と「弱」から選択することができ、選択したボケ度合いが強いほど大きい縮小率が決定される。本実施形態では、「強」の場合は縮小率１／８、「弱」の場合は縮小率１／４が対応づけられており、ここで「強」が選択されているものとする。

次に、ＣＰＵ１００は、入力した撮影画像の画像データを内部記憶部１０８に一時記憶させるとともに（Ｓ３０２）、画像縮小部２０５に決定した縮小率で縮小させ、縮小した画像データを内部記憶部１０８に一時記憶するよう制御する（Ｓ３０３）。本実施形態では、縮小処理の方法は縮小率に応じた画素の単純間引き処理であり、ボケ度合いは「強」（縮小率１／８）であるので連続する８画素から７画素を間引く処理をする。なお、縮小方法はバイリニア方式やバイキュービック方式等の他の方法を用いても良い。

その後、ＣＰＵ１００は、画像拡大部２０６が縮小した画像データに対して拡大処理（８倍）を施して元の画像サイズに戻すよう制御する（Ｓ３０４）。これにより、画像サイズは同一でありながら、撮影画像の画像データよりボケた画像の画像データが生成される。

次に、ＣＰＵ１００は、内部記憶部１０８が記憶しておいた撮影画像の画像データを読み出し制御によりトリミングし、画像合成部２０７に送る（Ｓ３０５）。ここで、トリミングの領域は図４の４０６に相当する領域である。

そして、画像合成部２０７がステップＳ３０４で拡大したボケ画像データにステップＳ３０５でトリミングした画像を位置あ合わせを行った上で貼り付けるようにする（Ｓ３０６）。ここで、撮影画像の画像データを貼り付ける際に、画像の中心付近の４０５の領域では、ボケた画像データと撮影画像の画像データとの合成比率を、０：１とする。そして、領域４０５から離れるほど撮影画像の画像データの合成比率を小さくし、ボケた画像データの合成比率を大きくする。このようになだらかに混合することにより貼付境界部を目立たなくさせる。

以上の動作を入力される撮影画像のフレームごとに実行するにより、上下がボケて中心部に解像感が残ったライブ画像をリアルタイムに生成できる。ここで説明した手法は、後述の静止画撮影時の手法よりもジオラマ風の画像としての見栄えが劣る。しかし、デジタル信号処理部１０７の処理負荷や内部記憶部１０８の使用量が、後述の静止画撮影時の手法よりも格段に少ない。したがって、通常撮影時のライブ画像のフレームレートを維持した上でのジオラマ風の画像表示ができ、ユーザーは構図決めを正確に行え、シャッターチャンスを逃すことなく、ジオラマ風の静止画の撮影及び記録が可能となる。

図３（ｂ）は、静止画撮影時の動作フローである。静止画撮影時は処理速度よりも合成による不自然さの低減、つまり見栄えを優先する。

図３（ａ）の処理を行っているライブ時においてシャッターボタンが押下されると、手動もしくは自動に決定したボケ度合いを入力し、そのボケ度合いにより後段の縮小処理のループ回数を決定する（Ｓ３０７）。先に説明したように、本実施形態では、ユーザはボケ度合いを「強」と「弱」から選択することができ、選択したボケ度合いが強いほど多いループ回数が決定される。

シャッターボタンを押下する直前に画像表示部１１０に表示されるライブ画像と、静止画撮影により得られた画像とを見比べたときに、画像全体としての互いのボケの様子は、できるだけ共通するようにする。したがって、「強」と「弱」のそれぞれのボケ度合いについて設定するループ回数は、ライブ時のステップＳ３０３の縮小処理の縮小率と、画質上の対応関係を有している。すなわち、本実施形態の縮小処理における縮小率は固定値の１／２に設定されているので、ボケ度合い「強」の場合はループ回数３回（全体で１／８の縮小に相当）とし、ボケ度合い「弱」の場合はループ回数２回（全体で１／４の縮小に相当）とする。

シャッターボタンが押下されると、ＣＰＵ１００は、入力した画像データ（オリジナルデータ）を内部記憶部１０８に一時記憶させるとともに（Ｓ３０８）、画像縮小部２０５に固定値で縮小させ、縮小した画像データを内部記憶部１０８に一時記憶するように制御する（Ｓ３０９）。本実施形態では、縮小処理の方法は、ライブ時と同じ単純間引き処理であり、画像縮小部２０５の固定値は１／２であるので、連続する２画素から１画素を間引く処理をする。

次に、ＣＰＵ１００は、実行した縮小処理のループ回数が、決定したループ回数を満たしたかを判定し（Ｓ３１０）、ループ回数を満たしていなければステップＳ３０８に戻り、内部記憶部１０８に対して縮小された画像データの一時記憶を行う。そして、ステップＳ３０８において記憶された縮小画像データを読み出して、画像縮小部２０５が再び固定値での縮小を行うよう制御する。

ループ回数を満たしたら縮小処理が終了するが、本実施の形態では、終了の時点で内部記憶部１０８に、撮影画像の画像データ（オリジナルデータ）、１／２縮小画像の画像データ、１／４縮小画像の画像データ、及び１／８縮小画像の画像データが記憶されている。

次に、ＣＰＵ１００は、内部記憶部１０８から最も縮小した画像の画像データ（最下層の画像、本実施形態では１／８縮小画像の画像データ）を読み出し、画像拡大部２０６が固定値の逆数（２倍）で拡大するよう制御し、拡大画像の画像データを内部記憶部１０８に記憶する（Ｓ３１１）。これにより、画像サイズは１つ上の階層の縮小画像（１／４縮小画像）と同一でありながら、その縮小画像よりボケた画像の画像データが生成される。

次に、ＣＰＵ１００は、内部記憶部１０８が記憶しておいたこの１つ上の階層の縮小画像（１／４縮小画像）の画像データを読み出し制御によりトリミングし、画像合成部２０７に送る（Ｓ３１２）。ここで、トリミングの領域は、図４の領域４０３に相当する領域である。

次に、ＣＰＵ１００は、画像合成部２０７がトリミングした画像を貼り付ける。つまり、トリミング画像とボケ画像の合成比率１：０で合成処理を行う。ただし、ここで、貼付境界部はライブ時と同様になだらかに混合することによりボケ効果の境界を目立たなくさせる（Ｓ３１３）。ＣＰＵ１００は、得られた合成画像を内部記憶部１０８に記憶する。

ＣＰＵ１００は、実行したループ回数が決定したループ回数かを判定し（Ｓ３１４）、ループ回数を満たしていなければステップＳ３１１〜Ｓ３１３の拡大、トリミング、貼り付け処理を繰り返す。ここで、２回目の処理では、拡大されるのはステップＳ３１３で記憶した合成画像である。また、１つ上の階層の縮小画像（１／２縮小画像）におけるトリミング及び合成の領域は、図４の領域４０２に相当する領域である。本実施形態では、ループ回数は３回なので３回目の拡大処理で、合成画像は撮影画像と同じ画像サイズに戻る。また、３回目の処理において、撮影画像におけるトリミング及び合成の領域は、図４の領域４０１に相当する領域である。

このように、１つ上の階層の画像の中央領域を貼り付ける際に、ループを繰り返す毎に領域を狭めていくことで、最終的に得られる合成画像は階段状のボケを有することとなる。

図４（ａ）及び（ｂ）は本実施形態において得られたジオラマ風の静止画像とそのボケの効果を示す図である。

図４（ａ）は各ボケ画像の合成領域の関係を示すものである。領域４０１が最も解像した領域、つまりオリジナルの撮影画像を貼り付けた領域である。そして、領域４０２が縮小処理のループを１回まわした領域、つまりややボカした領域であり、領域４０３がループを２回まわした領域、つまりさらにボカした領域であり、領域４０４がループを３回まわした領域、つまり最もボカした領域である。

上記図３（ｂ）の動作フローにて説明したように、領域４０１、領域４０２、領域４０３、領域４０４に関する全体画像を順に縮小することを繰り返すので、画像縮小部２０５は合計で３回の縮小処理を行わなければならない。また、縮小処理において、内部記憶部１０８は、サイズは異なるが４枚分の画像データ容量を必要とする。

また、領域４０３を拡大して領域４０４に貼り付け、それを拡大して領域４０２を貼り付け、それを拡大して領域４０１を貼り付けるので、画像拡大部２０６は３回の拡大処理を行わなければならず、画像合成部２０７は３回の合成処理を行わなければならない。また、拡大処理において、内部記憶部１０８は、新たに４枚分の画像データ容量を必要とする。

図４（ｂ）は縦軸に画像の垂直方向、横軸に視認されるボケ効果の度合いをとったグラフであり、図（ａ）に対応している。グラフに表されるように、解像領域から階段上にボカし、さらに境界部をなだらかに混合することで境界部でのボケ効果の切り替わりが不自然に見えないようにしている。

尚、本実施形態ではボケ度合い「高」を選択しているのでループを３回まわした例を説明をしているが、ループ回数はボカシ量により可変であり、例えば、ボケ度合い「低」を選択しているのであれば、ループは２回となる。

図４（ｃ）及び（ｄ）は、本実施形態におけるジオラマ風のライブ画像とそのボケの効果を示す図である。

図４（ｃ）は各ボケ画像の合成領域の関係を示すものである。領域４０５が解像した領域、つまりオリジナルの撮影画像を貼り付けた領域であり、領域４０６は、図３（ａ）の縮小、拡大、及び合成処理によりボカした領域である。ボカシ量は図３（ａ）の動作フローにて前述のとおり縮小率にて決まる。

図４（ｄ）は縦軸に画像の垂直方向、横軸に視認されるボケ効果の度合いをとったグラフであり、図（ｃ）に対応している。グラフに表されるように、領域４０７ではオリジナルデータとボケ画像データとをなだらかに混合することにより、視認されるボケ効果が解像領域からボケ領域に向かってなだらかに変化するようにしている。

さらに、解像領域とボケ領域の境界部を混合する範囲を、静止画像で階段状とした範囲に近くなるように、広い範囲をとるようにしている。すなわち、図４（ｂ）の領域４０６と領域４０７の間の範囲は、図４（ａ）の領域４０３と領域４０４の間の範囲に対して狭いが、図４（ａ）の境界部のなだらかな混合処理を行った後のボケ効果に合わせた範囲であり、かつボケ変化の傾きが近くなるようにしている。これにより、ライブ画像でのボカし効果と実際の撮影画像とのボカし効果との差が少なくなる。

図４（ｃ）の画像は図４（ａ）と異なり、階段状のボケ効果の変化を有していないので、視認上、ジオラマ風の効果は十分に得られない。しかし、画像縮小部２０５は１回の縮小処理を行ばよく、内部記憶部１０８が縮小処理のために必要とする容量は、サイズが異なる２枚の画像データ分でよい。また、画像拡大部２０６は１回の拡大処理を行えばよく、画像合成部２０７は１回の合成処理を行えばよい。また、内部記憶部１０８は、拡大処理及び合成処理のために、２枚分の画像データ容量があればよい。

したがって、毎秒数十フレームを処理しなければならないライブ画像であっても、表示の遅延やフレームレートの低下が生じず、ジオラマ風の効果をリアルタイムで確認することができる。したがって、ライブ表示中にジオラマ風の静止画撮影を行うためのシャッターチャンスを逃すような不都合もなくすことができる効果がある。

本実施形態では、ライブ画像においては、撮影画像と１枚のボケ画像を用いてジオラマ画像を生成したが、１枚以上であり静止画撮影よりも少ない枚数のボケ画像を用いれば、同様な効果を得ることができる。例えば、縮小率１／４の縮小画像をさらに生成しておき、画像の中心から外に向かって、撮影画像、縮小率１／４の縮小画像、縮小率１／８の縮小画像の順で合成重みを変化させればよい。

（第２の実施形態）
第１の実施形態では、画質よりもフレームレートや処理負荷等を重視した、ジオラマ風のライブ画像を生成する例を説明した。

ライブ画像表示と同様な問題が、動画の撮影及び記録においても生じるので、上記ライブ表示における動作フロー図３（ａ）をそのまま動画撮影において適用してもよい。

また、ジオラマ風の動画撮影のモードとして、図３（ａ）の動作フローを行うフレームレート優先モードと、図３（ｂ）の動作フローを行う画質優先モードとを設けて、ユーザーがいずれかを切り替えて利用するよう構成してもよい。

（他の実施形態）
上記実施形態では、特殊効果としてジオラマ風の画像処理という文言を使用したが、これは便宜的なものであり、撮影画像と１枚以上のボケ画像とをそれぞれ領域を変えて合成する処理を含むものあれば、他の特殊効果の処理においても、本発明は適用できる。

上記実施形態では、本発明を撮像装置に適用した場合について説明したが、本発明はこれに限るものではなく、外部接続した撮像装置から撮影画像を入力可能なパーソナルコンピュータやデジタルテレビ等の画像処理装置において、実現されても良い。パーソナルコンピュータの場合は、上記図３に示した各ステップを実行するアプリケーションソフトウェアをＣＤ−ＲＯＭ等の記憶媒体やネットワーク上のサーバから取得してインストールすることにより実現される。

１００ ＣＰＵ
１０７ デジタル信号処理部
１０８ 内部記憶部
１１０ 画像表示部

Claims (7)

1. 撮像手段から入力された撮影画像に基づくライブ画像の表示と静止画の記録が可能な撮像装置であって、
   １枚の撮影画像から１枚以上のボケ画像を生成する生成手段と、
   前記１枚の撮影画像と前記生成手段により生成された１枚以上のボケ画像とをそれぞれ領域を変えて合成する合成手段と、
   ライブ画像を表示する際は静止画の記録を行う際よりも少ない数のボケ画像を生成して前記１枚の撮影画像と前記生成したボケ画像との合成を行うように、前記生成手段及び前記合成手段を制御する制御手段と、
   を有することを特徴とする撮像装置。
2. 前記生成手段は、
   撮影画像に対して縮小処理を行う縮小手段と、
   前記縮小手段で縮小された画像に対して拡大処理を行うことで縮小処理を行う前の画像サイズについてのボケ画像を生成する拡大手段と、を有し、
   前記合成手段は、共通の画像サイズについて、縮小処理を行う前の画像と前記拡大手段により生成されたボケ画像とをそれぞれ領域を変えて合成することを特徴とする請求項１に記載の撮像装置。
3. 選択されたボケ度合いに応じて、ライブ画像を表示する際における前記縮小処理と縮小率と、前記静止画を記録する際において生成するボケ画像の枚数と、を変えることを特徴とする請求項２に記載の撮像装置。
4. 前記合成手段は、前記静止画の撮影時と前記ライブ表示時におけるボケの効果が近くなるように、合成の領域の範囲を設定することを特徴とする請求項１〜３のいずれかに記載の撮像装置。
5. 撮像手段から入力された撮影画像に基づく静止画の記録と動画の記録が可能な撮像装置であって、
   １枚の撮影画像から１枚以上のボケ画像を生成する生成手段と、
   前記１枚の撮影画像と前記生成手段により生成された１枚以上のボケ画像とをそれぞれ領域を変えて合成する合成手段と、
   動画を記録する際は静止画の記録を行う際よりも少ない数のボケ画像を生成して前記１枚の撮影画像と前記生成したボケ画像との合成を行うように、前記生成手段及び前記合成手段を制御する制御手段と、
   を有することを特徴とする撮像装置。
6. 撮像手段により得られた撮影画像に基づくライブ画像の表示と静止画の記録を行うに際して、１枚の撮影画像から１枚以上のボケ画像を生成し、前記１枚の撮影画像と前記生成された１枚以上のボケ画像とをそれぞれ領域を変えて合成する画像処理方法であって、
   ライブ画像を表示する際は静止画の記録を行う際よりも少ない数のボケ画像を生成して前記１枚の撮影画像と前記生成したボケ画像との合成を行うことを特徴とする画像処理方法。
7. 撮像手段により得られた撮影画像に基づく静止画の記録と動画の記録を行うに際して、１枚の撮影画像から１枚以上のボケ画像を生成し、前記１枚の撮影画像と前記生成された１枚以上のボケ画像とをそれぞれ領域を変えて合成する画像処理方法であって、
   ライブ画像を表示する際は静止画の記録を行う際よりも少ない数のボケ画像を生成して前記１枚の撮影画像と前記生成したボケ画像との合成を行うことを特徴とする画像処理方法。

Images