JP2015228113A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】 撮影中に焦点距離が変化した場合であっても、切り出した画像データの背景のぼけ具体の変化を抑制することができる画像処理装置を提供する。
【解決手段】 画像処理装置は、第１の画像データの一部を切り出して第２の画像データを生成する切り出し手段と、第２の画像データに対してぼけを付与するためのフィルタ処理を行うフィルタ処理手段を有している。このフィルタ処理手段は、第１の画像データを生成するための撮像の際に用いた光学系の焦点距離の変化に応じて、フィルタ処理に用いるフィルタ係数を設定する。
【選択図】 図１

Description

本発明は、画像データの一部の領域を切り出す技術に関するものである。

撮像装置の多画素化に伴い、８Ｋ（７６８０×４３２０画素）のスーパーハイビジョン（Ｓｕｐｅｒ Ｈｉ−Ｖｉｓｉｏｎ）などの高解像度の画像データを生成することが可能となっている。一方で、出力装置である家庭用テレビは、フルハイビジョン（Ｆｕｌｌ Ｈｉ−Ｖｉｓｉｏｎ）が主流であるため、スーパーハイビジョン用の画像をフルハイビジョンの出力装置に出力するには、画像データを加工する必要がある。そのための方法として、例えば、スーパーハイビジョンの画像データの全画角をフルハイビジョンのサイズまで縮小する方法や、スーパーハイビジョン用の画像データから、フルハイビジョンと同じサイズの領域を切り出す方法が考えられる。

例えば、特許文献１には、元画像データの中から主被写体の追尾結果に応じて切り出し領域を設定することで、主被写体が動いても主被写体を画角内に収める技術が開示されている。また、切り出し領域だけでなく、画像データに含まれる主被写体のサイズにあわせて切り出し範囲とリサイズ率を設定すれば、常に主被写体を任意のサイズとすることが可能である。この技術を利用すれば、元画像データを生成する際の撮像装置のカメラワーク（ズーム動作やパンニング動作）によらずに、常に主被写体を任意のサイズで、任意の位置に配置した部分画像データを生成することができる。

特開２０００−２６１６５７

ここで、動画を撮像している最中に撮像装置の焦点距離を変化させると、切り出された部分画像データに含まれる被写体の位置やサイズは一定にすることができるが、部分画像データの背景のぼけ具合が変化してしまうという課題が生じる。

図８は、背景のぼけ具合の変化について説明するための図であり、撮像装置の焦点距離をテレ側からワイド側へ変化させた場合を示している。

被写体と背景の距離の差に変化はない場合には、焦点距離が長いほうが、背景が強くぼけた画像データとなる。そのため、図８に示すように、撮像装置の焦点距離をテレ側からワイド側に変化させると、背景のぼけの程度が徐々に小さくなるため、切り出した部分画像データの背景の鮮鋭度が徐々に増していくことになる。

撮像装置で生成した元画像データを表示装置に表示する場合には、テレ側からワイド側への焦点距離の変化に伴って、背景のぼけの程度だけではなく画角の変化も生じているため、観察者に違和感を与えにくい。しかしながら、被写体の位置およびサイズを一定とするために切り出した部分画像データを表示装置に表示する場合には、被写体の位置やサイズに変化が生じていないのにも関わらず、背景のぼけ具合が変化するため、観察者に違和感を与えやすくなってしまう。

ゆえに、撮影中に焦点距離が変化した場合であっても、切り出した画像データの背景のぼけ具体の変化を抑制することができる画像処理装置が望まれる。

上記課題を解決するため、本発明は、第１の画像データの一部を切り出して第２の画像データを生成する切り出し手段と、第２の画像データに対してぼけを付与するためのフィルタ処理を行うフィルタ処理手段を有し、フィルタ処理手段は、第１の画像データを生成するための撮像の際に用いた光学系の焦点距離の変化に応じて、フィルタ処理に用いるフィルタ係数を設定することを特徴とする画像処理装置を提供するものである。

本発明によれば、撮影中に焦点距離が変化した場合であっても、切り出した画像データの背景のぼけ具体の変化を抑制することができる画像処理装置を提供することが可能になる。

本発明の第１の実施形態に掛かる画像処理装置のシステム構成図である。 元画像データである第１の画像データから、出力画像データである第３の画像データを生成する処理を説明するための図である。 被写体距離と画像の鮮鋭度の関係を示す図、および、被写体距離とフィルタ処理のカットオフ周波数の関係を示す図である。 第１の実施形態にかかる画像処理装置の動作を説明するためのフローチャートである。 本発明の第２の実施形態に掛かる画像処理装置のシステム構成図である。 第２の実施形態にかかる画像処理装置の動作を説明するためのフローチャートである。 横軸に周波数、縦軸にフィルタの振幅を表す図である。 背景のぼけ具合の変化について説明するための図である。

以下に、図面を用いて本発明の実施形態について詳細な説明を行う。

（第１の実施形態）
図１は、本発明の第１の実施形態に掛かる画像処理装置のシステム構成図である。

本実施形態では、撮影時にはテレ側からワイド側への焦点距離の変動があり、撮影時の光学条件は画像と共に記録されているものとする。

図１において、切り出し部１０１は、画素数の多い元画像データである第１の画像データに対し、一部の画像を切り出す切り出し処理、および、切り出した画像データを所定サイズ（画素数）にするためのリサイズ処理を行い、第２の画像データを生成する。この第１の画像データは、記録メディアやネットワークを介して取得しても良いし、画像処理装置が撮像ユニットを有しており、この撮像ユニットで撮影して得られた画像データを第１の画像データとして用いてもよい。

領域分割部１０２は、距離情報に基づいて、切り出し部１０１から出力された第２の画像データの領域分割を行う。この距離情報は、撮像装置から取得するものであって、第１の画像データを生成した際の画角内の複数のポイントにおける被写体までの距離情報を示す。撮像装置が位相差方式のＡＦセンサを備えているいか、あるいは、位相差方式のＡＦセンサの機能を備えた撮像素子を用いれば、このＡＦセンサの配置に対応する測距ポイントにおける距離情報を取得することができるため、この距離情報を用いて領域分割を行う。例えば、まず第２の画像データの画素毎に色相を求め、色相が類似し、かつ、隣接する画素をグループ化する。さらに、それぞれのグループ間で、対応する距離情報を比較し、対応する距離情報が近く、かつ、グループ間の距離が閾値以下となるグループを結合することで、被写体ごとの領域に分割することができる。

また、撮像装置がＡＦのためのスキャン動作を行う構成であるならば、コントラスト値に基づいて画角内のそれぞれの領域（画素）における被写体距離を取得することができるため、この距離情報に基づいて被写体ごとの領域に分割することができる。

あるいは、合焦画像と非合焦画像のエッジ強度を比較することで被写体距離を取得することも可能である。例えば、合焦位置を変えて撮像された２つの画像データを比較すると、合焦領域のエッジ強度は急激に変化するが、非合焦領域のエッジ強度は余り変化しない。このことからエッジ強度の変化量を基に各領域の距離情報を取得することができる。ただし、距離情報を取得する手段は本発明では限定しない。

フィルタ係数設定部１０３は、入力画像の距離情報、および、絞り値や焦点距離などの撮影時の光学情報を用いて、領域分割部１０２で分割された各領域に対するフィルタ係数を決定する。

フィルタ処理部１０４は、領域分割部１０２で分割された各領域に対して、フィルタ係数部１０３で決定したフィルタ係数を用いて後述するフィルタ処理を行い、出力画像データである第３の画像データを生成する。

メモリ１１０は、元画像データである第１の画像データ１０５、距離情報１０６、光学情報１０７、および、出力画像データである第３の画像データ１０８を保持し、メモリインターフェース１０９を介して各処理部とデータ転送を行う。このメモリ１１０は画像処理装置の内部に備えた内部メモリであっても良いし、メモリインターフェース１０９を介してアクセス可能な外部メモリであっても良い。

図２は、元画像データである第１の画像データから、出力画像データである第３の画像データを生成する処理を説明するための図である。図２において、第１の画像データ４１０のうち、点線で囲った領域を切り出してリサイズすることで、第２の画像データ４０１が生成される。

第２の画像データ４０１は、領域分割部１０２により、主被写体を含む領域Ａ、家を含む領域Ｂ、木を含む領域Ｃ、および、それ以外の領域Ｄに分割されたものとする。撮像装置は領域Ａにピントを合わせており、領域Ｂ、領域Ｃ、領域Ｄの順で距離情報が長くなるものとする。

画像データ４０２は光学系がテレ側に設定されている場合の第２の画像データを示し、画像データ４０３は、画像データ４０２に対して領域別のフィルタ処理を行うことで生成された第３の画像データを示す。

また、画像データ４０４は光学系がワイド側に設定されている場合の第２の画像データを示し、画像データ４０５は、画像データ４０４に対して領域別のフィルタ処理を行うことで生成された第３の画像データを示す。画像データ４０２を生成した際の焦点距離のほうが、画像データ４０４を生成した際の焦点距離よりも長いため、画像データ４０２のほうが領域Ｂ、領域Ｃおよび領域Ｄのぼけの程度が強い。

図３（ａ）は、被写体距離と画像の鮮鋭度の関係を示した図である。被写体距離が合焦面までの距離と一致すれば画像の鮮鋭度が高く（ぼけ量が小さい）、合焦面から離れるほど鮮鋭度が小さくなる（ぼけ量が大きい）ことを表している。図３（ｂ）は、テレ側からワイド側へ焦点距離が変化する場合の被写体距離と、フィルタ処理部１０４で行うフィルタ処理のカットオフ周波数の関係を示した図である。

焦点距離をテレ側からワイド側へ変化させると、図３（ａ）に示すように画像の背景領域の鮮鋭度が高くなるので、背景領域のぼけ具合を一定に保つためには、画像の鮮鋭度を下げるフィルタ特性が必要となる。そのため、図３（ｂ）に示すように、合焦面から離れるほど、合焦領域に対するカットオフ周波数よりも低くなるようなフィルタ特性とする。言い換えれば、合焦面に近い領域はぼけ量が小さく、合焦面から離れた領域はぼけ量が大きくなるフィルタ特性である。また、ぼけ具合は被写界深度が関係するため、Ｆ値に応じて特性を変動させても良い。

次に、本実施形態にかかる画像処理装置の動作について、図４に示すフローチャートを用いて説明する。

ステップＳ４０１において、切り出し部１０１は、メモリインターフェース１０９を介して、メモリ１１０に記憶されている元画像データ１０５を第１の画像データとして読み込む。

ステップＳ４０２において、切り出し部１０１は、入力された第１の画像データに対して切り出し処理およびリサイズ処理を行い、第２の画像データを生成する。この時、切り出し部１０１は、被写体のサイズが一定となるように、切り出し位置とリサイズ率でそれぞれの処理を行う。また、外部から主被写体を指定する指示を行い、指示された被写体が画角の中心となるような切り出し位置、および、この被写体が所定サイズとなるリサイズ率を設定するようにしても良い。つまり、焦点距離が変化した場合には、元画像データのサイズに対する被写体のサイズが変化するため、これを相殺するように切り出し位置とリサイズ率が変更される。

ステップＳ４０３において、領域分割部１０２は、元画像データ１０５を撮像する際に得られた距離情報１０６を読み出して、切り出し部１０１で生成された第２の画像データに対する領域分割を行う。

ステップＳ４０４において、フィルタ係数設定部１０３は、メモリ１１０から読み出した距離情報１０６と、絞りのＦ値の情報や焦点距離の情報を含む光学情報１０７を読み出して、それぞれの背景領域に対するフィルタ処理のカットオフ周波数を決定する。図３（ｂ）に示すように、領域Ａは合焦面であり、領域Ｂ、領域Ｃ、領域Ｄの順で被写体距離が長くなるため、領域Ａのカットオフ周波数を最も高くなるようにフィルタ係数ｆｃ［Ａ］を設定する。そして、領域Ｂ、領域Ｃ、領域Ｄの順でカットオフ周波数が小さくなるように、各背景領域に対するカットオフ周波数ｆｃ［Ｂ］、ｆｃ［Ｃ］、ｆｃ［Ｄ］を設定する。このカットオフ周波数が小さくなるほど、後段のフィルタ処理部１０４によるフィルタ処理によって、ぼけの程度が大きくなる画像処理が行われることになる。また、焦点距離の違いによる背景のぼけ具合の違いを抑制するため、焦点距離がワイド端に近くなるほど、背景領域に対するカットオフ周波数が徐々に小さくなるようにフィルタ係数Ｈ［Ｂ］、Ｈ［Ｃ］、Ｈ［Ｄ］を設定する。勿論、背景のぼけ具体に影響を与える絞りのＦ値が変化したのであれば、このＦ値の変化の影響も抑制するようにフィルタ係数を変更することが望ましい。

ステップＳ４０５において、フィルタ処理部１０４は、フィルタ係数設定部１０３で設定されたフィルタ特性に応じて、分割した各領域に対してフィルタ処理を行う。図２の画像データ４０２と画像データ４０４はともに第２の画像データであるが、画像データ４０４のほうが、焦点距離がワイド側にあるときに撮像されたものであるため、画像データ４０４のほうが画像データ４０２よりも、背景領域のぼけ具合が弱い。

しかしならが、上述したように、フィルタ係数設定部１０３において、この焦点距離の違いによるぼけ具合を抑制するように、焦点距離に応じたフィルタ係数が設定される。よって、画像データ４０２に対してフィルタ処理して得られた第３の画像データである画像データ４０３と、画像データ４０４に対してフィルタ処理して得られた第３の画像データである画像データ４０５の背景領域のぼけ具体は、ほぼ等しくなる。

領域毎にフィルタ係数を完全に切り分けてしまうと、領域の境界で画質の変化が目立つ場合があるので、これを目立たなくするために、境界に対するフィルタ係数は、各領域に対するフィルタ係数を重みづけ加算したものを用いるようにしてもよい。

そして、ステップＳ５０７において、第３の画像データは、メモリインターフェース１０９を介して、出力画像データ１０８としてメモリ１１０に出力される。

なお、本実施形態では、焦点距離をテレ側からワイド側へ変化させた場合を例にあげて説明を行ったが、当然その逆であってもよい。焦点距離がワイド側からテレ側へ変化する場合には、焦点距離の変化に応じて、背景領域の画像の鮮鋭度があがる（ぼけ具合を小さくする）フィルタ係数を設定することになる。

以上説明したように、本実施形態によれば、画像内の領域毎に、合焦面から距離と焦点距離に応じたフィルタ係数を用いてフィルタ処理を行うことで、元画像データの焦点距離が変化しても、切り出し画像データの背景領域のぼけ具合を安定させることができる。

（第２の実施形態）
図５は、本発明の第２の実施形態に掛かる画像処理装置のシステム構成図である。本実施形態でも、撮影時にはテレ側からワイド側への焦点距離の変動があるものとする。

図５の画像処理装置において、図１の画像処理装置と同一の構成要素については、同じ符号を付与している。図５の画像処理装置は、図１の画像処理装置に対して、周波数解析部５１１を備え、かつ、フィルタ係数設定部１０３の代わりにフィルタ係数設定部５０３を備えている点で異なる。

周波数解析部５１１は、領域分割された第２の画像データを受け取り、領域ごとに周波数解析を行って周波数成分を算出する。算出された領域ごとの周波数成分はフィルタ係数設定部５０３に入力される。

次に、本実施形態にかかる画像処理装置の動作について、図６に示すフローチャートを用いて説明する。図６に記載されたステップのうち、図４に記載されたステップと同じ符号が付いているステップは、第１の実施形態と同じ処理を行うものであるため、説明を省略する。本実施形態では、図４のステップＳ４０４に代えて、ステップＳ６０１およびＳ６０２を実行するという点で、第１の実施形態と異なる。

ステップＳ６０１において、周波数解析部５１１は、まず、焦点距離がテレ側にある場合の第２の画像データに対して、分割領域ごとに周波数変換を行い、その周波数特性から各領域に最も多く含まれる帯域（ただし、ＤＣ成分を除く）を算出する。この画像処理装置が撮像ユニットを有しているならば、焦点距離をテレ側に移動させて画像データを生成するように制御を行ってから、任氏の焦点距離に変更するように構成すればよい。なお、周波数変換手段として、各領域をＮ×Ｎ画素のブロックに分割して、各ブロックに対して離散コサイン変換（ＤＣＴ）を行い、ＤＣＴ係数の絶対値総和の最も大きい周波数帯域とする手法が挙げられる。

ステップＳ６０２において、フィルタ係数設定部５０３が、各領域に最も多く含まれる周波数帯域が所定量だけ減衰するように、領域Ｂ、領域Ｃおよび領域Ｄのそれぞれに対するカットオフ周波数ｆｃ［Ｂ］、ｆｃ［Ｃ］、ｆｃ［Ｄ］を設定する。

図７は、横軸に周波数、縦軸にフィルタの振幅を表した図であり、それぞれの背景領域に最も多く含まれる周波数帯域と、カットオフ周波数の関係を示す図である。本実施形態では、ＤＣ成分から所定量（図７の例では、３ｄＢ）だけ減衰する周波数をカットオフ周波数としている。

以上説明したように、本実施形態によれば、画像の領域毎に周波数特性を求め、周波数特性に基づくフィルタ係数を用いてフィルタ処理を行うことで、元画像データの焦点距離が変化しても、切り出し画像データの背景領域のぼけ具合を安定させることができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ 切り出し部
１０２ 領域分割部
１０３、５０３ フィルタ係数設定部
１０４ フィルタ処理部
１０９ メモリインターフェース
１１０ メモリ
５１１ 周波数解析部

Claims (12)

1. 第１の画像データの一部を切り出して第２の画像データを生成する切り出し手段と、
   前記第２の画像データに対してぼけを付与するためのフィルタ処理を行うフィルタ処理手段を有し、
   前記フィルタ処理手段は、前記第１の画像データを生成するための撮像の際に用いた光学系の焦点距離の変化に応じて、前記フィルタ処理に用いるフィルタ係数を設定することを特徴とする画像処理装置。
2. 前記第２の画像データを複数の領域に分割する領域分割手段を有し、
   前記フィルタ処理手段は、分割された領域毎に、前記フィルタ係数を設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記領域分割手段は、前記第２の画像データについて得られた被写体距離の情報に基づいて、前記第２の画像データを複数の領域に分割することを特徴とする請求項２に記載の画像処理装置。
4. 前記フィルタ処理手段は、合焦面から距離が離れた領域ほど、ぼけの程度が強くなるように前記フィルタ係数を設定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記フィルタ処理手段は、前記光学系の焦点距離が短くなるに従い、ぼけの程度が強くなるように前記フィルタ係数を設定することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記フィルタ処理手段は、前記光学系の絞りに応じて、前記フィルタ係数を設定することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記分割された領域毎に周波数特性を解析する周波数解析手段を有し、
   前記フィルタ処理手段は、前記周波数解析手段によって解析された周波数特性に応じて、前記フィルタ係数を設定することを特徴とする請求項２または３に記載の画像処理装置。
8. 前記周波数解析手段は、前記光学系が所定の焦点距離である場合に得られた画像データから生成された第２の画像データにおいて、前記分割された領域毎に周波数特性を解析することを特徴とする請求項７に記載の画像処理装置。
9. 前記周波数解析手段は、前記分割された領域毎に最も多く含まれる周波数帯域を求めることを特徴とする請求項７または８に記載の画像処理装置。
10. 前記切り出し手段は、前記第１の画像データに含まれる被写体のサイズを一定にするように、切り出し処理とリサイズ処理を行って、前記第２の画像データを生成する請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 第１の画像データの一部を切り出して第２の画像データを生成する切り出し工程と、
    前記第２の画像データに対してぼけを付与するためのフィルタ処理を行うフィルタ処理工程を有し、
    前記フィルタ処理工程では、前記第１の画像データを生成するための撮像の際に用いた光学系の焦点距離の変化に応じて、前記フィルタ処理に用いるフィルタ係数を設定することを特徴とする画像処理方法。
12. コンピュータを、請求項１乃至１０のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images