JP2015073222A - 撮影機器、撮影方法及び撮影制御プログラム - Google Patents

撮影機器、撮影方法及び撮影制御プログラム Download PDF

Info

Publication number
JP2015073222A
JP2015073222A JP2013208357A JP2013208357A JP2015073222A JP 2015073222 A JP2015073222 A JP 2015073222A JP 2013208357 A JP2013208357 A JP 2013208357A JP 2013208357 A JP2013208357 A JP 2013208357A JP 2015073222 A JP2015073222 A JP 2015073222A
Authority
JP
Japan
Prior art keywords
image
unit
subject
imaging
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013208357A
Other languages
English (en)
Other versions
JP5608803B1 (ja
Inventor
将臣 冨澤
Masaomi Tomizawa
将臣 冨澤
野中 修
Osamu Nonaka
修 野中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2013208357A priority Critical patent/JP5608803B1/ja
Priority to US14/270,149 priority patent/US9066010B2/en
Application granted granted Critical
Publication of JP5608803B1 publication Critical patent/JP5608803B1/ja
Publication of JP2015073222A publication Critical patent/JP2015073222A/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】 直感的な操作と簡単な画像処理によって、注目対象物を際立たせた撮影を可能にする。【解決手段】 撮影機器は、被写体を相互に異なる視点から撮像して複数の撮像画像を取得する撮像部と、上記複数の撮像画像に基づいて上記撮像画像中の特定部分である特定部及び上記特定部以外の部分を決定する画像比較部と、上記特定部と上記特定部以外の部分とで異なる画像処理を行って特殊画像を生成する画像生成部とを具備する。【選択図】図1

Description

本発明は、連写での撮影が可能な撮影機器に関する。
近年、デジタルカメラなどの撮影機能付き携帯機器(撮影機器)が普及している。この種の撮影機器においては表示部を有して、撮影画像を表示する機能を有するものもある。更に、表示部にメニュー画面を表示して、撮影機器の操作を容易にしたものもある。
更に、撮像画像に対して、所定のフイルタ効果処理を適用する撮影モードを備えた撮影機器も開発されている。所定のフィルタ効果処理を撮像画像に施すことで、例えば被写体を明瞭に表示する等の各種画像処理が可能である。
例えば、特許文献1においては、輪郭の表現力をより高めることが可能な画像処理技術を提供する提案が開示されている。また、特許文献2においては、撮像した画像から不要な像を自動的に除去して画像を生成する画像生成方法、画像生成装置を提供する技術が開示されている。
特開2009−6408号公報 特開2005−12660号公報
しかしながら、特許文献1においては、オブジェクトが配置された仮想三次元空間を透視投影して基礎画像データを生成しており、極めて複雑な演算処理が必要である。
また、特許文献2の提案は、所定の時間間隔で3枚の画像を連続して撮像するものであり、3枚の画像のうち、2枚の画像以上で一致する部分を抽出して画像を合成する。これにより、被写界にたまたま通りがかりの第三者が入ったとしても、動きのある第三者の像は除去され、利用者と所望の風景のみが撮影された画像を得ることができる。しかしながら、特許文献2の提案においては、動きのある第三者を除去することしかできず、必ずしも注目対象物を際立たせる画像が得られるとは限らない。
本発明は、直感的な操作と簡単な画像処理によって、注目対象物を際だたせた撮影を可能にすることができる撮影機器、撮影方法及び撮影制御プログラムを提供することを目的とする。
本発明に係る撮影機器は、被写体を相互に異なる視点から撮像して複数の撮像画像を取得する撮像部と、上記複数の撮像画像に基づいて上記撮像画像中の特定部分である特定部及び上記特定部以外の部分を決定する画像比較部と、上記特定部と上記特定部以外の部分とで異なる画像処理を行って特殊画像を生成する画像生成部とを具備する。
また、本発明に係る撮影方法は、被写体を相互に異なる視点から撮像して複数の撮像画像を取得する撮像ステップと、上記複数の撮像画像に基づいて上記撮像画像中の特定部分である特定部及び上記特定部以外の部分を決定する画像比較ステップと、上記特定部と上記特定部以外の部分とで異なる画像処理を行って特殊画像を生成する画像生成ステップとを具備する。
また、本発明に係る撮影制御プログラムは、コンピュータに、被写体を相互に異なる視点から撮像して複数の撮像画像を取得する撮像ステップと、上記複数の撮像画像に基づいて上記撮像画像中の特定部分である特定部及び上記特定部以外の部分を決定する画像比較ステップと、上記特定部と上記特定部以外の部分とで異なる画像処理を行って特殊画像を生成する画像生成ステップとを実行させる。
本発明によれば、直感的な操作と簡単な画像処理によって、注目対象物を際立たせた撮影を可能にすることができるという効果を有する。
本発明の第1の実施の形態に係る撮影機器の回路構成を示すブロック図。 第1の実施の形態において生成される撮像画像を示す説明図。 本発明の第2の実施の形態を示すブロック図。 別視点連写部2からの2つの撮像画像31a,31bを示す説明図。 第2の実施の形態を説明するための説明図。 注目被写体の指定方法の一例を説明するための説明図。 加工部検出部13dによる加工部の決定方法を示すフローチャート。 加工部決定方法を説明するための説明図。 第1の実施の形態の動作を説明するためのフローチャート。 第2の実施の形態によって得られる撮像画像を示す説明図。 本発明の第3の実施の形態において採用される動作フローを示すフローチャート。 注目被写体と背景との分離方法を説明するための説明図。 注目被写体と背景との分離方法を説明するための説明図。 第3の実施の形態において生成される合成画像を示す説明図。 加工の一例を示す説明図。 本発明の第4の実施の形態において採用される動作フローを示すフローチャート。 第4の実施の形態における表示を説明するための説明図。 露出制御を説明するための説明図である。
以下、図面を参照して本発明の実施の形態について詳細に説明する。
(第1の実施の形態)
図1は本発明の第1の実施の形態に係る撮影機器の回路構成を示すブロック図である。本実施の形態は撮像画像中の注目対象物(注目被写体)を際立たせる画像加工を可能にする。例えば、本実施の形態においては、注目被写体の周囲に後光が差すような画像加工が可能であり、ユーザの簡単な操作によって、画像加工を制御することを可能にする。
本実施の形態の撮影機器1は、別視点連写部2、画像比較部3及び画像生成部4によって構成されている。別視点連写部2は、図示しない注目被写体に対して、異なる複数の視点から撮影を行うことができるようになっている。例えば、別視点連写部2は、撮像素子を有する撮像部によって構成することができ、ユーザが撮像部を注目被写体に対して移動させる期間において、複数回の連写を行うことで、注目被写体を異なる視点から複数回撮影することが可能である。
なお、本実施の形態における別視点による連写は、後述する強調部決定、加工部決定、強調部生成及び加工部生成のうちの少なくとも1つの処理を行うために実施される。
別視点連写部2からの撮像画像は画像比較部3及び画像生成部4に与えられる。画像比較部3は、強調部決定部3a及び加工部決定部3bによって構成される。強調部決定部3aは、入力された撮像画像から際立たせる部分である注目被写体の画像部分(以下、強調部又は特定部という)を検出する。強調部決定部3aは、撮像画像の各部の画像特徴から注目被写体を検出するようにしてもよく、また、ユーザ操作に基づいて注目被写体を検出してもよい。更に、強調部決定部3aは、別視点連写部2において、注目被写体に対する別視点での撮影を可能にする視点移動のためのユーザ操作を利用して、注目被写体を検出するようにしてもよい。
加工部決定部3bは、注目被写体を際立たせるために、注目被写体の周囲に画像加工を施す画像部分(以下、加工部という)を決定する。加工部決定部3bは、強調部決定部3aから強調部の情報が与えられて、強調部の周囲に加工部を設定する。加工部決定部3bは、強調部の周囲に、予め決められたサイズ及び形状の加工部を決定してもよい。また、加工部決定部3bは、ユーザ操作に基づいて加工部を決定してもよい。更に、加工部決定部3bは、別視点連写部2において、注目被写体に対する別視点での撮影を可能にする視点移動のためのユーザ操作を利用して、加工部を決定するようにしてもよい。
画像比較部3は、強調部及び加工部に関する情報を画像生成部4に出力する。画像生成部4は、強調部生成部4a及び加工部生成部4bによって構成される。画像生成部4には、別視点連写部2から連写された複数の撮像画像が入力される。
強調部生成部4aは、入力された撮像画像のうちの1つ又は複数の撮像画像中の注目被写体の画像部分に基づいて強調部の画像を生成する。例えば、強調部生成部4aは、いずれか1枚の撮像画像から強調部の画像を生成してもよく、全ての撮像画像を強調部の画像位置が一致するように合成することで、強調部の画像を生成してもよい。
加工部生成部4bは、加工部の画像を生成する。例えば、加工部生成部4bは、予め用意された画像を加工部の画像としてもよい。また、加工部生成部4bは、注目被写体の周囲の背景画像を加工部の画像としてもよい。例えば、いずれか1枚の撮像画像について注目被写体の周囲の画像部分を画像加工することで加工部の画像を生成してもよく、また、全ての撮像画像を強調部の画像位置が一致するように合成することで、加工部の画像を生成してもよい。
次に、このように構成された実施の形態の動作について図2を参照して説明する。図2は本実施の形態において生成される撮像画像を示す説明図である。
別視点連写部2は、例えば人物等の注目被写体を撮影範囲に捉えた状態で、異なる複数の視点から撮影を行う。例えば、ユーザが別視点連写部2を構成する撮像部を注目被写体に対して移動させながら連写操作を行うことによって、注目被写体を異なる視点から複数回撮影する。別視点連写部2からの撮像画像は画像比較部3及び画像生成部4に与えられる。
画像比較部3の強調部決定部3aは、注目被写体の画像部分である強調部を検出する。また、加工部決定部3bは、注目被写体の周囲に画像加工を施す画像部分である加工部を決定する。
画像生成部4の強調部生成部4aは、入力された撮像画像のうちの1つ又は複数の撮像画像中の注目被写体の画像部分に基づいて強調部の画像を生成する。例えば、強調部生成部4aは、連写によって得られた複数の撮像画像を強調部の画像位置が一致するように合成することで、強調部の画像を生成する。また、加工部生成部4bは、加工部の画像を生成する。例えば、加工部生成部4bは、予め用意された画像を加工部の画像とする。
図2は画像生成部4によって生成された撮像画像5を示しており、注目被写体である人物の画像6が強調部に設定された例である。画像6の周囲、例えば顔の周囲には、加工部7が設定されており、加工部生成部4bによって、加工部7の領域内には加工部の画像8が生成されている。
例えば、加工部7の画像8は、人物の画像6の顔部に後光が差した様子を示したものであり、人物の画像6、即ち、強調部を際立たせた表示となっている。
このように本実施の形態においては、ユーザが直感的な操作と簡単な画像処理によって、注目対象物を際立たせた撮影を可能にすることができる。
(第2の実施の形態)
図3は本発明の第2の実施の形態を示すブロック図である。本実施の形態は図1の撮影機器を具体的に示すものである。本実施の形態は、別視点による連写によって、加工部決定処理を行う例を示している。
撮影機器10には、前面に撮影光学系11が設けられている。撮影光学系11は、撮像部12に被写体像を導く。撮影光学系11は、ズームやフォーカシングのための図示しないレンズ等を備えており、これらのレンズは信号処理及び制御部13によって駆動制御されるようになっている。撮影光学系11は、信号処理及び制御部13によって、ピント位置、ズーム位置及び絞り等が制御される。
撮影機器10は、CCDやCMOSセンサ等の撮像素子によって構成された撮像部12を有している。撮像部12は、撮影光学系11からの被写体像を光電変換して撮影画像を得る。撮像部12は、信号処理及び制御部13によって駆動制御されて撮像画像を出力する。
信号処理及び制御部13は、例えば、図示しないCPU等によって構成されており、メモリに記憶されたプログラムに従ってカメラ制御を行う。信号処理及び制御部13は、撮像部12に撮像素子の駆動信号を出力してシャッタースピード、露光時間等を制御すると共に、撮像部12からの撮影画像を読み出す。信号処理及び制御部13は、読み出した撮影画像に対して、所定の信号処理、例えば、色調整処理、マトリックス変換処理、ノイズ除去処理、その他各種の信号処理を行う。
撮影機器10には、操作判定部14も配設されている。操作判定部14は、撮影機器10に設けられた図示しないシャッターボタン、ファンクションボタン、撮影モード設定等の各種スイッチ等を含む操作部に対するユーザ操作に基づく操作信号を発生して、信号処理及び制御部13に出力するようになっている。信号処理及び制御部13は、操作信号に基づいて、各部を制御する。
信号処理及び制御部13は、撮像画像の記録及び再生に関する処理を行うことができる。例えば、信号処理及び制御部13は、信号処理後の撮影画像を圧縮処理し、圧縮後の画像を記録部15に与えて記録させることができる。記録部15としては、例えばカードインターフェースを採用することができ、記録部15はメモリカード等の記録媒体に画像情報及び音声情報等を記録可能である。
信号処理及び制御部13の表示制御部13aは表示に関する各種処理を実行する。表示制御部13aは、信号処理後の撮影画像を表示部16に与えることができる。表示部16は、LCD等の表示画面を有しており、表示制御部13aから与えられた画像を表示する。また、表示制御部13aは、各種メニュー表示等を表示部16の表示画面に表示させることもできるようになっている。
信号処理及び制御部13は、記録部15に記録されている撮像画像を読み出して伸張処理することができる。表示制御部13aは伸張処理された撮像画像を表示部16に与えることで、記録画像の再生が可能である。
表示部16は、後述するように、撮像画像を表示する表示画面16bを有している。また、表示画面16b上には、タッチパネル16aが設けられている。タッチパネル16aは、ユーザが指で指し示した表示画面16b上の位置に応じた操作信号を発生することができる。この操作信号は、信号処理及び制御部13に供給される。これにより、信号処理及び制御部13は、ユーザが表示画面16b上をタッチしたりスライドさせたりした場合には、ユーザのタッチ位置、指を閉じ離間させる操作(ピンチ操作)、スライド操作やスライド操作によって到達した位置、スライド方向、タッチしている期間等の各種操作を検出することができ、ユーザ操作に対応した処理を実行することができるようになっている。
なお、表示部16は、撮影機器10の例えば背面の略全域を占めるように配設されており、撮影者は、撮影時に表示部16の表示画面16b上に表示されたスルー画を確認することができ、スルー画を確認しながら撮影操作を行うこともできる。
撮影機器10には、加速度判定部17が設けられている。加速度判定部17は、ジャイロセンサ、加速度センサ等によって構成されており、撮影機器10を収納する筐体の動きを検出することができるようになっている。加速度判定部17の判定結果は信号処理及び制御部13に与えられる。
信号処理及び制御部13には、連写制御部13bが設けられている。連写制御部13bは、撮像部12における連写期間及び連写間隔等を制御する。例えば、連写制御部13bは、ユーザが指定した期間を連写撮像期間に設定してもよい。また、連写制御部13bは、ユーザが撮影機器10の筐体を移動させたことを示す加速度判定部17の判定結果が与えられると、連写開始を撮像部に指示することもできるようになっている。
本実施の形態においては、信号処理及び制御部13は、注目被写体等の強調部及び強調部の周囲に設定される加工部のうちの少なくとも一方の画像を画像処理することで、強調部を際立たせた撮像画像を得る強調モードでの動作が可能となっている。強調モードを実現するために、信号処理及び制御部13は、連写制御部13bによる連写制御によって得られた複数の撮像画像を記録部15の仮記録部15aに与えて仮記録させるようになっている。
信号処理及び制御部13は、第1の実施の形態における画像比較部3及び画像生成部4と同様の機能を実現可能である。強調部検出部13cは、撮像部12からの撮像画像中の強調部を検出し、加工部検出部13dは、撮像部12からの撮像画像中の加工部を検出する。
次に、図4乃至図6の説明図を参照して、本実施の形態における強調部及び加工部の検出方法を説明する。図4は別視点連写部2からの2つの撮像画像31a,31bを示している。撮像画像31a,31bは、相互に別視点から同一被写体に向けた撮像により得られたものである。撮像画像31a,31bは、同一の人物の撮影によって得られた画像32a,32bを夫々含む。画像32aは撮像画像31aの中央の右側に位置し、画像32bは撮像画像32bの中央の左側に位置する。また、撮像画像31a,31bの背景部分は、例えば1色で塗られた壁等であるものとする。撮像画像31a,31b中の背景画像33は、いずれもコントラスト変化が小さい。
図5は図4(a),(b)の画像32a,32bの画像位置が一致するように、画像31a,31bを合成して得た合成画像34を示すと共に、横軸に画面水平位置をとり縦軸に像信号のレベルをとって、合成画像34中の人物の画像32の顔部の水平位置における像信号の変化を示している。図5に示すように、人物の画像32の顔部の水平位置(破線)における像信号は、顔部の位置においてのみ変化を有し、他の部分(背景部分)は殆ど変化がない。
このように、背景が壁等のように色の変化がない場合には、像信号のコントラストが比較的高い部分を注目被写体である強調部であると判定し、コントラストが十分に低い部分を背景であるものと判定することができる。画像32の顔部の位置から矢印にて示す周辺方向の各画像部分において、コントラストが十分に低い部分(以下、ローコントラスト部という)を判定し、コントラストが比較的高い部分とローコントラスト部との境界を、注目被写体と背景との境界であるものとする。
なお、比較的コントラストが大きい顔部の周辺近傍の色が、画面周辺まで続いているか否かによってローコントラスト部を判定してもよい。また、画面周辺部(図5の破線で囲った部分等)において比較的コントラストが高い部分がある場合でも、この部分を含みコントラストが十分に低い部分をローコントラスト部と判定してもよい。
図6は注目被写体の指定方法の一例を説明するものである。図6に示すように、撮影機器10の筐体10aの背面には、表示画面16bにタッチパネル16aが配設された表示部16が設けられている。ユーザは表示画面16bに表示された撮像画像31a中の人物の画像32aの位置のタッチパネル16aを指35でタッチすることで、画像32aの画像位置を指定することができる。強調部検出部13cは、ユーザがタッチ指定した部分を注目被写体に設定する。
また、強調部検出部13cは、ユーザ操作によらずに、公知の顔検出手法によって検出された顔部分を注目被写体(強調部候補)に設定してもよく、また、画面中央部の画像を注目被写体に設定してもよい。強調部検出部13c及び加工部検出部13dは、合成画像34中の注目被写体である人物の画像32及びその周辺のコントラストの変化によって、強調部と背景との境界を求める。強調部検出部13cは、コントラストの変化によって求めた強調部に関する情報を画像合成及び補正部13eに出力する。
強調部と加工部との境界は、コントラストの変化によって検出される。本実施の形態においては、加工部検出部13dは、加工部の外側の範囲を、ユーザによる別視点連写操作によって決定する。
図7は加工部検出部13dによる加工部の決定方法を示すフローチャートであり、図8は加工部決定方法を説明するための説明図である。加工部検出部13dは、図7のステップS1において、連写制御部13bによる別視点連写制御によって得られた複数の画像を取得する。加工部決定部3bは、取得した複数の画像を合成する。
図8(1a),(1b)はユーザが図4と同一の注目被写体である人物を撮影範囲に捉えた状態で、撮影機器10を回転させながら注目被写体を撮像した場合の合成画像41a,41bを示している。図8(1a)はユーザが撮影機器10を比較的小さい円を描くように回転させながら撮像を行った例を示し、図8(1b)はユーザが撮影機器10を比較的大きな円を描くように回転させながら撮像を行った例を示している。
加工部検出部13dは、合成画像41a,41b内の各注目被写体を含む領域を囲む枠線(破線部)42a,42bを設定する。そして、加工部検出部13dは、枠線42a,42bを加工部の外側境界とする(ステップS2)。即ち、外側境界の大きさは、ユーザが別視点連写に際して例えば円を描くように撮影機器10を移動させた場合の円の大きさに対応したものとなる。
次に、加工部検出部13dは、強調部候補の画像位置が一致するように別視点連写によって得られた画像を合成し、強調部候補とその周辺のコントラストの変化によって、強調部とローコントラスト部との境界を求める(ステップS3)。加工部検出部13dは、強調部とローコントラスト部との境界を、加工部の内側境界に設定する(ステップS4)。
こうして、図8(3a)の例では、注目被写体である強調部43とローコントラスト部との境界と、枠線42aとによって囲まれた領域が加工部44aに設定される。また、図8(3b)の例では、強調部43とローコントラスト部との境界と、枠線42bとによって囲まれた領域が加工部44bに設定される。
画像合成及び補正部13eは、加工部の画像を生成する。画像合成及び補正部13eは、加工部の画像として強調部43を際立たせるような画像、例えば、強調部43に後光が差したような印象を与える画像を採用して、強調部43を際立たせる。なお、加工部検出部13dは、強調部43及び図7のフローによって求めた加工部44a,44b以外の領域を加工部に設定してもよい。
次に、このように構成された実施の形態の動作について図9及び図10を参照して説明する。図9は第1の実施の形態の動作を説明するためのフローチャートであり、カメラ制御を示している。また、図10は第2の実施の形態によって得られる撮像画像を示す説明図である。
撮影機器1の電源が投入されると、信号処理及び制御部13は、図9のステップS1において撮影モードが指示されたか否かを判定する。撮影モードが指示されていない場合には、信号処理及び制御部13は、ステップS12において、再生画像が指定されているか否かを判定する。再生画像が指定されると、信号処理及び制御部13は、ステップS13において指定された画像の再生を行う。
撮影モードが指示されると、信号処理及び制御部13は、ステップS21において、撮像部12に撮像を開始させると共に、被写体の判定を開始する。信号処理及び制御部13は、撮像部12からの撮像画像に所定の画像処理を施す。表示制御部13aは、画像処理後の撮像画像を表示部16に与えてスルー画表示させる。
次に、信号処理及び制御部13は強調モードが指定されているか否かを判定する(ステップS22)。強調モードが指定されていない場合には、通常モードでの撮影が行われる。即ち、信号処理及び制御部13は、ステップS23において、撮影を行うためのレリーズ操作やタッチ操作等が行われたか否かを判定する(ステップS23)。レリーズ操作等があった場合は、信号処理及び制御部13は撮影を行い、撮像画像を記録部15に与えて記録する(ステップS24)。
強調モードが指示されている場合には、ステップS25において、強調部を指定するためのタッチ操作があったか否かを判定する。強調部を指定するためのタッチ操作があった場合には、強調部検出部13cは、タッチ操作よって指定された部分を強調部候補に設定する(ステップS26)。また、強調部を指定するためのタッチ操作がない場合には、強調部検出部13cは、予め定められた所定の領域を強調部候補に設定する。例えば、強調部検出部13cは、画面の中央の顔部や、画面中心部等を強調部候補に設定する。なお、強調部検出部13cは、撮影機器の移動によって希望しない被写体が強調部候補になることを防止するために、ユーザが被写体に向けて撮影機器10を構えたことを加速度判定部17の判定結果によって検出した後に、1回だけ強調部候補を設定するようにしてもよい。
次に、連写制御部13bは、ステップS28において、撮像部12に連写を開始させるためのユーザの指示操作が発生したか否かを判定する。例えば、連写制御部13bは、ユーザが構えの姿勢をとった後に撮影機器を移動させる操作をしたことを、加速度判定部17の判定結果や画像解析によって検出すると、撮像部に対する連写の開始指示が発生したものと判定してもよい。例えば、連写制御部13bは、手ぶれが所定期間生じることなく、被写体を撮像している状態が所定期間継続することで、ユーザが被写体に向かって撮影機器を構えている状態を判定することができる。
また、連写制御部13bは、構え及び動き判定によって自動的に連写を開始させるだけでなく、ユーザが手動でレリーズ操作を行ったことを検出することで、撮像部に対する連写の開始指示があったものと判定してもよい。なお、ステップS28の連写開始指示の判定を省略して、強調モード後にいきなり連写を開始するようにしてもよい。
連写制御部13bは、ユーザによる連写指示があったものと判定すると、ステップS29において、撮像部12に連写指示を与える。これにより、撮像部12は、所定の時間間隔で連写を行う。連写期間においては、ユーザは撮影機器10を移動させており、注目被写体に対して別視点での連写が行われる。信号処理及び制御部13は、連写によって順次得られる撮像画像に対して所定の信号処理を施した後、仮記録部15aに与えて記録させる。
次に、連写制御部13bは、ステップS30において、ユーザによる連写終了の指示が発生したか否かを判定する。例えば、連写制御部13bは、ユーザが撮影機器の振動(移動)を停止させた操作を加速度判定部17等の判定結果によって検出すると、連写終了の指示が発生したものと判定してもよい。連写制御部13bは、ユーザによるレリーズ操作を検出することによって、連写終了の指示が発生したものと判定してもよい。
連写終了の指示が発生するまでは、ステップS31〜S35の処理が繰り返される。即ち、ステップ31においては、強調部及び加工部が設定される。信号処理及び制御部13は、強調部候補及びその周囲のコントラストを判定して、ローコントラスト部を求め、ローコントラスト部を加工部の内側境界とする。また、ユーザによる撮影機器の移動の範囲によって、加工部の外側境界を求める。加工部検出部13dは、内側境界と外側境界とによって囲まれた範囲を加工部に設定する。また、強調部検出部13cは、強調部候補とローコントラスト部との境界を強調部の範囲として、強調部を設定する。
画像合成及び補正部13eは、連写によって撮像画像が入力される毎に、注目被写体の画面位置を一致させながら撮像画像を合成する(ステップS33)。また、画像合成及び補正部13eは、加工部に強調部を際立たせるための画像処理を施す(ステップS34)。画像合成及び補正部13eは、合成画像を表示制御部13aに与えて表示部16に表示させる(ステップS35)。
連写終了の指示が発生するまで、ステップS31〜S35の処理が繰り返されて、強調部の画像及び加工部の画像が生成される。連写終了の指示が発生すると、連写制御部13bは、撮像部12に連写の終了を指示する。これにより、画像合成及び補正部13eは、それまでに合成した画像を記録部15に与えて記録する(ステップS36)。
図10はこうして得られた撮像画像の一例を示している。強調部検出部13cによって設定された強調部は、画像合成されることで強調され、加工部検出部13dによって設定された加工部には、強調部を際立たせるための画像処理が施されている。
図10(a)は、ユーザが比較的小さい円を描きながら連写を行った場合の撮像画像51aを示しており、図10(b)は、ユーザが比較的大きい円を描きながら連写を行った場合の撮像画像51bを示している。撮像画像51aは、注目被写体である強調部43の周囲に、ユーザ操作に基づくサイズ及び形状の加工部52aが形成され、加工部52aに画像処理が施されていることを示している。また、撮像画像51bは、注目被写体である強調部43の周囲に、ユーザ操作に基づくサイズ及び形状の加工部52bが形成され、加工部52bに画像処理が施されていることを示している。また、
すなわち、ユーザは注目被写体を撮影範囲に収めた状態で、注目被写体に対して例えば円を描くように撮影機器を回転させるという簡単な操作によって、連写の開始及び加工部の範囲を設定することができる。この連写期間においては、注目被写体である強調部(特定部)が強調され、加工部において強調部を際立たせる画像処理が施される。連写期間における画像合成及び補正部からの合成画像は表示制御部によって表示部16の表示画面上に表示されており、ユーザは自分の操作によって、どのような合成画像が得られるかを確認しながら、連写操作を行うことができる。
このように本実施の形態においては、ユーザが例えば撮影機器を回転させるという簡単な操作によって、注目被写体を強調するとともに、注目被写体の周囲にユーザの撮影機器の回転操作に応じた位置、サイズ及び形状の加工部を設定して、この加工部に注目被写体を際立たせる画像処理を施すことが可能である。このように、直感的な操作と簡単な画像処理によって、注目対象物を際立たせた撮影が可能である。
なお、図9の例では、連写により撮像画像が得られる毎に、加工部に画像処理を施す例を示したが、連写の最初で得られた撮像画像のみに加工部の画像処理を施すようにしてもよい。
(第3の実施の形態)
図11は本発明の第3の実施の形態において採用される動作フローを示すフローチャートである。図11において図9と同一の手順には同一符号を付して説明を省略する。本実施の形態のハードウェア構成は第2の実施の形態と同様である。
第2の実施の形態においては、背景が壁等の一様な画像であるものとして、強調部候補及びその周辺の部分について比較的コントラストが高い部分とローコントラスト部との境界を求めることで、注目被写体である強調部と背景とを分離可能にした。しかしながら、注目被写体の背景のコントラストが比較的高い場合には、コントラストの比較によっては注目被写体と背景とを分離することはできない。
そこで、本実施の形態においては、別視点連写のためのユーザの撮影機器の移動操作(別視点連写操作)を利用して、注目被写体である強調部と背景との分離を行うようになっている。
図12及び図13は注目被写体と背景との分離方法を説明するための説明図である。図12はユーザが別視点連写操作を行っている様子を示している。図12に示すように、ユーザ61は手62で撮影機器の筐体10aを把持し、人物である注目被写体65を撮影範囲に収めた状態で、撮影機器10を矢印に示すように左右に移動させながら連写による撮影を行っている。図12の例では、注目被写体65の背景には、1本の樹木66が立っている。
図13(a),(b)は図12の例において、撮影機器10のレンズ10b、注目被写体65及び背景である樹木66との光学的な位置関係を示しており、図13(c),(d)はそれぞれ図13(a),(b)の状態での撮像画像を示している。図13(a),(b)は、破線直線は光軸を示し、実線矢印によって、注目被写体65及び樹木66からの光線がレンズ10bを介して撮像素子の撮像面12aに入射する様子を示している。
図13(a)は撮影機器10を被写体に向かって左側に構えた場合を示し、樹木66からの光は注目被写体65からの光よりも左側からレンズ10bに入射することを示している。また、図13(b)は撮影機器10を被写体に向かって右側に構えた場合を示し、樹木66からの光は注目被写体65からの光よりも右側からレンズ10bに入射することを示している。ユーザが撮影機器10を左右に移動させて撮影を行うことにより、別視点での撮影が行われ、これらの撮影の視差により、注目被写体65と背景の樹木66との距離に応じて、注目被写体65及び背景である樹木66の画像の撮像画像中における位置に変化が生じる。
図13(c)は図13(a)に対応した撮像画像68aを示しており、注目被写体65の画像65aの左側に背景である樹木66の画像66aが表示されている。また、図13(d)は図13(b)に対応した撮像画像68bを示しており、注目被写体65の画像65bの右側に背景である樹木66の画像66bが表示されている。
このように、注目被写体を基準にすると、別視点連写した各画像は、背景の画像位置が変化する。従って、別視点で連写された複数の撮像画像について、注目被写体の画像位置を一致させながら合成画像を生成すると、注目被写体は同一画像であるので強調されるのに対し、背景は画像位置が変化することから異なる画像として合成されて、背景部分は輪郭がぼけた画像や、形状を有しない画像等になる。これにより、注目被写体部分と背景部分とを分離することができると共に、注目被写体を強調し背景を不明瞭にして、背景部分によって注目被写体を際立たせる表示にすることができる。
本実施の形態においては、このような背景の合成画像を、注目被写体部分である強調部の周囲に表示する加工部として利用するようになっている。別視点連写のためのユーザの撮影機器の移動範囲に応じて、背景の模様が変化することになり、ユーザは撮影機器を動かしながら、生成される模様の変化を確認しながら加工部を形成することができる。加工部は、合成によって形状が失われて背景がかすんでしまったような画像となり、強調部を際立たせることに役立つ。
図14は本実施の形態において生成される合成画像を示す説明図である。図11のフローは、連写開始から連写終了までの処理が図9のフローと異なるのみである。連写の開始から終了までの期間において、ステップS41〜S45の処理が繰り返される。即ち、ステップS41においては、仮記録部15aに記録されている1又は複数の撮像画像の読み出しが行われる。次に、画像合成及び補正部13eは、注目被写体である強調部の候補の画像の画像位置を一致させた状態で、読出した画像を合成する(ステップS42)。なお、2回目移行の画像合成においては、前回の合成処理によって得た合成画像と新たに読出した撮像画像との合成が行われる。
図14(a)乃至(c)は連写による3つの撮像画像71a〜71cを示している。これらの撮像画像71a〜71cは、別視点で撮像されていることから、人物である注目被写体の画像72を基準にすると、背景である樹木の画像73a〜73cは、夫々撮像画像中の位置が異なる。なお、撮像画像71a〜71cは、左右方向だけでなく上下方向に撮影機器を移動させて得たものである。
合成処理においては、同一画像である注目被写体の部分は強調部(指定部画像、または特定部画像)として、同一画像位置に重ねて合成される。これにより、注目被写体と背景とが分離され、強調部と加工部とが決定されると共に、強調部(指定部画像、または特定部画像)は強調処理される(ステップS43)。この強調という表現は、像を重ねてブレがないようにしたり、像を重ねて露出量を適正にしたり、特定の値にしたりしているが、コントラストや彩度を上げたり、補助的な画像効果を付与しても良い。もちろん、像を重ねるのは必須ではない。この場合、適正な像を取得しておき、後で重ねるような処理を用いても良い。
図14(d)はこれらの撮像画像71a〜71cを合成して得た撮像画像71dを示している。撮像画像71dは、注目被写体の画像72の画像位置を一致させた状態で合成が行われており、合成された樹木の画像73a’〜73c’は相互に異なる位置に表示されている。注目被写体の画像72は画像位置が一致しており、強調されている。
一方、背景部分である加工部は、撮影機器の移動範囲に応じて、樹木の画像73a'〜73c'の位置は相互に異なり、注目被写体の画像72の周囲に配置されて、注目被写体に後光が差したような印象の画像に変化する(ステップS44)。視差の影響で、一致する画像部を重ねれば、画面上の背景部分の相対位置は変化するので、重ねて合成することは出来ないという原理を利用している。重なる部分は露出もブレもなくなるが、重ならない部分は、露出も不適切、かつブレた画像となる。このような特徴を持つ領域を動きベクトルや画像比較などで検出しても良い。このように判定された部分を、特定部以外の画像と呼んでも良い。つまり、ここでの画像処理は、相互に異なる視点からの撮影による画像変化の傾向に従って、上記特定部以外の画像を加工するものとなっている。異なる視点での撮影で、背景は自然に分離されることとなる。ただし、背景にコントラストがない場合は、この背景判定が困難なので、カメラの動き情報などや、別の部位の動きの傾向を利用して補助しても良い。
ステップS45では、合成画像が表示部16に与えられて表示される。以後、連写の終了指示が行われるまで、ステップS41〜S45が繰り返される。ユーザは、撮影機器10を移動させて別視点連写を行いながら、その結果として得られる合成画像を表示部16の表示画面16b上において確認することができる。図14(e)は、別視点連写の結果最終的に得られる合成画像71eを示している。合成画像71eには、注目被写体の画像72の周囲に、樹木の画像が集まって、後光の印象を与える画像74が生成されている。
なお、ステップS44においては、単に背景の画像を合成して加工部を得るものと説明したが、加工部の画像部分に所定の画像処理(これは、強調部や特定部と異なる処理である方が目立つ処理となる)を施すことにより、注目被写体を一層際立たせた画像にすることも可能である。
図15はこの場合の加工の一例を示す説明図である。図15(a)に示す撮像画像75aは単なる合成のみを行った画像であり、注目被写体である強調部(特定部)76は画像合成により強調され、背景は画像位置が変化した状態で合成された加工部を構成する。加工部中の樹木の画像77aは、元の撮像画像を合成して得られたものである。一方、図15(b)に示す撮像画像75bは加工部中の樹木の画像77bは、画像合成及び補正部13eによって画像処理が施されている。なお、図15の斜線はハッチング間隔の相違によって異なる画像であることを示しており、例えば樹木の画像77bは、画像の輝度や彩度を高くしたりして生成されており、加工部において後光の印象を一層高めることを可能にしている。
また、注目被写体である強調部のみに加工を行ってもよく、強調部と加工部との両方に異なる処理を施してもよい。また、第2の実施の形態と同様に、強調部の周囲に、予め所定の位置、形状及びサイズの加工部を設定し、設定した加工部に元の撮像画像とは無関係の任意の画像を貼り付けるようにしてもよい。
このように本実施の形態においては、ユーザが例えば撮影機器を回転させるという簡単な操作によって、注目被写体を強調するとともに、注目被写体の周囲にユーザの撮影機器の回転操作に応じた模様の加工部を生成することができ、加工部によって注目被写体を際立たせることが可能である。このように、直感的な操作と簡単な画像処理によって、注目対象物(指定部画像、または特定部画像)を際立たせた撮影が可能である。回転は、画像の変化から検出しても良いし、加速度センサなど、カメラの動きそのものを検出するセンサを利用して、その出力から判定しても良い。
(第4の実施の形態)
図16は本発明の第4の実施の形態において採用される動作フローを示すフローチャートである。図14において図9と同一の手順には同一符号を付して説明を省略する。本実施の形態のハードウェア構成は第2の実施の形態と同様である。
第2及び第3の実施の形態においては、画像合成及び補正部13eによって生成した合成画像を表示部16に与えて表示させることができる。更に、本実施の形態においては、合成画像の生成時だけでなく、スルー画表示時においても、合成画像の表示を可能にするものである。
図17は本実施の形態における表示を説明するための説明図であり、図18は露出制御を説明するための説明図である。
図17は図12の撮影時におけるスルー画表示を示している。表示部16の表示画面16b上には、撮像画像81が表示されている。撮像画像81は、中央に人物である注目被写体65の画像82が表示され、画像82の近傍には樹木66の画像83が表示されている。ここで、撮影者が、表示画面16bに配設されたタッチパネル16aをタッチすることで、強調部検出部13cは、人物の画像82を強調部候補に設定することができる。
本実施の形態においては、スルー画表示の状態で、後述する強制流し撮りモードが指定されると、以後のスルー画は、強調部を例えばタッチ時点における画面位置又は画面中央部に配置した状態で、背景の位置がずらされた表示が行われる。更に、スルー画表示のために連続撮影されている撮像画像を所定期間仮記録部15aに記録して、強調部の位置を固定しながら画像合成を行った後表示させることで、画像合成及び補正部13e及び表示制御部13aによって、図17(b)に示す撮像画像を表示することができる。図17(b)の撮像画像85は、強調部である画像82の位置を固定した状態で撮像画像を合成して得たものであり、背景には樹木66の複数の画像による合成樹木画像86が表示されている。
このような撮影方法は、所謂「流し撮り」と同様に、注目被写体を固定して背景を動かすような撮影方法となるが、「流し撮り」の場合注目被写体の動きを追うのに対し、このモードにおける撮影方法は、視差を利用して注目被写体(強調部)像を撮影者が背景に対し動かすところに特徴がある。いわば、「強制流し撮り」とも言える。「流し撮り」が、移動する特定の被写体を追うことで、背景(特定の被写体以外)と異なる画像表現になるのと同じように、この発明も、特定の被写体をそれ以外と異なる表現にでき、流し撮りが、被写体の移動方向で効果が変わるように、上記画像処理は、上記相互に異なる視点からの撮影による画像変化の傾向に従って、上記特定部以外の画像を加工することが可能となる。
この場合において、合成する撮像画像が最初の一枚から次第に増加したとしても、同様の露光量となるように制御して、表示を均等に見せる必要がある。そこで、本実施の形態においては、画像合成及び補正部13eは、仮記録部15aに順次記録される連写画像の記録時又は合成時に、図18に示す露出制御を行う。
図18は横軸に画面水平方向の位置をとり縦軸に像信号をとって、スルー画時に撮影された3つの撮像画像とその合成画像を示している。図18(a)乃至(c)は夫々画像A〜Cの像信号を示し、図13(d)は合成画像の像信号を示している。なお、上記各実施の形態においても、図18と同様の露光制御は行われている。
図18(a)乃至(c)に示す顔部の位置における波形は、共通の人物の顔部の撮像結果を示している。図18(a)乃至(c)に示すように、撮像画像A〜Cにおける各顔部の水平方向の位置は相互に異なる。本実施の形態においては、強調部である顔部の位置を一致させた状態で合成を行う。この場合において図18(a)乃至(c)に示す適正レベルの像信号を加算すると、図18(d)に示すように、レベルが適正レベルよりも高い合成画像Daが得られる。この合成画像Daのレベルを1/3倍することで、適正レベルの像信号Dbが得られる。
また、合成する撮像画像の数(合成数)が既知である場合には、事前に各撮像画像のレベルを1/合成数だけ増幅(減衰)させた後、減衰させた各撮像画像を合成してもよい。この場合には、各撮像画像の像信号レベルを低くすることができ、露光時間を短縮することができるという利点がある。なお、露光時間が短すぎる場合には、強調部を検出するだけの十分の露光量が得られないことが考えられるので、合成数に応じて合成後に減衰させるか合成前の各画像を減衰させるかを決定する。
図16はこのような露光制御を行う場合のフローを示している。図16のステップS51において、強制流し撮りモードが指定されたか否かが判定される。強制流し撮りモードが指定された場合には、次に合成回数が選択されたか否かが判定される(ステップS52)。合成回数が選択されている場合には、ステップS53においてその回数(合成回数)nが取得される。次に、ステップS54において撮影開始操作が検出されると、連写が開始されて、連写による撮像画像が仮記録部15aに与えられて記録される(ステップS55)。
次のステップS56では、合成回数の指定が有るか否かが判定される。合成回数の指定がない場合には、ステップS57においてユーザによる撮影停止動作が発生したか否かが判定される。ユーザによる撮影停止動作が発生するまでは、ステップS58の処理が繰り返される。即ち、適正露出連写で撮像が行われ、画像合成及び補正部13eは、強調部を重ねて合成し、合成画像を合成数分の1で増幅した後合成画像を表示制御部13aに与えて表示させる。
また、ステップS56において合成回数の指定があるものと判定された場合には、ステップS59において撮影回数が合成回数(n回)に到達したか否かが判定される。撮影回数がn回に到達するまでは、ステップS60の処理が繰り返される。即ち、適正露出の1/nの露出となるように露出制御が行われて連写による撮像が行われ、画像合成及び補正部13eは、強調部を重ねて合成し、合成画像を仮記録部15aに与えて記録させると共に、表示制御部13aに与えて表示させる。連写が停止すると、ステップS36において合成画像が記録部15に記録される。
このように本実施の形態においても、上記各実施の形態と同様の効果が得られる。更に、撮影者が、目立たせたい被写体(強調部)を指定し、その後連続撮影しながら機器を揺するように動かすことにより、強調部として指定された部分は撮影のたびに重ねられて固定されるので、基本的には画面上で位置が変化することはなく、撮影者は、背景の変化確認に専念することができる。
なお、上記「強調部」は、強調されるかどうかは感覚的な表現であり、むしろ具体的には、指定によって強調されるので、「指定部」、「特定部」と呼んでも良く、その方が客観的表現となる。
さらに、本発明の各実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話やスマートフォンなど携帯情報端末(PDA:Personal Digital Assist)等に内蔵されるカメラでも勿論構わない。また、内視鏡、顕微鏡のような産業用、医療用の光学機器でもよい。撮影機器でなくとも、このような工夫によって、ユーザが希望する画像を正確に観察できる観察装置、表示装置を提供することが可能となる。特に特定部位の画像を強調してユーザに見せることは、こうした観察装置においては、正しい対象認識のためには重要な手法、技術となる。
本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
なお、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略も可能であることは言うまでもない。
また、ここで説明した技術のうち、主にフローチャートで説明した制御や機能は、多くがプログラムにより設定可能であり、そのプログラムをコンピュータが読み取り実行することで上述した制御や機能を実現することができる。そのプログラムは、コンピュータプログラム製品として、フレキシブルディスク、CD−ROM等、不揮発性メモリ等の可搬媒体や、ハードディスク、揮発性メモリ等の記憶媒体に、その全体あるいは一部を記録又は記憶することができ、製品出荷時又は可搬媒体或いは通信回線を介して流通又は提供可能である。利用者は、通信ネットワークを介してそのプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記録媒体からコンピュータにインストールすることで、容易に本実施の形態の撮影機器を実現することができる。
1…撮影機器、2…別視点連写部、3…画像比較部、3a…強調部決定部、3b…加工部決定部、4…画像生成部、4a…強調部生成部、4b…加工部生成部。
特開2009−64086号公報 特開2005−12660号公報
また、本発明に係る撮影制御プログラムは、コンピュータに、被写体を相互に異なる視点から撮像して複数の撮像画像を取得する撮像ステップと、上記複数の撮像画像に基づいて上記撮像画像中の特定部分である特定部及び上記特定部以外の部分を決定する画像比較ステップと、上記特定部と上記特定部以外の部分とで異なる画像処理を行って特殊画像を生成する画像生成ステップとを実行させる。
また、本発明に係る撮影機器は、撮像部を有する撮影機器であって、撮像された画像内の注目被写体を際立たせるための強調処理を行う強調モードに設定するモード設定部と、上記強調モードに設定された状態で、同一の注目被写体に対して上記撮像部の視点が異なるように当該撮像部を注目被写体に対して移動させながら複数回撮影された際に、当該視点が異なるように撮像された注目被写体を含む撮像画像を複数取得する取得部と、上記取得部によって取得された視点の異なる注目被写体が撮像された複数の画像を合成して第1の合成画像を生成する第1の合成部と、上記第1の合成部によって合成された第1の合成画像に基づいて、上記複数の注目被写体を含む領域を設定する領域設定部と、上記取得部によって取得された視点の異なる注目被写体が撮像された複数の画像を上記注目被写体の画像位置が一致するように合成して、第2の合成画像を生成する第2の合成部と、上記第2の合成画像において、上記一致するように合成された注目被写体とローコントラスト部との境界を求め、当該境界と上記領域設定部によって設定された領域とによって囲まれた領域を、加工処理する領域として検出する検出部と、上記第2の合成画像のうち上記検出部で検出した領域を加工処理した画像を生成する画像生成部とを具備する。
また、本発明に係る撮影機器は、被写体を撮像して撮像画像を出力する撮像部と、上記撮像画像を表示部に表示するための表示制御部と、上記表示部に配設されるタッチパネルと、上記表示部に表示された撮像画像の画像部分を上記タッチパネルによって指定する操作に応じて上記撮像画像中に含まれる被写体のうち1つの被写体を注目被写体として検出して強調領域候補に設定する設定部と、上記撮像部の異なる視点からの複数回の撮像によって上記注目被写体が各撮像画像中の異なる位置に撮影された場合には、これらの撮像画像の合成によって得た第1の合成画像中に含まれる上記注目被写体の複数の画像部分の全てを含む1つの範囲を設定する範囲設定部と、上記第1の合成画像の画像合成に用いた複数の撮像画像を上記注目被写体の画像部分の画像位置が一致するように合成して第2の合成画像を得る合成部と、上記第2の合成画像中の各部のコントラストに基づいて上記注目被写体の画像部分と他の画像部分との境界を求めて上記強調領域候補として検出した上記注目被写体の画像部分を強調領域に設定すると共に、上記範囲設定部が設定した範囲内の上記強調領域以外の領域を加工領域に設定する領域設定部と、上記第2の合成画像のうち上記加工領域に画像処理を施した画像を生成する画像生成部と、を具備する。
本発明に係る撮影機器は、被写体を相互に異なる視点から撮像して複数の撮像画像を取得する撮像部と、同一の注目被写体に対して上記撮像部の視点が異なるように当該撮像部を注目被写体に対して移動させながら複数回の撮影による複数の撮像画像を取得する取得部と、上記取得部によって取得された複数の画像を合成することにより上記注目被写体が複数含まれる第1の領域を設定するとともに、上記注目被写体の画像位置が一致するように上記取得部によって取得された複数の画像を合成して合成画像を作成し、当該合成画像から上記注目被写体の画像を含む第2の領域を設定し、当該合成画像において上記第1の領域のうちの上記第2の領域を含まない領域を、加工処理する領域に設定する画像比較部と、上記合成画像において、上記画像比較部によって設定された領域を加工処理した画像を生成する画像生成部とを具備する。
また、本発明に係る撮影方法は、同一の注目被写体に対して撮像部の視点が異なるように被写体を相互に異なる視点から撮像するステップと、複数回の撮影による複数の撮像画像を取得するステップと、取得された複数の画像を合成することにより上記注目被写体が複数含まれる第1の領域を設定するステップと、上記注目被写体の画像位置が一致するように取得された複数の画像を合成して合成画像を作成し、当該合成画像から上記注目被写体の画像を含む第2の領域を設定するステップと、上記合成画像において上記第1の領域のうちの上記第2の領域を含まない領域を、加工処理する領域に設定するステップと、上記合成画像において、上記加工処理する領域に設定された領域を加工処理した画像を生成するステップとを具備する。
また、本発明にかかる撮影制御プログラムは、コンピュータに、同一の注目被写体に対して撮像部の視点が異なるように被写体を相互に異なる視点から撮像するステップと、複数回の撮影による複数の撮像画像を取得するステップと、取得された複数の画像を合成することにより上記注目被写体が複数含まれる第1の領域を設定するステップと、上記注目被写体の画像位置が一致するように取得された複数の画像を合成して合成画像を作成し、当該合成画像から上記注目被写体の画像を含む第2の領域を設定するステップと、上記合成画像において上記第1の領域のうちの上記第2の領域を含まない領域を、加工処理する領域に設定するステップと、上記合成画像において、上記加工処理する領域に設定された領域を加工処理した画像を生成するステップとを実行させる。
また、本発明に係る撮影機器は、撮像部を有する撮影機器であって、撮像された画像内の注目被写体を際立たせるための強調処理を行う強調モードに設定するモード設定部と、上記強調モードに設定された状態で、同一の注目被写体に対して上記撮像部の視点が異なるように当該撮像部を注目被写体に対して移動させながら複数回撮影された際に、当該視点が異なるように撮像された注目被写体を含む撮像画像を複数取得する取得部と、上記取得部によって取得された視点の異なる注目被写体が撮像された複数の画像を合成して第1の合成画像を生成する第1の合成部と、上記第1の合成部によって合成された第1の合成画像に基づいて、複数の上記注目被写体を含む領域を設定する領域設定部と、上記取得部によって取得された視点の異なる注目被写体が撮像された複数の画像を上記注目被写体の画像位置が一致するように合成して、第2の合成画像を生成する第2の合成部と、上記第2の合成画像において、上記一致するように合成された注目被写体とローコントラスト部との境界を求め、当該境界と上記領域設定部によって設定された領域とによって囲まれた領域を、加工処理する領域として検出する検出部と、上記第2の合成画像のうち上記検出部で検出した領域を加工処理した画像を生成する画像生成部とを具備する。
また、本発明に係る撮影機器は、被写体を撮像して撮像画像を出力する撮像部と、上記撮像画像を表示部に表示するための表示制御部と、上記表示部に配設されるタッチパネルと、上記表示部に表示された撮像画像の画像部分を上記タッチパネルによって指定する操作に応じて上記撮像画像中に含まれる被写体のうち1つの被写体を注目被写体として検出して強調領域候補に設定する設定部と、上記撮像部の異なる視点からの複数回の撮像によって上記注目被写体が各撮像画像中の異なる位置に撮影された場合には、これらの撮像画像の合成によって得た第1の合成画像中に含まれる上記注目被写体の複数の画像部分の全てを含む1つの範囲を設定する範囲設定部と、上記第1の合成画像の画像合成に用いた複数の撮像画像を上記注目被写体の画像部分の画像位置が一致するように合成して第2の合成画像を得る合成部と、上記第2の合成画像中の各部のコントラストに基づいて上記注目被写体の画像部分と他の画像部分との境界を求めて上記強調領域候補として検出した上記注目被写体の画像部分を強調領域に設定すると共に、上記範囲設定部が設定した範囲内の上記強調領域以外の領域を加工領域に設定する領域設定部と、上記第2の合成画像のうち上記加工領域に画像処理を施した画像を生成する画像生成部と、を具備する。

Claims (7)

  1. 被写体を相互に異なる視点から撮像して複数の撮像画像を取得する撮像部と、
    上記複数の撮像画像に基づいて上記撮像画像中の特定部分である特定部及び上記特定部以外の部分を決定する画像比較部と、
    上記特定部と上記特定部以外の部分とで異なる画像処理を行って特殊画像を生成する画像生成部と
    を具備したことを特徴する撮影機器。
  2. 上記画像処理は、上記相互に異なる視点からの撮影による画像変化の傾向に従って、上記特定部以外の画像を加工する
    ことを特徴する請求項1に記載の撮影機器。
  3. 上記画像比較部は、上記撮像画像の共通部分である上記特定部の画像位置を一致させた状態で上記複数の撮像画像を合成することで、上記特定部と上記特定部以外の部分とを分離する
    ことを特徴する請求項1に記載の撮影機器。
  4. 上記画像生成部は、上記撮像画像の共通部分である上記特定部の画像位置を一致させた状態で上記複数の撮像画像を合成して上記特殊画像を得る
    ことを特徴する請求項1乃至3のいずれか1つに記載の撮影機器。
  5. 上記画像生成部は、上記撮像部の動きを検出して上記特殊画像の生成を開始する
    ことを特徴する請求項1乃至4のいずれか1つに記載の撮影機器。
  6. 被写体を相互に異なる視点から撮像して複数の撮像画像を取得する撮像ステップと、
    上記複数の撮像画像に基づいて上記撮像画像中の特定部分である特定部及び上記特定部以外の部分を決定する画像比較ステップと、
    上記特定部と上記特定部以外の部分とで異なる画像処理を行って特殊画像を生成する画像生成ステップと
    を具備したことを特徴する撮影方法。
  7. コンピュータに
    被写体を相互に異なる視点から撮像して複数の撮像画像を取得する撮像ステップと、
    上記複数の撮像画像に基づいて上記撮像画像中の特定部分である特定部及び上記特定部以外の部分を決定する画像比較ステップと、
    上記特定部と上記特定部以外の部分とで異なる画像処理を行って特殊画像を生成する画像生成ステップと
    を実行させるための撮影制御プログラム。
JP2013208357A 2013-10-03 2013-10-03 撮影機器、撮影方法及び撮影制御プログラム Expired - Fee Related JP5608803B1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013208357A JP5608803B1 (ja) 2013-10-03 2013-10-03 撮影機器、撮影方法及び撮影制御プログラム
US14/270,149 US9066010B2 (en) 2013-10-03 2014-05-05 Photographing apparatus, photographing method and medium recording photographing control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013208357A JP5608803B1 (ja) 2013-10-03 2013-10-03 撮影機器、撮影方法及び撮影制御プログラム

Publications (2)

Publication Number Publication Date
JP5608803B1 JP5608803B1 (ja) 2014-10-15
JP2015073222A true JP2015073222A (ja) 2015-04-16

Family

ID=51840561

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013208357A Expired - Fee Related JP5608803B1 (ja) 2013-10-03 2013-10-03 撮影機器、撮影方法及び撮影制御プログラム

Country Status (2)

Country Link
US (1) US9066010B2 (ja)
JP (1) JP5608803B1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017169499A1 (ja) * 2016-03-31 2017-10-05 ソニー株式会社 制御装置、制御方法及びコンピュータプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114269218A (zh) * 2019-08-29 2022-04-01 奥林巴斯株式会社 图像处理方法和图像处理装置
JP2021180446A (ja) * 2020-05-15 2021-11-18 キヤノン株式会社 撮像制御装置、撮像装置、撮像装置の制御方法、プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09261537A (ja) * 1996-03-22 1997-10-03 Canon Inc 画像処理装置及び画像処理方法
JP2005012660A (ja) 2003-06-20 2005-01-13 Nikon Corp 画像生成方法、画像生成装置
JP4569389B2 (ja) * 2005-05-31 2010-10-27 カシオ計算機株式会社 撮像装置、画像処理方法及びプログラム
JP2009064086A (ja) 2007-09-04 2009-03-26 Sega Corp 画像処理用プログラム、当該プログラムを記録したコンピュータ読み取り可能な記録媒体、画像処理装置、画像処理方法
JP5326809B2 (ja) * 2009-05-22 2013-10-30 株式会社ニコン 撮像装置
JP5988790B2 (ja) * 2012-09-12 2016-09-07 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム
JP6021541B2 (ja) * 2012-09-13 2016-11-09 キヤノン株式会社 画像処理装置及び方法
JP6305053B2 (ja) * 2013-01-15 2018-04-04 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017169499A1 (ja) * 2016-03-31 2017-10-05 ソニー株式会社 制御装置、制御方法及びコンピュータプログラム
US10904420B2 (en) 2016-03-31 2021-01-26 Sony Corporation Control device and control method for managing a captured image

Also Published As

Publication number Publication date
US20150097982A1 (en) 2015-04-09
JP5608803B1 (ja) 2014-10-15
US9066010B2 (en) 2015-06-23

Similar Documents

Publication Publication Date Title
JP4497211B2 (ja) 撮像装置、撮像方法及びプログラム
JP5743236B2 (ja) 撮影機器及び撮影方法
JP2012010256A (ja) 撮像装置および画像処理プログラム
JP6261205B2 (ja) 画像処理装置
KR20120002834A (ko) 참조 영상을 제공하는 촬상장치 및 그의 참조 영상 제공방법
CN103888684A (zh) 图像处理装置以及图像处理方法
JP5608803B1 (ja) 撮影機器、撮影方法及び撮影制御プログラム
JP2009171428A (ja) デジタルカメラ装置および電子ズームの制御方法およびプログラム
JP2014187551A (ja) 画像取得装置、画像取得方法及びプログラム
JP2014068081A (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
JP2015012535A (ja) 撮影機器及び撮影方法
JP2014053863A (ja) 撮影機器
JP2016167767A (ja) 撮像装置、合成撮影方法及び合成撮影プログラム
JP2017041857A (ja) 画像処理装置、その制御方法、プログラム及び撮像装置
JP2017060133A (ja) 電子機器、撮像制御方法、画像処理方法及びプログラム
JP2017085466A (ja) 撮像装置、及びその制御方法
JP2020145660A (ja) 情報処理装置およびその制御方法ならびにプログラム
JP2016036081A (ja) 画像処理装置、方法及びプログラム並びに記録媒体
JP6357922B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2014138378A (ja) 撮像装置、その制御方法、および制御プログラム
JP2013115656A (ja) 撮影機器
JP6504693B2 (ja) 撮像装置、操作支援方法及び操作支援プログラム
JP6336284B2 (ja) 画像処理装置、その制御方法およびプログラム
JP5967422B2 (ja) 撮像装置及び撮像処理方法並びにプログラム
JP6610713B2 (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140718

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140812

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140901

R151 Written notification of patent or utility model registration

Ref document number: 5608803

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees