JP6357922B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP6357922B2 JP6357922B2 JP2014135264A JP2014135264A JP6357922B2 JP 6357922 B2 JP6357922 B2 JP 6357922B2 JP 2014135264 A JP2014135264 A JP 2014135264A JP 2014135264 A JP2014135264 A JP 2014135264A JP 6357922 B2 JP6357922 B2 JP 6357922B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- unit
- determining
- relevance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Description
例えば、特許文献1には、一方の画像における一部の除去された領域を透明化して、他方の画像に合成する技術が記載されている。
第1の画像と、第2の画像とを取得する画像取得手段と、
前記第1の画像における被写体と前記第2の画像における被写体との関連性を判定する関連性判定手段と、
前記関連性判定手段により判定された被写体の関連性に基づいて、前記第1の画像における前記第2の画像の合成位置を決定する決定手段と、
前記決定手段により決定された合成位置で、前記第1の画像と前記第2の画像とを合成する画像合成手段と、
を備えることを特徴とする。
また、図2は、本発明の一実施形態に係る画像処理装置のハードウェアの構成を示すブロック図である。
画像処理装置1は、例えばデジタルカメラとして構成される。
第2撮像部16Bは、画像処理装置1の後面側(出力部18の表示画面と同じ側)に設置され、画像処理装置1の後面側の被写体を撮像する。第2撮像部16Bは、主に撮影者の顔を撮像することが想定されることから、撮影のために撮影者が画像処理装置1を保持した状態で、撮影者の顔全体が画角に収まる焦点距離のレンズが備えられる。なお、以下、第2撮像部16Bによって撮像される撮像画像を「背面画像」と呼ぶ。
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
光電変換素子は、例えばCMOS(Complementary Metal Oxide Semiconductor)型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換(撮像)して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、第1撮像部16Aあるいは第2撮像部16Bの出力信号として出力される。
このような第1撮像部16Aあるいは第2撮像部16Bの出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、CPU11や図示しない画像処理部等に適宜供給される。
出力部18は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部19は、ハードディスクあるいはDRAM(Dynamic Random Access Memory)等で構成され、後述する顔の特徴のデータや各種画像のデータ等を記憶する。
通信部20は、インターネットを含むネットワークを介して他の装置(図示せず)との間で行う通信を制御する。
なお、図示はしないが、画像処理装置1には、ストロボ発光装置等の撮影を補助するハードウェアを適宜備えることができる。
二方向撮影処理とは、第1撮像部16Aによって前面側の被写体を撮影する際に、第2撮像部16Bによって後面側の被写体を併せて撮影し、後面側の被写体の撮像画像を前面側の被写体の撮像画像に合成する一連の処理をいう。
また、記憶部19の一領域には、顔認識情報記憶部71と、画像記憶部72とが設定される。
顔認識情報記憶部71には、互いに関連性を有する複数の顔の特徴のデータが記憶される。例えば、顔認識情報記憶部71には、画像処理装置1を使用する家族全員の顔の特徴のデータが記憶される。
画像記憶部72には、第1撮像部16Aによって撮像された画像のデータ、第2撮像部16Bによって撮像された画像のデータ及び画像合成部55によって合成された合成画像のデータが適宜記憶される。
また、撮像制御部51は、シャッターボタンが半押しされた場合に、合焦位置、絞り及び露出等のパラメータを撮影時を想定した値に固定して、撮像画像として取得が予測される前面画像(以下、「ハーフシャッター時の前面画像」と呼ぶ。)を第1撮像部16Aに撮像させる。
また、撮像制御部51は、シャッターボタンが全押しされた場合に、第1撮像部16Aに記録用の前面画像を撮像させる。さらに、撮像制御部51は、記録用の背面画像の撮像を指示する操作が行われた場合に、第2撮像部16Bに前面画像に合成する記録用の背面画像を撮像させる。なお、撮像制御部51は、シャッターボタンが全押しされた場合に第1撮像部16Aに前面画像を撮像させ、その後、シャッターボタンが再度全押しされた場合等、記録用の背面画像の撮像を指示する操作が行われた場合に、第2撮像部16Bに記録用の背面画像を撮像させる。
図4及び図5においては、図4の前面画像に含まれる複数の人物の集合写真を、図5の背面画像に含まれる人物が撮影した例を示している。なお、図5の背面画像に含まれる人物(被写体F7)は、図4の前面画像に含まれる複数の人物の一部(被写体F1〜F6)と関連性(例えば、「家族」等の関係)を有するものとして、顔認識情報記憶部71に顔の特徴のデータが記憶されている。
空き領域解析部53は、前面画像における被写体の配置を解析し、主要な被写体が写されていない領域を空き領域として特定する。例えば、空き領域解析部53は、合焦状態等に基づいて、主要な被写体と背景とを検出し、主要な被写体が写されていない領域(即ち、背景の領域)を空き領域として特定する。
図6に示すように、図4の前面画像において、複数の人物が集合した中央の領域が主要な被写体が写されている領域として特定され、その周辺の領域が空き領域(図6中の斜線部)として特定されている。
このとき、合成位置解析部54は、前面画像において、背景画像に含まれる被写体の顔と関連性を有する被写体の顔の領域が複数特定された場合、それぞれの顔の領域に近い空き領域を背景画像の合成位置の複数の候補として特定する。なお、合成位置解析部54は、これら複数の合成位置の候補に優先順位を設定し、二方向撮影処理の実行時には、この優先順位に従って、合成位置を選択する。優先順位の設定方法としては、例えば、顔認識情報記憶部71に記憶された顔の特徴のデータと一致度合が大きい顔の領域の順、空き領域の大きい順等を採用することができる。
図7に示すように、被写体F1〜F6は、被写体F7と関連性を有することから、顔認識部52によって関連性を有する顔として検出されている。そして、図7に示す例では、被写体F1〜F6に近い空き領域のうち3箇所(合成位置C1〜C3)が、合成位置の候補として特定されている。
また、画像合成部55は、記録用の背面画像の撮像を指示する操作が行われた場合に、記録用の前面画像において、合成位置解析部54によって特定された合成位置の候補となる位置に、第2撮像部16Bによって撮像された記録用の背面画像を合成する。
ここで、画像合成部55は、前面画像における合成位置の候補となる位置に背面画像のライブビュー画像あるいは記録用の背面画像を合成する場合、前面画像において検出された顔の大きさと同等のサイズに、背面画像において検出された顔の大きさをリサイズした上で合成する。
そして、画像合成部55は、記録用の前面画像と記録用の背景画像との合成画像を画像記憶部72に記憶する。
図8に示す例では、合成位置C1に背面画像が合成された場合を示している。
なお、背面画像のライブビュー画像が合成される場合、合成位置C1には、リアルタイムに撮像された背面画像が順次表示される。
図9は、図3の機能的構成を有する図2の画像処理装置1が実行する二方向撮影処理の流れを説明するフローチャートである。
二方向撮影処理は、ユーザによる入力部17への二方向撮影処理開始の操作により開始される。
ステップS2において、撮像制御部51は、ユーザによる入力部17への操作がシャッターボタンの半押しであるか否かの判定を行う。
ユーザによる入力部17への操作がシャッターボタンの半押しでない場合、ステップS2においてNOと判定されて、処理はステップS1に移行する。
一方、ユーザによる入力部17への操作がシャッターボタンの半押しである場合、ステップS2においてYESと判定されて、処理はステップS3に移行する。
ステップS4において、顔認識部52は、前面画像及び背面画像に含まれる被写体の顔の中で、関連性を有する顔が検出されたか否かの判定を行う。
前面画像及び背面画像に含まれる被写体の顔の中で、関連性を有する顔が検出されない場合、ステップS4においてNOと判定されて、処理はステップS9に移行する。
一方、前面画像及び背面画像に含まれる被写体の顔の中で、関連性を有する顔が検出された場合、ステップS4においてYESと判定されて、処理はステップS5に移行する。
ステップS6において、合成位置解析部54は、顔認識部52によって認識された関連性を有する顔の領域と、空き領域解析部53によって特定された空き領域とに基づいて、前面画像を解析し、前面画像において背面画像を合成する位置を特定する。
ステップS7において、画像合成部55は、前面画像において検出された顔の大きさと同等のサイズに、背面画像において検出された顔の大きさをリサイズして、ハーフシャッター時の前面画像において、合成位置解析部54によって特定された合成位置の候補となる位置に、背面画像のライブビュー画像を合成する。
ステップS9において、撮像制御部51は、ユーザによる入力部17への操作を受け付ける。
ステップS10において、撮像制御部51は、ユーザによる入力部17への操作がシャッターボタンの全押しであるか否かの判定を行う。
ユーザによる入力部17への操作がシャッターボタンの全押しでない場合、ステップS10においてNOと判定されて、処理はステップS9に移行する。
一方、ユーザによる入力部17への操作がシャッターボタンの全押しである場合、ステップS10においてYESと判定されて、処理はステップS11に移行する。
ステップS12において、撮像制御部51は、記録用の背面画像の撮像を指示する操作が行われたか否かの判定を行う。例えば、シャッターボタンへの再度の全押し操作を記録用の背面画像の撮像を指示する操作としてよい。
記録用の背面画像の撮像を指示する操作が行われた場合、ステップS12においてYESと判定されて、処理はステップS15に移行する。
一方、記録用の背面画像の撮像を指示する操作が行われていない場合、ステップS12においてNOと判定されて、処理はステップS13に移行する。
ステップS14において、表示制御部56は、記録用の前面画像に背面画像のライブビュー画像が合成された合成画像を表示する。
ステップS14の後、処理はステップS12に移行する。
ステップS15において、撮像制御部51は、記録用の前面画像に合成する記録用の背面画像を第2撮像部16Bに撮像させる。
ステップS17において、表示制御部56は、記録用の前面画像に記録用の背面画像が合成された合成画像を表示する。このとき、記録用の前面画像において、合成位置解析部54によって特定された合成位置の候補となる位置が複数ある場合、表示制御部56は、画像合成部55によって各合成位置に背面画像が合成された合成画像を出力部18のディスプレイに順に表示させる。ただし、画像合成部55によって各合成位置に背面画像が合成された合成画像を出力部18のディスプレイに並べて表示することとしてもよい。
つまり、各合成位置に背面画像が合成された合成画像が出力部18のディスプレイに順に表示された場合は、当該順に表示される合成画像のうち、現在ディスプレイに表示されている合成画像に対するユーザの操作(合成画像を確定する操作)が行われたか否かが判定される。
また、各合成位置に背面画像が合成された合成画像が出力部18のディスプレイに並べて表示された場合は、ユーザのディスプレイに対する操作により、所望の合成画像を選択する操作(合成画像を確定する操作)が行われたか否かが判定される。
背面画像を合成する合成位置を確定する操作が行われていない場合、ステップS18においてNOと判定されて、処理はステップS16に移行する。
一方、背面画像を合成する合成位置を確定する操作が行われた場合、ステップS18においてYESと判定されて、処理はステップS19に移行する。
つまり、ステップS18において、各合成位置に背面画像が合成された合成画像を出力部18のディスプレイに順に表示され、当該順に表示される合成画像のうち、現在ディスプレイに表示されている合成画像に対するユーザの操作が行われた場合には、ディスプレイに表示されている合成画像が画像記憶部72に記憶される。
また、ステップS18において、各合成位置に背面画像が合成された合成画像を出力部18のディスプレイに並べて表示され、ユーザのディスプレイに対する操作により、所望の合成画像を選択する操作が行われた場合には、選択された合成画像が画像記憶部72に記憶される。
ステップS19の後、二方向撮影処理は終了となる。
このような処理により、前面画像において、背面画像における被写体と関連性を有する位置に、背面画像を合成して表示することができる。
したがって、複数の画像を合成する際に、ユーザの好みにより適合した合成画像を生成することが可能となる。
上記実施形態において、画像合成部55は、シャッターボタンの半押しが行われた場合に、ハーフシャッター時の前面画像を固定し、ハーフシャッター時の前面画像において、合成位置解析部54によって特定された合成位置の候補となる位置に、背面画像のライブビュー画像を合成するものとして説明した。即ち、前面画像と背面画像とのうち、前面画像を先に固定する場合の例について説明した。
これに対し、背面画像を先に固定し、その後、前面画像の被写体を任意のタイミングで撮影することが可能である。
具体的には、背面画像のハーフシャッター操作(背面画像を固定する操作)を行う機能を入力部17におけるボタン等のいずれかに割り当てておき、撮像制御部51が、背面画像のハーフシャッター操作に対応して、ハーフシャッター時の背面画像を取得する。その後、前面画像のライブビュー画像において前面画像の被写体の状態を見ながら、撮影者が任意のタイミングで前面画像の撮像を指示すると、撮像制御部51は、前面画像を取得する。このとき、前面画像のライブビュー画像が表示されている際に、合成位置解析部54によって特定される前面画像の合成位置の候補となる位置に、画像合成部55によってハーフシャッター時の背面画像を合成して表示することとしてもよい。
これにより、前面画像及び背面画像のうち、被写体が撮影に適した状態となったものを優先して撮像し、他方をより適切なタイミングで撮像することができる。
上記実施形態において、前面画像と背面画像とを撮像する際に、一方の撮像条件(シャッター速度、ホワイトバランス、色あるいは画像の明るさ等)に他方の撮像条件を併せることが可能である。即ち、撮像された前面画像及び背面画像の明るさ、色あるいはホワイトバランス等が同様となるように、撮像制御部51が、一方の画像を基準として、他方の画像の撮像条件を調整することが可能である。
これにより、前面画像に背面画像を合成した場合に、互いの画質が大きく異なることを抑制でき、違和感の少ない合成画像とすることができる。
上記実施形態において、ステップS4で関連性を有する顔が検出されない場合、処理はステップS9に移行するものとしたが、これに限られない。
つまり、ステップS4で関連性を有する顔が検出されない場合、前面画像と背面画像とを合成せずに別個に保存するようにしてもよい。
このようにすることで、前面画像と背面画像とが互いに関連性のない合成画像が無用に生成されるのを防ぐことができる。
撮像制御部51は、第1の画像と、第2の画像とを取得する。
顔認識部52は、第1の画像における被写体と第2の画像における被写体との関連性を判定する。
合成位置解析部54は、顔認識部52により判定された被写体の関連性に基づいて、第1の画像における第2の画像の合成位置を決定する。
画像合成部55は、合成位置解析部54により決定された合成位置で、第1の画像と第2の画像とを合成する。
これにより、第1の画像において、第2の画像における被写体と関連性を有する位置に、第2の画像を合成することができる。
したがって、複数の画像を合成する際に、ユーザの好みにより適合した合成画像を生成することが可能となる。
これにより、撮影に関する所定のタイミング(例えば、ハーフシャッター操作時等)に、第1の画像における第2の画像の合成位置を撮影者に提示することが可能となる。
顔認識情報記憶部71は、第1の画像における被写体と第2の画像における被写体との所定の関連性を記憶する。
顔認識部52は、第1の画像における被写体と第2の画像における被写体とが顔認識情報記憶部71に記憶された所定の関連性を有するか否かを判定する。
合成位置解析部54は、顔認識部52により第1の画像における被写体と第2の画像における被写体とが顔認識情報記憶部71に記憶された所定の関連性を有すると判定された場合、当該関連性に基づいて第1の画像における第2の画像の合成位置を決定する。
これにより、第1の画像の被写体と第2の画像の被写体との関連性を反映させて、第2の画像の合成位置を決定することができる。
したがって、複数の画像を合成する際に、ユーザの好みにより適合した合成画像を生成することが可能となる。
空き領域解析部53は、第1の画像における第2の画像を合成すべき領域を特定する。
合成位置解析部54は、空き領域解析部53により特定された合成すべき領域内で、合成位置を決定する。
これにより、第2の画像を合成するのに適した領域内で、第2の画像の合成位置を決定することができる。
撮像制御部51は、第1撮像部16Aにより第1の方向が撮像された第1の画像と、第1撮像部16Aとは異なる第2撮像部16Bにより第2の方向が撮像された第2の画像とを取得する。
空き領域解析部53は、撮像制御部51により取得された第1の画像における第2の画像を合成すべき領域を特定する。
合成位置解析部54は、空き領域解析部53により特定された領域内で、第1の画像における第2の画像の合成位置を決定する。
画像合成部55は、合成位置解析部54により決定された合成位置で、第1の画像と第2の画像とを合成する。
これにより、第1の方向が撮像された第1の画像において、第1の方向とは異なる第2の方向が撮像された第2の画像における被写体と関連性を有する位置に、第2の画像を合成することができる。
したがって、複数の画像を合成する際に、ユーザの好みにより適合した合成画像を生成することが可能となる。
撮像制御部51は、第1の方向を撮像した第1の画像と、第2の方向を撮像した第2の画像とを同時に順次取得する。
表示制御部56は、撮像制御部51により取得された第1の画像及び第2の画像をディスプレイに順次表示させる。
入力部17は、表示制御部56による第1の画像及び第2の画像の表示中に、第1の所定の指示を入力する。
また、表示制御部56は、入力部17により第1の所定の指示が入力された場合、第1の画像及び第2の画像の一方の画像の表示を固定した状態で、第1の画像及び第2の画像の他方の画像を継続して表示させる。
また、入力部17は、表示制御部56によりディスプレイに表示された第1の画像及び第2の画像の表示中に第2の所定の指示を入力する。
画像合成部55は、入力部17により第1の所定の指示が入力された時点に対応する第1の画像と入力部17により第2の所定の指示が入力された時点に対応する第2の画像とを合成する。
これにより、同時に順次撮像される第1の画像及び第2の画像において、それぞれに対する所定の指示が入力されたタイミングでの第1の画像及び第2の画像を合成することが可能となる。
撮像制御部51は、第1の方向を撮像した第1の画像と、第1の画像の撮像に対応づけて第2の方向を撮像した第2の画像とを取得する。
画像合成部55は、第1の画像において第2の画像を複数の位置のいずれかに各々合成した複数の候補画像を生成する。
表示制御部56は、画像合成部55により生成された複数の候補画像をディスプレイに表示させる。
入力部17は、表示制御部56によりディスプレイに表示された複数の候補画像のうち、特定の候補画像を選択する。
また、画像合成部55は、入力部17により選択された特定の候補画像を画像記憶部72に記録させる。
これにより、第1の画像において複数の位置のいずれかに第2の画像が合成された候補画像の中から、ユーザの好みにより適合した合成画像を簡単に選択することが可能となる。
これにより、第1の画像に第2の画像を合成した場合に、互いの画質が大きく異なることを抑制でき、違和感の少ない合成画像とすることができる。
また、上述の実施形態では、画像処理装置1において、前面画像及び背面画像を撮像する場合を例に挙げて説明したが、これに限られない。即ち、前面画像あるいは背面画像等、一方の画像を他の装置によって撮像し、これらの画像を対象として、本発明を適用することができる。
例えば、本発明は、画像処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。
換言すると、図3の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画像処理装置1に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図3の例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
[付記1]
第1の画像と、第2の画像とを取得する画像取得手段と、
前記第1の画像における被写体と前記第2の画像における被写体との関連性を判定する関連性判定手段と、
前記関連性判定手段により判定された被写体の関連性に基づいて、前記第1の画像における前記第2の画像の合成位置を決定する決定手段と、
前記決定手段により決定された合成位置で、前記第1の画像と前記第2の画像とを合成する画像合成手段と、
を備えることを特徴とする画像処理装置。
[付記2]
前記決定手段は、撮影に関する所定のタイミングにおいて、前記第1の画像における前記第2の画像の合成位置を特定することを特徴とする付記1に記載の画像処理装置。
[付記3]
前記第1の画像における被写体と前記第2の画像における被写体との所定の関連性を記憶する記憶手段を更に備え、
前記関連性判定手段は、前記第1の画像における被写体と前記第2の画像における被写体とが前記記憶手段に記憶された所定の関連性を有するか否かを判定し、
前記決定手段は、前記関連性判定手段により前記第1の画像における被写体と前記第2の画像における被写体とが前記記憶手段に記憶された所定の関連性を有すると判定された場合、当該関連性に基づいて前記第1の画像における前記第2の画像の合成位置を決定することを特徴とする付記1又は2に記載の画像処理装置。
[付記4]
前記第1の画像における前記第2の画像を合成すべき領域を特定する領域特定手段を有し、
前記決定手段は、前記領域特定手段により特定された前記合成すべき領域内で、前記合成位置を決定することを特徴とする付記1から3のいずれか1つに記載の画像処理装置。
[付記5]
第1の撮像手段により第1の方向が撮像された第1の画像と、第1の撮像手段とは異なる第2の撮像手段により第2の方向が撮像された第2の画像とを取得する画像取得手段と、
前記画像取得手段により取得された前記第1の画像における前記第2の画像を合成すべき領域を特定する領域特定手段と、
前記領域特定手段により特定された領域内で、前記第1の画像における前記第2の画像の合成位置を決定する決定手段と、
前記決定手段により決定された合成位置で、前記第1の画像と前記第2の画像とを合成する画像合成手段と、
を備えることを特徴とする画像処理装置。
[付記6]
第1の方向を撮像した第1の画像と、第2の方向を撮像した第2の画像とを同時に順次取得する画像取得手段と、
前記画像取得手段により取得された前記第1の画像及び前記第2の画像を表示手段に順次表示させる第1の表示制御手段と、
前記第1の表示制御手段による前記第1の画像及び前記第2の画像の表示中に、第1の所定の指示を入力する第1の入力手段と、
前記第1の入力手段により第1の所定の指示が入力された場合、前記第1の画像及び前記第2の画像の一方の画像の表示を固定した状態で、前記第1の画像及び前記第2の画像の他方の画像を継続して表示させる第2の表示制御手段と、
前記第2の表示制御手段により前記表示手段に表示された前記第1の画像及び前記第2の画像の表示中に第2の所定の指示を入力する第2の入力手段と、
前記第1の入力手段により第1の所定の指示が入力された時点に対応する第1の画像と前記第2の入力手段により第2の所定の指示が入力された時点に対応する第2の画像とを合成する合成手段と、
を備えることを特徴とする画像処理装置。
[付記7]
第1の方向を撮像した第1の画像と、前記第1の画像の撮像に対応づけて第2の方向を撮像した第2の画像とを取得する画像取得手段と、
前記第1の画像において前記第2の画像を複数の位置のいずれかに各々合成した複数の候補画像を生成する生成手段と、
前記生成手段により生成された複数の候補画像を表示手段に表示させる表示制御手段と、
前記表示制御手段により前記表示手段に表示された複数の候補画像のうち、特定の候補画像を選択する選択手段と、
前記選択手段により選択された特定の候補画像を記録手段に記録させる記録制御手段と、
を備えることを特徴とする画像処理装置。
[付記8]
前記第1の画像及び前記第2の画像の撮像条件の少なくとも一方を他方に合わせるように調整する調整手段を更に備えたことを特徴とする付記1から7のいずれか1つに記載の画像処理装置。
[付記9]
第1の画像と、第2の画像とを取得する画像取得ステップと、
前記第1の画像における被写体と前記第2の画像における被写体との関連性を判定する関連性判定ステップと、
前記関連性判定ステップにおいて判定された被写体の関連性に基づいて、前記第1の画像における前記第2の画像の合成位置を決定する決定ステップと、
前記決定ステップにおいて決定された合成位置で、前記第1の画像と前記第2の画像とを合成する画像合成ステップと、
を含むことを特徴とする画像処理方法。
[付記10]
コンピュータに、
第1の画像と、第2の画像とを取得する画像取得機能と、
前記第1の画像における被写体と前記第2の画像における被写体との関連性を判定する関連性判定機能と、
前記関連性判定機能により判定された被写体の関連性に基づいて、前記第1の画像における前記第2の画像の合成位置を決定する決定機能と、
前記決定機能により決定された合成位置で、前記第1の画像と前記第2の画像とを合成する画像合成機能と、
を実現させることを特徴とするプログラム。
[付記11]
画像処理装置において用いられる画像処理方法であって、
第1の撮像手段により第1の方向が撮像された第1の画像と、第1の撮像手段とは異なる第2の撮像手段により第2の方向が撮像された第2の画像とを取得する画像取得ステップと、
前記画像取得ステップにおいて取得された前記第1の画像における前記第2の画像を合成すべき領域を特定する領域特定ステップと、
前記領域特定ステップにおいて特定された領域内で、前記第1の画像における前記第2の画像の合成位置を決定する決定ステップと、
前記決定ステップにおいて決定された合成位置で、前記第1の画像と前記第2の画像とを合成する画像合成ステップと、
を含むことを特徴とする画像処理方法。
[付記12]
コンピュータに、
第1の撮像手段により第1の方向が撮像された第1の画像と、第1の撮像手段とは異なる第2の撮像手段により第2の方向が撮像された第2の画像とを取得する画像取得機能と、
前記画像取得機能により取得された前記第1の画像における前記第2の画像を合成すべき領域を特定する領域特定機能と、
前記領域特定機能により特定された領域内で、前記第1の画像における前記第2の画像の合成位置を決定する決定機能と、
前記特定機能により決定された合成位置で、前記第1の画像と前記第2の画像とを合成する画像合成機能と、
を実現させることを特徴とするプログラム。
[付記13]
画像処理装置において用いられる画像処理方法であって、
第1の方向を撮像した第1の画像と、第2の方向を撮像した第2の画像とを同時に順次取得する画像取得ステップと、
前記画像取得ステップにおいて取得された前記第1の画像及び前記第2の画像を表示手段に順次表示させる第1の表示制御ステップと、
前記第1の表示制御ステップにおける前記第1の画像及び前記第2の画像の表示中に、第1の所定の指示を入力する第1の入力ステップと、
前記第1の入力ステップにおいて第1の所定の指示が入力された場合、前記第1の画像及び前記第2の画像の一方の画像の表示を固定した状態で、前記第1の画像及び前記第2の画像の他方の画像を継続して表示させる第2の表示制御ステップと、
前記第2の表示制御ステップにおいて前記表示手段に表示された前記第1の画像及び前記第2の画像の表示中に第2の所定の指示を入力する第2の入力ステップと、
前記第1の入力ステップにより第1の所定の指示が入力された時点に対応する第1の画像と前記第2の入力ステップにおいて第2の所定の指示が入力された時点に対応する第2の画像とを合成する合成ステップと、
を含むことを特徴とする画像処理方法。
[付記14]
コンピュータに、
第1の方向を撮像した第1の画像と、第2の方向を撮像した第2の画像とを同時に順次取得する画像取得機能と、
前記画像取得機能により取得された前記第1の画像及び前記第2の画像を表示手段に順次表示させる第1の表示制御機能と、
前記第1の表示制御機能による前記第1の画像及び前記第2の画像の表示中に、第1の所定の指示を入力する第1の入力機能と、
前記第1の入力機能により第1の所定の指示が入力された場合、前記第1の画像及び前記第2の画像の一方の画像の表示を固定した状態で、前記第1の画像及び前記第2の画像の他方の画像を継続して表示させる第2の表示制御機能と、
前記第2の表示制御機能により前記表示手段に表示された前記第1の画像及び前記第2の画像の表示中に第2の所定の指示を入力する第2の入力機能と、
前記第1の入力機能により第1の所定の指示が入力された時点に対応する第1の画像と前記第2の入力機能により第2の所定の指示が入力された時点に対応する第2の画像とを合成する合成機能と、
を実現させることを特徴とするプログラム。
[付記15]
画像処理装置において用いられる画像処理方法であって、
第1の方向を撮像した第1の画像と、前記第1の画像の撮像に対応づけて第2の方向を撮像した第2の画像とを取得する画像取得ステップと、
前記第1の画像において前記第2の画像を複数の位置のいずれかに各々合成した複数の候補画像を生成する生成ステップと、
前記生成ステップにおいて生成された複数の候補画像を表示手段に表示させる表示制御ステップと、
前記表示制御ステップにおいて前記表示手段に表示された複数の候補画像のうち、特定の候補画像を選択する選択ステップと、
前記選択ステップにおいて選択された特定の候補画像を記録手段に記録させる記録制御ステップと、
を含むことを特徴とする画像処理方法。
[付記16]
コンピュータに、
第1の方向を撮像した第1の画像と、前記第1の画像の撮像に対応づけて第2の方向を撮像した第2の画像とを取得する画像取得機能と、
前記第1の画像において前記第2の画像を複数の位置のいずれかに各々合成した複数の候補画像を生成する生成機能と、
前記生成機能により生成された複数の候補画像を表示手段に表示させる表示制御機能と、
前記表示制御機能により前記表示手段に表示された複数の候補画像のうち、特定の候補画像を選択する選択機能と、
前記選択機能により選択された特定の候補画像を記録手段に記録させる記録制御機能と、
を実現させることを特徴とするプログラム。
Claims (7)
- 第1の画像と、第2の画像とを取得する画像取得手段と、
前記第1の画像における被写体と前記第2の画像における被写体との関連性を判定する関連性判定手段と、
前記関連性判定手段により判定された被写体の関連性に基づいて、前記第1の画像における前記第2の画像の合成位置を決定する決定手段と、
前記決定手段により決定された合成位置で、前記第1の画像と前記第2の画像とを合成する画像合成手段と、
を備えることを特徴とする画像処理装置。 - 前記決定手段は、撮影に関する所定のタイミングにおいて、前記第1の画像における前記第2の画像の合成位置を特定することを特徴とする請求項1に記載の画像処理装置。
- 前記第1の画像における被写体と前記第2の画像における被写体との所定の関連性を記憶する記憶手段を更に備え、
前記関連性判定手段は、前記第1の画像における被写体と前記第2の画像における被写体とが前記記憶手段に記憶された所定の関連性を有するか否かを判定し、
前記決定手段は、前記関連性判定手段により前記第1の画像における被写体と前記第2の画像における被写体とが前記記憶手段に記憶された所定の関連性を有すると判定された場合、当該関連性に基づいて前記第1の画像における前記第2の画像の合成位置を決定することを特徴とする請求項1又は2に記載の画像処理装置。 - 前記第1の画像における前記第2の画像を合成すべき領域を特定する領域特定手段を有し、
前記決定手段は、前記領域特定手段により特定された前記合成すべき領域内で、前記合成位置を決定することを特徴とする請求項1から3のいずれか1項に記載の画像処理装置。 - 前記第1の画像及び前記第2の画像の撮像条件の少なくとも一方を他方に合わせるように調整する調整手段を更に備えたことを特徴とする請求項1から3のいずれか1項に記載の画像処理装置。
- 第1の画像と、第2の画像とを取得する画像取得ステップと、
前記第1の画像における被写体と前記第2の画像における被写体との関連性を判定する関連性判定ステップと、
前記関連性判定ステップにおいて判定された被写体の関連性に基づいて、前記第1の画像における前記第2の画像の合成位置を決定する決定ステップと、
前記決定ステップにおいて決定された合成位置で、前記第1の画像と前記第2の画像とを合成する画像合成ステップと、
を含むことを特徴とする画像処理方法。 - コンピュータに、
第1の画像と、第2の画像とを取得する画像取得機能と、
前記第1の画像における被写体と前記第2の画像における被写体との関連性を判定する関連性判定機能と、
前記関連性判定機能により判定された被写体の関連性に基づいて、前記第1の画像における前記第2の画像の合成位置を決定する決定機能と、
前記決定機能により決定された合成位置で、前記第1の画像と前記第2の画像とを合成する画像合成機能と、
を実現させることを特徴とするプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014135264A JP6357922B2 (ja) | 2014-06-30 | 2014-06-30 | 画像処理装置、画像処理方法及びプログラム |
US14/745,877 US20150381899A1 (en) | 2014-06-30 | 2015-06-22 | Image processing apparatus and image processing method for synthesizing plurality of images |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014135264A JP6357922B2 (ja) | 2014-06-30 | 2014-06-30 | 画像処理装置、画像処理方法及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018116589A Division JP6610713B2 (ja) | 2018-06-20 | 2018-06-20 | 画像処理装置、画像処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016015543A JP2016015543A (ja) | 2016-01-28 |
JP6357922B2 true JP6357922B2 (ja) | 2018-07-18 |
Family
ID=54931956
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014135264A Expired - Fee Related JP6357922B2 (ja) | 2014-06-30 | 2014-06-30 | 画像処理装置、画像処理方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20150381899A1 (ja) |
JP (1) | JP6357922B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110913121B (zh) * | 2018-09-18 | 2021-02-09 | 珠海格力电器股份有限公司 | 一种拍摄方法、电子设备及计算机存储介质 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7782363B2 (en) * | 2000-06-27 | 2010-08-24 | Front Row Technologies, Llc | Providing multiple video perspectives of activities through a data network to a remote multimedia server for selective display by remote viewing audiences |
US7149549B1 (en) * | 2000-10-26 | 2006-12-12 | Ortiz Luis M | Providing multiple perspectives for a venue activity through an electronic hand held device |
JP4198449B2 (ja) * | 2002-02-22 | 2008-12-17 | 富士フイルム株式会社 | デジタルカメラ |
US7466336B2 (en) * | 2002-09-05 | 2008-12-16 | Eastman Kodak Company | Camera and method for composing multi-perspective images |
JP2004297143A (ja) * | 2003-03-25 | 2004-10-21 | Fuji Photo Film Co Ltd | 撮影システム |
JP2004312249A (ja) * | 2003-04-04 | 2004-11-04 | Olympus Corp | カメラ |
JP2005094741A (ja) * | 2003-08-14 | 2005-04-07 | Fuji Photo Film Co Ltd | 撮像装置及び画像合成方法 |
US20050129324A1 (en) * | 2003-12-02 | 2005-06-16 | Lemke Alan P. | Digital camera and method providing selective removal and addition of an imaged object |
JP4264663B2 (ja) * | 2006-11-21 | 2009-05-20 | ソニー株式会社 | 撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム |
JP4853320B2 (ja) * | 2007-02-15 | 2012-01-11 | ソニー株式会社 | 画像処理装置、画像処理方法 |
JP5051156B2 (ja) * | 2009-03-05 | 2012-10-17 | カシオ計算機株式会社 | 画像処理装置及びプログラム |
JP2010226558A (ja) * | 2009-03-25 | 2010-10-07 | Sony Corp | 画像処理装置、画像処理方法、及び、プログラム |
JP5322817B2 (ja) * | 2009-07-17 | 2013-10-23 | 富士フイルム株式会社 | 3次元画像撮像装置及び3次元画像表示方法 |
JP5530322B2 (ja) * | 2010-09-22 | 2014-06-25 | オリンパスイメージング株式会社 | 表示装置および表示方法 |
JP5724283B2 (ja) * | 2010-10-15 | 2015-05-27 | ソニー株式会社 | 情報処理装置、同期方法およびプログラム |
JP2013026744A (ja) * | 2011-07-19 | 2013-02-04 | Sanyo Electric Co Ltd | 電子カメラ |
TWI477848B (zh) * | 2012-04-10 | 2015-03-21 | E Ink Holdings Inc | 電子裝置 |
JP5922517B2 (ja) * | 2012-07-19 | 2016-05-24 | 株式会社ゼンリンデータコム | 撮影機能を有する電子機器 |
KR101545883B1 (ko) * | 2012-10-30 | 2015-08-20 | 삼성전자주식회사 | 단말의 카메라 제어 방법 및 그 단말 |
JP2014123261A (ja) * | 2012-12-21 | 2014-07-03 | Sony Corp | 情報処理装置及び記録媒体 |
-
2014
- 2014-06-30 JP JP2014135264A patent/JP6357922B2/ja not_active Expired - Fee Related
-
2015
- 2015-06-22 US US14/745,877 patent/US20150381899A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
JP2016015543A (ja) | 2016-01-28 |
US20150381899A1 (en) | 2015-12-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4562182B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
KR101700366B1 (ko) | 디지털 촬영 장치 및 이의 제어 방법 | |
JP2013013050A (ja) | 撮像装置及びこの撮像装置を用いた表示方法 | |
JP2007215091A (ja) | 撮像装置及びそのプログラム | |
JP6149854B2 (ja) | 撮像装置、撮像制御方法及びプログラム | |
JP4799501B2 (ja) | 撮影装置、撮影装置の制御方法およびプログラム | |
KR101737086B1 (ko) | 디지털 촬영 장치 및 이의 제어 방법 | |
KR20120002834A (ko) | 참조 영상을 제공하는 촬상장치 및 그의 참조 영상 제공방법 | |
JP2008109551A (ja) | 撮像装置及び画像再生装置 | |
JP2011015091A (ja) | 撮像装置 | |
US20120026381A1 (en) | Digital image signal processing method, digital image signal processing apparatus and recording medium having recorded thereon the method | |
JP2014187551A (ja) | 画像取得装置、画像取得方法及びプログラム | |
JP2014068081A (ja) | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 | |
US20110188844A1 (en) | Digital photographing apparatus, method of controlling the same, and a computer-readable medium storing program to execute the method | |
JP2004120527A (ja) | 2眼式デジタルカメラ | |
JP2011239267A (ja) | 撮像装置及び画像処理装置 | |
JP2010199681A (ja) | 画像処理装置、および画像処理プログラム | |
JP2019169985A (ja) | 画像処理装置 | |
JP6357922B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6610713B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2007028331A (ja) | 画像生成装置及びそのプログラム | |
JP2017060133A (ja) | 電子機器、撮像制御方法、画像処理方法及びプログラム | |
JP6757245B2 (ja) | 動画再生装置、撮像装置、動画再生方法及びプログラム | |
JP2020036347A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2015139018A (ja) | 電子機器及び制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170620 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180301 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180306 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180412 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180522 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180604 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6357922 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |