JP2017054541A - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP2017054541A JP2017054541A JP2016235668A JP2016235668A JP2017054541A JP 2017054541 A JP2017054541 A JP 2017054541A JP 2016235668 A JP2016235668 A JP 2016235668A JP 2016235668 A JP2016235668 A JP 2016235668A JP 2017054541 A JP2017054541 A JP 2017054541A
- Authority
- JP
- Japan
- Prior art keywords
- image
- cut
- images
- processing apparatus
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】画像処理装置1は、切り出し処理部53と、結合処理部55と、を備える。切り出し処理部53は、1つの動画像から、空間的及び/又は時間的な切り出し基準に基づき、複数の動画像を切り出す。結合処理部55は、切り出された前記複数の動画像を、空間的及び/又は時間的な結合基準に基づき、時間的又は空間的に結合して、新たな1つの動画像を生成する。
【選択図】図2
Description
こういった流れの中で、注目する人物を追尾しつつ画質を落とさない範囲で切り出しを行う技術が開示されている(例えば、特許文献1参照)。
1つの動画像から、空間的及び/又は時間的な切り出し基準に基づき、複数の動画像を切り出す切出手段と、
切り出された前記複数の動画像を、空間的及び/又は時間的な結合基準に基づき、時間的又は空間的に結合して、新たな1つの動画像を生成する生成手段と、
を備えることを特徴とする。
[構成]
図1は、本発明の一実施形態に係る画像処理装置1のハードウェアの構成を示すブロック図である。
画像処理装置1は、例えばデジタルカメラとして構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
光電変換素子は、例えばCMOS(Complementary Metal Oxide Semiconductor)型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換(撮像)して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部16の出力信号として出力される。
このような撮像部16の出力信号を、以下、「撮像画像」と呼ぶ。撮像画像は、CPU11等に適宜供給される。
出力部18は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部19は、ハードディスク或いはフラッシュメモリ等で構成され、各種画像のデータを記憶する。
通信部20は、インターネットを含むネットワークを介して他の装置(図示せず)との間で行う通信を制御する。
画像生成処理とは、複数の人物が撮影された1つの動画像から、登録されている顔情報を基にそれぞれの人物の顔の部分を空間的または時間的に切り出し、切り出された動画像を結合して新たな動画像を生成する一連の処理をいう。
レイアウト記憶部72には、新たな動画像を生成する際に用いられるレイアウトのデータと、レイアウトを選択するための条件が定義されたレイアウトテーブルと、が記憶される。
図3に示すように、レイアウトテーブルには、動画像から切り出された部分の数を示す切り出し画像数と、動画像から切り出された部分のうち最も高い優先順位が設定された部分を示す最優先の切り出し対象と、対応するレイアウトとが対応付けて記憶されている。
具体的には、レイアウトテーブルには、切り出し画像数として「2、3」等の数値、最優先の切り出し対象として「人物A、B、Cの顔」、「正面、右向き、左向き等の顔の向き」、「最優先の切り出し対象なし」等の切り出し対象の属性、対応レイアウトとして「レイアウト2A、2B・・・2N、レイアウト3A、3B・・・3N」等のレイアウトのデータが対応付けられている。
図4の各模式図に示すように、レイアウトには、背景と、背景に合成する画像の数と、大きさ及び位置関係とが定義されている。なお、図4(A)のレイアウト2Aや、図4(B)のレイアウト2Bのように、画面全体に画像が合成される場合には、背景として枠のみが表示される。
例えば、図4(A)のレイアウト2Aは、2枚の画像を左右に並ぶ合成位置に、同一の大きさで配置するレイアウトであり、左側の合成位置が優先順位1、右側の合成位置が優先順位2となっている。また、図4(C)のレイアウト3Gは、3枚の画像を左上、中央、右下に並ぶ合成位置に、中央の合成位置を大きく、左上及び右下の合成位置を小さく配置するレイアウトであり、中央の合成位置が優先順位1、左上の合成位置が優先順位2、右下の合成位置が優先順位3となっている。
顔情報記憶部74には、人物の顔(正面、右向き、左向き)の認証用データが記憶されている。人物の顔の認証用データは、動画像において検出された顔が、特定の人物の顔であるか否かを認証するために用いられる。なお、動画像から顔を検出する処理及び検出された顔が特定の人物であるか否かを認証する処理には、公知の各種顔検出技術及び顔認証技術を用いることができる。
切り出し基準特定部52は、動画像から人物の顔の部分を切り出す際の切り出し基準を特定する。
本実施形態では、切り出し基準として、空間的切り出し基準と、時間的切り出し基準とが定義されており、切り出し基準特定部52は、動画像の切り出しが行われる際に、前回使用された空間的切り出し基準または時間的切り出し基準のいずれかを特定する。なお、切り出し基準特定部52が、ユーザによる任意の切り出し基準の特定を受け付けることとしてもよい。
具体的には、空間的切り出し基準及び時間的切り出し基準は、以下のように設定されている。
動画像を構成するフレーム毎の画面において検出され、特定の人物として認証された顔それぞれを切り出し対象とする。
(空間的切り出し基準2)
動画像を構成するフレーム毎の画面において検出された顔及び特定の人物として認証された顔それぞれを切り出し対象とする。
(空間的切り出し基準3)
動画像を構成するフレーム毎の画面において特定の人物として認証された顔を切り出し対象としない。
(空間的切り出し基準4)
動画像を構成するフレーム毎の画面において検出された一人の顔または特定の人物として認証された一人の顔の正面/右向き/左向きを別々に切り出し対象とする。ただし、認証された顔を検出された顔よりも優先し、複数の顔が検出または認証された場合は、認証対象として登録された顔に設定されている優先順位や、検出または認証された顔の大きさに応じて切り出し対象を決定する。
動画像を構成する連続するフレームにおいて顔が検出された場合または特定の人物として顔が認証された場合、検出された顔及び認証された顔が存在しているか否かによらず、同じ時間の長さで各顔に対応する動画像を切り出す。ただし、顔が検出または認証されなかったフレームの期間には、オリジナルの動画像をそのまま挿入することで、同じフレーム数となるようにする。
(時間的切り出し基準2)
動画像を構成する連続するフレームにおいて顔が検出された場合または特定の人物として顔が認証された場合、検出された顔及び認証された顔が存在しているか否かによらず、同じ時間の長さで各顔に対応する動画像を切り出す。ただし、顔が検出または認証されなかったフレームの期間は切り出しを行わずに時間的に圧縮した動画像を切り出し、最も長い動画像の長さに合わせるように、他の短い動画像のフレームレートを低下させることで、異なるフレーム数でも同じ時間となるようにする。
動画像を構成する連続するフレームにおいて顔が検出された場合または特定の人物として顔が認証された場合、検出された顔及び認証された顔が存在している部分のフレームの期間のみを切り出し、時間的に圧縮した動画を切り出す。ただし、切り出し対象とする部分は、連続して顔が検出または認証される時間が所定の閾値時間以上の部分とする。なお、検出または認証された顔の正面/右向き/左向きを区別して時間的に切り出すこととしてもよい。
本実施形態では、結合基準として、空間的結合基準と、時間的結合基準とが定義されており、結合基準特定部54は、動画像の結合が行われる際に、前回使用された空間的結合基準または時間的結合基準のいずれかを特定する。なお、結合基準特定部54が、ユーザによる任意の結合基準の特定を受け付けることとしてもよい。
具体的には、空間的結合基準及び時間的切り出し基準は、以下のように設定されている。
切り出し画像数と、予め登録されている優先順位が最も高い切り出し対象とに対応するレイアウトを選択し、切り出された動画像の優先順位の順に、合成位置の領域に割り当てる。
(空間的結合基準2)
切り出し画像数と、切り出し部分が最も大きい切り出し対象とに対応するレイアウトを選択し、切り出された動画像の優先順位の順に、合成位置の領域に割り当てる。
(空間的結合基準3)
切り出し画像数と、切り出し時間(切り出し後に時間の長さを変更する場合には、元の切り出し時間)が最も長い切り出し対象とに対応するレイアウトを選択し、切り出された動画像の優先順位の順に、合成位置の領域に割り当てる。
予め登録されている優先順位の順に結合する。ただし、認証された顔を検出された顔よりも優先し、複数の顔が検出または認証された場合は、認証対象として登録された顔に設定されている優先順位や、検出または認証された顔の大きさに応じて結合順序を決定する。
(時間的結合基準2)
切り出し部分の大きさの順に結合する。
(時間的結合基準3)
切り出し時間(切り出し後に時間の長さを変更する場合には、オリジナルの動画像を挿入していない、或いはフレームレートを低下させていない元の切り出し時間)の長さの順に結合する。
レイアウト選択部56は、結合処理部55によって動画像の空間的な結合が行われる場合に、切り出し画像数及び最優先の切り出し対象に基づいて、レイアウトテーブルを参照し、レイアウトデータを選択する。
図5は、空間的切り出し基準の概念を示す模式図であり、図5(A)、(B)は空間的切り出し基準1、図5(C)、(D)は空間的切り出し基準2、図5(E)、(F)は空間的切り出し基準3、図5(G)、(H)、(I)は空間的切り出し基準4の概念を示す模式図である。なお、図5の各模式図における破線は、空間的な切り出し領域を示している。
空間的切り出し基準1では、図5(A)に示すように、動画像内に特定の人物として認証された人物A〜Cの顔が含まれる場合、人物A〜Cの顔それぞれが切り出し対象となる。また、図5(B)に示すように、動画像内に特定の人物として認証された人物A,Bの顔及びそれ以外の人物Xの顔が含まれる場合、人物A,Bの顔それぞれが切り出し対象となり、人物Xの顔は切り出し対象とならない。
空間的切り出し基準4では、図5(G)〜(I)に示すように、動画像内に特定の人物として認証された人物またはそれ以外の人物の顔が含まれる場合、優先順位の最も高い顔の向きが正面の状態、右向きの状態及び左向きの状態それぞれが別々に切り出し対象となる。
具体的には、図6は時間的切り出し基準1で動画像を切り出した場合、図7は時間的切り出し基準2で動画像を切り出した場合、図8は時間的切り出し基準3で動画像を切り出した場合であって、切り出した動画像間で切り出しフレームが重複する場合、図9は時間的切り出し基準3で動画像を切り出した場合であって、切り出した動画像間で切り出しフレームが重複しない場合の例を示す図である。
このとき、予め登録されている優先順位が人物A、人物B、人物Cの順に高く、切り出された部分の大きさが人物B、人物A、人物Cの順に大きいものとする。
一方、切り出された動画像を時間的結合基準2に従って結合する場合、切り出し部分の大きさに応じて、人物B、人物A、人物Cの順に、切り出された動画像が結合される。また、時間的結合基準3に従って結合する場合、切り出される動画像の時間は人物A、人物B、人物Cで同じであるが、図7(A)に示すオリジナルの動画像のようにオリジナルの動画像を挿入する前の元の切り出された動画像の長さが異なる場合は、長さの順に応じて、人物A、人物B、人物Cの順に、結合する。
また、図6(D)に示すように、切り出された動画像を空間的結合基準1に従って結合する場合、予め登録されている優先順位に応じて、人物Aが優先順位1の合成位置の領域、人物Bが優先順位2の合成位置の領域、人物Cが優先順位3の合成位置の領域に結合される。なお、このとき、切り出し画像数が3であり、人物Aが最優先の切り出し対象であるため、レイアウトテーブルを参照して、レイアウト3Aが選択される。
このとき、予め登録されている優先順位が人物A、人物B、人物Cの順に高く、切り出された部分の大きさが人物B、人物A、人物Cの順に大きく、切り出された動画像のフレームレートが人物A、人物B、人物Cの順に高い(即ち、時間の長さを合わせる前の長さが人物A、人物B、人物Cの順に長い)ものとする。
一方、切り出された動画像を時間的結合基準2に従って結合する場合、切り出し部分の大きさに応じて、人物B、人物A、人物Cの順に、切り出された動画像が結合される。
さらに、切り出された動画像を時間的結合基準3に従って結合する場合、切り出し時間の長さが同じであるが、この場合は、フレームレートを低下させる前の元の切り出された動画像の長さに応じて、人物A、人物B、人物Cの順に、切り出された動画像が結合される。
一方、切り出された動画像を空間的結合基準2に従って結合する場合、切り出された部分の大きさに応じて、人物Bが優先順位1の合成位置の領域、人物Aが優先順位2の合成位置の領域、人物Cが優先順位3の合成位置の領域に結合される。なお、このとき、切り出し画像数が3であり、人物Bが最優先の切り出し対象であるため、レイアウトテーブルを参照して、レイアウト3Bが選択される。
このとき、予め登録されている優先順位が人物A、人物B、人物Cの順に高く、切り出された部分の大きさが人物B、人物A、人物Cの順に大きく、切り出された動画像の長さが人物A、人物B、人物Cの順に長いものとする。
一方、切り出された動画像を時間的結合基準2に従って結合する場合、切り出し部分の大きさに応じて、人物B、人物A、人物Cの順に、切り出された動画像が結合される。
さらに、切り出された動画像を時間的結合基準3に従って結合する場合、切り出し時間の長さに応じて、人物A、人物B、人物Cの順に、切り出された動画像が結合される。
一方、切り出された動画像を空間的結合基準2に従って結合する場合、切り出された部分の大きさに応じて、人物Bが優先順位1の合成位置の領域、人物Aが優先順位2の合成位置の領域、人物Cが優先順位3の合成位置の領域に結合される。なお、このとき、切り出し画像数が3であり、人物Bが最優先の切り出し対象であるため、レイアウトテーブルを参照して、レイアウト3Bが選択される。
このとき、予め登録されている優先順位が正面、右向き、左向きの順に高く、切り出された部分の大きさが右向き、正面、左向きの順に大きく、切り出された動画像の長さが正面、右向き、左向きの順に長いものとする。
一方、切り出された動画像を時間的結合基準2に従って結合する場合、切り出し部分の大きさに応じて、右向き、正面、左向きの順に、切り出された動画像が結合される。
さらに、切り出された動画像を時間的結合基準3に従って結合する場合、切り出し時間の長さに応じて、正面、右向き、左向きの順に、切り出された動画像が結合される。
一方、切り出された動画像を空間的結合基準2に従って結合する場合、切り出された部分の大きさに応じて、右向きが優先順位1の合成位置の領域、正面が優先順位2の合成位置の領域、左向きが優先順位3の合成位置の領域に結合される。なお、このとき、切り出し画像数が3であり、右向きが最優先の切り出し対象であるため、レイアウトテーブルを参照して、レイアウト3Hが選択される。
次に、動作を説明する。
[画像生成処理]
図10は、図2の機能的構成を有する図1の画像処理装置1が実行する画像生成処理の流れを説明するフローチャートである。
画像生成処理は、ユーザによる入力部17への画像生成処理開始のための操作により開始される。
ステップS2において、切り出し基準特定部52は、動画像から人物の顔の部分を切り出す際の切り出し基準を特定する。ここでは、前回選択された切り出し基準を今回使用する切り出し基準として特定するが、ユーザによる入力部17への切り出し基準の選択のための操作により特定してもよい。
ステップS4において、結合基準特定部54は、切り出し処理部53によって切り出された動画像を結合する際の結合基準を特定する。ここでは、前回選択された結合基準を今回使用する結合基準として特定するが、ユーザによる入力部17への結合基準の選択のための操作により特定してもよい。
切り出された動画像を空間的に結合しない場合、ステップS5においてNOと判定されて、処理はステップS8に移行する。
一方、切り出された動画像を空間的に結合する場合、ステップS5においてYESと判定されて、処理はステップS6に移行する。
ステップS7において、結合処理部55は、切り出された動画像を空間的結合基準に従って結合する空間的結合処理を実行する。なお、空間的結合処理の詳細は後述する。
ステップS7及びステップS8の後、画像生成処理は終了となる。
図11は、図10におけるステップS3の切り出し処理の流れを説明するフローチャートである。
ステップS31において、切り出し処理部53は、オリジナルの動画像をサーチし、切り出し対象となる被写体を特定する。
ステップS33において、切り出し処理部53は、選択された被写体を空間的または時間的に切り出し、中間動画像を生成する。中間動画像とは、特定のファイル形式とされていない一時的に記憶されるフレームデータの集合である。
全ての切り出し対象となる被写体の切り出し処理が終了していない場合、ステップS34においてNOと判定されて、処理はステップS35に移行する。
ステップS35の後、処理はステップS33に移行する。
一方、全ての切り出し対象となる被写体の切り出し処理が終了した場合、ステップS34においてYESと判定されて、処理は図10の画像生成処理に戻る。
図12は、図10におけるステップS7の空間的結合処理の流れを説明するフローチャートである。
ステップS51において、結合処理部55は、選択されたレイアウトの各合成位置の優先順位に対応する中間動画像(サイズやアスペクト比を調整した中間動画像)をレイアウトに従って合成することにより結合する。
ステップS52の後、処理は画像生成処理に戻る。
図13は、図10におけるステップS8の時間的結合処理の流れを説明するフローチャートである。
ステップS71において、結合処理部55は、特定された時間的結合基準の優先順位の順に中間動画像を繋いで結合する。
ステップS72の後、処理は画像生成処理に戻る。
そのため、複数の人物が画面内で離れている場合であっても、それぞれの人物を適切に動画像から切り出して、新たな動画像を生成することができる。
したがって、画面内に存在する複数の被写体の位置関係によらず、効果的な画像を生成することが可能となる。
そのため、動画像において離れた位置に写っている被写体を、予め設定された基準に適合させて、時間的に連続して表示することが可能となる。
また、時間的切り出し基準に従って切り出された切り出し対象を、空間的結合基準に従って結合し、新たな動画像を生成することができる。
そのため、動画像において同時に写っている被写体であるか否かに関わらず、予め設定された基準に適合させて、複数の被写体の動画像を空間的に配置された状態で表示することが可能となる。
次に、本発明の第2実施形態について説明する。
第2実施形態に係る画像処理装置1は、静止画像を対象として被写体の空間的な切り出しを行い、切り出された静止画像を空間的に結合して新たな静止画像を生成する。
即ち、第2実施形態に係る画像処理装置1は、ハードウェアの構成及び、画像生成処理を実行するための機能的構成は第1実施形態と共通で、主として画像生成処理の内容が第1実施形態と異なっている。
画像生成処理は、ユーザによる入力部17への画像生成処理開始のための操作により開始される。
ステップS102において、切り出し基準特定部52は、静止画像から人物の顔の部分を切り出す際の切り出し基準(空間的切り出し基準)を特定する。なお、本実施形態においては、第1実施形態における空間的切り出し基準1〜4のうち、空間的切り出し基準1〜3のいずれかが特定される。ここでも、第1実施形態同様、前回選択された切り出し基準を今回使用する切り出し基準として特定するが、ユーザによる入力部17への切り出し基準の選択のための操作により特定してもよい。
ステップS104において、結合基準特定部54は、切り出し処理部53によって切り出された静止画像を結合する際の結合基準(空間的結合基準)を特定する。なお、本実施形態においては、第1実施形態における空間的結合基準1〜3のうち、空間的結合基準1,2のいずれかが特定される。ここでも、第1実施形態同様、前回選択された結合基準を今回使用する結合基準として特定するが、ユーザによる入力部17への切り出し基準の選択のための操作により特定してもよい。
ステップS106において、結合処理部55は、切り出された静止画像を空間的結合基準に従って結合する結合処理を実行する。なお、結合処理の詳細は後述する。
ステップS106の後、画像生成処理は終了となる。
図15は、図14におけるステップS103の切り出し処理の流れを説明するフローチャートである。
ステップS121において、切り出し処理部53は、オリジナルの静止画像をサーチし、切り出し対象となる被写体を特定する。
ステップS123において、切り出し処理部53は、選択された被写体を空間的に切り出し、中間静止画像を生成する。中間静止画像とは、特定のファイル形式とされていない一時的に記憶される画素データの集合である。
全ての切り出し対象となる被写体の切り出し処理が終了していない場合、ステップS124においてNOと判定されて、処理はステップS125に移行する。
ステップS125の後、処理はステップS123に移行する。
一方、全ての切り出し対象となる被写体の切り出し処理が終了した場合、ステップS124においてYESと判定されて、処理は図14の画像生成処理に戻る。
図16は、図14におけるステップS106の結合処理の流れを説明するフローチャートである。
ステップS141において、結合処理部55は、選択されたレイアウトの各合成位置の優先順位に対応する中間静止画像(サイズやアスペクト比を調整した中間静止画像)をレイアウトに従って合成することにより結合する。
ステップS142の後、処理は図14の画像生成処理に戻る。
そのため、複数の人物が画面内で離れている場合であっても、それぞれの人物を適切に静止画像から切り出して、新たな静止画像を生成することができる。
したがって、画面内に存在する複数の被写体の位置関係によらず、効果的な画像を生成することが可能となる。
上述の実施形態においては、人物の顔等の被写体を空間的に切り出す際に、各被写体を個別に切り出す場合を例に挙げて説明した。これに対し、人物の顔等の被写体を空間的に切り出す際に、画面内で近接している複数の被写体を、1つの領域でまとめて切り出すこととしてもよい。
図17は、複数の被写体をまとめて空間的に切り出す概念を示す模式図である。
図17においては、動画像のフレームまたは静止画像内に、特定の人物として認証された人物A〜Cの顔が含まれており、人物A及び人物Bの顔が設定された閾値以内の距離に位置している。
このとき、人物A及び人物Bの顔をまとめて1つの領域で空間的に切り出すことができる。
これにより、空間的に関連性が高い被写体が分離されることなく切り出されるため、新たな画像を生成する際に、被写体の状況に応じて、被写体間の関係をより適切なものとすることができる。
切り出し処理部53は、1つの動画像から、空間的及び/又は時間的な切り出し基準に基づき、複数の動画像を切り出す。
結合処理部55は、切り出された前記複数の動画像を、空間的及び/又は時間的な結合基準に基づき、時間的又は空間的に結合して、新たな1つの動画像を生成する。
これにより、空間的及び/又は時間的な切り出し基準に従って切り出された複数の動画像から、空間的及び/又は時間的な結合基準に従って1つの動画像を生成することができる。
そのため、複数の被写体が画面内で離れている場合であっても、それぞれの被写体を適切に動画像から切り出して、新たな動画像を生成することができる。
したがって、画面内に存在する複数の被写体の位置関係によらず、効果的な画像を生成することが可能となる。
これにより、動画像において離れた位置に写っている被写体を、予め設定された時間的な結合基準に適合させて、時間的に連続して表示することが可能となる。
これにより、動画像において同時に写っている被写体であるか否かに関わらず、予め設定された空間的な結合基準に適合させて、複数の被写体の動画像を空間的に配置された状態で表示することが可能となる。
これにより、動画像の各画面において、所定の被写体の領域を適切に切り出すことができる。
これにより、動画像において、所定の被写体が含まれるフレームの期間を適切に切り出すことができる。
これにより、予め登録された複数の人物が画面内で離れて写っている場合であっても、それぞれの被写体を適切に動画像から切り出すことができる。
これにより、不特定の人物の顔が写っている動画において、複数の人物を適切に動画像から切り出すことができる。
これにより、動画像に写っている複数の人物の中から、特定の人物を除外して、効果的な動画像を生成することができる。
これにより、切り出された被写体の動画像の優先順位と空間的な優先順位と対応させて、効果的な動画像を生成することができる。
レイアウト選択部56は、切り出された動画像の数、或いは画像に含まれる被写体に対応する、複数の画像を結合する数、大きさ或いは位置関係が定義されたレイアウトを選択する。
結合処理部55は、切り出された複数の画像を、選択されたレイアウトに結合して新たな1つの画像を生成する。
これにより、切り出された動画像を自動的に適切なレイアウトに結合して、新たな動画像を生成することができる。
これにより、切り出された動画像の優先順位に対応する順序で、複数の被写体の動画像を繋げて新たな動画像を生成することができる。
これにより、切り出された動画像の属性に応じて、適切な優先順位を設定することができる。
切り出し処理部53は、1つの画像から、空間的な切り出し基準に基づき、複数の画像を切り出す。
レイアウト選択部56は、切り出された画像の特徴に基づき、複数の画像を結合する数、大きさ或いは位置関係が定義されたレイアウトを選択する。
結合処理部55は、切り出された複数の画像を、選択されたレイアウトに結合して新たな1つの画像を生成する。
これにより、空間的な切り出し基準に従って切り出された複数の画像から、空間的な結合基準に従って1つの静止画像または動画像を生成することができる。
そのため、複数の被写体が画面内で離れている場合であっても、それぞれの被写体を適切に静止画像から切り出して、新たな静止画像または動画像を生成することができる。
したがって、画面内に存在する複数の被写体の位置関係によらず、効果的な画像を生成することが可能となる。
例えば、本発明は、画像生成処理機能を有する電子機器一般に適用することができる。具体的には、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。
換言すると、図2の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画像処理装置1に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図2の例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
[付記1]
1つの動画像から、空間的及び/又は時間的な切り出し基準に基づき、複数の動画像を切り出す切出手段と、
切り出された前記複数の動画像を、空間的及び/又は時間的な結合基準に基づき、時間的又は空間的に結合して、新たな1つの動画像を生成する生成手段と、
を備えることを特徴とする画像処理装置。
[付記2]
前記生成手段は、前記空間的な切り出し基準で切り出された複数の動画像を、時間的な結合基準で結合する、
ことを特徴とする付記1に記載の画像処理装置。
[付記3]
前記生成手段は、前記時間的な切り出し基準で切り出された複数の動画像を、空間的な結合基準で結合する、
ことを特徴とする付記1に記載の画像処理装置。
[付記4]
前記切出手段は、前記空間的な切り出し基準として、動画像を構成する個々の画面内に含まれる所定の被写体部分を空間的に切り出す、
ことを特徴とする付記1から3のいずれか1つに記載の画像処理装置。
[付記5]
前記切出手段は、前記時間的な切り出し基準として、動画像を構成するフレームのうち所定の被写体が含まれるフレームを時間的に切り出す、
ことを特徴とする付記1から4のいずれか1つに記載の画像処理装置。
[付記6]
前記所定の被写体は、予め登録されている人物の顔である、
ことを特徴とする付記4または5に記載の画像処理装置。
[付記7]
前記所定の被写体は、更に、不特定の人物の顔を含む、
ことを特徴とする付記6に記載の画像処理装置。
[付記8]
前記切出手段による切り出しの対象としない人物の顔が予め登録される、
ことを特徴とする付記6に記載の画像処理装置。
[付記9]
前記生成手段は、前記空間的な結合基準として、切り出された動画像の個々を優先順位に基づいて、画面を空間的に分割し優先順位が付けられた各領域に割り当てる、
ことを特徴とする付記1から8のいずれか1つに記載の画像処理装置。
[付記10]
切り出された動画像の数、或いは画像に含まれる被写体に対応する、複数の画像を結合する数、大きさ或いは位置関係が定義されたレイアウトを選択する選択手段を更に備え、
前記生成手段は、切り出された複数の画像を、選択された前記レイアウトに結合して新たな1つの画像を生成する、
ことを特徴とする付記9に記載の画像処理装置。
[付記11]
前記生成手段は、前記時間的な結合基準として、切り出された動画像の個々を優先順位に基づいて、時間的に繋げる、
ことを特徴とする付記4に記載の画像処理装置。
[付記12]
前記優先順位は、画像に含まれる被写体に対応する予め登録されている優先順位、切り出された被写体部分の空間的な大きさ、或いは切り出された動画像の時間的な長さである、
ことを特徴とする付記9から11のいずれか1つに記載の画像処理装置。
[付記13]
1つの画像から、所定の切り出し基準に基づき、複数の画像を切り出す切出手段と、
切り出された前記画像の特徴に基づき、複数の画像を結合する数、大きさ或いは位置関係が定義されたレイアウトを選択する選択手段と、
切り出された前記複数の画像を、選択された前記レイアウトに結合して新たな1つの画像を生成する生成手段と、
を備えることを特徴とする画像処理装置。
[付記14]
前記選択手段は、切り出された画像の特徴として、画像の数、或いは画像に含まれる被写体に対応する前記レイアウトを選択する、
ことを特徴とする付記13に記載の画像処理装置。
[付記15]
前記切出手段は、所定の被写体が含まれる画像から、所定の被写体部分を切り出す、
ことを特徴とする付記13または14に記載の画像処理装置。
[付記16]
1つの動画像から、空間的及び/又は時間的な切り出し基準に基づき、複数の動画像を切り出す切出処理と、
切り出された前記複数の動画像を、空間的及び/又は時間的な結合基準に基づき、時間的又は空間的に結合して、新たな1つの動画像を生成する生成処理と、
を含むことを特徴とする画像処理方法。
[付記17]
コンピュータに、
1つの動画像から、空間的及び/又は時間的な切り出し基準に基づき、複数の動画像を切り出す切出機能と、
切り出された前記複数の動画像を、空間的及び/又は時間的な結合基準に基づき、時間的又は空間的に結合して、新たな1つの動画像を生成する生成機能と、
を実現させることを特徴とするプログラム。
[付記18]
1つの画像から、所定の切り出し基準に基づき、複数の画像を切り出す切出処理と、
切り出された前記画像の特徴に基づき、複数の画像を結合する数、大きさ或いは位置関係が定義されたレイアウトを選択する選択処理と、
切り出された前記複数の画像を、選択された前記レイアウトに結合して新たな1つの画像を生成する生成処理と、
を含むことを特徴とする画像処理方法。
[付記19]
コンピュータに、
1つの画像から、所定の切り出し基準に基づき、複数の画像を切り出す切出機能と、
切り出された前記画像の特徴に基づき、複数の画像を結合する数、大きさ或いは位置関係が定義されたレイアウトを選択する選択機能と、
切り出された前記複数の画像を、選択された前記レイアウトに結合して新たな1つの画像を生成する生成機能と、
を実現させることを特徴とするプログラム。
,53・・・切り出し処理部,54・・・結合基準特定部,55・・・結合処理部,56・・・レイアウト選択部,71・・・画像記憶部,72・・・レイアウト記憶部,73・・・生成画像記憶部,74・・・顔情報記憶部
Claims (19)
- 1つの動画像から、空間的及び/又は時間的な切り出し基準に基づき、複数の動画像を切り出す切出手段と、
切り出された前記複数の動画像を、空間的及び/又は時間的な結合基準に基づき、時間的又は空間的に結合して、新たな1つの動画像を生成する生成手段と、
を備えることを特徴とする画像処理装置。 - 前記生成手段は、前記空間的な切り出し基準で切り出された複数の動画像を、時間的な結合基準で結合する、
ことを特徴とする請求項1に記載の画像処理装置。 - 前記生成手段は、前記時間的な切り出し基準で切り出された複数の動画像を、空間的な結合基準で結合する、
ことを特徴とする請求項1に記載の画像処理装置。 - 前記切出手段は、前記空間的な切り出し基準として、動画像を構成する個々の画面内に含まれる所定の被写体部分を空間的に切り出す、
ことを特徴とする請求項1から3のいずれか1項に記載の画像処理装置。 - 前記切出手段は、前記時間的な切り出し基準として、動画像を構成するフレームのうち所定の被写体が含まれるフレームを時間的に切り出す、
ことを特徴とする請求項1から4のいずれか1項に記載の画像処理装置。 - 前記所定の被写体は、予め登録されている人物の顔である、
ことを特徴とする請求項4または5に記載の画像処理装置。 - 前記所定の被写体は、更に、不特定の人物の顔を含む、
ことを特徴とする請求項6に記載の画像処理装置。 - 前記切出手段による切り出しの対象としない人物の顔が予め登録される、
ことを特徴とする請求項6に記載の画像処理装置。 - 前記生成手段は、前記空間的な結合基準として、切り出された動画像の個々を優先順位に基づいて、画面を空間的に分割し優先順位が付けられた各領域に割り当てる、
ことを特徴とする請求項1から8のいずれか1項に記載の画像処理装置。 - 切り出された動画像の数、或いは画像に含まれる被写体に対応する、複数の画像を結合する数、大きさ或いは位置関係が定義されたレイアウトを選択する選択手段を更に備え、
前記生成手段は、切り出された複数の画像を、選択された前記レイアウトに結合して新たな1つの画像を生成する、
ことを特徴とする請求項9に記載の画像処理装置。 - 前記生成手段は、前記時間的な結合基準として、切り出された動画像の個々を優先順位に基づいて、時間的に繋げる、
ことを特徴とする請求項4に記載の画像処理装置。 - 前記優先順位は、画像に含まれる被写体に対応する予め登録されている優先順位、切り出された被写体部分の空間的な大きさ、或いは切り出された動画像の時間的な長さである、 ことを特徴とする請求項9から11のいずれか1項に記載の画像処理装置。
- 1つの画像から、所定の切り出し基準に基づき、複数の画像を切り出す切出手段と、
切り出された前記画像の特徴に基づき、複数の画像を結合する数、大きさ或いは位置関係が定義されたレイアウトを選択する選択手段と、
切り出された前記複数の画像を、選択された前記レイアウトに結合して新たな1つの画像を生成する生成手段と、
を備えることを特徴とする画像処理装置。 - 前記選択手段は、切り出された画像の特徴として、画像の数、或いは画像に含まれる被写体に対応する前記レイアウトを選択する、
ことを特徴とする請求項13に記載の画像処理装置。 - 前記切出手段は、所定の被写体が含まれる画像から、所定の被写体部分を切り出す、
ことを特徴とする請求項13または14に記載の画像処理装置。 - 1つの動画像から、空間的及び/又は時間的な切り出し基準に基づき、複数の動画像を切り出す切出処理と、
切り出された前記複数の動画像を、空間的及び/又は時間的な結合基準に基づき、時間的又は空間的に結合して、新たな1つの動画像を生成する生成処理と、
を含むことを特徴とする画像処理方法。 - コンピュータに、
1つの動画像から、空間的及び/又は時間的な切り出し基準に基づき、複数の動画像を切り出す切出機能と、
切り出された前記複数の動画像を、空間的及び/又は時間的な結合基準に基づき、時間的又は空間的に結合して、新たな1つの動画像を生成する生成機能と、
を実現させることを特徴とするプログラム。 - 1つの画像から、所定の切り出し基準に基づき、複数の画像を切り出す切出処理と、
切り出された前記画像の特徴に基づき、複数の画像を結合する数、大きさ或いは位置関係が定義されたレイアウトを選択する選択処理と、
切り出された前記複数の画像を、選択された前記レイアウトに結合して新たな1つの画像を生成する生成処理と、
を含むことを特徴とする画像処理方法。 - コンピュータに、
1つの画像から、所定の切り出し基準に基づき、複数の画像を切り出す切出機能と、
切り出された前記画像の特徴に基づき、複数の画像を結合する数、大きさ或いは位置関係が定義されたレイアウトを選択する選択機能と、
切り出された前記複数の画像を、選択された前記レイアウトに結合して新たな1つの画像を生成する生成機能と、
を実現させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016235668A JP6512208B2 (ja) | 2016-12-05 | 2016-12-05 | 画像処理装置、画像処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016235668A JP6512208B2 (ja) | 2016-12-05 | 2016-12-05 | 画像処理装置、画像処理方法及びプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014262444A Division JP6332864B2 (ja) | 2014-12-25 | 2014-12-25 | 画像処理装置、画像処理方法及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2017054541A true JP2017054541A (ja) | 2017-03-16 |
JP2017054541A5 JP2017054541A5 (ja) | 2018-02-08 |
JP6512208B2 JP6512208B2 (ja) | 2019-05-15 |
Family
ID=58316819
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016235668A Active JP6512208B2 (ja) | 2016-12-05 | 2016-12-05 | 画像処理装置、画像処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6512208B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019023785A (ja) * | 2017-07-24 | 2019-02-14 | 富士ゼロックス株式会社 | 人物識別装置及びプログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009182876A (ja) * | 2008-01-31 | 2009-08-13 | Toshiba Corp | 電子機器および表示処理方法 |
JP2010087723A (ja) * | 2008-09-30 | 2010-04-15 | Fujifilm Corp | 撮影装置及び動画像編集方法 |
JP2011040876A (ja) * | 2009-08-07 | 2011-02-24 | Olympus Imaging Corp | カメラ、カメラの制御方法、表示制御装置、および表示制御方法 |
JP2014220724A (ja) * | 2013-05-10 | 2014-11-20 | ソニー株式会社 | 表示制御装置、表示制御方法、およびプログラム |
-
2016
- 2016-12-05 JP JP2016235668A patent/JP6512208B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009182876A (ja) * | 2008-01-31 | 2009-08-13 | Toshiba Corp | 電子機器および表示処理方法 |
JP2010087723A (ja) * | 2008-09-30 | 2010-04-15 | Fujifilm Corp | 撮影装置及び動画像編集方法 |
JP2011040876A (ja) * | 2009-08-07 | 2011-02-24 | Olympus Imaging Corp | カメラ、カメラの制御方法、表示制御装置、および表示制御方法 |
JP2014220724A (ja) * | 2013-05-10 | 2014-11-20 | ソニー株式会社 | 表示制御装置、表示制御方法、およびプログラム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019023785A (ja) * | 2017-07-24 | 2019-02-14 | 富士ゼロックス株式会社 | 人物識別装置及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6512208B2 (ja) | 2019-05-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5526921B2 (ja) | 撮像装置、電子機器および表示制御方法 | |
JP5593772B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2008278458A (ja) | 撮像装置、画像表示装置、及びそのプログラム | |
JP6304293B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP4929631B2 (ja) | 画像生成装置、及び画像生成方法 | |
JP5655668B2 (ja) | 撮像装置、画像処理方法及びプログラム | |
JP2017011504A (ja) | 撮像装置、画像処理方法及びプログラム | |
JP6332864B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2014123908A (ja) | 画像処理装置、画像切り出し方法、及びプログラム | |
JP2014165530A (ja) | 画像処理システム | |
JP2014187551A (ja) | 画像取得装置、画像取得方法及びプログラム | |
JP2009081786A (ja) | 撮像装置、被写体分離方法、およびプログラム | |
JP2009038478A (ja) | プログラム、画像処理装置、撮像装置および画像処理方法 | |
JP2017054541A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2010097449A (ja) | 画像合成装置、及び画像合成方法、画像合成プログラム | |
JP2010045421A (ja) | 撮像装置、画像処理方法、及びプログラム | |
JP5479149B2 (ja) | 画像生成装置 | |
JP2011119934A (ja) | 画像撮影装置及び画像撮影方法 | |
JP2009089083A (ja) | 年齢推定撮影装置及び年齢推定撮影方法 | |
JP6372176B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6357922B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5665380B2 (ja) | 画像処理装置、画像処理装置の制御方法、プログラム、及び記録媒体 | |
JP2018038090A (ja) | 画像生成装置、画像生成方法、画像生成プログラム及び画像生成システム | |
JP5206421B2 (ja) | デジタルカメラ、撮影記録方法、及び、撮影制御プログラム | |
JP2008244586A (ja) | 映像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171222 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171222 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190312 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190325 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6512208 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |