JP6418136B2 - 画像処理装置、画像選択方法及びプログラム - Google Patents
画像処理装置、画像選択方法及びプログラム Download PDFInfo
- Publication number
- JP6418136B2 JP6418136B2 JP2015226133A JP2015226133A JP6418136B2 JP 6418136 B2 JP6418136 B2 JP 6418136B2 JP 2015226133 A JP2015226133 A JP 2015226133A JP 2015226133 A JP2015226133 A JP 2015226133A JP 6418136 B2 JP6418136 B2 JP 6418136B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- time
- setting
- reproduction time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8549—Creating video summaries, e.g. movie trailer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/93—Regeneration of the television signal or of selected parts thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Computer Security & Cryptography (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Description
複数の画像を取得する画像取得手段と、
前記画像取得手段により取得された複数の画像間における類似度を判定する類似度判定手段と、
前記複数の画像を評価する評価手段と、
再生総時間を設定する再生総時間設定手段と、
前記評価手段による評価結果に基づいて前記複数の画像の夫々に個別再生時間を設定する個別再生時間設定手段と、
前記複数の画像の前記個別再生時間と前記類似度判定手段による判定結果とに基づいて、前記複数の画像から前記画像の評価結果の合計が高くなるように前記再生総時間に応じた所定数の画像を選択する選択手段と、
を備えることを特徴とする。
図1は、本発明の第1実施形態に係る撮像装置1のハードウェアの構成を示すブロック図である。
撮像装置1は、例えば、デジタルカメラとして構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
光電変換素子は、例えばCMOS(Complementary Metal Oxide Semiconductor)型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換(撮像)して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部16の出力信号として出力される。
このような撮像部16の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、CPU11や図示しない画像処理部等に適宜供給される。
本実施形態においては、撮像部16において撮影が行われた場合には、撮影時のセンサ情報を取得して、撮影した画像に対応付けて記憶しておく。
本実施形態においては、撮像装置1では、画像の撮影時のセンサ情報(加速度情報や角速度情報)、画像解析結果(顔等の特定の被写体の有無等)、及び使用状況に関する情報(再生回数やSNSへのアップロード情報等)といった属性情報に基づいて、ハイライト動画の生成対象の候補となる画像(以下、「候補画像」ともいう。)の特徴量を算出する。
そして、算出した特徴量に基づいて、画像の価値としてスコア(以下、「画像スコア」という。)を設定する。なお、画像スコアは、人の主観に基づいて特徴量算出に用いた項目に応じて一義的に設定してもよいし、主観的な評価結果を教師データとして機械学習に基づいて特徴量の項目のそれぞれに重み付けをして、重み付けに応じて、総合的に設定してもよい。
なお、図2においては、起点ノードからの経路として、個別再生時間の組み合わせや画像スコア等の観点から適切な経路とならない経路を「淘汰パス」、設定可能な経路を「親パス」、積算スコアが最も高くなる経路を最適パスとして示している。
「撮影順に画像が組み合わされた経路」とは、本実施形態においては画像の撮影順に沿って最初の画像から最後の画像に向かって順番に経路探索を行うことで算出される経路のことである。
画像A乃至画像Dでは、画像の特徴量に基づいて算出された画像スコアが設定されており、画像A[Score:8]、画像B[Score:5]、画像C[Score:10]、画像D[Score:6]となっている。また、画像の個別再生時間が設定されており、画像A[Time:2sec]、画像B[Time:3sec]、画像C[Time:1sec]、画像D[Time:2sec]が設定される。なお、個別再生時間は、画像スコア等に対応して設定するように構成してもよい。具体的には、例えば、画像スコアの高い画像は個別再生時間を長く、画像スコアの低い画像は個別再生時間を短く設定するように構成してもよい。
設定した経路において、経路を構成する全ての画像の積算スコアを算出して、最大の積算スコアの経路の組み合わせを選択する。
本例では各経路のうち、積算スコア[24]となる経路が、積算スコアが最大となる経路となる。この経路は、画像Aを起点ノードとして、画像Cと、画像Dの組み合わせからなる。即ち、画像A→画像C→画像Dの経路が最適パスとなる。
なお、本例では、積算スコアのみを考慮したスコア別最適化を行ったが、合計再生時間を長くすることを考慮するスコア別最適化を行うように構成してもよい。
その場合、合計再生時間も最大の6secとなり、積算スコアも[23]と比較的高くなる画像Aを起点ノードとする画像Bと、画像Cの組み合わせの経路を選択する。
上述したようなスコア別最適化を行った場合、特徴量とスコアが関連しているために選択される組み合わせにおいて類似した画像が含まれてしまうことがある。本手法では、画像間の非類似度を算出して、画像間の類似度をペナルティとして換算して画像スコアに与え、近接する画像との類似度が高い画像の画像スコアを下げるように補正することで、結果として画像スコアの合計である積算スコアが低くなるために、類似した画像の組み合わせの経路が選択されにくくなる。
また、本実施形態では、類似度に応じた画像スコアの補正に対しては、画像間で類似度が高い画像の画像スコアを下げるように補正しているが、画像間で類似度の低い画像に対して、画像スコアを上げるように補正するよう構成してもよい。
本実施形態における「世代間距離」とは、経路において注目画像からみた他の画像との組み合わせでの距離であり、例えば、注目画像の前後の隣接画像を1世代、その次の先の画像を2世代としており、画像pと画像qとの間の画像数によって一意に決まるものである。
ここで、上述の手法を用いない場合には、[Feat:1]の画像Aと、特徴量の差が小さい[Feat:2]の画像C、及び画像Dの経路の組み合わせが積算スコアの最大となる経路の組み合わせであったが、本手法を用いることで、起点ノードである画像Aとの特徴量の差が大きな[Feat:3]の画像B、画像Cの経路の組み合わせが積算スコアの最大となる経路の組み合わせとなる。なお、画像Bを起点ノードとし次いで画像Cを組み合わせた場合には、積算スコアは最大とならない。
本実施形態の撮像装置1では、生成したハイライト動画の再生中にBGMを再生するように構成してもよい。
この際、ハイライト動画と、BGMがリンクするように、ハイライト動画の画像の切り替わりと、BGMの拍子やフレーズといった切り替わり箇所とを一致させる。具体的には、ハイライト動画の作成時に、BGMの内容(例えば、拍子のタイミングや拍子が変化した地点、フレーズの開始/終了地点、変調地点等)を考慮して、画像の選択順・選択数や画像の個別再生時間の調整を行う。
このようにハイライト動画の場面の切り替わり(異なる種類のフレーム画像への切り替わり)と、音楽の切り替わりを一致させることで映像と音楽との協調性がある好適な動画の表示を行うことができる。
キーポイントは、例えば、音圧の極値、リズムの変化点等の音楽内の一定の変化が見受けられるポイントに自動的に設定してもよいし、ユーザにより任意の位置に設定してもよい。
この場合は、キーポイントが画像の切り替わりのポイントになるように、キーポイントをまたぐ画像の表示開始/終了タイミングを前後の時点にスライドさせて変更する。
なお、本例では、図4(a)に示すように、ハイライト動画の最大再生時間は、8.0secに設定されている。また、音楽のキーポイントは、例えば、音楽を構成する音声情報において一定の変化が見られる位置に自動設定され、各キーポイントは、キーポイント1:1.3sec、キーポイント2:2.6sec、キーポイント3:3.2sec、キーポイント4:5.4sec、キーポイント5:6.7sec、キーポイント6:7.1secに設定される。
当該画像の個別再生時間を事前に設定された個別再生時間[τ]とするのではなく、画像Aの表示終了時点[t]からキーポイントK[t‘]でクリップした(K[t’]−t)secとする。図5(c)を用いて説明すると、画像A:t=2を起点ノードとした場合に、t=2の時点において画像Bを選択しようとすると画像Bの個別再生時間がキーポイントK(t=4)を跨いでしまう。そのため、キーポイントで確実に画像を切り替えるように画像Aの表示が終わるt=2の時点からキーポイントK(t=4)までの間、画像Bが表示されるように画像Bの個別再生時間を2secに調整する。
これによって、キーポイントを跨いで画像が再生されることを排除し、結果的にキーポイント上にて必ず画像の切り替わりが発生するようになる。
即ち、図5(c)の例では、画像Dの個別再生時間が削られて、画像Eへの切り替わりがキーポイント上で行われているため、起点ノードとなる画像Aから、画像C、画像D、画像Eの経路の組み合わせを選択することで、最大再生時間の条件下で積算スコアが最大の[31]となる。即ち、キーポイント同期最適化を行った場合には、画像A→画像C→画像D→画像Eの経路が最適パスとなる。
また、楽曲におけるサビ部分への切り替わりのような重要な時点のキーポイントで切り替わるフレーム画像は、高いランクのものになるように調整するように構成しても良い。高いランクのフレーム画像は、ユーザにとって印象深い画像である可能性が高いため、動画の中で重要な時点でのキーポイントで切り替わることで、よりユーザにとって好適な動画の再生を行うことができる。
なお、本例では、図6(a)に示すように、ハイライト動画の最大再生時間は、6.0secに設定されている。また、音楽のキーポイントは、例えば、音楽を構成する音声情報において一定の変化が見られる位置に自動設定され、優先度の高いキーポイント1は4.0secに設定されている。
さらに、優先度の高いキーポイントでスコアの高い画像に切り替わるように画像が選択されるため、図6(d)では図6(c)とは異なる経路が最適な経路として選択される。
この時、画像Dはキーポイントを跨ぐため、個別再生時間が3secから1secになるよう調整される。選択された経路における積算スコアが最大の[31]となる。即ち、キーポイントを考慮しスコア別最適化を行った場合には、画像A→画像C→画像D→画像Eの経路が最適パスとなる。
これによって、そのノードを通過するパスのスコアは相対的に高くなるため、結果的により高いランクの画像がキーポイント上で切り替わるようになる。
即ち、図7(d)の例では、高いランクの画像Cに対して5倍のボーナスを与えているために、キーポイントから開始される画像として選択されることとなり、起点ノードとなる画像A:2secから、画像B:4sec、画像C:5secの経路の組み合わせを選択することで、積算スコアが最大の[53]となる。即ち、キーポイントにおける高ランク画像の優先設定の最適化を行った場合には、画像A→画像B→画像Cの経路が最適パスとなる。
また、あまりに短い個別再生時間で画像を表示しても効果的でないため、1枚当たりの画像の再生時間の最短の長さの閾値となる最低個別再生時間を設定することができる。本例では、0.5secを最低個別再生時間として設定する。即ち、再生時間が0.5sec未満となるようなフレーム画像を経路探索の選択肢から外すように抑止(以下、「短時間再生抑止」という。)する。
なお、本例では、図8(a)に示すように、ハイライト動画の最大再生時間は、8.0secに設定されている。また、音楽のキーポイントは、例えば、音楽を構成する音声情報において一定の変化が見られる位置に自動設定され、各キーポイントは、キーポイント1:1.3sec、キーポイント2:2.6sec、キーポイント3:3.2sec、キーポイント4:5.4sec、キーポイント5:6.7sec、キーポイント6:7.1secに設定される。
なお、各画像pにおける画像スコアSと個別再生時間τは、図9(a)の例に示すように、画像Aではスコア:4、個別再生時間:1secに設定される。また、画像Bではスコア:10、個別再生時間:2secに設定される。また、画像Cではスコア:5、個別再生時間:3secに設定される。また、画像Dではスコア:6、個別再生時間:2secに設定される。また、画像Eではスコア:7、個別再生時間:2secに設定される。
即ち、キーポイント同期最適化を行った場合には、画像A→画像B→画像C→画像Eの経路が最適パスとなる。
しかしながら、例えば、個別再生時間が1secのような短時間で切り替わる画像は、画像内容によってはハイライト動画の閲覧者には内容を認識できない場合も考えられる。
例えば、画像Aを選択した後に画像Bを追加するパスでは、画像Bの個別再生時間は2sec間なので本来はt=3となるはずであるがt=4へと移動させる。つまりこれは、画像Bの再生を3secへと延長させることで、次の画像がキーポイントクリップにより1sec再生となることを抑止していることになる。
図9(b)の例では、最適パスとして画像A→画像B→画像C→画像Eの経路が選択されていたが、結果的に図9(c)ではキーポイントの前のノード時点で短時間再生が生じる場合、上述の延長処理が行われたうえで経路探索が行われるため、画像Aを選択するパスは回避され、短時間再生を含まず、積算スコアの最も高い経路である画像B→画像D→画像Eの経路が選択されることになる。
動画記憶部71には、撮影時に取得したセンサ情報と対応付けられた画像のデータが記憶される。
「ノーマルモード」は、設定された動画の最大再生時間内に納まる時間で、最も高いスコアとなる組み合わせの経路を選択して、選択された経路を構成する画像をフレーム画像として選択するモードである。「ノーマルモード」では、上述した[スコア別最適化]の手法を用いて、画像の組み合わせの経路選択を行う。
「非類似性向上モード」は、類似度が高い画像同士が選択されることを避けることで冗長性を排除し、非類似性を向上させるモードである。「非類似性向上モード」では、上述した[非類似性の向上(冗長性の排除)]の手法を用いて、画像の組み合わせの経路選択を行う。
「キーポイント切替モード」は、動画の再生時にBGMが同時に再生されるものであり、BGMのキーポイントで画像を切り替えるモードであり、ランクの高い画像がキーポイントで切り替わるようにしたり、キーポイントで画像を切り替えることで画像の切り替わりが短時間となることを抑制したりするモードである。「キーポイント切替モード」では、[音声同期再生:キーポイント同期最適化]・[キーポイント同期最適化:高ランク画像のキーポイント優先]・[キーポイント同期最適化:短時間再生画像存在時の再生時間調整]の手法を用いて、画像の組み合わせの経路選択を行う。
なお、「非類似性向上モード」の場合には、類似度が高いフレーム画像が連続する場合には、ペナルティをかけたスコアに補正する。また、「キーポイント切替モード」の場合には、キーポイントでクリッピングした場合には、クリッピング後に選択される可能性のある画像のうちランクの高いものに、ランクに応じたボーナスを加算してスコアを補正する。
ハイライト動画生成処理は、ユーザによる入力部18へのハイライト動画生成処理開始の操作により開始される。
本実施形態では、「ノーマルモード」と、「非類似性向上モード」と、「キーポイント切替モード」のモードが設定可能となる。
「ノーマルモード」は、設定された動画の最大再生時間内に納まる時間で、最も高いスコアとなる組み合わせの経路を選択して、選択された経路を構成する画像をフレーム画像として選択するモードである。
「非類似性向上モード」は、類似度が高い画像同士が選択されることを避けることで冗長性を排除し、非類似性を向上させるモードである。
「キーポイント切替モード」は、動画の再生時にBGMが同時に再生されるものであり、BGMのキーポイントで画像を切り替えるモードであり、ランクの高い画像がキーポイントで切り替わるようにしたり、キーポイントで画像を切り替えることで画像の再生時間が短時間となることを抑制したりするモードである。
「非類似性向上モード」の場合には、類似度が高いフレーム画像が連続する場合には、ペナルティをかけたスコアに補正する。
「キーポイント切替モード」の場合には、キーポイントでクリッピングした場合には、クリッピング後に選択される可能性のある画像のうちランクの高いものに、ランクに応じたボーナスを加算してスコアを補正する。
「キーポイント切替モード」の場合には、クリッピングしてキーポイントに合わせた後の余った再生時間に応じて、候補画像を選択する。この場合、補正後の積算スコアを用いて経路を選択する。また、例えば、個別再生時間が0.5sec未満の短い再生時間になってしまう候補画像がある場合には、経路の上流にある候補画像の親(1つ前の候補画像)の個別再生時間を延長して、子(次の候補画像)がキーポイントで切り替わるようにする。
その後、ハイライト動画生成処理は終了する。
画像取得部52は、複数の画像を取得する。
特徴量算出部53は、画像取得部52によって取得された複数の画像を評価する。
動画再生時間設定部54は、複数の画像からなるデータの再生総時間を設定する。
画像再生時間設定部55は、複数の画像の夫々に個別再生時間を設定する。
画像選択部58は、複数の画像の評価結果と個別再生時間に基づいて、複数の画像から再生総時間に応じた所定数の画像を選択する。
したがって、撮像装置1においては、内容が単調でない動画生成のための画像選択を可能にすることができる。
画像選択部58は、複数の画像の特徴量算出部53による評価結果と個別再生時間に基づいて、複数の画像から再生総時間に応じた所定数の画像を選択する。
したがって、撮像装置1においては、より内容が単調でない動画生成のための画像選択を可能にすることができる。
したがって、撮像装置1においては、評価結果に関係のある個別再生時間とすることができる。
したがって、撮像装置1においては、画像の内容に関連する情報、又は撮影のタイミングに関連する情報に関係する評価を行うことができる。
したがって、撮像装置1においては、設定した時間内となるように画像を選択することができる。
画像選択部58は、スコア補正部57による判定結果に基づいて、画像を選択する。
したがって、撮像装置1においては、類似度に応じて、動画生成のための画像選択を可能にすることができる。
したがって、撮像装置1においては、画像の内容に関連する情報、又は撮影のタイミングに関連する情報に関係する画像の類似度を判定することができる。
したがって、撮像装置1においては、選択される順番が近い画像の類似度を判定することができる。
したがって、撮像装置1においては、複数種の異なる観点から画像を総合的に評価することができる。
したがって、撮像装置1においては、選択対象となる画像を分散した動画生成のための画像選択を可能にすることができる。
画像選択部58は、モード設定部51によって設定された再生開始タイミングを考慮して、所定数の画像を選択する。
したがって、撮像装置1においては、設定された再生開始タイミングに合うように動画生成のための画像選択を可能にすることができる。
したがって、撮像装置1においては、楽音に合うように動画生成のための画像選択を可能にすることができる。なお、複数の楽音によって有機的に構成されたものが楽曲となる。
また、ハイライト動画に代えて、複数の静止画が一枚の画像となっているような画像を生成するように構成してもよい。
また、類似度は、例えば、画像における構図、画角、色又は等の画像の内容や、撮影時間、撮影時のセンサ情報等の撮影時の情報に基づいて決定することができる。
また、画像の評価においても、例えば、画像における構図、画角、色又は等の画像の内容や、撮影時間、撮影時のセンサ情報等の撮影時の情報に基づいて行うことができる。また、画像の評価は、画像単体において行ってもよいが、他の画像との比較において行うように構成してもよい。例えば、画像の内容からして画像単体としては高い評価となるが、同時期に同じような画像が集中した場合には、他の画像との関係から同時期に最も評価の高い画像を除いて評価を下げるように構成してもよい。
例えば、本発明は、ハイライト動画生成処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。
換言すると、図10の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置1に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図10の例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
[付記1]
複数の画像を取得する画像取得手段と、
複数の画像からなるデータの再生総時間を設定する再生総時間設定手段と、
前記複数の画像の夫々に異なる個別再生時間を設定する個別再生時間設定手段と、
前記複数の画像の前記個別再生時間に基づいて、前記複数の画像から前記再生総時間に応じた所定数の画像を選択する選択手段と、
を備えることを特徴とする画像処理装置。
[付記2]
前記画像取得手段によって取得された前記複数の画像を評価する評価手段を更に備え、
前記選択手段は、前記複数の画像の前記評価手段による評価結果と前記個別再生時間に基づいて、前記複数の画像から前記再生総時間に応じた所定数の画像を選択する、
ことを特徴とする付記1に記載の画像処理装置。
[付記3]
前記個別再生時間設定手段は、前記評価手段による評価結果に基づいて前記個別再生時間を設定する、
ことを特徴とする付記2に記載の画像処理装置。
[付記4]
前記評価手段は、画像の内容に関連する情報、又は撮影のタイミングに関連する情報に基づいて前記画像を評価する、
ことを特徴とする付記2又は3に記載の画像処理装置。
[付記5]
前記選択手段は、選択される前記画像の評価結果が高く、かつ、選択される前記複数の画像の前記個別再生時間の合計時間が前記再生総時間を超えない範囲となるように、前記所定数の画像を選択する、
ことを特徴とする付記2乃至4の何れか1つに記載の画像処理装置。
[付記6]
画像における類似度を判定する類似度判定手段を更に備え、
前記選択手段は、前記類似度判定手段による判定結果に基づいて、前記画像を選択する、
ことを特徴とする付記1乃至5の何れか1つに記載の画像処理装置。
[付記7]
前記類似度判定手段は、画像の内容に関連する情報、又は撮影のタイミングに関連する情報の情報に基づいて、前記類似度を判定する、
ことを特徴とする付記6に記載の画像処理装置。
[付記8]
前記類似度判定手段は、類似度を判定する対象の画像において前記選択手段により選択される順番が近い前後の画像を比較対象とする、
ことを特徴とする付記6又は7に記載の画像処理装置。
[付記9]
前記選択手段は、撮影される画像の撮影タイミングに関連する情報が分散するように前記所定数の画像を選択する、
ことを特徴とする付記1乃至8の何れか1つに記載の画像処理装置。
[付記10]
再生開始タイミングを設定するタイミング設定手段と、
前記選択手段は、前記タイミング設定手段によって設定された前記再生開始タイミングを考慮して、前記所定数の画像を選択する、
ことを特徴とする付記1乃至9の何れか1つに記載の画像処理装置。
[付記11]
前記タイミング設定手段は、楽音に対応するように前記再生開始タイミングを設定する、
ことを特徴とする付記10に記載の画像処理装置。
[付記12]
複数の画像を取得する画像取得ステップと、
複数の画像からなるデータの再生総時間を設定する再生総時間設定ステップと、
前記複数の画像の夫々に異なる個別再生時間を設定する個別再生時間設定ステップと、
前記複数の画像の前記個別再生時間に基づいて、前記複数の画像から前記再生総時間に応じた所定数の画像を選択する選択ステップと、
を含むことを特徴とする画像選択方法。
[付記13]
画像処理装置を制御するコンピュータを、
複数の画像を取得する画像取得手段、
複数の画像からなるデータの再生総時間を設定する再生総時間設定手段、
前記複数の画像の夫々に異なる個別再生時間を設定する個別再生時間設定手段、
前記複数の画像の前記個別再生時間に基づいて、前記複数の画像から前記再生総時間に応じた所定数の画像を選択する選択手段、
として機能させることを特徴とするプログラム。
Claims (17)
- 複数の画像を取得する画像取得手段と、
前記画像取得手段により取得された複数の画像間における類似度を判定する類似度判定手段と、
前記複数の画像を評価する評価手段と、
再生総時間を設定する再生総時間設定手段と、
前記評価手段による評価結果に基づいて前記複数の画像の夫々に個別再生時間を設定する個別再生時間設定手段と、
前記複数の画像の前記個別再生時間と前記類似度判定手段による判定結果とに基づいて、前記複数の画像から前記画像の評価結果の合計が高くなるように前記再生総時間に応じた所定数の画像を選択する選択手段と、
を備えることを特徴とする画像処理装置。 - 前記選択手段は、前記個別再生時間の合計時間が前記再生総時間を超えない範囲となるように前記複数の画像から所定数の画像を選択する、
ことを特徴とする請求項1に記載の画像処理装置。 - 前記評価手段は、画像の内容に関連する情報、又は撮影のタイミングに関連する情報に基づいて前記画像を評価する、
ことを特徴とする請求項1又は2に記載の画像処理装置。 - 複数の画像を取得する画像取得手段と、
前記画像取得手段により取得された複数の画像間における類似度を判定する類似度判定手段と、
再生総時間を設定する再生総時間設定手段と、
前記複数の画像の夫々に個別再生時間を設定する個別再生時間設定手段と、
前記複数の画像の前記個別再生時間と前記類似度判定手段による判定結果とに基づいて、前記複数の画像から前記再生総時間に応じた所定数の画像を選択する選択手段と、
前記再生総時間設定手段により設定された前記再生総時間において画像の切替時点を設定する切替時点設定手段と、
を備え、
前記選択手段は、前記切替時点に基づいて選択された複数の画像の個別再生時間の合計が、前記再生総時間内となるように前記複数の画像から所定数の画像を選択する、
ことを特徴とする画像処理装置。 - 前記切替時点設定手段は、音楽のフレーズ、若しくは拍子の切り替わり箇所と切替時点を一致させるように前記切替時点を設定する、
ことを特徴とする請求項4に記載の画像処理装置。 - 複数の画像を取得する画像取得手段と、
前記画像取得手段により取得された複数の画像間における類似度を判定する類似度判定手段と、
再生総時間を設定する再生総時間設定手段と、
前記複数の画像の夫々に個別再生時間を設定する個別再生時間設定手段と、
前記複数の画像の前記個別再生時間と前記類似度判定手段による判定結果とに基づいて、前記複数の画像から前記再生総時間に応じた所定数の画像を選択する選択手段と、
前記画像の個別再生時間が所定の時間よりも少ない場合には、当該画像自体、又は、前後のいずれかの画像の個別再生時間を変更する再生時間調整手段と、
を備える、
ことを特徴とする画像処理装置。 - 前記切替時点設定手段は、前記切替時点の少なくとも1つに重要度を設定する、
ことを特徴とする請求項4又は5に記載の画像処理装置。 - 前記選択手段は、所定の重要度を満たさない前記切替時点での画像の切り替えを行わないように画像を選択する、
ことを特徴とする請求項7に記載の画像処理装置。 - 前記類似度判定手段は、類似度を判定する対象の画像において、前記選択手段により選択される当該対象の画像が撮影された順番が近い前後の画像を比較対象とする、
ことを特徴とする請求項1乃至8の何れか1項に記載の画像処理装置。 - 複数の画像を取得する取得手段と、
前記複数の画像を評価する評価手段と、
前記評価手段による評価結果に基づいて前記複数の画像の夫々に個別再生時間を設定する個別再生時間設定手段と、
再生総時間を設定する再生総時間設定手段と、
前記再生総時間設定手段により設定された前記再生総時間において画像の切替時点を設定する切替時点設定手段と、
前記切替時点と前記再生総時間とに基づいて、前記再生総時間内となるように前記複数の画像から所定数の画像を選択する選択手段と、
を備えることを特徴とする画像処理装置。 - 前記評価手段は、画像の内容に関連する情報、又は撮影のタイミングに関連する情報に基づいて前記画像を評価する、
ことを特徴とする請求項10に記載の画像処理装置。 - 前記選択手段は、選択される前記画像の評価結果が高く、かつ、選択される前記複数の画像の前記個別再生時間の合計時間が前記再生総時間を超えない範囲となるように、前記所定数の画像を選択する、
ことを特徴とする請求項10または11に記載の画像処理装置。 - 前記選択手段は、前記評価手段による評価結果が高い画像が前記切替時点に割り当てられるように前記所定数の画像を選択する、
ことを特徴とする請求項10乃至12の何れか1項に記載の画像処理装置。 - 複数の画像を取得する画像取得ステップと、
前記画像取得ステップにより取得された複数の画像間における類似度を判定する類似度判定ステップと、
前記複数の画像を評価する評価ステップと、
再生総時間を設定する再生総時間設定ステップと、
前記評価ステップによる評価結果に基づいて前記複数の画像の夫々に個別再生時間を設定する個別再生時間設定ステップと、
前記複数の画像の前記個別再生時間と前記類似度判定ステップによる判定結果とに基づいて、前記複数の画像から前記画像の評価結果の合計が高くなるように前記再生総時間に応じた所定数の画像を選択する選択ステップと、
を含むことを特徴とする画像選択方法。 - 画像処理装置を制御するコンピュータを、
複数の画像を取得する画像取得手段、
前記画像取得手段により取得された複数の画像間における類似度を判定する類似度判定手段、
前記複数の画像を評価する評価手段、
再生総時間を設定する再生総時間設定手段、
前記評価手段による評価結果に基づいて前記複数の画像の夫々に個別再生時間を設定する個別再生時間設定手段、
前記複数の画像の前記個別再生時間と前記類似度判定手段による判定結果とに基づいて、前記複数の画像から前記画像の評価結果の合計が高くなるように前記再生総時間に応じた所定数の画像を選択する選択手段、
として機能させることを特徴とするプログラム。 - 複数の画像を取得する取得ステップと、
前記複数の画像を評価する評価ステップと、
前記評価結果に基づいて前記複数の画像の夫々に個別再生時間を設定する個別再生時間設定ステップと、
再生総時間を設定する再生総時間設定ステップと、
前記再生総時間において画像の切替時点を設定する切替時点設定ステップと、
前記切替時点と前記再生総時間とに基づいて、前記再生総時間内となるように前記複数の画像から所定数の画像を選択する選択ステップと、
を含むことを特徴とする画像選択方法。 - 画像処理装置を制御するコンピュータを、
複数の画像を取得する取得手段、
前記複数の画像を評価する評価手段、
前記評価結果に基づいて前記複数の画像の夫々に個別再生時間を設定する個別再生時間設定手段、
再生総時間を設定する再生総時間設定手段、
前記再生総時間において画像の切替時点を設定する切替時点設定手段、
前記切替時点と前記再生総時間とに基づいて、前記再生総時間内となるように前記複数の画像から所定数の画像を選択する選択手段、
として機能させることを特徴とするプログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015226133A JP6418136B2 (ja) | 2015-11-18 | 2015-11-18 | 画像処理装置、画像選択方法及びプログラム |
KR1020160134903A KR102646124B1 (ko) | 2015-11-18 | 2016-10-18 | 화상 처리 장치, 화상 선택 방법 및 매체에 기록된 프로그램 |
CN201610974411.XA CN107018348B (zh) | 2015-11-18 | 2016-11-04 | 图像处理装置、图像选择方法以及记录介质 |
US15/347,517 US10658006B2 (en) | 2015-11-18 | 2016-11-09 | Image processing apparatus that selects images according to total playback time of image data, image selection method, and computer-readable medium |
EP16198117.0A EP3171365A1 (en) | 2015-11-18 | 2016-11-10 | Image processing apparatus that selects images according to total playback time of image data, image selection method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015226133A JP6418136B2 (ja) | 2015-11-18 | 2015-11-18 | 画像処理装置、画像選択方法及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2017098638A JP2017098638A (ja) | 2017-06-01 |
JP2017098638A5 JP2017098638A5 (ja) | 2018-03-01 |
JP6418136B2 true JP6418136B2 (ja) | 2018-11-07 |
Family
ID=58817429
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015226133A Active JP6418136B2 (ja) | 2015-11-18 | 2015-11-18 | 画像処理装置、画像選択方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP6418136B2 (ja) |
KR (1) | KR102646124B1 (ja) |
CN (1) | CN107018348B (ja) |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005033554A (ja) * | 2003-07-14 | 2005-02-03 | Seiko Epson Corp | 画像再生システム及び画像再生プログラム、並びに画像再生方法 |
US8547114B2 (en) * | 2006-11-14 | 2013-10-01 | Cypress Semiconductor Corporation | Capacitance to code converter with sigma-delta modulator |
JP4811433B2 (ja) * | 2007-09-05 | 2011-11-09 | ソニー株式会社 | 画像選択装置、画像選択方法、およびプログラム |
JP2010177731A (ja) * | 2009-01-27 | 2010-08-12 | Nikon Corp | 画像再生装置及び撮像装置 |
JP2011009976A (ja) * | 2009-06-25 | 2011-01-13 | Hitachi Ltd | 画像再生装置 |
JP2011082915A (ja) * | 2009-10-09 | 2011-04-21 | Sony Corp | 情報処理装置、画像抽出方法及び画像抽出プログラム |
WO2011148212A1 (en) * | 2010-05-26 | 2011-12-01 | Sony Ericsson Mobile Communications Ab | Camera system and method for taking photographs that correspond to user preferences |
JP6012405B2 (ja) * | 2012-10-31 | 2016-10-25 | 株式会社三共 | スロットマシン |
CN104408687B (zh) * | 2014-10-31 | 2018-07-27 | 酷派软件技术(深圳)有限公司 | 一种图片播放的方法及装置 |
-
2015
- 2015-11-18 JP JP2015226133A patent/JP6418136B2/ja active Active
-
2016
- 2016-10-18 KR KR1020160134903A patent/KR102646124B1/ko active IP Right Grant
- 2016-11-04 CN CN201610974411.XA patent/CN107018348B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
KR102646124B1 (ko) | 2024-03-12 |
CN107018348B (zh) | 2020-02-07 |
CN107018348A (zh) | 2017-08-04 |
JP2017098638A (ja) | 2017-06-01 |
KR20170058266A (ko) | 2017-05-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5028225B2 (ja) | 画像合成装置、画像合成方法、およびプログラム | |
JP2014096757A (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
CN103327234B (zh) | 图像处理装置、以及图像处理方法 | |
KR102420094B1 (ko) | 화상 처리 장치, 화상 처리 방법 및 프로그램 | |
US20150379748A1 (en) | Image generating apparatus, image generating method and computer readable recording medium for recording program for generating new image by synthesizing a plurality of images | |
JP6341184B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN104065873A (zh) | 图像取得装置以及图像取得方法 | |
US10658006B2 (en) | Image processing apparatus that selects images according to total playback time of image data, image selection method, and computer-readable medium | |
JP6614198B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6418136B2 (ja) | 画像処理装置、画像選択方法及びプログラム | |
JP2016066343A (ja) | 画像生成装置、画像生成方法及びプログラム | |
JP2017098639A (ja) | 画像処理装置、画像選択方法及びプログラム | |
WO2021240644A1 (ja) | 情報出力プログラム、装置、及び方法 | |
JP6720509B2 (ja) | 画像評価装置、画像評価方法及びプログラム | |
JP6039500B2 (ja) | 映像再生装置及び映像再生プログラム | |
JP2010193026A (ja) | 画像再生装置、画像再生方法およびプログラム | |
JP6372176B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6512208B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2007221498A (ja) | カメラ、音楽画像装置、音楽画像再生方法、プログラム | |
JP6236856B2 (ja) | 画像処理装置および画像処理プログラム | |
JP2018166314A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5560744B2 (ja) | 撮像装置、動画撮像方法、及び、プログラム | |
JP6424620B2 (ja) | 画像生成装置、画像生成方法及びプログラム | |
JP6064404B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5726642B2 (ja) | 情報処理装置、情報処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180117 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180117 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20180123 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20180412 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180417 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180614 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180703 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180827 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180911 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180924 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6418136 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |