JP2012231470A - Electronic apparatus and image processing method - Google Patents
Electronic apparatus and image processing method Download PDFInfo
- Publication number
- JP2012231470A JP2012231470A JP2012121799A JP2012121799A JP2012231470A JP 2012231470 A JP2012231470 A JP 2012231470A JP 2012121799 A JP2012121799 A JP 2012121799A JP 2012121799 A JP2012121799 A JP 2012121799A JP 2012231470 A JP2012231470 A JP 2012231470A
- Authority
- JP
- Japan
- Prior art keywords
- image
- still
- still image
- photo movie
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Television Signal Processing For Recording (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
本発明の実施形態は、画像を表示する電子機器及び画像処理方法に関する。 Embodiments described herein relate generally to an electronic apparatus that displays an image and an image processing method.
近年、パーソナルコンピュータ、デジタルカメラ、PDAのような様々な電子機器が普及している。このような電子機器は、例えば写真のような静止画像を管理する機能を有している。画像管理方法としては、例えば、写真に付加された日時データに基づいて、写真を複数のグループに分類する方法が知られている。 In recent years, various electronic devices such as personal computers, digital cameras, and PDAs have become widespread. Such an electronic device has a function of managing still images such as photographs. As an image management method, for example, a method of classifying photos into a plurality of groups based on date and time data added to the photos is known.
また、最近では、写真のような静止画像群を用いて動画像(例えば、フォトムービー、スライドショー等)を作成する動画作成技術が注目されている。動画作成技術としては、例えば、静止画像群を複数の撮影日時に対応する複数のディレクトリに分類して格納し、ユーザによって指定されたディレクトリ内の静止画像群を用いて動画を作成する技術が知られている。 Recently, attention has been paid to a moving image creation technique for creating a moving image (for example, a photo movie, a slide show, etc.) using a group of still images such as photographs. As a moving image creation technique, for example, a technique is known in which still image groups are classified and stored in a plurality of directories corresponding to a plurality of shooting dates and times, and a moving image is created using still image groups in a directory designated by a user. It has been.
スライドショーを表示する電子機器は、例えば格納された画像の特徴量を抽出し、指定されたキー画像との類似度を計算し、類似度別画像ソート結果あるいは類似度変化関数にしたがって画像を逐次選択して表示する。 The electronic device that displays the slide show, for example, extracts the feature amount of the stored image, calculates the similarity with the specified key image, and sequentially selects the images according to the image sorting result by similarity or the similarity change function And display.
しかし、ユーザに処理対象のディレクトリを指定させる方法では、表示される静止画像は、その指定されたディレクトリ内の静止画像に限定される。したがって、例えば、思いがけない静止画像(ユーザが意識していない静止画像)や、同一のディレクトリ内に格納されていないものの関連性が高い静止画像等を含む動画をユーザに提示することは困難である。 However, in the method in which the user designates a processing target directory, the displayed still image is limited to still images in the designated directory. Therefore, for example, it is difficult to present a user with a moving image including an unexpected still image (a still image that the user is not aware of) or a still image that is not stored in the same directory but is highly relevant. .
また、スライドショーでは、静止画像群から表示対象となる画像を逐次選択して表示するだけであるので、ユーザに興味を持たせることができる、より視聴効果の高い動画像を提供できることが望まれていた。 In addition, in a slide show, it is only necessary to sequentially select and display images to be displayed from a group of still images, and therefore it is desired to provide a moving image with higher viewing effect that can interest the user. It was.
本発明は、思いがけない静止画像等を含む視聴効果の高い動画像をユーザに提示できる電子機器及び画像処理方法を提供することを目的とする。 An object of the present invention is to provide an electronic device and an image processing method capable of presenting a moving image having a high viewing effect including an unexpected still image to a user.
実施形態によれば、電子機器は、選択手段と、決定手段と、再生手段とを具備する。選択手段は、複数のスタイルからユーザ操作により指定されたスタイルを選択する。決定手段は、前記選択手段により選択されたスタイルに予め用意された複数のシナリオ情報から、動画像の再生に用いるシナリオ情報を決定する。再生手段は、複数の静止画像から前記シナリオ情報に応じて抽出された静止画像群をもとに動画像を再生する。 According to the embodiment, the electronic device includes a selection unit, a determination unit, and a reproduction unit. The selecting means selects a style designated by a user operation from a plurality of styles. The determining means determines scenario information used for reproducing a moving image from a plurality of scenario information prepared in advance for the style selected by the selecting means. The reproduction means reproduces a moving image based on a still image group extracted from a plurality of still images according to the scenario information.
以下、図面を参照して、実施形態を説明する。
図1は、本発明の一実施形態に係る電子機器の外観を示す斜視図である。この電子機器は、例えばノートブックタイプのパーソナルコンピュータ10として実現されている。図1に示すように、パーソナルコンピュータ10は、コンピュータ本体11と、ディスプレイユニット12とから構成されている。ディスプレイユニット12には、LCD(liquid crystal display)17が組み込まれている。ディスプレイユニット12は、コンピュータ本体11の上面が露出される開放位置とコンピュータ本体11の上面を覆う閉塞位置との間を回動自在にコンピュータ本体11に取り付けられている。
Hereinafter, embodiments will be described with reference to the drawings.
FIG. 1 is a perspective view showing an external appearance of an electronic apparatus according to an embodiment of the present invention. This electronic apparatus is realized as a notebook type
コンピュータ本体11は、薄い箱形の筐体を有しており、その上面には、キーボード13、パーソナルコンピュータ10を電源オン/電源オフするためのパワーボタン14、入力操作パネル15、タッチパッド16、スピーカ18A,18Bなどが配置されている。
The computer
入力操作パネル15上には、各種操作ボタンが設けられている。
Various operation buttons are provided on the
また、コンピュータ本体11の右側面には、例えばUSB(universal serial bus)2.0規格のUSBケーブルやUSBデバイスを接続するためのUSBコネクタ19が設けられている。
Further, on the right side surface of the computer
図2は、パーソナルコンピュータ10のシステム構成を示す図である。
パーソナルコンピュータ10は、図2に示されているように、CPU(central processing unit)101、ノースブリッジ102、主メモリ103、サウスブリッジ104、GPU(Graphics Processing Unit)105、VRAM(ビデオRAM:random access memory)105A、サウンドコントローラ106、BIOS−ROM(basic input/output system-read only memory)107、LAN(local area network)コントローラ108、ハードディスクドライブ(HDD)109、光ディスクドライブ(ODD)110、USBコントローラ111A、カードコントローラ111B、無線LANコントローラ112、エンベデッドコントローラ/キーボードコントローラ(EC/KBC)113、EEPROM(electrically erasable programmable ROM)114等を備える。
FIG. 2 is a diagram showing a system configuration of the
As shown in FIG. 2, the
CPU101は、パーソナルコンピュータ10内の各部の動作を制御するプロセッサである。CPU101は、HDD109から主メモリ103にロードされる、オペレーティングシステム(OS)201、及び動画像作成アプリケーションプログラム202のような各種アプリケーションプログラムを実行する。動画像作成アプリケーションプログラム202は、例えばHDD109等に格納された各種デジタルコンテンツを再生するソフトウェアである。この動画像作成アプリケーションプログラム202は、動画像生成機能を有している。この動画像生成機能は、例えば、HDD109等に格納された静止画像等の素材(デジタルコンテンツ)を用いて、動画像(スライドショー(第1の動画像)、フォトムービー(第2の動画像))を作成する機能である。さらに、この動画像生成機能は、動画像の作成に用いる素材を分析する機能を含む。動画像作成アプリケーションプログラム202は、素材を用いて作成された動画像を再生し、画面(LCD17)に表示する。
The
また、CPU101は、BIOS−ROM107に格納されたBIOSも実行する。BIOSは、ハードウェア制御のためのプログラムである。
The
ノースブリッジ102は、CPU101のローカルバスとサウスブリッジ104との間を接続するブリッジデバイスである。ノースブリッジ102には、主メモリ103をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ102は、例えば、PCI EXPRESS規格のシリアルバスなどを介してGPU105との通信を実行する機能も有している。
The
GPU105は、パーソナルコンピュータ10のディスプレイモニタとして使用されるLCD17を制御する表示コントローラである。このGPU105によって生成される表示信号はLCD17に送られる。
The GPU 105 is a display controller that controls the
サウスブリッジ104は、PCI(Peripheral Component Interconnect)バス上の各デバイス及びLPC(Low Pin Count)バス上の各デバイスを制御する。また、サウスブリッジ104は、HDD109及びODD110を制御するためのIDE(Integrated Drive Electronics)コントローラを内蔵している。さらに、サウスブリッジ104は、サウンドコントローラ106との通信を実行する機能も有している。
The
サウンドコントローラ106は音源デバイスであり、再生対象のオーディオデータをスピーカ18A,18Bに出力する。LANコントローラ108は、例えばIEEE 802.3規格の有線通信を実行する有線通信デバイスであり、一方、無線LANコントローラ112は、例えばIEEE 802.11g規格の無線通信を実行する無線通信デバイスである。USBコントローラ111Aは、(USBコネクタ19を介して接続される)例えばUSB 2.0規格に対応した外部機器との通信を実行する。例えば、USBコントローラ111Aは、例えば、デジタルカメラに格納されている画像データファイルを受信するために使用される。カードコントローラ111Bは、コンピュータ本体11に設けられたカードスロットに挿入される、SDカードのようなメモリカードに対するデータの書き込み及び読み出しを実行する。
The
EC/KBC113は、電力管理のためのエンベデッドコントローラと、キーボード13及びタッチパッド16を制御するためのキーボードコントローラとが集積された1チップマイクロコンピュータである。EC/KBC113は、ユーザによるパワーボタン14の操作に応じて電源回路115を制御し、パーソナルコンピュータ10を電源オン/電源オフする機能を有している。
The EC /
電源回路115は、コンピュータ本体11に挿入されたバッテリ115a、またはACアダプタ115bを介して接続された外部電源から電源供給を受けて、各コンポーネントへの動作電源を生成して供給する。電源回路115には、電源マイコンが設けられている。
The
電源マイコンは、各コンポーネントとバッテリに対する電源供給(充放電)や、バッテリ115aの充電状態(バッテリ残量)、ACアダプタ115bの接続の有無(外部からの電源供給の有無)を監視する。
The power supply microcomputer monitors the power supply (charge / discharge) to each component and the battery, the state of charge of the
次に、図3を参照して、動画像作成アプリケーションプログラム202の機能構成を説明する。
ここでは、動画像作成アプリケーションプログラム202が有する機能のうち、動画像生成機能を実現するための構成例について説明する。動画像生成機能は、HDD109内の所定のディレクトリ(フォルダ)に格納された複数の静止画像(静止画像データ)51を用いて動画像(フォトムービー、スライドショー)を作成し、その作成した動画像を再生する。静止画像51は、例えば、デジタル写真、他の各種静止画像ファイル(例えば、JPEG(Joint Photographic Experts Group)ファイル)等である。用語「フォトムービー」は、複数の静止画像(例えば写真)を用いて生成される動画像(ムービー)を意味する。フォトムービーの再生においては、静止画像群には様々なエフェクトまたはトランジションが施される。エフェクトまたはトランジションが施された静止画像群は、音楽と並行して再生される。動画像作成アプリケーションプログラム202は、ある静止画像(キー画像)に関連する静止画像群を自動的に抽出し、抽出された静止画像群を用いてフォトムービーを作成および再生することができる。用語「スライドショー」は、静止画像を1枚ずつ順次表示する動画像(ムービー)を意味する。
Next, the functional configuration of the moving image
Here, a configuration example for realizing a moving image generation function among the functions of the moving image
動画像作成アプリケーションプログラム202は、ユーザが設定したHDD109内のフォルダ(写真フォルダ)を監視し、1以上の新しい静止画像(写真ファイル)が写真フォルダに格納されたことを感知すると、それら1以上の新しい静止画像に対するインデキシングを行うと同時に、それら1以上の新しい静止画像のスライドショーを開始する。インデキシングが完了すると、動画像作成アプリケーションプログラム202は、1以上の新しい静止画像を用いたフォトムービーを作成して再生する。この場合、例えば、1以上の新しい静止画像のみからフォトムービーを作成して再生しても良い。代わりに、1以上の新しい静止画像に関連する静止画像群を写真フォルダ内の静止画像群から抽出し、1以上の新しい静止画像と、それら抽出された静止画像群とを用いてフォトムービーを作成して再生しても良い。
The moving image
フォトムービーの作成は、1枚の静止画像(キー画像)を基に行われる。つまり、選択されたキー画像に関連する複数の静止画像からなる静止画像群が自動抽出され、抽出された静止画像群を用いてフォトムービーが作成される。フォトムービーの作成条件として、スタイル、音楽、注目する人物(顔)の各々を選択指定することができる。選択したスタイルに応じて、使用される静止画像の抽出方法、使用されるエフェクト/トランジション等が決定される。従来では、ムービーの作成に使用する写真はユーザによって指定されるが、動画像作成アプリケーションプログラム202は、写真フォルダ内の全ての静止画像から、使用する写真群を自動抽出する。これにより、思いがけない写真を掘り起こしてユーザに見せることができる。
A photo movie is created based on a single still image (key image). That is, a still image group composed of a plurality of still images related to the selected key image is automatically extracted, and a photo movie is created using the extracted still image group. Each of the style, music, and person (face) of interest can be selected and specified as a photo movie creation condition. Depending on the selected style, a method for extracting a still image to be used, an effect / transition to be used, and the like are determined. Conventionally, a user specifies a photo to be used to create a movie, but the moving image
抽出処理では、顔画像の笑顔度、顔画像の鮮明度等に従って、より写りの良い写真を抽出してもよい。また、顔クラスタリングによって各顔画像に対応する人物を認識し、例えば、選択された人物の顔画像を含む写真群、選択された人物に関連する別の人物の顔画像を含む写真群などを抽出してもよい。さらに、イベントグループ分け技術を用いて写真群を複数のイベントに分けてもよい。この場合、あるイベント内の登場人物と別のイベント内の登場人物との関係に基づいてイベント同士の関連性を推定し、その推定結果を抽出処理に使用しても良い。例えば、同一の人物が登場するイベント同士は関連性があると推定しても良い。また、例えば、ある人物Aと別の人物Bが同じ写真に写っている頻度(共起頻度)が高いならば、人物Aを含む写真が属するイベントは、人物Bを含む写真が属するイベントに関連するイベントであると推定してもよい。 In the extraction process, a photograph with better reflection may be extracted according to the smile degree of the face image, the sharpness of the face image, and the like. Also, the person corresponding to each face image is recognized by face clustering, and for example, a group of photographs including the face image of the selected person, a group of photographs including the face image of another person related to the selected person, etc. are extracted. May be. Furthermore, a group of photographs may be divided into a plurality of events using an event grouping technique. In this case, the relationship between events may be estimated based on the relationship between the characters in one event and the characters in another event, and the estimation result may be used for the extraction process. For example, it may be estimated that events in which the same person appears are related. For example, if the frequency (co-occurrence frequency) of a person A and another person B appearing in the same photo is high, the event to which the photo including the person A belongs is related to the event to which the photo including the person B belongs. It may be estimated that this is an event.
動画像作成アプリケーションプログラム202は、監視部21、インデキシング部22、再生制御部23、電源監視部24、及び設定部25を備える。
The moving image
監視部21は、HDD109内の素材データベース301を常時監視し、新たな静止画像51が例えばUSBコントローラ111A、カードコントローラ111B等のインタフェース部を介してHDD109内の素材データベース301に格納されたか否かを判定する。素材データベース301はHDD109内の所定のディレクトリ(上述の写真フォルダ)に相当する。素材データベース301に格納された各静止画像51は、動画像(フォトムービー、スライドショー)の素材候補として用いられる。素材データベース301には、静止画像のみならず、例えばショートムービーのような動画像を素材候補として格納してもよい。
The
インデキシング部22は、素材データベース301内の複数の静止画像51を分析し、それら複数の静止画像51それぞれの属性を示すインデックス情報を生成する。インデキシング部22によるインデキシングは、例えば、1以上の新しい静止画像(写真ファイル)が素材データベース301に格納されたことをトリガに開始される。つまり、素材データベース301に1以上の新しい静止画像が格納された時に、インデキシング部22は、その新しい静止画像に対応するインデックス情報を生成する。
The
インデキシング部22は、顔認識機能を有している。インデックス情報には、複数の静止画像51に含まれる複数の顔画像それぞれの認識結果も含まれている。
The
インデキシング部22は、顔画像検出部221、クラスタリング部222、イベント検出部223、及びインデックス情報生成部224を備える。
顔画像検出部221は、インデキシング対象の静止画像51(例えば、写真フォルダに新たに格納された静止画像)から顔画像を検出する。顔画像は、例えば、その静止画像51の特徴を解析し、予め用意された顔画像特徴サンプルと類似する特徴を有する領域を探索することによって検出することができる。顔画像特徴サンプルは、多数の人物それぞれの顔画像特徴を統計的に処理することによって得られた特徴データである。顔検出処理により、その静止画像51に含まれる顔画像に対応する領域が検出され、当該領域の位置(座標)及びサイズが検出される。
The
The face
また、顔画像検出部221は検出した顔画像を分析する。顔画像検出部221は、例えば、検出した顔画像の笑顔度、鮮明度、正面度等を算出する。笑顔度は、検出した顔画像が笑顔である度合いを示す指標である。鮮明度は、検出した顔画像が鮮明である(例えば、ぼけがない)度合いを示す指標である。また、正面度は、検出した顔画像が正面を向いている度合いを示す指標である。顔画像検出部221は、検出した顔画像を示す情報をクラスタリング部222に出力する。
The face
クラスタリング部222は、検出した顔画像に対してクラスタリング処理を施すことにより、検出した顔画像を人物毎に分類する。類似する顔画像特徴を有する顔画像同士は同一の人物として認識される。クラスタリング部222は、クラスタリング処理の結果に基づいて、各顔画像に対して人物の識別情報(人物ID)を付与する。同一人物の顔画像群に対しては同一の人物IDが付与される。クラスタリング部222は、各顔画像の属性(笑顔度、鮮明度、正面度、人物ID)をインデックス情報生成部224に出力する。
The
イベント検出部223は、インデキシング対象の静止画像51に対応するイベントを検出する。イベント検出部223は、例えば、そのインデキシング対象の静止画像51の生成日時(撮影日時)に基づいて、そのインデキシング対象の静止画像51を、所定の期間内(例えば、1日)に生成された他の静止画像と同一のイベントに分類する。そして、イベント検出部223は、インデキシング対象の静止画像51に対して、そのインデキシング対象の静止画像51が分類されたイベントの識別情報(イベントID)を付与する。そして、イベント検出部223は、インデキシング対象の静止画像51に付与されたイベントIDをインデックス情報生成部224に出力する。
The
インデックス情報生成部224は、顔画像検出部221及びクラスタリング部222による処理結果に基づいて、インデックス情報302Aを生成する。
図4は、インデックス情報302Aの一構成例を示す。インデックス情報302Aは、複数の静止画像51にそれぞれ対応する複数のエントリを含む。各エントリは、例えば、画像ID、生成日時(撮影日時)、生成場所(撮影場所)、イベントID、顔画像情報を含む。ある静止画像に対応するエントリにおいて、画像IDは、その静止画像に固有の識別情報を示す。生成日時は、その静止画像が生成された日時(その静止画像の撮影日時)を示す。生成場所は、その静止画像が生成(撮影)された場所(位置)を示す。生成日時及び生成場所には、例えば、その静止画像データに付加されている情報が用いられる。生成場所は、例えば、その静止画像データが生成されるときに(例えば、静止画像データに対応する写真が撮影されるときに)、GPSレシーバによって検出された位置情報を示す。イベントIDは、その静止画像に対応するイベントに一意に付与される識別情報を示す。顔画像情報は、その静止画像に含まれる顔画像の認識結果情報である。顔画像情報は、例えば、顔画像(例えば、その顔画像の格納場所を示すパス)、人物ID、位置、サイズ、笑顔度、鮮明度、及び正面度を含む。なお、一つの静止画像51に複数の顔画像が含まれるときは、その一つの静止画像51に対応するインデックス情報302Aは、複数の顔画像の各々に対応する顔画像情報を含む。
インデックス情報生成部224は、生成したインデックス情報302Aを素材情報データベース302に格納する。
The index
FIG. 4 shows a configuration example of the
The index
以上の構成により、インデキシング部22は、入力された静止画像51に対応するインデックス情報302Aを生成し、素材情報データベース302に格納することができる。
With the above configuration, the
再生制御部23は、インデックス情報302Aに基づき、ある選択された静止画像(キー画像)に関連する静止画像を含む静止画像群を、素材データベース301内の静止画像51から抽出し、関連する静止画像群を用いてフォトムービーまたはスライドショーを作成および再生する。
Based on the
再生制御部23は、動画像作成アプリケーションプログラム202が起動された場合、基本的にはスライドショーの再生を実行し、設定部25によりユーザ指定に応じて設定されたフォトムービーの再生開始のタイミングに応じて、スライドショーに代えてフォトムービーを再生する。また、再生制御部23は、電源監視部24により管理される電源状況に応じて、フォトムービーの再生を制御することができる。
When the moving image
再生制御部23は、例えば、キー画像選択部231、カレンダー表示部232、関連画像選択部233、シナリオ決定部234、動画像生成部235、及び動画像再生部236を備える。
The
キー画像選択部231は、素材データベース301に格納された複数の静止画像51からキー画像(キー静止画像)を選択する。キー画像選択部231は、再生中の動画像(フォトムービーまたはスライドショー)に含まれる静止画像をキー画像に決定することもできる。つまり、キー画像選択部231は、再生中のフォトムービー又はスライドショー内のある画像がユーザによって指示された時、その指示された画像をキー画像に決定する。なお、フォトムービー又はスライドショーの再生中にユーザによるキー画像の指示が行われないとき、キー画像選択部231は、例えば、再生されたフォトムービー又はスライドショーに含まれる最後の静止画像をキー画像に決定してもよい。
The key image selection unit 231 selects a key image (key still image) from a plurality of still
キー画像選択部231は、静止画像が作成(撮影)された日をカレンダーに明示したカレンダー画面を用いてキー画像を選択してもよい。キー画像選択部231は、例えば、カレンダー画面からユーザによって指定された日に作成された静止画像をキー画像に決定する。 The key image selection unit 231 may select a key image using a calendar screen in which the date on which the still image is created (photographed) is clearly shown on the calendar. For example, the key image selection unit 231 determines a still image created on the date designated by the user from the calendar screen as the key image.
キー画像選択部231は、さらに、例えばユーザによって選択された顔画像を、キー顔画像に決定することもできる。この場合、そのキー顔画像に対応する人物に関連する静止画像が素材データベース301から抽出され、それら抽出された静止画像を含む静止画像群が動画像(フォトムービー又はスライドショー)の作成に用いられる。
The key image selection unit 231 can also determine, for example, a face image selected by the user as a key face image. In this case, a still image related to the person corresponding to the key face image is extracted from the
関連画像選択部233は、素材データベース301に格納されている複数の静止画像51から、キー画像(キー顔画像)に関連する1つ以上の静止画像を選択(抽出)する。キー画像に関連する静止画像は、キー画像に対して、例えば、日時、人物又は場所について関連性を有する。関連画像選択部233は、例えば、素材情報データベース302に格納されたインデックス情報302Aを用いて、キー画像に関連する静止画像を抽出する。関連画像選択部233は、日時関連画像選択部233A、人物関連画像選択部233B及び場所関連画像選択部233Cを備える。
The related
日時関連画像選択部233Aは、素材データベース301に格納された静止画像群51から、キー画像の生成日時に関連する生成日時を有する静止画像を選択(抽出)する。日時関連画像選択部233Aは、例えば、インデックス情報302Aに基づいて、キー画像の生成日時と同一の期間内(例えば、日、月、時期、季節、年等で指定される期間内)に生成された静止画像を選択(抽出)する。また、日時関連画像選択部233Aは、例えば、インデックス情報302Aに基づいて、キー画像の生成日時とは別の期間内の同じ日、同じ週、同じ月等(例えば、1年前の同じ日や2年後の同じ月等)に生成された静止画像を選択(抽出)する。
The date / time related image selection unit 233A selects (extracts) a still image having a generation date / time related to a key image generation date / time from the
人物関連画像選択部233Bは、素材データベース301に格納された複数の静止画像51から、キー顔画像(キー画像に含まれる顔画像)に関連する静止画像を選択(抽出する)する。キー顔画像に関連する静止画像は、例えば、キー顔画像と同じ人物の顔画像を含む静止画像、キー顔画像に対応する人物に関連する別の人物の顔画像を含む静止画像、等を含む。キー顔画像に対応する人物に関連する別の人物には、例えば、キー顔画像と同じ静止画像内に含まれる人物等が含まれる。
The person-related image selection unit 233B selects (extracts) a still image related to a key face image (a face image included in the key image) from a plurality of still
場所関連画像選択部233Cは、素材データベース301に格納された静止画像51から、キー画像の生成場所に関連する場所で生成された静止画像を選択(抽出)する。
The location-related
シナリオ決定部234は、作成対象の動画像(例えば、フォトムービー)のシナリオを決定する。シナリオは、例えば、作成対象の動画像シーケンス内の複数のチャプタ(タイムセグメント)のそれぞれにおいて使用するエフェクトと静止画像の属性とを示す情報(シナリオ情報)を含む。つまり、シナリオ決定部234は、シナリオ中のチャプタと称されるタイムセグメント毎に、エフェクトと静止画属性とを選択する。
The
本実施形態においては、例えば、24種類のシナリオ情報がシナリオデータ303Cとして予めエフェクトデータベース303内に格納されている。シナリオ決定部234は、24種類のシナリオ情報の内の1つのシナリオ情報を、動画像(例えば、フォトムービー)の作成に使用するシナリオとして決定する。
In the present embodiment, for example, 24 types of scenario information are stored in advance in the
シナリオの決定は、ユーザによって選択されたスタイルに従って実行してもよい。つまり、選択されたスタイルに従って、使用すべきシナリオ情報が決定される。本実施形態では、例えば8種類のスタイル(Happy, Fantastic, Ceremonial, Cool, Travel, Party, Gallery, Biography)が予め用意されている。さらに、スタイル毎に、例えば3種類のシナリオ情報が予め用意されている。シナリオ決定部234は、例えば、ユーザによって選択されたスタイルに対応する3種類のシナリオ情報の内の任意の1つを自動的に選択し、その選択したシナリオ情報を作成対象の動画像(例えば、フォトムービー)のシナリオに決定する。また、ユーザがスタイルを選択する代わりに、シナリオ決定部234が、8種類のスタイル内の任意の1つを自動的に選択してもよい。この場合、使用するスタイルは、例えば、関連画像選択部233によって抽出された静止画像それぞれの特徴(例えば、登場人物数(顔画像数)、顔画像の笑顔度、等)に基づいて決定してもよい。
The scenario determination may be performed according to the style selected by the user. That is, scenario information to be used is determined according to the selected style. In this embodiment, for example, eight styles (Happy, Fantastic, Ceremonial, Cool, Travel, Party, Gallery, Biography) are prepared in advance. Further, for example, three types of scenario information are prepared in advance for each style. For example, the
上述のように、選択されたスタイルに対応する3種類のシナリオ情報の内の1つが作成対象の動画像(例えば、フォトムービー)のシナリオとして選択されるが、このシナリオの選択には、例えば、乱数を使用してもよい。これにより、たとえ同じスタイルが選択された場合でも、毎回異なるシナリオを使用してフォトムービーを作成できる。フォトムービーの作成に使用される静止画像群それぞれの属性は使用されるシナリオによって変わる。したがって、使用されるシナリオを変えることは、思いがけない静止画像を掘り起こしてユーザに見せることができる可能性を高めることを可能にし得る。 As described above, one of the three types of scenario information corresponding to the selected style is selected as a scenario of a moving image (for example, a photo movie) to be created. For this scenario selection, for example, Random numbers may be used. Thus, even if the same style is selected, a photo movie can be created using a different scenario each time. The attributes of each still image group used to create a photo movie vary depending on the scenario used. Thus, changing the scenario used may make it possible to increase the likelihood that an unexpected still image can be dug up and shown to the user.
さらに、シナリオ決定部234は、フォトムービーの作成に使用する音楽も決定する。
Furthermore, the
本実施形態では、複数の音楽が音声データ303Bとしてエフェクトデータベース303に格納されている。シナリオ決定部234は、例えば、選択されたスタイルに応じて、または関連画像選択部233によって抽出された静止画像それぞれの特徴(例えば、登場人物数(顔画像数)に応じて、使用する音楽を決定する。なお、使用する音楽はユーザが指定するようにしてもよい。
In the present embodiment, a plurality of music is stored in the
また、ユーザによってスタイルが選択された場合、関連画像選択部233は、スタイル毎に決められた画像抽出条件に応じて、素材データベース301に格納されている複数の静止画像51からスタイルに関連する静止画像を選択(抽出)することもできる。
When the user selects a style, the related
動画像生成部235は、素材データベース301に格納された静止画像をもとに、表示モードに応じてスライドショーあるいはフォトムービーを生成する。
The moving
動画像生成部235は、表示モードがフォトムービーである場合、シナリオ決定部234により決定されたシナリオ情報に基づいてフォトムービーを生成する。この場合、動画像生成部235は、関連画像選択部233によって抽出された静止画像群から、シナリオ情報によって示される各チャプタの静止画属性に合致する少なくとも1つの静止画像を抽出する。そして、動画像生成部235は、抽出された少なくとも1つの静止画像を各チャプタに割り当てることによって、フォトムービーを作成する。
When the display mode is a photo movie, the moving
また、動画像生成部235は、表示モードがスライドショーである場合には、関連画像選択部233によって抽出された静止画像群から表示対象とする静止画像を例えばランダムに抽出する。
In addition, when the display mode is a slide show, the moving
なお、動画像生成部235は、スライドショーを作成する場合に、フォトムービーの作成と同様にして、シナリオ情報を使用してもよい。この場合、動画像生成部235は、関連画像選択部233によって抽出された静止画像群から、シナリオ情報によって示される各チャプタの静止画属性に合致する少なくとも1つの静止画像を抽出する。そして、動画像生成部235は、抽出された少なくとも1つの静止画像を各チャプタに割り当てることによってスライドショーを作成、つまり使用する静止画像それぞれとその再生順を決定する。
Note that the moving
動画像再生部236は、フォトムービーについては、シナリオ情報によって示される各チャプタに対応するエフェクトを各チャプタに割り当てられた静止画像に施すことによってフォトムービーを再生する。また、動画像再生部236は、スライドショーについては、動画像生成部235により順次抽出される静止画像を再生する。
For the photo movie, the moving
電源監視部24は、EC/KBC113、電源回路115を通じて電源状態を監視し、再生制御部23に通知する。再生制御部23によるフォトムービーの再生は、静止画像へのエフェクト等のために処理負担が大きい。パーソナルコンピュータ10がバッテリ駆動されている場合、フォトムービーの再生のために消費電力が大きくなり稼働可能時間が短くなってしまう。電源監視部24は、パーソナルコンピュータ10がバッテリ駆動されているかACアダプタ115bが接続されているかの電源モードや、バッテリ駆動されている場合のバッテリ115aの残量などの電源状態を再生制御部23に通知することで、フォトムービーの再生回数や時間などを変更できるようにする。
The power
設定部25は、再生制御部23に再生される動画像(スライドショー、フォトムービー)の再生を制御する設定を行う。設定部25は、ユーザからの要求に応じてスライドショー/フォトムービー設定画面を表示させる。この設定画面では、スライドショーについては、画像の切り換え間隔(例えば、1〜300秒の範囲で設定)、静止画像の日付表示の有無を設定することができる。また、フォトムービーについては、フォトムービーの再生開始のタイミングを設定することができる。例えば、フォトムービーの「連続再生」あるいは「再生しない」に設定できる他、再生間隔を時間で指定することができる。例えば、「15分毎」「30分毎」「1時間毎」に設定できる。また、再生時刻を指定することができる。例えば、「毎時○○分」「○○時○○分」に設定できる。また、「○○時〜○○時」のように有効時間を範囲指定することもできる。さらに、「ランダム」に設定したり、特定の日時「○月○日○時○分」を指定できるようにしても良い。設定部25は、ユーザ指定に応じて設定された内容を示す設定情報を記録する。再生制御部23は、設定部25により設定された設定情報を参照し、再生開始のタイミングに合わせて、フォトムービーの再生を開始する。なお、スライドショーについてもフォトムービーと同様に、再生開始のタイミングを設定できるようにしても良い。
The setting
図6は、動画像作成アプリケーションプログラム202によって表示されるメイン画面40の例を示す。
メイン画面40は、例えば、「スタイル」ボタン401、「音楽」ボタン402、「主人公」ボタン403、「スタート」ボタン404、ムービー再生画面405、及び「カレンダー」ボタン406を備える。
FIG. 6 shows an example of the
The
ムービー再生画面405は、生成されたフォトムービー又はスライドショーを表示するための画面である。ムービー再生画面405では、再生制御部23(動画像生成部235)によって生成されたフォトムービー又はスライドショーが順次再生され、表示される。図6においては、再生中のフォトムービー又はスライドショーの画像に、例えば、人物40A〜40Fが登場する例が示されている。
The
動画像作成アプリケーションプログラム202は、起動されるとスライドショーの再生を開始する。スライドショーの再生中にフォトムービーの再生を開始するタイミングになると、再生制御部23は、スライドショーの最後に表示された静止画像をキー画像に決定し、このキー画像をもとにフォトムービーを生成し、スライドショーに代えてフォトムービーの再生を開始する。また、フォトムービーの再生が終了すると、フォトムービーの最後に表示された静止画像をキー画像に決定し、このキー画像をもとにスライドショーを生成し、スライドショーの再生を開始する。
When the moving image
また、フォトムービー又はスライドショーの再生中にムービー再生画面405がユーザによるポインティングデバイスの操作によってクリックされた時、動画像作成アプリケーションプログラム202は、フォトムービー(スライドショー)の再生を一時停止し、現在再生中の画像をキー画像に決定する。現在再生中の画像が複数の静止画像を合成することによって生成された画像であるならば、動画像作成アプリケーションプログラム202は、それら複数の静止画像の一つをキー画像に決定しても良い。もちろん、それら複数の静止画像の内、ユーザによってクリックされた静止画像をキー画像に決定しても良い。
Also, when the
「主人公」ボタン403は、生成されるフォトムービー(またはスライドショー)内で注目される人物(主人公)の選択を開始するためのボタンである。キー画像選択部231は、「主人公」ボタン403が押されたことに応答して、キー画像に登場する人物のリスト(顔画像選択画面)を表示する。ユーザは、例えば、ムービー再生画面405を用いてキー画像を選択した後に、「主人公」ボタン403を押して、キー顔画像の選択開始(すなわち、顔画像選択画面の表示)を指示する。
A “hero”
顔画像選択画面では、キー画像に含まれる顔画像のリストが表示される。ユーザは、顔画像選択画面のリストからから注目する人物の顔画像を選択する。キー画像選択部231は、選択された顔画像をキー顔画像(主人公)に決定する。また、顔画像選択画面を用いて顔画像を選択する操作が行われないとき(例えば、「主人公」ボタン403が押されないとき)、キー画像選択部231は、キー画像に含まれる顔画像のうち、所定の条件を満たす顔画像をキー顔画像に選択してもよい。
On the face image selection screen, a list of face images included in the key image is displayed. The user selects the face image of the person of interest from the list on the face image selection screen. The key image selection unit 231 determines the selected face image as a key face image (hero). Further, when an operation for selecting a face image using the face image selection screen is not performed (for example, when the “hero”
図6のメイン画面40上の「スタイル」ボタン401は、フォトムービーのスタイルの選択を開始するためのボタンである。動画像作成アプリケーションプログラム202は、「スタイル」ボタン401が押されたことに応答して、スタイル選択画面を表示する。スタイル選択画面上には、上述の8種類のスタイル(Happy, Fantastic, Ceremonial, Cool, Travel, Party, Gallery, Biography)のリストが表示される。ユーザは、希望するスタイルを選択することができる。
A “style”
「音楽」ボタン402は、フォトムービーに用いられる音楽の選択を開始するためのボタンである。動画像作成アプリケーションプログラム202は、「音楽」ボタン402が押されたことに応答して、音楽のリスト(音楽選択画面)を表示する。ユーザは、希望する音楽を選択することができる。
The “music”
「スタート」ボタン404は、フォトムービーの生成及び再生を開始するためのボタンである。動画像作成アプリケーションプログラム202は、「スタート」ボタン404が押されたことに応答して、フォトムービーの作成を開始する。そして、動画像作成アプリケーションプログラム202は、作成したフォトムービーを再生して、ムービー再生画面405に表示する。
A “start”
次に、図5を参照して、フォトムービー作成処理の手順の概要について説明する。
動画像作成アプリケーションプログラム202は、まず、インデックス情報に基づいて、キー画像(キー顔画像)に関連する静止画像を素材データベース301から抽出(一次抽出)する(ブロックB101)。ブロックB101では、動画像作成アプリケーションプログラム202は、例えば、選択された人物(主人公)に関連する静止画像を素材データベース301から抽出する。
Next, with reference to FIG. 5, an outline of the procedure of the photo movie creation process will be described.
First, the moving image
次に、動画像作成アプリケーションプログラム202は、フォトムービーの作成に用いるシナリオを選定する(ブロックB102)。ブロックB102では、動画像作成アプリケーションプログラム202は、選択されたスタイルや、ブロックB101で抽出した複数の静止画像の特徴値等に応じて、予め用意された複数のシナリオ情報の一つを選択する。各シナリオ情報は、フォトムービーのシーケンスを構成する複数のチャプタ(シーン)において使用されるエフェクトの順番(エフェクト列)および静止画像の属性(静止画属性)とを規定する。
Next, the moving image
図5では、フォトムービーのシーケンスが5つのチャプタ(チャプタ1、2、3、4、5)から構成される場合が想定されている。チャプタ1はフォトムービーのオープニングシーンであり、チャプタ5はフォトムービーのエンディングシーンである。各チャプタには、1以上のエフェクトが定義され、さらにエフェクト毎に静止画属性が定義される。
In FIG. 5, it is assumed that the photo movie sequence is composed of five chapters (
静止画属性としては、例えば、人物属性(顔属性)を使用してもよい。この人物属性としては、例えば、主人公(主役)、脇役、笑顔度、鮮明度、登場人数等を使用することができる。ここで、用語「主役」は、フォトムービーの主人公となるべき人物、つまり、注目すべき人物(顔)を意味する。例えば、上述のキー顔画像に対応する人物を、主役に決定してもよい。用語「脇役」は、主人公に関連する別の人物を意味する。例えば、主人公との共起頻度の高い人物(顔)を脇役に決定してもよい。人物属性は、複数の脇役を指定することもできる。主人公との共起頻度の高い複数の人物(顔)が脇役となり得る。静止画属性としては、人物属性のみならず、例えば、場所属性を使用してもよい。この場所属性は、使用する静止画像の撮影場所を指定する。 As the still image attribute, for example, a person attribute (face attribute) may be used. As this person attribute, for example, a hero (main character), a supporting character, a smile level, a sharpness, a number of characters, and the like can be used. Here, the term “main character” means a person who should be the main character of the photo movie, that is, a person (face) to be noted. For example, the person corresponding to the key face image described above may be determined as the main character. The term “supporting role” means another person related to the protagonist. For example, a person (face) having a high co-occurrence frequency with the main character may be determined as a supporting role. The person attribute can also specify a plurality of supporting roles. A plurality of persons (faces) having a high co-occurrence frequency with the main character can be a supporting role. As a still image attribute, not only a person attribute but also, for example, a place attribute may be used. This location attribute designates a still image shooting location to be used.
図5のシナリオ情報1では、例えば、チャプタ1に2つのエフェクト(エフェクト#1、エフェクト#2)が規定されており、さらに、エフェクト#1には静止画属性「主人公」が、エフェクト#2には静止画属性「主人公 OR 脇役」が関連付けられている。静止画属性「主人公」は、主人公が登場する静止画像が使用されるべきであることを指定する。静止画属性「主人公 OR 脇役」は、主人公または脇役のいずれかが登場する静止画像が使用されるべきであることを指定する。静止画属性の他の幾つかの例は以下の通りである。
In
チャプタ2のエフェクト#11に関連付けられた静止画属性「主人公、脇役」は、主人公と脇役の双方が登場する静止画像が使用されるべきであることを指定する。チャプタ3のエフェクト#6に関連付けられた静止画属性「脇役1、脇役2、脇役3」は、3人の脇役(脇役1、脇役2、脇役3)の全てが登場する静止画像が使用されるべきであることを指定する。チャプタ5のエフェクト#3に関連付けられた静止画属性「多人数、笑顔度高」は、閾値以上の人物が登場し且つ笑顔度の高い人物の頻度がある閾値以上である静止画像が使用されるべきであることを指定する。チャプタ5のエフェクト#4に関連付けられた静止画属性「主人公、笑顔度高」は、主人公が登場し、且つ主人公の笑顔度が閾値以上である静止画像が使用されるべきであることを指定する。このように、人物属性は、各チャプタに登場すべき人物が、主役、脇役、または主役および脇役の双方のいずれであるかを指定することができる。
The still image attribute “hero, supporting role” associated with the
次いで、動画像作成アプリケーションプログラム202は、ブロックB101で抽出した静止画像群から、選定されたシナリオ情報によって示される各チャプタの静止画属性に合致する1以上の静止画像をさらに抽出(本抽出)する(ブロックB103)。そして、動画像作成アプリケーションプログラム202は、抽出された静止画像を各チャプタに割り当てることによってフォトムービーを作成し、作成されたフォトムービーを再生する(ブロックB104)。ブロックB104では、動画像作成アプリケーションプログラム202は、シナリオ情報によって示される各チャプタに対応するエフェクトを、各チャプタに割り当てられた静止画像に施す。
Next, the moving image
図7、図8は、フォトムービーの表示例を示している。
図7は、静止画像に登場する人物の顔画像を強調するためのエフェクトが施された例を示す。画面43では、人物43Aの顔画像に対して、人物43Aを強調するためのエフェクト43Bが施されている。エフェクト43Bは、顔画像を囲むイラストを顔画像に重畳している。また、静止画像44では、人物44Aの顔画像にスポットを当てるエフェクト44Bが施されている。エフェクト44Bは、人物44Aの顔画像以外の領域を暗くしている。
7 and 8 show a display example of a photo movie.
FIG. 7 shows an example in which an effect for enhancing a face image of a person appearing in a still image is applied. On the
図8は、複数の静止画像にエフェクトが施される例を示す。画面45及び画面46では、複数の静止画像に対して、それら静止画像を組み合わせて表示するためのエフェクトが施されている。このエフェクトは、複数の静止画像の配置、サイズ、モーション等を決定している。
FIG. 8 shows an example in which an effect is applied to a plurality of still images. On the
次に、図9に示すフローチャートを参照して、動画像作成アプリケーションプログラム202によって実行される動画像生成処理の手順の例について説明する。動画像作成アプリケーションプログラム202は、フォトムービー及びスライドショーのいずれかの動画像を再生する。
Next, an example of the procedure of the moving image generation process executed by the moving image
まず、キー画像選択部231は、キー画像選択処理を実行する(ブロックB201)。 First, the key image selection unit 231 executes key image selection processing (block B201).
キー画像選択部231は、素材データベース301に格納された静止画像データ51からキー画像を選択する。このキー画像は、素材データベース301から、再生する動画像(フォトムービー又はスライドショー)に用いられる静止画像データ51を抽出するための抽出キーとして用いられる。キー画像選択部231は、選択したキー画像を示す情報を関連画像選択部233に出力する。なお、キー画像は、カレンダー画面あるいは顔画像選択画面を通じて入力されたユーザからの指定に応じて選択しても良いし、表示対象とする静止画像群からランダムに選択しても良い。また、動画像作成アプリケーションプログラム202の起動時に表示される静止画像や前回の動画像の再生において最後に選択された静止画像を選択しても良い。
The key image selection unit 231 selects a key image from the
動画像作成アプリケーションプログラム202の起動時には表示モードがスライドショーに設定されている。なお、ユーザの操作によって、表示モードをフォトムービーに変更することも可能である。
表示モードがスライドショーモードである場合(ブロックB202のスライドショー)、関連画像選択部233は、キー画像選択部231によって選択されたキー画像を用いて、関連画像選択処理を実行する(ブロックB203)。関連画像選択部233は、キー画像に対して、例えば日時、人物又は場所について関連する静止画像データ51を素材データベース301から選択する。これにより、スライドショーの再生対象となる複数の静止画像からなる静止画像群が得られる。
When the moving image
When the display mode is the slide show mode (slide show in block B202), the related
動画像生成部235は、関連画像選択部233によってキー画像に関連する静止画像群が得られると、この静止画像群からスライドショーとして表示する静止画像データ51を例えばランダムに素材データベース301から抽出して動画像再生部236に出力する(ブロックB204)。
When the related
動画像再生部236は、動画像生成部235により抽出された静止画像データ51を用いて、ムービー再生画面405においてスライドショーとして画像を表示させる。
The moving
なお、スライドショーを再生する場合、シナリオ決定部234によりスライドショー用のシナリオ情報を決定し、このシナリオ情報を用いてスライドショーに用いられる静止画像を素材データベース301から抽出するようにしても良い。例えば、スライドショー用のシナリオ情報では、表示する静止画像の静止画属性のみが設定されている。動画像生成部235は、静止画属性に合致する静止画像データ51をキー画像に関連する静止画像群から抽出して動画像再生部236に出力する。以下、動画像生成部235と動画像再生部236は、設定部25によって設定された画像の切り換え間隔に応じて、例えば5秒毎に静止画像を抽出して表示する。再生制御部23は、フォトムービーの再生開始のタイミングに到達するまでスライドショーの再生を継続する(ブロックB206のNo)。
When a slide show is reproduced, scenario information for the slide show may be determined by the
再生制御部23は、設定部25により設定された再生開始のタイミングを監視している。フォトムービーの再生開始タイミング、例えばユーザに指定された再生時刻に到達した場合(ブロックB206のYes)、キー画像選択部231は、動画像再生部236によってスライドショーの最後に用いられた静止画像データ51をキー画像に決定する(ブロックB207)。
The
再生制御部23は、スライドショーの最後に表示された静止画像データ51をキー画像として、フォトムービー作成処理を実行して、フォトムービーの作成及び再生を実行する。なお、図9に示すブロックB208〜B212に示す処理は、図5に示すブロックB101〜B104と同様に実行されるものとして詳細な説明を省略する。
The
ただし、スライドショーの再生中にフォトムービーに移行した場合には、動画像生成部235は、スライドショーの最後に表示された静止画像(キー画像)を最初に抽出し、フォトムービーの先頭において表示させる。これにより、スライドショーの最後の画像とフォトムービーの最初の画像とが同じとなり、スライドショーからフォトムービーへ移行を自然(滑らか)にすることができる。
However, when moving to a photo movie during slide show reproduction, the moving
また、スライドショーの最後に表示された静止画像(キー画像)をフォトムービーの最初に表示するだけでなく、フォトムービーのシナリオ情報に設定されたクライマックスの部分(例えば、特別なエフェクトが設定されている)など、フォトムービー中の特定の部分で読み出して表示されるようにしても良い。 In addition to displaying the still image (key image) displayed at the end of the slide show at the beginning of the photo movie, the climax part set in the scenario information of the photo movie (for example, a special effect is set) ) Or the like may be read out and displayed at a specific part in the photo movie.
再生制御部23は、シナリオ情報に応じて決定されるチャプタの数や再生対象とする静止画像の枚数、あるいはフォトムービーと並行して出力される楽曲の長さに応じた時間分のフォトムービーを再生する(ブロックB213のNo)。
The
フォトムービーの再生が終了すると(ブロックB213のYes)、キー画像選択部231は、動画像再生部236によってフォトムービーの最後に用いられた静止画像データ51をキー画像に決定する(ブロックB214)。
When the reproduction of the photo movie ends (Yes in block B213), the key image selection unit 231 determines the
再生制御部23は、フォトムービーの最後に表示された静止画像データ51をキー画像として、前述したブロックB203〜B205の処理を実行して、スライドショーの作成及び再生を実行する。
The
これにより、スライドショーからフォトムービーに移行した場合と同様にして、移行を自然(滑らか)にすることができる。 As a result, the transition can be made natural (smooth) in the same way as when the slide show is shifted to the photo movie.
以上の処理により、動画像作成アプリケーションプログラム202は、キー画像に関連する静止画像データ51を用いたスライドショーを表示し、フォトムービーを開始するタイミングに到達した場合に、スライドショーからフォトムービーに移行することができる。フォトムービーの再生が終了すると、再び、スライドショーの再生に戻ることができる。キー画像に関連する静止画像データ51を用いることにより、思いがけない静止画像等を含む動画像をユーザに提示することができる。
With the above processing, the moving image
また、動画像作成アプリケーションプログラム202により素材データベース301に格納された複数の静止画像データ51を用いて動画像を再生出力させる場合、フォトムービーとスライドショーとを混在して実行させることで、視聴効果を向上させることができる。
In addition, when a moving image is reproduced and output using a plurality of
なお、図9に示すフローチャートでは、例えばフォトムービーの再生を開始するタイミング(例えば、ユーザにより設定された時刻)に到達してから、静止画像一次抽出を開始してフォトムービーを作成している。フォトムービー作成処理では、複数の静止画像に対して、シナリオ情報において設定された複数のエフェクトを施す必要があるため処理負荷が大きい。従って、フォトムービーの再生を開始するタイミングに到達してからフォトムービー作成処理を開始すると、スライドショーの最後の画像が表示されてからフォトムービーの再生が開始されるまでに、スライドショーの画像の切り換え間隔よりも長い時間を要する可能性がある。この場合、ユーザに対して動画像の表示が一時停止した印象を与えてしまう。 In the flowchart shown in FIG. 9, for example, after reaching the timing (for example, a time set by the user) at which the reproduction of the photo movie is started, the still image primary extraction is started to create the photo movie. In the photo movie creation process, it is necessary to apply a plurality of effects set in the scenario information to a plurality of still images, resulting in a heavy processing load. Therefore, when the photo movie creation process is started after the timing for starting the playback of the photo movie is reached, the slide show image switching interval is displayed after the last image of the slide show is displayed until the playback of the photo movie starts. May take longer. In this case, an impression that the display of the moving image is temporarily stopped is given to the user.
そこで、図10のフローチャートに示すフォトムービー作成開始判定処理により、フォトムービーの再生を開始するタイミングに到達する前に、フォトムービーの作成を完了させるようにしても良い。 Therefore, the photo movie creation start determination process shown in the flowchart of FIG. 10 may complete the creation of the photo movie before reaching the timing for starting the playback of the photo movie.
再生制御部23は、スライドショーの再生を実行している間、フォトムービー作成開始判定処理を実行する。再生制御部23は、設定部25により設定された設定情報を参照し、フォトムービーの再生を開始する時刻の所定時間前となったかを判別する(ブロックB301)。なお、所定時間は、フォトムービー作成処理によってフォトムービーを作成可能な十分な時間である。ただし、フォトムービー作成処理が終了してから、フォトムービーの再生が開始される(スライドショーの再生終了)までの時間はできるだけ短いことが望ましい。すなわち、フォトムービー作成処理が開始された後、ユーザ操作によって新たなキー画像の指定やスタイルの指定があった場合には、新たにフォトムービー作成処理を実行する必要があり、それまでのフォトムービー作成処理の処理結果が無駄になってしまうためである。
The
再生制御部23は、フォトムービーの再生を開始する時刻の所定時間前になると(ブロックB302のYes)、スライドショーの最後に用いられる静止画像データ51を判別する。スライドショーでは、設定部25により設定された画像の切り換え間隔に従って1枚毎に静止画像が表示される。このため、再生制御部23は、フォトムービーの再生が開始されるまでに表示される静止画像の枚数を算出し、その枚数分の表示対象とする静止画像を選択することで、スライドショーの最後に表示される静止画像を特定することができる。
The
キー画像選択部231は、スライドショーの最後に表示される静止画像をキー画像に決定する(ブロックB304)。以下、前述したように、キー画像をもとにしてフォトムービー作成処理によってフォトムービーを作成する。 The key image selection unit 231 determines the still image displayed at the end of the slide show as a key image (block B304). Hereinafter, as described above, a photo movie is created by the photo movie creation process based on the key image.
図11は、フォトムービー作成開始判定処理を説明する図である。
図11に示すように、スライドショーの再生中に、スライドショーの最後に表示される静止画像を判別し、この静止画像をキー画像にしてフォトムービー作成処理を実行する。
FIG. 11 is a diagram for explaining the photo movie creation start determination process.
As shown in FIG. 11, during playback of a slide show, a still image displayed at the end of the slide show is determined, and a photo movie creation process is executed using this still image as a key image.
このフォトムービー作成処理では、フォトムービーの再生を開始するタイミング前にフォトムービーの作成が完了するため、必要以上にフォトムービーの再生開始が遅れることはない。 In this photo movie creation process, since the creation of the photo movie is completed before the timing for starting the playback of the photo movie, the start of playback of the photo movie is not delayed more than necessary.
なお、フォトムービーからスライドショーに移行する場合には、処理負荷が大きくないため、図11に示すように、スライドショーの再生開始のタイミングに合わせて、例えばフォトムービーの最後に表示された静止画像をスライドショーの先頭に表示すれば良い。 In the case of shifting from a photo movie to a slide show, since the processing load is not large, as shown in FIG. 11, for example, a still image displayed at the end of the photo movie is displayed as a slide show in accordance with the start timing of the slide show reproduction. Should be displayed at the beginning of.
また、前述した説明では、設定部25によってユーザ指定に応じて設定されたタイミングによりフォトムービーの再生を開始しているが、電源監視部24により監視されている電源状態に応じてフォトムービーの再生回数、あるいは再生時間を次のように調整しても良い。
In the above description, the playback of the photo movie is started at the timing set by the setting
(A)ACアダプタ115bが接続され、外部電源から電源供給を受けている場合。 (A) The AC adapter 115b is connected and is supplied with power from an external power source.
(a1)設定部25によって設定された設定情報に応じて、フォトムービーを再生する。
(A1) The photo movie is reproduced according to the setting information set by the setting
(a2)設定情報に関係なく、常時、フォトムービーを再生する。 (A2) Regardless of the setting information, the photo movie is always played back.
(a3)設定情報の設定内容よりもフォトムービーの再生回数を増やす。例えば、30分毎の再生が設定されていた場合、15分毎にフォトムービーを再生する。 (A3) Increase the number of times that the photo movie is played more than the setting contents of the setting information. For example, if playback every 30 minutes is set, a photo movie is played every 15 minutes.
(a4)1回のフォトムービーの再生時間を長くする。 (A4) Extend the playback time of one photo movie.
(B)ACアダプタ115bが接続されていないためバッテリ駆動している場合。 (B) When the battery is driven because the AC adapter 115b is not connected.
(b1)バッテリ115aの残量が予め設定されたしきい値よりも十分に多い場合には、設定部25によって設定された設定情報に応じて、フォトムービーを再生する。
(B1) When the remaining amount of the
(b2)バッテリ115aの残量が予め設定されたしきい値よりも少ない場合には、設定情報の設定内容よりもフォトムービーの再生回数を減らす。例えば、15分毎の再生が設定されていた場合、30分毎にフォトムービーを再生する。
(B2) When the remaining amount of the
(b3)バッテリ115aの残量が減少するに従って、フォトムービーの再生間隔を長くする。例えば、バッテリ残量が3/4に減少した場合、例えば、設定情報で設定されていた15分毎の再生を30分毎に変更し、バッテリ残量が1/2に減少した場合、1時間毎に変更し、1/4に減少した場合には、フォトムービーの再生を中止してスライドショーのみを再生する。
(B3) The playback interval of the photo movie is lengthened as the remaining amount of the
(b4)バッテリ駆動に移行した時、あるいはバッテリ残量が予め設定されたしきい値よりも少なくなった場合、設定情報におけるフォトムービーの再生実行を無効にして、常時、スライドショーを再生する。 (B4) When shifting to battery driving or when the remaining battery level is less than a preset threshold value, the reproduction of the photo movie in the setting information is invalidated and the slide show is always reproduced.
(b5)バッテリ駆動に移行した時、あるいはバッテリ残量が予め設定されたしきい値よりも少なくなった場合、1回のスライドショーの時間を短くする。
前述した調整例を単独、あるいは組み合わせて実施することが可能である。
(B5) The time for one slide show is shortened when shifting to battery driving or when the remaining battery level is less than a preset threshold value.
It is possible to carry out the adjustment examples described above alone or in combination.
このようにして、電源状況に応じてフォトムービーの再生回数あるいは再生時間を調整することにより、動画像の再生によりバッテリ115aの急速な減少を回避してパーソナルコンピュータ10の稼働可能時間を確保し、かつフォトムービーとスライドショーとを混在して再生する視聴効果を維持することが可能となる。
In this way, by adjusting the number of playback times or the playback time of the photo movie according to the power supply status, it is possible to avoid the rapid decrease of the
なお、前述とした動画像生成処理では、スライドショーからフォトムービーに移行する場合、スライドショーの最後の静止画像をキー画像として決定しているが、最後から数枚の静止画像からキー画像を選択するようにしても良い。同様にして、フォトムービーからスライドショーに移行する場合、フォトムービーの最後から数枚の静止画像からキー画像を選択するようにしても良い。つまり、フォトムービーやスライドショーの表示形態によっては、最後の静止画像がユーザの印象に残らない場合があるため、最後から数枚の静止画像からキー画像を選択することにより、同様の効果を得ることができる。 In the moving image generation process described above, when moving from a slide show to a photo movie, the last still image of the slide show is determined as the key image, but the key image is selected from the last several still images. Anyway. Similarly, when shifting from a photo movie to a slide show, a key image may be selected from several still images from the end of the photo movie. In other words, depending on the display format of the photo movie or slide show, the last still image may not remain in the user's impression, so the same effect can be obtained by selecting the key image from the last several still images. Can do.
また、キー画像とする静止画像を1枚としているが、2枚以上とすることも可能である。
また、本実施形態の再生処理の手順は全てソフトウェアによって実行することができる。このため、再生処理の手順を実行するプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのプログラムを通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。
In addition, although one still image is used as a key image, it is possible to have two or more still images.
Also, all the playback processing procedures of this embodiment can be executed by software. For this reason, it is possible to easily realize the same effect as that of the present embodiment only by installing and executing this program on a normal computer through a computer-readable storage medium storing the program for executing the procedure of the reproduction process. it can.
また、図3に示した各部の機能は、例えば、専用LSI、DSPのようなハードウェアによって実現しても良い。 3 may be realized by hardware such as a dedicated LSI or DSP.
また本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。 Further, the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.
109…HDD、202…動画像再生アプリケーションプログラム、21…監視部、22…インデキシング部、221…顔画像検出部、222…クラスタリング部、223…イベント検出部、224…インデックス情報生成部、23…再生制御部、231…キー画像選択部、232…カレンダー表示部、233…画像抽出部、233A…日時関連画像抽出部、233B…人物関連画像抽出部、233C…場所関連画像抽出部、234…シナリオ決定部、235…動画像生成部、236…動画像再生部、24…電源監視部、25…設定部、301…素材データベース、51…静止画像データ、302…素材情報データベース、302A…インデックス情報、303…エフェクトデータベース、303A…エフェクトデータ、303B…音声データ、303C…シナリオデータ。
DESCRIPTION OF
Claims (7)
前記選択手段により選択されたスタイルに予め用意された複数のシナリオ情報から、動画像の再生に用いるシナリオ情報を決定する決定手段と、
複数の静止画像から前記シナリオ情報に応じて抽出された静止画像群をもとに動画像を再生する再生手段と
を具備する電子機器。 A selection means for selecting a style specified by a user operation from a plurality of styles;
Determining means for determining scenario information used for reproducing a moving image from a plurality of scenario information prepared in advance in the style selected by the selecting means;
An electronic apparatus comprising: reproduction means for reproducing a moving image based on a still image group extracted from a plurality of still images according to the scenario information.
前記再生手段は、前記静止画像群から前記タイムセグメント毎に前記属性情報に該当する静止画像を割り当て、再生する請求項1記載の電子機器。 The scenario information includes attribute information indicating an attribute of a still image used in each of a plurality of time segments,
The electronic device according to claim 1, wherein the reproduction unit allocates and reproduces a still image corresponding to the attribute information for each time segment from the still image group.
前記再生手段は、前記タイムセグメント毎に割り当てた前記静止画像に対して、前記エフェクト情報が示すエフェクトを施して再生する請求項4記載の電子機器。 The scenario information further includes effect information indicating an effect used in each of the plurality of time segments,
The electronic device according to claim 4, wherein the reproduction unit reproduces the still image assigned for each time segment by applying an effect indicated by the effect information.
前記選択手段により選択されたスタイルに予め用意された複数のシナリオ情報から、動画像の再生に用いるシナリオ情報を決定し、
複数の静止画像から前記シナリオ情報に応じて抽出された静止画像群をもとに動画像を再生する画像処理方法。 Select the style specified by user operation from multiple styles,
From a plurality of scenario information prepared in advance for the style selected by the selection means, scenario information used for moving image reproduction is determined,
An image processing method for reproducing a moving image based on a group of still images extracted from a plurality of still images according to the scenario information.
複数のスタイルからユーザ操作により指定されたスタイルを選択する手順と、
前記選択手段により選択されたスタイルに予め用意された複数のシナリオ情報から、動画像の再生に用いるシナリオ情報を決定する手順と、
複数の静止画像から前記シナリオ情報に応じて抽出された静止画像群をもとに動画像を再生する手順と
を実行させるための画像処理プログラム。 On the computer,
A procedure to select a style specified by user operation from multiple styles;
A procedure for determining scenario information used for reproducing a moving image from a plurality of scenario information prepared in advance in the style selected by the selection means;
An image processing program for executing a procedure for reproducing a moving image based on a still image group extracted from a plurality of still images according to the scenario information.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012121799A JP2012231470A (en) | 2012-05-29 | 2012-05-29 | Electronic apparatus and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012121799A JP2012231470A (en) | 2012-05-29 | 2012-05-29 | Electronic apparatus and image processing method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010137675A Division JP5017424B2 (en) | 2010-06-16 | 2010-06-16 | Electronic apparatus and image processing method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012231470A true JP2012231470A (en) | 2012-11-22 |
Family
ID=47432587
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012121799A Pending JP2012231470A (en) | 2012-05-29 | 2012-05-29 | Electronic apparatus and image processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012231470A (en) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006164008A (en) * | 2004-12-09 | 2006-06-22 | Matsushita Electric Ind Co Ltd | Image retrieval device and image retrieval method |
JP2006166147A (en) * | 2004-12-08 | 2006-06-22 | Fuji Photo Film Co Ltd | Editing condition setting apparatus of photomovie and editing condition setting program thereof |
JP2007306426A (en) * | 2006-05-12 | 2007-11-22 | Fujifilm Corp | Method, device, and program for reproducing image, storage medium, method, device, and program for reproducing content, and storage medium |
JP2009055152A (en) * | 2007-08-24 | 2009-03-12 | Sony Corp | Motion picture generating apparatus, motion picture generating method, and program |
JP2009071718A (en) * | 2007-09-14 | 2009-04-02 | Seiko Epson Corp | Image display device, image display method, and image display program |
JP2009296504A (en) * | 2008-06-09 | 2009-12-17 | Mega Chips Corp | Image processing system, image processing method, and program |
-
2012
- 2012-05-29 JP JP2012121799A patent/JP2012231470A/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006166147A (en) * | 2004-12-08 | 2006-06-22 | Fuji Photo Film Co Ltd | Editing condition setting apparatus of photomovie and editing condition setting program thereof |
JP2006164008A (en) * | 2004-12-09 | 2006-06-22 | Matsushita Electric Ind Co Ltd | Image retrieval device and image retrieval method |
JP2007306426A (en) * | 2006-05-12 | 2007-11-22 | Fujifilm Corp | Method, device, and program for reproducing image, storage medium, method, device, and program for reproducing content, and storage medium |
JP2009055152A (en) * | 2007-08-24 | 2009-03-12 | Sony Corp | Motion picture generating apparatus, motion picture generating method, and program |
JP2009071718A (en) * | 2007-09-14 | 2009-04-02 | Seiko Epson Corp | Image display device, image display method, and image display program |
JP2009296504A (en) * | 2008-06-09 | 2009-12-17 | Mega Chips Corp | Image processing system, image processing method, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4988011B2 (en) | Electronic apparatus and image processing method | |
JP4988012B2 (en) | Electronic device and indexing control method | |
JP5017424B2 (en) | Electronic apparatus and image processing method | |
JP4940345B2 (en) | Electronic apparatus and image processing method | |
JP4768846B2 (en) | Electronic apparatus and image display method | |
JP4892074B2 (en) | Electronic device, image output method and program | |
JP4940333B2 (en) | Electronic apparatus and moving image reproduction method | |
JP5225330B2 (en) | Electronic apparatus and image processing method | |
JP2012004747A (en) | Electronic equipment and image display method | |
JP5060636B1 (en) | Electronic device, image processing method and program | |
JP5550446B2 (en) | Electronic apparatus and moving image generation method | |
JP2012231470A (en) | Electronic apparatus and image processing method | |
JP5479198B2 (en) | Electronic device and image processing program | |
JP2009290336A (en) | Image reproducing device, image reproducing method, and program | |
US20110231763A1 (en) | Electronic apparatus and image processing method | |
JP5558187B2 (en) | Electronic device and image processing program | |
JP5550688B2 (en) | Electronic device, content transmission method and program | |
WO2023160143A1 (en) | Method and apparatus for viewing multimedia content | |
JP5050115B2 (en) | Electronic device, image display method, and content reproduction program | |
JP5414842B2 (en) | Electronic device, image display method, and content reproduction program | |
JP5019577B2 (en) | Information processing apparatus, edit reproduction method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130719 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130730 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20130730 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20131126 |
|
RD07 | Notification of extinguishment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7427 Effective date: 20140319 |