JP2007323698A - Multi-media content display device, method, and program - Google Patents
Multi-media content display device, method, and program Download PDFInfo
- Publication number
- JP2007323698A JP2007323698A JP2006150152A JP2006150152A JP2007323698A JP 2007323698 A JP2007323698 A JP 2007323698A JP 2006150152 A JP2006150152 A JP 2006150152A JP 2006150152 A JP2006150152 A JP 2006150152A JP 2007323698 A JP2007323698 A JP 2007323698A
- Authority
- JP
- Japan
- Prior art keywords
- image
- thumbnail
- content
- moving image
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明はマルチメディアコンテンツ表示装置、マルチメディアコンテンツ表示方法及びプログラムに関し、特に、動画や静止画などのコンテンツのデータ形式を問わず、一覧してユーザに提示するために用いて好適な技術に関する。 The present invention relates to a multimedia content display device, a multimedia content display method, and a program, and more particularly to a technique suitable for listing and presenting to a user regardless of the data format of content such as moving images and still images.
従来、デジタルビデオカメラやデジタルカメラ、パソコンなどに保存された複数のコンテンツ画像データからユーザが所望するコンテンツを選択する場合には、複数の画像データのファイル名や画像のサムネイルを表示する。そして、ユーザがそのファイル名やサムネイル画像から選択することが多かった。即ち、コンテンツの総数が増えれば増えるほど操作端末の能力（画面の大きさやサムネイル画像あるいは画像そのものの再生処理速度）によって全コンテンツを一覧して選択することが困難であった。 Conventionally, when a user selects a desired content from a plurality of content image data stored in a digital video camera, a digital camera, a personal computer, etc., file names of the plurality of image data and thumbnails of the images are displayed. The user often selects from the file name or thumbnail image. That is, as the total number of contents increases, it is difficult to list and select all contents according to the capabilities of the operation terminal (the size of the screen and the playback processing speed of thumbnail images or images themselves).
また、ユーザが所望するコンテンツの詳細（コンテンツのプロファイル（ファイル名や保存日時など））を正確に知らない場合には、多数のコンテンツから１つを選び出すことは難しかった。また、コンテンツの種類が動画の場合、動画からサムネイルを１枚だけ抽出してそのコンテンツを代表させるだけでは、目的のシーンを含む動画を選び出すことは困難であった。 Also, if the user does not know the details of the content desired (content profile (file name, save date, etc.)) accurately, it is difficult to select one from many contents. Further, when the type of content is a moving image, it is difficult to select a moving image including a target scene only by extracting only one thumbnail from the moving image and representing the content.
このような不便を解決するために、例えば、特許文献１に記載の静止画再生装置においては、静止画の全てを次々と高速に再生することにより（パラパラめくり検索）それぞれの静止画情報の概要（静止画情報の構成要素や特定色の出現頻度）を使用者に対して提供する方法が開示されている。これは静止画のみからなるコンテンツ画像を一覧する方法としてこの方法を用いることにより、使用者はあいまいな静止画の概要の記憶だけで目的の静止画情報を検索することを可能とする。
In order to solve such inconvenience, for example, in the still image reproduction apparatus described in
また、特許文献２に記載のディスク再生装置においては、画像情報（動画像情報）を記録したメイントラックとこれらをパラパラと見えるようにするためのあらすじや要約を表わすパラパラ情報を記録したパラパラトラックとを設けている。これにより、所望の実画像情報とその要約の画像情報とを選択的に再生表示する方法が開示されている。
In addition, in the disc reproducing apparatus described in
また、特許文献３に記載の画像再生装置においては、複数の動画像について、各々に対応するサムネイルを一覧表示し、そのサムネイルを順に指定（タッチ）することで動画像を連続再生する方法が開示されている。なお、この方法ではその動画像をどのように再生するか（スロー再生、早送り等）を示すシナリオファイルが付随されており、このシナリオファイルに従って連続再生が実行される。
In addition, in the image reproduction device described in
また、特許文献４に記載の画像処理装置においては、動画像中の１シーンとそのシーン内のキーフレームを特定し、キーフレームを含む抽出動画像（サムネイル動画像）を生成し、動画像を代表させる方法が開示されている。 In the image processing device described in Patent Document 4, one scene in a moving image and a key frame in the scene are specified, an extracted moving image (thumbnail moving image) including the key frame is generated, and the moving image is A representative method is disclosed.
また、特許文献５に記載の動画像編集拾い見装置においては、動画像のシーンチェンジを抽出し、抽出した代表シーンからサムネイル画像を抽出して拾い見の際に各シーンに優先度を付与して表示する方法が開示されている。 Further, in the moving image editing browsing device described in Patent Document 5, a scene change of a moving image is extracted, a thumbnail image is extracted from the extracted representative scene, and a priority is given to each scene at the time of browsing. Is disclosed.
しかし、画像のデータ形式（動画・静止画）が混在して保存されている場合、あるいは分散したストレージ中のコンテンツをデータ形式（動画・静止画）に関わらず一覧する場合、動画からサムネイルを１枚だけ抽出して、静止画のサムネイルと混ぜて一覧表示するだけでは、目的のシーンを含む動画を選び出すことは困難であった。 However, if the image data format (moving image / still image) is mixed and saved, or if the contents in the distributed storage are listed regardless of the data format (moving image / still image), the thumbnail from the moving image is 1 It was difficult to select a moving image including a target scene by extracting only the images and mixing them with thumbnails of still images.
また、動画からシーンチェンジを特定し複数のサムネイルを抽出して連続に再生することによって、動画中のシーンを選択・特定する方法では、動画と静止画を混在させた環境でコンテンツ一覧から所望のコンテンツを選択することはできなかった。さらに、動画からシーンチェンジを特定し複数のサムネイルを抽出して連続に再生する方法では、ライブ画像（ＴＶのチャンネル等）に対応することができなかった。 In addition, a method for selecting and specifying scenes in a moving image by identifying scene changes from the moving image, extracting a plurality of thumbnails, and playing them in succession allows a desired list from a content list in a mixed environment of moving images and still images. The content could not be selected. Furthermore, the method of identifying a scene change from a moving image, extracting a plurality of thumbnails, and playing them continuously cannot cope with a live image (such as a TV channel).
また、特許文献１に記載の静止画再生装置においては、対象とするコンテンツが静止画に限られ、動画・静止画が混在するような環境においてパラパラめくり検索を行うことはできなかった。さらに、特許文献２に記載のディスク再生装置においては、動画像情報をパラパラと見えるために事前にパラパラ情報を記録しておく必要があり、コンテンツデータとしてライブ動画像を扱うことができないという問題があった。
Further, in the still image reproduction device described in
また、特許文献３に記載の画像再生装置においては、各動画像を順に連続再生するのみであり、動画像と静止画像が混在した環境において、動画像と静止画像を区別せずに複数コンテンツのサムネイルを一度に再生して見比べることはできなかった。さらに、特許文献４に記載の画像処理装置においては、任意の１つの動画像中においてサムネイル動画像を作成して再生するのみであり、複数のコンテンツに対して、動画静止画に関わらず、各々のサムネイルを混在させて再生し見比べることはできなかった。
In addition, the image reproduction apparatus described in
また、特許文献５に記載の動画像編集拾い見装置においては、１つの画像コンテンツに対して、複数のサムネイル静止画を生成して拾い見するが、複数の動画コンテンツに対してサムネイル静止画を織り交ぜて再生することはできなかった。 Further, in the moving image editing browsing apparatus described in Patent Document 5, a plurality of thumbnail still images are generated and browsed for one image content, but thumbnail still images are displayed for a plurality of moving image contents. It was not possible to regenerate by interweaving.
本発明は前述の問題点に鑑み、目的のコンテンツを容易に検索できるようにすることを目的としている。 The present invention has been made in view of the above-described problems, and an object thereof is to make it possible to easily search for target content.
本発明のマルチメディアコンテンツ表示装置は、代表画像を生成する動画代表画像作成手段と、前記動画代表画像作成手段によって生成された代表画像の中から１つ以上の代表画像をその他のコンテンツの画像と混在させて整列させるコンテンツ整列手段とを有することを特徴とする。 The multimedia content display device according to the present invention includes a moving image representative image generating unit that generates a representative image, and one or more representative images selected from the representative images generated by the moving image representative image generating unit as other content images. Content alignment means for mixing and aligning is provided.
本発明のマルチメディアコンテンツ表示方法は、代表画像を生成する動画代表画像作成工程と、前記動画像作成工程において生成された代表画像の中から１つ以上の代表画像をその他のコンテンツの画像と混在させて整列させるコンテンツ整列工程とを有することを特徴とする。 The multimedia content display method of the present invention includes a moving image representative image generation step for generating a representative image, and one or more representative images from the representative image generated in the moving image generation step mixed with other content images. And a content alignment step of aligning them.
本発明のプログラムは、前記の方法の各工程をコンピュータにて実施させることを特徴とする。 The program of the present invention is characterized in that each step of the above method is executed by a computer.
本発明によれば、マルチメディアコンテンツの種類が動画像である場合には、１つ以上のサムネイル画像を生成し、動画・静止画などのコンテンツの種別に関わらず、サムネイル画像を生成して整列させるようにした。これにより、各々のサムネイル画像の概要（画像情報の構成要素や特定色の出現頻度）を高速に提供することができ、使用者はあいまいな静止画の概要の記憶だけで目的のシーンを含むコンテンツを検索することができる。 According to the present invention, when the type of multimedia content is a moving image, one or more thumbnail images are generated, and the thumbnail images are generated and aligned regardless of the type of content such as a moving image or a still image. I tried to make it. As a result, the outline of each thumbnail image (the component of the image information and the appearance frequency of the specific color) can be provided at a high speed, and the user can simply store the outline of the vague still image and include the target scene. Can be searched.
（第１の実施形態）
本発明の実施形態について、図面を参照しながら説明する。
図１は、本実施形態の全体構成の一例を示す概念図である。
図１において、１０１、１０２、１０７はそれぞれ***作対象のデバイスであり、１つまたはそれ以上のコンテンツを保存可能な、あるいは保存しているストレージを持っている。
(First embodiment)
Embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a conceptual diagram showing an example of the overall configuration of the present embodiment.
In FIG. 1,
１０３、１０６は１つまたはそれ以上のコンテンツを保存することが可能なストレージであり、このストレージに対してもネットワークを介した操作が可能である。１０４はデバイスおよび操作端末、ストレージを接続し、それらの間でデータおよび命令のやり取りを行うためのネットワークである。操作端末１０５は、ネットワーク１０４を通じて操作コマンドを送ることにより、デバイス１０１、１０２、１０７やストレージ１０３、１０６を操作することができる。
図２は、本実施形態における操作端末（マルチメディアコンテンツ表示装置）のハードウェア構成の一例を示すブロック図である。
２０２はＣＰＵであり、各種処理のための演算や論理判断等を行い、バス２０１に接続された各構成要素を制御する。なお、本操作端末には、プログラムメモリとデータメモリを含むメモリが搭載されている。プログラムメモリには、フローチャートにつき後述する処理手順を含むＣＰＵ２０２による制御のためのプログラムを格納する。メモリはＲＯＭ２０３であってもよいし外部記憶装置などからプログラムがロードされるＲＡＭ２０４であってもよい。
FIG. 2 is a block diagram illustrating an example of a hardware configuration of the operation terminal (multimedia content display device) in the present embodiment.
２０５は、データやプログラムを記憶しておくための不揮発性メモリやハードディスクなどの記憶装置である。２０６は、ユーザからの情報を入力するための入力装置であり、入力装置２０６はマウス、タッチパネル、キーボードなどある。２０８は分析されたデータ出力情報を出力する出力装置であり、ＣＲＴや液晶表示器などの表示装置である。２０７はネットワークＩ／Ｆであり、ネットワークで接続された他のデバイスとのやり取りを行う。
図３は、本実施形態におけるコンテンツ一覧表示処理の一例を示すフローチャートである。図３においてステップＳ３０１からステップＳ３０８は各ステップを表す。
まず、ステップＳ３０１において、コンテンツ一覧表示ルールを取得する。このルールは、コンテンツ一覧方法を使用する装置の立ち上げ時に設定されてもよいし、ユーザによって変更されてもよい。
FIG. 3 is a flowchart showing an example of a content list display process in the present embodiment. In FIG. 3, steps S301 to S308 represent each step.
First, in step S301, a content list display rule is acquired. This rule may be set when a device that uses the content listing method is started, or may be changed by the user.
次に、操作端末はローカルストレージ及びネットワークで繋がったデバイスやストレージに対して、参照可能なコンテンツ一覧を取得する（ステップＳ３０２）。続いて、ステップＳ３０３において、取得したコンテンツ全てに対して処理が終了したか否かを判定する。この判定の結果、処理すべきコンテンツが存在する場合には、ステップＳ３０４へ進み、ステップＳ３０２において取得したコンテンツ一覧から任意のコンテンツを一つ取得する。 Next, the operation terminal acquires a list of contents that can be referred to the local storage and the devices and storages connected via the network (step S302). Subsequently, in step S303, it is determined whether or not the processing has been completed for all the acquired contents. If it is determined that there is content to be processed, the process proceeds to step S304, and one arbitrary content is acquired from the content list acquired in step S302.
次に、ステップＳ３０５において、コンテンツの種類が動画であるか静止画であるかを判定する。この判定の結果、コンテンツの種類が動画であるならば、ステップＳ３０６へ進み、動画コンテンツのサムネイル作成処理を行い、ステップＳ３０３に戻る。この処理の詳細については図４を参照しながら後述する。 In step S305, it is determined whether the content type is a moving image or a still image. If the result of this determination is that the content type is a moving image, the process proceeds to step S306, where a thumbnail creation process of the moving image content is performed, and the process returns to step S303. Details of this processing will be described later with reference to FIG.
一方、ステップＳ３０５の判定の結果、ステップＳ３０４において取得したコンテンツが静止画である場合は、ステップＳ３０７へ進み、静止画コンテンツのサムネイル作成処理を行い、ステップＳ３０３に戻る。この処理の詳細については図５を参照しながら後述する。 On the other hand, as a result of the determination in step S305, if the content acquired in step S304 is a still image, the process proceeds to step S307, a still image content thumbnail creation process is performed, and the process returns to step S303. Details of this processing will be described later with reference to FIG.
一方、ステップＳ３０３の判定の結果、全コンテンツについて処理が終了した場合は、ステップＳ３０８へ進み、高速に複数の静止画（全コンテンツのサムネイル）を再生するコンテンツ一覧パラパラ見処理を行い、コンテンツ一覧表示処理を終了する。ステップＳ３０８におけるコンテンツ一覧パラパラ見再生処理の詳細については図６を参照しながら後述する。 On the other hand, as a result of the determination in step S303, if the processing has been completed for all contents, the process proceeds to step S308, where content list parallax processing for reproducing a plurality of still images (thumbnail of all content) is performed at high speed, and content list display is performed. The process ends. Details of the content list flip-view reproduction process in step S308 will be described later with reference to FIG.
図４は、図３のステップＳ３０６における動画コンテンツのサムネイル作成処理手順の一例を示すフローチャートである。図４において、ステップＳ４０１からステップＳ４０３は各ステップを表す。
まず、ステップＳ４０１において、本実施形態における動画サムネイル作成基準を取得する。この基準はステップＳ３０１において取得されたコンテンツ一覧表示ルールに設定されていてもよいし、全く別の基準として用意されてもよい。動画サムネイル作成基準としては、「ユーザが独自に抽出マークをつけた時点の画像をサムネイルとする」でもよいし、動画像中のシーン特徴に関するものでも良い。また、動画像と共に保存されている付加データ（音声データ、テキストデータ）の特徴に関するものでもよい。
FIG. 4 is a flowchart showing an example of a moving image content thumbnail creation processing procedure in step S306 of FIG. In FIG. 4, steps S401 to S403 represent each step.
First, in step S401, the moving image thumbnail creation reference in this embodiment is acquired. This criterion may be set in the content list display rule acquired in step S301, or may be prepared as a completely different criterion. As a moving image thumbnail creation standard, “an image at the time when a user originally put an extraction mark is used as a thumbnail” or a scene feature in a moving image may be used. Further, it may relate to the characteristics of additional data (sound data, text data) stored together with a moving image.
例えば、動画像中のシーン特徴を利用した「シーンチェンジの始めの画像」、「シーンチェンジを抽出し、その代表シーンのキーフレーム」等としてもよい。また、動画像に付加されている音声データを利用した「音声データの音量がある一定値以上である時点での画像」、動画像に付加されている音声データを利用した「動画像中に文字データ（タイトル・字幕等）が存在しないシーン」としてもよい。また、抽出する動画サムネイルの画像数についても設定してもよい。 For example, a “scene change start image” using a scene feature in a moving image, “a scene change is extracted and a key frame of the representative scene”, or the like may be used. In addition, the “image when the volume of the audio data exceeds a certain value” using the audio data added to the moving image, and the “text in the moving image” using the audio data added to the moving image. It may be a “scene where no data (title, subtitle, etc.) exists”. The number of moving image thumbnail images to be extracted may also be set.
この場合、画像数を指定してもよいし、最高画像数を指定してそれ以下の画像を抽出するように条件を設定してもよい。また、これらの基準を複数組み合わせてもよいし、また、この基準は、コンテンツ一覧方法を使用する装置の立ち上げ時に設定されてもよいし、ユーザによって変更されてもよい。 In this case, the number of images may be designated, or the condition may be set so that the maximum number of images is designated and less than that number is extracted. Also, a plurality of these criteria may be combined, and these criteria may be set when a device that uses the content listing method is started, or may be changed by the user.
ステップＳ４０１で取得された基準に基づいて、ステップＳ４０２において、動画像中からその基準を満たす画像をサムネイル画像として抽出する。このとき１つ以上の任意の複数画像が抽出して作成される。 Based on the criterion acquired in step S401, in step S402, an image satisfying the criterion is extracted from the moving images as a thumbnail image. At this time, one or more arbitrary plural images are extracted and created.
なお、このとき作成されるサムネイル画像の画素数、サイズ、階調等は、ステップＳ３０１において取得されたコンテンツ一覧表示ルールに設定されているものに従ってもよいし、動画像サムネイル作成基準によって独自に設定されていてもよい。この処理の詳細については図１５を参照しながら後述する。最後にステップＳ４０３において、対象となる動画像から作成されたサムネイル画像をコンテンツ一覧表示処理用メモリに保存して処理を終了する。 Note that the number of pixels, size, gradation, and the like of the thumbnail image created at this time may follow those set in the content list display rule acquired in step S301, or may be set uniquely according to the moving image thumbnail creation standard. May be. Details of this processing will be described later with reference to FIG. Finally, in step S403, the thumbnail image created from the target moving image is stored in the content list display processing memory, and the process ends.
図１５は、本実施形態における動画サムネイル画像抽出処理手順の一例を示すフローチャートである。図１５においてステップＳ１５０１からステップＳ１５０７は各ステップを表す。
まず、ステップＳ１５０１において、ステップＳ３０１で取得されたコンテンツ一覧表示ルールに設定されている動画サムネイル作成基準を参照する。
FIG. 15 is a flowchart illustrating an example of a moving image thumbnail image extraction processing procedure in the present embodiment. In FIG. 15, steps S1501 to S1507 represent the respective steps.
First, in step S1501, the moving image thumbnail creation standard set in the content list display rule acquired in step S301 is referred to.
次に、ステップＳ１５０２において、対象となる動画像からこの動画サムネイル作成基準を満たす箇所のタイムスタンプを取得する。例えば、動画サムネイル作成基準に従って、シーンチェンジ部を検出する処理を行い、シーンチェンジに該当する箇所が複数ある場合には、前記タイムスタンプをリストとして保持する。 Next, in step S1502, a time stamp of a location that satisfies this moving image thumbnail creation criterion is acquired from the target moving image. For example, processing for detecting a scene change portion is performed according to the moving image thumbnail creation standard, and when there are a plurality of portions corresponding to the scene change, the time stamp is held as a list.
続いて、ステップＳ１５０３の判定において、取得されたタイムスタンプリスト全てについて処理下か否かを判定する。この判定の結果、前記タイムスタンプリスト中に未処理の物がある場合は、ステップＳ１５０４へ進み、前記タイムスタンプリストからタイムスタンプを１つ取得する。そして、ステップＳ１５０５において、当箇所から静止画像をサムネイル画像として取得する。ここでは、例えば、動画サムネイル作成基準として「シーンチェンジの最初の画像」となっている場合には、その基準に従って、静止画像を切り出す。 Subsequently, in the determination in step S1503, it is determined whether all the acquired time stamp lists are under processing. As a result of the determination, if there is an unprocessed item in the time stamp list, the process proceeds to step S1504, and one time stamp is acquired from the time stamp list. In step S1505, a still image is acquired as a thumbnail image from this location. Here, for example, when “first image of scene change” is set as the moving image thumbnail creation criterion, a still image is cut out according to the criterion.
次に、ステップＳ１５０６において、本処理の対象となっている動画像中の該当するタイムスタンプ情報を切り出されたサムネイル画像の時間情報として付与する。そして、ステップＳ１５０７において、この静止画像を、対象となって動画像から抽出するサムネイル画像のリストの一つとして追加し、ステップＳ１５０３に戻る。 Next, in step S1506, the corresponding time stamp information in the moving image that is the subject of this processing is added as time information of the clipped thumbnail image. In step S1507, the still image is added as one of the lists of thumbnail images to be extracted from the moving image as a target, and the process returns to step S1503.
図５は、図３のステップＳ３０７における静止画コンテンツのサムネイル作成処理手順の一例を示すフローチャートである。図５においてステップＳ５０１からステップＳ５０３は各ステップを表す。
まず、ステップＳ５０１において、本実施形態における静止画サムネイル作成基準を取得する。この基準はステップＳ３０１において取得されたコンテンツ一覧表示ルールに設定されていてもよいし、全く別の基準として用意されてもよい。静止画サムネイル作成基準としては、このとき作成されるサムネイル画像の画素数、サイズ、階調等が考えられる。
FIG. 5 is a flowchart illustrating an example of a still image content thumbnail creation processing procedure in step S307 of FIG. In FIG. 5, steps S501 to S503 represent each step.
First, in step S501, the still image thumbnail creation reference in this embodiment is acquired. This criterion may be set in the content list display rule acquired in step S301, or may be prepared as a completely different criterion. As the still image thumbnail creation standard, the number of pixels, size, gradation, etc. of the thumbnail image created at this time can be considered.
次に、ステップＳ５０２において、ステップＳ５０１で取得された基準に基づいて、静止画のサムネイル画像を作成する。そして、ステップＳ５０３において、対象となる静止画像から作成されたサムネイル画像をコンテンツ一覧表示処理用メモリに保存して処理を終了する。 Next, in step S502, a thumbnail image of a still image is created based on the reference acquired in step S501. In step S503, the thumbnail image created from the target still image is saved in the content list display processing memory, and the process ends.
図６は、図３のステップＳ３０８におけるコンテンツ一覧パラパラ見表示処理の一例を示すフローチャートである。図６において、ステップＳ６０１からステップＳ６０４は各ステップを表す。
まず、ステップＳ６０１において、パラパラ見表示ルールを取得する。このルールは、ステップＳ３０１において取得されたコンテンツ一覧表示ルールに設定されていてもよいし、全く別のルールとして用意されてもよい。
FIG. 6 is a flowchart showing an example of the content list flip-view display process in step S308 of FIG. In FIG. 6, steps S601 to S604 represent each step.
First, in step S601, a flip view display rule is acquired. This rule may be set in the content list display rule acquired in step S301, or may be prepared as a completely different rule.
パラパラ見ルールには、サムネイル整列ルールとパラパラ見再生間隔ルールが含まれる。サムネイル整列ルールとしては、「静止画のサムネイルに、任意の動画像のサムネイルを複数枚混ぜる（静止画１枚に対して１サムネイル、動画１枚に対してＮ（１以上）枚のサムネイル）」、「静止画のサムネイルに、任意の動画像のサムネイルを１枚混ぜる（静止画１枚に対して１サムネイル、動画１枚に対して１枚のサムネイル）」等が考えられる。一度、全コンテンツについてのパラパラ見を終了した場合には、２順目に選ばれる任意の動画からのサムネイル画像は別の１枚にする」、「サムネイル画像は時系列に並べる」、「サムネイル画像は類似度の高い順に並べる」等が考えられる。なお、これらのルールを１つまた複数組み合わせてサムネイル整列ルールとしてもよい。 The flip view rule includes a thumbnail arrangement rule and a flip view playback interval rule. As a thumbnail arrangement rule, “a plurality of thumbnails of arbitrary moving images are mixed in a still image thumbnail (one thumbnail for one still image and N (one or more) thumbnails for one movie)” “A thumbnail of an arbitrary moving image is mixed with a thumbnail of a still image (one thumbnail for one still image and one thumbnail for one moving image)”. Once all the contents have been reviewed, the thumbnail image from any video selected in the second order is made another one ”,“ Thumbnail images are arranged in time series ”,“ Thumbnail images Are arranged in descending order of similarity ". One or more of these rules may be combined to form a thumbnail arrangement rule.
また、パラパラ見再生間隔ルールとしては、「１秒あたりＸ秒」あるいは「全コンテンツの再生時間Ｘ秒」のように指定してもよい。また、例えば、パラパラ見再生を指示するボタンなどが用意されている場合には、そのボタンを押下する長さなどによってルールを設定してもよい。 Further, as the flip-side playback interval rule, “X seconds per second” or “reproduction time X seconds of all contents” may be specified. Further, for example, when a button for instructing flip-back reproduction is prepared, a rule may be set according to the length of pressing the button.
次に、ステップＳ６０２へ進み、ステップＳ６０１において取得されたサムネイル整列ルールに従って、コンテンツ一覧表示処理用メモリに保存されている全コンテンツのサムネイルを整列させてサムネイル画像列を生成する。この処理の詳細については図１６を参照しながら後述する。 Next, the process proceeds to step S602, and in accordance with the thumbnail arrangement rule acquired in step S601, the thumbnails of all the contents stored in the content list display processing memory are arranged to generate a thumbnail image sequence. Details of this processing will be described later with reference to FIG.
次に、ステップＳ６０３において、整列されたサムネイル画像列をステップＳ６０１によって取得されたパラパラ見再生間隔ルールに従って、高速連続再生させる。そして、ステップＳ６０４において、再度、パラパラ見再生を行うかどうかを判定する。この判定の結果、再度パラパラ見再生を行う場合には、ステップＳ６０２に戻って、サムネイル画像列を再度生成する。一方、ステップＳ６０４の判定の結果、パラパラ見再生をこれ以上行わない場合にはコンテンツ一覧パラパラ見処理を終了する。 Next, in step S603, the arranged thumbnail image sequences are continuously reproduced at high speed according to the flip-side reproduction interval rule acquired in step S601. In step S604, it is determined again whether or not to perform flip-back reproduction. As a result of this determination, if flip-flop playback is performed again, the process returns to step S602, and a thumbnail image sequence is generated again. On the other hand, as a result of the determination in step S604, if no further flip-back reproduction is performed, the content list flip-flop processing is terminated.
図１６は、サムネイル画像列生成処理の一例を示すフローチャートである。図１６において、ステップＳ１６０１からステップＳ１６１３各ステップを表す。
まず、ステップＳ１６０１において、サムネイル画像のデフォルト整列ルールを「サムネイル画像を時系列に並べる」と設定する。そして、ステップＳ１６０２において、図６のステップＳ６０１において取得されたサムネイル整列ルールを参照する。
FIG. 16 is a flowchart illustrating an example of the thumbnail image sequence generation process. In FIG. 16, steps S1601 to S1613 are shown.
First, in step S1601, the default arrangement rule for thumbnail images is set to “arrange thumbnail images in time series”. In step S1602, the thumbnail alignment rule acquired in step S601 in FIG. 6 is referred to.
次に、ステップＳ１６０３において、参照したサムネイル整列ルールにサムネイルの混在比率が設定されているかどうかを判定する。この判定の結果、その比率が「静止画：動画＝１：Ｎ」あるいは比率が設定されていない場合は、ステップＳ１６１３進む。そして、コンテンツ一覧表示処理用メモリに保存されている全コンテンツのサムネイルをステップＳ１６０２で参照した「サムネイル画像は時系列に並べる」、「サムネイル画像は類似度の高い順に並べる」等のルールに従って、整列させてサムネイル画像列を生成する。なお、ステップＳ１６０２で参照したルールがなかった場合には、ステップＳ１６０１で設定したデフォルトルールに従って時系列でならべる。 In step S1603, it is determined whether a thumbnail mixture ratio is set in the referenced thumbnail arrangement rule. As a result of this determination, if the ratio is “still image: moving image = 1: N” or the ratio is not set, the process proceeds to step S1613. Then, the thumbnails of all the contents stored in the content list display processing memory are arranged according to rules such as “Arrange thumbnail images in time series” and “Arrange thumbnail images in descending order of similarity” referred to in step S1602. To generate a thumbnail image sequence. If there is no rule referred to in step S1602, the rules are arranged in time series according to the default rule set in step S1601.
一方、ステップＳ１６０３の判定の結果、その比率が「静止画：動画＝１：１」である場合は、ステップＳ１６０４に進み、コンテンツ一覧表示処理用メモリに保存されている動画サムネイル画像リストを全て取得する。次に、ステップＳ１６０５において、この中から動画サムネイル画像リストを一つ取得する。 On the other hand, if it is determined in step S1603 that the ratio is “still image: moving image = 1: 1”, the process proceeds to step S1604, and all moving image thumbnail image lists stored in the content list display processing memory are acquired. To do. In step S1605, one moving image thumbnail image list is acquired from the list.
次に、ステップＳ１６０６において、動画像について全て終了したか否かを判定する。この判定の結果、終了した場合は、ステップＳ１６１３へ進む。一方、ステップＳ１６０６の判定の結果、終了していない場合は、ステップＳ１６０７に進み、動画サムネイル画像リスト中から既選択チェックマークのない動画サムネイル画像を取得する。 Next, in step S1606, it is determined whether all moving images have been completed. If the result of this determination is that it has ended, processing proceeds to step S1613. On the other hand, if the result of determination in step S1606 is that processing has not ended, processing proceeds to step S1607, and a moving image thumbnail image with no selected check mark is acquired from the moving image thumbnail image list.
次に、ステップＳ１６０８において、候補となる動画サムネイル画像を取得に成功したか失敗したかを判定する。この判定の結果、候補となる動画サムネイル画像を取得に失敗した場合には、ステップＳ１６０９へ進み、チェック済みのマークを全て解除し、ステップＳ１６０７に戻る。一方、ステップＳ１６０８の判定の結果、候補となる動画サムネイル画像の取得に成功した場合は、ステップＳ１６１０へ進む。 Next, in step S1608, it is determined whether acquisition of a candidate moving image thumbnail image has succeeded or failed. As a result of this determination, if acquisition of a candidate moving image thumbnail image has failed, the process advances to step S1609 to cancel all the checked marks, and the process returns to step S1607. On the other hand, as a result of the determination in step S1608, if acquisition of a candidate moving image thumbnail image is successful, the process proceeds to step S1610.
そして、ステップＳ１６１０において、取得した候補となる動画サムネイル画像からルールに従って１枚を取得する。次に、ステップＳ１６１１において、選択された動画サムネイル画像にチェックマークをつける。そして、ステップＳ１６１２において、該選択した動画サムネイル画像を今回の代表サムネイル画像として登録し、ステップＳ１６０５に戻る。 In step S1610, one image is acquired from the acquired moving image thumbnail images according to the rule. Next, in step S1611, a check mark is added to the selected moving image thumbnail image. In step S1612, the selected moving image thumbnail image is registered as the current representative thumbnail image, and the process returns to step S1605.
次に、以上の処理について、動画と静止画を同時に撮影できるビデオカメラにおいて、画像のデータ形式（動画・静止画）に関わらずコンテンツの一覧をパラパラ見で表示する場合について具体的に説明する。 Next, the case where a list of contents is displayed in a parallax regardless of the image data format (moving image / still image) in a video camera capable of simultaneously shooting moving images and still images will be described in detail.
図７は、本実施形態における操作端末（デジタルカメラ）の具体的な構成例を示す図である。
図７において、操作端末（デジタルカメラ）７００は、基本的に図２に示されるようなハードウェア構成をしている。操作端末（デジタルカメラ）７００には、操作メニューや撮影した画像を再生する為の表示部７０１が備えられている。これは図２における出力装置２０８に相当する。また、操作コントローラ７０２も備えられており、表示部７０１におけるメニューを選択することができる。これは図２における入力装置２０６に相当する。
FIG. 7 is a diagram illustrating a specific configuration example of the operation terminal (digital camera) in the present embodiment.
In FIG. 7, an operation terminal (digital camera) 700 basically has a hardware configuration as shown in FIG. The operation terminal (digital camera) 700 is provided with a
動画像や静止画像を撮影するために、カメラシャッター７０７、ファインダー７０９、撮影レンズ７０８などが備えられ、カメラシャッター７０７が押下されることにより、動画像や静止画像を撮影して、データ保存部７１１に保存することができる。このデータ保存部７１１は、図２における記憶装置２０５に相当する。
In order to capture a moving image or a still image, a
また、操作端末（デジタルカメラ）７００にはプログラムメモリとデータメモリとを含むメモリ７１６が搭載されており、メモリ７１６には、表示部７０１に表示する内容を制御する処理手順を含むＣＰＵ制御のためのプログラムを格納してある。なお、メモリ７１６は、図２におけるＲＯＭ２０３であってもよいし外部記憶装置などからプログラムがロードされるＲＡＭ２０４であってもよい。
The operation terminal (digital camera) 700 is equipped with a
また、メモリ７１６には、本実施形態におけるコンテンツ一覧表示処理において、一時的に使用される画像データなども保存される。なお、操作端末（デジタルカメラ）７００の全ての処理の制御は処理制御部７１０によって行われている。
The
ここで、操作端末（デジタルカメラ）７００において撮影された静止画像（Ａ）７１２、静止画像（Ｂ）７１３、静止画像（Ｃ）７１４、及び動画像（Ｌ）７１５がデータ保存部７１１に格納されている。例えば、ユーザにより操作端末７００が操作されて、データ保存部７１１に格納されたコンテンツデータから所望するデータを検索している状態であるとする。
Here, a still image (A) 712, a still image (B) 713, a still image (C) 714, and a moving image (L) 715 captured by the operation terminal (digital camera) 700 are stored in the
データ保存部７１１に格納されたコンテンツデータを再生するために、表示部７０１にデータフォルダメニューを表示させている場合について説明する。具体的には図７に示すように、データフォルダメニューとして、全データ表示メニュー７０３、動画表示メニュー７０４、静止画表示メニュー７０５、データパラパラ再生メニュー７０６が表示されている。
A case where a data folder menu is displayed on the
ここで、ユーザにより操作コントローラ７０２が操作されて、全データ表示メニュー７０３が選択されると、データ保存部７１１に格納された全データについて、そのコンテンツデータのプロパティ（ファイル名、撮影日時、サイズ等）がリスト表示されてもよい。また、ユーザにより動画表示メニュー７０４、静止画表示メニュー７０５などが選択された場合には、データ保存部７１１に格納された該当するデータ（動画または静止画）について、そのプロパティ（ファイル名、撮影日時、サイズ等）がリスト表示されてもよい。
Here, when the
また、ユーザにより操作コントローラ７０２が操作されて、データパラパラ再生メニュー７０６が選択されると、図３に示すコンテンツ一覧表示処理を開始する。ここで装置に設定されたコンテンツ一覧表示ルールが図８（ａ）に示すコンテンツ一覧表示ルールＡのようなものであった場合について、コンテンツ一覧表示処理の流れを以下に示す。
In addition, when the
まず、ステップＳ３０１において、コンテンツ一覧表示ルールを取得する。図８（ａ）に示すコンテンツ一覧表示ルール８０１によると、デフォルトサムネイル画像８０２は「画素数１００×１００」であり、動画サムネイル作成基準８０３は「シーンチェンジの最初の画像、かつ最大画像数設定なし」である。そして、静止画サムネイル作成基準８０４は「画素数１００×１００」である。また、パラパラ見ルール８０５のうち、サムネイル整列ルール８０６は「静止画１枚、動画Ｎ枚、かつ撮影時間順」であり、パラパラ見再生間隔ルール８０７は「１秒／枚」となっている。
First, in step S301, a content list display rule is acquired. According to the content
続いて、ステップＳ３０２において、参照可能なコンテンツ一覧を取得する。ここで取得されるコンテンツは、操作端末（デジタルカメラ）７００のデータ保存部７１１に格納されている撮影データ、すなわち静止画像（Ａ）７１２、静止画像（Ｂ）７１３、静止画像（Ｃ）７１４、及び動画像（Ｌ）７１５である。
In step S302, a referenceable content list is acquired. The content acquired here is photographing data stored in the
取得した全コンテンツに対して処理が終了していないので、ステップＳ３０４へ進む。ここで、ステップＳ３０２において取得したコンテンツ一覧の中から、静止画像（Ａ）７１２を取得する。静止画像（Ａ）７１２のコンテンツの種類は静止画であるので、ステップＳ３０５の判定の結果、処理の流れはステップＳ３０７へ進み、静止画コンテンツのサムネイル作成処理を行う。 Since processing has not been completed for all acquired contents, the process proceeds to step S304. Here, the still image (A) 712 is acquired from the content list acquired in step S302. Since the content type of the still image (A) 712 is a still image, the flow of processing proceeds to step S307 as a result of the determination in step S305, and thumbnail creation processing of still image content is performed.
静止画コンテンツのサムネイル作成処理においては、まずステップＳ５０１において、静止画サムネイル作成基準を取得する。本実施形態において静止画サムネイル作成基準は別に設定されていないとし、ステップＳ３０１において取得されたコンテンツ一覧表示ルール８０１に設定されている静止画サムネイル作成基準（「画素数１００×１００」）を取得する。
In the still image content thumbnail creation process, first, in step S501, still image thumbnail creation criteria are acquired. In this embodiment, it is assumed that the still image thumbnail creation reference is not set separately, and the still image thumbnail creation reference (“pixel count 100 × 100”) set in the content
この基準に基づいて、ステップＳ５０３において、静止画像（Ａ）７１２の画素数を１００×１００に調整してサムネイルを作成し、メモリ７１６にサムネイル画像（Ａ）７１７として保存し、ステップＳ３０３の判定に戻る。
Based on this criterion, in step S503, the number of pixels of the still image (A) 712 is adjusted to 100 × 100 to create a thumbnail, and the thumbnail is stored in the
そして、再びステップＳ３０４において、静止画像（Ｂ）７１３、静止画像（Ｃ）７１４を順に取得し、静止画像（Ａ）７１２についての処理と同様に、サムネイル画像を作成する。そして、メモリ７１６にそれぞれサムネイル画像（Ｂ）７１８、サムネイル画像（Ｃ）７１９として保存してステップＳ３０３の判定に戻る。
In step S304, a still image (B) 713 and a still image (C) 714 are obtained in order, and a thumbnail image is created in the same manner as the processing for the still image (A) 712. Then, the thumbnail images (B) 718 and the thumbnail images (C) 719 are stored in the
ステップＳ３０４において、動画像（Ｌ）７１５が取得された場合には、ステップＳ３０５の判定はステップＳ３０６へ進み、動画コンテンツのサムネイル作成処理を行う。動画コンテンツのサムネイル作成処理においては、まずステップＳ４０１において、動画サムネイル作成基準を取得する。 If the moving image (L) 715 is acquired in step S304, the determination in step S305 proceeds to step S306, and a thumbnail creation process for moving image content is performed. In the moving image content thumbnail creation process, first, in step S401, a moving image thumbnail creation reference is acquired.
本実施形態においては、動画サムネイル作成基準は別に設定されていないものとする。よって、ステップＳ３０１において取得されたコンテンツ一覧表示ルール８０１に設定されている動画サムネイル作成基準（「シーンチェンジの最初の画像、かつ最大画像数設定なし」）を取得する。
In the present embodiment, it is assumed that the moving image thumbnail creation standard is not set separately. Therefore, the moving image thumbnail creation standard (“first image of scene change and no maximum number of images set”) set in the content
この基準に基づいて、次にステップＳ４０２において、動画像中からこの基準を満たす画像をサムネイル画像として抽出する。具体的には、まず、ステップＳ１５０１において、ステップＳ３０１で取得されたコンテンツ一覧表示ルールに設定されている動画サムネイル作成基準（「シーンチェンジの最初の画像、かつ最大画像数設定なし」）参照する。そして、ステップＳ１５０２において、対象となる動画像からこの動画サムネイル作成基準を満たす箇所のタイムスタンプを取得する。 Based on this criterion, in step S402, an image satisfying this criterion is extracted from the moving images as a thumbnail image. Specifically, first, in step S1501, the moving image thumbnail creation standard set in the content list display rule acquired in step S301 (“first image of scene change and no maximum number of images set”) is referred to. In step S1502, a time stamp of a location that satisfies the moving image thumbnail creation criterion is acquired from the target moving image.
図９は、本実施形態における動画像のシーンチェンジ例と作成されたサムネイル画像列の一例を示す図である。
ここでは、例えば、動画像（Ｌ）７１５のシーンチェンジが、図９の構造９０１ようにシーン（１）９０２、シーン（２）９０３、シーン（３）９０４のように示される場合にはシーンチェンジ部を検出する処理を行う。そして、シーンチェンジに該当する箇所が複数あるので、タイムスタンプをリストとして保持する。
FIG. 9 is a diagram illustrating an example of a scene change of a moving image and an example of a created thumbnail image sequence according to the present embodiment.
Here, for example, when the scene change of the moving image (L) 715 is shown as scene (1) 902, scene (2) 903, and scene (3) 904 as shown in
続いて、ステップＳ１５０３の判定において、全て終了していないので、ステップＳ１５０４へ進む。そして、ステップＳ１５０４において、前記タイムスタンプリストからタイムスタンプを取得し、ステップＳ１５０５において、該当箇所から静止画像をサムネイル画像として取得する。 Subsequently, since all of the determinations in step S1503 are not complete, the process advances to step S1504. In step S1504, a time stamp is acquired from the time stamp list, and in step S1505, a still image is acquired as a thumbnail image from the corresponding portion.
ここで、動画サムネイル作成基準として「シーンチェンジの最初の画像」となっているので、その基準に従って、サムネイル画像（Ｌ−１）７２１を切り出す。次に、ステップＳ１５０６において、本処理の対象となっている動画像中の該当するタイムスタンプ情報を切り出されたサムネイル画像（Ｌ−１）７２１の時間情報として付与する。そして、ステップＳ１５０７において、このサムネイル画像を、図７に示すように、対象となって動画像から抽出するサムネイル画像リスト７２０の一つとして追加する。この処理をステップＳ１５０３の判定がＹｅｓとなるまで繰り返す。 Here, since it is “the first image of the scene change” as the moving image thumbnail creation standard, the thumbnail image (L-1) 721 is cut out according to the standard. Next, in step S1506, the corresponding time stamp information in the moving image to be processed is added as time information of the clipped thumbnail image (L-1) 721. In step S1507, the thumbnail image is added as one of the thumbnail image lists 720 to be extracted from the moving image as a target, as shown in FIG. This process is repeated until the determination in step S1503 is Yes.
このようにして、動画像（Ｌ）７１５のシーンチェンジが図９に示すようにシーン（１）９０２、シーン（２）９０３、シーン（３）９０４のように示される場合には、動画像（Ｌ）７１５のサムネイル画像リスト７２０として、各々のシーンにおける最初の画像である、サムネイル画像（Ｌ−１）７２１、サムネイル画像（Ｌ−２）７２２、サムネイル画像（Ｌ−３）７２３が抽出されることになる。これらの画像をメモリ７１６にそれぞれ保存してステップＳ３０３の判定へ戻る。
In this way, when the scene change of the moving image (L) 715 is shown as scene (1) 902, scene (2) 903, and scene (3) 904 as shown in FIG. L) As
次に、ステップＳ３０３において、取得されたコンテンツ一覧全てについて処理を終了したので、処理の流れはステップＳ３０８へ進み、コンテンツ一覧パラパラ見表示処理を行う。コンテンツ一覧パラパラ見表示処理においては、まず、ステップＳ６０１において、パラパラ見表示ルールを取得する。 Next, in step S303, since processing has been completed for all of the acquired content lists, the flow of processing proceeds to step S308, and content list flip-side display processing is performed. In the content list flip-side display process, first, a flip-side display rule is acquired in step S601.
本実施形態においては、パラパラ見表示ルールは別に設定されていないとし、ステップＳ３０１において取得されたコンテンツ一覧表示ルール８０１に設定されている、パラパラ見ルール８０５を取得する。なお、サムネイル整列ルール８０６は「静止画１枚、動画Ｎ枚、かつ撮影時間順」、パラパラ見再生間隔ルール８０７は「１秒／枚」とする。
In the present embodiment, it is assumed that no separate viewing rule is set, and the
続いてステップＳ６０２へ進み、ステップＳ６０１において取得されたサムネイル整列ルール８０６に従って、メモリ７１６に保存されている全コンテンツのサムネイルを整列させてサムネイル画像列を生成する。
Subsequently, the process proceeds to step S602, where thumbnails of all contents stored in the
ここで、まず、ステップＳ１６０１において、サムネイル画像のデフォルト整列ルールを設定する。続いて、ステップＳ１６０２において、ステップＳ６０１において取得されたサムネイル整列ルール８０６を参照する。
Here, first, in step S1601, a default arrangement rule for thumbnail images is set. Subsequently, in step S1602, the
次に、ステップＳ１６０３において、参照したサムネイル整列ルール８０６にサムネイルの混在比率が設定されているかどうかを判定し、その比率は「静止画：動画＝１：Ｎ」であるので、処理の流れはステップＳ１６１３進む。そして、メモリ７１６に保存されている全コンテンツのサムネイルをステップＳ１６０２で参照した「撮影時間順（サムネイル画像は時系列に並べる）」ルールに従って、整列させてサムネイル画像列を生成する。
Next, in step S1603, it is determined whether or not the thumbnail mixture ratio is set in the referenced
本実施形態においては、メモリ７１６に保存されている全コンテンツをサムネイル整列ルール８０６に従って整列させた場合、図９に示す時間軸９０５に沿って、各サムネイル画像（サムネイル画像（Ｌ−１）７２１、サムネイル画像（Ｌ−２）７２２、サムネイル画像（Ｌ−３）７２３、静止画（Ａ）７１２、静止画（Ｂ）７１３、静止画（Ｃ）７１４の撮影時間を並べると、図９に示される点９０６〜９１１の順序になる。したがって、サムネイル整列ルール８０６に従って整列させたサムネイル画像列はサムネイル画像列(１)９１２のようになる。
In the present embodiment, when all the contents stored in the
この結果、ステップＳ６０３において整列されたサムネイル画像列をパラパラ見再生間隔ルール８０７に従って、１枚あたり１秒間隔で高速連続再生させて、ステップＳ６０４の判定の結果処理を終了する。
As a result, the thumbnail image sequence arranged in step S603 is continuously played back at a high speed at intervals of 1 second per frame according to the flip-side
別の例として、装置に設定されたコンテンツ一覧表示ルールが図８（ｂ）に示すようなコンテンツ一覧表示ルール８０８のようなものであった場合について、コンテンツ一覧表示処理の流れを以下に示す。
As another example, when the content list display rule set in the apparatus is a content
まず、ステップＳ３０１において、コンテンツ一覧表示ルール８０８を取得する。ここで設定されているコンテンツ一覧表示ルール８０８は、図８（ａ）に示すコンテンツ一覧表示ルール８０１と比べると、パラパラ見ルール８１２中のサムネイル整列ルール８１３が「静止画１枚、動画１枚、毎回別の動画サムネイル画像を選択、撮影時間順」のように異なっている。以降、コンテンツ一覧表示処理の流れは、ステップＳ３０２からステップＳ３０７まではコンテンツ一覧表示ルール８０１が設定されている場合と同様に進む。
First, in step S301, the content
ステップＳ３０３において、取得されたコンテンツ一覧全てについて処理を終了すると、処理の流れはステップＳ３０８へ進み、コンテンツ一覧パラパラ見表示処理を行う。本実施形態においては、パラパラ見表示ルールは別に設定されていないとし、ステップＳ３０１において取得されたコンテンツ一覧表示ルール８０８に設定されているパラパラ見ルール８１２を取得する。なお、サムネイル整列ルール８１３は「静止画１枚、動画１枚、毎回別の動画サムネイル画像を選択、撮影時間順」、パラパラ見再生間隔ルール８１４は「１秒／枚」となっている。
In step S303, when the processing is completed for all the acquired content lists, the flow of processing proceeds to step S308, and content list parallel display processing is performed. In the present embodiment, it is assumed that no separate viewing rule is set, and the
続いてステップＳ６０２へ進み、ステップＳ６０１において取得されたサムネイル整列ルール８１３に従って、メモリ７１６に保存されている全コンテンツのサムネイルを整列させてサムネイル画像列を生成する。
Subsequently, the process proceeds to step S602, where thumbnails of all contents stored in the
ここで、まず、ステップＳ１６０１において、サムネイル画像のデフォルト整列ルールを設定する。続いて、ステップＳ１６０２において、ステップＳ６０１において取得されたサムネイル整列ルール８１３を参照する。そして、ステップＳ１６０３において、その比率が「静止画：動画＝１：１」であるので、処理の流れはステップＳ１６０４へ進み、メモリ７１６に保存されている、動画サムネイル画像リストを全て取得する。ここで取得される動画サムネイル画像リストは動画像（Ｌ）７１５のサムネイル画像リスト７２０のみである。
Here, first, in step S1601, a default arrangement rule for thumbnail images is set. Subsequently, in step S1602, the
ステップＳ１６０５において、動画サムネイル画像リスト７２０を取得すると、ステップＳ１６０６において、処理は終了していないと判定するので、ステップＳ１６０７へ進む。そして、この動画サムネイル画像リスト中から既選択チェックマークのない動画サムネイル画像を取得する。現段階ではチェックマークのついている動画像はないので、サムネイル画像（Ｌ−１）７２１、サムネイル画像（Ｌ−２）７２２、サムネイル画像（Ｌ−３）７２３の全てを取得する。
If the moving image
続いて、ステップＳ１６０８の判定によりステップＳ１６１０へ進み、取得した候補となる動画サムネイル画像からルール（撮影時間順）に従って、サムネイル画像（Ｌ−１）７２１の１枚を取得する。そして、ステップＳ１６１１において、選択されたサムネイル画像（Ｌ−１）７２１にチェックマークをつけ、ステップＳ１６１２において、選択したサムネイル画像（Ｌ−１）７２１を今回の代表サムネイル画像として登録する。この後、処理の流れはステップＳ１６０５へ戻る。 Subsequently, the process proceeds to step S1610 based on the determination in step S1608, and one thumbnail image (L-1) 721 is acquired from the acquired candidate moving image thumbnail images according to the rules (in order of shooting time). In step S1611, a check mark is added to the selected thumbnail image (L-1) 721, and in step S1612, the selected thumbnail image (L-1) 721 is registered as the current representative thumbnail image. Thereafter, the process flow returns to step S1605.
本実施形態においては、ステップＳ１６０４において取得される動画サムネイル画像リストは動画像（Ｌ）７１５のサムネイル画像リスト７２０のみである。このため、次はステップＳ１６０６の判定によりステップＳ１６１３へ進む。そして、選択された動画サムネイル画像とメモリ７１６に保存されている他のコンテンツのサムネイルを「撮影時間順（サムネイル画像は時系列に並べる）」ルールに従って、整列させてサムネイル画像列を生成する。
In the present embodiment, the moving image thumbnail image list acquired in step S1604 is only the
このように、メモリ７１６に保存されている全コンテンツをサムネイル整列ルール８１３に従って整列させた場合、図９に示す時間軸９０５に沿って、サムネイル画像（Ｌ−１）７２１、サムネイル画像（Ｌ−２）７２２、サムネイル画像（Ｌ−３）７２３、静止画（Ａ）７１２、静止画（Ｂ）７１３、静止画（Ｃ）７１４の撮影時間を並べると、図９に示される点９０６〜９０８、９１０の順序になる。サムネイル整列ルール８１３「静止画１枚、動画１枚、毎回別の動画サムネイル画像を選択、撮影時間順」に従って整列させると、１度目にコンテンツ一覧表示を行う場合のサムネイル画像列はサムネイル画像列（２−１）９１３のようになる。
As described above, when all the contents stored in the
そして、ステップＳ６０３において、整列されたサムネイル画像列をパラパラ見再生間隔ルール８１４に従って、１枚あたり１秒間隔で高速連続再生させる。続いて、ステップＳ６０４の判定において、再度、パラパラ見再生を行うため、ステップＳ６０２へ戻り、サムネイル画像列を生成する。このように処理を繰り返すと、２順目のコンテンツ一覧表示を行う場合のサムネイル画像列はサムネイル画像列（２−２）９１４のようになり、３順目のコンテンツ一覧表示を行う場合のサムネイル画像列はサムネイル画像列（２−３）９１５のようになる。
In step S603, the arranged thumbnail image sequence is continuously reproduced at a high speed at intervals of 1 second per frame in accordance with the flip-side
ここで、４順目になると、ステップＳ１６０７で、既選択チェックのない候補となる動画サムネイル画像を取得に失敗するので、ステップＳ１６０９へ進み、チェック済みのマークを全て解除する。これにより、４順目のコンテンツ一覧表示を行う場合のサムネイル画像列はサムネイル画像列（２−１）９１３のようになる。 Here, in the fourth order, in step S1607, acquisition of a moving image thumbnail image that is a candidate that has not been selected is unsuccessful. Therefore, the process proceeds to step S1609, and all checked marks are canceled. As a result, the thumbnail image sequence when the fourth-order content list is displayed becomes the thumbnail image sequence (2-1) 913.
以上のように、本実施形態の操作端末においては、動画の撮影と同時に静止画の撮影を行う事が可能な端末においても、動画・静止画などのコンテンツの種別に関わらず、サムネイル画像を時間順などのルールに従って整列させてパラパラ見することができる。これにより、各々のサムネイル画像の概要（画像情報の構成要素や特定色の出現頻度）を高速に提供することができ、使用者はあいまいな画像の概要の記憶だけで目的のコンテンツを検索することができる。また、マルチメディアコンテンツの種類が動画像である場合には、１つ以上複数のサムネイル画像を生成するので、目的のシーンを含む動画像を選び出すことができる。 As described above, in the operation terminal according to the present embodiment, even in a terminal that can shoot a still image at the same time as shooting a moving image, the thumbnail image is timed regardless of the type of content such as a moving image or a still image. You can arrange them according to rules such as order. As a result, the outline of each thumbnail image (the component of the image information and the appearance frequency of the specific color) can be provided at high speed, and the user can search for the target content only by storing the outline of the ambiguous image. Can do. When the multimedia content type is a moving image, one or more thumbnail images are generated, and a moving image including a target scene can be selected.
（第２の実施形態）
本実施形態においては、コンテンツデータがネットワークに繋がれた分散したストレージに保存されている。さらに、あるデバイスはリアルタイムでライブ動画像を撮影・保存することが可能な環境において、画像のデータ形式（動画・静止画）に関わらずコンテンツの一覧をパラパラ見で表示する例を示す。
(Second Embodiment)
In the present embodiment, content data is stored in a distributed storage connected to a network. Furthermore, in an environment in which a certain device can capture and save a live moving image in real time, an example in which a list of contents is displayed in a parallax regardless of the image data format (moving image / still image) is shown.
図１０は、本実施形態におけるコンテンツ一覧表示処理の流れの一例を示すフローチャートである。図１０においてステップＳ１００１からステップＳ１００９は各ステップを表す。図３に示す第１の実施形態のコンテンツ一覧表示処理に比べると、ステップＳ１００５の判定の流れが異なっている。ステップＳ１００１〜Ｓ１００４の処理は、図３のステップＳ３０１〜Ｓ３０４と同様の処理であるため説明を省略する。 FIG. 10 is a flowchart showing an example of the flow of content list display processing in the present embodiment. In FIG. 10, steps S1001 to S1009 represent each step. Compared to the content list display process of the first embodiment shown in FIG. 3, the flow of determination in step S1005 is different. The processing in steps S1001 to S1004 is the same as the processing in steps S301 to S304 in FIG.
ステップＳ１００５において、操作端末は対象としている動画コンテンツがストア動画コンテンツかライブ動画コンテンツか静止画かを判定する。この判定の結果、ストア動画コンテンツについてのサムネイルを作成する場合には、ステップＳ１００６へ進み、ストア動画コンテンツのサムネイル作成処理（動画サムネイル作成処理）を行う。この処理は第１の実施形態における図４に示す処理の流れと同様である。 In step S1005, the operation terminal determines whether the target video content is store video content, live video content, or a still image. As a result of the determination, if a thumbnail for the stored moving image content is to be created, the process advances to step S1006 to perform a thumbnail creation process (moving image thumbnail creation process) for the stored moving image content. This process is the same as the process flow shown in FIG. 4 in the first embodiment.
一方、ステップＳ１００５の判定の結果、静止画コンテンツについてのサムネイルを作成する場合には、ステップＳ１００７へ進み、静止画サムネイル作成処理を行う。この処理は第１の実施形態における図５に示す処理の流れと同様である。 On the other hand, if the result of determination in step S1005 is to create a thumbnail for still image content, the process proceeds to step S1007 to perform still image thumbnail creation processing. This process is the same as the process flow shown in FIG. 5 in the first embodiment.
さらに、ステップＳ１００５の判定の結果、サムネイルを作成する動画コンテンツがライブ動画コンテンツである場合には、ステップＳ１００９へ進み、ライブ動画コンテンツのサムネイル作成処理を行う。この処理の詳細については図１１を参照しながら後述する。 Furthermore, if the result of determination in step S1005 is that the video content for which the thumbnail is to be created is live video content, the process proceeds to step S1009 to perform thumbnail creation processing for the live video content. Details of this processing will be described later with reference to FIG.
また、本実施形態においては、第１の実施形態の図３のステップＳ３０８に相当するステップＳ１００８のコンテンツ一覧パラパラ見表示処理の流れは図１２に示すような流れになる。図１２に示す本実施形態におけるコンテンツ一覧パラパラ見表示処理については後で詳細に説明する。 Further, in the present embodiment, the flow of the content list parallel view display process in step S1008 corresponding to step S308 in FIG. 3 of the first embodiment is as shown in FIG. The content list flip view display processing in the present embodiment shown in FIG. 12 will be described in detail later.
図１１は、図１０のステップＳ１００９に相当するライブコンテンツのサムネイル作成処理手順の一例を示すフローチャートである。図１１においてステップＳ１１０１からステップＳ１１０５は各ステップを表す。
まず、ステップＳ１１０１において、ライブ動画サムネイル作成基準を取得する。この基準はステップＳ１００１において取得されたコンテンツ一覧表示ルールに設定されていてもよいし、全く別の基準として用意されてもよい。ライブ動画サムネイル作成基準としては、動画像中のシーン特徴に関する物でもよいし、動画像と共に存在する付加データ（音声データ、テキストデータ）の特徴に関するものでもよい。
FIG. 11 is a flowchart showing an example of a live content thumbnail creation processing procedure corresponding to step S1009 of FIG. In FIG. 11, step S1101 to step S1105 represent each step.
First, in step S1101, live video thumbnail creation criteria are acquired. This criterion may be set in the content list display rule acquired in step S1001, or may be prepared as a completely different criterion. The live moving image thumbnail creation standard may be related to a scene feature in a moving image, or may be related to a feature of additional data (audio data, text data) existing together with the moving image.
例えば、ライブ画像のうち「ライブ画像がＴＶ番組のチャンネルである場合、ＣＭ放映時の映像はサムネイルとしない」でもよい。また、抽出する動画サムネイルの画像数についても設定してもよい。この場合、画像数を指定してもよいし、最高画像数を指定してそれ以下の画像を抽出するように条件を設定してもよい。また、これらの基準を複数組み合わせてもよいし、また、この基準は、本実施形態によるコンテンツ一覧方法を使用する装置の立ち上げ時に設定されてもよいし、ユーザによって変更されてもよい。 For example, among live images, “when the live image is a TV program channel, the video when the CM is broadcast is not a thumbnail” may be used. The number of moving image thumbnail images to be extracted may also be set. In this case, the number of images may be designated, or the condition may be set so that the maximum number of images is designated and less than that number is extracted. A plurality of these criteria may be combined, and these criteria may be set when the apparatus using the content listing method according to the present embodiment is started up, or may be changed by the user.
次に、ステップＳ１１０２へ進み、ライブ動画配信先への接続を試みる。そして、ステップＳ１１０３において、配信先への接続に成功したか否かを判定する。この判定の結果、失敗したならば処理はそのまま終了する。一方、ステップＳ１１０３の判定の結果、配信先への接続に成功したら、ステップＳ１１０４へ進み、ステップＳ１１０１において取得したライブ動画サムネイル作成基準に従って、ライブ動画のサムネイル画像を抽出する。そして、ステップＳ１１０５においてサムネイル画像をコンテンツ一覧表示処理用のメモリに保存して処理を終了する。 Next, it progresses to step S1102 and tries the connection to a live moving image delivery destination. In step S1103, it is determined whether or not the connection to the distribution destination is successful. If the result of this determination is that the process has failed, the process ends. On the other hand, as a result of the determination in step S1103, if the connection to the distribution destination is successful, the process proceeds to step S1104, and the thumbnail image of the live video is extracted according to the live video thumbnail creation standard acquired in step S1101. In step S1105, the thumbnail image is saved in the memory for content list display processing, and the processing ends.
図１２は、本実施形態におけるコンテンツ一覧パラパラ見表示処理の手順の一例を示すフローチャートである。図１２においてステップＳ１２０１からステップＳ１２０７は各ステップを表す。本実施形態におけるコンテンツ一覧パラパラ見表示処理は第１の実施形態における図６に示す処理と比べると、ステップＳ１２０２〜Ｓ１２０４の処理が追加されている。なお、ステップＳ１２０５〜Ｓ１２０７は、図６のステップＳ６０２〜Ｓ６０４と同様であるため、詳細な説明は省略する。 FIG. 12 is a flowchart illustrating an example of a procedure of content list flip-view display processing according to the present embodiment. In FIG. 12, steps S1201 to S1207 represent the respective steps. Compared with the process shown in FIG. 6 in the first embodiment, the contents list flip-flop display process in the present embodiment is added with processes in steps S1202 to S1204. Steps S1205 to S1207 are the same as steps S602 to S604 in FIG.
コンテンツ一覧パラパラ見表示処理が呼び出されると、第１の実施形態と同様に、ステップＳ１２０１において、パラパラ見表示ルールを取得する。続いて、ステップＳ１２０２において、コンテンツ一覧からコンテンツ種別がライブ動画であるものを検索する。 When the content list flip-side display process is called, the flip-side display rule is acquired in step S1201 as in the first embodiment. Subsequently, in step S1202, a content list whose content type is a live video is searched.
次に、ステップＳ１２０３において、コンテンツ一覧の中にライブ動画コンテンツがあるかどうかを判定する。この判定の結果、コンテンツ一覧の中にライブ動画が存在しない場合には、ステップＳ１２０５へ進み、第１の実施形態と同様に処理が進められる。一方、ステップＳ１２０３の判定の結果、操作端末が対象とするコンテンツ一覧のなかにライブ動画コンテンツがある場合には、現時点でのライブ動画のサムネイルを作成するためにステップＳ１２０４においてライブ動画サムネイル作成処理を行う。なお、この処理の流れは図１１に示される処理と同様である。 Next, in step S1203, it is determined whether there is live video content in the content list. If the result of this determination is that there is no live video in the content list, processing advances to step S1205, and processing proceeds in the same manner as in the first embodiment. On the other hand, if the result of determination in step S1203 is that there is live video content in the content list targeted by the operation terminal, live video thumbnail creation processing is performed in step S1204 in order to create a thumbnail of the current live video. Do. The flow of this process is the same as the process shown in FIG.
コンテンツ一覧中のライブ動画コンテンツ全てについてサムネイルを作成すると、ステップＳ１２０３の判定において、ライブ動画コンテンツはもうないと判定し、ステップＳ１２０５へ進む。そして、第１の実施形態と同様にサムネイル画像列を生成する。そして、ステップＳ１２０６において、パラパラ見再生処理を行い、ステップＳ１２０７において終了と判定したら処理を終了する。なお、ステップＳ１２０７において、終了でないと判定した場合はステップＳ１２０２に戻る。 If thumbnails are created for all the live video contents in the content list, it is determined in step S1203 that there is no more live video content, and the process advances to step S1205. Then, similarly to the first embodiment, a thumbnail image sequence is generated. In step S1206, a flip-back reproduction process is performed. If it is determined in step S1207 that the process is finished, the process ends. If it is determined in step S1207 that the process has not ended, the process returns to step S1202.
図１３は、本実施形態における操作端末（マルチメディアコンテンツ表示装置）及びネットワーク接続されたデバイスの具体的な構成例を示す図である。図１３において、操作端末１３００は基本的に図２に示されるようなハードウェア構成をしているため、ハードウェア構成については説明を省略する。
FIG. 13 is a diagram illustrating a specific configuration example of an operation terminal (multimedia content display apparatus) and a network-connected device in the present embodiment. In FIG. 13, the
操作端末（ディスプレイ）１３００には、操作メニューや撮影した画像を再生するための表示部１３０１が備えられている。これは図２における出力装置２０８に相当する。また、操作コントローラ１３０２も備えられており、表示部におけるメニューを選択することができる。これは図２における入力装置２０６に相当する。なお、図１３には図示していないが、図２における記憶装置２０５に相当するデータ保存部を所持するようにしてもよい。
An operation terminal (display) 1300 is provided with a
また、操作端末（ディスプレイ）１３００にはプログラムメモリとデータメモリとを含むメモリ１３１７が搭載されている。プログラムメモリには、表示部１３０１に表示する内容を制御する処理手順を含むＣＰＵ２０２による制御のためのプログラムを格納してある。データメモリには、本実施形態におけるコンテンツ一覧表示処理において、一時的に使用される画像データなども保存される。なお、メモリ１３１７は図２におけるＲＯＭ２０３であってもよいし外部記憶装置などからプログラムがロードされるＲＡＭ２０４であってもよい。
The operation terminal (display) 1300 is equipped with a
ここで、操作端末（ディスプレイ）１３００は、ネットワークを介してデータストレージ１３１８及びＨＤＤレコーダ１３２３と接続されているものとする。データストレージ１３１８は、処理制御部１３１９によって処理が制御され、静止画像（Ａ）１３２０、静止画像（Ｂ）１３２１、静止画像（Ｃ）１３２２がコンテンツデータとして保存されている。
Here, it is assumed that the operation terminal (display) 1300 is connected to the
ＨＤＤレコーダ１３２３は、処理制御部１３２５によって処理が制御され、ＴＶチューナ１３２６を介して、チャンネルＣｈ１３２７からライブ画像を取得することができる。また、コンテンツデータとして、動画像（Ｌ）１３２４が格納されている。
The processing of the
ここで、ユーザにより操作端末１３００が操作されて、データストレージ１３１８、ＨＤＤレコーダ１３２３に格納されたコンテンツデータ及びＨＤＤレコーダ１３２３がライブ画像として取得することができるコンテンツから所望するデータを検索する場合について説明する。
Here, a case where the user operates the
図１３においては、ユーザが参照可能なコンテンツデータを再生するために、表示部１３０１にデータフォルダメニューが表示されている状態を示している。データフォルダメニューとして、全データ表示メニュー１３０３、ライブ動画表示メニュー１３０４、（ストア）動画表示メニュー１３０５、静止画表示メニュー１３０６及びデータパラパラ再生メニュー１３０７が表示されている場合について説明する。
FIG. 13 shows a state where a data folder menu is displayed on the
なお、ユーザにより操作コントローラ１３０２が操作されて、全データ表示メニュー１３０３が選択されると、参照可能な全データについて、そのコンテンツデータのプロパティ（ファイル名、撮影日時、サイズ等）がリスト表示されてもよい。また、ユーザによりライブ動画表示メニュー１３０４、（ストア）動画表示メニュー１３０５、静止画表示メニュー１３０６などが選択された場合には、該当するデータ（ライブ動画、ストア動画または静止画）について、そのプロパティ（ファイル名、撮影日時、サイズ等）がリスト表示されてもよい。
When the
ユーザにより操作コントローラ１３０２が操作されて、データパラパラ再生メニュー１３０６が選択されると、図１０に示すコンテンツ一覧表示処理を開始する。ここで、装置に設定されたコンテンツ一覧表示ルールが図８（ａ）に示すコンテンツ一覧表示ルール８０１のようなものであった場合について、コンテンツ一覧表示処理の流れを以下に示す。
When the
まず、ステップＳ１００１において、コンテンツ一覧表示ルールを取得する。図８（ａ）に示すコンテンツ一覧表示ルール８０１によると、デフォルトサムネイル画像８０２は「画素数１００×１００」、動画サムネイル作成基準８０３は「シーンチェンジの最初の画像、かつ最大画像数設定なし」、静止画サムネイル作成基準８０４は「画素数１００×１００」、パラパラ見ルール８０５のうち、サムネイル整列ルール８０６は「静止画１枚、動画Ｎ枚、かつ撮影時間順」、パラパラ見再生間隔ルール８０７は「１秒／枚」となっている。
First, in step S1001, a content list display rule is acquired. According to the content
次に、ステップＳ１００２において、参照可能なコンテンツ一覧を取得する。ここで取得されるコンテンツはデータストレージ１３１８に格納されている１３２０静止画像（Ａ）１３２０、静止画像（Ｂ）１３２１、静止画像（Ｃ）１３２２、ＨＤＤレコーダ１３２３に格納されている動画像（Ｌ）１３２４、ＴＶチューナ１３２６を介して、チャンネルＣｈ１３２７から取得することができるライブ画像である。
Next, in step S1002, a referenceable content list is acquired. The content acquired here includes a 1320 still image (A) 1320, a still image (B) 1321, a still image (C) 1322, and a moving image (L) stored in the
データストレージ１３１８に格納されている静止画像（Ａ）１３２０、静止画像（Ｂ）１３２１、静止画像（Ｃ）１３２２、ＨＤＤレコーダ１３２３に格納されている動画像（Ｌ）１３２４に関しては、第１の実施形態と同様にサムネイル画像作成処理が行われる。静止画像（Ａ）１３２０、静止画像（Ｂ）１３２１、静止画像（Ｃ）１３２２のサムネイル画像として、サムネイル画像（Ａ）１３０９、サムネイル画像（Ｂ）１３１０、サムネイル画像（Ｃ）１３１１が取得される。また、動画像（Ｌ）１３２４のサムネイル画像１３１２として、サムネイル画像（Ｌ−１）１３１３、サムネイル画像（Ｌ−２）１３１４、サムネイル画像（Ｌ−３）１３１５の３枚のサムネイル画像が取得される。
Regarding the still image (A) 1320, the still image (B) 1321, the still image (C) 1322, and the moving image (L) 1324 stored in the
ここで、ステップＳ１００５の判定の結果、コンテンツ一覧からチャンネルＣｈ１３２７から取得することができるライブ画像に関するサムネイルを作成する場合には、ステップＳ１００９へ進み、ライブコンテンツのサムネイル作成処理を行う。
If it is determined in step S1005 that a thumbnail related to a live image that can be acquired from the
ライブコンテンツサムネイル作成処理においては、まず、ステップＳ１１０１において、ライブ動画サムネイル作成基準を取得する。本実施形態においては、ライブ動画サムネイル作成基準は別に設定されていないものとする。 In the live content thumbnail creation process, first, a live moving image thumbnail creation reference is acquired in step S1101. In the present embodiment, it is assumed that the live video thumbnail creation standard is not set separately.
次に、ステップＳ１１０２へ進み、ライブ動画配信先への接続を試みる。ステップＳ１１０３において、配信先への接続に成功したと判定すると、ステップＳ１１０４へ進む。そして、ステップＳ１１０４において、ステップＳ１１０１で取得したライブ動画サムネイル作成基準に従って、ライブ動画のサムネイル画像を抽出する。なお、ライブ動画サムネイル作成基準は設定されていないので、接続時のライブ動画をサムネイル画像としてそのまま抽出する。次に、ステップＳ１１０５において、抽出したサムネイル画像をメモリ１３１７にサムネイル画像（Ｃｈ−１）１３１６として保存して処理を終了する。
Next, it progresses to step S1102 and tries the connection to a live moving image delivery destination. If it is determined in step S1103 that the connection to the distribution destination is successful, the process proceeds to step S1104. In step S1104, a thumbnail image of the live video is extracted according to the live video thumbnail creation standard acquired in step S1101. Note that since the live video thumbnail creation standard is not set, the live video at the time of connection is extracted as it is as a thumbnail image. In step S1105, the extracted thumbnail image is stored in the
このように、ライブ動画、ストア動画、静止画のサムネイル画像をコンテンツ一覧表示処理用のメモリ１３１７に保存すると、取得されたコンテンツ一覧全てについて処理を終了する。そして、ステップＳ１００８におけるコンテンツ一覧パラパラ見表示処理を行う。
As described above, when the thumbnail images of the live video, the store video, and the still image are stored in the content list
コンテンツ一覧パラパラ見表示処理においては、まず、ステップＳ１２０１において、パラパラ見表示ルールを取得する。本実施形態においては、パラパラ見表示ルールは別に設定されていないものとする。すなわち、ステップＳ１００１において取得されたコンテンツ一覧表示ルール８０１に設定されているパラパラ見ルール８０５を取得する。なお、サムネイル整列ルール８０６は「静止画１枚、動画Ｎ枚、かつ撮影時間順」であり、パラパラ見再生間隔ルール８０７は「１秒／枚」である。
In the content list flip-view display process, first, the flip-flop display rule is acquired in step S1201. In this embodiment, it is assumed that the flip-side display rule is not set separately. That is, the flipping
続いて、ステップＳ１２０２において、コンテンツ一覧からコンテンツ種別がライブ動画であるものを検索する。次に、ステップＳ１２０３の判定において、コンテンツ一覧の中にライブ動画コンテンツがあるので、ステップＳ１２０４に進む。そして、ステップＳ１１０１からステップＳ１１０５の処理を繰り返し、チャンネルＣｈ１３２７から取得することができるライブ画像に関するサムネイルを作成する。 Subsequently, in step S1202, a content list whose content type is a live video is searched. Next, in the determination in step S1203, since there is live video content in the content list, the process proceeds to step S1204. Then, the processing from step S1101 to step S1105 is repeated to create a thumbnail related to the live image that can be acquired from the channel Ch1327.
ライブ動画を全て取得したら、ステップＳ１２０３において、ライブ動画はもうないので、ステップＳ１２０５へ進む。そして、ステップＳ６０１において取得されたサムネイル整列ルール８０６の「静止画１枚、動画Ｎ枚、かつ撮影時間順」に従って、コンテンツ一覧表示処理用のメモリ１３１７に保存されている全コンテンツのサムネイルを整列させてサムネイル画像列を生成する。
When all the live videos are acquired, in step S1203, there are no more live videos, and the process proceeds to step S1205. Then, the thumbnails of all the contents stored in the content list
図１４は、本実施形態における動画像のシーンチェンジ例と作成されたサムネイル画像列の一例を示す図である。
例えば、コンテンツ一覧表示処理用のメモリ１３１７に保存されている全コンテンツをサムネイル整列ルール８０６に従って整列させた場合、図１４に示す時間軸１４０５に沿って、各サムネイル画像であるサムネイル画像（Ｌ−１）１３１３、サムネイル画像（Ｌ−２）１３１４、サムネイル画像（Ｌ−３）１３１５、静止画（Ａ）１３２０、静止画（Ｂ）１３２１、静止画（Ｃ）１３２２、サムネイル画像（Ｃｈ−１）１３１６の撮影時間を並べると、図１４に示される点１４０６〜１４１２の順序になる。
FIG. 14 is a diagram showing an example of a scene change of a moving image and an example of a created thumbnail image sequence in the present embodiment.
For example, when all the contents stored in the
これにより、サムネイル整列ルール８０６の「静止画１枚、動画Ｎ枚、かつ撮影時間順」に従って整列させたサムネイル画像列はサムネイル画像列１４１３のようになる。そして、ステップＳ１２０６において整列されたサムネイル画像列をパラパラ見再生間隔ルール８０７の「１秒／枚」に従って、１枚あたり１秒間隔で高速連続再生させて、ステップＳ１２０７の判定の結果、終了した場合は処理を終了する。
As a result, the thumbnail image sequence arranged according to the
以上のように、本実施形態の操作端末においては、ライブ画像を参照可能なコンテンツとして扱うことが可能な端末においても、動画（ライブ・ストア）・静止画などのコンテンツの種別に関わらず、サムネイル画像を時間順などのルールに従って整列させてパラパラ見することができる。これにより、各々のサムネイル画像の概要（画像情報の構成要素や特定色の出現頻度）を高速に提供することができ、使用者はあいまいな静止画の概要の記憶だけで目的のコンテンツを検索することができる。 As described above, in the operation terminal according to the present embodiment, even in a terminal that can handle a live image as a referenceable content, a thumbnail regardless of the type of content such as a moving image (live store) or a still image. Images can be arranged in order according to rules such as time order. As a result, an outline of each thumbnail image (components of image information and appearance frequency of a specific color) can be provided at high speed, and the user searches for target content only by storing an outline of an ambiguous still image. be able to.
また、例えばライブ画像がＴＶのチャンネルからの映像である場合にも、逐次ライブ画像のサムネイルを生成してパラパラ見で再生表示するので、使用者は目的のコンテンツを検索することができる。 Further, for example, even when a live image is a video from a TV channel, thumbnails of the live image are sequentially generated and reproduced and displayed in parallel, so that the user can search for the target content.
（本発明に係る他の実施形態）
前述した本発明の実施形態におけるマルチメディアコンテンツ表示装置を構成する各手段、並びにマルチメディアコンテンツ表示方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
(Other embodiments according to the present invention)
Each means constituting the multimedia content display device and each step of the multimedia content display method in the embodiment of the present invention described above can be realized by operating a program stored in a RAM or ROM of a computer. This program and a computer-readable recording medium recording the program are included in the present invention.
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。 Further, the present invention can be implemented as, for example, a system, apparatus, method, program, or recording medium. Specifically, the present invention may be applied to a system including a plurality of devices. The present invention may be applied to an apparatus composed of a single device.
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図３〜６、１０〜１２、１５及び１６に示すフローチャートに対応したプログラム）を、システムまたは装置に直接、または遠隔から供給する。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。 In the present invention, a software program for realizing the functions of the above-described embodiments (in the embodiment, a program corresponding to the flowcharts shown in FIGS. Or supply remotely. This includes the case where the system or the computer of the apparatus is also achieved by reading and executing the supplied program code.
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。 Accordingly, since the functions of the present invention are implemented by computer, the program code installed in the computer also implements the present invention. In other words, the present invention includes a computer program itself for realizing the functional processing of the present invention.
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。 In that case, as long as it has the function of a program, it may be in the form of object code, a program executed by an interpreter, script data supplied to the OS, and the like.
プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。 Examples of the recording medium for supplying the program include a floppy (registered trademark) disk, a hard disk, an optical disk, and a magneto-optical disk. Further, there are MO, CD-ROM, CD-R, CD-RW, magnetic tape, nonvolatile memory card, ROM, DVD (DVD-ROM, DVD-R) and the like.
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。 As another program supply method, there is a method of connecting to a homepage on the Internet using a browser of a client computer. The computer program itself of the present invention or a compressed file including an automatic installation function can be downloaded from the homepage by downloading it to a recording medium such as a hard disk.
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。 It can also be realized by dividing the program code constituting the program of the present invention into a plurality of files and downloading each file from a different homepage. That is, a WWW server that allows a plurality of users to download a program file for realizing the functional processing of the present invention on a computer is also included in the present invention.
また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記録媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。 As another method, the program of the present invention is encrypted, stored in a recording medium such as a CD-ROM, distributed to users, and encrypted from a homepage via the Internet to users who have cleared predetermined conditions. Download the key information to be solved. It is also possible to execute the encrypted program by using the key information and install the program on a computer.
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。 Further, the functions of the above-described embodiments are realized by the computer executing the read program. Furthermore, based on the instructions of the program, an OS or the like running on the computer performs part or all of the actual processing, and the functions of the above-described embodiments can be realized by the processing.
さらに、その他の方法として、まず記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。 As another method, the program read from the recording medium is first written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. Then, based on the instructions of the program, the CPU or the like provided in the function expansion board or function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments are also realized by the processing.
１０１、１０２、１０７ デバイス
１０３、１０６ ストレージ
１０４ ネットワークあるいはバス
１０５ 操作端末
２０１ バス
２０２ ＣＰＵ
２０３ ＲＯＭ
２０４ ＲＡＭ
２０５ 記憶装置
２０６ 入力装置
２０７ ネットワークＩ／Ｆ
２０８ 出力装置
７００ 操作端末
７０１ 表示部
７０２ 操作コントローラ
７０３ 全データ表示メニュー
７０４ 動画表示メニュー
７０５ 静止画表示メニュー
７０６ データパラパラ再生メニュー
７０７ カメラシャッター
７０８ 撮影レンズ
７０９ ファインダー
７１０ 処理制御部
７１１ データ保存部
７１２ 静止画像（Ａ）
７１３ 静止画像（Ｂ）
７１４ 静止画像（Ｃ）
７１５ 動画像（Ｌ）
７１６ メモリ
７１７ サムネイル画像（Ａ）
７１８ サムネイル画像（Ｂ）
７１９ サムネイル画像（Ｃ）
７２０ 動画像（Ｌ）
７２１ サムネイル画像（Ｌ−１）
７２２ サムネイル画像（Ｌ−２）
７２３ サムネイル画像（Ｌ−３）
１３００ 操作端末
１３０１ 表示部
１３０２ 操作コントローラ
１３０３ 全データ表示メニュー
１３０４ ライブ動画像表示メニュー
１３０５ (ストア)動画表示メニュー
１３０６ 静止画表示メニュー
１３０７ データパラパラ再生メニュー
１３１７ メモリ
１３１８ データストレージ
１３２０ 静止画像（Ａ）
１３２１ 静止画像（Ｂ）
１３２２ 静止画像（Ｃ）
１３２３ ＨＤＤレコーダ
１３２４ 動画像（Ｌ）
１３２５ 処理制御部
１３２６ ＴＶチューナ
１３２７ チャンネルＣｈ
101, 102, 107
203 ROM
204 RAM
205
208
713 Still image (B)
714 Still image (C)
715 Video (L)
716
718 Thumbnail image (B)
719 Thumbnail image (C)
720 video (L)
721 Thumbnail image (L-1)
722 Thumbnail image (L-2)
723 Thumbnail image (L-3)
1300
1321 Still image (B)
1322 Still image (C)
1323
1325
Claims (6)
前記動画代表画像作成手段によって生成された代表画像の中から１つ以上の代表画像をその他のコンテンツの画像と混在させて整列させるコンテンツ整列手段とを有することを特徴とするマルチメディアコンテンツ表示装置。 A moving image representative image creating means for generating a representative image;
A multimedia content display apparatus, comprising: content alignment means for aligning one or more representative images among the representative images generated by the moving image representative image creation means in a mixed manner with other content images.
前記コンテンツ整列手段は、前記時間情報付与手段によって付与された代表画像の時間情報を元に整列させることを特徴とする請求項１に記載のマルチメディアコンテンツ表示装置。 The moving image representative image creating means includes time information giving means for giving time information to the representative image,
2. The multimedia content display apparatus according to claim 1, wherein the content aligning means aligns based on the time information of the representative image given by the time information giving means.
前記コンテンツ整列手段は、前記ライブ動画像からの代表画像を混在させて整列させることを特徴とする請求項１〜３の何れか１項に記載のマルチメディアコンテンツ表示装置。 The moving image representative image creating means sequentially creates a representative image when it is a live moving image,
The multimedia content display device according to any one of claims 1 to 3, wherein the content alignment unit aligns representative images from the live moving images in a mixed manner.
前記動画像作成工程において生成された代表画像の中から１つ以上の代表画像をその他のコンテンツの画像と混在させて整列させるコンテンツ整列工程とを有することを特徴とするマルチメディアコンテンツ表示方法。 A video representative image creation step for generating a representative image;
A multimedia content display method comprising: a content alignment step of aligning one or more representative images mixed with other content images from the representative images generated in the moving image creation step.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006150152A JP2007323698A (en) | 2006-05-30 | 2006-05-30 | Multi-media content display device, method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006150152A JP2007323698A (en) | 2006-05-30 | 2006-05-30 | Multi-media content display device, method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2007323698A true JP2007323698A (en) | 2007-12-13 |
Family
ID=38856389
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006150152A Pending JP2007323698A (en) | 2006-05-30 | 2006-05-30 | Multi-media content display device, method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2007323698A (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009246887A (en) * | 2008-03-31 | 2009-10-22 | Brother Ind Ltd | Image processor |
| JP2009246890A (en) * | 2008-03-31 | 2009-10-22 | Brother Ind Ltd | Image processor |
| JP2010129083A (en) * | 2008-12-01 | 2010-06-10 | Korea Electronics Telecommun | Digital content providing device and method for receiving provision of content from external storage device |
| US7757172B2 (en) | 2007-12-27 | 2010-07-13 | Kabushiki Kaisha Toshiba | Electronic equipment and method for displaying images |
| JP2011188056A (en) * | 2010-03-05 | 2011-09-22 | Panasonic Corp | Imager |
| US8320717B2 (en) | 2008-03-31 | 2012-11-27 | Brother Kogyo Kabushiki Kaisha | Image processor |
| JP2018010607A (en) * | 2016-07-11 | 2018-01-18 | 日本放送協会 | Content presentation device, content presentation method, and program |
-
2006
- 2006-05-30 JP JP2006150152A patent/JP2007323698A/en active Pending
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7757172B2 (en) | 2007-12-27 | 2010-07-13 | Kabushiki Kaisha Toshiba | Electronic equipment and method for displaying images |
| JP2009246887A (en) * | 2008-03-31 | 2009-10-22 | Brother Ind Ltd | Image processor |
| JP2009246890A (en) * | 2008-03-31 | 2009-10-22 | Brother Ind Ltd | Image processor |
| JP4645672B2 (en) * | 2008-03-31 | 2011-03-09 | ブラザー工業株式会社 | Image processing device |
| US8320717B2 (en) | 2008-03-31 | 2012-11-27 | Brother Kogyo Kabushiki Kaisha | Image processor |
| US8411311B2 (en) | 2008-03-31 | 2013-04-02 | Brother Kogyo Kabushiki Kaisha | Image processor |
| US8588532B2 (en) | 2008-03-31 | 2013-11-19 | Brother Kogyo Kabushiki Kaisha | Image processor |
| JP2010129083A (en) * | 2008-12-01 | 2010-06-10 | Korea Electronics Telecommun | Digital content providing device and method for receiving provision of content from external storage device |
| JP2011188056A (en) * | 2010-03-05 | 2011-09-22 | Panasonic Corp | Imager |
| JP2018010607A (en) * | 2016-07-11 | 2018-01-18 | 日本放送協会 | Content presentation device, content presentation method, and program |
| JP6999257B2 (en) | 2016-07-11 | 2022-01-18 | 日本放送協会 | Content presentation device, content presentation method, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101150699B (en) | Information processing apparatus, information processing method | |
| JP6214619B2 (en) | Generating multimedia clips | |
| US8762844B2 (en) | Image display apparatus and method of controlling the same via progress bars | |
| JP5142453B2 (en) | Playback device | |
| JP4424389B2 (en) | Movie creation device, movie creation method, and program | |
| JP5770408B2 (en) | Video content viewing terminal | |
| RU2607236C2 (en) | Sequencing content | |
| US20060056796A1 (en) | Information processing apparatus and method and program therefor | |
| KR20070090751A (en) | Image displaying method and video playback apparatus | |
| US20060126963A1 (en) | Frame classification information providing device and program | |
| KR101440168B1 (en) | Method for creating a new summary of an audiovisual document that already includes a summary and reports and a receiver that can implement said method | |
| JP2007323698A (en) | Multi-media content display device, method, and program | |
| KR102055766B1 (en) | Moving Picture Summary Play Device, Moving Picture Summary Providing Server and Methods Thereof | |
| JP2006060653A (en) | Image editing apparatus, method and program | |
| US7844163B2 (en) | Information editing device, information editing method, and computer product | |
| JP4200976B2 (en) | Content reproduction apparatus and electronic device | |
| JP2006060652A (en) | Digital still camera | |
| JP2004297493A (en) | Digital contents editing system and method thereof | |
| JP4366439B1 (en) | Video content editing method, editing apparatus using the same, and remote editing apparatus | |
| JP4016424B2 (en) | Moving picture editing apparatus and moving picture editing method | |
| JP2009076988A (en) | Content information display device and display method of content information | |
| JP4171316B2 (en) | Information editing apparatus, information editing method, and information editing program | |
| JP4295532B2 (en) | Information editing apparatus, information editing method, and information editing program | |
| JP2000261744A (en) | Method and system for photographing video image for edit with object information acquisition function and storage medium recording program describing this method | |
| JP4177820B2 (en) | Data input device and data input system |