JP2010148135A - Formation processing of still image data based on two or more pieces of frame image data - Google Patents
Formation processing of still image data based on two or more pieces of frame image data Download PDFInfo
- Publication number
- JP2010148135A JP2010148135A JP2010013102A JP2010013102A JP2010148135A JP 2010148135 A JP2010148135 A JP 2010148135A JP 2010013102 A JP2010013102 A JP 2010013102A JP 2010013102 A JP2010013102 A JP 2010013102A JP 2010148135 A JP2010148135 A JP 2010148135A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- frame image
- image processing
- frame
- scene change
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Abstract
Description
この発明は、複数のフレーム画像データに基づいて静止画像データを生成する技術に関する。 The present invention relates to a technique for generating still image data based on a plurality of frame image data.
デジタルビデオカメラ等で撮影された動画像は、動画像の1シーンを表現する静止画像の生成にも利用されている。動画像は複数のフレーム画像データを含んでおり、これらのフレーム画像データに基づいて、静止画像を表現する静止画像データを生成することができる(例えば、特許文献1参照)。このような静止画像データの基となるフレーム画像データは、通常は、ユーザが選択することができる。 A moving image shot by a digital video camera or the like is also used to generate a still image that represents one scene of the moving image. A moving image includes a plurality of frame image data, and still image data representing a still image can be generated based on the frame image data (see, for example, Patent Document 1). The user can select the frame image data that is the basis of such still image data.
静止画像は、その複数のフレーム画像データに含まれる種々のシーンを表現するために、複数生成される場合がある。また、生成された静止画像をアルバムのようにページに割り付けて出力(印刷や表示)する方法が、しばしば、用いられる。しかし、静止画像を生成するためのシーンを選択する作業は、ユーザにとって大きな負担となっていた。 A plurality of still images may be generated in order to represent various scenes included in the plurality of frame image data. Also, a method of assigning the generated still image to a page and outputting (printing or displaying) like an album is often used. However, the task of selecting a scene for generating a still image has been a heavy burden on the user.
本発明は、上述した従来の課題を解決するためになされたものであり、複数のフレーム画像データに基づいて、静止画像データを容易に生成することのできる技術を提供することを目的とする。 The present invention has been made to solve the above-described conventional problems, and an object of the present invention is to provide a technique capable of easily generating still image data based on a plurality of frame image data.
上記目的の少なくとも一部を達成するために、本発明の画像処理装置は、複数のフレーム画像データを用いた画像処理を行う画像処理装置であって、指定された数の代表フレーム画像データを、前記複数のフレーム画像データの中から自動的に選択する代表フレーム選択部と、前記選択された代表フレーム画像データのそれぞれに基づいて静止画像データを生成する静止画像データ生成部と、を備える。 In order to achieve at least a part of the above object, an image processing apparatus of the present invention is an image processing apparatus that performs image processing using a plurality of frame image data, and includes a designated number of representative frame image data, A representative frame selecting unit that automatically selects from the plurality of frame image data; and a still image data generating unit that generates still image data based on each of the selected representative frame image data.
この画像処理装置では、代表フレーム選択部が、指定された数の代表フレーム画像データを自動的に複数のフレーム画像データに応じて選択するとともに、静止画像データ生成部が、選択された代表フレーム画像データに基づいて静止画像データを生成するので、複数のフレーム画像データに基づいて、指定された数の静止画像データを容易に生成することができる。 In this image processing apparatus, the representative frame selection unit automatically selects a designated number of representative frame image data according to a plurality of frame image data, and the still image data generation unit selects the selected representative frame image. Since still image data is generated based on the data, a designated number of still image data can be easily generated based on a plurality of frame image data.
上記画像処理装置において、さらに、台紙領域と前記台紙領域上に配置された1つ以上の単画像割付領域とを含むテンプレートを表すテンプレートデータを用いて、画像を前記台紙領域上に割り付けるレイアウト処理を実行するレイアウト部を、備え、前記代表フレーム選択部は、前記レイアウト処理に用いられる前記単画像割付領域の総数を、前記指定された数として採用し、前記レイアウト部は、前記生成された静止画像データが表現する静止画像を用いた前記レイアウト処理を実行することが好ましい。 In the image processing apparatus, a layout process for allocating an image on the mount area using template data representing a template including a mount area and one or more single image allocation areas arranged on the mount area. A layout unit to be executed, wherein the representative frame selection unit adopts the total number of the single image allocation areas used for the layout processing as the designated number, and the layout unit selects the generated still image It is preferable to execute the layout process using a still image represented by data.
この構成によれば、静止画像を用いたレイアウト処理を実行することができる。また、単画像割付領域の総数と同じ数の静止画像データが生成されるので、静止画像が割り付けられない単画像割付領域が生じることを防止することができる。 According to this configuration, layout processing using a still image can be executed. Moreover, since the same number of still image data as the total number of single image allocation areas is generated, it is possible to prevent the generation of single image allocation areas in which still images are not allocated.
上記各画像処理装置において、前記代表フレーム選択部は、時系列の順番に並んだ前記複数のフレーム画像データの全体から、均等な画像数間隔で、前記代表フレーム画像データを選択することが好ましい。 In each of the above image processing apparatuses, it is preferable that the representative frame selection unit selects the representative frame image data from the whole of the plurality of frame image data arranged in chronological order at equal image number intervals.
この構成によれば、代表フレーム画像データが特定のシーンに偏ることを抑制することができる。 According to this configuration, it is possible to prevent the representative frame image data from being biased toward a specific scene.
上記各画像処理装置において、さらに、前記複数のフレーム画像データの時系列におけるシーンの変わり目を検出するシーン変化検出部と、時系列に沿った順番を前記シーンの変わり目で区切ったときに、同じ区間に属する1つ以上の前記フレーム画像データで構成されるフレーム画像グループを、互いの区間が重ならないように1つ以上生成するフレーム画像グループ設定部と、を備え、前記代表フレーム選択部は、前記フレーム画像グループのそれぞれから少なくとも1つの代表フレーム画像データを選択することが好ましい。 In each of the above image processing devices, a scene change detection unit that detects a scene change in the time series of the plurality of frame image data, and the same section when the order along the time series is divided by the scene change A frame image group setting unit that generates one or more frame image groups composed of one or more frame image data belonging to the group so that the sections do not overlap each other, and the representative frame selection unit includes Preferably, at least one representative frame image data is selected from each of the frame image groups.
この構成によれば、フレーム画像グループのそれぞれから代表フレーム画像データが選択されるので、代表フレーム画像データが特定のシーンに偏ることを抑制することができる。 According to this configuration, since the representative frame image data is selected from each of the frame image groups, it is possible to suppress the representative frame image data from being biased to a specific scene.
上記各画像処理装置において、前記シーン変化検出部は、前記フレーム画像データの特徴に関連のあるフレーム画像特徴パラメータ値を算出し、前記算出したフレーム画像特徴パラメータ値の変化に応じて、前記シーンの変わり目を検出することが好ましい。 In each of the image processing devices, the scene change detection unit calculates a frame image feature parameter value related to the feature of the frame image data, and changes the scene image according to the change of the calculated frame image feature parameter value. It is preferable to detect a turning point.
この構成によれば、フレーム画像特徴パラメータ値の変化に応じてシーンの変わり目が検出されるので、複数のフレーム画像データに応じた適切なシーンの変わり目を検出することができる。 According to this configuration, since a scene change is detected according to a change in the frame image feature parameter value, it is possible to detect an appropriate scene change according to a plurality of frame image data.
上記各画像処理装置において、前記シーン変化検出部は、前記フレーム画像特徴パラメータ値の変化に応じて、シーンの変化の大きさを表すシーン変化パラメータ値を算出し、前記算出したシーン変化パラメータ値が表すシーン変化の大きさが所定のしきい値以上となる時点を、前記シーンの変わり目として検出し、さらに、前記複数のフレーム画像データの同じセットに対する前記所定のしきい値を、前記指定された数が多いほど小さくなるように調整することが好ましい。 In each of the image processing devices, the scene change detection unit calculates a scene change parameter value indicating a magnitude of a scene change according to the change in the frame image feature parameter value, and the calculated scene change parameter value is A point in time at which the magnitude of the scene change to be expressed is equal to or greater than a predetermined threshold is detected as a transition of the scene, and the predetermined threshold for the same set of the plurality of frame image data is further specified. It is preferable to adjust so that it may become so small that a number is large.
この構成によれば、指定された数が多いほど、しきい値が小さい値に調整されるので、シーンの変化が大きい時点を優先的にシーンの変わり目として検出することができる。その結果、指定された数と複数のフレーム画像データとに応じた適切なシーンの変わり目を検出することができる。 According to this configuration, as the specified number increases, the threshold value is adjusted to a smaller value, so that a point in time when the scene change is large can be preferentially detected as a scene change. As a result, it is possible to detect an appropriate scene change according to the designated number and a plurality of frame image data.
上記各画像処理装置において、前記シーン変化検出部は、前記フレーム画像データを解析することによって得られる、画像の明るさを表す輝度パラメータ値を、前記フレーム画像特徴パラメータ値として用いることが好ましい。 In each of the image processing apparatuses, it is preferable that the scene change detection unit uses a luminance parameter value representing the brightness of the image obtained by analyzing the frame image data as the frame image feature parameter value.
この構成によれば、シーン変化パラメータ値を複数のフレーム画像データに応じた適切なものとすることができる。 According to this configuration, the scene change parameter value can be made appropriate according to a plurality of frame image data.
上記各画像処理装置において、前記シーン変化検出部は、前記複数のフレーム画像データをデジタルカメラで撮影して生成した際に前記複数のフレーム画像データに付加された撮影日時情報を利用して得られる撮影日時を、前記フレーム画像特徴パラメータ値として用いることが好ましい。 In each of the image processing devices, the scene change detection unit is obtained by using shooting date / time information added to the plurality of frame image data when the plurality of frame image data is generated by shooting with a digital camera. It is preferable to use the shooting date and time as the frame image feature parameter value.
この構成によれば、シーン変化パラメータ値を複数のフレーム画像データに応じた適切なものとすることができる。 According to this configuration, the scene change parameter value can be made appropriate according to a plurality of frame image data.
上記各画像処理装置において、前記シーン変化検出部は、前記複数のフレーム画像データをデジタルカメラで撮影して生成した際に前記複数のフレーム画像データに付加された撮影位置情報を利用して得られる撮影位置を、前記フレーム画像特徴パラメータ値として用いることが好ましい。 In each of the image processing devices, the scene change detection unit is obtained by using shooting position information added to the plurality of frame image data when the plurality of frame image data is generated by shooting with a digital camera. The shooting position is preferably used as the frame image feature parameter value.
この構成によれば、シーン変化パラメータ値を複数のフレーム画像データに応じた適切なものとすることができる。 According to this configuration, the scene change parameter value can be made appropriate according to a plurality of frame image data.
上記各画像処理装置において、前記シーン変化検出部は、第1と第2の前記フレーム画像特徴パラメータ値を算出することが可能であり、前記第1のフレーム画像特徴パラメータ値を用いて設定された前記フレーム画像グループの数が前記指定された数と比べて少ない場合には、前記第2のフレーム画像特徴パラメータ値の変化に応じて、前記フレーム画像グループの数が前記指定された数と同じとなるように、前記シーンの変わり目を追加することが好ましい。 In each of the image processing devices, the scene change detection unit can calculate the first and second frame image feature parameter values, and is set using the first frame image feature parameter values. When the number of the frame image groups is smaller than the designated number, the number of the frame image groups is the same as the designated number according to a change in the second frame image feature parameter value. It is preferable to add a transition of the scene.
この構成によれば、フレーム画像グループの数が指定された数と比べて少ない場合には、第2のフレーム画像特徴パラメータ値の変化に応じてシーンの変わり目が追加されるので、フレーム画像グループの数を増やすことができる。 According to this configuration, when the number of frame image groups is smaller than the specified number, a scene change is added in accordance with a change in the second frame image feature parameter value. You can increase the number.
上記各画像処理装置において、前記代表フレーム選択部は、前記フレーム画像グループの数が前記指定された数と比べて少ない場合には、含まれる前記フレーム画像データの数の多い順に選ばれた1つ以上の前記フレーム画像グループの中から、前記代表フレーム画像データを追加的に選択することが好ましい。 In each of the above image processing devices, the representative frame selection unit is selected in descending order of the number of frame image data included when the number of the frame image groups is smaller than the specified number. It is preferable that the representative frame image data is additionally selected from the frame image group described above.
この構成によれば、複数のフレーム画像データに含まれる種々のシーンの長さに応じて代表フレーム画像データを選択することができる。 According to this configuration, the representative frame image data can be selected according to the length of various scenes included in the plurality of frame image data.
上記各画像処理装置において、個々の前記フレーム画像データは1画面分の全ラスタラインを含む画像を表しており、前記静止画像データ生成部は、前記代表フレーム画像データを含むとともに、時系列に沿って連続している複数の前記フレーム画像データを用いて、前記フレーム画像データと比べて高解像度な前記静止画像データを生成することが好ましい。 In each of the above image processing apparatuses, each of the frame image data represents an image including all raster lines for one screen, and the still image data generation unit includes the representative frame image data and follows a time series. It is preferable that the still image data having a higher resolution than the frame image data is generated using a plurality of continuous frame image data.
この構成によれば、より鮮明な静止画像を得ることができる。 According to this configuration, a clearer still image can be obtained.
上記各画像処理装置において、前記複数のフレーム画像データは、動画像に含まれていることが好ましい。 In each of the image processing apparatuses, it is preferable that the plurality of frame image data is included in a moving image.
この構成によれば、動画像に基づいて、指定された数の静止画像データを容易に生成することができる。 According to this configuration, it is possible to easily generate a specified number of still image data based on a moving image.
なお、本発明は、種々の形態で実現することが可能であり、例えば、画像処理方法および画像処理装置、それらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体等の形態で実現することができる。 The present invention can be realized in various forms, for example, an image processing method and an image processing apparatus, a computer program for realizing the function of the method or apparatus, and a recording in which the computer program is recorded. It can be realized in the form of a medium or the like.
本発明の実施の形態を実施例に基づいて以下の順序で説明する。
A.第1実施例:
B.第2実施例:
C.第3実施例:
D.変形例:
Embodiments of the present invention will be described in the following order based on examples.
A. First embodiment:
B. Second embodiment:
C. Third embodiment:
D. Variations:
A.第1実施例:
A1.装置の構成:
図1は、本発明の一実施例としての画像出力システムの構成を示す説明図である。このシステムは、デジタルカメラ100と、コンピュータ200と、プリンタ300とを含んでいる。デジタルカメラ100は画像生成装置として機能し、コンピュータ200は画像処理装置として機能し、プリンタ300は画像出力装置として機能する。
A. First embodiment:
A1. Device configuration:
FIG. 1 is an explanatory diagram showing the configuration of an image output system as an embodiment of the present invention. This system includes a
コンピュータ200は、代表フレーム選択部270と、静止画像データ生成部272と、レイアウト部と210と、合成部220と、印刷データ生成部230と、データ送信部240と、テンプレート格納部250と、テンプレート選択部260とを備えている。これらの各部の機能については、後述する。
The
図2は、テンプレート格納部250に格納されているテンプレートデータの一例を示す説明図である。このテンプレートデータTD1は、1ページ分の台紙領域PA1と、台紙領域PA1上に配置された4つの単画像割付領域F1とを含んでいる。本実施例では、台紙領域PA1は1つのページを表している。また、単画像割付領域F1は、1つの静止画像を割り付けることが可能な領域を表している。このテンプレートデータTD1では、4つの単画像割付領域F1は、横2行に一定の間隔をあけて並ぶという規則に従って台紙領域PA1上に配置されている。これらの単画像割付領域F1には、画像優先順位(四角内の数字で表されている)が設定されている。画像優先順位は、静止画像を割り付ける優先順位を示している。静止画像を割り付ける際には、この画像優先順位の順番に静止画像が割り付けられる。さらに、テンプレートデータTD1は、台紙領域PA1を装飾する装飾画像DI1を表す装飾画像データを含んでいる。
FIG. 2 is an explanatory diagram showing an example of template data stored in the
テンプレートとしては、装飾画像の模様や、単画像割付領域の数や配置の規則がこれとは異なる種々のデザインのものが予め準備されているが、ここでは図示を省略する。 As templates, templates having various designs different from the decorative image pattern, the number of single image allocation areas, and the arrangement rules are prepared in advance, but the illustration is omitted here.
A2.静止画像データ生成処理:
図3(a)〜(d)は、コンピュータ200(図1)によって実行される静止画像データ生成処理の概要を示す説明図である。本実施例では、まず、レイアウト処理に使用されるテンプレートとページ数とが、ユーザによって決定される。
A2. Still image data generation processing:
FIGS. 3A to 3D are explanatory diagrams showing an overview of still image data generation processing executed by the computer 200 (FIG. 1). In this embodiment, first, the template and the number of pages used for the layout process are determined by the user.
図3(a)は、コンピュータ200に接続されたモニタ(図示せず)上からテンプレート選択部260(図1)に対して、テンプレートとページ数とを指定する様子を示す説明図である。図示されているように、テンプレート選択部260の設定画面を開くと、テンプレートとページ数との設定を行う画面が表示される。この画面中のテンプレートフィールドTFには、利用可能なテンプレートの一覧が表示されている。ユーザは、このテンプレートフィールドTFを操作することによって、テンプレートを選択することができる。選択されたテンプレートは点線で囲まれている。また、ユーザは、画面中のページ数入力フィールドPFに数を入力することによって、ページ数を指定することができる。
FIG. 3A is an explanatory diagram showing a state in which a template and the number of pages are designated from the monitor (not shown) connected to the
図3(a)の例では、図2に示すテンプレートデータTD1が選択され、ページ数が1ページに設定されている。その結果、レイアウト処理に用いられる単画像割付領域の数、すなわち、生成すべき静止画像データの数は4つとなる。 In the example of FIG. 3A, the template data TD1 shown in FIG. 2 is selected, and the number of pages is set to one page. As a result, the number of single image allocation areas used for layout processing, that is, the number of still image data to be generated is four.
次に、代表フレーム選択部270(図1)は、デジタルカメラ100から受け取った動画像に含まれる複数のフレーム画像データの中から、レイアウト処理に用いられる単画像割付領域の数と同じ数の代表フレーム画像データを選択する。すなわち、本実施例では、レイアウト処理のために設定されたテンプレートとページ数とによって、代表フレーム画像データの数が指定される。
Next, the representative frame selection unit 270 (FIG. 1) selects the same number of representatives as the number of single image allocation areas used for layout processing from among a plurality of frame image data included in the moving image received from the
代表フレーム選択部270は、時系列の順番に並んだ複数のフレーム画像データの全体から、均等な画像数間隔で、代表フレーム画像データを選択する。図3(b)の例では、10枚のフレーム画像データの中から、4枚の代表フレーム画像データが、2つの画像数間隔で選択されている。
The representative
静止画像データ生成部272(図1)は、代表フレーム画像データのそれぞれに応じて静止画像データを生成する。本実施例では、代表フレーム画像データをそのまま静止画像データとして使用する。すなわち、静止画像データ生成部272は、動画像に含まれる複数のフレーム画像データの中から代表フレーム画像データを切り出すことによって、静止画像データを生成する。図3(c)には、図3(b)の例で選択された4枚の代表フレーム画像データに対応する4つの静止画像データの一例が示されている。
The still image data generation unit 272 (FIG. 1) generates still image data according to each representative frame image data. In this embodiment, the representative frame image data is used as it is as still image data. That is, the still image
レイアウト部210(図1)は、テンプレート選択部260で設定されたテンプレートを用いて、静止画像を台紙領域上に割り付けるレイアウト処理を実行する。図3(d)には、図3(a)の例で設定されたテンプレートと、図3(c)に示された静止画像データとを用いたレイアウト処理の一例が示されている。テンプレートの単画像割付領域には画像優先順位が設定されているので(図2)、レイアウト部210は、この画像優先順位に従って静止画像を割り付ける。通常は、時系列の順番に静止画像が並ぶように、静止画像が単画像割付領域に割り付けられる。
The layout unit 210 (FIG. 1) uses the template set by the
次に、レイアウト部210(図1)は、使用されるテンプレートと、各静止画像と単画像割付領域との対応関係とを表すレイアウトデータを生成し、合成部220に送出する。
Next, the layout unit 210 (FIG. 1) generates layout data representing the template to be used and the correspondence between each still image and a single image allocation area, and sends the layout data to the
合成部220は、レイアウト部210から受け取ったレイアウトデータと、静止画像データと、テンプレートデータとを用いて割付画像データを生成する。割付画像データは、レイアウト処理の結果に応じて静止画像が割り付けられた画像(以下、「割付画像」と呼ぶ)を表す画像データである。印刷データ生成部230は、合成部220によって生成された割付画像データに応じて印刷データを生成する。本実施例では、印刷データ生成部230は、割付画像データの各画素の画素値からプリンタ300が利用可能な複数のインクの量に相当する多階調データへの変換処理を実行し、得られた多階調データに対してハーフトーン処理を行うことによって、印刷データを生成する。生成された印刷データは、データ送信部240によってプリンタ300に送信される。データの送信方法としては、ケーブルを介する方法や、ネットワークを介する方法、無線通信を用いる方法等、種々の方法を用いることができる。
The synthesizing
なお、上述のようなコンピュータ200内の各構成要素の一部または全部の機能は、例えばコンピュータプログラムによって実現される。これらコンピュータプログラムは、フレキシブルディスクやCD−ROM等の、コンピュータ読み取り可能な記録媒体に記録された形態で提供することが可能である。
Note that the functions of some or all of the components in the
以上のように、本実施例では、動画像に含まれる複数のフレーム画像データの中から、指定された数の代表フレーム画像データが自動的に選択される。さらに、代表フレーム画像データのそれぞれに応じて静止画像データが生成される。従って、指定された数の静止画像データを自動的に生成することができる。また、本実施例では、静止画像データの基となる代表フレーム画像データが、複数のフレーム画像データの全体から均等な画像数間隔で選択される。その結果、代表フレーム画像データが特定のシーンに偏り、似たような静止画像が複数生成されることを抑制することができる。 As described above, in this embodiment, a designated number of representative frame image data is automatically selected from a plurality of frame image data included in a moving image. Furthermore, still image data is generated according to each of the representative frame image data. Therefore, the designated number of still image data can be automatically generated. In this embodiment, the representative frame image data that is the basis of the still image data is selected from the whole of the plurality of frame image data at equal intervals. As a result, it is possible to suppress the representative frame image data from being biased to a specific scene and generating a plurality of similar still images.
また、本実施例では、レイアウト処理に使用される単画像割付領域の数と同じ数だけ代表フレーム画像データが自動的に選択されるので、レイアウト処理の結果得られるページ内に、静止画像の無い不自然に空いた領域が生じることを抑制することができる。 In this embodiment, since the representative frame image data is automatically selected in the same number as the number of single image allocation areas used for the layout process, there is no still image in the page obtained as a result of the layout process. It is possible to suppress the generation of an unnatural space.
なお、代表フレーム画像データは、厳密に均等な画像数間隔で並んでいる必要はなく、画像数間隔にバラツキがあってもよい。但し、画像数間隔のバラツキは小さいことが好ましい。画像数間隔のバラツキは、動画を再生する場合の再生時間に換算して、5分以下であることが好ましく、1分以下であることが特に好ましく、10秒以下であることが最も好ましい。こうすれば、種々の動画像に対して、代表フレーム画像データが特定のシーンに偏ることを抑制することができる。 Note that the representative frame image data does not need to be arranged at strictly equal image number intervals, and the image number intervals may vary. However, it is preferable that the variation in the number of images is small. The variation in the number of images is preferably 5 minutes or less, particularly preferably 1 minute or less, and most preferably 10 seconds or less in terms of the playback time when playing back a moving image. In this way, it is possible to suppress the representative frame image data from being biased to a specific scene with respect to various moving images.
また、時系列に沿った順番の先頭と最後尾のフレーム画像データは、必ずしも、代表フレーム画像データとして選択されなくてもよい。但し、先頭や最後尾から、時系列に沿った順番において最も近い代表フレーム画像データまでの画像数が、代表フレーム画像データ間の画像数間隔と同程度、もしくは、より小さい値となるように、代表フレーム画像データを選択することが好ましい。こうすれば、時系列の順番に並んだ複数のフレーム画像データの全体から代表を選択することができるので、代表フレーム画像データが特定のシーンに偏ることを抑制することができる。 Further, the first and last frame image data in the order along the time series may not necessarily be selected as the representative frame image data. However, the number of images from the head or tail to the closest representative frame image data in the order along the time series is the same as or smaller than the image number interval between the representative frame image data. It is preferable to select representative frame image data. In this way, since the representative can be selected from the entire plurality of frame image data arranged in time series order, it is possible to suppress the representative frame image data from being biased to a specific scene.
B.第2実施例:
図4は、第2実施例における画像出力システムの構成を示す説明図である。図1に示す例との差異は、コンピュータ200aが、シーン変化検出部274とフレーム画像グループ設定部276とを備えている点である。コンピュータ200aは、これらの機能部によって、動画像におけるシーンの変化に応じた代表フレーム画像データを選択することができる。
B. Second embodiment:
FIG. 4 is an explanatory diagram showing the configuration of the image output system in the second embodiment. The difference from the example shown in FIG. 1 is that the
図5は、コンピュータ200aによる静止画像データ生成処理の手順を示すフローチャートである。ステップS100では、シーン変化検出部274(図4)が、動画像のシーンの変わり目を検出し、次のステップS110では、フレーム画像グループ設定部276が、検出されたシーンの変わり目に応じて、複数のフレーム画像データを複数のフレーム画像グループに分割する。さらに、次のステップS120では、代表フレーム選択部270aが、フレーム画像グループのそれぞれから代表フレーム画像データを選択する。
FIG. 5 is a flowchart showing a procedure of still image data generation processing by the
図6(a)〜(d)は、本実施例における、シーンの変わり目に応じた代表フレーム選択処理の概要を示す説明図である。本実施例では、シーン変化検出部274(図4)は、フレーム画像データの輝度値の変化に応じて、シーンの変わり目を検出する。 FIGS. 6A to 6D are explanatory diagrams showing an outline of the representative frame selection process corresponding to the scene change point in the present embodiment. In this embodiment, the scene change detection unit 274 (FIG. 4) detects a scene change according to a change in the luminance value of the frame image data.
図6(a)は、シーンの変わり目を検出する際に用いられる輝度差ΔYを説明する説明図である。シーン変化検出部274は、まず、各フレーム画像データを解析することによって、各フレーム画像データの平均輝度値YAをそれぞれ算出する。次に、時系列の順番の中の、連続する2つのフレーム画像データの間(以下、「フレーム画像間」と呼ぶ)における平均輝度値YAの差分の絶対値(「輝度差ΔY」と呼ぶ)を算出する。一般に、動画像においてシーンが変化する場合には、画像の被写体も変わるので、平均輝度値YAが大きく変化し、輝度差ΔYも大きくなる傾向がある。そこで、本実施例では、シーン変化検出部274は、輝度差ΔYが大きいフレーム画像間をシーンの変わり目として採用する。
FIG. 6A is an explanatory diagram illustrating the luminance difference ΔY used when detecting a scene change. The scene
図6(b)は、輝度差ΔYの変化を示すグラフである。縦軸は輝度差ΔYを示し、横軸は時系列に沿った順番を示している。なお、動画像を再生する場合には、一般に、フレーム画像データが表す画像(以下、「フレーム画像」と呼ぶ)が、一定のフレームレート(単位時間当たりの画像数)で時系列に沿った順番に表示される。従って、時系列に沿った順番は、再生時間を表していると考えることもできる。 FIG. 6B is a graph showing changes in the luminance difference ΔY. The vertical axis indicates the luminance difference ΔY, and the horizontal axis indicates the order along the time series. When playing back a moving image, generally, an image represented by frame image data (hereinafter referred to as a “frame image”) is ordered in a time series at a constant frame rate (the number of images per unit time). Is displayed. Therefore, it can be considered that the order along the time series represents the reproduction time.
本実施例では、シーン変化検出部274(図4)は、輝度差ΔYに対してしきい値ΔYthを設定し、輝度差ΔYがしきい値ΔYth以上となるフレーム画像間をシーンの変わり目として採用する。ここで、シーン変化検出部274は、シーンの変わり目の数が、指定された数(生成すべき静止画像データの数)よりも1つだけ少なくなるように、しきい値ΔYthを調整する。この理由は後述する。図6(b)には、生成すべき静止画像数が4つの場合の一例が示されている。シーン変化検出部274は、しきい値ΔYthを調整することによって、3つのシーンの変わり目C10〜C12を検出している。
In the present embodiment, the scene change detection unit 274 (FIG. 4) sets a threshold value ΔYth for the luminance difference ΔY, and adopts an interval between frame images in which the luminance difference ΔY is equal to or greater than the threshold value ΔYth as a scene transition. To do. Here, the scene
ここで、しきい値ΔYthは、予め設定されたしきい値下限Ylowよりも大きい範囲内で調整される。こうすれば、しきい値ΔYthを過剰に小さくすることによって、同じシーンの途中をシーンの変わり目として検出することを抑制することができる。 Here, the threshold value ΔYth is adjusted within a range larger than a preset threshold lower limit Ylow. By so doing, it is possible to suppress detection of the middle of the same scene as a scene change by excessively reducing the threshold value ΔYth.
次に、フレーム画像グループ設定部276(図4)は、時系列の順番をシーンの変わり目で区切ることによって、複数のフレーム画像グループFGを生成する。図6(c)は、フレーム画像グループFGの一例を示す説明図である。フレーム画像グループ設定部276は、複数のフレーム画像データをシーンの変わり目C10〜C12(図6(b))で区切ることによって、4つのフレーム画像グループFG10〜FG13を生成している。上述したように、シーンの変わり目の数は指定された数よりも1つだけ少ないので、フレーム画像グループ設定部276は、指定された数のフレーム画像グループFGを生成することができる。生成されたフレーム画像グループFG10〜FG13のそれぞれは、互いに異なるシーンに対応している。また、これらのフレーム画像グループFG10〜FG13のそれぞれには、類似したシーンを表現するフレーム画像データが含まれている。
Next, the frame image group setting unit 276 (FIG. 4) generates a plurality of frame image groups FG by dividing the time-series order at the transition of the scene. FIG. 6C is an explanatory diagram illustrating an example of the frame image group FG. The frame image
次に、ステップS120(図5)では、代表フレーム選択部270a(図4)が、フレーム画像グループFGのそれぞれから代表フレーム画像データを選択する。本実施例では、指定された数のフレーム画像グループFGが生成されている。そこで、代表フレーム選択部270aは、生成されたフレーム画像グループFGのそれぞれから1つずつ代表フレーム画像データを選択する。図6(d)は、代表フレーム画像データの一例を示す説明図である。代表フレーム選択部270aは、4つのフレーム画像グループFG10〜FG13(図6(c))のそれぞれから、1つずつ代表フレーム画像データを選択する。ここで、代表フレーム選択部270aは、時系列の順番の中央に位置するフレーム画像データを代表フレーム画像データとして選択する。
Next, in step S120 (FIG. 5), the representative
次に、ステップS130(図5)では、静止画像データ生成部272が、代表フレーム画像データのそれぞれに応じて静止画像データを生成する。
Next, in step S130 (FIG. 5), the still image
このように、本実施例では、フレーム画像グループ設定部276(図4)は、複数のフレーム画像データを、輝度差ΔYに応じて検出されるシーンの変わり目で分割して、フレーム画像グループを生成している。従って、動画像に含まれる種々のシーンに対応したフレーム画像グループを生成することができる。さらに、代表フレーム選択部270aは、生成されたフレーム画像グループのそれぞれから代表フレーム画像データを選択するので、代表フレーム画像データが特定のシーンに偏ることを、動画像に応じて適切に抑制することができる。
As described above, in this embodiment, the frame image group setting unit 276 (FIG. 4) generates a frame image group by dividing a plurality of frame image data at a scene change detected according to the luminance difference ΔY. is doing. Therefore, frame image groups corresponding to various scenes included in the moving image can be generated. Furthermore, since the representative
なお、シーンが大きく変化する場合には、平均輝度値YAも大きく変化する可能性が高く、輝度差ΔYも大きくなる可能性が高い。本実施例では、しきい値ΔYthが、指定された数が多いほど小さくなるように調整されるので、この輝度差ΔYの大きいフレーム画像間が優先的にシーンの変わり目として採用される。その結果、指定された数と動画像とに応じた適切なシーンの変わり目を検出することができる。 If the scene changes greatly, the average luminance value YA is likely to change greatly, and the luminance difference ΔY is also likely to increase. In this embodiment, the threshold value ΔYth is adjusted so as to decrease as the specified number increases, so that a frame image having a large luminance difference ΔY is preferentially adopted as a scene transition. As a result, it is possible to detect an appropriate scene change according to the designated number and the moving image.
なお、本実施例における平均輝度値YAは、本発明における輝度パラメータ値に相当し、輝度差ΔYは、シーン変化パラメータ値に相当する。 The average luminance value YA in this embodiment corresponds to the luminance parameter value in the present invention, and the luminance difference ΔY corresponds to the scene change parameter value.
C.第3実施例:
図7(a)〜(d)は、第3実施例における、シーンの変わり目に応じた代表フレーム選択処理の概要を示す説明図である。図6(a)〜(d)に示す実施例との差異は、平均輝度値の代わりに撮影日時の変化に応じてシーンの変わり目を検出している点である。
C. Third embodiment:
FIGS. 7A to 7D are explanatory views showing an outline of representative frame selection processing corresponding to a scene change point in the third embodiment. A difference from the embodiment shown in FIGS. 6A to 6D is that a scene change is detected according to a change in shooting date and time instead of an average luminance value.
図7(a)は、シーンの変わり目を検出する際に用いられる時間差ΔDTを説明する説明図である。画像生成装置(例えば、デジタルカメラ)の中には、フレーム画像データと、フレーム画像データに関連する種々の情報(以下、「画像データ関連情報」と呼ぶ)とを格納する動画像データファイルを生成するものがある。画像データ関連情報としては、撮影日時に関する情報(以下、「撮影日時情報」と呼ぶ)がある。シーン変化検出部274は、まず、このような撮影日時情報を解析することによって、各フレーム画像データが撮影された撮影日時DTを取得する。
FIG. 7A is an explanatory diagram for explaining the time difference ΔDT used when detecting a scene change. In an image generation device (for example, a digital camera), a moving image data file that stores frame image data and various information related to the frame image data (hereinafter referred to as “image data related information”) is generated. There is something to do. As the image data related information, there is information relating to shooting date (hereinafter referred to as “shooting date information”). First, the scene
次に、シーン変化検出部274は、フレーム画像間における撮影日時DTの差分(「時間差ΔDT」と呼ぶ)を算出する。一般に、複数のシーンを含む動画像を撮影する場合には、シーンの変わり目で撮影を中断し、撮影の準備を行った後に撮影を再開する場合が多い。その結果、シーンの変わり目では、時間差ΔDTが大きくなる傾向がある。そこで、本実施例では、シーン変化検出部274は、時間差ΔDTが大きいフレーム画像間をシーンの変わり目として採用する。
Next, the scene
図7(b)は、時間差ΔDTの変化を示すグラフである。時間差ΔDTが一定値DTFRに集中しているのは、動画像が一定のフレームレート(単位時間当たりのフレーム画像数)に従って生成されているからである。 FIG. 7B is a graph showing changes in the time difference ΔDT. The reason why the time difference ΔDT is concentrated on the constant value DTFR is that moving images are generated according to a constant frame rate (the number of frame images per unit time).
本実施例では、シーン変化検出部274(図4)は、時間差ΔDTに対してしきい値ΔDTthを設定し、時間差ΔDTがしきい値ΔDTth以上となるフレーム画像間をシーンの変わり目として採用する。ここで、シーン変化検出部274は、シーンの変わり目の数が、指定された数(生成すべき静止画像データの数)よりも1つだけ少なくなるように、しきい値ΔDTthを調整する。図7(b)には、生成すべき静止画像数が4つの場合の一例が示されている。シーン変化検出部274は、しきい値ΔDTthを調整することによって、3つのシーンの変わり目C20〜C22を検出している。
In the present embodiment, the scene change detection unit 274 (FIG. 4) sets a threshold value ΔDTth for the time difference ΔDT, and employs an interval between frame images where the time difference ΔDT is equal to or greater than the threshold value ΔDTth as a scene change point. Here, the scene
ここで、しきい値ΔDTthは、予め設定されたしきい値下限DTlowよりも大きい範囲内で調整される。こうすれば、しきい値ΔDTthを過剰に小さくすることによって、同じシーンの途中をシーンの変わり目として検出することを抑制することができる。 Here, threshold value ΔDTth is adjusted within a range larger than a preset threshold lower limit DTlow. By so doing, it is possible to suppress the middle of the same scene from being detected as a scene change by excessively reducing the threshold value ΔDTth.
次に、フレーム画像グループ設定部276(図4)は、図6(c)の例と同様にフレーム画像グループFGを生成する。図7(c)は、フレーム画像グループFGの一例を示す説明図である。フレーム画像グループ設定部276は、複数のフレーム画像データをシーンの変わり目C20〜C22(図7(b))で区切ることによって、4つのフレーム画像グループFG20〜FG23を生成している。
Next, the frame image group setting unit 276 (FIG. 4) generates a frame image group FG as in the example of FIG. 6 (c). FIG. 7C is an explanatory diagram illustrating an example of the frame image group FG. The frame image
次に、代表フレーム選択部270a(図4)は、図6(d)の例と同様に代表フレーム画像データを選択する。図7(d)は、代表フレーム画像データの一例を示す説明図である。代表フレーム選択部270aは、4つのフレーム画像グループFG20〜FG23(図7(c))のそれぞれから、1つずつ代表フレーム画像データを選択している。
Next, the representative
このように、本実施例では、フレーム画像グループ設定部276(図4)は、複数のフレーム画像データを、時間差ΔDTに応じて検出されるシーンの変わり目で分割して、フレーム画像グループを生成している。従って、動画像に含まれるシーンに対応したフレーム画像グループを生成することができる。 As described above, in this embodiment, the frame image group setting unit 276 (FIG. 4) generates a frame image group by dividing a plurality of frame image data at a scene change detected according to the time difference ΔDT. ing. Therefore, it is possible to generate a frame image group corresponding to a scene included in the moving image.
なお、シーンが大きく変化する場合には、撮影日時DTも大きく変化する可能性が高く、時間差ΔDTも大きくなる可能性が高い。本実施例では、しきい値ΔDTthが、指定された数が多いほど小さくなるように調整されるので、この時間差ΔDTの大きいフレーム画像間が優先的にシーンの変わり目として採用される。その結果、指定された数と動画像とに応じた適切なシーンの変わり目を検出することができる。 When the scene changes greatly, the shooting date / time DT is likely to change greatly, and the time difference ΔDT is also likely to increase. In the present embodiment, the threshold value ΔDTth is adjusted so as to decrease as the specified number increases, so that a frame image having a large time difference ΔDT is preferentially adopted as a scene change. As a result, it is possible to detect an appropriate scene change according to the designated number and the moving image.
なお、本実施例における撮影日時DTは、本発明におけるフレーム画像特徴パラメータ値に相当し、時間差ΔDTは、シーン変化パラメータ値に相当する。 Note that the shooting date and time DT in this embodiment corresponds to the frame image feature parameter value in the present invention, and the time difference ΔDT corresponds to the scene change parameter value.
D.変形例:
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
D. Variations:
The present invention is not limited to the above-described examples and embodiments, and can be implemented in various modes without departing from the gist thereof. For example, the following modifications are possible.
D1.変形例1:
上述の各実施例において、輝度パラメータ値としては、平均輝度値YA(図6)に限らず、一般に、画像の明るさを表すパラメータ値を用いることができる。例えば、画像内の輝度の分布を表すヒストグラムを作成し、度数が最大となる輝度値の範囲の中心値を、輝度パラメータ値として用いてもよい。
D1. Modification 1:
In each of the embodiments described above, the brightness parameter value is not limited to the average brightness value YA (FIG. 6), and generally a parameter value representing the brightness of the image can be used. For example, a histogram representing the luminance distribution in the image may be created, and the center value of the luminance value range with the maximum frequency may be used as the luminance parameter value.
また、フレーム画像特徴パラメータ値としては、輝度パラメータ値や撮影日時に限らず、一般に、フレーム画像データの特徴に関連のあるパラメータ値を用いることができる。例えば、撮影位置をフレーム画像特徴パラメータ値として用いてもよい。画像生成装置(例えば、デジタルカメラ)の中には、GPS(Global Positioning System)を利用して撮影時の地理的な位置(撮影位置)を測定し、測定した撮影位置に関する撮影位置情報を動画像データファイルに格納するものがある。シーン変化検出部274は、このような撮影位置情報を解析することによって、各フレーム画像データが撮影された撮影位置を取得することができる。シーンが大きく変化する場合には、撮影位置も大きく変わる可能性が高い。そこで、撮影位置の差分、すなわち、距離の大きい時点をシーンの変わり目として採用することができる。ここで、距離をシーン変化パラメータ値として用いてシーンの変わり目を検出する方法を用いることができる。
Further, the frame image feature parameter value is not limited to the brightness parameter value and the shooting date and time, and generally, a parameter value related to the feature of the frame image data can be used. For example, the shooting position may be used as the frame image feature parameter value. In an image generation device (for example, a digital camera), a GPS (Global Positioning System) is used to measure a geographical position (shooting position) at the time of shooting, and shooting position information regarding the measured shooting position is a moving image. Some are stored in data files. The scene
D2.変形例2:
シーン変化検出部274(図4)が、複数種類のシーン変化パラメータ値に応じてシーンの変わり目を検出してもよい。例えば、図6に示す実施例において、輝度差ΔYのしきい値ΔYthをしきい値下限Ylowまで小さくしてもシーンの変わり目の数が足りない場合に、さらに、時間差ΔDTに応じてシーンの変わり目を追加してもよい。逆に、図7に示す実施例において、時間差ΔDTのしきい値ΔDTthをしきい値下限DTlowまで小さくしてもシーンの変わり目が足りない場合に、さらに、輝度差ΔYに応じてシーンの変わり目を追加してもよい。
D2. Variation 2:
The scene change detection unit 274 (FIG. 4) may detect a scene change according to a plurality of types of scene change parameter values. For example, in the embodiment shown in FIG. 6, when the number of scene changes is not enough even when the threshold value ΔYth of the luminance difference ΔY is reduced to the threshold lower limit Ylow, the scene change is further made in accordance with the time difference ΔDT. May be added. On the contrary, in the embodiment shown in FIG. 7, if the scene change is not enough even if the threshold value ΔDTth of the time difference ΔDT is reduced to the threshold lower limit DTlow, the scene change according to the luminance difference ΔY is further performed. May be added.
D3.変形例3:
図6、7に示す実施例では、シーン変化パラメータ値(例えば、輝度差ΔY)を算出する際に、時系列に沿って連続する2つのフレーム画像データ間(フレーム画像間)でのフレーム画像特徴パラメータ値(例えば、平均輝度値YA)の差分を用いているが、1つ以上離れたフレーム画像データ間での差分を用いてもよい。例えば、シーン変化検出部274(図4)が、9つの画像数間隔を空けて並んだフレーム画像データ(以下、「抽出フレーム画像データ」と呼ぶ)の間での差分を用いてシーン変化パラメータ値を算出してもよい。この場合には、シーンの変わり目として、2つの抽出フレーム画像データに挟まれた10個のフレーム画像間の中のいずれかを採用することができる。
D3. Variation 3:
In the embodiments shown in FIGS. 6 and 7, when calculating a scene change parameter value (for example, luminance difference ΔY), frame image characteristics between two frame image data (between frame images) that are continuous in time series. Although a difference between parameter values (for example, average luminance value YA) is used, a difference between frame image data separated by one or more may be used. For example, the scene change detection unit 274 (FIG. 4) uses the difference between the frame image data (hereinafter referred to as “extracted frame image data”) arranged at intervals of nine images, and changes the scene change parameter value. May be calculated. In this case, any of the 10 frame images sandwiched between the two extracted frame image data can be adopted as a scene change.
一般に、時系列に沿った順番が異なる2つの時点、すなわち、再生時間が異なる2つの時点の間のフレーム画像特徴パラメータ値(例えば、平均輝度値YA)の差分を、その時点間でのシーン変化パラメータ値として用いることができる。また、このとき、2つの時点で挟まれたフレーム画像間の中のいずれかを、シーンの変わり目として採用することができる。例えば、時系列の順番の中央に位置するフレーム画像間を、シーンの変わり目として採用してもよい。 In general, the difference in the frame image feature parameter value (for example, the average luminance value YA) between two time points having different order along the time series, that is, two time points having different playback times, is used as a scene change between the time points. It can be used as a parameter value. At this time, any one of the frame images sandwiched between two time points can be used as a scene change point. For example, a frame image located at the center of the time-series order may be adopted as a scene transition.
また、複数のフレーム画像データの中の一部のフレーム画像データを抽出して用いてシーンの変わり目を検出すれば、大量のフレーム画像データを含む動画像を用いる場合でも、高速にシーンの変わり目を検出することができる。このように、一部のフレーム画像データを抽出する場合には、均等な画像数間隔で抽出することが好ましい。こうすれば、特定のシーンに偏ったフレーム画像データを抽出することを抑制することができる。 In addition, if a scene change is detected by extracting and using a part of the frame image data from a plurality of frame image data, even if a moving image including a large amount of frame image data is used, the scene change can be performed at high speed. Can be detected. As described above, when extracting a part of the frame image data, it is preferable to extract them at an equal number of images. In this way, it is possible to suppress the extraction of frame image data biased to a specific scene.
D4.変形例4:
図6に示す実施例では、シーン変化検出部274(図4)は、1つの輝度パラメータ値(例えば、平均輝度値YA)を1つのフレーム画像データから算出しているが、複数のフレーム画像データを用いて1つの輝度パラメータ値を算出してもよい。例えば、時系列に沿って連続する5つのフレーム画像データを用いて平均化した平均輝度値を用いてもよい。
D4. Variation 4:
In the embodiment shown in FIG. 6, the scene change detection unit 274 (FIG. 4) calculates one luminance parameter value (for example, the average luminance value YA) from one frame image data. One luminance parameter value may be calculated using For example, an average luminance value averaged using five frame image data continuous along a time series may be used.
ところで、動画像には、シーンの変わり目ではないにも拘わらず画像の明るさが一時的に大きく変化するフレーム画像データが混在する場合がある。このようなフレーム画像データとしては、例えば、データ圧縮などの要因によるノイズを含むフレーム画像データや、被写体がフラッシュ光を浴びたフレーム画像データがある。このような画像の明るさは、シーンが変化した場合と異なり一時的なものであるので、短時間で元に戻る場合が多い。そこで、複数のフレーム画像データを用いて平均化した輝度パラメータ値を利用すれば、明るさの一時的な変化の影響を小さくすることができる。その結果、このような一時的な明るさの変化をシーンの変わり目として検出することを抑制することができる。 By the way, there are cases in which a moving image is mixed with frame image data in which the brightness of the image temporarily greatly changes despite the fact that the scene is not changed. Examples of such frame image data include frame image data including noise due to factors such as data compression, and frame image data in which a subject is exposed to flash light. Since the brightness of such an image is temporary unlike the case where the scene changes, it often returns to the original state in a short time. Therefore, if the luminance parameter value averaged using a plurality of frame image data is used, the influence of a temporary change in brightness can be reduced. As a result, it is possible to suppress detection of such a temporary brightness change as a scene change.
一般に、フレーム画像特徴パラメータ値が表す特徴の種類(例えば、明るさや日時)によっては、1つのフレーム画像データに応じて算出されたフレーム画像特徴パラメータ値(以下、「単フレーム画像特徴パラメータ値」と呼ぶ)には、シーンの変化とは無関係の一時的な大きい変化(以下、「特徴ノイズ」と呼ぶ)が含まれる場合がある。このような場合には、複数の単フレーム画像特徴パラメータ値を平均化したものをフレーム画像特徴パラメータ値として利用することが好ましい。こうすれば、特徴ノイズの影響を抑制することができる。なお、このように平均化して得られたフレーム画像特徴パラメータ値は、時系列における1つの区間を代表するパラメータ値として用いることができる。この1つの区間は、基となった複数のフレーム画像データの、時系列に沿った順番の先頭と最後尾で挟まれた区間である。 In general, depending on the type of feature (for example, brightness or date / time) represented by the frame image feature parameter value, a frame image feature parameter value calculated according to one frame image data (hereinafter referred to as “single frame image feature parameter value”). May include a temporary large change (hereinafter referred to as “feature noise”) that is unrelated to the scene change. In such a case, it is preferable to use an average of a plurality of single frame image feature parameter values as the frame image feature parameter value. In this way, the influence of characteristic noise can be suppressed. The frame image feature parameter value obtained by averaging in this way can be used as a parameter value representing one section in time series. This one section is a section sandwiched between the head and the tail of the order of the plurality of frame image data based on the time series.
D5.変形例5:
図6、7に示す実施例において、代表フレーム選択部270a(図4)が、フレーム画像グループから代表フレーム画像データを選択する際には、時系列の順番の中央に位置するフレーム画像データに限らず、種々の位置のフレーム画像データを代表として選択することができる。例えば、先頭に位置するフレーム画像データを選択してもよく、また、最後尾に位置するフレーム画像データを選択してもよい。
D5. Modification 5:
6 and 7, when the representative
D6.変形例6:
図6、7に示す実施例において、動画像によっては、フレーム画像特徴パラメータ値のしきい値(例えば、しきい値ΔYth)を、しきい値下限(例えば、しきい値下限Ylow)まで小さくしても、フレーム画像グループの数が指定された数よりも少なくなる場合がある。このような場合には、代表フレーム選択部270a(図4)は、1つのフレーム画像グループから2つ以上の代表フレーム画像データを選択することによって、指定された数の代表フレーム画像データを確保する。
D6. Variation 6:
In the embodiments shown in FIGS. 6 and 7, depending on the moving image, the threshold value (for example, threshold value ΔYth) of the frame image feature parameter value is reduced to the threshold value lower limit (for example, threshold value lower limit Ylow). However, the number of frame image groups may be smaller than the specified number. In such a case, the representative
ここで、不足分の代表フレーム画像データをフレーム画像グループに割り当てる際には、それぞれのフレーム画像グループに含まれるフレーム画像データの数に比例させた配分を用いることが好ましい。こうすれば、種々のシーンの長さに応じた数の静止画像データを生成することができる。 Here, when assigning the shortage of representative frame image data to the frame image groups, it is preferable to use a distribution proportional to the number of frame image data included in each frame image group. In this way, it is possible to generate a number of still image data according to the length of various scenes.
また、1つのフレーム画像グループから2つ以上の代表フレーム画像データを選択する方法としては、フレーム画像グループに含まれる複数のフレーム画像データの全体から、均等な画像数間隔で代表フレーム画像データを選択する方法を用いることができる。 In addition, as a method of selecting two or more representative frame image data from one frame image group, representative frame image data is selected at an equal number of image intervals from a plurality of frame image data included in the frame image group. Can be used.
D7.変形例7:
上述の各実施例において、代表フレーム画像データをそのまま静止画像データとして使用する代わりに、複数のフレーム画像データを用いて静止画像データを生成してもよい。図8は、静止画像データ生成部272(図1、4)が、複数のフレーム画像データを合成して、フレーム画像データよりも解像度の高い静止画像データを生成する処理の一例を示す説明図である。静止画像データ生成部272は、時系列の順番に並んだ複数のフレーム画像データの中から、代表フレーム画像データが先頭の連続する4つのフレーム画像データを処理対象として選択する。次に、選択した4つのフレーム画像データを、被写体が重なるように重ね合わせて合成することによって、高解像度静止画像データを生成する。合成処理としては、例えば、特開2000−244851号公報に記載の方法を用いることができる。このように、複数のフレーム画像データを用いて高解像度の静止画像データを生成すれば、より鮮明な静止画像を得ることができる。
D7. Variation 7:
In each of the embodiments described above, instead of using the representative frame image data as the still image data as it is, still image data may be generated using a plurality of frame image data. FIG. 8 is an explanatory diagram illustrating an example of a process in which the still image data generation unit 272 (FIGS. 1 and 4) combines a plurality of frame image data to generate still image data having a higher resolution than the frame image data. is there. The still image
D8.変形例8:
上述の各実施例では、静止画像を用いたレイアウト処理を行う場合について説明したが、本発明は、レイアウト処理を行う場合に限らず、指定された数の静止画像データを動画像から生成する場合に適用することができる。例えば、ユーザが指定した数の静止画像データを生成してもよい。また、生成した静止画像データは、印刷に限らず、種々の用途に利用することができる。例えば、LCDディスプレイやCRTモニタ等の画像出力装置を用いた画像の表示に用いてもよい。また、静止画像データを格納する静止画像データファイルを生成してもよい。このような静止画像データファイルを生成して再利用すれば、動画像から静止画像データを生成する処理を実行できない装置を用いる場合でも、静止画像データを利用することができる。
D8. Variation 8:
In each of the above-described embodiments, the case where the layout process using the still image is performed has been described. However, the present invention is not limited to the case where the layout process is performed, and a case where a specified number of still image data is generated from the moving image. Can be applied to. For example, the number of still image data specified by the user may be generated. The generated still image data can be used not only for printing but also for various purposes. For example, you may use for the display of the image using image output apparatuses, such as an LCD display and a CRT monitor. A still image data file for storing still image data may be generated. If such a still image data file is generated and reused, still image data can be used even when a device that cannot execute processing for generating still image data from a moving image is used.
D9.変形例9:
上述の各実施例において、動画像としては、プログレッシブ形式(ノンインタレース形式ともいう)や、インタレース形式のものを用いることができる。インタレース形式の動画像を用いる場合には、奇数フィールドの画像データと偶数フィールドの画像データを、それぞれ、「フレーム画像データ」として用いることができる。この代わりに、奇数フィールドの画像データと偶数フィールドの画像データとで構成される1組の画像データ(1画面分の全ラスタラインを含む画像を表す)を「フレーム画像データ」として用いてもよい。
D9. Variation 9:
In each of the embodiments described above, a progressive image (also referred to as a non-interlace format) or an interlace format can be used as a moving image. When interlaced moving images are used, odd-field image data and even-field image data can be used as “frame image data”, respectively. Instead of this, a set of image data (representing an image including all raster lines for one screen) composed of odd-field image data and even-field image data may be used as “frame image data”. .
また、動画像としては、時系列の順番に並んだ複数の静止画像データを含む擬似的な動画像を用いることもできる。この場合には、動画像に含まれる静止画像データを、本発明における「フレーム画像データ」として用いることができる。また、動画像に限らず、独立した複数の静止画像データを、本発明における「フレーム画像データ」として用いてもよい。一般に、本発明では、時系列の順番に並んだ複数のフレーム画像データを用いることができる。 Further, as the moving image, a pseudo moving image including a plurality of still image data arranged in time series order can be used. In this case, still image data included in the moving image can be used as “frame image data” in the present invention. Further, not limited to moving images, a plurality of independent still image data may be used as “frame image data” in the present invention. In general, in the present invention, a plurality of frame image data arranged in time series order can be used.
D10.変形例10:
上述の各実施例において、画像生成装置(例えば、デジタルカメラ)、または、画像出力装置(例えば、プリンタ)が、画像処理装置の機能の一部、または、全部を実行する構成としてもよい。
D10. Modification 10:
In each of the above-described embodiments, an image generation apparatus (for example, a digital camera) or an image output apparatus (for example, a printer) may be configured to execute part or all of the functions of the image processing apparatus.
D11.変形例11:
なお、本明細書において、「デジタルカメラ」とは、静止画を撮影するデジタルスチルカメラと、動画を撮影するデジタルビデオカメラとの両方を含んでいる。
D11. Modification 11:
In this specification, “digital camera” includes both a digital still camera that captures still images and a digital video camera that captures moving images.
D12.変形例12:
上記各実施例において、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよく、逆に、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよい。
D12. Modification 12:
In each of the above embodiments, a part of the configuration realized by software may be replaced by hardware, and conversely, a part of the configuration realized by hardware may be replaced by software. .
200、200a…コンピュータ
210…レイアウト部
220…合成部
230…印刷データ生成部
240…データ送信部
250…テンプレート格納部
260…テンプレート選択部
270、270a…代表フレーム選択部
272…静止画像データ生成部
274…シーン変化検出部
276…フレーム画像グループ設定部
300…プリンタ
TD1…テンプレートデータ
PA1…台紙領域
F1…単画像割付領域
DI1…装飾画像
DESCRIPTION OF
Claims (15)
指定された数の代表フレーム画像データを、前記複数のフレーム画像データの中から自動的に選択する代表フレーム選択部と、
前記選択された代表フレーム画像データのそれぞれに基づいて静止画像データを生成する静止画像データ生成部と、
を備える、画像処理装置。 An image processing apparatus that performs image processing using a plurality of frame image data,
A representative frame selection unit that automatically selects a designated number of representative frame image data from the plurality of frame image data; and
A still image data generating unit that generates still image data based on each of the selected representative frame image data;
An image processing apparatus comprising:
台紙領域と前記台紙領域上に配置された1つ以上の単画像割付領域とを含むテンプレートを表すテンプレートデータを用いて、画像を前記台紙領域上に割り付けるレイアウト処理を実行するレイアウト部を、備え、
前記代表フレーム選択部は、前記レイアウト処理に用いられる前記単画像割付領域の総数を、前記指定された数として採用し、
前記レイアウト部は、前記生成された静止画像データが表現する静止画像を用いた前記レイアウト処理を実行する、
画像処理装置。 The image processing apparatus according to claim 1, further comprising:
Using a template data representing a template including a mount area and one or more single image allocation areas arranged on the mount area, and a layout unit that executes a layout process for allocating an image on the mount area,
The representative frame selection unit adopts the total number of the single image allocation areas used for the layout processing as the designated number,
The layout unit executes the layout process using a still image represented by the generated still image data;
Image processing device.
前記代表フレーム選択部は、
時系列の順番に並んだ前記複数のフレーム画像データの全体から、均等な画像数間隔で、前記代表フレーム画像データを選択する、
画像処理装置。 The image processing apparatus according to claim 1 or 2, wherein
The representative frame selection unit
Selecting the representative frame image data from the whole of the plurality of frame image data arranged in chronological order at equal image number intervals;
Image processing device.
前記複数のフレーム画像データの時系列におけるシーンの変わり目を検出するシーン変化検出部と、
時系列に沿った順番を前記シーンの変わり目で区切ったときに、同じ区間に属する1つ以上の前記フレーム画像データで構成されるフレーム画像グループを、互いの区間が重ならないように1つ以上生成するフレーム画像グループ設定部と、
を備え、
前記代表フレーム選択部は、前記フレーム画像グループのそれぞれから少なくとも1つの代表フレーム画像データを選択する、
画像処理装置。 The image processing apparatus according to claim 1, further comprising:
A scene change detection unit for detecting a scene change in a time series of the plurality of frame image data;
Generate one or more frame image groups composed of one or more of the frame image data belonging to the same section so that the sections do not overlap when the order along the time series is divided at the transition of the scene A frame image group setting section to be
With
The representative frame selection unit selects at least one representative frame image data from each of the frame image groups;
Image processing device.
前記シーン変化検出部は、
前記フレーム画像データの特徴に関連のあるフレーム画像特徴パラメータ値を算出し、前記算出したフレーム画像特徴パラメータ値の変化に応じて、前記シーンの変わり目を検出する、
画像処理装置。 The image processing apparatus according to claim 4,
The scene change detection unit
Calculating a frame image feature parameter value related to the feature of the frame image data, and detecting a change of the scene according to a change in the calculated frame image feature parameter value;
Image processing device.
前記シーン変化検出部は、前記フレーム画像特徴パラメータ値の変化に応じて、シーンの変化の大きさを表すシーン変化パラメータ値を算出し、前記算出したシーン変化パラメータ値が表すシーン変化の大きさが所定のしきい値以上となる時点を、前記シーンの変わり目として検出し、さらに、前記複数のフレーム画像データの同じセットに対する前記所定のしきい値を、前記指定された数が多いほど小さくなるように調整する、
画像処理装置。 The image processing apparatus according to claim 5,
The scene change detection unit calculates a scene change parameter value representing a magnitude of a scene change according to a change in the frame image feature parameter value, and the magnitude of the scene change represented by the calculated scene change parameter value is calculated. A point of time exceeding a predetermined threshold is detected as a transition of the scene, and the predetermined threshold for the same set of the plurality of frame image data is decreased as the specified number increases. To adjust,
Image processing device.
前記シーン変化検出部は、前記フレーム画像データを解析することによって得られる、画像の明るさを表す輝度パラメータ値を、前記フレーム画像特徴パラメータ値として用いる、
画像処理装置。 The image processing apparatus according to claim 5, wherein:
The scene change detection unit uses, as the frame image feature parameter value, a luminance parameter value representing the brightness of an image obtained by analyzing the frame image data.
Image processing device.
前記シーン変化検出部は、前記複数のフレーム画像データをデジタルカメラで撮影して生成した際に前記複数のフレーム画像データに付加された撮影日時情報を利用して得られる撮影日時を、前記フレーム画像特徴パラメータ値として用いる、
画像処理装置。 The image processing apparatus according to claim 5, wherein:
The scene change detection unit obtains a shooting date and time obtained by using shooting date and time information added to the plurality of frame image data when the plurality of frame image data is generated by shooting with a digital camera. Used as a feature parameter value,
Image processing device.
前記シーン変化検出部は、前記複数のフレーム画像データをデジタルカメラで撮影して生成した際に前記複数のフレーム画像データに付加された撮影位置情報を利用して得られる撮影位置を、前記フレーム画像特徴パラメータ値として用いる、
画像処理装置。 The image processing apparatus according to claim 5, wherein:
The scene change detection unit obtains a shooting position obtained by using shooting position information added to the plurality of frame image data when the plurality of frame image data is generated by shooting with a digital camera. Used as a feature parameter value,
Image processing device.
前記シーン変化検出部は、第1と第2の前記フレーム画像特徴パラメータ値を算出することが可能であり、前記第1のフレーム画像特徴パラメータ値を用いて設定された前記フレーム画像グループの数が前記指定された数と比べて少ない場合には、前記第2のフレーム画像特徴パラメータ値の変化に応じて、前記フレーム画像グループの数が前記指定された数と同じとなるように、前記シーンの変わり目を追加する、
画像処理装置。 An image processing apparatus according to any one of claims 5 to 9,
The scene change detection unit can calculate the first and second frame image feature parameter values, and the number of the frame image groups set by using the first frame image feature parameter value is When the number is smaller than the designated number, the number of the frame image groups is the same as the designated number in response to a change in the second frame image feature parameter value. Add a transition,
Image processing device.
前記代表フレーム選択部は、前記フレーム画像グループの数が前記指定された数と比べて少ない場合には、含まれる前記フレーム画像データの数の多い順に選ばれた1つ以上の前記フレーム画像グループの中から、前記代表フレーム画像データを追加的に選択する、
画像処理装置。 An image processing apparatus according to any one of claims 4 to 10,
When the number of the frame image groups is smaller than the designated number, the representative frame selection unit selects one or more of the frame image groups selected in descending order of the number of the frame image data included. From the above, the representative frame image data is additionally selected.
Image processing device.
個々の前記フレーム画像データは1画面分の全ラスタラインを含む画像を表しており、
前記静止画像データ生成部は、
前記代表フレーム画像データを含むとともに、時系列に沿って連続している複数の前記フレーム画像データを用いて、前記フレーム画像データと比べて高解像度な前記静止画像データを生成する、
画像処理装置。 An image processing apparatus according to any one of claims 1 to 11,
Each frame image data represents an image including all raster lines for one screen,
The still image data generation unit
Including the representative frame image data and using the plurality of frame image data continuous in time series to generate the still image data having a higher resolution than the frame image data;
Image processing device.
前記複数のフレーム画像データは、動画像に含まれていることを特徴とする、
画像処理装置。 An image processing apparatus according to any one of claims 1 to 12,
The plurality of frame image data are included in a moving image,
Image processing device.
(a)指定された数の代表フレーム画像データを、前記複数のフレーム画像データの中から自動的に選択する工程と、
(b)前記工程(a)で選択された前記代表フレーム画像データのそれぞれに基づいて静止画像データを生成する工程と、
を備える、画像処理方法。 An image processing method for performing image processing using a plurality of frame image data,
(A) automatically selecting a designated number of representative frame image data from the plurality of frame image data;
(B) generating still image data based on each of the representative frame image data selected in the step (a);
An image processing method comprising:
(a)指定された数の代表フレーム画像データを、前記複数のフレーム画像データの中から自動的に選択する機能と、
(b)前記工程(a)で選択された前記代表フレーム画像データのそれぞれに基づいて静止画像データを生成する機能と、
をコンピュータに実現させるコンピュータプログラム。 A computer program for performing image processing using a plurality of frame image data,
(A) a function of automatically selecting a designated number of representative frame image data from the plurality of frame image data;
(B) a function of generating still image data based on each of the representative frame image data selected in the step (a);
A computer program that causes a computer to realize
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010013102A JP4788827B2 (en) | 2010-01-25 | 2010-01-25 | Generation processing of still image data based on multiple frame image data |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010013102A JP4788827B2 (en) | 2010-01-25 | 2010-01-25 | Generation processing of still image data based on multiple frame image data |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003327008A Division JP4529397B2 (en) | 2003-09-19 | 2003-09-19 | Generation processing of still image data based on multiple frame image data |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010148135A true JP2010148135A (en) | 2010-07-01 |
JP4788827B2 JP4788827B2 (en) | 2011-10-05 |
Family
ID=42567993
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010013102A Expired - Fee Related JP4788827B2 (en) | 2010-01-25 | 2010-01-25 | Generation processing of still image data based on multiple frame image data |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4788827B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013037142A (en) * | 2011-08-05 | 2013-02-21 | Tatsumi Denshi Kogyo Kk | Photographic device for amusement, photographing method for amusement, and photographing program for amusement |
JP2014178450A (en) * | 2013-03-14 | 2014-09-25 | Canon Inc | Imaging apparatus, control method thereof and control program |
JP2016165043A (en) * | 2015-03-06 | 2016-09-08 | 株式会社Jvcケンウッド | Moving imaging taking system, information processing terminal, moving image confirmation method and program |
WO2016148104A1 (en) * | 2015-03-16 | 2016-09-22 | 三菱電機株式会社 | Radar moving image creation device and method |
-
2010
- 2010-01-25 JP JP2010013102A patent/JP4788827B2/en not_active Expired - Fee Related
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013037142A (en) * | 2011-08-05 | 2013-02-21 | Tatsumi Denshi Kogyo Kk | Photographic device for amusement, photographing method for amusement, and photographing program for amusement |
JP2014178450A (en) * | 2013-03-14 | 2014-09-25 | Canon Inc | Imaging apparatus, control method thereof and control program |
JP2016165043A (en) * | 2015-03-06 | 2016-09-08 | 株式会社Jvcケンウッド | Moving imaging taking system, information processing terminal, moving image confirmation method and program |
WO2016148104A1 (en) * | 2015-03-16 | 2016-09-22 | 三菱電機株式会社 | Radar moving image creation device and method |
JPWO2016148104A1 (en) * | 2015-03-16 | 2017-04-27 | 三菱電機株式会社 | Radar moving image creating apparatus and method |
US10495749B2 (en) | 2015-03-16 | 2019-12-03 | Mitsubishi Electric Corporation | Radar video creation apparatus and method |
Also Published As
Publication number | Publication date |
---|---|
JP4788827B2 (en) | 2011-10-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI410132B (en) | Data generation device, data generation method and program product | |
US9860454B2 (en) | Reproducing apparatus and reproducing method | |
JP2005354124A (en) | Production of high pixel density image from a plurality of low pixel density images | |
US7535497B2 (en) | Generation of static image data from multiple image data | |
US8630527B2 (en) | Image editing apparatus and method for controlling the same, and storage medium storing program | |
JP4788827B2 (en) | Generation processing of still image data based on multiple frame image data | |
JP2011217125A (en) | Image processor, image processing method, and program | |
TWI408945B (en) | A data generating apparatus, a data generating method, and a recording medium | |
JP6040042B2 (en) | Image processing apparatus, image processing method, and program | |
JP4529397B2 (en) | Generation processing of still image data based on multiple frame image data | |
JP6056511B2 (en) | Image processing apparatus, method, program, and imaging apparatus | |
JP2005160020A (en) | Image processing apparatus and image processing method | |
JP2007013475A (en) | Image processing apparatus and method | |
JP2005117492A (en) | Template selection processing used for layout of image | |
JP2008017321A (en) | Image processing apparatus and image processing method | |
JP5745134B2 (en) | Image output device, display device, image output method, and program | |
JP4127178B2 (en) | Multiple image layout processing | |
JP2017219566A (en) | Display device and display method | |
JP2008263657A (en) | Image processor, thumbnail moving image creation method and thumbnail moving image creation program | |
JP6224913B2 (en) | Image output apparatus, image output method, and program | |
JP2009027397A (en) | Apparatus, method and program for image processing | |
JP2008064831A (en) | Image processing circuit, image processing method, electro-optical device, and electronic equipment | |
JP2006020137A (en) | Image processing apparatus and recommendation degree displaying method | |
JP2013146104A (en) | Playback apparatus and playback method | |
JP5761386B2 (en) | Image processing apparatus, image processing method, and image processing program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110602 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110621 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110704 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140729 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |