JP2003009070A - Method and device for recording moving picture, method and device for reproducing moving picture, program, and storage medium - Google Patents

Abstract

PROBLEM TO BE SOLVED: To provide a moving picture recording device which enables a user to easily and pleasantly search a moving picture for a desired scene. SOLUTION: When an index to be displayed on a display device 107 is generated, break points of scenes are detected (S501), scene coupling processing is performed (S504) in the case that the number of scenes exceeds a preliminarily set first threshold (S502) or the length of scenes is equal to or shorter than a second threshold (S503). In scene coupling processing, scenes are so coupled that the number of scenes can be reduced and the length of each scene can exceed the second threshold and the standard deviation of the lengths of respective scenes can be as small as possible. Thereafter, still pictures are generated (S505) and are made to correspond to the moving picture and are recorded in a hard disk drive 104 as indexes (S506).

Description

【発明の詳細な説明】Detailed Description of the Invention

【０００１】[0001]

【発明の属する技術分野】本発明は、動画の記録・再生
などを行う動画記録装置、動画記録方法、動画再生装
置、動画記録再生方法、プログラムおよび記憶媒体に関
する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a moving picture recording apparatus for recording / reproducing moving pictures, a moving picture recording method, a moving picture reproducing apparatus, a moving picture recording / reproducing method, a program and a storage medium.

【０００２】[0002]

【従来の技術】近年、ＶＴＲやビデオムービの普及によ
り動画像が身近なメディアの１つになっている。また、
コンピュータ技術の発達により、動画をハードディスク
のようなランダムアクセス可能な記憶メディアに記憶し
て蓄積および管理し、ビデオテープの交換やテープの巻
き戻し等のような面倒な操作をすることなく、任意の動
画の任意の箇所から動画再生を楽しむことが可能になっ
た。2. Description of the Related Art In recent years, moving images have become one of familiar media due to the spread of VTRs and video movies. Also,
With the development of computer technology, moving pictures are stored in a randomly accessible storage medium such as a hard disk, accumulated and managed, and stored without any troublesome operations such as video tape replacement and tape rewinding. Now you can enjoy video playback from any part of the video.

【０００３】複数の動画像を管理するためには、動画に
タイトルを付けたり、キーワードを付けたりする他、特
開平１０−２４３３２３号公報や特開平１０−１３７７
３号公報に示すように、シーンの代表画像を縮小したも
のを動画の属性情報として、動画と対応付けて記録し、
属性情報から目的の動画シーンを探していた。In order to manage a plurality of moving images, titles and keywords are attached to moving images, and further, Japanese Patent Laid-Open Nos. 10-243323 and 10-1377 are used.
As shown in Japanese Patent Publication No. 3, a reduced representative image of a scene is recorded as attribute information of a moving image in association with the moving image,
I was looking for the desired video scene from the attribute information.

【０００４】[0004]

【発明が解決しようとする課題】しかしながら、主に動
画編集を目的とした従来のシーン管理技術を用いて、シ
ーンの代表画像を属性情報として一覧表示する場合、シ
ーンが細かく区切れていると、代表画像数が膨大とな
り、特に家庭用テレビや携帯端末の表示装置など、パー
ソナルコンピュータのディスプレイに比べて低解像度の
表示装置では、代表画像の選択に時間を取られ、本来の
目的である動画像の再生を鑑賞して楽しむ時間が失われ
てしまうという煩わしさがあった。However, when a typical image of a scene is displayed as a list of attribute information as attribute information by using the conventional scene management technique mainly for moving image editing, if the scene is finely divided, The number of representative images becomes enormous, and particularly in a display device having a lower resolution than a display of a personal computer such as a display device of a home TV or a mobile terminal, it takes time to select a representative image, and a moving image which is an original purpose is selected. There was the annoyance of losing the time to enjoy and enjoy the playback.

【０００５】本発明は、上記問題を解決するためになさ
れたものであり、動画像の中から所望のシーンを容易に
探し出して動画再生を楽しむことができる動画記録装
置、動画記録方法、動画再生装置、動画記録再生方法、
プログラムおよび記憶媒体を提供することを目的とす
る。The present invention has been made in order to solve the above problems, and a moving picture recording apparatus, a moving picture recording method, and a moving picture reproducing apparatus in which a desired scene can be easily found in a moving picture and the moving picture can be reproduced. Device, video recording / playback method,
The purpose is to provide a program and a storage medium.

【０００６】[0006]

【課題を解決するための手段】上記目的を達成するため
に、本発明の動画記録装置は、動画を記録する動画記録
装置において、前記動画をその属性情報とともに記録す
る記録手段と、前記動画におけるシーンの変化を検出
し、該シーン毎に前記動画を時間軸上で区切る分割点を
設定する分割点設定手段と、該設定された分割点によっ
て区切られるシーンの数が所定数を越える場合、前記区
切られたシーン間を結合し、前記シーンの数を前記所定
数以内に制限するシーン結合手段と、該シーンの数が制
限された各シーンから静止画を作成する静止画作成手段
とを備え、該作成された静止画を前記属性情報として記
録することを特徴とする。In order to achieve the above object, a moving picture recording apparatus of the present invention is a moving picture recording apparatus for recording a moving picture, and recording means for recording the moving picture together with attribute information thereof, and Division point setting means for detecting a change in a scene and setting a division point for dividing the moving image on the time axis for each scene; and when the number of scenes divided by the set division point exceeds a predetermined number, A scene combining means for connecting the separated scenes and limiting the number of the scenes to within the predetermined number; and a still image creating means for creating a still image from each scene in which the number of the scenes is limited, The created still image is recorded as the attribute information.

【０００７】また、本発明の動画記録方法は、動画を記
録する動画記録方法において、前記動画をその属性情報
とともに記録する工程と、前記動画におけるシーンの変
化を検出し、該シーン毎に前記動画を時間軸上で区切る
分割点を設定する工程と、該設定された分割点によって
区切られるシーンの数が所定数を越える場合、前記区切
られたシーン間を結合し、前記シーンの数を前記所定数
以内に制限する工程と、該シーンの数が制限された各シ
ーンから静止画を作成する工程と、該作成された静止画
を前記属性情報として記録する工程とを有することを特
徴とする。Further, the moving picture recording method of the present invention is a moving picture recording method for recording a moving picture, wherein the step of recording the moving picture together with its attribute information, and the change of the scene in the moving picture are detected, and the moving picture is recorded for each scene. To set division points on the time axis, and if the number of scenes divided by the set division points exceeds a predetermined number, the divided scenes are combined and the number of scenes is set to the predetermined number. The method is characterized by including a step of limiting the number to within the number, a step of creating a still image from each scene in which the number of the scene is limited, and a step of recording the created still image as the attribute information.

【０００８】さらに、本発明の動画記録再生方法は、動
画を記録および再生する動画記録再生方法において、前
記動画をその属性情報とともに記録する工程と、前記動
画におけるシーンの変化を検出し、該シーン毎に前記動
画を時間軸上で区切る分割点を設定する工程と、該設定
された分割点によって区切られるシーンの数が所定数を
越える場合、前記区切られたシーン間を結合し、前記シ
ーンの数を前記所定数以内に制限する工程と、該シーン
の数が制限された各シーンから静止画を作成する工程
と、該作成された静止画を前記属性情報として記録する
工程と、前記作成された静止画を表示する工程と、該表
示された静止画を選択する工程と、該選択された静止画
に対応する前記動画のシーンを再生する工程とを有する
ことを特徴とする。Further, the moving image recording / reproducing method of the present invention is a moving image recording / reproducing method for recording and reproducing a moving image, a step of recording the moving image together with its attribute information, and detecting a scene change in the moving image to detect the scene. And a step of setting division points for dividing the moving image on the time axis for each time, and when the number of scenes divided by the set division points exceeds a predetermined number, the divided scenes are combined to combine the scenes. Limiting the number within the predetermined number, creating a still image from each scene in which the number of the scene is limited, recording the created still image as the attribute information, A step of displaying the still image, a step of selecting the displayed still image, and a step of reproducing the scene of the moving image corresponding to the selected still image.

【０００９】また、本発明の動画再生装置は、動画にお
けるシーンの変化を検出し、該シーン毎に前記動画を時
間軸上で区切る分割点を設定し、該設定された分割点に
よって区切られるシーンの数が所定数を越える場合、前
記区切られたシーン間を結合して前記シーンの数を前記
所定数以内に制限し、該シーンの数が制限された各シー
ンから静止画を作成し、該作成された静止画を前記動画
とともに記録媒体に記録しておき、該記録媒体から動画
を再生する動画再生装置であって、前記記録媒体から前
記作成された静止画を表示する表示手段と、該表示され
た静止画を選択する静止画選択手段と、該選択された静
止画に対応する前記動画のシーンを再生する再生手段と
を備えたことを特徴とする。Further, the moving picture reproducing apparatus of the present invention detects a change in a scene in a moving picture, sets a dividing point for dividing the moving picture on the time axis for each scene, and a scene divided by the set dividing point. If the number of scenes exceeds a predetermined number, the divided scenes are combined to limit the number of the scenes to the predetermined number or less, and a still image is created from each scene in which the number of the scenes is limited. A moving image reproducing apparatus for recording the created still image in a recording medium together with the moving image and reproducing the moving image from the recording medium, and a display unit for displaying the created still image from the recording medium, It is characterized by further comprising: still image selecting means for selecting the displayed still image; and reproducing means for reproducing the scene of the moving image corresponding to the selected still image.

【００１０】[0010]

【発明の実施の形態】本発明の動画記録装置、動画記録
方法、動画再生装置、動画記録再生方法、プログラムお
よび記憶媒体の実施の形態について図面を参照しながら
説明する。BEST MODE FOR CARRYING OUT THE INVENTION Embodiments of a moving image recording apparatus, a moving image recording method, a moving image reproducing apparatus, a moving image recording / reproducing method, a program and a storage medium according to the present invention will be described with reference to the drawings.

【００１１】図１は実施の形態における動画記録再生装
置１０の構成を示すブロック図である。図において、１
０１はＣＰＵである。１０２はＲＯＭである。１０３は
ＲＡＭである。１０４はハードディスクドライブであ
る。１０５はＰＣカード読み書き用インタフェース（メ
モリカードＩ／Ｆ）である。１０６はＤＶＤ−ＲＡＭ／
Ｒ／ＲＷ、ＣＤ−Ｒ／ＲＷドライブ（ＣＤ／ＤＶＤドラ
イブ）である。１０７はディスプレイ装置である。１０
８はプリンタインタフェースである。１０９はプリンタ
である。１１０はネットワークインタフェースである。
１１１は赤外線受光部である。１１２は赤外線リモコン
である。１１３はシリアルインタフェースである。１１
４はオペレーションパネルである。FIG. 1 is a block diagram showing the configuration of a moving picture recording / reproducing apparatus 10 according to the embodiment. In the figure, 1
01 is a CPU. 102 is a ROM. 103 is a RAM. 104 is a hard disk drive. Reference numeral 105 denotes a PC card read / write interface (memory card I / F). 106 is a DVD-RAM /
R / RW and CD-R / RW drives (CD / DVD drives). 107 is a display device. 10
Reference numeral 8 is a printer interface. Reference numeral 109 is a printer. 110 is a network interface.
Reference numeral 111 is an infrared light receiving section. Reference numeral 112 is an infrared remote controller. Reference numeral 113 is a serial interface. 11
Reference numeral 4 is an operation panel.

【００１２】また、１１５はビデオＩ／Ｆであり、コン
ポジット映像端子、Ｓ−ＶＨＳ映像端子、ＩＥＥＥ１３
９４、音声ライン入出力、音声デジタル入出力を通じて
周辺機器と接続され、アナログ信号を符号化し、ＣＰＵ
１０１で処理可能なデジタルデータに変換する。１１６
はビデオカメラである。１１７はバスであり、デジタル
データはバス１１７を介して相互に入出力される。Reference numeral 115 denotes a video I / F, which is a composite video terminal, an S-VHS video terminal, and IEEE13.
94, audio line input / output, audio digital input / output connected to peripheral devices, encoding analog signals, CPU
Converted to digital data that can be processed by 101. 116
Is a video camera. Reference numeral 117 denotes a bus, and digital data is mutually input / output via the bus 117.

【００１３】図２は動画記録再生装置と周辺装置との接
続を示す図である。動画記録再生装置（本体）１０に
は、各種の周辺装置が接続される。ディスプレイ装置１
０７は、テレビ受像機、携帯端末の表示器、ビデオカメ
ラのモニタ、パソコン用のモニタなどに代表的される。
テレビ受像機の場合、従来の放送用の画面における縦横
比は４：３であるが、所謂ワイド画面における縦横比は
１６：９である。また、パソコン用ＴＦＴ液晶ディスプ
レイにおける縦横比は１６：１０である。FIG. 2 is a diagram showing the connection between the moving picture recording / reproducing apparatus and peripheral devices. Various peripheral devices are connected to the moving image recording / reproducing device (main body) 10. Display device 1
07 is representative of a television receiver, a display of a mobile terminal, a monitor of a video camera, a monitor for a personal computer, and the like.
In the case of a television receiver, the aspect ratio of a conventional broadcast screen is 4: 3, but the aspect ratio of a so-called wide screen is 16: 9. The aspect ratio of the TFT liquid crystal display for personal computers is 16:10.

【００１４】また、プリンタ１０９は、プリンタインタ
フェース１０８を通して本体１０に接続されており、静
止画像を印刷する。本体１０はネットワークＩ／Ｆ１１
０を通じてインターネット等のネットワーク２０５に接
続される。ＣＤ／ＤＶＤドライブ１０６は、ＤＶＤ−Ｒ
ＡＭ／ＲＯＭ／Ｒ／ＲＷ、ＣＤ−Ｒ／ＲＷなどのメディ
アに対して読み書きを行う。ＰＣカードスロット２０７
はメモリカードＩ／Ｆ１０５を介して本体１０に接続さ
れる。本体１０の前面には、電源スイッチ２０９、ビデ
オ端子２１０等が設けられている。本実施形態では、動
画再生装置としてビデオカメラ１１６が用いられるが、
ビデオカメラの代わりにビデオデッキ、テレビチューナ
であってもよい。Further, the printer 109 is connected to the main body 10 through the printer interface 108 and prints a still image. The main body 10 is a network I / F 11
0 to connect to a network 205 such as the Internet. The CD / DVD drive 106 is a DVD-R
Read and write to media such as AM / ROM / R / RW and CD-R / RW. PC card slot 207
Is connected to the main body 10 via the memory card I / F 105. A power switch 209, a video terminal 210 and the like are provided on the front surface of the main body 10. In the present embodiment, the video camera 116 is used as the moving image reproducing device,
A VCR or a TV tuner may be used instead of the video camera.

【００１５】図３は赤外線リモコン１１２の操作面を示
す図である。図において、３０１は赤外線発光部であ
る。操作面には、各種ボタンが割り当てられている。具
体的には、３０２はモード設定ボタンである。３０３は
ヘルプボタンである。３０４はメニューボタンである。
３０５は上矢印ボタンである。３０６左矢印ボタンであ
る。３０７は右矢印ボタンである。３０８は下矢印ボタ
ンである。３０９はＯＫボタンである。３１０はキャン
セルボタンである。FIG. 3 is a view showing the operation surface of the infrared remote controller 112. In the figure, reference numeral 301 is an infrared emitting section. Various buttons are assigned to the operation surface. Specifically, 302 is a mode setting button. 303 is a help button. 304 is a menu button.
Reference numeral 305 is an up arrow button. 306 is a left arrow button. 307 is a right arrow button. 308 is a down arrow button. 309 is an OK button. 310 is a cancel button.

【００１６】上記構成を有する動画記録再生装置の動作
について示す。図４は動画記録再生装置における動画記
録再生処理手順を示すフローチャートである。この処理
プログラムは、ＲＯＭ１０２に格納されており、ＣＰＵ
１０１によって実行される。The operation of the moving picture recording / reproducing apparatus having the above configuration will be described. FIG. 4 is a flowchart showing a moving image recording / reproducing processing procedure in the moving image recording / reproducing apparatus. This processing program is stored in the ROM 102, and the CPU
Executed by 101.

【００１７】まず、電源ボタン２０９により電源が投入
されると、各種インターフェースの初期化など、システ
ムの初期化を行う（ステップＳ４０１）。リモコン１１
２やオペレーションパネル１１４からのコマンドの入力
を待つ（ステップＳ４０２）。尚、コマンドは、ビデオ
Ｉ／Ｆ１１５に接続されたビデオ再生装置１１６が再生
を開始したことを検出した時にも発生する。First, when the power is turned on by the power button 209, the system is initialized, such as the initialization of various interfaces (step S401). Remote control 11
2 and the input of a command from the operation panel 114 is waited for (step S402). The command is also issued when it is detected that the video playback device 116 connected to the video I / F 115 has started playback.

【００１８】コマンドが入力されると、コマンドを評価
し、動画入力コマンドであるか否かを判別する（ステッ
プＳ４０３）。動画入力コマンドでない場合、その他の
コマンド処理を行い（ステップＳ４０７）、ステップＳ
４０２の処理に戻る。When a command is input, the command is evaluated to determine whether it is a moving image input command (step S403). If it is not a moving image input command, other command processing is performed (step S407), and step S
Returning to the processing of 402.

【００１９】一方、ステップＳ４０３で動画入力コマン
ドである場合、ビデオＩ／Ｆ１１５を介して入力される
符号化された動画データをハードディスクドライブ１０
４に格納する（ステップＳ４０４）。そして、インデッ
クスの作成を行う（ステップＳ４０５）。ここで、イン
デックスは、動画を分割した各シーンから得られた静止
画、各シーンの開始点、長さその他の属性情報と、動画
再生を行うためにシーンと動画データとを関連付けたデ
ータとからなる。インデックスの作成処理の詳細につい
ては後述する。On the other hand, if the command is a moving image input command in step S403, the encoded moving image data input via the video I / F 115 is transferred to the hard disk drive 10.
4 (step S404). Then, the index is created (step S405). Here, the index is composed of still images obtained from each scene obtained by dividing the moving image, the start point of each scene, attribute information such as length, and the data in which the scene and the moving image data are associated with each other for performing the moving image reproduction. Become. Details of the index creation process will be described later.

【００２０】そして、インデックスの作成を終えると、
インデックスを表示し（ステップＳ４０６）、処理を終
了する。図６はディスプレイ装置１０７に表示されるイ
ンデックスを示す図である。図中、６０１〜６０４は、
切り出された動画の先頭から４つのシーンを表す静止画
である。６０５は選択中のシーンを示すカーソルであ
る。ここで、リモコン１１２の各矢印ボタン３０５〜３
０８を押下することにより、切り出された全てのシーン
の中から１つを選択し、ＯＫボタン３０９を押下する
と、選択したシーンの先頭から動画再生を開始する。６
０６は動画バーであり、バー全体で１つの動画データの
再生時間を表す。６０７は現在のシーンを示す現在マー
カであり、現在選択中のシーンが動画全体に占める位置
と長さが分かるように表示される。６０８はシーンマー
カであり、全てのシーンの先頭と長さが一目でわかるよ
うに表示される。When the index creation is completed,
The index is displayed (step S406), and the process ends. FIG. 6 is a diagram showing indexes displayed on the display device 107. In the figure, 601 to 604 are
It is a still image showing four scenes from the beginning of the cut out moving image. A cursor 605 indicates a selected scene. Here, each arrow button 305-3 of the remote controller 112
By pressing 08, one is selected from all the cut-out scenes, and when the OK button 309 is pressed, moving image reproduction is started from the beginning of the selected scene. 6
Reference numeral 06 denotes a moving image bar, which represents the reproduction time of one moving image data in the entire bar. Reference numeral 607 denotes a current marker indicating the current scene, which is displayed so that the position and length of the currently selected scene in the entire moving image can be understood. A scene marker 608 is displayed so that the heads and lengths of all scenes can be seen at a glance.

【００２１】図５はステップＳ４０５におけるインデッ
クス作成処理手順を示すフローチャートである。まず、
シーンの区切れを検出する（ステップＳ５０１）。シー
ンの区切れの検出方法には、さまざまな方法が知られて
いるが、本実施形態では、フレーム画像の変化による検
出方法を用いる。FIG. 5 is a flow chart showing the procedure for creating an index in step S405. First,
A scene break is detected (step S501). Although various methods are known as a method for detecting a scene break, in the present embodiment, a method for detecting a change in a frame image is used.

【００２２】フレーム画像の変化による検出方法では、
動画から１フレームづつ取り出す処理を行い、過去のフ
レーム群とのフレーム間類似性距離の計算を行う。ここ
で、過去のフレーム群とは、単数のフレームの場合も複
数のフレームの場合もあり、特にそのアルゴリズムは限
定されない。In the detection method based on the change of the frame image,
The process of extracting each frame from the moving image is performed, and the similarity distance between frames with the past frame group is calculated. Here, the past frame group may be a single frame or a plurality of frames, and its algorithm is not particularly limited.

【００２３】最も簡単な例を挙げると、前のフレームと
現在のフレームに対し、各々のフレーム画像を縦横に格
子状に複数のブロック分割を行い、それぞれのブロック
に関してＲＧＢの平均値を算出しておき、前のフレーム
と現在のフレームの対応するブロック同士のＲＧＢ各チ
ャンネルの差の二乗和を求め、これをシーンの区切れの
激しさの度合いを表すフレーム間類似性距離とし、これ
が小さいほど類似しており、大きいほど類似していな
い、即ちシーンの区切れである可能性が大きいとする方
法である。To give the simplest example, for each of the previous frame and the current frame, each frame image is divided into a plurality of blocks vertically and horizontally in a grid pattern, and the average value of RGB is calculated for each block. Every second, the sum of squares of the differences between the RGB channels of the corresponding blocks of the previous frame and the current frame is calculated, and this is used as the inter-frame similarity distance that indicates the degree of scene breakage. This is a method in which the larger the difference, the more dissimilar, that is, the possibility that there is a break in the scene.

【００２４】このフレーム間類似性距離の計算式は、数
式（１）に示す通りである。The formula for calculating the inter-frame similarity distance is as shown in the formula (1).

【００２５】[0025]

【数１】 [Equation 1]

【００２６】ここで、各変数の内容は以下の通りであ
る。The contents of each variable are as follows.

【００２７】ｉ ：処理中のブロック Ｋ ：分割ブロック数 Ｐ１_iR ：直前のフレームのｉ番目のブロックのＲチャ
ンネルの平均値 Ｐ１_iG ：直前のフレームのｉ番目のブロックのＧチャ
ンネルの平均値 Ｐ１_iB ：直前のフレームのｉ番目のブロックのＢチャ
ンネルの平均値 Ｐ２_iR ：現在のフレームのｉ番目のブロックのＲチャ
ンネルの平均値 Ｐ２_iG ：現在のフレームのｉ番目のブロックのＧチャ
ンネルの平均値 Ｐ２_iB ：現在のフレームのｉ番目のブロックのＢチャ
ンネルの平均値 シーンの区切れの有無を判定し、シーンの区切れを判定
した場合、シーンの区切れの起こったフレーム番号をシ
ーン開始フレームとして記憶し、そのシーンの区切れの
激しさの度合いを表す類似度（または距離）、およびそ
のシーンがブランクシーンであるか否かの情報を記憶す
る。この情報をシーン情報と呼ぶこととし、インデック
スの一部とする。I: block being processed K: number of divided blocks P1 _iR : average value P1 _iG of R channel of i-th block of immediately preceding frame: average value P1 _iB of G channel of i-th block of immediately preceding frame : Average value P2 _iR of B channel of i-th block of previous frame P2 _iR : Average value P2 of R channel of i-th block of current frame P2 _iG : Average value P2 of G-channel of i-th block of current frame _iB : Average value of the B channel of the i-th block of the current frame It is determined whether or not there is a break in the scene, and when the break of the scene is determined, the frame number where the break of the scene occurs is stored as the scene start frame. However, the similarity (or distance) that indicates the degree of breakage of the scene, and whether or not the scene is a blank scene And stores the broadcast. This information is called scene information and is part of the index.

【００２８】また、各シーンの長さは、次のシーンの開
始フレーム番号と現在のシーンの開始フレーム番号との
差から求めることができる。最後のシーンの長さは、動
画全体のフレーム数と最終シーンの開始フレーム番号と
の差から求めることができる。The length of each scene can be obtained from the difference between the start frame number of the next scene and the start frame number of the current scene. The length of the last scene can be calculated from the difference between the number of frames of the entire moving image and the start frame number of the final scene.

【００２９】このようにしてシーンの区切り（分割点）
を検出すると、シーン数が予め設定された第１の閾値を
越えているか否かを判別する（ステップＳ５０２）。シ
ーン数が第１の閾値以下である場合、各々のシーンの長
さが予め設定された第２の閾値を越えているか否かを判
別する（ステップＳ５０３）。ここでは、たとえ決めら
れたシーン数に達していなくてもあまりに短いシーンが
ある場合、結合してインデックスの数を減らすようにす
る。In this way, scene divisions (division points)
Is detected, it is determined whether or not the number of scenes exceeds a preset first threshold value (step S502). If the number of scenes is less than or equal to the first threshold value, it is determined whether or not the length of each scene exceeds a preset second threshold value (step S503). Here, if there are too short scenes even if the number of scenes is not reached, the number of indexes is reduced to combine them.

【００３０】ステップＳ５０２でシーン数が第１の閾値
を越えている場合、あるいはステップＳ５０３でシーン
の長さが第２の閾値以下である場合、シーン結合処理を
行う（ステップＳ５０４）。シーン結合処理では、シー
ン数を減らし、各シーンのシーン長が第２の閾値を越
え、かつ各シーンのシーン長の標準偏差（偏り）がなる
べく最小になるようにシーンを結合する。尚、シーンが
１つしかなかったり、動画全体の長さが第２の閾値に満
たないような例外的な場合は、この処理を行わない。If the number of scenes exceeds the first threshold value in step S502, or if the scene length is less than or equal to the second threshold value in step S503, scene combination processing is performed (step S504). In the scene combination processing, the number of scenes is reduced, the scene lengths of the respective scenes exceed a second threshold value, and the scenes are combined so that the standard deviation (bias) of the scene lengths of the respective scenes is minimized. If there is only one scene or the length of the entire moving image is less than the second threshold value, this process is not performed.

【００３１】シーン結合処理の簡単な例として、２つの
方法を示す。第１の方法では、各シーンについて、その
シーンの長さと１つ前のシーンの長さの和を求め、この
和が最小となるシーンについて１つ前のシーンと結合
し、シーン数が第２の閾値を越えるまで繰り返す。ま
た、第２の方法では、動画全体を第１の閾値の数で時間
等分し、各々の等分した個所に最も近いシーン開始点で
あるシーンを採用する方法で、採用されなかったシーン
は、それぞれその前方にある採用シーンと結合する。第
２の方法は、特に動画のシーン数が第１の閾値で定めら
れたシーン数より十分多い場合に有効である。Two methods are shown as simple examples of the scene combination process. In the first method, for each scene, the sum of the length of the scene and the length of the previous scene is calculated, and the scene with the smallest sum is combined with the previous scene to obtain the second scene. Repeat until the threshold of is exceeded. In the second method, the entire moving image is equally divided by the number of the first threshold values, and the scene that is the scene start point closest to each equally divided portion is adopted. , Each of which is combined with the hiring scene in front of it. The second method is particularly effective when the number of scenes in the moving image is sufficiently larger than the number of scenes defined by the first threshold value.

【００３２】ステップＳ５０４でシーン結合処理を行っ
た後、静止画を作成する（ステップＳ５０５）。この最
も簡単な例としては、各シーンの先頭フレーム画像をそ
のシーンの静止画として関連付ける。尚、複数のフレー
ム画像から静止画を合成してもよい。この後、シーン情
報および静止画を動画に対応付け、インデックスとして
ハードディスクドライブ１０４に記録し（ステップＳ５
０６）、処理を終了する。After the scene combining process is performed in step S504, a still image is created (step S505). In the simplest example of this, the first frame image of each scene is associated as a still image of the scene. A still image may be combined from a plurality of frame images. Then, the scene information and the still image are associated with the moving image and recorded as an index in the hard disk drive 104 (step S5).
06), the processing ends.

【００３３】このように、本実施形態では、シーンを代
表する静止画の数が限定されてディスプレイ装置１０７
に表示されるので、所望のシーンを容易に探し出して動
画再生を楽しむことができる。As described above, in this embodiment, the number of still images representing a scene is limited and the display device 107 is limited.
Is displayed, it is possible to easily find a desired scene and enjoy the moving image reproduction.

【００３４】以上が本発明の実施の形態の説明である
が、本発明は、これら実施の形態の構成に限られるもの
ではなく、特許請求の範囲で示した機能、または実施の
形態の構成が持つ機能が達成できる構成であればどのよ
うなものであっても適用可能である。The above is a description of the embodiments of the present invention, but the present invention is not limited to the configurations of these embodiments, and the functions shown in the claims or the configurations of the embodiments are not limited thereto. Any structure can be applied as long as it can achieve the function it has.

【００３５】例えば、上記実施形態では、シーンの区切
れをフレーム間類似性距離を基に検出したが、その他の
方法で検出してもよい。例えば、タイムコードの不連続
点によってシーンの区切れを検出してもよい。デジタル
ビデオカメラには、撮影時刻がタイムコードとして動画
と共に記録されており、タイムコードの不連続個所をシ
ーンの区切れとすることは容易に実現される。For example, in the above embodiment, scene breaks are detected based on the inter-frame similarity distance, but they may be detected by other methods. For example, a scene break may be detected by a discontinuity point in the time code. In the digital video camera, the shooting time is recorded as a time code together with the moving image, and it is easily realized that the discontinuity of the time code is a division of the scene.

【００３６】また、属性情報によってシーンの区切れを
検出してもよい。属性情報による検出方法では、タイム
コードの他に、ビデオカメラやフレーム画像の解析によ
って自動的に出力されるズーム、パン、チルトの開始、
終了などのメタ情報、人手により付加された論理構造や
動画の被写体に関するメタ情報などを手がかりにシーン
の区切れを検出する。この場合、シーン情報として、シ
ーン開始フレームの他、シーン検出の手がかりとなった
属性情報の種類をシーン情報とする。Further, the break of the scene may be detected by the attribute information. In the detection method based on attribute information, in addition to time code, the start of zoom, pan, and tilt that is automatically output by analyzing the video camera and frame images,
The meta-information such as the end, the logical structure manually added, or the meta-information about the subject of the moving image is used as a clue to detect the break of the scene. In this case, as the scene information, in addition to the scene start frame, the type of attribute information that is a clue to the scene detection is the scene information.

【００３７】さらに、フレーム間類似性距離による検出
方法、タイムコードの不連続点による検出方法、および
属性情報による検出方法を、適宜選択自在に、あるいは
組み合わせてシーンの検出を行ってもよい。Furthermore, the detection of a scene may be performed by arbitrarily selecting or combining the detection method based on the inter-frame similarity distance, the detection method based on the discontinuity point of the time code, and the detection method based on the attribute information.

【００３８】また、上記実施形態では、動画データはビ
デオＩ／Ｆ１１５を介して入力されたが、ネットワーク
Ｉ／Ｆ１１０、ＣＤ／ＤＶＤドライブ１０６、メモリカ
ードＩ／Ｆ１０５いずれから入力されてもよい。また、
図４に示すフローチャートでは、ステップＳ４０４で動
画の記録を完了してからステップＳ４０５でインデック
スを作成したが、マルチタスクシステムを導入し、動画
の記録を行いながらインデックスを作成してもよい。In the above embodiment, the moving image data was input via the video I / F 115, but it may be input from any of the network I / F 110, the CD / DVD drive 106 and the memory card I / F 105. Also,
In the flowchart shown in FIG. 4, the index is created in step S405 after the recording of the moving image is completed in step S404, but a multi-task system may be introduced to create the index while recording the moving image.

【００３９】さらに、上記実施形態では、各シーンの静
止画を作成し、シーン情報および静止画を動画に対応付
けてインデックスとして記録していたが、特定のフレー
ム画像を静止画とする場合、静止画データの代わりに、
フレーム番号だけを記録してもよく、静止画作成手段と
しては、表示等のために静止画が必要になったとき、フ
レーム番号と動画データからオンデマンドで静止画デー
タを作成してもよい。Further, in the above embodiment, still images of each scene are created, and the scene information and the still images are recorded as an index in association with the moving image. Instead of image data,
Only the frame number may be recorded, and the still image creating means may create on-demand still image data from the frame number and moving image data when a still image is required for display or the like.

【００４０】また、上記実施形態では、ステップＳ５０
２でシーン数が第１の閾値を越えているか否かを判別し
た後に、ステップＳ５０３で各シーンの長さが第２の閾
値を越えているか否かを判別し、越えていない場合、シ
ーン結合処理を行っていたが、処理の順序を変更しても
よく、例えば、各シーンの長さが第２の閾値を越えてい
ない場合、シーン結合処理を行った後、結合されたシー
ンの数が第１の閾値を越えているか否かを判別し、越え
ている場合、再度、シーン結合処理を行うようにしても
よい。これにより、必要以上にシーンの数を減らさない
ようにできる。In the above embodiment, step S50.
After determining in step 2 whether the number of scenes exceeds the first threshold value, it is determined in step S503 whether the length of each scene exceeds the second threshold value. Although the processing was performed, the order of the processing may be changed. For example, when the length of each scene does not exceed the second threshold, the number of scenes combined after the scene combination processing is performed. It may be determined whether or not the first threshold is exceeded, and if it is, the scene combination processing may be performed again. This can prevent the number of scenes from being reduced more than necessary.

【００４１】また、本発明は、前述した実施形態の機能
を実現するソフトウェアのプログラムコードを記憶した
記録媒体を、システムあるいは装置にプログラムを供給
することによって達成される場合にも適用できることは
いうまでもない。この場合、記憶媒体から読み出された
プログラムコード自体が本発明の新規な機能を実現する
ことになり、プログラム自体およびそのプログラムを記
憶した記憶媒体は本発明を構成することになる。Further, it goes without saying that the present invention can also be applied to a case where a recording medium storing a program code of software for realizing the functions of the above-described embodiments is achieved by supplying a program to a system or an apparatus. Nor. In this case, the program code itself read from the storage medium realizes the novel function of the present invention, and the program itself and the storage medium storing the program constitute the present invention.

【００４２】上記実施形態では、図４、図５のフローチ
ャートに示すプログラムは記憶媒体であるＲＯＭ１０２
に格納されていたが、プログラムはＰＣカード読み書き
用インタフェース１０５、ＣＤ／ＤＶＤドライブ１０
６、ネットワークインタフェース１１０あるいはシリア
ルインタフェース１１３のいずれから供給されてもよ
く、この場合、ＣＰＵ１０１は、供給されたプログラム
を一旦、ハードディスクドライブ１０４やＲＡＭ１０３
に格納して実行することになる。In the above embodiment, the program shown in the flow charts of FIGS. 4 and 5 is the ROM 102 which is a storage medium.
The program was stored in the PC card read / write interface 105, the CD / DVD drive 10
6, the network interface 110 or the serial interface 113 may be supplied. In this case, the CPU 101 once supplies the supplied program to the hard disk drive 104 or the RAM 103.
It will be stored in and executed.

【００４３】[0043]

【発明の効果】本発明によれば、動画像の中から所望の
シーンを容易に探し出して動画再生を楽しむことができ
る。According to the present invention, it is possible to easily find a desired scene in a moving image and enjoy moving image reproduction.

【図面の簡単な説明】[Brief description of drawings]

【図１】実施の形態における動画記録再生装置１０の構
成を示すブロック図である。FIG. 1 is a block diagram showing a configuration of a moving image recording / reproducing apparatus 10 according to an embodiment.

【図２】動画記録再生装置と周辺装置との接続を示す図
である。FIG. 2 is a diagram showing a connection between a moving image recording / reproducing device and peripheral devices.

【図３】赤外線リモコン１１２の操作面を示す図であ
る。FIG. 3 is a diagram showing an operation surface of an infrared remote controller 112.

【図４】動画記録再生装置における動画記録再生処理手
順を示すフローチャートである。FIG. 4 is a flowchart showing a moving image recording / reproducing processing procedure in the moving image recording / reproducing apparatus.

【図５】ステップＳ４０５におけるインデックス作成処
理手順を示すフローチャートである。FIG. 5 is a flowchart showing an index creation processing procedure in step S405.

【図６】ディスプレイ装置１０７に表示されるインデッ
クスを示す図である。6 is a diagram showing indexes displayed on the display device 107. FIG.

【符号の説明】[Explanation of symbols]

１０ 動画記録再生装置 １０１ ＣＰＵ １０２ ＲＯＭ １０７ ディスプレイ装置 ６０１、６０２、６０３、６０４ 静止画 ６０６ 動画バー ６０８ シーンマーカ 10 Video recording / playback device 101 CPU 102 ROM 107 display device 601, 602, 603, 604 still images 606 Video bar 608 Scene marker

Claims (23)

【特許請求の範囲】[Claims] 【請求項１】 動画を記録する動画記録装置において、 前記動画をその属性情報とともに記録する記録手段と、 前記動画におけるシーンの変化を検出し、該シーン毎に
前記動画を時間軸上で区切る分割点を設定する分割点設
定手段と、 該設定された分割点によって区切られるシーンの数が所
定数を越える場合、前記区切られたシーン間を結合し、
前記シーンの数を前記所定数以内に制限するシーン結合
手段と、 該シーンの数が制限された各シーンから静止画を作成す
る静止画作成手段とを備え、 該作成された静止画を前記属性情報として記録すること
を特徴とする動画記録装置。1. A moving picture recording apparatus for recording a moving picture, recording means for recording the moving picture together with its attribute information, and detecting a change in a scene in the moving picture and dividing the moving picture for each scene on a time axis. Division point setting means for setting points, and when the number of scenes divided by the set division points exceeds a predetermined number, the divided scenes are combined,
A scene combining means for limiting the number of the scenes to within the predetermined number, and a still image creating means for creating a still image from each of the scenes with the limited number of scenes. A moving image recording device characterized by recording as information. 【請求項２】 前記シーン結合手段は、前記区切られた
シーンの長さが所定の長さに達していない場合、前記シ
ーンを他のシーンに結合することを特徴とする請求項１
記載の動画記録装置。2. The scene combining means combines the scene with another scene if the length of the divided scene does not reach a predetermined length.
The described moving image recording device. 【請求項３】 前記記録手段は、前記属性情報として、
前記前記分割点によって区切られる区間と前記作成され
た静止画とを対応付けて記録することを特徴とする請求
項１記載の動画記録装置。3. The recording means, as the attribute information,
The moving image recording apparatus according to claim 1, wherein the section divided by the division point and the created still image are recorded in association with each other. 【請求項４】 前記分割点設定手段は、前記動画を構成
するフレーム画像間の変化量に基づき、前記分割点を設
定することを特徴とする請求項１記載の動画記録装置。4. The moving image recording apparatus according to claim 1, wherein the dividing point setting means sets the dividing point based on a variation amount between frame images forming the moving image. 【請求項５】 前記分割点設定手段は、タイムコードの
不連続点から前記分割点を設定することを特徴とする請
求項１記載の動画記録装置。5. The moving image recording apparatus according to claim 1, wherein the division point setting means sets the division point from a discontinuity point of a time code. 【請求項６】 前記分割点設定手段は、前記属性情報を
基に前記分割点を設定することを特徴とする請求項１記
載の動画記録装置。6. The moving picture recording apparatus according to claim 1, wherein the dividing point setting means sets the dividing point based on the attribute information. 【請求項７】 前記シーン結合手段は、前記シーンの長
さの偏りが最小になるように、前記シーンを他のシーン
に結合することを特徴とする請求項２記載の動画記録装
置。7. The moving image recording apparatus according to claim 2, wherein the scene combination means combines the scene with another scene so that the deviation in the length of the scene is minimized. 【請求項８】 前記シーン結合手段は、前記設定された
分割点によって区切られるシーンの数が所定数以下であ
る場合でも、前記区切られたシーンの長さが所定の長さ
に達していない場合、前記シーンを他のシーンに結合す
ることを特徴とする請求項２記載の動画記録装置。8. The scene combination means, wherein the length of the divided scenes does not reach a predetermined length even when the number of scenes divided by the set division points is a predetermined number or less. 3. The moving picture recording apparatus according to claim 2, wherein the scene is combined with another scene. 【請求項９】 前記静止画作成手段は、前記シーンの最
初のフレーム画像から前記静止画を作成することを特徴
とする請求項１記載の動画記録装置。9. The moving image recording apparatus according to claim 1, wherein the still image creating means creates the still image from the first frame image of the scene. 【請求項１０】 前記作成された静止画を表示する表示
手段と、 該表示された静止画を選択する静止画選択手段と、 該選択された静止画に対応する前記動画のシーンを再生
する再生手段とを更に備えた動画記録再生装置に適用さ
れたことを特徴とする動画記録装置。10. A display unit for displaying the created still image, a still image selecting unit for selecting the displayed still image, and a reproduction for reproducing a scene of the moving image corresponding to the selected still image. A moving image recording apparatus, which is applied to a moving image recording / reproducing apparatus further comprising: 【請求項１１】 動画を記録する動画記録方法におい
て、 前記動画をその属性情報とともに記録する工程と、 前記動画におけるシーンの変化を検出し、該シーン毎に
前記動画を時間軸上で区切る分割点を設定する工程と、 該設定された分割点によって区切られるシーンの数が所
定数を越える場合、前記区切られたシーン間を結合し、
前記シーンの数を前記所定数以内に制限する工程と、 該シーンの数が制限された各シーンから静止画を作成す
る工程と、 該作成された静止画を前記属性情報として記録する工程
とを有することを特徴とする動画記録方法。11. A moving picture recording method for recording a moving picture, the step of recording the moving picture together with its attribute information, and a division point for detecting a change of a scene in the moving picture and dividing the moving picture for each scene on a time axis. And, if the number of scenes divided by the set dividing points exceeds a predetermined number, the divided scenes are combined,
A step of limiting the number of the scenes to within the predetermined number, a step of creating a still image from each scene in which the number of the scenes is limited, and a step of recording the created still image as the attribute information. A moving image recording method having. 【請求項１２】 前記シーンを結合する工程では、前記
区切られたシーンの長さが所定の長さに達していない場
合、前記シーンを他のシーンに結合することを特徴とす
る請求項１１記載の動画記録方法。12. The step of combining the scenes, wherein the scenes are combined with other scenes if the length of the delimited scenes does not reach a predetermined length. Video recording method. 【請求項１３】 前記記録する工程では、前記属性情報
として、前記前記分割点によって区切られる区間と前記
作成された静止画とを対応付けて記録することを特徴と
する請求項１１記載の動画記録方法。13. The moving image recording according to claim 11, wherein in the recording step, as the attribute information, a section divided by the dividing point and the created still image are recorded in association with each other. Method. 【請求項１４】 前記分割点を設定する工程では、前記
動画を構成するフレーム画像間の変化量に基づき、前記
分割点を設定することを特徴とする請求項１１記載の動
画記録方法。14. The moving image recording method according to claim 11, wherein in the step of setting the dividing point, the dividing point is set based on a variation amount between frame images forming the moving image. 【請求項１５】 前記分割点を設定する工程では、タイ
ムコードの不連続点から前記分割点を設定することを特
徴とする請求項１１記載の動画記録方法。15. The moving image recording method according to claim 11, wherein in the step of setting the division point, the division point is set from a discontinuity point of a time code. 【請求項１６】 前記分割点を設定する工程では、前記
属性情報を基に前記分割点を設定することを特徴とする
請求項１１記載の動画記録方法。16. The moving image recording method according to claim 11, wherein in the step of setting the division point, the division point is set based on the attribute information. 【請求項１７】 前記シーンを結合する工程では、前記
シーンの長さの偏りが最小になるように、前記シーンを
他のシーンに結合することを特徴とする請求項１２記載
の動画記録方法。17. The moving image recording method according to claim 12, wherein, in the step of combining the scenes, the scene is combined with another scene so that the deviation of the lengths of the scenes is minimized. 【請求項１８】 前記シーンを結合する工程では、前記
設定された分割点によって区切られるシーンの数が所定
数以下である場合でも、前記区切られたシーンの長さが
所定の長さに達していない場合、前記シーンを他のシー
ンに結合することを特徴とする請求項１２記載の動画記
録方法。18. In the step of combining the scenes, the length of the divided scenes reaches a predetermined length even if the number of scenes divided by the set division points is less than or equal to a predetermined number. 13. The moving image recording method according to claim 12, wherein, if not present, the scene is combined with another scene. 【請求項１９】 前記静止画を作成する工程では、前記
シーンの最初のフレーム画像から前記静止画を作成する
ことを特徴とする請求項１１記載の動画記録方法。19. The moving image recording method according to claim 11, wherein in the step of creating the still image, the still image is created from a first frame image of the scene. 【請求項２０】 動画を記録および再生する動画記録再
生方法において、 前記動画をその属性情報とともに記録する工程と、 前記動画におけるシーンの変化を検出し、該シーン毎に
前記動画を時間軸上で区切る分割点を設定する工程と、 該設定された分割点によって区切られるシーンの数が所
定数を越える場合、前記区切られたシーン間を結合し、
前記シーンの数を前記所定数以内に制限する工程と、 該シーンの数が制限された各シーンから静止画を作成す
る工程と、 該作成された静止画を前記属性情報として記録する工程
と、 前記作成された静止画を表示する工程と、 該表示された静止画を選択する工程と、 該選択された静止画に対応する前記動画のシーンを再生
する工程とを有することを特徴とする動画記録再生方
法。20. A moving picture recording / reproducing method for recording and reproducing a moving picture, the step of recording the moving picture together with its attribute information, detecting a change in a scene in the moving picture, and moving the moving picture on a time axis for each scene. A step of setting division points for dividing, and if the number of scenes divided by the set division points exceeds a predetermined number, the divided scenes are combined,
Limiting the number of the scenes to within the predetermined number, creating a still image from each scene in which the number of the scenes is limited, recording the created still image as the attribute information, A moving image including a step of displaying the created still image, a step of selecting the displayed still image, and a step of reproducing the scene of the moving image corresponding to the selected still image. Recording and playback method. 【請求項２１】 動画におけるシーンの変化を検出し、
該シーン毎に前記動画を時間軸上で区切る分割点を設定
し、該設定された分割点によって区切られるシーンの数
が所定数を越える場合、前記区切られたシーン間を結合
して前記シーンの数を前記所定数以内に制限し、該シー
ンの数が制限された各シーンから静止画を作成し、該作
成された静止画を前記動画とともに記録媒体に記録して
おき、該記録媒体から動画を再生する動画再生装置であ
って、 前記記録媒体から前記作成された静止画を表示する表示
手段と、 該表示された静止画を選択する静止画選択手段と、 該選択された静止画に対応する前記動画のシーンを再生
する再生手段とを備えたことを特徴とする動画再生装
置。21. Detecting a scene change in a moving image,
A division point is set for dividing the moving image on the time axis for each scene, and when the number of scenes divided by the set division point exceeds a predetermined number, the divided scenes are combined to connect the scenes. The number is limited to the predetermined number, a still image is created from each scene in which the number of the scenes is limited, the created still image is recorded together with the moving image in a recording medium, and the moving image is recorded from the recording medium. And a display unit for displaying the created still image from the recording medium, a still image selection unit for selecting the displayed still image, and a display unit corresponding to the selected still image. And a reproducing means for reproducing the scene of the moving image. 【請求項２２】 請求項１１乃至１９のいずれかに記載
の動画記録方法または請求項２０記載の動画記録再生方
法を実現するためのプログラムコードを保持する記憶媒
体。22. A storage medium holding a program code for implementing the moving picture recording method according to claim 11 or the moving picture recording / reproducing method according to claim 20. 【請求項２３】 請求項１１乃至１９のいずれかに記載
の動画記録方法または請求項２０記載の動画記録再生方
法を実現するためのプログラムコードを有するプログラ
ム。23. A program having a program code for realizing the moving picture recording method according to claim 11 or the moving picture recording / reproducing method according to claim 20.