JP4292627B2 - 動画像記録再生装置および方法、並びに記録媒体 - Google Patents
動画像記録再生装置および方法、並びに記録媒体 Download PDFInfo
- Publication number
- JP4292627B2 JP4292627B2 JP15917299A JP15917299A JP4292627B2 JP 4292627 B2 JP4292627 B2 JP 4292627B2 JP 15917299 A JP15917299 A JP 15917299A JP 15917299 A JP15917299 A JP 15917299A JP 4292627 B2 JP4292627 B2 JP 4292627B2
- Authority
- JP
- Japan
- Prior art keywords
- recording
- evaluation value
- image
- still image
- maximum value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 37
- 238000011156 evaluation Methods 0.000 claims description 65
- 238000001514 detection method Methods 0.000 claims description 32
- 238000012545 processing Methods 0.000 claims description 27
- 238000000605 extraction Methods 0.000 claims description 10
- 230000005236 sound signal Effects 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/34—Indicating arrangements
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
- G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
- G11B2220/21—Disc-shaped record carriers characterised in that the disc is of read-only, rewritable, or recordable type
- G11B2220/215—Recordable discs
- G11B2220/216—Rewritable discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
- G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
- G11B2220/2537—Optical discs
- G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
- G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
- G11B2220/2537—Optical discs
- G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
- G11B2220/2575—DVD-RAMs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
- H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像記録再生装置および方法、並びに記録媒体に関し、特に、動画像信号を録画する際、動画像信号とともに当該動画像信号の内容を特定可能な縮小静止画像を記録媒体に記録することにより、当該縮小静止画像を記録媒体のインデックスとして利用できるようにした動画像記録再生装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
従来、テレビジョン放送を録画するVCR(Video Cassette Recorder)には、録画した番組の放映日時、チャンネル、および番組のジャンル等のインデックス情報を、ビデオカセットテープの冒頭に記録する機能を有するものが存在する。
【０００３】
そのようなVCRによれば、番組が録画されているビデオカセットテープの冒頭を再生させるだけで、録画されている番組のインデックス情報を得ることが可能である。しかしながら、録画されている番組の具体的な内容は、ビデオカセットテープの冒頭から終端までを再生しなければ把握することはできない。
【０００４】
そこで、ビデオカセットテープの全てを再生することなく、録画されている番組の具体的な内容をユーザに把握させる方法として、例えば、録画時において、録画している番組の動画像信号から一定の時間間隔で静止画像（または、サムネイル画像）を抽出して、ビデオテープの所定の位置にまとめて記録し、ビデオカセットテープに録画されている番組の内容を確認するときに、その所定の位置だけを再生する方法が考えられる。
【０００５】
ところで、近年、ハードディスク等の記憶媒体の大容量化および低価格化、並びに、AV信号（動画像信号および音声信号）を圧縮符号化する処理の高速化が進められており、これらの技術が活用され、テレビジョン番組のAV信号を圧縮符号化して録画し、また再生することができる電子機器が開発されている。
【０００６】
そのような電子機器によれば、大容量の記録媒体に数多くの番組のAV信号を記録することが可能となるので、記録されている複数の番組のAV信号をユーザが容易に把握できるように、上述したような録画中の番組の画像信号から静止画像を抽出して記録する機能を当該電子機器にも持たせることが望ましい。
【０００７】
【発明が解決しようとする課題】
しかしながら、上述したように、テレビジョン番組の動画像信号から一定の時間間隔で静止画像を抽出した場合、番組の内容を把握するには不適当な静止画像（例えば、コマーシャルの静止画像等）を記録してしまうこともあり、番組の内容を把握できる適切な静止画像を確実に抽出することができない課題があった。
【０００８】
本発明はこのような状況に鑑みてなされたものであり、所定のアルゴリズムに基づいてテレビジョン番組の内容を特徴付ける静止画像を決定することにより、テレビジョン番組を録画する際、その番組の内容を把握可能な代表画像を記録できるようにするものである。
【０００９】
【課題を解決するための手段】
本発明の動画像記録再生装置は、入力された動画像信号を情報記録媒体に録画する録画手段と、動画像信号から所定のサンプリングレートで静止画像を抽出する抽出手段と、抽出された静止画像の代表画像候補としての評価値を演算する演算手段と、演算された評価値の極大値を検出する検出手段と、検出された評価値の極大値に対応する静止画像を縮小して代表画像を生成する生成手段と、生成された代表画像を情報記録媒体に記録する記録手段とを含み、演算手段は、静止画像上に文字が存在する確度、静止画像上に人の顔が存在する確度、および静止画像に対応する音声信号のレベルに基づいて評価値を演算し、検出手段は、評価値のｎ回目の極大値を検出したタイミングを始点とした所定の時間間隔における評価値の最大値を、評価値の（ｎ＋１）回目の極大値として検出する。
【００１０】
本発明の動画像記録再生装置は、記録された代表画像を情報記録媒体から読み出す読み出し手段と、読み出された少なくとも１以上の代表画像を貼付して代表画像一覧を作成する作成手段とをさらに含むことができる。
【００１４】
本発明の動画像記録再生方法は、入力された動画像信号を情報記録媒体に録画する録画ステップと、動画像信号から所定のサンプリングレートで静止画像を抽出する抽出ステップと、抽出された静止画像の代表画像候補としての評価値を演算する演算ステップと、演算された評価値の極大値を検出する検出ステップと、検出された評価値の極大値に対応する静止画像を縮小して代表画像を生成する生成ステップと、生成された代表画像を情報記録媒体に記録する記録ステップとを含み、演算ステップは、静止画像上に文字が存在する確度、静止画像上に人の顔が存在する確度、および静止画像に対応する音声信号のレベルに基づいて評価値を演算し、検出ステップは、評価値のｎ回目の極大値を検出したタイミングを始点とした所定の時間間隔における評価値の最大値を、評価値の（ｎ＋１）回目の極大値として検出する。
【００１５】
本発明の記録媒体は、入力された動画像信号を情報記録媒体に録画する録画ステップと、動画像信号から所定のサンプリングレートで静止画像を抽出する抽出ステップと、抽出された静止画像の代表画像候補としての評価値を演算する演算ステップと、演算された評価値の極大値を検出する検出ステップと、検出された評価値の極大値に対応する静止画像を縮小して代表画像を生成する生成ステップと、生成された代表画像を情報記録媒体に記録する記録ステップとを含み、演算ステップは、静止画像上に文字が存在する確度、静止画像上に人の顔が存在する確度、および静止画像に対応する音声信号のレベルに基づいて評価値を演算し、検出ステップは、評価値のｎ回目の極大値を検出したタイミングを始点とした所定の時間間隔における評価値の最大値を、評価値の（ｎ＋１）回目の極大値として検出する処理を動画像記録再生装置のコンピュータに実行させるプログラムが記録されている。
【００１６】
本発明においては、入力された動画像信号が情報記録媒体に録画され、動画像信号から所定のサンプリングレートで静止画像が抽出され、抽出された静止画像の代表画像候補としての評価値が演算され、演算された評価値の極大値が検出され、検出された評価値の極大値に対応する静止画像が縮小されて代表画像が生成され、生成された代表画像が情報記録媒体に記録される。なお、評価値は、静止画像上に文字が存在する確度、静止画像上に人の顔が存在する確度、および静止画像に対応する音声信号のレベルに基づいて演算され、評価値のｎ回目の極大値を検出したタイミングを始点とした所定の時間間隔における評価値の最大値が、評価値の（ｎ＋１）回目の極大値として検出される。
【００１７】
【発明の実施の形態】
本発明を適用したビデオレコーダの構成例について、図１を参照して説明する。このビデオレコーダにおいて、入力信号処理回路１は、チューナ（不図示）から入力されるテレビジョン番組のAV信号に、AGC(Auto Gain Control)等の処理を施してアナログデジタル変換回路(A/D)２に出力する。アナログデジタル変換回路２は、入力信号処理回路１から入力されるアナログAV信号をデジタルAV信号に変換してエンコーダ３および代表画像生成回路４に出力する。
【００１８】
エンコーダ３は、アナログデジタル変換回路２から入力されるデジタルAV信号を、所定の方式（例えば、MPEG(Moving Picture Experts Group)２方式）を用いて圧縮符号化し、さらにエラー訂正符号の付加、EFM(Eight to Fourteen Modulation)変調等を施して記録回路５に出力する。代表画像生成回路４は、所定のアルゴリズムに基づくタイミング（詳細は後述する）において、アナログデジタル変換回路２から入力されるデジタルAV信号の動画像信号を用いて圧縮静止画像（代表画像）を生成して、その画像データを記録回路５に出力する。
【００１９】
記録回路５は、エンコーダ３から入力される符号化されているAV信号（以下、AV符号化信号と記述する）、および、代表画像生成回路４から入力される代表画像データを記録媒体６に記録する。記録媒体６は、例えばハードディスクやDVD-RAM(Digital Versatile Disc-Random Access Memory)等である。再生回路７は、記録媒体６に記録されているAV符号化信号を読み出してデコーダ８に出力する。再生回路７はまた、記録媒体６に記録されている代表画像データを読み出して代表画像表示制御９に出力する。
【００２０】
デコーダ８は、再生回路７から入力されるAV符号化信号にEFM復調、誤り訂正等を施した後、デコードし、得られたデジタルAV信号をデジタルアナログ変換回路(D/A)１０に出力する。代表画像表示制御回路９は、再生回路７から入力される複数の代表画像を、１つ画像に張り付けて、図２に示すような代表画像一覧を生成し、その画像データをデジタルアナログ変換回路１０に出力する。
【００２１】
デジタルアナログ変換回路１０は、デコーダ８から入力されるデジタルAV信号、または代表画像表示制御回路９から入力される代表画像一覧の画像データをアナログ信号に変換して出力信号処理回路１１に出力する。出力信号処理回路１１は、デジタルアナログ変換回路１０から入力されるアナログのAV信号、または代表画像一覧の画像データにクロマエンコード等を施して後段のディスプレイ（不図示）に出力する。
【００２２】
次に動作について説明する。録画時において、チューナからビデオレコーダに入力されたテレビジョン番組のAV信号は、入力信号処理回路１でAGC等の処理が施され、アナログデジタル変換回路２でデジタルAV信号に変換されてエンコーダ３および代表画像生成回路４に出力される。さらに、エンコーダ３で、所定の方式で圧縮符号化されてエラー訂正符号の付加、EFM変調等が施され、記録回路５で記録媒体６に記録される。
【００２３】
一方、代表画像生成回路４では、デジタルAV信号の動画像信号を用いて、番組の内容を特徴付ける代表画像が生成され、その画像データが記録回路５に出力されて記録媒体６に記録される（詳細については、図３乃至図７を参照して後述する）。
【００２４】
再生時において、記録媒体６に記録されている代表画像は、再生回路７に読み出されて代表画像表示制御回路９に供給される。代表画像表示制御回路９では、再生回路７から供給された複数の代表画像が、１つ画像に張り付けられ、図２に示すような代表画像一覧が生成され、その画像データがデジタルアナログ変換回路１０に出力される。代表画像一覧の画像データは、デジタルアナログ変換回路１０では、アナログ信号に変換され、出力信号処理回路１１ではクロマエンコード等が施され、後段のディスプレイに供給されて表示される。
【００２５】
この代表画像一覧の表示を参照したユーザが、再生する番組を決定して、ある番組の再生を指示すると、再生回路７では、記録媒体６に記録されている当該番組に対応する符号化AV信号が読み出され、デコーダ８では、EFM復調、誤り訂正等が施された後にデコードされ、デジタルアナログ変換回路１０では、アナログ信号に変換され、出力信号処理回路１１ではクロマエンコード等が施され、後段のディスプレイに供給されて表示される。
【００２６】
次に、ビデオレコーダの代表画像記録処理について、図３のフローチャートを参照して説明する。この代表画像記録処理は、ビデオレコーダに入力されるAV信号の録画が開始されたとき、その録画処理と並行して実行される。
【００２７】
ステップＳ１において、代表画像生成回路４は、AV信号の録画が終了したか否かを判定し、録画が終了していないと判定した場合、ステップＳ２に進む。ステップＳ２において、代表画像生成回路４は、アナログデジタル変換回路２から入力されたAV信号の動画像信号から所定のサンプリングレート（例えば、１枚／秒）でフレーム画像（静止画像）を抽出する。ステップＳ３において、代表画像生成回路４は、ステップＳ２で抽出したフレーム画像にタイトル文字検出処理を施す。なお、このタイトル文字検出処理は、画面上に番組タイトルやテロップ等の文字が表示された画像は、番組の内容を特徴付ける代表画像となり得ることを根拠として実行される。
【００２８】
タイトル文字検出処理の詳細について、図４のフローチャートを参照して説明する。ステップＳ１１において、代表画像生成回路４は、ステップＳ２で抽出したフレーム画像（ｘ画素×ｙ画素）を、ａ画素×ｂ画素のブロックに分割する。これにより、フレーム画像は、ｘｙ／ａｂ（＝（ｘ／ａ）×（ｙ／ｂ））個のブロックに分割される。
【００２９】
ステップＳ１２において、代表画像生成回路４は、各ブロック毎に、ブロックを構成するａｂ個の画素の画素値（Ｕ値およびＶ値、それぞれＣ階調）のヒストグラムを生成する。ステップＳ１３において、代表画像生成回路４は、最も出現頻度が高いＵ値およびＶ値を次式（１）に代入して、ブロック毎に彩度Ｓを演算する。
【００３０】
彩度Ｓ＝（Ｕ2＋Ｖ2）1/2 ・・・（１）
ステップＳ１４において、代表画像生成回路４は、ステップＳ１３で演算した各ブロックの彩度Ｓを所定の閾値Ｔ１と比較して、所定の閾値Ｔ１よりも大きい彩度Ｓを持つブロックを１次タイトル文字ブロック候補とする。次に、代表画像生成回路４は、１次タイトル文字ブロック候補であって、それに隣接するブロックも１次タイトル文字ブロック候補であるブロックを２次タイトル文字ブロック候補とする。さらに、代表画像生成回路４は、２次タイトル文字ブロック候補であるブロックのうちのフレーム画像の所定の領域（例えば、中央付近の領域）に存在するものを３次タイトル文字ブロック候補として検出する。
【００３１】
ステップＳ１５において、代表画像生成回路４は、フレーム画像に対するタイトル文字検出処理結果の値Ｕ１として、ステップＳ１４で３次タイトル文字ブロック候補としたブロックの数をカウントし、図３のステップＳ４にリターンする。
【００３２】
ステップＳ４において、代表画像生成回路４は、ステップＳ２で抽出したフレーム画像に顔検出処理を施す。なお、この顔検出処理は、画面上に人の顔（肌色の画像）が表示された画像は、番組の内容を特徴付ける代表画像となり得ることを根拠として実行される。
【００３３】
顔検出処理の詳細について、図５のフローチャートを参照して説明する。ステップＳ２１において、代表画像生成回路４は、タイトル文字検出処理のステップＳ１１と同様に、フレーム画像をｘｙ／ａｂ個のブロックに分割する。
【００３４】
ステップＳ２２において、代表画像生成回路４は、タイトル文字検出処理のステップＳ１２と同様に、各ブロック毎に、ブロックを構成するａｂ個の画素の画素値のヒストグラムを生成する。ステップＳ２３において、代表画像生成回路４は、最も出現頻度が高いＵ値およびＶ値を次式（２）に代入して、ブロック毎に評価値Ｆを演算する。
【００３５】
評価値Ｆ＝arctan（Ｖ／Ｕ） ・・・（２）
ステップＳ２４において、代表画像生成回路４は、ステップＳ２３で演算した各ブロックの評価値Ｆを所定の閾値Ｔ２，Ｔ３と比較して、所定の閾値Ｔ２とＴ３の間に位置する評価値Ｆを持つブロックを１次顔ブロック候補とする。ただし、所定の閾値Ｔ２，Ｔ３は、肌色（顔の色）を検出するための値であり、適宜、変更することが可能である。次に、代表画像生成回路４は、１次顔ブロック候補であって、それに隣接するブロックも１次顔ブロック候補であるブロックを２次顔ブロック候補とする。さらに、代表画像生成回路４は、２次顔ブロック候補であるブロックのうちのフレーム画像の所定の領域（例えば、中央付近の領域）に存在するものを３次顔ブロック候補として検出する。
【００３６】
ステップＳ２５において、代表画像生成回路４は、フレーム画像に対する顔検出処理結果の値Ｕ２として、ステップＳ２４で３次顔ブロック候補としたブロックの数をカウントし、図３のステップＳ５にリターンする。
【００３７】
ステップＳ５において、代表画像生成回路４は、ステップＳ２で抽出したフレーム画像に対する音声検出処理結果の値Ｕ３として、フレーム画像に対応する音声信号を抽出し、所定の値に対するその音声レベルの割合を演算する。なお、この音声検出処理処理は、音声レベルが高い画像は、番組の内容を特徴付ける代表画像となり得ることを根拠として実行される。
【００３８】
ステップＳ６において、代表画像生成回路４は、ステップＳ２で抽出したフレーム画像が代表画像として適切であるか否かを示す評価値Ｕｄを、ステップＳ３乃至Ｓ５で求めた値Ｕ１乃至Ｕ３を次式（３）に代入して演算する。
【００３９】
評価値Ｕｄ＝Σ（Ｕｉ＊Ｗｉ） （ｉ＝１，２，３） ・・・（３）
ただし、Ｗｉは、Ｕｉの重要度を示す係数である。
【００４０】
ステップＳ７において、代表画像生成回路４は、ステップＳ６で求めた評価値Ｕｄが所定の時間間隔Ｔにおいて極大値となるフレーム画像を、番組の内容を特徴付ける代表画像に決定する。なお、この代表画像決定処理の詳細は、図６のフローチャートを参照して後述する。
【００４１】
ステップＳ８において、代表画像生成回路４は、ステップＳ７で代表画像に決定されたフレーム画像を縮小して、得られた縮小静止画像を記録回路５に出力する。ステップＳ９において、記録回路５は、代表画像生成回路４から入力された縮小静止画像を記録媒体６に出力する。この後、ステップＳ１に戻り、録画が終了したと判定されるまで、それ以降の処理が繰り返される。
【００４２】
代表画像決定処理について、図６のフローチャートを参照して説明する。ステップＳ３１において、代表画像生成回路４は、極大評価値Ｕｄmaxの前回の更新から、所定の時間Ｔが経過したか否かを判定し、所定の時間Ｔが経過していないと判定した場合、ステップＳ３４に進む。ステップＳ３４において、代表画像生成回路４は、ステップＳ６で演算した評価値Ｕｄが極大評価値Ｕｄmaxよりも大きいか否かを判定し、評価値Ｕｄが極大評価値Ｕｄmaxよりも大きいと判定した場合、ステップＳ３５に進み、極大評価値Ｕｄmaxを当該評価値Ｕｄで更新して、図３のステップＳ８にリターンする。
【００４３】
なお、ステップＳ３１において、極大評価値Ｕｄmaxの前回の更新から、所定の時間Ｔが経過したと判定された場合、ステップＳ３２に進む。ステップＳ３２において、代表画像生成回路４は、極大評価値Ｕｄmaxに対応するフレーム画像を代表画像に決定する。ステップＳ３３において、代表画像生成回路４は、極大評価値Ｕｄmaxを０に初期化する。
【００４４】
また、ステップＳ３４において、評価値Ｕｄが極大評価値Ｕｄmaxよりも大きくないと判定された場合、ステップＳ３５をスキップして、図３のステップＳ８にリターンする。
【００４５】
この代表画像決定処理を実行することにより、図７に示すように、所定の時間間隔Ｔ毎に評価値Ｕｄの極大値（例えば、図７のポイントＡ，Ｂ、Ｃ）に対応するフレーム画像が代表画像に決定される。なお、時間間隔Ｔは適宜、設定できるので、単位時間に任意の数のフレーム画像を代表画像に決定することが可能である。
【００４６】
以上のように、番組の録画と同時に、代表画像記憶処理が実行されることにより、同一の記録媒体６に記録された複数の番組それぞれの代表画像が記録されるので、代表画像一覧を表示させることで、ユーザは容易に記録されている番組を把握することが可能となる。また、１つの番組に対して複数の代表画像を記録することも可能であるので、番組中の見たいシーンを容易に検索することが可能となる。
【００４７】
なお、代表画像記録処理において、ステップＳ３乃至Ｓ５のタイトル文字検出処理、顔検出処理、音声検出処理のいずれか１つだけを実行して、代表画像を決定するようにしてよいし、３つの処理のうちの２つの処理を組み合わせて、代表画像を決定するようにしてもよい。
【００４８】
また、テレビジョン信号に含まれる番組ジャンル、タイトル、放映時刻、チャンネル、コマーシャル等の情報の解析結果を組み合わせて代表画像を検出するようにしてもよい。
【００４９】
なお、本発明のビデオレコーダに入力するAV信号は、テレビジョン番組には限定されず、例えば、ビデオカメラを用いて撮像したAV信号を入力してその代表画像を記録するようにしてもよい。
【００５０】
また、本実施の形態においては、番組のAV信号と代表画像とを同一の記録媒体６に記録するようにしたが、それぞれを異なる記録媒体に記録するようにしてもかまわない。
【００５１】
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアとしてのビデオレコーダに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどにインストールされる。
【００５２】
次に、図８を参照して、上述した一連の処理を実行するプログラムをコンピュータにインストールし、コンピュータによって実行可能な状態とするために用いられる媒体について、そのコンピュータが汎用のパーソナルコンピュータである場合を例として説明する。
【００５３】
プログラムは、図８(A)に示すように、パーソナルコンピュータ３０１に内蔵されている記録媒体としてのハードディスク３０２や半導体メモリ３０３に予めインストールした状態でユーザに提供することができる。
【００５４】
あるいはまた、プログラムは、図８(B)に示すように、フロッピーディスク３１１、CD-ROM(Compact Disc-Read Only Memory)３１２、ＭＯ(Magneto Optical)ディスク３１３、DVD(Digital Versatile Disc)３１４、磁気ディスク３１５、半導体メモリ３１６などの記録媒体に、一時的あるいは永続的に格納し、パッケージソフトウエアとして提供することができる。
【００５５】
さらに、プログラムは、図８(C)に示すように、ダウンロードサイト３２１から、無線で衛星３２２を介して、パーソナルコンピュータ３０１に転送したり、ローカルエリアネットワーク、インターネットといったネットワーク３３１を介して、有線または無線でパーソナルコンピュータ３０１に転送し、パーソナルコンピュータ３０１において、内蔵するハードディスク３０２などに格納させることができる。
【００５６】
本明細書における媒体とは、これら全ての媒体を含む広義の概念を意味するものである。
【００５７】
パーソナルコンピュータ３０１は、例えば、図９に示すように、CPU(Central Proccessing Unit)３４１を内蔵している。CPU３４１にはバス３４１を介して、入出力インタフェース３４５が接続されており、CPU３４２は、入出力インタフェース３４５を介して、ユーザから、キーボード、マウスなどよりなる入力部３４７から指令が入力されると、それに対応して、図８(A)の半導体メモリ３０３に対応するROM(Read Only Memory)３４３に格納されているプログラム、衛生３２２もしくはネットワーク３３１から転送され、通信部３４８により受信され、さらにハードディスク３０２にインストールされたプログラム、またはドライブ３４９に装着されたフロッピディスク３１１、CD-ROM３１２、ＭＯディスク３１３、DVD３１４、もしくは磁気ディスク３１５から読み出され、ハードディスク３０２にインストールされたプログラムを、RAM(Random Access Memory) ３４４にロードして実行する。さらに、CPU３４２は、その処理結果を、例えば、入出力インタフェース３４５を介して、LCD(Liquid Crystal Display)などよりなる表示部３４６に必要に応じて出力する。
【００５８】
なお、本明細書において、媒体により提供されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００５９】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【００６０】
【発明の効果】
以上のように、本発明によれば、テレビジョン番組を録画する際、その番組の内容を把握可能な代表画像を記録することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用したビデオデコーダの構成例を示すブロック図である。
【図２】代表画像一覧の表示例を示す図である。
【図３】代表画像記録処理を説明するフローチャートである。
【図４】タイトル文字検出処理を説明するフローチャートである。
【図５】顔検出処理を説明するフローチャートである。
【図６】代表画像決定処理を説明するフローチャートである。
【図７】代表画像決定処理を説明するための図である。
【図８】プログラムをパーソナルコンピュータ３０１にインストールし、実行可能な状態とするために用いられる媒体について説明するための図である。
【図９】パーソナルコンピュータ３０１について説明するための図である。
【符号の説明】
３ エンコーダ， ４ 代表画像生成回路， ５ 記録回路， ６ 記録媒体， ７ 再生回路， ８ デコーダ， ９ 代表画像制御回路
【発明の属する技術分野】
本発明は、動画像記録再生装置および方法、並びに記録媒体に関し、特に、動画像信号を録画する際、動画像信号とともに当該動画像信号の内容を特定可能な縮小静止画像を記録媒体に記録することにより、当該縮小静止画像を記録媒体のインデックスとして利用できるようにした動画像記録再生装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
従来、テレビジョン放送を録画するVCR(Video Cassette Recorder)には、録画した番組の放映日時、チャンネル、および番組のジャンル等のインデックス情報を、ビデオカセットテープの冒頭に記録する機能を有するものが存在する。
【０００３】
そのようなVCRによれば、番組が録画されているビデオカセットテープの冒頭を再生させるだけで、録画されている番組のインデックス情報を得ることが可能である。しかしながら、録画されている番組の具体的な内容は、ビデオカセットテープの冒頭から終端までを再生しなければ把握することはできない。
【０００４】
そこで、ビデオカセットテープの全てを再生することなく、録画されている番組の具体的な内容をユーザに把握させる方法として、例えば、録画時において、録画している番組の動画像信号から一定の時間間隔で静止画像（または、サムネイル画像）を抽出して、ビデオテープの所定の位置にまとめて記録し、ビデオカセットテープに録画されている番組の内容を確認するときに、その所定の位置だけを再生する方法が考えられる。
【０００５】
ところで、近年、ハードディスク等の記憶媒体の大容量化および低価格化、並びに、AV信号（動画像信号および音声信号）を圧縮符号化する処理の高速化が進められており、これらの技術が活用され、テレビジョン番組のAV信号を圧縮符号化して録画し、また再生することができる電子機器が開発されている。
【０００６】
そのような電子機器によれば、大容量の記録媒体に数多くの番組のAV信号を記録することが可能となるので、記録されている複数の番組のAV信号をユーザが容易に把握できるように、上述したような録画中の番組の画像信号から静止画像を抽出して記録する機能を当該電子機器にも持たせることが望ましい。
【０００７】
【発明が解決しようとする課題】
しかしながら、上述したように、テレビジョン番組の動画像信号から一定の時間間隔で静止画像を抽出した場合、番組の内容を把握するには不適当な静止画像（例えば、コマーシャルの静止画像等）を記録してしまうこともあり、番組の内容を把握できる適切な静止画像を確実に抽出することができない課題があった。
【０００８】
本発明はこのような状況に鑑みてなされたものであり、所定のアルゴリズムに基づいてテレビジョン番組の内容を特徴付ける静止画像を決定することにより、テレビジョン番組を録画する際、その番組の内容を把握可能な代表画像を記録できるようにするものである。
【０００９】
【課題を解決するための手段】
本発明の動画像記録再生装置は、入力された動画像信号を情報記録媒体に録画する録画手段と、動画像信号から所定のサンプリングレートで静止画像を抽出する抽出手段と、抽出された静止画像の代表画像候補としての評価値を演算する演算手段と、演算された評価値の極大値を検出する検出手段と、検出された評価値の極大値に対応する静止画像を縮小して代表画像を生成する生成手段と、生成された代表画像を情報記録媒体に記録する記録手段とを含み、演算手段は、静止画像上に文字が存在する確度、静止画像上に人の顔が存在する確度、および静止画像に対応する音声信号のレベルに基づいて評価値を演算し、検出手段は、評価値のｎ回目の極大値を検出したタイミングを始点とした所定の時間間隔における評価値の最大値を、評価値の（ｎ＋１）回目の極大値として検出する。
【００１０】
本発明の動画像記録再生装置は、記録された代表画像を情報記録媒体から読み出す読み出し手段と、読み出された少なくとも１以上の代表画像を貼付して代表画像一覧を作成する作成手段とをさらに含むことができる。
【００１４】
本発明の動画像記録再生方法は、入力された動画像信号を情報記録媒体に録画する録画ステップと、動画像信号から所定のサンプリングレートで静止画像を抽出する抽出ステップと、抽出された静止画像の代表画像候補としての評価値を演算する演算ステップと、演算された評価値の極大値を検出する検出ステップと、検出された評価値の極大値に対応する静止画像を縮小して代表画像を生成する生成ステップと、生成された代表画像を情報記録媒体に記録する記録ステップとを含み、演算ステップは、静止画像上に文字が存在する確度、静止画像上に人の顔が存在する確度、および静止画像に対応する音声信号のレベルに基づいて評価値を演算し、検出ステップは、評価値のｎ回目の極大値を検出したタイミングを始点とした所定の時間間隔における評価値の最大値を、評価値の（ｎ＋１）回目の極大値として検出する。
【００１５】
本発明の記録媒体は、入力された動画像信号を情報記録媒体に録画する録画ステップと、動画像信号から所定のサンプリングレートで静止画像を抽出する抽出ステップと、抽出された静止画像の代表画像候補としての評価値を演算する演算ステップと、演算された評価値の極大値を検出する検出ステップと、検出された評価値の極大値に対応する静止画像を縮小して代表画像を生成する生成ステップと、生成された代表画像を情報記録媒体に記録する記録ステップとを含み、演算ステップは、静止画像上に文字が存在する確度、静止画像上に人の顔が存在する確度、および静止画像に対応する音声信号のレベルに基づいて評価値を演算し、検出ステップは、評価値のｎ回目の極大値を検出したタイミングを始点とした所定の時間間隔における評価値の最大値を、評価値の（ｎ＋１）回目の極大値として検出する処理を動画像記録再生装置のコンピュータに実行させるプログラムが記録されている。
【００１６】
本発明においては、入力された動画像信号が情報記録媒体に録画され、動画像信号から所定のサンプリングレートで静止画像が抽出され、抽出された静止画像の代表画像候補としての評価値が演算され、演算された評価値の極大値が検出され、検出された評価値の極大値に対応する静止画像が縮小されて代表画像が生成され、生成された代表画像が情報記録媒体に記録される。なお、評価値は、静止画像上に文字が存在する確度、静止画像上に人の顔が存在する確度、および静止画像に対応する音声信号のレベルに基づいて演算され、評価値のｎ回目の極大値を検出したタイミングを始点とした所定の時間間隔における評価値の最大値が、評価値の（ｎ＋１）回目の極大値として検出される。
【００１７】
【発明の実施の形態】
本発明を適用したビデオレコーダの構成例について、図１を参照して説明する。このビデオレコーダにおいて、入力信号処理回路１は、チューナ（不図示）から入力されるテレビジョン番組のAV信号に、AGC(Auto Gain Control)等の処理を施してアナログデジタル変換回路(A/D)２に出力する。アナログデジタル変換回路２は、入力信号処理回路１から入力されるアナログAV信号をデジタルAV信号に変換してエンコーダ３および代表画像生成回路４に出力する。
【００１８】
エンコーダ３は、アナログデジタル変換回路２から入力されるデジタルAV信号を、所定の方式（例えば、MPEG(Moving Picture Experts Group)２方式）を用いて圧縮符号化し、さらにエラー訂正符号の付加、EFM(Eight to Fourteen Modulation)変調等を施して記録回路５に出力する。代表画像生成回路４は、所定のアルゴリズムに基づくタイミング（詳細は後述する）において、アナログデジタル変換回路２から入力されるデジタルAV信号の動画像信号を用いて圧縮静止画像（代表画像）を生成して、その画像データを記録回路５に出力する。
【００１９】
記録回路５は、エンコーダ３から入力される符号化されているAV信号（以下、AV符号化信号と記述する）、および、代表画像生成回路４から入力される代表画像データを記録媒体６に記録する。記録媒体６は、例えばハードディスクやDVD-RAM(Digital Versatile Disc-Random Access Memory)等である。再生回路７は、記録媒体６に記録されているAV符号化信号を読み出してデコーダ８に出力する。再生回路７はまた、記録媒体６に記録されている代表画像データを読み出して代表画像表示制御９に出力する。
【００２０】
デコーダ８は、再生回路７から入力されるAV符号化信号にEFM復調、誤り訂正等を施した後、デコードし、得られたデジタルAV信号をデジタルアナログ変換回路(D/A)１０に出力する。代表画像表示制御回路９は、再生回路７から入力される複数の代表画像を、１つ画像に張り付けて、図２に示すような代表画像一覧を生成し、その画像データをデジタルアナログ変換回路１０に出力する。
【００２１】
デジタルアナログ変換回路１０は、デコーダ８から入力されるデジタルAV信号、または代表画像表示制御回路９から入力される代表画像一覧の画像データをアナログ信号に変換して出力信号処理回路１１に出力する。出力信号処理回路１１は、デジタルアナログ変換回路１０から入力されるアナログのAV信号、または代表画像一覧の画像データにクロマエンコード等を施して後段のディスプレイ（不図示）に出力する。
【００２２】
次に動作について説明する。録画時において、チューナからビデオレコーダに入力されたテレビジョン番組のAV信号は、入力信号処理回路１でAGC等の処理が施され、アナログデジタル変換回路２でデジタルAV信号に変換されてエンコーダ３および代表画像生成回路４に出力される。さらに、エンコーダ３で、所定の方式で圧縮符号化されてエラー訂正符号の付加、EFM変調等が施され、記録回路５で記録媒体６に記録される。
【００２３】
一方、代表画像生成回路４では、デジタルAV信号の動画像信号を用いて、番組の内容を特徴付ける代表画像が生成され、その画像データが記録回路５に出力されて記録媒体６に記録される（詳細については、図３乃至図７を参照して後述する）。
【００２４】
再生時において、記録媒体６に記録されている代表画像は、再生回路７に読み出されて代表画像表示制御回路９に供給される。代表画像表示制御回路９では、再生回路７から供給された複数の代表画像が、１つ画像に張り付けられ、図２に示すような代表画像一覧が生成され、その画像データがデジタルアナログ変換回路１０に出力される。代表画像一覧の画像データは、デジタルアナログ変換回路１０では、アナログ信号に変換され、出力信号処理回路１１ではクロマエンコード等が施され、後段のディスプレイに供給されて表示される。
【００２５】
この代表画像一覧の表示を参照したユーザが、再生する番組を決定して、ある番組の再生を指示すると、再生回路７では、記録媒体６に記録されている当該番組に対応する符号化AV信号が読み出され、デコーダ８では、EFM復調、誤り訂正等が施された後にデコードされ、デジタルアナログ変換回路１０では、アナログ信号に変換され、出力信号処理回路１１ではクロマエンコード等が施され、後段のディスプレイに供給されて表示される。
【００２６】
次に、ビデオレコーダの代表画像記録処理について、図３のフローチャートを参照して説明する。この代表画像記録処理は、ビデオレコーダに入力されるAV信号の録画が開始されたとき、その録画処理と並行して実行される。
【００２７】
ステップＳ１において、代表画像生成回路４は、AV信号の録画が終了したか否かを判定し、録画が終了していないと判定した場合、ステップＳ２に進む。ステップＳ２において、代表画像生成回路４は、アナログデジタル変換回路２から入力されたAV信号の動画像信号から所定のサンプリングレート（例えば、１枚／秒）でフレーム画像（静止画像）を抽出する。ステップＳ３において、代表画像生成回路４は、ステップＳ２で抽出したフレーム画像にタイトル文字検出処理を施す。なお、このタイトル文字検出処理は、画面上に番組タイトルやテロップ等の文字が表示された画像は、番組の内容を特徴付ける代表画像となり得ることを根拠として実行される。
【００２８】
タイトル文字検出処理の詳細について、図４のフローチャートを参照して説明する。ステップＳ１１において、代表画像生成回路４は、ステップＳ２で抽出したフレーム画像（ｘ画素×ｙ画素）を、ａ画素×ｂ画素のブロックに分割する。これにより、フレーム画像は、ｘｙ／ａｂ（＝（ｘ／ａ）×（ｙ／ｂ））個のブロックに分割される。
【００２９】
ステップＳ１２において、代表画像生成回路４は、各ブロック毎に、ブロックを構成するａｂ個の画素の画素値（Ｕ値およびＶ値、それぞれＣ階調）のヒストグラムを生成する。ステップＳ１３において、代表画像生成回路４は、最も出現頻度が高いＵ値およびＶ値を次式（１）に代入して、ブロック毎に彩度Ｓを演算する。
【００３０】
彩度Ｓ＝（Ｕ2＋Ｖ2）1/2 ・・・（１）
ステップＳ１４において、代表画像生成回路４は、ステップＳ１３で演算した各ブロックの彩度Ｓを所定の閾値Ｔ１と比較して、所定の閾値Ｔ１よりも大きい彩度Ｓを持つブロックを１次タイトル文字ブロック候補とする。次に、代表画像生成回路４は、１次タイトル文字ブロック候補であって、それに隣接するブロックも１次タイトル文字ブロック候補であるブロックを２次タイトル文字ブロック候補とする。さらに、代表画像生成回路４は、２次タイトル文字ブロック候補であるブロックのうちのフレーム画像の所定の領域（例えば、中央付近の領域）に存在するものを３次タイトル文字ブロック候補として検出する。
【００３１】
ステップＳ１５において、代表画像生成回路４は、フレーム画像に対するタイトル文字検出処理結果の値Ｕ１として、ステップＳ１４で３次タイトル文字ブロック候補としたブロックの数をカウントし、図３のステップＳ４にリターンする。
【００３２】
ステップＳ４において、代表画像生成回路４は、ステップＳ２で抽出したフレーム画像に顔検出処理を施す。なお、この顔検出処理は、画面上に人の顔（肌色の画像）が表示された画像は、番組の内容を特徴付ける代表画像となり得ることを根拠として実行される。
【００３３】
顔検出処理の詳細について、図５のフローチャートを参照して説明する。ステップＳ２１において、代表画像生成回路４は、タイトル文字検出処理のステップＳ１１と同様に、フレーム画像をｘｙ／ａｂ個のブロックに分割する。
【００３４】
ステップＳ２２において、代表画像生成回路４は、タイトル文字検出処理のステップＳ１２と同様に、各ブロック毎に、ブロックを構成するａｂ個の画素の画素値のヒストグラムを生成する。ステップＳ２３において、代表画像生成回路４は、最も出現頻度が高いＵ値およびＶ値を次式（２）に代入して、ブロック毎に評価値Ｆを演算する。
【００３５】
評価値Ｆ＝arctan（Ｖ／Ｕ） ・・・（２）
ステップＳ２４において、代表画像生成回路４は、ステップＳ２３で演算した各ブロックの評価値Ｆを所定の閾値Ｔ２，Ｔ３と比較して、所定の閾値Ｔ２とＴ３の間に位置する評価値Ｆを持つブロックを１次顔ブロック候補とする。ただし、所定の閾値Ｔ２，Ｔ３は、肌色（顔の色）を検出するための値であり、適宜、変更することが可能である。次に、代表画像生成回路４は、１次顔ブロック候補であって、それに隣接するブロックも１次顔ブロック候補であるブロックを２次顔ブロック候補とする。さらに、代表画像生成回路４は、２次顔ブロック候補であるブロックのうちのフレーム画像の所定の領域（例えば、中央付近の領域）に存在するものを３次顔ブロック候補として検出する。
【００３６】
ステップＳ２５において、代表画像生成回路４は、フレーム画像に対する顔検出処理結果の値Ｕ２として、ステップＳ２４で３次顔ブロック候補としたブロックの数をカウントし、図３のステップＳ５にリターンする。
【００３７】
ステップＳ５において、代表画像生成回路４は、ステップＳ２で抽出したフレーム画像に対する音声検出処理結果の値Ｕ３として、フレーム画像に対応する音声信号を抽出し、所定の値に対するその音声レベルの割合を演算する。なお、この音声検出処理処理は、音声レベルが高い画像は、番組の内容を特徴付ける代表画像となり得ることを根拠として実行される。
【００３８】
ステップＳ６において、代表画像生成回路４は、ステップＳ２で抽出したフレーム画像が代表画像として適切であるか否かを示す評価値Ｕｄを、ステップＳ３乃至Ｓ５で求めた値Ｕ１乃至Ｕ３を次式（３）に代入して演算する。
【００３９】
評価値Ｕｄ＝Σ（Ｕｉ＊Ｗｉ） （ｉ＝１，２，３） ・・・（３）
ただし、Ｗｉは、Ｕｉの重要度を示す係数である。
【００４０】
ステップＳ７において、代表画像生成回路４は、ステップＳ６で求めた評価値Ｕｄが所定の時間間隔Ｔにおいて極大値となるフレーム画像を、番組の内容を特徴付ける代表画像に決定する。なお、この代表画像決定処理の詳細は、図６のフローチャートを参照して後述する。
【００４１】
ステップＳ８において、代表画像生成回路４は、ステップＳ７で代表画像に決定されたフレーム画像を縮小して、得られた縮小静止画像を記録回路５に出力する。ステップＳ９において、記録回路５は、代表画像生成回路４から入力された縮小静止画像を記録媒体６に出力する。この後、ステップＳ１に戻り、録画が終了したと判定されるまで、それ以降の処理が繰り返される。
【００４２】
代表画像決定処理について、図６のフローチャートを参照して説明する。ステップＳ３１において、代表画像生成回路４は、極大評価値Ｕｄmaxの前回の更新から、所定の時間Ｔが経過したか否かを判定し、所定の時間Ｔが経過していないと判定した場合、ステップＳ３４に進む。ステップＳ３４において、代表画像生成回路４は、ステップＳ６で演算した評価値Ｕｄが極大評価値Ｕｄmaxよりも大きいか否かを判定し、評価値Ｕｄが極大評価値Ｕｄmaxよりも大きいと判定した場合、ステップＳ３５に進み、極大評価値Ｕｄmaxを当該評価値Ｕｄで更新して、図３のステップＳ８にリターンする。
【００４３】
なお、ステップＳ３１において、極大評価値Ｕｄmaxの前回の更新から、所定の時間Ｔが経過したと判定された場合、ステップＳ３２に進む。ステップＳ３２において、代表画像生成回路４は、極大評価値Ｕｄmaxに対応するフレーム画像を代表画像に決定する。ステップＳ３３において、代表画像生成回路４は、極大評価値Ｕｄmaxを０に初期化する。
【００４４】
また、ステップＳ３４において、評価値Ｕｄが極大評価値Ｕｄmaxよりも大きくないと判定された場合、ステップＳ３５をスキップして、図３のステップＳ８にリターンする。
【００４５】
この代表画像決定処理を実行することにより、図７に示すように、所定の時間間隔Ｔ毎に評価値Ｕｄの極大値（例えば、図７のポイントＡ，Ｂ、Ｃ）に対応するフレーム画像が代表画像に決定される。なお、時間間隔Ｔは適宜、設定できるので、単位時間に任意の数のフレーム画像を代表画像に決定することが可能である。
【００４６】
以上のように、番組の録画と同時に、代表画像記憶処理が実行されることにより、同一の記録媒体６に記録された複数の番組それぞれの代表画像が記録されるので、代表画像一覧を表示させることで、ユーザは容易に記録されている番組を把握することが可能となる。また、１つの番組に対して複数の代表画像を記録することも可能であるので、番組中の見たいシーンを容易に検索することが可能となる。
【００４７】
なお、代表画像記録処理において、ステップＳ３乃至Ｓ５のタイトル文字検出処理、顔検出処理、音声検出処理のいずれか１つだけを実行して、代表画像を決定するようにしてよいし、３つの処理のうちの２つの処理を組み合わせて、代表画像を決定するようにしてもよい。
【００４８】
また、テレビジョン信号に含まれる番組ジャンル、タイトル、放映時刻、チャンネル、コマーシャル等の情報の解析結果を組み合わせて代表画像を検出するようにしてもよい。
【００４９】
なお、本発明のビデオレコーダに入力するAV信号は、テレビジョン番組には限定されず、例えば、ビデオカメラを用いて撮像したAV信号を入力してその代表画像を記録するようにしてもよい。
【００５０】
また、本実施の形態においては、番組のAV信号と代表画像とを同一の記録媒体６に記録するようにしたが、それぞれを異なる記録媒体に記録するようにしてもかまわない。
【００５１】
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアとしてのビデオレコーダに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどにインストールされる。
【００５２】
次に、図８を参照して、上述した一連の処理を実行するプログラムをコンピュータにインストールし、コンピュータによって実行可能な状態とするために用いられる媒体について、そのコンピュータが汎用のパーソナルコンピュータである場合を例として説明する。
【００５３】
プログラムは、図８(A)に示すように、パーソナルコンピュータ３０１に内蔵されている記録媒体としてのハードディスク３０２や半導体メモリ３０３に予めインストールした状態でユーザに提供することができる。
【００５４】
あるいはまた、プログラムは、図８(B)に示すように、フロッピーディスク３１１、CD-ROM(Compact Disc-Read Only Memory)３１２、ＭＯ(Magneto Optical)ディスク３１３、DVD(Digital Versatile Disc)３１４、磁気ディスク３１５、半導体メモリ３１６などの記録媒体に、一時的あるいは永続的に格納し、パッケージソフトウエアとして提供することができる。
【００５５】
さらに、プログラムは、図８(C)に示すように、ダウンロードサイト３２１から、無線で衛星３２２を介して、パーソナルコンピュータ３０１に転送したり、ローカルエリアネットワーク、インターネットといったネットワーク３３１を介して、有線または無線でパーソナルコンピュータ３０１に転送し、パーソナルコンピュータ３０１において、内蔵するハードディスク３０２などに格納させることができる。
【００５６】
本明細書における媒体とは、これら全ての媒体を含む広義の概念を意味するものである。
【００５７】
パーソナルコンピュータ３０１は、例えば、図９に示すように、CPU(Central Proccessing Unit)３４１を内蔵している。CPU３４１にはバス３４１を介して、入出力インタフェース３４５が接続されており、CPU３４２は、入出力インタフェース３４５を介して、ユーザから、キーボード、マウスなどよりなる入力部３４７から指令が入力されると、それに対応して、図８(A)の半導体メモリ３０３に対応するROM(Read Only Memory)３４３に格納されているプログラム、衛生３２２もしくはネットワーク３３１から転送され、通信部３４８により受信され、さらにハードディスク３０２にインストールされたプログラム、またはドライブ３４９に装着されたフロッピディスク３１１、CD-ROM３１２、ＭＯディスク３１３、DVD３１４、もしくは磁気ディスク３１５から読み出され、ハードディスク３０２にインストールされたプログラムを、RAM(Random Access Memory) ３４４にロードして実行する。さらに、CPU３４２は、その処理結果を、例えば、入出力インタフェース３４５を介して、LCD(Liquid Crystal Display)などよりなる表示部３４６に必要に応じて出力する。
【００５８】
なお、本明細書において、媒体により提供されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００５９】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【００６０】
【発明の効果】
以上のように、本発明によれば、テレビジョン番組を録画する際、その番組の内容を把握可能な代表画像を記録することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用したビデオデコーダの構成例を示すブロック図である。
【図２】代表画像一覧の表示例を示す図である。
【図３】代表画像記録処理を説明するフローチャートである。
【図４】タイトル文字検出処理を説明するフローチャートである。
【図５】顔検出処理を説明するフローチャートである。
【図６】代表画像決定処理を説明するフローチャートである。
【図７】代表画像決定処理を説明するための図である。
【図８】プログラムをパーソナルコンピュータ３０１にインストールし、実行可能な状態とするために用いられる媒体について説明するための図である。
【図９】パーソナルコンピュータ３０１について説明するための図である。
【符号の説明】
３ エンコーダ， ４ 代表画像生成回路， ５ 記録回路， ６ 記録媒体， ７ 再生回路， ８ デコーダ， ９ 代表画像制御回路
Claims (4)
- 入力された動画像信号を情報記録媒体に記録し、また再生する動画像記録再生装置において、
入力された前記動画像信号を情報記録媒体に録画する録画手段と、
前記動画像信号から所定のサンプリングレートで静止画像を抽出する抽出手段と、
抽出された前記静止画像の代表画像候補としての評価値を演算する演算手段と、
演算された前記評価値の極大値を検出する検出手段と、
検出された前記評価値の極大値に対応する前記静止画像を縮小して代表画像を生成する生成手段と、
生成された前記代表画像を前記情報記録媒体に記録する記録手段と
を含み、
前記演算手段は、前記静止画像上に文字が存在する確度、前記静止画像上に人の顔が存在する確度、および前記静止画像に対応する音声信号のレベルに基づいて前記評価値を演算し、
前記検出手段は、前記評価値のｎ回目の前記極大値を検出したタイミングを始点とした所定の時間間隔における前記評価値の最大値を、前記評価値の（ｎ＋１）回目の前記極大値として検出する
動画像記録再生装置。 - 記録された前記代表画像を前記情報記録媒体から読み出す読み出し手段と、
読み出された少なくとも１以上の前記代表画像を貼付して代表画像一覧を作成する作成手段とを
さらに含む請求項１に記載の動画像記録再生装置。 - 入力された動画像信号を情報記録媒体に記録し、また再生する動画像記録再生装置の動画像記録再生方法において、
入力された前記動画像信号を情報記録媒体に録画する録画ステップと、
前記動画像信号から所定のサンプリングレートで静止画像を抽出する抽出ステップと、
抽出された前記静止画像の代表画像候補としての評価値を演算する演算ステップと、
演算された前記評価値の極大値を検出する検出ステップと、
検出された前記評価値の極大値に対応する前記静止画像を縮小して代表画像を生成する生成ステップと、
生成された前記代表画像を前記情報記録媒体に記録する記録ステップと
を含み、
前記演算ステップは、前記静止画像上に文字が存在する確度、前記静止画像上に人の顔が存在する確度、および前記静止画像に対応する音声信号のレベルに基づいて前記評価値を演算し、
前記検出ステップは、前記評価値のｎ回目の前記極大値を検出したタイミングを始点とした所定の時間間隔における前記評価値の最大値を、前記評価値の（ｎ＋１）回目の前記極大値として検出する
動画像記録再生方法。 - 入力された動画像信号を情報記録媒体に記録し、また再生する動画像記録再生装置の制御用のプログラムであって、
入力された前記動画像信号を情報記録媒体に録画する録画ステップと、
前記動画像信号から所定のサンプリングレートで静止画像を抽出する抽出ステップと、
抽出された前記静止画像の代表画像候補としての評価値を演算する演算ステップと、
演算された前記評価値の極大値を検出する検出ステップと、
検出された前記評価値の極大値に対応する前記静止画像を縮小して代表画像を生成する生成ステップと、
生成された前記代表画像を前記情報記録媒体に記録する記録ステップと
を含み、
前記演算ステップは、前記静止画像上に文字が存在する確度、前記静止画像上に人の顔が存在する確度、および前記静止画像に対応する音声信号のレベルに基づいて前記評価値を演算し、
前記検出ステップは、前記評価値のｎ回目の前記極大値を検出したタイミングを始点とした所定の時間間隔における前記評価値の最大値を、前記評価値の（ｎ＋１）回目の前記極大値として検出する
処理を動画像記録再生装置のコンピュータに実行させるプログラムが記録されている記録媒体。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15917299A JP4292627B2 (ja) | 1999-06-07 | 1999-06-07 | 動画像記録再生装置および方法、並びに記録媒体 |
| KR1020000030002A KR100654077B1 (ko) | 1999-06-07 | 2000-06-01 | 동화상 기록재생 장치및 방법,및 매체 |
| US09/587,437 US6728473B1 (en) | 1999-06-07 | 2000-06-05 | Moving picture recording and reproduction apparatus and method as well as medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15917299A JP4292627B2 (ja) | 1999-06-07 | 1999-06-07 | 動画像記録再生装置および方法、並びに記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000350124A JP2000350124A (ja) | 2000-12-15 |
| JP4292627B2 true JP4292627B2 (ja) | 2009-07-08 |
Family
ID=15687872
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP15917299A Expired - Fee Related JP4292627B2 (ja) | 1999-06-07 | 1999-06-07 | 動画像記録再生装置および方法、並びに記録媒体 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6728473B1 (ja) |
| JP (1) | JP4292627B2 (ja) |
| KR (1) | KR100654077B1 (ja) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4304839B2 (ja) * | 2000-07-13 | 2009-07-29 | ソニー株式会社 | 映像信号記録再生装置および方法、並びに記録媒体 |
| JP4431923B2 (ja) * | 2000-07-13 | 2010-03-17 | ソニー株式会社 | 映像信号記録再生装置および方法、並びに記録媒体 |
| JP4465827B2 (ja) * | 2000-07-13 | 2010-05-26 | ソニー株式会社 | 映像信号記録再生装置および方法、並びに記録媒体 |
| GB0029861D0 (en) * | 2000-12-07 | 2001-01-24 | Sony Uk Ltd | Replaying video information |
| JP2002314919A (ja) * | 2001-04-18 | 2002-10-25 | Toshiba Corp | 記録情報管理装置、記録情報管理方法及び記録情報管理システム |
| US7333712B2 (en) * | 2002-02-14 | 2008-02-19 | Koninklijke Philips Electronics N.V. | Visual summary for scanning forwards and backwards in video content |
| KR20050054557A (ko) * | 2003-12-05 | 2005-06-10 | 삼성전자주식회사 | 방송 영상 저장 및 재생 장치 및 방법 |
| JP2005293555A (ja) * | 2004-03-10 | 2005-10-20 | Seiko Epson Corp | 画像における肌領域の特定 |
| JP2007281680A (ja) | 2006-04-04 | 2007-10-25 | Sony Corp | 画像処理装置および画像表示方法 |
| JP2008017042A (ja) * | 2006-07-04 | 2008-01-24 | Sony Corp | 情報処理装置および方法、並びにプログラム |
| JP5020705B2 (ja) * | 2007-05-17 | 2012-09-05 | キヤノン株式会社 | 動画撮像装置及び動画撮像方法 |
| US8094202B2 (en) | 2007-05-17 | 2012-01-10 | Canon Kabushiki Kaisha | Moving image capture apparatus and moving image capture method |
| JP2009194491A (ja) * | 2008-02-13 | 2009-08-27 | Nippon Telegr & Teleph Corp <Ntt> | 動画検閲装置、動画検閲方法、動画検閲プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
| JP5072757B2 (ja) * | 2008-07-24 | 2012-11-14 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JP5247356B2 (ja) * | 2008-10-29 | 2013-07-24 | キヤノン株式会社 | 情報処理装置およびその制御方法 |
| JP5483863B2 (ja) * | 2008-11-12 | 2014-05-07 | キヤノン株式会社 | 情報処理装置およびその制御方法 |
| JP5600405B2 (ja) | 2009-08-17 | 2014-10-01 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JP5389594B2 (ja) * | 2009-09-30 | 2014-01-15 | 富士フイルム株式会社 | 画像ファイル生成方法、そのプログラム、その記録媒体および画像ファイル生成装置 |
| CN102055888B (zh) * | 2009-11-05 | 2014-02-19 | 鸿富锦精密工业（深圳）有限公司 | 网络摄像机、网络摄像***及网络摄像方法 |
| KR102340196B1 (ko) * | 2014-10-16 | 2021-12-16 | 삼성전자주식회사 | 동영상 처리 장치 및 방법 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5546191A (en) * | 1992-02-25 | 1996-08-13 | Mitsubishi Denki Kabushiki Kaisha | Recording and reproducing apparatus |
| JP3367268B2 (ja) * | 1995-04-21 | 2003-01-14 | 株式会社日立製作所 | 映像のダイジェスト作成装置及び方法 |
| US6427048B2 (en) * | 1997-04-28 | 2002-07-30 | Sony Corporation | Apparatus and method for recording, reproducing and displaying a video signal received by a signal receiver |
-
1999
- 1999-06-07 JP JP15917299A patent/JP4292627B2/ja not_active Expired - Fee Related
-
2000
- 2000-06-01 KR KR1020000030002A patent/KR100654077B1/ko not_active IP Right Cessation
- 2000-06-05 US US09/587,437 patent/US6728473B1/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US6728473B1 (en) | 2004-04-27 |
| KR20010007174A (ko) | 2001-01-26 |
| JP2000350124A (ja) | 2000-12-15 |
| KR100654077B1 (ko) | 2006-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4292627B2 (ja) | 動画像記録再生装置および方法、並びに記録媒体 | |
| JP4767216B2 (ja) | ダイジェスト生成装置、方法及びプログラム | |
| US20070206923A1 (en) | Information processing apparatus, display method thereof, and program thereof | |
| JP3701051B2 (ja) | 情報記録装置及び情報再生装置 | |
| JP2008147838A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| JP4735413B2 (ja) | コンテンツ再生装置およびコンテンツ再生方法 | |
| US7801420B2 (en) | Video image recording and reproducing apparatus and video image recording and reproducing method | |
| US7822569B2 (en) | Specific-condition-section detection apparatus and method of detecting specific condition section | |
| US8693847B2 (en) | Contents processing apparatus and method | |
| EP1134974B1 (en) | Image recording and playback apparatus and method | |
| JP4519074B2 (ja) | 映像蓄積再生装置 | |
| JP2007097015A (ja) | 再生装置、記録再生装置、データ処理方法及びそのプログラム | |
| WO2005101824A1 (ja) | 情報記録装置及び情報記録方法、情報再生装置及び情報再生方法、情報記録用プログラム及び情報再生用プログラム | |
| JP3909130B2 (ja) | ストリームイベント点検出表示方法および装置 | |
| US20060263062A1 (en) | Method of and apparatus for setting video signal delimiter information using silent portions | |
| JP4158250B2 (ja) | 情報記録再生装置および方法、並びに提供媒体 | |
| JP2001298711A (ja) | 画像記録再生装置および方法、並びに記録媒体 | |
| JP2006012300A (ja) | ディスク再生装置 | |
| JP4196475B2 (ja) | 再生装置及び方法並びに記録及び／又は再生装置及び方法 | |
| JP4588287B2 (ja) | 記録装置および方法、記録媒体、並びにプログラム | |
| JP2002044573A (ja) | 情報信号処理装置および情報信号処理方法 | |
| JP4384564B2 (ja) | 映像区間検出装置、映像制作装置、映像区間検出プログラム、及び映像制作プログラム | |
| WO2007114010A1 (ja) | 情報再生装置及び方法、並びにコンピュータプログラム | |
| JPH09247607A (ja) | 音声及び画像の記録及び再生方法、記録及び再生装置及び情報記録媒体 | |
| JP3867737B2 (ja) | データ処理装置および方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060316 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081226 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090106 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090225 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090317 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090330 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120417 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120417 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120417 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130417 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |