JP2016119552A - Video contents processing device, video contents processing method and program - Google Patents
Video contents processing device, video contents processing method and program Download PDFInfo
- Publication number
- JP2016119552A JP2016119552A JP2014257572A JP2014257572A JP2016119552A JP 2016119552 A JP2016119552 A JP 2016119552A JP 2014257572 A JP2014257572 A JP 2014257572A JP 2014257572 A JP2014257572 A JP 2014257572A JP 2016119552 A JP2016119552 A JP 2016119552A
- Authority
- JP
- Japan
- Prior art keywords
- scene
- video content
- chapter
- image
- thumbnail
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、映像コンテンツ処理装置、映像コンテンツ処理方法及びプログラムに関する。 The present invention relates to a video content processing apparatus, a video content processing method, and a program.
近年、録画再生装置の中には、録画したテレビ番組の各シーンに対応するサムネイル画像（以下、サムネイル画像を単にサムネイルと記載）を生成するものがある。視聴者は、番組再生の際にサムネイルを閲覧することにより、番組中の所望のシーンを早く検索することができる。 In recent years, some recording / playback apparatuses generate thumbnail images corresponding to each scene of a recorded television program (hereinafter, thumbnail images are simply referred to as thumbnails). The viewer can quickly search for a desired scene in the program by browsing the thumbnail during program playback.
例えば、特許文献１の表示装置は、文字列が含まれるフレームのみを縮小してサムネイルを生成することにより、生成する全てのサムネイルを、文字列が含まれる画像にしている。 For example, the display device disclosed in Patent Document 1 generates thumbnails by reducing only frames that include character strings, thereby converting all the generated thumbnails into images that include character strings.
また、特許文献２には、動画コンテンツにおいて人物の顔、文字、ロゴ等の特徴的な画像を抽出し、抽出した画像の位置（時間）のサムネイルを取得する再生装置が開示されている。 Further, Patent Document 2 discloses a playback device that extracts characteristic images such as a human face, characters, and logo from moving image content, and acquires a thumbnail of the position (time) of the extracted image.
他の関連技術として、特許文献３には、ＴＶ放送の画面における文字情報領域（例えば文字テロップ）を拡大して、その画面上に重畳表示する画面拡大装置が開示されている。特許文献４には、画面上におけるキャプションや字幕などの文字部分を切り出してスケーリングし、スケーリング後の当該文字部分を別途スケーリングした原画像上に多重化する映像変換装置が開示されている。特許文献５には、録画のメディア登録情報のスクリーン表示において、視聴者が選択した項目を不透明な領域で表示するビデオ録画再生装置が開示されている。 As another related technique, Patent Literature 3 discloses a screen enlargement device that enlarges a character information area (for example, a character telop) on a TV broadcast screen and displays the enlarged information on the screen. Patent Document 4 discloses a video conversion apparatus that cuts out and scales a character portion such as a caption or caption on a screen, and multiplexes the scaled character portion on a separately scaled original image. Patent Document 5 discloses a video recording / playback apparatus that displays an item selected by a viewer in an opaque area in a screen display of recording media registration information.
録画再生装置が生成するサムネイルの大きさは、原画像の大きさに比較すると小さい。そのため、特許文献１及び２にかかる技術により生成されたサムネイルに表示される文字は、現画像に表示される文字と比較して小さくなる。従って、視聴者がサムネイルを閲覧する際に文字列の内容を現実的に視認し辛くなってしまうため、視聴者は、サムネイルにかかるシーンの内容を明確に理解できなくなるという課題があった。 The size of the thumbnail generated by the recording / playback apparatus is smaller than the size of the original image. Therefore, the characters displayed on the thumbnails generated by the techniques according to Patent Documents 1 and 2 are smaller than the characters displayed on the current image. Therefore, it is difficult for the viewer to visually recognize the content of the character string when browsing the thumbnail, and there is a problem that the viewer cannot clearly understand the content of the scene related to the thumbnail.
本発明は、このような問題点を解決するためになされたものであり、シーンの内容を視聴者に明確に伝達可能なサムネイルを生成する映像コンテンツ処理装置、映像コンテンツ処理方法及びプログラムを提供することを目的とする。 The present invention has been made to solve such problems, and provides a video content processing apparatus, a video content processing method, and a program for generating a thumbnail capable of clearly transmitting the contents of a scene to a viewer. For the purpose.
本発明の第１の態様にかかる映像コンテンツ処理装置は、シーン判定部と、サムネイル生成部を備える。シーン判定部は、映像コンテンツにおいて、前記映像コンテンツ内のシーンの特徴量が所定値以上一致する２つ以上のシーンを類似のシーンとして検出する。サムネイル生成部は、前記映像コンテンツを分割する複数のチャプタについて、前記チャプタに含まれるシーン内の画像を抽出し、前記画像に基づいて前記チャプタのサムネイルを生成する。ここでサムネイル生成部は、前記チャプタに前記類似のシーンが含まれる場合に、前記チャプタに含まれる前記類似のシーンから、文字、記号又は重畳された画像の少なくともいずれかが含まれる領域が表示される画像を抽出し、前記領域が強調して表示されるように前記画像を加工処理した画像に基づいて前記チャプタのサムネイルを生成する。 The video content processing apparatus according to the first aspect of the present invention includes a scene determination unit and a thumbnail generation unit. The scene determination unit detects, in the video content, two or more scenes in which the feature amount of the scene in the video content matches a predetermined value or more as similar scenes. The thumbnail generation unit extracts an image in a scene included in the chapter for a plurality of chapters that divide the video content, and generates a thumbnail of the chapter based on the image. Here, when the chapter includes the similar scene, the thumbnail generation unit displays an area including at least one of a character, a symbol, and a superimposed image from the similar scene included in the chapter. And the chapter thumbnails are generated based on the processed image so that the region is highlighted.
本発明の第２の態様にかかる映像コンテンツ処理方法は、映像コンテンツ処理装置における映像コンテンツ処理方法である。この映像コンテンツ処理方法は、以下のステップ（ａ）〜（ｂ）を備える。
（ａ）映像コンテンツにおいて、前記映像コンテンツ内のシーンの特徴量が所定値以上一致する２つ以上のシーンを類似のシーンとして検出するステップ、及び
（ｂ）前記映像コンテンツを分割する複数のチャプタについて、前記チャプタに含まれるシーン内の画像を抽出し、前記画像に基づいて前記チャプタのサムネイルを生成するステップ。ここで、前記チャプタに前記類似のシーンが含まれる場合には、映像コンテンツ処理装置は、前記チャプタに含まれる前記類似のシーンから、文字、記号又は重畳された画像の少なくともいずれかが含まれる領域が表示される画像を抽出し、前記領域が強調して表示されるように前記画像を加工処理した画像に基づいて、前記チャプタの前記サムネイルを生成する。
The video content processing method according to the second aspect of the present invention is a video content processing method in a video content processing apparatus. This video content processing method includes the following steps (a) to (b).
(A) in video content, detecting two or more scenes in which the feature amount of the scene in the video content matches a predetermined value or more as a similar scene; and (b) a plurality of chapters that divide the video content Extracting an image in a scene included in the chapter and generating a thumbnail of the chapter based on the image. Here, when the similar scene is included in the chapter, the video content processing apparatus includes an area including at least one of a character, a symbol, or a superimposed image from the similar scene included in the chapter. Is extracted, and the thumbnail of the chapter is generated based on an image obtained by processing the image so that the region is displayed with emphasis.
本発明の第３の態様にかかるプログラムは、本発明の第２の態様にかかる映像コンテンツ処理方法を映像コンテンツ処理装置に実行させるものである。 The program according to the third aspect of the present invention causes the video content processing apparatus to execute the video content processing method according to the second aspect of the present invention.
本発明により、シーンの内容を視聴者に明確に伝達可能なサムネイルを生成する映像コンテンツ処理装置、映像コンテンツ処理方法及びプログラムを提供することができる。 According to the present invention, it is possible to provide a video content processing apparatus, a video content processing method, and a program for generating a thumbnail capable of clearly transmitting the contents of a scene to a viewer.
[実施の形態１]
以下、図面を参照して本発明の実施の形態１について説明する。図１に示す通り、実施の形態１にかかる映像コンテンツ処理装置１０は、シーン判定部１１とサムネイル生成部１２を備える。映像コンテンツ処理装置１０は、例えばテレビ番組の録画再生装置、インターネットにおいて映像コンテンツを配信するコンテンツ配信サーバといったコンピュータである。映像コンテンツ処理装置１０は、テレビ番組、映画、インターネット放送等の映像コンテンツに関して、サムネイルを生成する。
[Embodiment 1]
Embodiment 1 of the present invention will be described below with reference to the drawings. As shown in FIG. 1, the video
映像コンテンツは、その内容に応じて、複数のチャプタ（内容単位）に分割される。映像コンテンツは、例えばシーンの切り替えに応じて、複数のチャプタに分割することができる。ここで、映像コンテンツを分割するチャプタは、映像コンテンツ処理装置１０内に設けられたチャプタ設定部により設定されてもよいし、映像コンテンツ処理装置１０以外の装置で設定されてもよい。また、チャプタに含まれるシーンは、１つであってもよいし、複数であってもよい。
The video content is divided into a plurality of chapters (content units) according to the content. The video content can be divided into a plurality of chapters, for example, according to scene switching. Here, the chapter for dividing the video content may be set by a chapter setting unit provided in the video
シーン判定部１１は、映像コンテンツにおいて、映像コンテンツ内のシーンの特徴量が所定値以上一致する２つ以上のシーンを類似のシーンとして検出する。ここで、シーンの特徴量は、シーンがどのようなシーンであるかを特徴付ける情報量であり、例えば、映像コンテンツにおいて所定の回数又は所定の時間以上出現する特定の人物の顔情報、画像の構図情報又は特定の背景情報を含む。
In the video content, the
特定の人物の顔情報は、映像コンテンツ中における進行役の人物（換言すれば、トピックを視聴者やゲストに提示する人物）の顔情報が一例として示される。特定の人物の顔情報は、映像コンテンツがニュース番組であればニュースキャスターの顔情報であり、映像コンテンツがトークショーやバラエティショーであれば司会者の顔情報である。 As the face information of a specific person, face information of a facilitating person in the video content (in other words, a person who presents a topic to a viewer or a guest) is shown as an example. The face information of a specific person is newscaster face information if the video content is a news program, and is face information of the presenter if the video content is a talk show or a variety show.
例えば、映像コンテンツ内において、特定の人物の顔が出現するシーンが２つあった場合に、シーン判定部１１は、人物の顔情報（２つのシーンの特徴量）が所定値以上一致すると判定する。この所定値は、例えば顔の色情報における一致率である。例えば、２つのシーンに映る顔が異なる向きであったとしても、両方のシーンとも特定の人物の顔が映るシーンである場合には、シーン判定部１１は、２つのシーンの特徴量が所定値以上一致すると判定する。なお、異なる人物の顔が出現する２つのシーンがあるような場合に、シーン判定部１１は、その２つのシーンの特徴量の一致度は所定値未満と判定する。この所定値は、特定の人物の顔が出現するシーンを判定可能な閾値である。
For example, when there are two scenes in which the face of a specific person appears in the video content, the
画像の構図情報は、例えば映像コンテンツにおける人物の配置を示した情報である。構図情報は、例えば、正面を向いた１人又は２人（少数）の人物の上半身が映された構図であってもよいし、少数の人物の全身が映された構図であってもよい。ここで、少数の人物は、画面の縦中央の領域に位置している。また、少数の人物は、画面の横方向において、端を除いた中心又は中心近くの領域に位置していてもよい。 The image composition information is information indicating the arrangement of persons in the video content, for example. The composition information may be, for example, a composition that reflects the upper half of one or two (a few) persons facing the front, or a composition that reflects the whole body of a small number of persons. Here, a small number of persons are located in the vertical center area of the screen. A small number of persons may be located in the center or near the center excluding the edges in the horizontal direction of the screen.
例えば、映像コンテンツ内において、特定の画像の構図が出現するシーンが２つあった場合に、シーン判定部１１は、その２つのシーンの特徴量が所定値以上一致すると判定する。この所定値は、例えば構図の色情報における一致率である。なお、異なる画像の構図が出現する２つのシーンがあるような場合に、シーン判定部１１は、その２つのシーンの特徴量の一致度は所定値未満と判定する。この所定値は、特定の画像の構図が出現するシーンを判定可能な閾値である。
For example, when there are two scenes in which the composition of a specific image appears in the video content, the
特定の背景情報は、画面に登場する人物の背景についての情報である。背景情報は、例えば、背景が特定のスタジオや屋外の場所であることを示す色情報であってもよい。 The specific background information is information about the background of the person appearing on the screen. The background information may be color information indicating that the background is a specific studio or an outdoor location, for example.
例えば、映像コンテンツ内において、特定の背景が出現するシーンが２つあった場合に、シーン判定部１１は、その２つのシーンの特徴量が所定値以上一致すると判定する。この所定値は、例えば背景の色情報における一致率である。このとき、２つのシーンにおいて特定の背景が占める領域の割合が多少異なっていても、シーン判定部１１は、その２つのシーンの特徴量が所定値以上一致すると判定する。なお、異なる背景が出現する２つのシーンがあるような場合に、シーン判定部１１は、その２つのシーンの特徴量の一致度は所定値未満と判定する。
For example, when there are two scenes in which the specific background appears in the video content, the
以上のシーンの特徴量は、例えば、ニュースキャスターや司会者がトピックを視聴者に提示する際に画面に現れる特徴量である。なお、シーンの特徴量は、特定の人物の顔情報、画像の構図情報又は特定の背景情報のいずれか１つが含まれてもよいし、２つ以上の情報が含まれてもよい。また、シーンの特徴量はこれらの具体例に限定されるものではない。このようなシーンの特徴量は、特定のシーンの特徴量として、例えば映像コンテンツ処理装置１０の図示せぬ記憶部に予め記憶することができる。
The above-described scene feature amounts are, for example, feature amounts that appear on the screen when a newscaster or a moderator presents topics to viewers. Note that the feature amount of the scene may include any one of face information of a specific person, image composition information, or specific background information, or may include two or more pieces of information. The feature amount of the scene is not limited to these specific examples. Such a scene feature amount can be stored in advance in a storage unit (not shown) of the video
サムネイル生成部１２は、映像コンテンツのチャプタにおけるシーン内の画像を抽出し、その画像に基づいて、チャプタのサムネイルを生成する。サムネイルは、映像コンテンツの原画像よりも縮小された画像である。このサムネイルを全てのチャプタについて生成することにより、視聴者は、各チャプタにどのような内容が映し出されているかを、サムネイルを視認することで確認できる。なお、サムネイルは、１つのチャプタについて、１又は複数生成される。
The
ここで、サムネイル生成部１２は、サムネイル生成対象となるチャプタに含まれるシーンが類似のシーンである場合に、そのシーンにおいて、文字、記号又は重畳された（スーパーインポーズされた）画像の少なくともいずれかが含まれる領域（以下、文字等の表示領域と記載）が存在する画像を抽出する。ここでサムネイル生成部１２は、公知の画像認識技術（例えばパターン認識技術）を用いて、シーン中の画像において、文字、記号又は重畳された画像の少なくともいずれかが含まれる領域の存在を判定する。
Here, when the scene included in the chapter that is a thumbnail generation target is a similar scene, the
ここで、文字は、シーン中においてボードやディスプレイに表示されている文字であってもよいし、画面にスーパーインポーズされたテロップ中の文字であってもよい。記号は、ロゴ、図案化された文字等を含むものである。重畳された画像には、背景画像（例えばスタジオが映っている画像）に重畳される写真やコンピュータで生成されたイメージが含まれる。映像コンテンツがニュース番組である場合、重畳された画像には、ニュースのトピックを示すロゴや記号等が表示されることもある。背景画像にこのような画像が重畳された画像が、映像コンテンツにおいて実際に表示される画像となる。 Here, the character may be a character displayed on a board or display in the scene, or may be a character in a telop superimposed on the screen. Symbols include logos, stylized characters, and the like. The superimposed image includes a photograph superimposed on a background image (for example, an image showing a studio) or a computer generated image. When the video content is a news program, a logo or a symbol indicating a news topic may be displayed on the superimposed image. An image in which such an image is superimposed on the background image is an image that is actually displayed in the video content.
サムネイル生成部１２は、文字等の表示領域が存在する画像を抽出後、抽出した画像においてその領域が強調して表示されるようにその画像を加工処理する。そして、加工処理後の画像をサムネイルとして設定する。
After extracting an image in which a display area such as a character exists, the
なお、様々な処理を行う機能ブロックとして図１に記載された映像コンテンツ処理装置１０の各要素は、ハードウェア的には、メモリやその他のＩＣ（Integrated Circuit）等の回路で構成することができ、ソフトウェア的には、メモリにロードされたプログラム等を用いて実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せを用いていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。実施の形態２における録画再生装置においても同様である。
Note that each element of the video
以下、映像コンテンツ処理装置１０の処理方法の一例について、図２を参照して説明する。
Hereinafter, an example of the processing method of the video
まず、シーン判定部１１は、映像コンテンツにおいて、第１のチャプタに含まれる第１のシーンの特徴量と、記憶部に記憶された特定のシーンの特徴量とが、所定の閾値以上で一致するか否かを判定する。換言すれば、シーン判定部１１は、第１のシーンと特定のシーンとが類似であるか否かを判定している。
First, in the video content, the
所定の閾値以上一致した場合に、シーン判定部１１は、第１のシーンが類似のシーンであることを判定する。シーン判定部１１は、第２のチャプタに含まれるシーンの特徴量と、記憶部に記憶された特定のシーンの特徴量とが、所定の閾値以上一致するか否かを判定し、所定の閾値以上一致した場合に、第２のシーンが類似のシーンであることを判定する。このとき、シーン判定部１１は、第１のシーンと第２のシーンとが類似であると判定する。換言すれば、第１のシーンの特徴量と第２のシーンの特徴量とは所定値以上一致するといえる。シーン判定部１１は、映像コンテンツの一部又は全部のチャプタのシーンにおいて、同様の判定を行う。
The
このようにして、シーン判定部１１は、シーンの特徴量が所定値以上一致する２つ以上シーンを、類似のシーンとして映像コンテンツ内で検出する（ステップＳ１１）。
In this way, the
サムネイル生成部１２は、シーン判定部１１が映像コンテンツにおける類似のシーンを検出後、サムネイル生成対象となるチャプタに含まれるシーンが、その類似のシーンであるか否かを判定する（ステップＳ１２）。
After the
対象のチャプタに類似のシーンが含まれる場合（ステップＳ１２のＹｅｓ）、サムネイル生成部１２は、そのシーンにおいて、文字等の表示領域が存在する画像を抽出する。そして、その画像においてその領域が強調して表示されるように画像を加工処理し、加工処理後の画像を縮小したものをサムネイルに設定する（ステップＳ１３）。
When a similar scene is included in the target chapter (Yes in step S12), the
対象のチャプタには類似のシーンが含まれない場合（ステップＳ１２のＮｏ）、サムネイル生成部１２は、対象のチャプタにおけるシーンから画面を抽出し、その画面を縮小したものを、対象のチャプタにおけるサムネイルに設定する。つまり、サムネイル生成部１２は、シーン内の画像中の領域について加工処理を行わない状態で、その画像をサムネイルに設定する（ステップＳ１４）。以上のようにして、サムネイル生成部１２は、チャプタにおけるサムネイルを生成する。
When the target chapter does not include a similar scene (No in step S12), the
まとめると、シーン判定部１１は、映像コンテンツにおいて複数現れる類似のシーンを判定し、サムネイル生成部１２は、生成対象のチャプタに含まれるシーンがその類似するシーンである場合に、文字等の表示領域が強調されるようなサムネイルを生成する。複数の類似するシーンが現れる映像コンテンツでは、その類似するシーンにおいて、その類似するシーン以降のシーンで話される内容の概略（トピック）が表示される場合が多い。例えば、ニュース番組では、ニュースキャスターが登場するシーン（類似するシーン）において、ニュースの概略が字幕テロップやロゴ等で表示される。
In summary, the
本実施形態にかかる映像コンテンツ処理装置において、視聴者は、トピックが強調して表示されるサムネイルを見ることができるため、シーンの内容を明確に理解することができる。また、サムネイルでトピックが表示されているため、単なる文字情報でトピックを表示する場合と比較して、映像コンテンツ処理装置１０は、視聴者に対して訴求力高く映像コンテンツのトピックの表示を行うことができる。
In the video content processing apparatus according to the present embodiment, the viewer can clearly see the contents of the scene because the viewer can see the thumbnail with the topic highlighted. In addition, since the topic is displayed as a thumbnail, the video
さらに、サムネイル生成部１２は、生成対象のチャプタに類似するシーンが含まれない場合、文字等の表示領域が強調されるような加工処理を行わない。このため、視聴者は、トピック部分のみが強調して表示されるサムネイルを視認するため、トピック以外の文字表示等をトピックと混同することがない。
Furthermore, when a scene similar to the chapter to be generated is not included, the
また、映像コンテンツ処理装置１０には、映像コンテンツ内において２回以上出現する特定のシーンの特徴量を予め記憶した記憶部が設けられている。シーン判定部１１は、映像コンテンツ内のシーンの特徴量と、この記憶部に記憶された特定のシーンの特徴量とを比較することにより、類似のシーンを映像コンテンツ内で検出することができる。このため、映像コンテンツにおいて各シーンの比較を行うことで類似のシーンを検出する場合と比較して、映像コンテンツ処理装置１０は、類似のシーンの検出をより早く実行することができる。
In addition, the video
また、類似のシーンを判定するための特徴量として、特定の人物の顔情報、画像の構図情報又は特定の背景情報の少なくともいずれかを用いることもできる。このとき、サムネイル生成部１２は、サムネイル生成対象となるチャプタに含まれるシーンが類似のシーンである場合に、文字等の表示領域が存在するとともに、特定の人物、人物の特定の配置又は特定の背景が出現するシーンの画像を画像として抽出する。
In addition, as a feature amount for determining a similar scene, at least one of face information of a specific person, composition information of an image, or specific background information can be used. At this time, when the scene included in the chapter for which thumbnail generation is to be performed is a similar scene, the
以上に示した実施の形態１にかかる映像コンテンツ処理装置１０の処理は、適宜変更することができる。例えば、ステップＳ１２の処理は、サムネイル生成部１２ではなく、シーン判定部１１が実行してもよい。また、サムネイル生成部１２は、生成対象のチャプタに類似するシーンが含まれない場合、文字等の表示領域が強調されるような加工処理以外の加工処理を画像に施してもよい。
The processing of the video
また、判定に用いるシーンの特徴量は、映像コンテンツ処理装置１０の記憶部に記憶されていなくともよい。例えば、シーン判定部１１は、映像コンテンツを解析して、映像コンテンツ内の２つ以上のシーンに共通する所定値以上の特徴量を検出してもよい。シーン判定部１１は、検出した所定値以上の特徴量を含むシーンを、前記類似のシーンとして検出する。つまり、シーン判定部１１は、映像コンテンツ内のシーンを実際に比較した上で類似のシーンを検出する。これによって、映像コンテンツ処理装置１０は、類似のシーンを判定するための特徴量が予め記憶されていない状態であっても、類似のシーンにおいて文字等を強調した画像のサムネイルを生成することができる。
Further, the feature amount of the scene used for the determination may not be stored in the storage unit of the video
[実施の形態２]
以下、図面を参照して本発明の実施の形態２について説明する。実施の形態２では、実施の形態１において説明した映像コンテンツ処理装置の具体例について説明する。
[Embodiment 2]
The second embodiment of the present invention will be described below with reference to the drawings. In the second embodiment, a specific example of the video content processing apparatus described in the first embodiment will be described.
図３に示す通り、実施の形態２にかかる録画再生装置２０は、映像コンテンツ記憶部２１と特徴量記憶部２２とシーン判定／チャプタ設定部２３とサムネイル生成部２４を備える。
As shown in FIG. 3, the recording /
映像コンテンツ記憶部２１には、視聴者の操作によって録画された映像コンテンツとして、ニュース番組が記憶されている。映像コンテンツ記憶部２１は、例えばＨＤＤ（Hard Disk Drive）で構成されている。特徴量記憶部２２には、ニュース番組においてニュースキャスターが画面に現れるシーン（以下、メインシーンと記載）を識別するための特徴量が記憶されている。メインシーンは、実施の形態１における類似のシーンに対応する。特徴量は、ニュースキャスターの顔情報、ニュースキャスターが画面所定の位置にいることを示す構図情報、又はニュースを報道するスタジオを示す背景情報の少なくともいずれか１つを含む。例えば、ニュースキャスターのクローズアップシーンがメインシーンである場合、構図情報は、ニュースキャスターが画面中央、又は画面中央から右若しくは左側に少しずれた領域に位置している構図を示していてもよい。また、構図情報には、ニュースキャスターの位置情報だけでなく、背景色の情報も含まれていてもよい。
The video
シーン判定／チャプタ設定部２３は、映像コンテンツ記憶部２１に記憶されたニュース番組におけるシーンの特徴量を抽出することにより、シーンの切り替えを判定して、シーンの切り替え箇所にカットポイントを設定する。また、シーン判定／チャプタ設定部２３は、カットポイントで定義された各シーンがメインシーンか非メインシーンかを判定する。この非メインシーンは、ニュース番組における録画映像や中継映像等、ニュースキャスターが登場しないシーンをいう。また、シーン判定／チャプタ設定部２３は、判定対象シーンがメインシーンと判定した場合に、メインシーンと非メインシーンの区切りの箇所にチャプタポイントを設定する。このようにして、シーン判定／チャプタ設定部２３はチャプタを設定する。
The scene determination /
サムネイル生成部２４は、映像コンテンツ記憶部２１に記憶されたニュース番組において、各チャプタにおけるシーン内の画像を抽出することにより、各チャプタについて１つのサムネイルを生成する。このサムネイルは、映像コンテンツ記憶部２１に記憶された映像コンテンツを再生する際に、録画再生装置２０が、録画再生装置２０と接続されたテレビに映し出す画像である。ここで、サムネイル生成部２４は、シーン判定／チャプタ設定部２３が実行したシーン判定の結果に基づいて、サムネイルの生成方法を変更する。
The
図４には、映像コンテンツ記憶部２１に記憶されたニュース番組における、カットポイントとチャプタポイントとサムネイルの生成例が示されている。図４を参照して、シーン判定／チャプタ設定部２３とサムネイル生成部２４の処理の詳細について説明する。
FIG. 4 shows an example of generating cut points, chapter points, and thumbnails in a news program stored in the video
ニュース番組において、ニュースの各トピック（ニュース＃１、ニュース＃２、・・・）のシーンは、ニュースキャスターが現れるメインシーンとそれ以外の非メインシーンで構成される。例えばニュース＃１の全体シーンは、メインシーン１、非メインシーン１、メインシーン２（図４では、メイン１、非メイン１、メイン２と記載）の３つのシーンで構成されている。同様に、ニュース＃２の全体シーンは、メインシーン３、非メインシーン２、メインシーン４（図４では、メイン３、非メイン２、メイン４と記載）の３つのシーンで構成されている。 In the news program, each scene of news topics (news # 1, news # 2,...) Is composed of a main scene in which a news caster appears and other non-main scenes. For example, the entire scene of News # 1 is composed of three scenes: a main scene 1, a non-main scene 1, and a main scene 2 (denoted as main 1, non-main 1 and main 2 in FIG. 4). Similarly, the entire scene of news # 2 is composed of three scenes: main scene 3, non-main scene 2, and main scene 4 (denoted as main 3, non-main 2, and main 4 in FIG. 4).
シーン判定／チャプタ設定部２３は、ニュース番組におけるシーンの特徴量を抽出することにより、ニュース番組のシーンの切り替えを判定して、シーンの切り替え箇所にカットポイントを設定する。このカットポイントは、図４において黒三角で示されている。なお、非メインシーン１及び２においては、その中でもシーンの切り替えが生ずるので、メインシーンとの区切りの箇所以外の場所にもカットポイントが設定される。
The scene determination /
次に、シーン判定／チャプタ設定部２３は、カットポイントで定義された各シーンについて、シーンの特徴量と特徴量記憶部２２に記憶された特徴量とが所定の閾値以上一致するか否かを判定する。判定対象シーンの特徴量が記憶された特徴量と所定の閾値以上一致する場合には、シーン判定／チャプタ設定部２３は、判定対象シーンがメインシーンと判定する。また、判定対象シーンの特徴量と記憶された特徴量との一致が所定の閾値未満である場合には、判定対象シーンが非メインシーンと判定する。
Next, for each scene defined by the cut point, the scene determination /
シーン判定／チャプタ設定部２３は、以上のようにしてメインシーンと非メインシーンを識別し、メインシーンと非メインシーンの区切りの箇所にチャプタポイントを設定する。以上のようにして設定されたチャプタポイントは、図４において、メインシーン１と非メインシーン１との間、非メインシーン１とメインシーン２との間、メインシーン３と非メインシーン２との間、非メインシーン２とメインシーン４との間にそれぞれ設けられている。これらのチャプタポイントは、図４において白三角で示されている。
The scene determination /
また、シーン判定／チャプタ設定部２３は、同じメインシーン内においてシーンが切り替わる箇所がある場合には、その切り替わる箇所においてチャプタポイントを設定する。シーンが切り替わるとは、ニュースキャスターが今まで話していたニュースを終了し、次のニュースを読み上げることをいう。この切り替えは、例えば画面上において新たに文字等の表示領域が表示されることにより、検出できる。そのため、図４では、メインシーン２とメインシーン３との間にチャプタポイントが設定されている。
In addition, when there is a place where the scene is switched in the same main scene, the scene determination /
シーン判定／チャプタ設定部２３は、以上のようにして複数のチャプタを設定する。図４では、メインシーン１を含むチャプタをチャプタ１、非メインシーン１を含むチャプタをチャプタ２、メインシーン２を含むチャプタをチャプタ３、メインシーン３を含むチャプタをチャプタ４、非メインシーン２を含むチャプタをチャプタ５、メインシーン４を含むチャプタをチャプタ６としている。なお、シーン判定／チャプタ設定部２３は、設定した各チャプタについて、その各チャプタにメインシーンが含まれるか否かのチャプタ情報を、シーン判定／チャプタ設定部２３内部の記憶部に格納する。
The scene determination /
そして、サムネイル生成部２４は、ニュース番組において、シーン判定／チャプタ設定部２３が設定した各チャプタにおけるシーン内の画像を抽出することにより、各チャプタのサムネイルを生成する。ここで、サムネイル生成部２４は、シーン判定／チャプタ設定部２３内部の記憶部に格納されたチャプタ情報に基づき、サムネイル生成対象となるチャプタにメインシーンが含まれるか否かを判定する。
Then, the
サムネイル生成対象のチャプタにメインシーンが含まれていると判定される場合、サムネイル生成部２４は、メインシーン冒頭における文字等の表示領域において、その領域が強調して表示されるようにその画像を加工処理する。文字等の表示領域の具体例については、実施の形態１で示した通りである。図４では、チャプタ１、チャプタ３、チャプタ４、チャプタ６の冒頭の画像であって、文字等の表示領域が含まれる画像をサムネイル生成部２４は抽出している。そして、抽出した画像の加工処理を行い、加工処理後の画像をサムネイルに設定する。図４では、チャプタ１、チャプタ３、チャプタ４、チャプタ６の各チャプタについて作成されたサムネイルが白四角で示されている。
When it is determined that the main scene is included in the thumbnail generation target chapter, the
ここで、サムネイル生成部２４は、メインシーン冒頭においてニュースキャスターが映っている画面を検出し、その画面から時間が経過して最初に文字等の表示領域が現れた画面を抽出する。つまり、サムネイル生成部２４は、メインシーンにおいて最初に文字等の表示領域が現れた画面を抽出する。これは、メインシーンにおいて最初に現れる文字等の表示領域が、そのメインシーンにおけるニュースのトピックを伝えるものであると考えられるからである。
Here, the
以下、例を挙げて、サムネイル生成部２４が実行する加工処理の詳細について説明する。図５Ａは、メインシーンの冒頭においてテロップが表示されている画像の一例である。サムネイル生成部２４は、この画像Ｐ１のテロップ領域Ｔ１を文字等の表示領域として抽出する。そして、抽出したテロップ領域Ｔ１を画像の縦方向（図５Ａにおける上下方向）及び横方向（図５Ａにおける左右方向）に拡大して、原画像に重畳する。さらに、サムネイル生成部２４は、拡大されたテロップ領域Ｔ１（テロップ領域Ｔ１’）以外の領域（ニュースキャスター、背景等が映っている領域）に半透明のフィルタをかける処理を実行する。
Hereinafter, the details of the processing performed by the
図５Ｂは、加工処理後の画像Ｐ１を示している。この画像Ｐ１では、テロップ領域Ｔ１が拡大されてテロップ領域Ｔ１’となっているとともに、テロップ領域Ｔ１’以外の領域の明度及び輝度が暗くなっている。そのため、テロップ領域Ｔ１’が強調されて見やすくなっている。この画像Ｐ１を縮小することにより、サムネイル生成部２４はサムネイルを生成する。なお、テロップ領域Ｔ１’は、画像Ｐ１の中央領域に重畳されている。
FIG. 5B shows the image P1 after the processing. In this image P1, the telop area T1 is enlarged to become a telop area T1 ', and the brightness and luminance of areas other than the telop area T1' are dark. Therefore, the telop area T1 'is emphasized for easy viewing. By reducing the image P1, the
図６Ａは、メインシーンの冒頭においてテロップが表示されている画像の他の例である。サムネイル生成部２４は、この画像Ｐ２のテロップ領域Ｔ２及び重畳された画像の領域（重畳画像領域）Ｃ１を文字等の表示領域として抽出する。そして、抽出したテロップ領域Ｔ２及び重畳画像領域Ｃ１を縦方向及び横方向に拡大して、原画像に重畳する。さらに、サムネイル生成部２４は、拡大されたテロップ領域Ｔ２（テロップ領域Ｔ２’）及び重畳画像領域Ｃ１（重畳画像領域Ｃ１’）以外の領域（ニュースキャスター、背景等が映っている領域）に半透明のフィルタをかける処理を実行する。
FIG. 6A is another example of an image in which a telop is displayed at the beginning of the main scene. The
図６Ｂは、加工処理後の画像Ｐ２を示している。画像Ｐ２においても、画像Ｐ１と同様の理由で、テロップ領域Ｔ２’及び重畳画像領域Ｃ１’が強調されて見やすくなっている。この画像Ｐ２を縮小することにより、サムネイル生成部２４はサムネイルを生成する。なお、テロップ領域Ｔ２は、図６Ｂにおいて画像Ｐ２の下段領域に重畳されており、重畳画像領域Ｃ１は、画像Ｐ２の左側の上部〜中央領域に重畳されている。これらの領域は、拡大前のテロップ領域Ｔ２及び重畳画像領域Ｃ１が画像Ｐ２上に配置されていた領域である。拡大されたテロップ領域Ｔ２’と重畳画像領域Ｃ１’とは、離れた位置で重畳されている。
FIG. 6B shows the image P2 after the processing. Also in the image P2, the telop area T2 'and the superimposed image area C1' are emphasized for the same reason as in the image P1, so that it is easy to see. By reducing the image P2, the
以上の例では、文字等の表示領域が画面に１つだけある場合と画面に複数ある場合とでは、文字等の表示領域の拡大方法を変更している。図５Ａ、図５Ｂに示すように、文字等の表示領域が画面に１つだけある場合には、サムネイル生成部２４は、拡大した文字等の表示領域を画面中央に表示させている。これは、生成されたサムネイルを視聴者が見る際に、拡大した文字等の表示領域が画面端にある場合と比較して、文字等の表示領域を視聴者がより見やすくできるためである。
In the above example, the method for enlarging the display area of characters or the like is changed between the case where there is only one display area for characters and the like and the case where there are multiple display areas on the screen. As shown in FIGS. 5A and 5B, when there is only one display area for characters or the like on the screen, the
これに対し、図６Ａ、図６Ｂに示すように、文字等の表示領域が画面に複数ある場合には、サムネイル生成部２４は、拡大した複数の文字等の表示領域を、それぞれが重ならないような位置に配置している。また、サムネイル生成部２４は、それぞれの文字等の表示領域を拡大する際にも、他の文字等の表示領域と重ならない大きさになるように、それぞれの文字等の表示領域の拡大率を調整している。このように、複数の文字等の表示領域が重ならないため、生成されたサムネイルを視聴者が見る際に、全ての文字等の表示領域について、欠けがない状態で見ることができる。つまり、視聴者はサムネイルを見たときに、ニュースのトピックを漏れがなく見ることができる。
On the other hand, as shown in FIGS. 6A and 6B, when there are a plurality of display areas for characters and the like on the screen, the
なお、サムネイル生成部２４は、テロップ領域Ｔ１を画面の横幅一杯に最大限拡大して、テロップ領域Ｔ１の左右端を画面の左右端と揃えるように、テロップ領域Ｔ１を画面に重畳してもよい。
The
また、サムネイル生成部２４は、テロップ領域Ｔ１における文字部分を検出し、その文字部分が画面の横幅一杯に最大限拡大されるようにテロップ領域Ｔ１を拡大してもよい。ここで、サムネイル生成部２４は、テロップ領域Ｔ１の文字部分が画面から欠けないよう、文字部分の左右端を画面の左右端と揃えるように、テロップ領域Ｔ１を画面に重畳してもよい。テロップ領域Ｔ２においても、同様の処理が可能である。
Further, the
図４に戻り、チャプタ１、チャプタ３、チャプタ４、チャプタ６以外のチャプタにおけるサムネイルの生成処理について説明する。サムネイル生成対象のチャプタにメインシーンが含まれていないと判定される場合、サムネイル生成部２４は、チャプタ内のシーン（非メインシーン）冒頭の画像を抽出して、その画像を縮小することにより、サムネイルを生成する。図４では、チャプタ２、チャプタ５について作成されたサムネイルが黒四角で示されている。このように、サムネイル生成部２４は、シーン判定により識別されたシーン分類に応じてサムネイルの生成方法を変更する。
Returning to FIG. 4, the thumbnail generation processing for chapters other than chapter 1, chapter 3, chapter 4, and chapter 6 will be described. When it is determined that the main scene is not included in the thumbnail generation target chapter, the
図７は、以上のようにして生成されたサムネイルのテレビ画面上での表示例である。図７に示す通り、画像Ｐ１、Ｐ２はメインシーンを示すサムネイルである。そのため、画像Ｐ１及びＰ２における文字等の表示領域が拡大されている。拡大された文字等の表示領域は、画像Ｐ１ではテロップ領域Ｔ１’、画像Ｐ２ではテロップ領域Ｔ２’及び重畳画像領域Ｃ１’である。これに対し、画像Ｐ３、Ｐ４は非メインシーンを示すサムネイルである。そのため、画像Ｐ３、Ｐ４では文字等の表示領域を拡大する処理はなされていない。例えば、画像Ｐ３にはテロップ領域Ｔ３が映し出されているものの、テロップ領域Ｔ３はサムネイルの縮小処理に応じて縮小されており、拡大されていない。なお、視聴者は、図７のように表示された複数のサムネイルのうち１つを選択することで、選択されたサムネイルに対応したチャプタをテレビで再生させることができる。 FIG. 7 is a display example on the television screen of the thumbnail generated as described above. As shown in FIG. 7, the images P1 and P2 are thumbnails indicating the main scene. Therefore, the display area of characters and the like in the images P1 and P2 is enlarged. The enlarged display area of characters and the like is a telop area T1 'in the image P1, and a telop area T2' and a superimposed image area C1 'in the image P2. On the other hand, the images P3 and P4 are thumbnails indicating non-main scenes. For this reason, the images P3 and P4 are not subjected to processing for enlarging the display area of characters and the like. For example, although the telop area T3 is displayed in the image P3, the telop area T3 is reduced according to the thumbnail reduction process and is not enlarged. Note that the viewer can play back a chapter corresponding to the selected thumbnail on the television by selecting one of the plurality of thumbnails displayed as shown in FIG.
次に、図８を参照して、サムネイル生成部２４がニュース番組の時間順に各チャプタのサムネイルを生成する処理を説明する。
Next, with reference to FIG. 8, a process in which the
まず、サムネイル生成部２４は、ニュース番組において設定されたチャプタポイントを読み込む（ステップＳ２１）。サムネイル生成部２４がニュース番組において初めてサムネイルを生成する場合には、サムネイル生成部２４は、最も先頭の（時間が早い）チャプタポイントを読み込む。
First, the
次に、サムネイル生成部２４は、読み込んだチャプタポイントにかかるチャプタ（サムネイル生成対象チャプタ）がメインシーンを含むか否かを判定する（ステップＳ２２）。この判定は、シーン判定／チャプタ設定部２３内部の記憶部に格納されたチャプタ情報に基づいて実行される。
Next, the
サムネイル生成対象チャプタがメインシーンを含む場合（ステップＳ２２のＹｅｓ）、サムネイル生成部２４は、文字等の表示領域が含まれる画像をメインシーンから抽出し、文字等の表示領域が強調されるように加工処理を行った画像をサムネイルに設定する（ステップＳ２３）。この処理の詳細については上述の通りである。
When the thumbnail generation target chapter includes a main scene (Yes in step S22), the
サムネイル生成対象チャプタがメインシーンを含まない場合（ステップＳ２２のＮｏ）、サムネイル生成部２４は、チャプタ内の非メインシーン冒頭の画像を抽出して、その画像を縮小することにより、サムネイルを生成する。換言すれば、サムネイル生成部２４は、通常のサムネイル作成処理を行う（ステップＳ２４）。
When the thumbnail generation target chapter does not include the main scene (No in step S22), the
サムネイル生成部２４がサムネイルを生成した後、サムネイル生成部２４は、ニュース番組内に次のチャプタがあるか否か（即ち、サムネイルが未設定のチャプタがあるか否か）を判定する（ステップＳ２５）。ニュース番組内に次のチャプタがある場合（ステップＳ２５のＹｅｓ）、サムネイル生成部２４は、次のチャプタのチャプタポイントを読み込む（ステップＳ２１）。以降、サムネイル生成部２４は、ループして上述の処理を繰りかえす。ニュース番組内に次のチャプタがない場合（ステップＳ２５のＮｏ）、サムネイル生成部２４は処理を終了する。
After the
以上のようにして、録画再生装置２０は、チャプタに含まれるシーンがメインシーンである場合に、そのチャプタのサムネイルを、文字等の表示領域が強調して表示されるように生成する。このため、サムネイルの視聴者は、メインシーンの内容を明確に理解することができる。
As described above, when the scene included in the chapter is the main scene, the recording /
具体的には、サムネイル生成に用いる画像において文字等の表示領域を拡大させることにより、サムネイルになっても文字等の表示領域を視聴者にとって見やすくすることができる。また、サムネイル生成に用いる画像において文字等の表示領域以外の領域に半透明のフィルタをかける処理を行うことで、文字等の表示領域を視聴者にとってより見やすくすることができる。文字等の表示領域はニュースの内容を表示しているものであるため、視聴者にとって重要な情報である。一方、文字等の表示領域以外の領域（例えばニュースキャスターが映っている領域）は、ニュースの内容を示しているものではないため、サムネイルで表示する必要はない。むしろ、この領域が映っていることにより、視聴者にとって文字等の表示領域が見えにくくなることが想定される。これが、上述の処理を行っている理由である。 Specifically, by expanding the display area of characters and the like in the image used for thumbnail generation, the display area of characters and the like can be easily viewed by the viewer even when the thumbnail is formed. In addition, by performing a process of applying a semi-transparent filter to an area other than the display area for characters or the like in an image used for thumbnail generation, the display area for characters or the like can be made easier for the viewer to see. Since the display area of characters and the like displays the contents of news, it is important information for the viewer. On the other hand, an area other than the display area such as characters (for example, an area where a newscaster is shown) does not indicate the content of the news, and therefore does not need to be displayed as a thumbnail. Rather, it is assumed that the display area of characters and the like is difficult for the viewer to see because this area is reflected. This is the reason why the above processing is performed.
なお、サムネイル生成部２４は、サムネイル生成に用いる画像において検出した文字等の表示領域において、その領域のみの輝度を上げる加工処理を行ってもよい。そして、サムネイル生成部２４は、加工処理後の画像に基づいてサムネイルを生成する。このようにしても、文字等の表示領域を視聴者にとって見やすくすることができる。なお、サムネイル生成部２４は、この処理を、この処理単体だけで実行してもよいし、文字等の表示領域を拡大する処理と並行に行ってもよい。
Note that the
また、サムネイル生成部２４は、サムネイル生成に用いる画像における文字等の表示領域以外の領域において、不透明のフィルタをかける処理を実行してもよいし、灰色や黒色で塗りつぶす処理を実行してもよい。さらに、サムネイル生成部２４は、文字等の表示領域以外の領域の輝度を下げる処理を実行してもよい。このように、サムネイル生成部２４は、画像中の文字等の表示領域以外の領域の透明度、輝度又は明度の少なくともいずれかを下げた画像を生成し、その加工処理後の画像を縮小することによりサムネイルを生成してもよい。以上の処理を実行しても、文字等の表示領域を視聴者にとって見やすくすることができる。
In addition, the
実施の形態２において、サムネイル生成部２４は、メインシーンにおいて最初に文字等の表示領域が現れた画面を、サムネイル生成に用いる画像として抽出することができる。これにより、メインシーンにおけるニュースのトピックが表示された画像を、より確実にサムネイル化できる。
In the second embodiment, the
なお、サムネイル生成部２４は、ニュース番組冒頭のメインシーンにおいては、最初に文字等の表示領域が現れた画面ではなく、２番目に文字等の表示領域が現れた画面を、サムネイル生成に用いる画像として抽出してもよい。ニュース番組の中には、ニュース番組冒頭のメインシーンにおいて、最初にニュースキャスターの紹介が記載されたテロップが現れ、次に現れるテロップにニュースのトピックが記載される場合がある。この場合、ニュース番組冒頭のメインシーンでは、２番目に表示されるテロップが表示される画像に基づいてサムネイルを生成することにより、ユーザにニュースのトピックを適切に伝えることができる。なお、ニュース番組の中には、ニュース番組冒頭のメインシーンにおいて、３番目以降に表示されるテロップにニュースのトピックが記載されていることも考えられる。この場合、ニュース番組冒頭のメインシーンでは、３番目以降に表示されるテロップが表示される画像に基づいてサムネイルを生成してもよい。
Note that the
実施の形態２において、シーン判定／チャプタ設定部２３は、シーン判定において識別したメインシーンとそれ以外のシーンとが分割するようにチャプタを設定することができる。そのため、視聴者はニュース番組の再生画面において文字等の表示領域が強調されたサムネイルを選択することにより、メインシーンを再生させることができる。従って、メインシーンのみを容易に再生させることができる。
In the second embodiment, the scene determination /
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、実施の形態２では録画再生装置の処理について説明したが、映像コンテンツ配信サーバでも同様の処理が実行できる。このサーバは、サムネイルを生成後、視聴者端末からの要求に応じて、サムネイル情報を付した映像コンテンツを視聴者端末に配信する。視聴者端末では、映像コンテンツ閲覧の際にサムネイルを視認することができるため、映像コンテンツ内の所望のシーンを早く検索することができる。 Note that the present invention is not limited to the above-described embodiment, and can be changed as appropriate without departing from the spirit of the present invention. For example, although the processing of the recording / playback apparatus has been described in the second embodiment, the same processing can also be executed by the video content distribution server. After generating the thumbnail, this server distributes the video content with the thumbnail information to the viewer terminal in response to a request from the viewer terminal. Since the viewer terminal can visually recognize the thumbnail when browsing the video content, a desired scene in the video content can be searched quickly.
実施の形態２では、映像コンテンツの具体例としてニュース番組を取り上げている。しかしながら、映像コンテンツの具体例は、トークショーやバラエティショーといったような、特定の人物（例えば司会者）が所定の時間毎に別のトピックを提示するような番組であってもよい。この場合でも、特定の人物が映るシーンで表示される字幕テロップやロゴ等を示す映像は、現在取り上げる内容の概略（トピック）を示すものであると考えられる。そのような字幕テロップやロゴ等を示す映像が含まれる画像をサムネイルにすることで、視聴者は、サムネイル閲覧の段階でニュースのトピックを理解することができる。 In the second embodiment, a news program is taken up as a specific example of video content. However, a specific example of the video content may be a program such as a talk show or a variety show where a specific person (for example, a moderator) presents another topic every predetermined time. Even in this case, it is considered that a video showing a caption telop, a logo, or the like displayed in a scene where a specific person appears shows an outline (topic) of the content currently taken up. By making such an image including a video showing a caption telop, logo, etc. into a thumbnail, the viewer can understand the topic of the news at the stage of thumbnail browsing.
シーン判定／チャプタ設定部２３は、特徴量記憶部２２に記憶された特徴量を用いずに、シーン判定を行ってもよい。例えば、シーン判定／チャプタ設定部２３は、ニュース番組を解析して、そのニュース番組に所定の頻度又は所定の時間登場する人物をニュースキャスターと判定し、そのニュースキャスターの顔情報が現れるニュース番組中のシーンをメインシーンと判定してもよい。又は、シーン判定／チャプタ設定部２３は、ニュース番組を解析して、そのニュース番組に所定の頻度又は所定の時間登場する構図情報又は背景情報を識別し、その構図情報又は背景情報が現れるニュース番組中のシーンをメインシーンと判定してもよい。
The scene determination /
シーン判定／チャプタ設定部２３におけるチャプタの設定は、ニュース番組中のシーンがメインシーンか否かの判定結果に基づいて実行された。しかしながら、チャプタの設定は、ニュース番組中のシーンがメインシーンか否かの判定とは独立に実行されていてもよい。ただし、実施の形態２に記載した通り、シーン判定において識別したメインシーンとそれ以外のシーンとが分割するようにチャプタを設定することで、視聴者にメインシーンのみを容易に再生させることができる。
The chapter setting in the scene determination /
実施の形態２において、文字等の表示領域についての加工処理（拡大処理又は輝度を上げる処理の少なくともいずれかの処理）と、文字等の表示領域以外の加工処理（領域の透明度、明度又は輝度の少なくともいずれかを下げる処理）は、そのいずれかのみが実行されてもよいし、両方が実行されてもよい。 In the second embodiment, a processing process (at least one of an enlargement process or a process for increasing the brightness) for a display area such as a character and a processing process other than the display area such as a character (the transparency, brightness, or brightness of the area). At least one of them may be executed, or both of them may be executed.
サムネイル生成部２４は、サムネイル生成対象となるチャプタにメインシーンが含まれない場合、チャプタにおける非メインシーンの中から人物の顔が表示された画像を抽出する。ここで、サムネイル生成部２４は、抽出した画像中においてその人物の顔が表示された領域が強調して表示されるように画像を加工処理し、加工処理後の画像を縮小することにより、サムネイル生成対象となるチャプタのサムネイルを生成してもよい。
When the main scene is not included in the chapter for which thumbnail generation is to be performed, the
上述の通り、非メインシーンは、ニュース番組における録画映像や中継映像等のシーンであると推定される。ここで、サムネイル生成部２４は、非メインシーンに登場する人物の顔を強調させたサムネイルを生成することにより、視聴者は、生成されたサムネイルを視認するだけで、非メインシーンのトピックに関連する人物が誰であるかを明確に理解することができる。そのため、視聴者は、サムネイルを見た段階で、非メインシーンの内容を推定することができる。
As described above, the non-main scene is estimated to be a scene such as a recorded video or a relay video in a news program. Here, the
例えば、サムネイル生成部２４は、人物の顔が表示された領域（顔領域）を拡大した画像、又は顔領域の輝度を上げた画像を生成し、その画像を縮小することで、非メインシーンに登場する人物の顔を強調させたサムネイルを生成してもよい。また、サムネイル生成部２４は、顔領域以外の領域の透明度、輝度又は明度の少なくともいずれかを下げた加工処理を行った画像を生成し、加工処理後の画像を縮小することにより、サムネイル生成対象となるチャプタのサムネイルを生成してもよい。なお、顔領域の拡大又は輝度を上げる処理は、その両方が実行されてもよい。また、顔領域の拡大処理と顔領域以外の領域の透明度、輝度又は明度の少なくともいずれかを下げる処理は、そのいずれかのみが実行されてもよいし、その両方が実行されてもよい。
For example, the
以上の処理を、具体例を示して説明する。図９Ａは、非メインシーンにおいて人物の顔が表示されている画像の一例である。サムネイル生成部２４は、この画像Ｐ５の人物の顔領域Ｆ１を抽出し、抽出した顔領域Ｆ１を縦方向及び横方向に拡大して、原画像に重畳する。さらに、サムネイル生成部２４は、拡大された顔領域Ｆ１（顔領域Ｆ１’）以外の領域に半透明のフィルタをかける処理を実行する。
The above processing will be described with a specific example. FIG. 9A is an example of an image in which a human face is displayed in a non-main scene. The
図９Ｂは、加工処理後の画像Ｐ６を示している。画像Ｐ６において、顔領域Ｆ１’は強調されて見やすくなっている。この画像Ｐ６を縮小することにより、サムネイル生成部２４はサムネイルを生成する。
FIG. 9B shows an image P6 after the processing. In the image P6, the face area F1 'is emphasized and easy to see. By reducing the image P6, the
サムネイル生成部２４は、画像の一部領域について加工処理を行ってサムネイルを生成する場合、原画像において加工処理を行った画像を生成し、それを縮小することでサムネイルを生成した。しかしながら、サムネイル生成部２４は、原画像を縮小した後、縮小後の画像の一部領域について加工処理を行ったものをサムネイルに設定してもよい。
When the
実施の形態１及び２で示した装置の処理は、制御方法の１つとして、コンピュータに実行させることができる。例えば、実施の形態１に示した処理のフローを、制御プログラムとして映像コンテンツ処理装置に実行させてもよい。その他の処理フローについても同様にしてコンピュータに実行させることができる。 The processing of the apparatus shown in Embodiments 1 and 2 can be executed by a computer as one of the control methods. For example, the processing flow shown in the first embodiment may be executed by the video content processing apparatus as a control program. Other processing flows can be similarly executed by the computer.
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。 The program may be stored using various types of non-transitory computer readable media and supplied to a computer. Non-transitory computer readable media include various types of tangible storage media. Examples of non-transitory computer readable media are magnetic recording media (eg flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg magneto-optical disks), CD-ROM, CD-R, CD-R / W. Semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (Random Access Memory)). The program may also be supplied to the computer by various types of transitory computer readable media. Examples of transitory computer readable media include electrical signals, optical signals, and electromagnetic waves. The temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
１０ 映像コンテンツ処理装置
１１ シーン判定部
１２ サムネイル生成部
２０ 録画再生装置
２１ 映像コンテンツ記憶部
２２ 特徴量記憶部
２３ シーン判定／チャプタ設定部
２４ サムネイル生成部
DESCRIPTION OF
Claims (16)
前記映像コンテンツを分割する複数のチャプタについて、前記チャプタに含まれるシーン内の画像を抽出し、前記画像に基づいて前記チャプタのサムネイルを生成するサムネイル生成部と、を備え、
前記サムネイル生成部は、前記チャプタに前記類似のシーンが含まれる場合に、前記チャプタに含まれる前記類似のシーンから、文字、記号又は重畳された画像の少なくともいずれかが含まれる領域が表示される画像を抽出し、前記領域が強調して表示されるように前記画像を加工処理した画像に基づいて前記チャプタのサムネイルを生成する、
映像コンテンツ処理装置。 In a video content, a scene determination unit that detects two or more scenes in which the feature amount of a scene in the video content matches a predetermined value or more as similar scenes;
For a plurality of chapters that divide the video content, a thumbnail generation unit that extracts an image in a scene included in the chapter and generates a thumbnail of the chapter based on the image, and
When the chapter includes the similar scene, the thumbnail generation unit displays an area including at least one of a character, a symbol, and a superimposed image from the similar scene included in the chapter. Extracting an image and generating a thumbnail of the chapter based on an image obtained by processing the image so that the region is highlighted and displayed;
Video content processing device.
前記シーン判定部は、前記映像コンテンツ内のシーンの特徴量と、前記記憶部に記憶された前記特定のシーンの特徴量とを比較することにより、前記映像コンテンツ内において前記類似のシーンを検出する、
請求項１に記載の映像コンテンツ処理装置。 The video content processing apparatus further includes a storage unit that stores in advance a feature amount of a specific scene that appears twice or more in the video content,
The scene determination unit detects the similar scene in the video content by comparing the feature amount of the scene in the video content with the feature amount of the specific scene stored in the storage unit. ,
The video content processing apparatus according to claim 1.
請求項１に記載の映像コンテンツ処理装置。 The scene determination unit analyzes the video content and detects a feature amount greater than or equal to a predetermined value common to two or more scenes in the video content, thereby including a feature amount greater than or equal to the detected predetermined value. Is detected as a similar scene,
The video content processing apparatus according to claim 1.
請求項１ないし３のいずれか１項に記載の映像コンテンツ処理装置。 The feature amount includes at least one of face information of a specific person, composition information of an image, or specific background information.
The video content processing apparatus according to any one of claims 1 to 3.
請求項１ないし４のいずれか１項に記載の映像コンテンツ処理装置。 When the chapter includes the similar scene, the thumbnail generation unit extracts an image in which the region is displayed for the first time from the similar scene included in the chapter, and the region is highlighted and displayed. So as to generate a thumbnail of the chapter based on the processed image as described above,
The video content processing apparatus according to any one of claims 1 to 4.
請求項１ないし５のいずれか１項に記載の映像コンテンツ処理装置。 The thumbnail generation unit generates a thumbnail of the chapter based on the image in which the region is enlarged when the similar scene is included in the chapter;
The video content processing apparatus according to claim 1.
請求項１ないし６のいずれか１項に記載の映像コンテンツ処理装置。 The thumbnail generation unit generates a thumbnail of the chapter based on the image with increased brightness of the region when the chapter includes the similar scene;
The video content processing apparatus according to any one of claims 1 to 6.
請求項１ないし７のいずれか１項に記載の映像コンテンツ処理装置。 The thumbnail generation unit generates a thumbnail of the chapter based on the image in which at least one of transparency, luminance, and brightness of a region other than the region is lowered when the similar scene is included in the chapter.
The video content processing apparatus according to claim 1.
請求項１ないし８のいずれか１項に記載の映像コンテンツ処理装置。 When the chapter does not include the similar scene, the thumbnail generation unit extracts an image in which a person's face is displayed from the scenes in the chapter, and emphasizes an area in which the person's face is displayed. Generating thumbnails of the chapters based on the processed images so that the images are displayed.
The video content processing apparatus according to any one of claims 1 to 8.
請求項９に記載の映像コンテンツ処理装置。 The thumbnail generation unit generates a thumbnail of the chapter based on the image obtained by enlarging an area where the face of the person is displayed when the similar scene is not included in the chapter.
The video content processing apparatus according to claim 9.
請求項９又は１０に記載の映像コンテンツ処理装置。 The thumbnail generation unit generates a thumbnail of the chapter based on the image in which the brightness of the area where the face of the person is displayed is increased when the similar scene is not included in the chapter.
The video content processing apparatus according to claim 9 or 10.
請求項９ないし１１のいずれか１項に記載の映像コンテンツ処理装置。 When the chapter does not include the similar scene, the thumbnail generation unit is based on the image in which at least one of transparency, luminance, and brightness of a region other than the region where the person's face is displayed is reduced. Generate chapter thumbnails,
The video content processing apparatus according to claim 9.
請求項１ないし１２のいずれかに記載の映像コンテンツ処理装置。 The video content processing apparatus further includes a chapter setting unit that sets the plurality of chapters so that the similar scene detected by the scene determination unit and other scenes are separated by the plurality of chapters.
The video content processing apparatus according to claim 1.
請求項１ないし１３のいずれかに記載の映像コンテンツ処理装置。 The video content processing device is a recording device further comprising a video content storage unit that stores a recorded television program as the video content.
The video content processing apparatus according to claim 1.
前記映像コンテンツを分割する複数のチャプタについて、前記チャプタに含まれるシーン内の画像を抽出し、前記画像に基づいて前記チャプタのサムネイルを生成するステップと、を備え、
前記チャプタに前記類似のシーンが含まれる場合には、前記チャプタに含まれる前記類似のシーンから、文字、記号又は重畳された画像の少なくともいずれかが含まれる領域が表示される画像を抽出し、前記領域が強調して表示されるように前記画像を加工処理した画像に基づいて、前記チャプタの前記サムネイルを生成する、
映像コンテンツ処理装置における映像コンテンツ処理方法。 In video content, detecting two or more scenes in which the feature amount of the scene in the video content matches a predetermined value or more as similar scenes;
For a plurality of chapters that divide the video content, extracting an image in a scene included in the chapter, and generating a thumbnail of the chapter based on the image, and
When the similar scene is included in the chapter, an image in which an area including at least one of a character, a symbol, and a superimposed image is displayed is extracted from the similar scene included in the chapter. Generating the thumbnail of the chapter based on an image obtained by processing the image so that the region is highlighted.
A video content processing method in a video content processing apparatus.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014257572A JP2016119552A (en) | 2014-12-19 | 2014-12-19 | Video contents processing device, video contents processing method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014257572A JP2016119552A (en) | 2014-12-19 | 2014-12-19 | Video contents processing device, video contents processing method and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2016119552A true JP2016119552A (en) | 2016-06-30 |
Family
ID=56243160
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014257572A Pending JP2016119552A (en) | 2014-12-19 | 2014-12-19 | Video contents processing device, video contents processing method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2016119552A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108985176A (en) * | 2018-06-20 | 2018-12-11 | 北京优酷科技有限公司 | image generating method and device |
| CN109583443A (en) * | 2018-11-15 | 2019-04-05 | 四川长虹电器股份有限公司 | A kind of video content judgment method based on Text region |
| WO2020235060A1 (en) * | 2019-05-22 | 2020-11-26 | 三菱電機ビルテクノサービス株式会社 | Video processing device and video processing method |
| JP7518124B2 (en) | 2022-04-20 | 2024-07-17 | ソフトバンク株式会社 | IMAGE PROCESSING APPARATUS, PROGRAM, AND IMAGE PROCESSING METHOD |
-
2014
- 2014-12-19 JP JP2014257572A patent/JP2016119552A/en active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108985176A (en) * | 2018-06-20 | 2018-12-11 | 北京优酷科技有限公司 | image generating method and device |
| CN109583443A (en) * | 2018-11-15 | 2019-04-05 | 四川长虹电器股份有限公司 | A kind of video content judgment method based on Text region |
| CN109583443B (en) * | 2018-11-15 | 2022-10-18 | 四川长虹电器股份有限公司 | Video content judgment method based on character recognition |
| WO2020235060A1 (en) * | 2019-05-22 | 2020-11-26 | 三菱電機ビルテクノサービス株式会社 | Video processing device and video processing method |
| JPWO2020235060A1 (en) * | 2019-05-22 | 2020-11-26 | ||
| JP7317954B2 (en) | 2019-05-22 | 2023-07-31 | 三菱電機ビルソリューションズ株式会社 | Video processing device and video processing method |
| JP7518124B2 (en) | 2022-04-20 | 2024-07-17 | ソフトバンク株式会社 | IMAGE PROCESSING APPARATUS, PROGRAM, AND IMAGE PROCESSING METHOD |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2024202313B2 (en) | Video Processing For Embedded Information Card Localization And Content Extraction | |
| KR101946019B1 (en) | Video processing apparatus for generating paranomic video and method thereof | |
| US7876978B2 (en) | Regions of interest in video frames | |
| KR102319423B1 (en) | Context-Based Augmented Advertising | |
| US20170017844A1 (en) | Image content providing apparatus and image content providing method | |
| US20160198097A1 (en) | System and method for inserting objects into an image or sequence of images | |
| US20110286720A1 (en) | Electronic apparatus, video processing method, and program | |
| KR101318459B1 (en) | Method of viewing audiovisual documents on a receiver, and receiver for viewing such documents | |
| JP2008520152A (en) | Detect and correct text in images | |
| KR20160057864A (en) | Electronic apparatus for generating summary contents and methods thereof | |
| JP2009076970A (en) | Summary content generation device and computer program | |
| JP2015099248A (en) | Display device, display method, and program | |
| KR20070120403A (en) | Image editing apparatus and method | |
| JP2016119552A (en) | Video contents processing device, video contents processing method and program | |
| KR20130100994A (en) | Method and device for providing supplementary content in 3d communication system | |
| CN112601120B (en) | Subtitle display method and device | |
| KR20130104215A (en) | Method for adaptive and partial replacement of moving picture, and method of generating program moving picture including embedded advertisement image employing the same | |
| JP5197841B1 (en) | Video playback apparatus and video playback method | |
| US8855472B2 (en) | Video editing apparatus, video editing method, program, and integrated circuit | |
| KR20190054721A (en) | Apparatus and method for generating of cartoon using video | |
| CN113613059A (en) | Short-cast video processing method, device and equipment | |
| JP6363015B2 (en) | Electronic device and display method | |
| KR102377177B1 (en) | movie editor | |
| JP2020141273A (en) | Commercial detection apparatus | |
| US20230073093A1 (en) | Image processing apparatus, image processing method, and program |