JP7209441B2 - Screen configuration analysis device, screen configuration analysis method and program - Google Patents
Screen configuration analysis device, screen configuration analysis method and program Download PDFInfo
- Publication number
- JP7209441B2 JP7209441B2 JP2018087310A JP2018087310A JP7209441B2 JP 7209441 B2 JP7209441 B2 JP 7209441B2 JP 2018087310 A JP2018087310 A JP 2018087310A JP 2018087310 A JP2018087310 A JP 2018087310A JP 7209441 B2 JP7209441 B2 JP 7209441B2
- Authority
- JP
- Japan
- Prior art keywords
- content
- screen
- screen configuration
- video
- audience rating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Description
本発明は、画面構成分析装置、画面構成分析方法及びプログラムに関する。 The present invention relates to a screen configuration analysis device, a screen configuration analysis method, and a program.
放送番組において、ある番組の評価を放送後に行う場合に、番組の様々な構成、例えば、複数のTVカメラの配置、カメラの使用方法の評価、バラエティ番組の進行状況の確認、当該番組の視聴率との関係で番組を傍聴している観客に、出演者のどの発言が受けたか、というような観点から番組の評価、確認を事後的に行いたいという要望がある。 In a broadcast program, when evaluating a certain program after broadcasting, various configurations of the program, such as the arrangement of multiple TV cameras, evaluation of how to use the cameras, confirmation of the progress of a variety program, and audience rating of the program Therefore, there is a demand for the audience watching the program to evaluate and confirm the program after the fact from the viewpoint of which statements of the performers received.
この課題を解決すべく、特許文献1の発明が提案されている。
In order to solve this problem, the invention of
特許文献1の発明は、TVで放送された映像の各ショットの静止画像を作成し、この静止画像と、TV局名、チャンネル名、番組タイトル、放送日付、放送開始時間、放送経過時間、番組コンテンツの要約、及びタイムコードを有するインデックスとを関連付けて記憶している。このインデックスはメタデータとも呼ばれ、番組に関する情報である。
The invention of
しかし、特許文献1の発明は、インデックスには、出演者などの画面上における時系列的な有無や、配置、占有比等の画面構成に関する情報は含まれておらず、制作者側が実際にその映像を目視して画面構成を確認している。一方、制作者としては、出演者などの画面上における時系列的な出現の有無や、配置、占有比等のメタデータには表れない映像の画面構成が、視聴者に対してどのような影響を与えるのかを知りたい。
However, in the invention of
そこで、本発明は上記課題に鑑みて発明されたものであって、コンテンツ映像の画面構成を分析することができる画面構成分析装置、画面構成分析方法及びプログラムを提供することにある。 Accordingly, the present invention has been made in view of the above problems, and it is an object of the present invention to provide a screen configuration analysis device, a screen configuration analysis method, and a program capable of analyzing the screen configuration of a content video.
本発明の一態様は、コンテンツのコンテンツ映像から、前記コンテンツ映像を構成する画面構成要素のうち、指定された注目構成要素を認識する画像認識部と、前記注目構成要素に着目した場合の前記コンテンツ映像の画像の画面構成を分析し、分析結果である画面構成情報と、画面構成の分析対象とした画像の前記コンテンツ映像上の時間的位置情報とを出力する画面構成分析部と、指標と前記指標の時刻情報とを取得する指標取得部と、前記コンテンツ映像上の時間的位置情報と前記指標の時刻情報とを用いて、前記画面構成情報と前記指標とを同一時間軸上に関連付けて、記憶部に記憶する関連付け部とを有する画面構成分析装置である。 According to one aspect of the present invention, an image recognition unit that recognizes, from a content video of a content, a designated component of interest among screen components forming the content video, and the content when the component of interest is focused on a screen configuration analysis unit that analyzes the screen configuration of a video image and outputs screen configuration information as an analysis result and temporal position information on the content video of the image to be analyzed for the screen configuration; By using an index acquisition unit that acquires time information of an index, temporal position information on the content video, and time information of the index, the screen configuration information and the index are associated on the same time axis, It is a screen configuration analysis device having an association unit that stores in a storage unit.
本発明の一態様は、コンテンツのコンテンツ映像から、前記コンテンツ映像を構成する画面構成要素のうち、指定された注目構成要素を認識し、前記注目構成要素に着目した場合の前記コンテンツ映像の画像の画面構成を分析し、分析結果である画面構成情報と、画面構成の分析対象とした画像の前記コンテンツ映像上の時間的位置情報とを出力し、指標と前記指標の時刻情報とを取得し、前記コンテンツ映像上の時間的位置情報と前記指標の時刻情報とを用いて、前記画面構成情報と前記指標とを同一時間軸上に関連付けて、記憶部に記憶する画面構成分析方法である。 One aspect of the present invention is to recognize, from a content video of a content, a designated component of interest among screen constituent elements that constitute the content video, and reproduce an image of the content video when focusing on the component of interest. analyzing a screen configuration, outputting screen configuration information as an analysis result and temporal position information on the content video of an image to be analyzed for the screen configuration, acquiring an index and time information of the index; In the screen configuration analysis method, the screen configuration information and the index are associated on the same time axis using the temporal position information on the content video and the time information of the index, and stored in a storage unit.
本発明の一態様は、コンテンツのコンテンツ映像から、前記コンテンツ映像を構成する画面構成要素のうち、指定された注目構成要素を認識する画像認識処理と、前記注目構成要素に着目した場合の前記コンテンツ映像の画像の画面構成を分析し、分析結果である画面構成情報と、画面構成の分析対象とした画像の前記コンテンツ映像上の時間的位置情報とを出力する画面構成分析処理と、指標と前記指標の時刻情報とを取得する指標取得処理と、前記コンテンツ映像上の時間的位置情報と前記指標の時刻情報とを用いて、前記画面構成情報と前記指標とを同一時間軸上に関連付けて、記憶部に記憶する関連付け処理とをコンピュータに実行させるプログラムである。 According to one aspect of the present invention, image recognition processing for recognizing, from a content video of a content, a designated component of interest among screen components forming the content video; screen configuration analysis processing for analyzing the screen configuration of a video image and outputting screen configuration information as an analysis result and temporal position information on the content video of the image whose screen configuration is to be analyzed; The screen configuration information and the indicator are associated on the same time axis by using an indicator acquisition process for acquiring the time information of the indicator and the temporal position information on the content video and the time information of the indicator, It is a program that causes a computer to execute association processing stored in a storage unit.
本発明は、コンテンツ映像の画面構成を分析することができる INDUSTRIAL APPLICABILITY The present invention can analyze the screen configuration of content video.
<第1の実施の形態>
以下、図面を参照して、本発明の第1の実施形態における画面構成分析装置を説明する。
<First embodiment>
A screen configuration analysis apparatus according to a first embodiment of the present invention will be described below with reference to the drawings.
図1は本実施形態における画面構成分析装置を示すブロック図である。画面構成分析装置は、画像認識部1と、画面構成分析部2と、指標取得部3と、関連付け部4と、記憶部5と、出力制御部6と、出力部7とを備える。
FIG. 1 is a block diagram showing a screen configuration analysis device according to this embodiment. The screen configuration analysis device includes an
画像認識部1は、コンテンツ映像の画面(映像)を構成する画面構成要素のうち、指定された注目画面構成要素を、入力されたコンテンツ映像から認識するものである。
The
ここで、画面構成要素とは、コンテンツ映像の画面(映像)を構成する各要素をいう。コンテンツ映像には人物や各種のオブジェクト(建物や、空、木等の自然物)、テロップ等が映っており、これらの要素から画面(映像)が構成される。本実施の形態では、これらのコンテンツ映像の画面を構成する要素を画面構成要素と記載する。そして、画面構成要素のうち、コンテンツ映像の画面構成を分析する上で着目する画面構成要素を注目画面構成要素と記載する。注目画面構成要素の代表的な例としては、コンテンツ映像に映っている特定の出演者、商品、テロップ等である。そして、コンテンツ映像は、画面構成要素が経時的に変化するものであれば種類は問わないが、例えば、放送番組の番組映像、ストリーミング配信される動画、デジタルサイネージに表示される連続する静止画からなるコンテンツ等がある。また、画像認識部1に入力されるコンテンツ映像は、リアルタイムの映像であるかは問わない。
Here, the screen constituent elements refer to the respective elements that constitute the screen (video) of the content video. People, various objects (buildings, sky, trees, and other natural objects), telops, and the like appear in the content video, and a screen (video) is composed of these elements. In the present embodiment, these elements that form the screen of the content video are described as screen constituent elements. Among the screen constituent elements, a screen constituent element to which attention is focused when analyzing the screen configuration of the content video is described as a target screen constituent element. Typical examples of the focused screen component are specific performers, products, telops, etc. appearing in the content video. Any type of content video can be used as long as the screen components change over time. There are various contents. Moreover, it does not matter whether the content video input to the
注目画面構成要素の指定であるが、ユーザが分析を行いたい画面構成要素を、画像認識部1に指定することにより行われる。注目画面構成要素の指定は、個々の個体を特定する方法(例えば、具体的な司会者や主演者等を指定する方法)と、個々の個体を特定しない方法(例えば、映像上に現れる人物等を指定する方法)とのいずれでも良い。また、指定する注目画面構成要素の数は、単数、複数を問わない。
Designation of the target screen constituent element is performed by designating the screen constituent element that the user wishes to analyze to the
このような、注目画面構成要素を認識する画像認識方法としては、パターンマッチングや、ディープラーニング等の手法を用いた機械学習を用いた画像認識技術などがある。 As image recognition methods for recognizing such a target screen constituent element, there are image recognition techniques using pattern matching and machine learning using techniques such as deep learning.
画像認識部1は、コンテンツ映像から、指定された注目画面構成要素を認識すると、注目画面構成要素を識別する識別情報(例えば、注目画面構成要素が人物ならば氏名、注目画面構成要素がテロップならばテロップ等)と、注目画面構成要素の画面上の位置、大きさ等を含む注目画面構成要素認識情報を出力する。認識及び注目画面構成要素認識情報の出力は、予め定められた時間間隔(例えば、1秒又は2秒毎)で行われる。
When the
画像認識部1による注目画面構成要素の画面上の位置、大きさの認識であるが、例えば、図2の例がある。図2の例は、注目画面構成要素を人物とした場合の例である。画像認識部1は、検出した人物に関して、図2に示す如く、認識した人物を囲む領域を注目領域に設定し、その注目領域の対角線の交点を中心点とする。そして、認識した人物の大きさを注目領域の面積とし、その中心点を認識した人物の画面上の位置座標とする。本例は一例であり、他の方法でもかまわない。
As for the recognition of the position and size on the screen of the target screen component by the
画面構成分析部2は、画像認識部1が認識した少なくとも一以上の注目画面構成要素に着目した場合のコンテンツ映像の画面構成を分析し、画面構成情報を生成する。この画面構成の分析は、注目画面構成要素をどのような観点から着目するかを設定し、その観点から画面構成を分析する。
The screen
画面構成の分析及び画面構成情報について、図3から図5を参照しながら説明する。 Screen configuration analysis and screen configuration information will be described with reference to FIGS. 3 to 5. FIG.
注目画面構成要素をドラマに出演しているある出演者Aとした場合、出演者Aが画面上にどのように映っているかによって画面構成は異なる。図3の例は、出演者A(単独)の画面での占有率の観点から画面構成を着目した例であり、出演者Aが画面中央に大きく(アップで)映っている場合と、出演者Aが背景・情景・エキストラ多数とともに画面比70%以下で映っている場合と、出演者Aが背景・情景・エキストラ多数とともに画面比50%以下で映っている場合と、出演者Aが背景・情景・エキストラ多数とともに画面比30%以下で映っている場合を例示している。このような場合、出演者Aが映っているという点では共通しているが、画面構成は異なり、それぞれの映像(画面)が視聴者に与える影響は異なる。注目画面構成要素をドラマに出演している複数の出演者とした場合も同様である。更に、注目画面構成要素をドラマの映像の各種スーパの文字とし、その各種スーパの位置、及びスーパ内の文字(番組名や、出演者名等)としても、その配置や内容によって、視聴者に与える影響は異なる。 Assuming that a performer A appearing in a drama is the screen component of interest, the screen configuration differs depending on how the performer A appears on the screen. The example of FIG. 3 is an example focusing on the screen configuration from the viewpoint of the occupancy rate of performer A (single) on the screen. If A is shown with a screen ratio of 70% or less with the background, scene, and many extras, and if Performer A is shown with a background, scene, and many extras, with a screen ratio of 50% or less, and if Performer A is the background, The example shows a case where the screen ratio is 30% or less with a large number of scenes and extras. In such a case, although they are common in that the performer A is shown, the screen configurations are different, and the respective images (screens) have different effects on the viewer. The same is true when a plurality of performers appearing in a drama are set as the screen constituent elements of interest. Furthermore, the attention screen constituent elements are the characters of various supers of the video of the drama, and the position of the various supers and the characters in the supers (program name, performer name, etc.) The impact is different.
また、注目画面構成要素を情報番組の司会者(MC)とした場合、司会者(MC)が画面上にどのように映っているかによって画面構成は異なる。図4の例は、司会者(MC)と他の構成要素との位置関係に着目した例であり、司会者(MC)が単独で画面中央に大きく(アップで)映っている場合と、司会者(MC)が画面にフリップ(あるいはCG画面)と一緒に映っている場合と、司会者(MC)が他の出演者(あるいはコメンテーター)と映っている(あるいは会話している)場合と、司会者(MC)が画面上のワイプ画面に映っている場合を例示している。このような場合、同じ司会者(MC)が映っているという点では共通しているが、画面構成は異なり、それぞれの映像(画面)が視聴者に与える影響は異なる。 Further, when the focused screen component is the moderator (MC) of an information program, the screen configuration differs depending on how the moderator (MC) appears on the screen. The example in FIG. 4 is an example focusing on the positional relationship between the moderator (MC) and other components. When the person (MC) is shown on the screen with Flip (or CG screen), and when the moderator (MC) is shown (or talking) with other performers (or commentators), A case where the moderator (MC) is shown on the wipe screen on the screen is exemplified. In such cases, the same moderator (MC) is shown, but the screen configurations are different, and the respective images (screens) have different effects on the viewers.
また、注目画面構成要素をある商品とした場合、商品が画面上にどのように映っているかによって画面構成は異なる。図5の例は、商品の表示形態に着目した例であり、商品が単独で画面中央に大きく(アップで)映っている場合と、商品を紹介するVTRやCG映像が映っている場合を例示しているが、同じ商品が映っているという点では共通しているが、画面構成は異なり、それぞれの映像(画面)が視聴者に与える影響は異なる。 Further, when a certain product is selected as a target screen component, the screen configuration differs depending on how the product appears on the screen. The example in Fig. 5 is an example that focuses on the display form of the product, and illustrates the case where the product is shown alone in a large (close-up) image in the center of the screen and the case where a VTR or CG image introducing the product is shown. However, although they are common in that they show the same product, the screen configuration is different, and the impact of each image (screen) on the viewer is different.
このように、画像認識部1が認識した少なくとも一以上の注目画面構成要素に対し、着目する観点を設定し、コンテンツ映像の画面構成を分析する。具体的な分析方法であるが、着目する観点の基準となる分析基準を指定し、その分析基準に基づいて、注目画面構成要素に着目した場合の画面構成を判断する。
In this way, the viewpoint of attention is set for at least one or more of the attention screen constituent elements recognized by the
最も簡単な分析基準としては、出演者や司会者のような特定の人物を注目画面構成要素に指定した場合、画面上にその特定の人物が出現しているか否かである。例えば、出演者Aを注目画面構成要素に指定した場合、画面構成分析部2は、出演者Aが画面上に出現している場合は“1”、出演者Aが画面上に出現していない場合は“0”とする分析する。そして、その数値化したデータを画面構成情報として生成する。また、複数の人物を注目画面構成要素に指定した場合、指定した注目画面構成要素(人物)が画面に出現している数でも良い。更に、画面構成分析部2は、その分析対象とした画像のコンテンツ映像の時間的位置情報(コンテンツ映像のタイムコード等)も取得する。そして、画面構成分析部2は、画面構成情報及び時間的位置情報を出力する。
The simplest analysis criterion is whether or not a specific person such as a performer or moderator appears on the screen when a specific person is designated as a focused screen component. For example, when the performer A is specified as the target screen constituent element, the screen
また、特定の人物を注目画面構成要素に設定した場合、その特定の人物が画面を占有する占有率を分析基準として良い。この場合、画面構成分析部2は、上述した図2の例における注目領域の面積と画面面積との比を占有率として計算し、その占有率の数値を画面構成情報として生成する。更に、画面構成分析部2は、その分析対象とした画像のコンテンツ映像の時間的位置情報(コンテンツ映像のタイムコード等)も取得する。そして、画面構成分析部2は、画面構成情報及び時間的位置情報を出力する。尚、占有率を段階的な数値としても良い。例えば、出演者Aが画面を占有する占有率が0%の場合は“0”、出演者Aが画面を占有する占有率が0%以上30%未満の場合は“1”、出演者Aが画面を占有する占有率が30%以上50%未満の場合は“2”、出演者Aが画面を占有する占有率が50%以上70%未満の場合は“3”、出演者Aが画面を占有する占有率が70%以上の場合は“4”とする。そして、その数値化したデータを画面構成情報として生成する。更に、画面構成分析部2は、その分析対象とした画像のコンテンツ映像の時間的位置情報(コンテンツ映像のタイムコード等)も取得する。そして、画面構成分析部2は、画面構成情報及び時間的位置情報を出力する。
Also, when a specific person is set as a target screen component, the occupancy rate of the screen occupied by the specific person may be used as an analysis criterion. In this case, the screen
また、テロップ等を注目画面構成要素に設定し、その分析基準を、そのテロップ等の位置としても良い。例えば、画面を9個の領域に分割し、左上から順番にその領域を識別する識別番号を付する(例えば、左上の領域:1,・・・,右下の領域:9)。画面構成分析部2は、画像認識部1で認識した注目画面構成要素の中心点の位置座標がいずれの領域に属するかを判断し、属する領域の識別番号を画面構成情報として出力する。更に、画面構成分析部2は、その分析対象とした画像のコンテンツ映像の時間的位置情報(コンテンツ映像のタイムコード等)も取得し、時間的位置情報も出力する。
Alternatively, a telop or the like may be set as a screen component of interest, and the position of the telop or the like may be used as the analysis criterion. For example, the screen is divided into nine areas, and identification numbers for identifying the areas are assigned in order from the upper left (for example, upper left area: 1, . . . , lower right area: 9). The screen
上述した画面構成分析部2による画面構成の分析及び画面構成情報は、一例であり、他の方法でも良い。
The analysis of the screen configuration and the screen configuration information by the screen
指標取得部3は、指標とこの指標の時刻情報とを取得する。指標には、直接コンテンツに関連する指標のみならず、直接コンテンツには関係しないが、経時的な人の行動をセンシングして得られた指標も含む。また、指標は、コンテンツの視聴者の行動の指標ともいえる。尚、取得する指標は所定時間間隔毎の指標であることが好ましい。
The
コンテンツ映像のコンテンツに関連する指標は、例えば、放送番組の視聴率、コンテンツに関連するWebページの時系列のアクセス数、コンテンツに関連した時系列のツィート数、コンテンツの時系列の再生回数等である。これらの指標は、コンテンツの内容を直接反映する指標であり、コンテンツ映像の画面構成を検討する上で重要な指標である。 Indexes related to content video content are, for example, audience ratings of broadcast programs, number of time-series accesses to web pages related to content, time-series number of tweets related to content, time-series playback count of content, etc. be. These indicators are indicators that directly reflect the contents of the content, and are important indicators when considering the screen configuration of the content video.
一方、経時的な人の行動をセンシングして得られた指標は、コンテンツの内容を直接反映するものではないが、コンテンツ映像の画面構成を検討する上で有益な指標となる可能性がある。例えば、テレビ受信機に装着された人感センサによりセンシングして得られたテレビ受信機前に存在する人の時系列の有無、家屋に設けられた水量計によりセンシングして得られた時系列の水道量等である。サッカーの試合のコンテンツでは、試合中は視聴のためにテレビ受信機前に人が存在する場合が多いが、ハーフタイムになるとそれまで我慢していた家事等を行うため、コンテンツを表示させたまま、テレビ受信機前から離れる傾向があると思われる。すると、人感センサは人を検出しなくなり、また、水道量も増えると思われる。このように、コンテンツの視聴率のようにコンテンツの直接の指標となるものではないが、コンテンツの構成を検討する上で、有益な指標となりうる。 On the other hand, indices obtained by sensing people's behavior over time do not directly reflect the contents of content, but they may be useful indices in examining the screen composition of content video. For example, the presence or absence of the time series of people in front of the TV receiver obtained by sensing with the human sensor attached to the TV receiver, the time series obtained by sensing with the water meter installed in the house. water volume, etc. In soccer game content, there are often people in front of the TV receiver to watch it during the match, but at halftime they do housework, etc. that they had put up with until then, so the content is left displayed. , tend to move away from the front of the TV receiver. Then, the human sensor will stop detecting people, and the amount of water supply will increase. In this way, unlike the audience rating of content, it is not a direct indicator of content, but it can be a useful indicator when considering the structure of content.
また、各家電に設けられたセンサの時系列データを指標としても良い。例えば、テレビ受信機の電源のON・OFF、テレビリモコンの各種ボタンの押下、冷蔵庫のドアの開閉等の時系列データである。これらのデータも、コンテンツへの興味を分析する上で、有益な指標となる。 Alternatively, time-series data from sensors provided in each home appliance may be used as an index. For example, it is time-series data of turning on/off the power of a television receiver, pressing various buttons of a television remote controller, opening and closing a refrigerator door, and the like. These data are also useful indicators for analyzing interest in content.
また、コンテンツを表示する表示装置(例えば、テレビ受信機)に、視線検出センサが設けられている場合、時系列的な視聴者の画面上の注視領域を指標としても良い。更に、視線検出センサが視聴者の瞳孔の大きさも検出できる場合は、その視聴者の瞳孔の大きさの時系列的な変化を指標としても良い。瞳孔径は「興味」のあるモノに対しては広がり、興味のないものに対しては狭まるという実験結果があり、コンテンツへの興味を分析する上で、有益な指標となるからである。 In addition, when a display device (for example, a television receiver) that displays content is provided with a line-of-sight detection sensor, the viewer's gaze area on the screen in chronological order may be used as an index. Furthermore, if the line-of-sight detection sensor can also detect the size of the viewer's pupil, the time-series change in the size of the viewer's pupil may be used as an index. This is because there is an experimental result that the pupil diameter widens for "interesting" objects and narrows for uninteresting objects, which is a useful index for analyzing interest in content.
また、人体に各種センサが装着されている場合、その各種センサから得られる人体の変化の時系列データも指標としても良い。視聴者のコンテンツへの興味により、視聴者の体には変化が生じるからである。 Moreover, when various sensors are attached to the human body, time-series data of changes in the human body obtained from the various sensors may also be used as an index. This is because the viewer's body changes due to the viewer's interest in the content.
関連付け部4は、画面構成分析部2から取得した画面構成情報と、指標取得部3から取得した指標とを、同一時間軸上に関連付けて、記憶部5に記憶する。例えば、コンテンツのタイムコードを時間軸として、同一の時刻情報を持つ、画面構成情報と指標とを関連付けて記憶部5に記憶する。図6の例では、コンテンツタイムコード1:00:25に、画面構成情報Aと指標Aとが関連付けて記憶され、コンテンツタイムコード1:00:27に、画面構成情報Bと指標Bとが関連付けて記憶され、コンテンツタイムコード1:00:29に、画面構成情報Cと指標Cとが関連付けて記憶され、コンテンツタイムコード1:00:31に、画面構成情報Dと指標Dとが関連付けて記憶されている。
The
記憶部5は、ハードディスクのような記録媒体である。
The
出力制御部6は、分析基準及び指標が指定されると、その分析基準の画面構成情報と指標との関係を時系列で表現した時系列情報を出力部7に出力する。尚、出力される画面構成情報と指標とは一対一の関係でなくても良く、複数の画面構成情報とひとつの指標、ひとつの画面構成情報と複数の指標、又は、複数の画面構成情報と複数の指標を同時に出力するようにしても良い。この場合、出力される画面構成情報と指標とは、同一の時間軸に対応付けられて出力されることが好ましい。
When the analysis standard and the index are specified, the
出力部7は、ディスプレイ等の出力手段である。
The
上述した画面構成分析装置は、具体的には、各種の演算処理等を行うプロセッサを有するコンピュータシステム(情報処理装置)によって実現することができる。図7はコンピュータシステムによって構成された画面構成分析装置のブロック図である。 Specifically, the screen configuration analysis device described above can be realized by a computer system (information processing device) having a processor that performs various kinds of arithmetic processing. FIG. 7 is a block diagram of a screen configuration analysis device configured by a computer system.
画面構成分析装置は、プロセッサ10、メモリ(ROMやRAM)11、記憶装置(ハードディスク、半導体ディスクなど)12、入力装置(キーボード、マウス、タッチパネルなど)13、表示装置14、通信装置15などのハードウェア資源を有する汎用のコンピュータにより構成することができる。
The screen configuration analyzer includes hardware such as a
画面構成分析装置は、記憶装置12に格納されたプログラムがメモリ11にロードされ、プロセッサ10により実行されることにより、画像認識処理と、画面構成分析処理と、指標取得処理と、関連付け処理と、出力制御処理とが実現されるものである。尚、画像認識処理は画像認識部1に対応し、画面構成分析処理は画面構成分析部2に対応し、指標取得処理は指標取得部3に対応し、関連付け処理は関連付け部4に対応し、出力制御処理は出力制御部6に対応する。
The program stored in the
次に、上述した画面構成分析装置の具体的な実施例を説明する。 Next, a specific embodiment of the screen configuration analysis device described above will be described.
本実施例は、コンテンツを放送番組のドラマX、注目構成要素をドラマXに出演している出演者Aとし、分析基準を出演者A(単独)の画面での占有比とし、指標をドラマXの視聴率とする例を説明する。 In this embodiment, the content is the drama X of the broadcast program, the attention component is the performer A appearing in the drama X, the analysis criterion is the screen occupancy ratio of the performer A (single), and the index is the drama X. An example of the audience rating of .
画像認識部1は、ドラマXの映像から出演者Aを認識する。認識は、1秒毎に行うものとする。そして、画像認識部1は、出演者Aの注目領域の面積と、出演者Aを認識した映像のタイムコードとを出力する。
The
画面構成分析部2は、画像認識部1から受信した出演者Aの注目領域の面積とタイムコードとから、タイムコードで特定される画面において出演者Aの注目領域の面積が占める占有比を求める。ここでの占有比は、出演者Aが映像の画面に表示されていない場合を0とし、出演者Aの注目領域の面積が画面の面積と一致する場合を10として、0から10の範囲で求める。画面構成分析部2は、求めた出演者Aの占有比とその時のタイムコードとを関連付け部4に出力する。
Based on the area of the attention area of performer A received from the
指標取得部3は、ドラマXの1秒単位の視聴率を取得する。尚、視聴率のデータは、既存のサービスから取得することができる。
The
関連付け部4は、画面構成分析部2から受信した出演者Aの占有比(画面構成情報)と、指標取得部3から受信したドラマXの1秒単位の視聴率とを、ドラマXのタイムコードに関連付けて記憶部5に記憶する。
The
出力制御部6は、分析基準であるドラマXの出演者Aの占有比(画面構成情報)と、ドラマXの視聴率(指標)との時系列情報が指定されると、横軸をタイムコード(時間)とし、縦軸の第1軸を視聴率とし、縦軸の第2軸を出演者Aの占有比としたドラマXの出演者Aの占有比及びドラマXの視聴率の折れ線グラフを、時系列情報として出力部7に出力する。出力部7に出力されるドラマXの出演者Aの占有比及びドラマXの視聴率の折れ線グラフの一例を、図8に示す。図8では、出演者Aの占有比と視聴率の増加とに相関があることがわかる。
When time-series information of the occupation ratio (screen configuration information) of performer A in drama X and the audience rating (indicator) of drama X, which are the analysis criteria, are designated, the
このように、注目構成要素に着目した場合のコンテンツ映像の画像の画面構成情報と指標との関係を時系列に並べることにより、客観的にコンテンツ映像の画面構成を検討、評価できる。 In this way, by arranging the relationship between the screen configuration information of the image of the content video and the index when focusing on the component of interest in chronological order, the screen configuration of the content video can be examined and evaluated objectively.
尚、出力制御部6は、時系列情報とともに、時系列に沿ってコンテンツ映像も表示するようにしても良い。
Note that the
更に、画面構成分析部2は、画面構成情報を生成すると共に、タイムコードのようなコンテンツ映像の時間的位置情報も取得し、それらは記録部に記憶されているので、画面構成情報はコンテンツ映像のメタデータとしても活用することができる。例えば、画面構成情報が出演者の画面上の出現の有無である場合、出演者の出現が有の画面構成情報の時間的位置情報を用いて、出演者が出現する映像のみを選択することができる。
Furthermore, the screen
<第1の実施の形態の変形例1>
第1の実施の形態の変形例1を説明する。
<
図9は第1の実施の形態の変形例1のブロック図である。
FIG. 9 is a block diagram of
第1の実施の形態の変形例1は、上述した第1の実施の形態における画像分析装置の構成要素のうち、出力制御部6及び出力部7が除かれ、画像認識部1と画面構成分析部2と指標取得部3と関連付け部4と記憶部5とから画像分析装置100が構成される。そして、LAN等のネットワークを介して画像分析装置100と接続されている端末200が出力制御部6及び出力部7を備える。
このような構成にすることにより、画像分析装置100が分析収集した画面構成と指標との時系列的な関係を、複数の端末が閲覧することができる。 With such a configuration, a plurality of terminals can browse the time-series relationship between the screen configuration and the indices analyzed and collected by the image analysis apparatus 100 .
<第1の実施の形態の変形例2>
第1の実施の形態の変形例2を説明する。
<
第1の実施の形態の変形例2は、第1の実施の形態の変形例1の画像分析装置100が複数設けられ、各画像分析装置100が分析したコンテンツ映像の画面構成情報及び指標を、端末200の出力制御部6において対比させて出力できるように構成したものである。
図10は第1の実施の形態の変形例2のブロック図である。
FIG. 10 is a block diagram of
第1の実施の形態の変形例2では、複数の画像分析装置100が設けられ、それぞれの画像分析装置100には、異なる番組映像M、番組映像N、...、番組映像Zのいずれかが入力される。
In
各画像分析装置100に指定される注目構成要素であるが、注目構成要素を出演者とした場合、各番組映像M、番組映像N、...、番組映像Zの出演者は異なるので、指定される注目構成要素も異なる。例えば、番組映像Mでは出演者A、番組映像Nでは出演者Bとなるからである。しかし、着目する注目構成要素の概念としては、番組に出演している出演者のように共通していることが好ましい。 The constituent elements of interest are designated to each image analysis apparatus 100. When the constituent elements of interest are performers, each program video M, program video N, . . . , the performers of the program video Z are different, so the target components to be designated are also different. This is because, for example, the program image M is the performer A, and the program image N is the performer B. However, it is preferable that the concept of the component of interest to be focused on is common, such as the performers appearing in the program.
一方、各画像分析装置100に指定される分析基準であるが、好ましくは同一の分析基準であることが好ましい。例えば、各番組映像M、番組映像N、...、番組映像Zの出演者の画面の占有比等である。 On the other hand, the analysis criteria specified for each image analysis apparatus 100 are preferably the same analysis criteria. For example, each program video M, program video N, . . . , the occupation ratio of the screen of the cast of the program image Z, and the like.
また、指標取得部3が取得する指標であるが、対比の観点から好ましくは同一種類の指標が好ましい。例えば、各番組映像M、番組映像N、...、番組映像Zの各番組の視聴率である。
Further, the indices acquired by the
このようにして各画像分析装置100は、各番組映像M、番組映像N、...、番組映像Zの分析を行い、画面構成情報と指標とを同一時間軸上に関連付けて記憶する。 In this way, each image analysis device 100 can generate each program image M, program image N, . . . , the program image Z is analyzed, and the screen configuration information and the index are stored in association with each other on the same time axis.
出力制御6は、分析基準及び指標が指定されると、各画像分析装置100から画面構成情報及び指標と読み出して、各画面構成情報及び各指標との関係を、同一画面上に時系列で表現した時系列情報を出力部7に出力する。例えば、各番組映像M、番組映像N、...、番組映像Zの画面構成情報(例えば、各番組の出演者の画面占有比)と各番組映像M、番組映像N、...、番組映像Zの指標(例えば、各番組の視聴率)とを、同一画面上で時系列に並べた時系列情報を出力する。
When the analysis criteria and indices are specified, the
このように構成することにより、複数のコンテンツ映像と指標との関係を対比させることができ、画面構成情報の変化に伴う視聴者の番組の遷移も評価することができる。 By configuring in this way, it is possible to compare the relationship between a plurality of content videos and the index, and to evaluate the transition of the viewer's program accompanying the change of the screen configuration information.
尚、番組映像M、番組映像N、...、番組映像Zをリアルタイムで分析しない場合は、単独の画像分析装置100により、各番組映像M、番組映像N、...、番組映像Zをそれぞれ分析後、出力制御6が各番組映像M、番組映像N、...、番組映像Zの画面構成情報と各番組映像M、番組映像N、...、番組映像Zの指標とを、同一画面上で時系列に並べた時系列情報を出力しても良いことはいうまでもない。
Note that program video M, program video N, . . . , program video Z is not analyzed in real time, each program video M, program video N, . . . , program video Z, the
<第2の実施の形態>
第2の実施の形態を説明する。
<Second Embodiment>
A second embodiment will be described.
コンテンツの映像に含まれる音声も、視聴者に大きな影響を与えると考えられる。そこで、第2の実施の形態は、コンテンツの映像に含まれる音声も認識対象に加えてコンテンツ映像を分析する例を説明する。 The sound contained in the video of the content is also considered to have a great influence on the viewer. Therefore, in the second embodiment, an example will be described in which the content video is analyzed in addition to the speech included in the content video as a recognition target.
図11は第2の実施の形態における画面構成分析装置のブロック図である。 FIG. 11 is a block diagram of a screen configuration analysis device according to the second embodiment.
第2の実施の形態の画面構成分析装置は、第1の実施の形態の画面構成分析装置に加えて音声認識部20を備える。
The screen configuration analysis device of the second embodiment includes a
音声認識部20は、注目画面構成要素の音声を認識するものである。注目画面構成要素の音声を認識するために、音声認識部20は、機械学習等により、注目画面構成要素の音声を学習させておく。認識する音声は、注目画面構成要素が人物である場合は人物の音声、注目画面構成要素が楽器等のオブジェクトの場合はその注目画面構成要素が発する音である。尚、音声認識部20は、注目画面構成要素の音声に限らず、例えば、オープニング曲や、バックグラウンドミュージックのように、映像としではなく、音が単独で存在する場合には、その音自体を注目構成要素として認識するようにしても良い。
The
音声認識部20認識する音声の情報は、注目画面構成要素の音声の有無のみならず、注目画面構成要素が発する音声のレベル、周波数、ピッチ、スピード、ラウドネス値も含む。そして、これら識別した音声について、その内容に関する情報である注目構成要素音声認識情報を生成する。
The information of the voice recognized by the
画面構成分析部2は、画像認識部1から受信した注目画面構成要素認識情報と、音声認識部20から受信した注目構成要素音声認識情報とを用いて、設定された分析基準でコンテンツ映像の画面構成を分析する。分析基準の例としては、注目画面構成が人物である場合、その人物が映像上に出現している場合におけるその人物の音声のレベルや、周波数、ピッチ、スピード、ラウドネス値等があげられる。
The screen
画面構成分析部2は、分析基準に従って、コンテンツ映像の画面構成を分析し、画面構成情報及び時間的位置情報を出力する。
The screen
指標取得部3、関連付け部4、記憶部5、出力制御部6、及び出力部7の動作は、第1の実施の形態と同様である。
The operations of the
具体的な実施例を説明する
本実施例は、注目構成要素を、コンテンツYに出演しているある出演者Bと出演者Bの音声とし、分析基準を出演者B(単独)の映像上の表示(出現)の有無と、出演者Bの音声のレベルとし、指標をそのコンテンツYの視聴率とする例を説明する。
Explaining a specific embodiment In this embodiment, the components of interest are a certain performer B appearing in the content Y and the voice of the performer B, and the analysis criterion is the video of the performer B (single) An example will be described in which presence/absence of display (appearance) and voice level of performer B are used, and the audience rating of content Y is used as an index.
画像認識部1は、コンテンツYの映像から出演者Bを認識する。認識は、1秒毎に行うものとする。そして、画像認識部1は、出演者Bの注目領域の面積と、出演者Bを認識した映像のタイムコードとを出力する。
The
音声認識部20は、出演者Bの音声を認識し、その音声データを画面構成分析部2に出力する。
The
画面構成分析部2は、画像認識部1から受信した出演者Bの注目領域の面積とタイムコードとから、タイムコードで特定される画面において出演者Bの映像上の表示(出現)の有無について判断する。すなわち、出演者Bの注目領域の面積がゼロでなければ、出演者Bの映像上の表示(出現)されていることになる。ここでの画面構成情報は、出演者Bの映像上の表示(出現)されている場合は1となり、出演者Bの映像上の表示(出現)されていない場合は0となる。
Based on the area of attention area of performer B received from
更に、画面構成分析部2は、音声認識部20からの出演者Bの音声データに基づいて、出演者Bの音声のレベルを判定する。レベルの判定は、10段階で行い、レベルが高くなると、数値が高くなるものとする。そして、画面構成分析部2は、音声のレベルの数値を画面構成情報として出力する。
Further, the screen
指標取得部3は、コンテンツYの1秒単位の視聴率を取得する。
The
関連付け部4は、画面構成分析部2から受信した出演者Bの画面構成情報(出演者Bの映像上の表示(出現)の有無と、出演者Bの音声のレベルの数値)と、指標取得部3から受信したコンテンツYの1秒単位の視聴率とを、コンテンツYのタイムコードと、そのタイムコードに対応する画面構成情報と、コンテンツYの視聴率とを関連付けて記憶部5に記憶する。
The
出力制御部6は、分析基準であるコンテンツYの出演者Bの画面構成情報と、コンテンツYの視聴率との時系列情報が指定されると、横軸をタイムコード(時間)とし、縦軸の第1軸をコンテンツYの視聴率、縦軸の第2軸を出演者Bの映像上の表示(出現)の有無及び出演者Bの音声のトーンの数値とする出演者Bの映像上の表示(出現)の有無、出演者Bの音声のレベルの数値及びコンテンツYの視聴率の折れ線グラフを、時系列情報として出力部7に出力する。出力部7に出力されるドラマXの出演者Aの占有比及びドラマXの視聴率の折れ線グラフの一例を、図12に示す。図12では、出演者Bの音声のレベルと視聴率の増加とに相関があることがわかる。
When the screen configuration information of the performer B of the content Y and the time-series information of the audience rating of the content Y, which are the analysis criteria, are specified, the
このように、注目構成要素に着目した場合のコンテンツ映像の画像の画面構成情報と指標との関係を時系列に並べることにより、客観的にコンテンツ映像の画面構成を検討、評価できる。 In this way, by arranging the relationship between the screen configuration information of the image of the content video and the index when focusing on the component of interest in chronological order, the screen configuration of the content video can be examined and evaluated objectively.
尚、第2の実施の形態は、上述した第1の実施の形態の変形と組み合わせて構成することもできる。 It should be noted that the second embodiment can also be configured in combination with the modification of the first embodiment described above.
<第3の実施の形態>
図13は第3の実施の形態における画面構成分析装置を示すブロック図である。第3の実施の形態は、第2の実施の形態に加えて、相関分析部30を有する。
<Third Embodiment>
FIG. 13 is a block diagram showing a screen configuration analysis device according to the third embodiment. The third embodiment has a correlation analysis section 30 in addition to the second embodiment.
分析部30は、記憶部5に記憶されている画面構成情報及び指標を入力データとし、その画面構成情報と指標との相関性を分析する。例えば、画面構成情報の変化にともない、その指標がどのように変化していくか、また、指標に特徴的な変化が起きた時の画面構成情報の提示等の情報である。これらは、ひとつのコンテンツ映像の分析だけでも良いが、第1の実施の形態の変形例2に説明したように複数のコンテンツの画面構成情報及び指標を分析することにより、より効果的なものとなる。
The analysis unit 30 uses the screen configuration information and the index stored in the
相関分析部30の分析の一例として、相関分析部30は、特定のコンテンツの視聴率の急上昇や急降下、人感センサの検出値が同時多発的に下がるなどの指標の特徴的変化を検出し、その特徴的変化が起きた時のコンテンツの画面構成情報とその指標データとを出力する。また、相関分析部30は、毎日の同じ時間や、同じ曜日に現れる等の定期的な指標の特徴的変化を検出し、その特徴的変化が起きた時のコンテンツの画面構成情報とその指標データとを出力する。 As an example of the analysis by the correlation analysis unit 30, the correlation analysis unit 30 detects a characteristic change in the index, such as a rapid increase or a sudden drop in the audience rating of a specific content, or a simultaneous decrease in the detection value of the human sensor, The screen configuration information of the content when the characteristic change occurs and its index data are output. Further, the correlation analysis unit 30 detects periodic characteristic changes in the index, such as appearing at the same time every day or on the same day of the week. and
また、記憶部5に記憶されている複数の画面構成情報及び指標のデータを、分析部30に学習させ、どのような画面構成情報のときにどのような指標が変化する傾向があるのか、又は、どのような画面構成情報の変化のときにどのような指標が変化する傾向にあるのか、又は、その指標の値の高低はどのような画面構成情報が影響を与える傾向にあるのか等の総合的な分析情報も提供することができる。このような、分析方法としては、パターンマッチングや、ディープラーニング等の手法を用いた機械学習によるものなどがある。
In addition, the analysis unit 30 is made to learn a plurality of pieces of screen configuration information and index data stored in the
このような相関分析部30の分析結果は、コンテンツの編集の自動化にも貢献することができる。 Such analysis results of the correlation analysis unit 30 can also contribute to automation of content editing.
図14は第3の実施の形態の応用例を示したブロック図である。 FIG. 14 is a block diagram showing an application example of the third embodiment.
図14の例では、相関分析部30の分析結果は、コンテンツ制作システム40に入力される。コンテンツ制作システム40の一例を説明すると、分析の結果、視聴率の上昇が認められる画面構成情報、例えば、コンテンツの特定の時間帯に、主演者が50~70%の画面占有率で映像上に映っていることが、視聴率の上昇に大きく貢献しているとの分析結果があるものとする。そして、複数のカメラで撮影した映像からひとつのコンテンツの映像を制作するような場合、各カメラの映像における主演者の画面占有率を監視し、特定の時間帯において、主演者が50~70%の画面占有率で映っているカメラの映像を自動的に選択するようにすれば、カメラの映像のスイッチング処理を自動化することができる。1台のカメラにおけるカメラワーク(ズームやパン等)の処理も同様である。 In the example of FIG. 14 , the analysis result of the correlation analysis section 30 is input to the content production system 40 . To explain an example of the content production system 40, as a result of analysis, the screen configuration information that is recognized to increase the audience rating, for example, the main character is displayed on the video with a screen share of 50 to 70% during a specific time period of the content. It is assumed that there is an analysis result that being reflected greatly contributes to an increase in audience rating. In the case of creating a single content video from images shot with multiple cameras, the screen share of the main actor in each camera's video is monitored, and during a specific time period, the main actor accounts for 50-70% of the screen. By automatically selecting a camera image captured with a screen occupation ratio of , the switching processing of the camera image can be automated. The same is true for camera work (zoom, pan, etc.) performed by a single camera.
第3の実施の形態は、相関分析部を設けることにより、画面構成情報と指標との関係を推測できる。更に、分析結果を用いることにより、コンテンツの制作の自動化にも貢献することができる。 The third embodiment can estimate the relationship between the screen configuration information and the index by providing the correlation analysis unit. Furthermore, by using the analysis results, it is possible to contribute to the automation of content production.
以上好ましい実施の形態をあげて本発明を説明したが、全ての実施の形態の構成を備える必要はなく、適時組合せて実施することができるばかりでなく、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。 Although the present invention has been described above with reference to preferred embodiments, it is not necessary to include all the configurations of the embodiments, and not only can they be combined as appropriate, but the present invention is not necessarily limited to the above embodiments. However, it can be modified and implemented in various ways within the scope of its technical ideas.
1 画像認識部
2 画面構成分析部
3 指標取得部
4 関連付け部
5 記憶部
6 出力制御部
7 出力部
20 音声認識部
30 相関分析部
40 コンテンツ制作システム
100 画面構成分析装置
1
Claims (6)
前記指定された人物の前記コンテンツ映像の画面における占有比である指定人物占有比を分析し、前記指定人物占有比を前記指定人物占有比が属するクラスの代表値に変換し、前記代表値と、前記指定人物占有比の分析対象とした画像の前記コンテンツ映像上の時間的位置情報と、を出力する画面構成分析部と、
前記コンテンツの視聴率と前記コンテンツの視聴率の時刻情報とを取得する指標取得部と、
前記コンテンツ映像上の時間的位置情報と前記コンテンツの視聴率の時刻情報とを用いて、前記代表値と前記コンテンツの視聴率とを同一時間軸上に関連付けて、記憶部に記憶する関連付け部と、
同一時間軸上に関連付けられた前記代表値と前記コンテンツの視聴率とを用いて、前記代表値と前記コンテンツの視聴率との時系列情報を出力する出力制御部と、
を有する画面構成分析装置。 an image recognition unit for recognizing a designated person by image recognition from content video of content;
analyzing a specified person occupancy ratio, which is an occupancy ratio of the specified person on the screen of the content video , converting the specified person occupancy ratio into a representative value of a class to which the specified person occupancy ratio belongs , and a screen configuration analysis unit that outputs temporal position information on the content video of the image to be analyzed for the specified person occupancy ratio;
an index acquisition unit that acquires the audience rating of the content and the time information of the audience rating of the content;
an associating unit that associates the representative value with the audience rating of the content on the same time axis using the temporal position information on the content video and the time information of the audience rating of the content, and stores the result in a storage unit; ,
an output control unit that outputs time-series information of the representative value and the audience rating of the content using the representative value and the audience rating of the content that are associated on the same time axis;
A screen configuration analyzer having
前記各画面構成分析装置に、異なるコンテンツ映像の分析を行わせ、
前記出力制御部は、前記各コンテンツ映像の代表値と前記コンテンツの視聴率との時系列情報を出力する
請求項1に記載の画面構成分析装置。 providing a plurality of screen configuration analysis devices each having the image recognition unit, the screen configuration analysis unit, the index acquisition unit, and the association unit;
causing each of the screen configuration analysis devices to analyze different content videos;
The output control unit outputs time-series information of a representative value of each content video and an audience rating of the content.
The screen configuration analysis device according to claim 1 .
請求項1又は請求項2に記載の画面構成分析装置。 a correlation analysis unit that analyzes the correlation between the representative value and the audience rating of the content, using the representative value and the audience rating of the content stored in association on the same time axis;
3. The screen configuration analysis device according to claim 1 or 2 .
請求項3に記載の画面構成分析装置。 A video production system that controls video production equipment using the analysis result of the correlation analysis unit
The screen configuration analysis device according to claim 3 .
コンテンツのコンテンツ映像から、画像認識により、指定された人物を認識し、
前記指定された人物の前記コンテンツ映像の画面における占有比である指定人物占有比を分析し、前記指定人物占有比を前記指定人物占有比が属するクラスの代表値に変換し、前記代表値と、前記指定人物占有比分析対象とした画像の前記コンテンツ映像上の時間的位置情報と、を出力し、
前記コンテンツの視聴率と前記コンテンツの視聴率の時刻情報とを取得し、
前記コンテンツ映像上の時間的位置情報と前記コンテンツの視聴率の時刻情報とを用いて、前記代表値と前記コンテンツの視聴率とを同一時間軸上に関連付けて、記憶部に記憶し、
同一時間軸上に関連付けられた前記代表値と前記コンテンツの視聴率とを用いて、前記代表値と前記コンテンツの視聴率との時系列情報を出力する、
画面構成分析方法。 The information processing device
Recognize the designated person by image recognition from the content video of the content,
analyzing a specified person occupancy ratio, which is an occupancy ratio of the specified person on the screen of the content video , converting the specified person occupancy ratio into a representative value of a class to which the specified person occupancy ratio belongs , and outputting temporal position information on the content video of the image to be analyzed for the specified person occupancy ratio;
Acquiring the audience rating of the content and the time information of the audience rating of the content,
By using the temporal position information on the content video and the time information of the audience rating of the content, the representative value and the audience rating of the content are associated on the same time axis and stored in a storage unit;
outputting time-series information of the representative value and the audience rating of the content using the representative value and the audience rating of the content that are associated on the same time axis;
Screen composition analysis method.
前記指定された人物の前記コンテンツ映像の画面における占有比である指定人物占有比を分析し、分析結果である指定人物占有比を前記指定人物占有比が属するクラスの代表値に変換し、前記代表値と、前記指定人物占有比の分析対象とした画像の前記コンテンツ映像上の時間的位置情報と、を出力する画面構成分析処理と、
前記コンテンツの視聴率と前記コンテンツの視聴率の時刻情報とを取得する指標取得処理と、
前記コンテンツ映像上の時間的位置情報と前記コンテンツの視聴率の時刻情報とを用いて、前記代表値と前記コンテンツの視聴率とを同一時間軸上に関連付けて、記憶部に記憶する関連付け処理と、
同一時間軸上に関連付けられた前記代表値と前記コンテンツの視聴率とを用いて、前記代表値と前記コンテンツの視聴率との時系列情報を出力する出力処理と、
をコンピュータに実行させるプログラム。 Image recognition processing for recognizing a specified person from content video of content by image recognition;
The specified person occupancy ratio, which is the occupancy ratio of the specified person on the screen of the content video, is analyzed, the specified person occupancy ratio that is the analysis result is converted into a representative value of the class to which the specified person occupancy ratio belongs, and the representative screen configuration analysis processing for outputting a value and temporal position information on the content video of the image targeted for analysis of the specified person occupancy ratio;
an index acquisition process for acquiring the audience rating of the content and the time information of the audience rating of the content;
an association process of associating the representative value and the audience rating of the content on the same time axis using the temporal position information on the content video and the time information of the audience rating of the content, and storing the result in a storage unit; ,
an output process of outputting time-series information of the representative value and the audience rating of the content using the representative value and the audience rating of the content that are associated on the same time axis;
A program that makes a computer run
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018087310A JP7209441B2 (en) | 2018-04-27 | 2018-04-27 | Screen configuration analysis device, screen configuration analysis method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018087310A JP7209441B2 (en) | 2018-04-27 | 2018-04-27 | Screen configuration analysis device, screen configuration analysis method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019192144A JP2019192144A (en) | 2019-10-31 |
JP7209441B2 true JP7209441B2 (en) | 2023-01-20 |
Family
ID=68390508
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018087310A Active JP7209441B2 (en) | 2018-04-27 | 2018-04-27 | Screen configuration analysis device, screen configuration analysis method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7209441B2 (en) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008116826A (en) | 2006-11-07 | 2008-05-22 | Nippon Hoso Kyokai <Nhk> | Pause duration calculation device and its program, and voice synthesizer |
JP2009081575A (en) | 2007-09-25 | 2009-04-16 | Toshiba Corp | Apparatus, method, and system for outputting video image |
JP2010034675A (en) | 2008-07-25 | 2010-02-12 | Yahoo Japan Corp | Program analyzing device, program analyzing method and program analyzing program |
JP2010114723A (en) | 2008-11-07 | 2010-05-20 | Brother Ind Ltd | Reproduction information output device, reproduction information outputting method, and reproduction information output processing program |
JP2010204823A (en) | 2009-03-02 | 2010-09-16 | Hitachi Information & Control Solutions Ltd | Line-of-sight recognition device |
JP2012129760A (en) | 2010-12-15 | 2012-07-05 | Casio Comput Co Ltd | Content evaluation device and content evaluation method |
JP2013021661A (en) | 2011-07-14 | 2013-01-31 | Ntt Docomo Inc | Viewing rate estimation device and viewing rate estimation method |
-
2018
- 2018-04-27 JP JP2018087310A patent/JP7209441B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008116826A (en) | 2006-11-07 | 2008-05-22 | Nippon Hoso Kyokai <Nhk> | Pause duration calculation device and its program, and voice synthesizer |
JP2009081575A (en) | 2007-09-25 | 2009-04-16 | Toshiba Corp | Apparatus, method, and system for outputting video image |
JP2010034675A (en) | 2008-07-25 | 2010-02-12 | Yahoo Japan Corp | Program analyzing device, program analyzing method and program analyzing program |
JP2010114723A (en) | 2008-11-07 | 2010-05-20 | Brother Ind Ltd | Reproduction information output device, reproduction information outputting method, and reproduction information output processing program |
JP2010204823A (en) | 2009-03-02 | 2010-09-16 | Hitachi Information & Control Solutions Ltd | Line-of-sight recognition device |
JP2012129760A (en) | 2010-12-15 | 2012-07-05 | Casio Comput Co Ltd | Content evaluation device and content evaluation method |
JP2013021661A (en) | 2011-07-14 | 2013-01-31 | Ntt Docomo Inc | Viewing rate estimation device and viewing rate estimation method |
Non-Patent Citations (2)
Title |
---|
昼間 貴宏,外2名,スポーツ映像を対象としたストリーム処理型内容分析によるスポンサー広告価値計量方式と実現,第1回データ工学と情報マネジメントに関するフォーラム-DEIMフォーラム-論文集,日本,電子情報通信学会データ工学研究専門委員会,2009年05月09日 |
藤田 悦郎,外2名,D-8-7 コンテンツ空間の可視化に基づく視聴率分析,電子情報通信学会2001年総合大会予稿集,日本,2001年03月07日,pp.106 |
Also Published As
Publication number | Publication date |
---|---|
JP2019192144A (en) | 2019-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20240098221A1 (en) | Method and apparatus for delivering video and video-related content at sub-asset level | |
CA2923807C (en) | Generating alerts based upon detector outputs | |
TWI399973B (en) | Methods, apparatus and machine readable medium storing instructions to distinguish a signal originating from a local device from a boradcast signal | |
CN111954020B (en) | Live information processing method, device, equipment and computer readable storage medium | |
JP2009140010A (en) | Information processing device, information processing terminal, information processing method, and program | |
TWI527442B (en) | Information extracting method and apparatus and computer readable media therefor | |
JP2008124574A (en) | Preference extracting apparatus, preference extracting method and preference extracting program | |
JP2011139441A (en) | Viewing terminal device, viewing statistics apparatus, viewing statistics processing system, and viewing statistics processing method | |
JP2009239729A (en) | Device, method and program for informing content scene appearance | |
KR20140128766A (en) | System, apparatus, method and computer readable recording medium for providing analyzing the log of a subscriber through the recognition of circumstantial based on the smart tv | |
JP2007215046A (en) | Information processor, information processing method, information processing program, and recording medium | |
CN112995684A (en) | Data processing method and device for live broadcast room | |
KR20150081414A (en) | Service server and method for providing quick-menu | |
JP4812733B2 (en) | Information editing apparatus, information editing method, information editing program, and recording medium recording the program | |
WO2017008498A1 (en) | Method and device for searching program | |
CN112188221B (en) | Play control method, play control device, computer equipment and storage medium | |
JP7209441B2 (en) | Screen configuration analysis device, screen configuration analysis method and program | |
JP2005534248A (en) | Method and system for controlling the operation of a video system | |
JP6560503B2 (en) | Rise notification system | |
CN112052315A (en) | Information processing method and device | |
CN113099250B (en) | Information processing method and electronic equipment | |
JP2008130215A (en) | Automatic editing apparatus and automatic editing method | |
JP2011166572A (en) | Apparatus for estimation of program preference, image viewing system, program viewing confirmation method, and program | |
CN107534785A (en) | Method for the grade of the definition of the image that sets multimedia programming | |
Sandifort et al. | VisLoiter+ An entropy model-based loiterer retrieval system with user-friendly interfaces |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210409 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220307 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220413 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220609 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220808 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221005 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221214 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230109 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7209441 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |