JP4917412B2 - Content extraction apparatus, method, program, and recording medium - Google Patents
Content extraction apparatus, method, program, and recording medium Download PDFInfo
- Publication number
- JP4917412B2 JP4917412B2 JP2006317476A JP2006317476A JP4917412B2 JP 4917412 B2 JP4917412 B2 JP 4917412B2 JP 2006317476 A JP2006317476 A JP 2006317476A JP 2006317476 A JP2006317476 A JP 2006317476A JP 4917412 B2 JP4917412 B2 JP 4917412B2
- Authority
- JP
- Japan
- Prior art keywords
- content
- evaluation value
- unit
- distance
- extraction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、コンテンツ抽出技術に関し、特に、テレビジョン装置などのデジタル放送信号を受信・記録した記録媒体からコンテンツを抽出し、表示するためのコンテンツ抽出装置、コンテンツ抽出方法、前記コンテンツ抽出方法のプログラム、及び該プログラムを記録した記録媒体に関する。 The present invention relates to a content extraction technique, and in particular, a content extraction device, a content extraction method, and a program for the content extraction method for extracting and displaying content from a recording medium that receives and records a digital broadcast signal such as a television device. And a recording medium on which the program is recorded.
従来、放送された映像を記録したコンテンツの中から、自分の見たいコンテンツを見つけるためには、早送り再生を行うなどの処理を行っていた。しかしながら、ストレージメディアの大容量化にともなって、記録された全てのコンテンツの中から、早送り再生により所望のコンテンツを探すことは、時間も労力もかかり、面倒である。 Conventionally, processing such as fast-forward playback has been performed in order to find content that the user wants to see from content recorded with broadcast video. However, as the capacity of storage media increases, searching for the desired content by fast-forward playback from all the recorded content is time consuming and laborious.
そこで、最近では、記録されたコンテンツについて、ディレクトリ形式のリスト表示する方法が行われている。しかしながら、情報が大量になると、ディレクトリ形式の分類では階層構造が深くなってしまい、所望のコンテンツを探すのに時間がかかる。 Therefore, recently, a method of displaying a list in a directory format for recorded contents has been performed. However, when the amount of information becomes large, the hierarchical structure becomes deep in the directory format classification, and it takes time to search for the desired content.
一方、コンテンツに付与されたテキスト情報を基に、自然言語を用いて検索する方法も提案されている。しかしながら、このような検索方法は、見たいコンテンツが明確な場合は効率的であるが、ユーザが明確な意図を持たない場合や、自分の興味をうまく言葉で表現できない場合には、利用することが困難である。 On the other hand, a search method using natural language based on text information given to content has also been proposed. However, this kind of search method is efficient when the content you want to see is clear, but should be used when the user does not have a clear intention or when you cannot express your interests in words. Is difficult.
そこで、ユーザが明確な意図を持たない場合でも、情報を探すことを可能にすることを目的として、情報を視覚的に分類配置し、ユーザに見える形で提供する方法が提案されている。例えば、下記非特許文献1には、コンテンツがテキスト文書である場合において、テキスト文書中のキーワードとそのキーワードの出現頻度とを抽出してキーワードベクトル(意味ベクトル)を生成し、これに多次元尺度法を適用してコンテンツを2次元配置し、出来上がったコンテンツマップ上をユーザがブラウジングする手法が記載されている。
In view of this, a method has been proposed in which information is visually classified and arranged so as to be visible to the user in order to make it possible to search for information even when the user does not have a clear intention. For example, in the following Non-Patent
下記非特許文献2には、コンテンツの空間配置を実現する具体的手法が提案されている。概念ベース(意味ベクトルの集まり)を基に、予め決められた特徴的な単語で表された分類カテゴリの単語情報を、多次元尺度法を用いて2次元配置し(これを「基準マップ」と呼ぶ)、そこにコンテンツを配置する手法が記載されている。この場合、コンテンツには予め分類カテゴリと説明文などのテキストもしくはキーワードなどのメタ情報が付与されており、そのメタ情報と概念ベースや基準マップとの類似性(距離)を算出し、各コンテンツの意味ベクトルを計算し、多次元尺度法を用いて基準マップ上にコンテンツを分類配置する。
Non-Patent
下記特許文献1には、コンテンツ(画像、映像、音楽、テキスト情報など)に分類カテゴリが付与されていることを前提として、分類カテゴリ情報が付与されたコンテンツを、その分類構造を反映するようにマッピングすることにより分類カテゴリ毎にコンテンツをクラスター化し、マップに分類体系の構造を反映する手法が記載されている。
In the following
図22は、コンテンツを分類配置する従来技術の概念を説明するための構成例を示す図であり、図23はその処理の流れを示すフローチャート図である。まず、図22に示す概念ベクトル算出処理部107は、コンテンツDB115に格納されているコンテンツの概要説明文を読み出し(ステップS501)、概念ベクトルを算出する。この際、概念ベクトルは多次元ベクトルとして表される。算出した概念ベクトルは、各コンテンツに対応付けてコンテンツDB115に格納する(ステップS502)。次に、2次元座標算出処理部105は、各コンテンツの概念ベクトルを用いて、全ての二つのコンテンツの組合せについて、コンテンツ間の距離を算出する(ステップS503)。そして、多次元尺度構成法によって、コンテンツの2次元平面上での位置情報を算出する(ステップS504)。多次元尺度構成法は、高次元ベクトル空間から低次元空間への圧縮アルゴリズムである。このようにして算出された位置情報を基に、マップ画像を作成する(ステップS505)。コンテンツ表示部110は、作成されたコンテンツのマップ画像を、入力部117から入力されるユーザからの要求に応えて表示する(ステップS506)。概要説明文から概念ベクトルを算出する方法については、非特許文献3を参照可能である。
FIG. 22 is a diagram showing a configuration example for explaining the concept of the prior art for classifying and arranging contents, and FIG. 23 is a flowchart showing the processing flow. First, the concept vector
上記非特許文献1、2及び特許文献1に代表されるコンテンツを空間配置する手法においては、類似度の差が小さいコンテンツは近くに集まり、類似度の差が大きいコンテンツは遠くに集まるというように、コンテンツ間の類似度をもとに配置することを可能にする。すなわち、記録されたコンテンツ全体の傾向(分布状態)と、コンテンツの相互関係の把握が容易になり、図22のコンテンツ表示部110に示されるようなコンテンツマップ上を自由に散策するようにコンテンツを選ぶことが可能になり、コンテンツ選択の利便性を向上させている。特に、上記手法は、コンテンツ選択に明確な選択意図を持たないために、コンテンツのジャンルや、コンテンツに付加された個々のメタデータやキーワードを用いたコンテンツ選択方法が向かない場合の、コンテンツ選択用のコンテンツ表示方法として有効である。
In the method of spatially arranging the contents represented by
しかしながら、上記非特許文献1、2及び特許文献1に記載され、コンテンツ間類似度を基にしたコンテンツマップをユーザに表示し、類似度を手掛かりに、コンテンツマップからユーザにコンテンツを選択させる手法には、以下のような問題が生じる場合がある。
However, as described in
1)記録されたコンテンツ間の類似度が全体的に乏しい場合、図24に示すように、表示部110に表示されるコンテンツの空間配置による分布121が薄く広く拡散し、視聴候補選択の手掛かりとなるコンテンツグループが見いだせない。
2)或いは、図25に示すように、少数のコンテンツで構成された多数のコンテンツグループ121aが発生する。
3)類似性の大きなコンテンツばかりが記録されている等、記録されたコンテンツの類似度に偏りが存在する場合には、コンテンツの空間配置に偏りが発生して、図26に示すように、特定の位置に多数のコンテンツを含む、極少数のコンテンツグループ123が生じる。すなわち、視聴候補となるコンテンツグループの数が、少な過ぎる上に、1つのコンテンツグループに含まれるコンテンツの数が多くなり過ぎる。
1) When the degree of similarity between recorded contents is generally poor, as shown in FIG. 24, the
2) Or, as shown in FIG. 25, a large number of
3) When there is a bias in the similarity of recorded content, such as when only content with high similarity is recorded, the spatial arrangement of the content is biased, and as shown in FIG. As a result, a very small number of
以上のような現象が発生することにより、従来手法では次のような問題が生じる。
1)図24に示すようにコンテンツグループが発生しない場合には、コンテンツ選択の手掛かりがなくなり、どのあたりに、どのようなコンテンツがあるのかが掴みにくい。
2)図25に示すようにコンテンツグループの数が多くなり過ぎた場合は、何処のコンテンツグループをコンテンツ選択の手掛かりとしてチェックするのか選択に迷う上に、コンテンツグループの内容をチェックするのに時間が掛かる。
3)図26に示すようにコンテンツグループの数が少なくなった場合には、コンテンツ選択の手掛かりとなる対象のコンテンツグループの選択は容易になるが、その反面、個々のコンテンツグループに含まれる、チェックしなければならないコンテンツの数が多くなり過ぎる。
When the above phenomenon occurs, the following problems occur in the conventional method.
1) When a content group does not occur as shown in FIG. 24, there is no clue to selecting a content, and it is difficult to grasp what kind of content is present in what location.
2) When the number of content groups becomes too large as shown in FIG. 25, it is difficult to select which content group is to be checked as a clue to selecting content, and it takes time to check the contents of the content group. It takes.
3) When the number of content groups is reduced as shown in FIG. 26, it becomes easy to select a target content group as a clue to selecting content, but on the other hand, the check is included in each content group. Too much content has to be done.
本発明は、上記問題点に鑑み、記録されたコンテンツ間の類似性が乏しい場合や、類似性に偏りが発生した場合でも、視聴候補選択を容易とするコンテンツ抽出技術を提供することを目的としている。 In view of the above problems, the present invention aims to provide a content extraction technique that facilitates selection of viewing candidates even when the similarity between recorded contents is poor or even when the similarity is biased. Yes.
本発明の一観点によれば、コンテンツ間の類似度を基に、コンテンツ空間上における配置情報を持つ複数のコンテンツから、コンテンツを探すコンテンツ抽出装置であって、あるコンテンツと所定の類似度を持つ複数のコンテンツを前記類似度と対応関係を持つ前記コンテンツ空間における距離に基づいて、ある数(n個)のコンテンツを抽出することを可能にするコンテンツ抽出部と、前記コンテンツ抽出部により抽出されたコンテンツを表示部に表示する制御を行う制御部と、を有するコンテンツ抽出装置が提供される。 According to one aspect of the present invention, a content extraction apparatus that searches for content from a plurality of contents having arrangement information in a content space based on the similarity between contents, and has a predetermined similarity with a certain content A plurality of contents extracted based on a distance in the content space having a correspondence relationship with the similarity, and a content extracting unit capable of extracting a certain number (n) of contents, and extracted by the content extracting unit There is provided a content extraction device including a control unit that performs control to display content on a display unit.
また、本発明の他の観点によれば、コンテンツ間の類似度を基に、コンテンツ空間上における配置情報を持つ複数のコンテンツから、コンテンツを探すコンテンツ抽出方法であって、あるコンテンツと所定の類似度を持つ複数のコンテンツを前記類似度と対応関係を持つ前記コンテンツ空間における距離に基づいて、ある数(n個)のコンテンツを抽出するステップと、抽出された前記コンテンツを表示するステップと、を有することを特徴とするコンテンツ抽出方法が提供される。 According to another aspect of the present invention, there is provided a content extraction method for searching for content from a plurality of contents having arrangement information in the content space based on the similarity between the contents. Extracting a certain number (n pieces) of content based on the distance in the content space having a correspondence relationship with the similarity, and displaying the extracted content. There is provided a content extraction method characterized by comprising:
本発明は、上記に記載のステップをコンピュータに実行させるためのプログラム又は、そのプログラムを記録するコンピュータ読みとり可能な記録媒体も含むものである。 The present invention includes a program for causing a computer to execute the steps described above, or a computer-readable recording medium for recording the program.
コンテンツ間の類似性を基に作成したコンテンツマップの中から、一定の規則に従って一定数の視聴候補を抽出することで、
(1)この目的を達成する為に、本発明のコンテンツ抽出装置の第1の構成は、コンテンツDB、概念ベクトル算出処理部、及びn(nは、2以上の自然数)次元座標算出処理部を備えたコンテンツ配置座標演算部、ユーザの行動を検出する行動検出部、n次元座標算出処理部で算出されたコンテンツの配置座標を基に、視聴候補となるコンテンツを抽出するコンテンツ抽出部、を備えている。
By extracting a certain number of viewing candidates from a content map created based on the similarity between content according to certain rules,
(1) In order to achieve this object, the first configuration of the content extraction apparatus of the present invention includes a content DB, a concept vector calculation processing unit, and an n (n is a natural number of 2 or more) dimensional coordinate calculation processing unit. A content placement coordinate calculation unit, a behavior detection unit that detects a user's behavior, and a content extraction unit that extracts content that is a viewing candidate based on the content placement coordinates calculated by the n-dimensional coordinate calculation processing unit. ing.
そして、前記コンテンツ抽出部は、コンテンツ選択基準となるコンテンツKiから、n次元配置座標上での距離が所定の距離r±Δ1(なお、Δ1は、0<Δ1≦r/2)の範囲に位置するコンテンツを、視聴候補のコンテンツとしてコンテンツDBから取得するコンテンツ候補取得部、前記配置座標取得部で取得された視聴候補コンテンツの数Nが、予め設定した数nよりも多いか否かを判断するコンテンツ候補確認部、コンテンツ数Nが所定数nよりも多いとき、n個に絞り込むために、距離r±Δ1の領域をn分割し、各分割領域のコンテンツ分布の重心位置を求めて、その重心位置に最も近い位置に存在するコンテンツを抽出するコンテンツ絞込み部、を備えている。 Then, the content extraction unit is located within a range of a predetermined distance r ± Δ1 (where Δ1 is 0 <Δ1 ≦ r / 2) from the content Ki serving as a content selection reference on the n-dimensional arrangement coordinates. A content candidate acquisition unit that acquires content to be viewed from the content DB as viewing candidate content, and whether or not the number N of viewing candidate content acquired by the arrangement coordinate acquisition unit is greater than a preset number n When the content candidate confirmation unit has a content number N larger than the predetermined number n, the region of distance r ± Δ1 is divided into n in order to narrow it down to n, the centroid position of the content distribution of each divided region is obtained, and the centroid A content narrowing unit that extracts content existing at a position closest to the position.
(2)本発明のコンテンツ抽出装置の第2の構成は、前記コンテンツ絞込み部の構成が、コンテンツ数Nが所定数nよりも多いとき、n個に絞り込むために、距離r±Δ1の領域に含まれるコンテンツの中から、予め設定したコンテンツ評価基準に基づき、評価値の上位n個のコンテンツを抽出するコンテンツ絞込み部となり、上記本発明のコンテンツ抽出装置の第1の構成と異なっている。 (2) According to a second configuration of the content extraction device of the present invention, when the configuration of the content narrowing unit has a content number N larger than a predetermined number n, the content extraction unit has a distance r ± Δ1 in order to narrow it down to n. This is a content narrowing-down unit that extracts the top n contents of evaluation values based on a preset content evaluation criterion from the included contents, and is different from the first configuration of the content extraction apparatus of the present invention.
本発明では、ユーザはコンテンツ間の類似度を基に抽出され表示されたコンテンツ候補の中からコンテンツを選ぶことができ、視聴候補選択が容易になるという利点がある。 In the present invention, the user can select content from content candidates extracted and displayed based on the similarity between the contents, and there is an advantage that selection of viewing candidates is facilitated.
本発明は、前述したように、コンテンツ間の類似度を基にコンテンツを空間に配置する技術(非特許文献1)をベースにしている。各コンテンツに対し、予め特徴的な語彙(EPG情報など)や映像情報(色情報など)、音響情報(音量など)などを用いて多次元ベクトル(意味ベクトル)を作成し、コンテンツ間の類似度を計算して多次元空間上にコンテンツを配置する。あるいは、正規分布による配置や多次元尺度構成によって2次元空間上に配置しても良い。 As described above, the present invention is based on a technology (Non-Patent Document 1) that arranges contents in a space based on the similarity between the contents. For each content, a multi-dimensional vector (semantic vector) is created in advance using characteristic vocabulary (such as EPG information), video information (such as color information), and acoustic information (such as volume), and the similarity between the contents Is calculated and the content is arranged in a multidimensional space. Or you may arrange | position in two-dimensional space by arrangement | positioning by normal distribution, or a multidimensional scale structure.
これにより、コンテンツ空間上において、類似度の高いコンテンツは近くに、低いコンテンツは遠くに配置される。但し、実際にマップを作成する必要はなく、配置座標を持っているだけでもよい。コンテンツマップは多次元でも可能であるが、以下の説明では、2次元空間上にコンテンツが配置されている場合を例に説明する。また、検索時直前に視聴していたコンテンツを中心に、抽出したコンテンツをその周囲に表示する場合(図1の20)で説明する。 As a result, in the content space, content with high similarity is arranged near and content with low is arranged far away. However, it is not necessary to actually create a map, and it is only necessary to have arrangement coordinates. The content map can be multi-dimensional, but in the following description, a case where content is arranged in a two-dimensional space will be described as an example. Further, a case will be described where the extracted content is displayed around the content that was viewed immediately before the search (20 in FIG. 1).
以下に、本発明の一実施の形態によるコンテンツ抽出技術について図面を参照しながら説明を行う。 Hereinafter, a content extraction technique according to an embodiment of the present invention will be described with reference to the drawings.
まず、本発明の第1の実施の形態によるコンテンツ抽出技術について説明する。
本実施の形態は、上記解決手段(1)に対応する実施の形態である。本実施の形態は、あるコンテンツKiと類似度が同じコンテンツが所定数n個(たとえば8個)より多く存在する場合に、その中からn個の代表コンテンツを抽出する方法の一つであり、あるコンテンツKiから所定の距離rの円周を所定数n(ここでは8個)の領域に分割して、各領域の重心位置を算出し、その重心位置に存在するコンテンツを抽出して表示することを特徴とする。
First, the content extraction technique according to the first embodiment of the present invention will be described.
The present embodiment is an embodiment corresponding to the solution (1). This embodiment is one of the methods for extracting n representative contents from a predetermined number n (for example, 8) of contents having the same similarity as a certain content Ki, The circumference of a predetermined distance r from a certain content Ki is divided into a predetermined number n (eight in this case), the center of gravity of each region is calculated, and the content existing at the center of gravity is extracted and displayed. It is characterized by that.
図1に示すように、本実施の形態によるコンテンツ抽出装置Aは、従来技術(図22)と同様の構成を有するコンテンツ配置座標演算部6に加えて、ユーザの行動を検出する行動検出部21とコンテンツの配置座標を基に視聴候補となるコンテンツを抽出するコンテンツ抽出部7を備えることを特徴とする。
As shown in FIG. 1, the content extraction apparatus A according to the present embodiment includes a
従来技術(図22)では、コンテンツマップを作成することを特徴としているが、本実施の形態では、コンテンツマップを作成することは必ずしも必要でない。また、コンテンツの配置座標は2次元でなく、多次元でもよい。但し、以下の説明では、2次元配置座標を用いた場合を例にする。図1は、本発明の第1の実施の形態に係るコンテンツ抽出装置Aの一構成例を示す機能ブロック図である。図1に示すように、本実施の形態によるコンテンツ抽出装置Aは、以下の構成要素を備えている。 The prior art (FIG. 22) is characterized by creating a content map, but in the present embodiment, it is not always necessary to create a content map. Further, the arrangement coordinates of the content may be multi-dimensional instead of two-dimensional. However, in the following description, a case where two-dimensional arrangement coordinates are used is taken as an example. FIG. 1 is a functional block diagram showing a configuration example of the content extraction apparatus A according to the first embodiment of the present invention. As shown in FIG. 1, the content extraction apparatus A according to the present embodiment includes the following components.
1)コンテンツ配置座標演算部6:従来技術(図22)と同じ構成を有しており、コンテンツDB2、概念ベクトル算出処理部6c、2次元座標算出処理部6b、マップ作成処理部6aを備えている。但し、マップ作成処理部6aは任意に設けられる。コンテンツDB2には、コンテンツと共に、コンテンツの配置座標が記録される。
2)行動検出部21:例えば、ユーザのリモコン操作や顔の向き、視線、体温や心拍などのセンサを含んで構成され、ユーザがどのコンテンツを視聴しているかを常時検出すると共に、ユーザの検索開始タイミングを検出する。
3)コンテンツ抽出部7:配置座標取得部7a、候補確認部7b、重心絞込み部7cを備えている。
3−1)配置座標取得部7aは、検索開始直前に視聴していたコンテンツKiを基に、所定の距離rに位置するコンテンツの配置座標をコンテンツDB2bから取得する。
3−2)候補確認部7bは、取得されたコンテンツ数Nが所定数nよりも多いかどうかを判断する。
3−3)重心絞込み部7cは、コンテンツ数Nが所定数nよりも多いとき、n個に絞り込むために、距離rの円周領域をn分割し、各領域の重心位置を求めて、その重心に位置するコンテンツを抽出する。
1) Content arrangement coordinate calculation unit 6: It has the same configuration as the prior art (FIG. 22), and includes a
2) Behavior detection unit 21: For example, it is configured to include sensors such as a user's remote control operation, face orientation, line of sight, body temperature, heart rate, etc., and always detects what content the user is viewing and searches for the user Detect start timing.
3) Content extraction unit 7: An arrangement coordinate
3-1) The arrangement coordinate
3-2) The
3-3) When the content number N is larger than the predetermined number n, the center-of-
次に、重心絞込み部7cにおいて、コンテンツ間の類似度を基に、所定数n個(たとえばディスプレイ上に一覧表示可能な1個から8個)のコンテンツを視聴候補として抽出する手法について説明する。表示部に表示するコンテンツは、コンテンツそのものであり、或いはそのサムネイルなど内容を実際に表示するものであれば良い。
Next, a method of extracting a predetermined number n contents (for example, 1 to 8 contents that can be displayed as a list on the display) as viewing candidates in the center-of-
まず、あるコンテンツKi(たとえば、検索直前に視聴していたコンテンツ)と所定の類似度を有するコンテンツ数Nが、所定数nより少ない場合は、全コンテンツを抽出し、表示する。Nがnより多い場合は、n個に絞り込む必要が生じる。この解決手段では、コンテンツ間の類似度を基に、代表コンテンツn個を抽出する手段として、コンテンツ群の重心を用いる。 First, when the number N of contents having a predetermined similarity with a certain content Ki (for example, the content viewed immediately before the search) is less than the predetermined number n, all contents are extracted and displayed. When N is larger than n, it is necessary to narrow down to n. In this solution, the center of gravity of the content group is used as means for extracting n representative contents based on the similarity between contents.
次に、コンテンツ群の重心を用いる方法について説明する。あるコンテンツKi(たとえば、検索直前に視聴していたコンテンツ)との類似度を基にコンテンツ空間をn個(たとえば1個乃至8個)の領域に分割する。次に、各領域の重心位置を求め、そこに位置するコンテンツ(計n個)を代表コンテンツとして抽出し、当該配置座標を有するコンテンツをコンテンツDB2aから抽出して表示する。なお、本実施例では図示していないが、コンテンツDB2aそのものはネットワーク上に蓄積するようにしてもよい。
Next, a method using the center of gravity of the content group will be described. The content space is divided into n (for example, 1 to 8) areas based on the degree of similarity with a certain content Ki (for example, content that was viewed immediately before the search). Next, the barycentric position of each region is obtained, content (n pieces in total) located there is extracted as representative content, and content having the arrangement coordinates is extracted from the
(n個の領域への分割方法)
図3は、コンテンツ空間の表示例を示す図である。コンテンツ表示部20には、多数のコンテンツ41が表示されている。
(Division method into n regions)
FIG. 3 is a diagram illustrating a display example of the content space. A large number of
(1)コンテンツKiと類似度が同じn個を抽出する方法:
(ア)コンテンツKiと類似度が同じn個を抽出するには、図4に示すように、コンテンツKiを中心((1)に対応)に、所定距離rの円周43をn個(Lにより)に分割する。図4はn個に等分割した例である。等分割された領域43は、2)から9)までの領域である。領域43毎の円周上に位置するコンテンツ群の重心コンテンツを抽出する。同じ円周上のコンテンツを選択することで、類似度が同じ8種類のコンテンツが選ばれる。
図5は、円周Lをn個に不等分割した例を示す図である。距離rの円周43上には、複数のコンテンツが存在するため、n分割された各領域の重心を求め、重心に位置するコンテンツをひとつずつ、計n個を抽出する。ユーザには、たとえば、図9の画面20中央に現在見ているコンテンツKi(43)を、その周囲に各領域の重心に位置するコンテンツ(計n個:43−1〜43−8)を表示する(図9)。これにより、コンテンツKiとある一定の類似度を持つ代表コンテンツn個からユーザがコンテンツを選択できるようになる。
(イ)上記(ア)において、距離rの円周を分割する際、n等分するのではなく、以下のようにしてもよい。すなわち、予め全コンテンツ41を、コンテンツ41が持つ意味ベクトル間のユークリッド距離に基づいてK−means法などによりクラスタ化し、クラスタ毎に分割するようにする(図6:45−1〜45−4)。
(ウ)尚、上記(ア)において、分割したn個の領域内で1つずつランダムにn個を抽出してもよい。
(1) Method of extracting n pieces having the same degree of similarity as the content Ki:
(A) In order to extract n pieces having the same degree of similarity as the content Ki, as shown in FIG. 4, n pieces of the
FIG. 5 is a diagram illustrating an example in which the circumference L is unequally divided into n pieces. Since there are a plurality of contents on the
(A) In (A) above, when the circumference of the distance r is divided, it may be as follows instead of dividing it into n equal parts. That is, all the
(C) In the above (a), n pieces may be extracted randomly one by one in the divided n areas.
(2) コンテンツKiと類似度が異なるn個のコンテンツを抽出する方法:
(ア)コンテンツKiと類似度が異なるn個のコンテンツを抽出するには、コンテンツKi(1)を中心に同心円的にn分割し(図7)、分割された各領域からひとつずつランダムにコンテンツを抽出する(41a、41b、41c、…)。これにより、コンテンツKiと類似度の異なる代表コンテンツn個からユーザは選べるようになる。図では、現コンテンツから一定距離毎に同心円的に領域を区切り、ドーナツ状の各領域から1つずつランダムにコンテンツを抽出する。これにより、類似度の異なる8種類のコンテンツを選択することができる。
(イ)上記(ア)において同心円的に分割した後、コンテンツKiを中心に、さらに、Lにより円周をm分割する(図8)。そして、n×m分割された各領域(例えばA1)の重心を求め、m分割された各領域内で重心位置のコンテンツ(計n個)を抽出する。この方法においても、現在あるいは直前に視聴していたコンテンツKiと、類似度の異なるn種類のコンテンツ8個からユーザは選べるようになる。
(2) Method of extracting n contents having different degrees of similarity from the contents Ki:
(A) To extract n pieces of content having a degree of similarity different from that of the content Ki, the content Ki (1) is divided into n parts concentrically (FIG. 7), and the contents are randomly selected one by one from each divided region. Are extracted (41a, 41b, 41c,...). As a result, the user can select n representative contents having different degrees of similarity from the contents Ki. In the figure, regions are concentrically separated from the current content at constant distances, and content is randomly extracted from each donut-shaped region. Thereby, eight types of contents having different degrees of similarity can be selected.
(A) After concentrically dividing in (a) above, the circumference is further divided into m by L around the content Ki (FIG. 8). Then, the center of gravity of each n × m divided area (for example, A1) is obtained, and the contents (total n pieces) of the center of gravity position are extracted in each of the m divided areas. Even in this method, the user can select from eight types of content Ki having different degrees of similarity with the content Ki currently or immediately before viewing.
(装置の基本構成例)
図1は、本実施の形態によるコンテンツ抽出装置Aの一構成例を示す機能ブロック図である。図1に示すコンテンツ抽出装置Aは、デジタル放送信号を受信してコンテンツ(テレビ番組など)を記録するコンテンツDB2と、コンテンツ間の類似度(距離)を計算し、2次元配置座標を算出するコンテンツ配置座標演算部6と、表示する所定数のコンテンツを抽出するコンテンツ抽出部7と、抽出されたコンテンツを表示するコンテンツ表示部20と、を備えている。コンテンツDB2には、コンテンツ2aと共に、コンテンツの配置座標2bが記録されている。上述のように、本実施の形態の特徴であるコンテンツ抽出部7に関連して、行動検出部21と、配置座標取得部7a、候補確認部7b、重心絞込み部7cを備えている。行動検出部21は、例えば、ユーザのリモコン操作や顔の向き、視線、体温や心拍などを検出するセンサであり、ユーザがどのコンテンツを視聴しているかを常時検出すると共に、ユーザの検索開始を検出する。配置座標取得部7aは、検索開始直前に視聴していたコンテンツKiを基に、所定の距離rに位置するコンテンツをコンテンツDB2から取得する。候補確認部7bは、取得されたコンテンツ数Nが所定数nよりも多いか否かを判断する。重心絞込み部7cは、コンテンツ数Nが所定数nよりも多いとき、n個に絞り込むために、距離rの円周領域をn分割し、各領域の重心位置を求めて、その重心に位置するコンテンツを抽出する。
(Basic configuration example of the device)
FIG. 1 is a functional block diagram showing a configuration example of the content extraction apparatus A according to this embodiment. The content extraction apparatus A shown in FIG. 1 receives a digital broadcast signal and records content (television program or the like), and the content DB2 calculates the similarity (distance) between the content and calculates the two-dimensional arrangement coordinates. The arrangement coordinate
(ハードウエアの構成)
図2は、上記コンテンツ抽出装置の具体的なハードウエアの構成例を示す図である。図2において、受信手段1は、デジタル放送信号を受信し、コンテンツ蓄積手段2においてコンテンツ(テレビ番組など)を蓄積する。入力手段3は、リモコンや顔の向き、視線、体温や心拍などを検出するセンサなどを含み、ユーザの行動を検出する。CPU4は、ワークメモリ5に記憶された内蔵のシステムプログラムに従ってシステム制御を行うほかに、コンテンツ配置座標演算手段6における処理プログラム、およびコンテンツ抽出手段7における処理プログラムを実行してワークメモリ5上に処理結果を作成する。ワークメモリ5は、表示に関するデータや演算に使用するデータおよび演算結果等を一時的に記憶するいわゆるワーキングメモリであり、CPU4により実行されるプログラム処理において利用されるプログラムや処理データ等を格納する。
(Hardware configuration)
FIG. 2 is a diagram illustrating a specific hardware configuration example of the content extraction apparatus. In FIG. 2, receiving means 1 receives a digital broadcast signal, and content storage means 2 stores content (such as a television program). The input means 3 includes a remote controller, a sensor for detecting the orientation of the face, line of sight, body temperature, heartbeat, and the like, and detects the user's behavior. In addition to performing system control in accordance with a built-in system program stored in the work memory 5, the
尚、このプログラムは、図示していないROM(Read Only Memory)に格納されるものでもよい。また、ワークメモリ5として用いられるRAM(Random Access Memory)の一部の記憶領域は、電源バックアップするか、あるいは、EEPROM (electrically erasable programmable ROM)やフラッシュメモリ等の不揮発性メモリにより構成され、電源OFF後も設定条件を保持する。 The program may be stored in a ROM (Read Only Memory) not shown. A part of the RAM (Random Access Memory) used as the work memory 5 is backed up by a power source or is composed of a nonvolatile memory such as an EEPROM (electrically erasable programmable ROM) or a flash memory. The setting conditions are retained afterwards.
コンテンツ表示手段8は、ドットマトリックス構成の液晶表示装置(LCD)等で構成され、コンテンツ蓄積手段2に格納されたコンテンツやCPU4の演算処理結果を表示する。外部記憶装置(記録媒体)10は、電源バックアップされたメモリカードやDVD−ROM等からなり、コンテンツ抽出処理プログラム等を記録した記録媒体である。外部記憶ドライバ9は、外部記憶装置10の内容を読み取る装置である。
The content display means 8 is constituted by a liquid crystal display device (LCD) or the like having a dot matrix configuration, and displays the content stored in the content storage means 2 and the calculation processing result of the
(コンテンツ抽出処理のフローチャート)
以下、図16を参照しながら、コンテンツ抽出部の動作についてフローチャートを参照しながら説明する。
(Flowchart of content extraction process)
Hereinafter, the operation of the content extraction unit will be described with reference to a flowchart with reference to FIG.
コンテンツ抽出処理が開始されると、行動検出部21は、ユーザの検索開始を検出するか否かを判定する(ステップS100)。検索を開始しなければ(NO)、コンテンツ抽出処理は終了する(END)。検索を開始すれば(YES)、配置座標取得部7aが、検索直前に視聴していたコンテンツKiから距離rに位置するコンテンツをコンテンツDB2から取得する(ステップS101)。この際、距離rは予めシステムが設定しておいてもよいし、あるいは、ユーザが検索時に指定できるようにしても良い。
When the content extraction process is started, the
次に、候補確認部7bは、コンテンツ数がN>nであるか否かを判定する。取得されたコンテンツ数Nが所定数n(たとえば8個)以下の場合(NO)は、取得されたコンテンツをすべてコンテンツ表示部に出力して、処理を終了する(END)。一方、取得されたコンテンツ数Nが所定数n(たとえば8個)より多い場合(YES)は、候補を絞り込むための次のステップに進む。
Next, the
次に、重心絞込み部7cは、コンテンツKiを中心とする距離rの円周領域を所定数n(たとえば8)に分割し(ステップS103)、n分割された各領域の重心位置を求め、重心に位置するコンテンツを抽出し(ステップS104)、ステップ102に戻る。候補確認部7bは、取得されたコンテンツ数Nが所定数n以下であることを確認して(NO)、抽出されたコンテンツをコンテンツ表示部20に出力し、処理を終了する(END)。次に、本発明の第2の実施の形態によるコンテンツ抽出装置について図面を参照しながら説明を行う。本実施の形態は、前記解決手段(2)に対応する実施の形態である。
Next, the center-of-
本発明の第2の実施の形態は、類似度が同じコンテンツが所定数n個(たとえば8個)より多く存在する場合に、その中からn個の代表コンテンツを抽出する際に、ユーザの視聴行動を反映させることを特徴とする。 In the second embodiment of the present invention, when there are more than a predetermined number n (for example, 8) of contents having the same degree of similarity, the user's viewing is performed when n representative contents are extracted from the contents. It is characterized by reflecting behavior.
そのために、各コンテンツにユーザの視聴行動を反映する評価値を設定し、評価値を基に視聴候補となるコンテンツを抽出する。すなわち、本発明の第2の実施の形態によるコンテンツ抽出装置は、図10に示すように、コンテンツ評価値演算部22を備え、また、コンテンツ抽出部7に評価値絞込み部7dを備えることを特徴とする。
For this purpose, an evaluation value that reflects the viewing behavior of the user is set for each content, and content that is a viewing candidate is extracted based on the evaluation value. That is, the content extraction apparatus according to the second embodiment of the present invention includes a content evaluation
図10において、
コンテンツ配置座標演算部6は、従来技術(図22)と同様であり、コンテンツDB2、概念ベクトル算出処理部6c、2次元座標算出処理部6b、マップ作成処理部6aを備える。但し、マップ作成処理部6aは任意に設けられる。コンテンツDB2には、コンテンツ2aと共に、コンテンツの配置座標2b、さらに、評価値2cが記録される。
In FIG.
The content arrangement coordinate
行動検出部21は、例えば、ユーザのリモコン操作や顔の向き、視線、体温や心拍などのセンサであり、ユーザがどのコンテンツを視聴しているかを常時検出すると共に、ユーザの検索開始を検出する。
The
コンテンツ抽出部7は、配置座標取得部7a、候補確認部7b、評価値絞込み部7dを備えている。配置座標書取得部7aは、さらに、視聴部7a−1と検索部7a−2とを備える。
The
配置座標取得部7aは、検索開始直前に視聴していたコンテンツKiを基に、所定の距離rに位置するコンテンツをコンテンツDB2から取得する。候補確認部7bは、取得されたコンテンツ数Nが所定数nよりも多いかどうかを判断する。
The arrangement coordinate
Nがnより多い場合は、n個に絞り込む必要が出てくるが、本実施の形態では、コンテンツ間の類似度を基に、代表コンテンツn個を抽出する手段として、コンテンツの評価値を用いることを特徴とする。コンテンツ評価値演算部22は、評価値取得部22a、評価値更新部22bを備えている。
When N is larger than n, it is necessary to narrow down to n. In this embodiment, content evaluation values are used as means for extracting n representative contents based on the similarity between contents. It is characterized by that. The content evaluation
次に、コンテンツの評価値を用いる方法について説明する。あるコンテンツKi(例えば、検索直前に視聴していたコンテンツ)と所定の類似度(距離)を有するコンテンツ群の中から、ユーザの嗜好に合うコンテンツn個を代表コンテンツとして抽出し、表示する。 Next, a method using content evaluation values will be described. From the content group having a predetermined similarity (distance) with a certain content Ki (for example, content that was viewed immediately before the search), n pieces of content matching the user's preference are extracted as representative content and displayed.
具体的には、各コンテンツに対し、ユーザの視聴行動を反映する評価値を設ける。あるコンテンツを視聴すると、当該コンテンツの評価値を上げると共に、そのコンテンツと類似度(距離)が同じかあるいは近傍のコンテンツの評価値Pを上げる。視聴したコンテンツとの距離が遠いほど評価値Pが小さくなるようにする(図11)。これにより、地形図のような3次元マップができる(図12)。図12に示すように、評価値のピークP1からP8の3次元マップが生成される。 ただし、マップは多次元でもよいし、マップの形で保持する必要もない。尚、ユーザの嗜好は時間の経過と共に変化することが予測される。そこで、評価値は、時間の経過と共に元の値に戻るようにする。 Specifically, an evaluation value that reflects the user's viewing behavior is provided for each content. When a certain content is viewed, the evaluation value of the content is increased, and the evaluation value P of the content having the same similarity (distance) as the content or in the vicinity thereof is increased. The evaluation value P is decreased as the distance from the viewed content increases (FIG. 11). As a result, a three-dimensional map like a topographic map can be created (FIG. 12). As shown in FIG. 12, a three-dimensional map of evaluation value peaks P1 to P8 is generated. However, the map may be multidimensional and need not be held in the form of a map. In addition, it is estimated that a user's preference changes with progress of time. Therefore, the evaluation value returns to the original value as time passes.
(コンテンツの抽出方法)
(1)コンテンツKiから距離rのコンテンツ群(抽出候補)の中から、評価値の値が大きい上位n個のコンテンツを抽出して表示する(図13)。これにより、ユーザの嗜好にマッチしたコンテンツを選ぶことができる。
(2)コンテンツKiを中心に、所定距離rの円周をn分割する。各領域内で評価値が最大のコンテンツを抽出して表示する。(同一領域内で最大評価値を持つコンテンツが複数あるときは、その重心位置にあるコンテンツとする。)
(3)コンテンツKiを中心に、所定距離rの円周をn分割する。該円周を含む領域の中で、評価値がある閾値を超えるコンテンツを含む領域P11、P21、P31、P41においてのみ、評価値が最大のコンテンツを抽出して表示する(図14)。
(4)上記(2)〜(3)の領域の分割方法は、上記解決手段(1)における同心円的分割方法でもよい。
(5)コンテンツの評価値を基に、出来上がる分布の重心位置(C1、C2、C3、…)を求め(図15)、そこに位置するコンテンツを抽出し、表示する。
(Content extraction method)
(1) From the content group (extraction candidate) at a distance r from the content Ki, the top n content items having the largest evaluation value are extracted and displayed (FIG. 13). As a result, it is possible to select content that matches the user's preference.
(2) The circumference of the predetermined distance r is divided into n with the content Ki as the center. The content having the maximum evaluation value in each area is extracted and displayed. (When there are a plurality of contents having the maximum evaluation value in the same area, the contents are located at the center of gravity.)
(3) The circumference of the predetermined distance r is divided into n with the content Ki as the center. Among the regions including the circumference, the content having the maximum evaluation value is extracted and displayed only in the regions P11, P21, P31, and P41 including the content whose evaluation value exceeds a certain threshold value (FIG. 14).
(4) The region dividing methods (2) to (3) may be the concentric dividing method in the solving means (1).
(5) Based on the evaluation value of the content, the center of gravity position (C1, C2, C3,...) Of the resulting distribution is obtained (FIG. 15), and the content located there is extracted and displayed.
以下、類似度が同じコンテンツが所定数n個(たとえば8個)より多く存在する場合に、その中からn個の代表コンテンツを抽出する際、あるコンテンツKi(たとえば、検索直前に視聴していたコンテンツ)と所定の類似度(距離)を有するコンテンツ群の中から、評価値が上位n個のコンテンツを抽出して表示する方法を詳細に述べる。 In the following, when there are more than a predetermined number n (for example, 8) of contents having the same degree of similarity, when extracting n representative contents from the contents, a certain content Ki (for example, viewed immediately before the search) A method of extracting and displaying the content having the highest evaluation value from the content group having a predetermined similarity (distance) with the content) will be described in detail.
(構成例)
図10は、本発明の第2の実施の形態に係るコンテンツ抽出装置の一構成例を示すブロック図である。デジタル放送信号を受信してコンテンツ(テレビ番組など)を記録するコンテンツDB2、コンテンツ間の類似度(距離)を計算し、2次元配置座標を算出するコンテンツ配置座標演算部6、表示する所定数のコンテンツを抽出するコンテンツ抽出部7、抽出されたコンテンツを表示するコンテンツ表示部20に加え、コンテンツの評価値を算出するコンテンツ評価値演算部22を備えている。
(Configuration example)
FIG. 10 is a block diagram showing a configuration example of a content extraction apparatus according to the second embodiment of the present invention. A
本実施の形態によるコンテンツ抽出部7において、行動検出部21は、ユーザがどのコンテンツを視聴しているか、検索を開始したかを検出する。配置座標取得部7aは視聴部7a−1と検索部7a−2を備える。また、評価値絞込み部7dを備える。コンテンツ評価値演算部22は、評価値取得部22a、評価値更新部22bを備えている。さらに、コンテンツDB2は、コンテンツの評価値を記録する評価値DB(2c)を新たに備えている。本実施の形態では、前述したように、ユーザの視聴行動を反映する評価値2cを設けることを特徴とする。そこで、コンテンツ抽出部7の行動検出部21がユーザの視聴行動を検出するか、検索行動を検出するかで振る舞いが異なってくる。
In the
(コンテンツ評価値演算処理=視聴時のフローチャート)
以下、本発明の第2の実施の形態において、ユーザの視聴を検出したときの動作を、図17に示すフローチャート図を参照しながら説明する。
(Content evaluation value calculation process = flow chart at the time of viewing)
Hereinafter, the operation when the user's viewing is detected in the second embodiment of the present invention will be described with reference to the flowchart shown in FIG.
行動検出部21で、ユーザがコンテンツを視聴しているか、あるいは、検索を行うかを常時検出している(ステップS200)。検索を検出すれば、コンテンツ抽出処理へ進み、コンテンツ評価値演算処理は終了する。視聴を検出すれば、配置座標取得部7aの視聴部7a−1が、視聴コンテンツKiとそれと類似度が同じか近傍のコンテンツの座標をコンテンツDB2bから取得して評価値取得部22aに出力する(ステップS201)。
The
次に、評価値取得部22aが、取得されたコンテンツの評価値を評価値DB2cから取得し、評価値更新部22bに出力する(ステップS202)。評価値更新部22bで当該コンテンツの評価値を更新し(ステップS203)、評価値DB2cに入力する(ステップS204)。
Next, the evaluation
(評価値の算出方法)
視聴したコンテンツKiと、あるコンテンツKjとの距離をDi,jとすると、コンテンツKjの評価値(W)は次式(1)で与えられる。
(Evaluation value calculation method)
If the distance between the viewed content Ki and a certain content Kj is Di, j, the evaluation value (W) of the content Kj is given by the following equation (1).
尚、(1)式において、関数g(Di,j)はガウス関数を用いてもよいし、あるいは次式でもよい。 In the equation (1), the function g (Di, j) may be a Gaussian function or may be the following equation.
(2)式において、定数aは、評価値の加算係数、bはKiからの距離である。
(1)式において、定数a,bを変数にして、同じ類似度を持つコンテンツの視聴回数t(繰り返し)に応じて、変えられるようにしてもよい。(繰り返しが多くなると、評価値の加算率(aに相当)を小さく抑えたり、評価値加算の適用範囲(bに相当)を狭くしたりする。)
評価値加算の適用範囲(bに相当)を最適にすることにより、ユーザの嗜好をより適切に反映する評価値になることが期待される。
In the equation (2), the constant a is an evaluation value addition coefficient, and b is a distance from Ki.
In the equation (1), constants a and b may be used as variables, and may be changed according to the number of viewing times t (repetition) of content having the same similarity. (If the number of repetitions increases, the evaluation value addition rate (corresponding to a) is reduced, or the application range of evaluation value addition (corresponding to b) is narrowed.)
By optimizing the application range of the evaluation value addition (corresponding to b), it is expected that the evaluation value reflects the user's preference more appropriately.
尚、ユーザの嗜好は、時間の経過と共に変化することが予測される。そこで、評価値は、時間の経過と共に元の値に戻るようにする。コンテンツDB2内の評価値DB2cは、たとえば、表1に示すようなテーブルの形態をとる。 In addition, it is estimated that a user's preference changes with progress of time. Therefore, the evaluation value returns to the original value as time passes. Evaluation value DB2c in content DB2 takes the form of a table as shown in Table 1, for example.
表1に示すように、コンテンツと、このコンテンツのA、B、Cによる評価値がテーブル化されている。 As shown in Table 1, contents and evaluation values based on A, B, and C of the contents are tabulated.
(コンテンツ抽出処理=検索時のフローチャート)
次に、本発明の第2の実施の形態において、ユーザの検索を検出したときの動作を、フローチャート(図18)を参照しながら説明を行う。コンテンツ抽出処理が開始され、行動検出部21がユーザの検索を検出すると(ステップS210)、配置座標取得部7aの検索部7a−2が、検索直前に視聴していたコンテンツKiから距離rに位置するコンテンツをコンテンツDB2から取得する(ステップS211)。この際、距離rは、予めシステムが設定しておいてもよいし、あるいは、ユーザが検索時に指定できるようにしても良い。
(Content extraction process = Flowchart during search)
Next, in the second embodiment of the present invention, an operation when a user search is detected will be described with reference to a flowchart (FIG. 18). When the content extraction process is started and the
次に、候補確認部7bは、取得されたコンテンツ数Nが所定数n(たとえば8個)以下の場合(NO)は、取得されたコンテンツをすべてコンテンツ表示部20に出力して、処理を終了する。一方、取得されたコンテンツ数Nが所定数n(たとえば8個)より多い場合(YES)は、候補を絞り込むための次のステップに進む(ステップS212)。
Next, when the acquired content number N is equal to or less than a predetermined number n (for example, 8) (NO), the
次に、評価値絞込み部7dは、ステップS211で取得されたコンテンツN個の評価値を評価値DB2cから取得し(ステップS213)、評価値の高い上位n個のコンテンツを抽出し(ステップS214)、ステップS212に戻る。候補確認部7bは取得されたコンテンツ数Nが所定数n以下であることを確認して(NO)、抽出されたコンテンツをコンテンツ表示部20に出力し、処理を終了する(END)。尚、視聴したコンテンツKiそのものは、次回の検索時に代表コンテンツとして抽出されないようにしてもよい。
Next, the evaluation value narrowing-down
(新しいコンテンツが記録されたときの処理方法)
新しく放送されたコンテンツが受信されるたびに、コンテンツ間類似度が計算され、当該コンテンツの座標が決まる。このとき、新コンテンツKnの評価値は、近傍のコンテンツの評価値の平均値とすればよい。尚、これまでは、コンテンツ毎に評価値を持たせていたが、コンテンツマップ全体を所定数の領域(たとえば分類カテゴリなど)に区切って、その領域毎に評価値を持たせても良い。このとき、新コンテンツKnの評価値は、そのコンテンツKnが含まれる領域の評価値とする。これにより、新コンテンツの評価値は一意に決まる。
(Processing method when new content is recorded)
Each time a newly broadcast content is received, the similarity between content is calculated and the coordinates of the content are determined. At this time, the evaluation value of the new content Kn may be an average value of the evaluation values of neighboring content. Heretofore, evaluation values have been assigned to each content. However, the entire content map may be divided into a predetermined number of regions (for example, classification categories), and the evaluation value may be assigned to each region. At this time, the evaluation value of the new content Kn is the evaluation value of the region including the content Kn. Thereby, the evaluation value of the new content is uniquely determined.
次に、本発明の第3の実施の形態によるコンテンツ抽出技術について図面を参照しながら説明を行う。 Next, a content extraction technique according to the third embodiment of the present invention will be described with reference to the drawings.
第3の実施の形態では、第2の実施の形態において、コンテンツ評価値を算出する際に、行動をパタン毎(たとえば、時間帯(朝・昼・夜)、曜日(週日・週末)、季節、場所(移動中・家庭)など)に分けてコンテンツの評価値を算出することを特徴とする。 In the third embodiment, in the second embodiment, when calculating the content evaluation value, the behavior is changed for each pattern (for example, time zone (morning / daytime / night), day of the week (weekday / weekend), season The evaluation value of the content is calculated separately for each location (moving / home).
そのために、ユーザの行動を検出する際に、ユーザの行動パタン(時間や場所など)を検出する。そして、ユーザの視聴時には、そのパタン別にコンテンツの評価値を算出する。一方、ユーザの検索時には、対応するパタン別の評価値を用いてコンテンツを抽出、表示するようにする。これにより、ユーザは、たとえば、時間帯により異なる自分の嗜好に合った番組を選べるようになる。尚、ユーザ行動パタンとは、たとえば、時間帯(朝・昼・夜)、曜日(週日・週末)、季節、場所(移動中・家庭)などである。 Therefore, when detecting a user's action, a user's action pattern (time, place, etc.) is detected. When the user views the content, the content evaluation value is calculated for each pattern. On the other hand, when a user searches, content is extracted and displayed using the corresponding evaluation value for each pattern. Thereby, the user can select, for example, a program that suits his / her taste, which varies depending on the time of day. The user behavior pattern includes, for example, a time zone (morning / daytime / night), day of the week (weekday / weekend), season, place (moving / home), and the like.
(構成例)
図19は、本発明の第3の実施の形態に係るコンテンツ抽出装置の一構成例を示すブロック図である。デジタル放送信号を受信してコンテンツ(テレビ番組など)を記録するコンテンツDB2、コンテンツ間の類似度(距離)を計算し、2次元配置座標を算出するコンテンツ配置座標演算部6、ユーザに表示する所定数のコンテンツを抽出するコンテンツ抽出部7、抽出されたコンテンツを表示するコンテンツ表示部20、コンテンツの評価値を算出するコンテンツ評価値演算部22を備えている。
(Configuration example)
FIG. 19 is a block diagram showing a configuration example of a content extraction apparatus according to the third embodiment of the present invention. A
本実施の形態における行動検出部21は、ユーザの視聴時及び検索時の状況(時間や場所など)を検出し、行動パタンを解析する行動パタン解析部21aを新たに備える。また、コンテンツDB2は、行動パタン別の評価値2dを蓄えることを特徴とする。
The
(コンテンツ評価値演算処理=視聴時のフローチャート)
以下、本発明の実施の形態において、ユーザの視聴を検出したときの動作を、フローチャート(図20)を参照しながら説明する。
(Content evaluation value calculation process = flow chart at the time of viewing)
Hereinafter, in the embodiment of the present invention, an operation when a user's viewing is detected will be described with reference to a flowchart (FIG. 20).
コンテンツ評価値演算処理を開始すると(START)、行動検出部21でユーザがコンテンツを視聴しているか、あるいは、検索を行うかを常時検出しておく(ステップS300)。検索を行うことを検出すれば、コンテンツ抽出処理へ進み、評価値演算処理は終了する。視聴を検出すれば、行動検出部21の行動パタン解析部21aが視聴時のユーザの状況(現在の時刻や場所など)を解析し、配置座標取得部7aの視聴部7a−1に出力する(ステップS301)。
When the content evaluation value calculation process is started (START), the
次に、配置座標取得部7aの視聴部7a−1が、視聴コンテンツKiとそれと類似度が同じか近傍のコンテンツの座標をコンテンツDB2bから取得して、ユーザ状況の解析結果と共に評価値取得部22aに出力する(ステップS302)。
Next, the
次に、評価値取得部22aが、取得されたコンテンツの評価値を当該行動パタンの評価値DB2dから取得し(ステップS303)、評価値更新部22bで当該コンテンツの評価値を更新し(ステップS304)、行動パタン別の評価値DB2dに入力する(ステップS305)。
Next, the evaluation
(コンテンツ抽出処理=検索時のフローチャート)
次に、本実施例3において、ユーザの検索を検出したときの動作を、フローチャート(図21)を参照しながら説明する。
(Content extraction process = Flowchart during search)
Next, an operation when a user search is detected in the third embodiment will be described with reference to a flowchart (FIG. 21).
行動検出部21が検索行動を検出すると(ステップS310のYES)、行動検出部21の行動パタン解析部21aが検索時のユーザの状況(現在の時刻や場所など)を解析し、配置座標取得部7aの検索部7a−2に出力する(ステップS311)。配置座標取得部7aの検索部7a−2が、検索直前に視聴していたコンテンツKiから距離rに位置するコンテンツをコンテンツDB2から取得する(ステップS312)。このとき、距離rは、予めシステムが設定しておいてもよいし、あるいは、ユーザが検索時に指定できるようにしても良い。
When the
次に、候補確認部7bは、取得されたコンテンツ数Nが所定数n(たとえば8個)以下の場合(NO)は、取得されたコンテンツをすべてコンテンツ表示部20に出力する。一方、取得されたコンテンツ数Nが所定数n(たとえば8個)より多い場合(YES)は、候補を絞り込むための次のステップに進む(ステップS313)。
Next, when the acquired content number N is equal to or less than a predetermined number n (for example, 8) (NO), the
次に、評価値絞込み部7dは、ステップS312で取得されたコンテンツN個の評価値を評価値DB2の該当行動パタン(検索時に解析された行動パタン)2dから取得し(ステップS314)、評価値の高い上位n個のコンテンツを抽出して(ステップS315)、ステップ313に戻る。候補確認部7bは取得されたコンテンツ数Nが所定数n以下であることを確認して(NO)、抽出されたコンテンツをコンテンツ表示部20に出力し、処理を終了する(END)。
Next, the evaluation value narrowing-down
以上に説明したように、本実施の形態によるコンテンツ抽出装置によれば、本発明では、ユーザはコンテンツ間の類似度を基に抽出され表示されたコンテンツ候補の中からコンテンツを選ぶことができ、視聴候補選択が容易になる。 As described above, according to the content extraction device according to the present embodiment, in the present invention, the user can select content from content candidates extracted and displayed based on the similarity between content, Viewing candidate selection becomes easy.
コンテンツ間の類似性を基に作成したコンテンツマップの中から、一定の規則に従って一定数の視聴候補を抽出することで、記録されたコンテンツ間の類似性が乏しい場合や、類似性に偏りが発生した場合でも、視聴候補選択を容易とする。 By extracting a certain number of viewing candidates from a content map created based on the similarity between contents according to certain rules, the similarity between recorded contents is poor or the similarity is biased Even in this case, viewing candidate selection is facilitated.
また、ユーザの視聴行動を反映する評価値を各コンテンツに与えることで、ユーザの嗜好に応じたコンテンツを抽出して表示し、ユーザの視聴意欲を高めることを可能にする。 Also, by giving each content an evaluation value that reflects the user's viewing behavior, it is possible to extract and display the content according to the user's preference, thereby increasing the user's willingness to view.
ユーザプロファイルを作ることなく、ユーザの嗜好に適応したコンテンツを抽出し、ユーザに表示できる。 Without creating a user profile, content adapted to the user's preferences can be extracted and displayed to the user.
また、オリジナルマップ(コンテンツ間類似度)を変更することがないため(コンテンツの評価値を変えるだけ)、より少ない計算量で済む。オリジナルマップ(類似度間類似度)を変更することなく、ユーザ毎のマップが作れるという利点がある。 Moreover, since the original map (similarity between contents) is not changed (only the evaluation value of the contents is changed), a smaller amount of calculation is sufficient. There is an advantage that a map for each user can be created without changing the original map (similarity between similarities).
ユーザがコンテンツに対する評価作業を行わなくても、ユーザの嗜好を的確に捉えることができる。評価値を時間の経過と共に基の値に戻すようにすることによって、ユーザの嗜好の変化に対応できる。オリジナルマップ(類似度)を変更することなく、各ユーザの行動パタン毎のマップが作れるので便利である。 Even if the user does not perform the evaluation work on the content, the user's preference can be accurately grasped. By changing the evaluation value back to the original value with the passage of time, it is possible to cope with a change in user's preference. This is convenient because a map for each user's action pattern can be created without changing the original map (similarity).
本発明は、コンテンツ再生装置に利用可能である。 The present invention can be used for a content reproduction apparatus.
A…コンテンツ抽出装置、2…コンテンツDB、6a…マップ作成処理部、6b…2次元座標算出処理部、6c…概念ベクトル算出処理部、7…コンテンツ抽出部、7a…配置座標取得部、7b…候補確認部、7c…重心絞込み部、20…表示部、21…行動検出部。 A ... Content extraction device, 2 ... Content DB, 6a ... Map creation processing unit, 6b ... Two-dimensional coordinate calculation processing unit, 6c ... Concept vector calculation processing unit, 7 ... Content extraction unit, 7a ... Arrangement coordinate acquisition unit, 7b ... Candidate confirmation part, 7c ... Center of gravity narrowing part, 20 ... Display part, 21 ... Action detection part.
Claims (25)
前記n次元座標算出処理部で算出されたコンテンツの配置座標を基に、n次元配置座標上での距離が所定の距離r±Δ1(Δ1は、0<Δ1≦r/2)の範囲に位置するコンテンツから、視聴候補のコンテンツとしてコンテンツDBから取得し、前記n次元座標算出処理部で算出されたコンテンツの配置座標に基づいて、ある数(n個)のコンテンツを抽出することを可能にするコンテンツ抽出部を有し、
前記コンテンツ抽出部により抽出されたコンテンツを前記表示部に表示することを特徴とするコンテンツ抽出装置。 A content DB that stores content, a concept vector calculation processing unit that calculates a similarity vector (distance) between the content and calculates a concept vector, and a combination of all two contents using the concept vector N (n is a natural number greater than or equal to 2) dimensional coordinate calculation processing unit that calculates the distance of the content, and arrangement of the content calculated by the n-dimensional coordinate calculation processing unit based on the coordinates, the contents extraction device comprising a content extractor for extracting content to be viewing candidate, a display unit, a
Based on the content arrangement coordinates calculated by the n-dimensional coordinate calculation processing unit, the distance on the n-dimensional arrangement coordinates is within a predetermined distance r ± Δ1 (Δ1 is 0 <Δ1 ≦ r / 2). It is possible to obtain a certain number (n) of content from the content to be acquired from the content DB as viewing candidate content and based on the content arrangement coordinates calculated by the n-dimensional coordinate calculation processing unit. A content extraction unit ,
Content extraction device characterized that you view the contents extracted by the contents extracting unit on the display unit.
あるコンテンツKiから、前記n次元配置座標上での距離r±Δ1の領域をn分割し、分割した各領域の重心を求め、該重心に位置するコンテンツをn個に絞り込むことを特徴とする請求項1又は2に記載のコンテンツ抽出装置。 As one of the first methods for narrowing the content extracted by the content extraction unit to n preset values,
The area having a distance r ± Δ1 on the n-dimensional arrangement coordinate is divided into n from a certain content Ki, the center of gravity of each divided area is obtained, and the content located at the center of gravity is narrowed down to n. Item 3. The content extraction device according to Item 1 or 2.
あるコンテンツKiから、前記n次元配置座標上での距離r±Δ1の領域を、予め全コンテンツを、コンテンツが持つ意味ベクトル間のユークリッド距離に基づいてクラスタ化し、クラスタ毎に分割し、分割した各領域の重心を求め、該重心に位置するコンテンツをn個に絞り込むことを特徴とする請求項1又は2に記載のコンテンツ抽出装置。 As one of the first methods for narrowing the content extracted by the content extraction unit to n preset values,
From a certain content Ki, an area having a distance r ± Δ1 on the n-dimensional arrangement coordinates is clustered in advance based on the Euclidean distance between semantic vectors of the content, and is divided for each cluster. The content extraction apparatus according to claim 1 or 2, wherein a center of gravity of the region is obtained and content located at the center of gravity is narrowed down to n.
あるコンテンツKiから、前記n次元配置座標上での距離r±Δ1の領域をn分割し、分割した各領域から1つずつ抽出し、コンテンツをn個に絞り込むことを特徴とする請求項1又は2に記載のコンテンツ抽出装置。 As one of the first methods for narrowing the content extracted by the content extraction unit to n preset values,
The area of the distance r ± Δ1 on the n-dimensional arrangement coordinates is divided into n parts from a certain content Ki, one is extracted from each divided area, and the contents are narrowed down to n. 2. The content extraction device according to 2.
あるコンテンツを基に、前記コンテンツの配置座標を基に、n種類の距離によって分類される複数のコンテンツ群を求め、各コンテンツ群から1つずつ抽出し、コンテンツをn個に絞り込むことを特徴とする請求項1又は2に記載のコンテンツ抽出装置。 As one of the second methods for narrowing the content extracted by the content extraction unit to n preset values,
A plurality of content groups classified by n types of distances are obtained based on the content arrangement coordinates based on a certain content, extracted one by one from each content group, and the content is narrowed down to n. The content extraction device according to claim 1 or 2 .
コンテンツにユーザの視聴行動を反映する評価値を付与するコンテンツ評価値演算部と、その評価値を基にn個のコンテンツを抽出する評価値絞込み部とを備え、
前記コンテンツ評価値演算部は、ユーザがあるコンテンツを視聴すると、当該コンテンツの評価値を上げると共に、そのコンテンツと類似度(距離)が同じかあるいは近傍のコンテンツの評価値を上げる、すなわち、視聴したコンテンツとの距離が遠いほど評価値が小さくなるようにすることを特徴とし、
前記評価値絞込み部は、あるコンテンツと類似度(距離)が同じ複数のコンテンツの中から、評価値を基にコンテンツ(n個)を抽出することを特徴とする請求項1又は2に記載のコンテンツ抽出装置。 As a third method of narrowing down the content extracted by the content extraction unit to n preset values ,
Comprises a content evaluation value calculation unit which imparts an evaluation value reflecting the viewing behavior of the user, and an evaluation value refining unit that extracts n pieces of content based on the evaluation value in the content,
When the user views a certain content, the content evaluation value calculation unit increases the evaluation value of the content, and also increases the evaluation value of the content that has the same similarity (distance) as the content or a nearby content. The evaluation value decreases as the distance from the content increases,
The said evaluation value narrowing down part extracts content (n pieces) based on an evaluation value from the some content with the same similarity (distance) as a certain content, The Claim 1 or 2 characterized by the above-mentioned. Content extraction device.
前記コンテンツ抽出部が、前記n次元座標算出処理部で算出されたコンテンツの配置座標を基に、n次元配置座標上での距離が所定の距離r±Δ1(Δ1は、0<Δ1≦r/2)の範囲に位置するコンテンツから、視聴候補のコンテンツとしてコンテンツDBから取得するステップと、
前記コンテンツ抽出部が、
前記n次元座標算出処理部で算出されたコンテンツの配置座標に基づいて、ある数(n個)のコンテンツを抽出するステップと、
前記コンテンツ抽出部により抽出されたコンテンツを前記表示部に表示するステップと、を有することを特徴とするコンテンツ抽出方法。 A content DB that stores content, a concept vector calculation processing unit that calculates a similarity vector (distance) between the content and calculates a concept vector, and a combination of all two contents using the concept vector N (n is a natural number greater than or equal to 2) dimensional coordinate calculation processing unit that calculates the distance of the content, and arrangement of the content calculated by the n-dimensional coordinate calculation processing unit A content extraction method using a content extraction device having a content extraction unit that extracts content that is a viewing candidate based on coordinates and a display unit ,
Based on the content arrangement coordinates calculated by the n-dimensional coordinate calculation processing unit, the content extraction unit has a predetermined distance r ± Δ1 (Δ1 is 0 <Δ1 ≦ r / 2) acquiring content from the content DB as viewing candidate content from content located in the range of 2);
The content extraction unit
Extracting a certain number (n) of contents based on the arrangement coordinates of the contents calculated by the n-dimensional coordinate calculation processing unit;
Displaying the content extracted by the content extraction unit on the display unit .
あるコンテンツKiから、前記n次元配置座標上での距離r±Δ1の領域をn分割し、分割した各領域の重心を求め、該重心に位置するコンテンツをn個に絞り込むステップを有することを特徴とする請求項20に記載のコンテンツ抽出方法。The method includes a step of dividing a region of distance r ± Δ1 on the n-dimensional arrangement coordinates from a certain content Ki into n, obtaining a centroid of each divided region, and narrowing down the content located at the centroid to n. The content extraction method according to claim 20.
あるコンテンツを基に、前記コンテンツの配置座標を基に、n種類の距離によって分類される複数のコンテンツ群を求め、さらに、前記複数のコンテンツ群のそれぞれが含まれる各領域をm分割し、n×m分割された各領域の重心を求め、該重心に位置するコンテンツをn個抽出することを特徴とする請求項20に記載のコンテンツ抽出方法。 A second method for narrowing down the content extracted by the content extraction unit to n preset values is as follows:
Based on a certain content, a plurality of content groups classified by n types of distances are obtained based on the arrangement coordinates of the content, and each region including each of the plurality of content groups is divided into m, and n 21. The content extraction method according to claim 20, wherein a centroid of each of the divided areas is obtained, and n pieces of content located at the centroid are extracted.
コンテンツにユーザの視聴行動を反映する評価値を付与するコンテンツ評価値演算ステップと、その評価値を基にn個のコンテンツを抽出する評価値絞込みステップを備え、
前記コンテンツ評価値演算ステップは、ユーザがあるコンテンツを視聴すると、当該コンテンツの評価値を上げると共に、そのコンテンツと類似度(距離)が同じかあるいは近傍のコンテンツの評価値を上げる、すなわち、視聴したコンテンツとの距離が遠いほど評価値が小さくなるようにすることを特徴とし、
前記評価値絞込みステップは、あるコンテンツと類似度(距離)が同じ複数のコンテンツの中から、評価値を基にコンテンツ(n個)を抽出することを特徴とする請求項20に記載のコンテンツ抽出方法。 A third method of narrowing down the content extracted by the content extraction unit to n preset values is as follows:
A content evaluation value calculating step for giving an evaluation value reflecting the user's viewing behavior to the content, and an evaluation value narrowing step for extracting n pieces of content based on the evaluation value;
In the content evaluation value calculating step, when a user views a certain content, the evaluation value of the content is increased, and the evaluation value of the content having the same similarity (distance) as that of the content or a nearby content is increased, that is, the content is viewed The evaluation value decreases as the distance from the content increases,
21. The content extraction according to claim 20 , wherein in the evaluation value narrowing-down step, content (n) is extracted from a plurality of contents having the same similarity (distance) as a certain content based on the evaluation value. Method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006317476A JP4917412B2 (en) | 2006-11-24 | 2006-11-24 | Content extraction apparatus, method, program, and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006317476A JP4917412B2 (en) | 2006-11-24 | 2006-11-24 | Content extraction apparatus, method, program, and recording medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008130032A JP2008130032A (en) | 2008-06-05 |
JP4917412B2 true JP4917412B2 (en) | 2012-04-18 |
Family
ID=39555751
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006317476A Expired - Fee Related JP4917412B2 (en) | 2006-11-24 | 2006-11-24 | Content extraction apparatus, method, program, and recording medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4917412B2 (en) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009080580A (en) | 2007-09-25 | 2009-04-16 | Toshiba Corp | Image display device and display method |
JP5121367B2 (en) | 2007-09-25 | 2013-01-16 | 株式会社東芝 | Apparatus, method and system for outputting video |
JP2010055431A (en) * | 2008-08-28 | 2010-03-11 | Toshiba Corp | Display processing apparatus and display processing method |
JP4675995B2 (en) | 2008-08-28 | 2011-04-27 | 株式会社東芝 | Display processing apparatus, program, and display processing method |
JP5060430B2 (en) | 2008-08-28 | 2012-10-31 | 株式会社東芝 | Display control apparatus and method |
EP2175356B1 (en) | 2008-10-08 | 2018-08-15 | ExB Asset Management GmbH | Distance dependent selection of information entities |
JP5388631B2 (en) | 2009-03-03 | 2014-01-15 | 株式会社東芝 | Content presentation apparatus and method |
JP4852119B2 (en) | 2009-03-25 | 2012-01-11 | 株式会社東芝 | Data display device, data display method, and data display program |
JPWO2011010434A1 (en) * | 2009-07-23 | 2012-12-27 | 日本電気株式会社 | Information presentation system and information presentation method |
JP5378095B2 (en) * | 2009-08-03 | 2013-12-25 | アルパイン株式会社 | Music selection method and music selection apparatus for in-vehicle audio apparatus |
US10614134B2 (en) | 2009-10-30 | 2020-04-07 | Rakuten, Inc. | Characteristic content determination device, characteristic content determination method, and recording medium |
EP2482247A4 (en) * | 2009-10-30 | 2014-11-19 | Rakuten Inc | Characteristic content determination program, characteristic content determination device, characteristic content determination method, recording medium, content generation device, and related content insertion device |
JP5572581B2 (en) * | 2011-04-22 | 2014-08-13 | 株式会社エクシング | Singing information processing apparatus and singing information processing program |
JP6068357B2 (en) * | 2012-03-14 | 2017-01-25 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | Content display processing device, content display processing method, program, and integrated circuit |
KR102088656B1 (en) * | 2013-01-30 | 2020-04-14 | 에스케이플래닛 주식회사 | Method to recommend associated digital contents via analysis of contents selection path and apparatus therefor |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0612554B2 (en) * | 1988-01-29 | 1994-02-16 | 日本電気株式会社 | Electronic document retrieval device |
JP3502114B2 (en) * | 1992-10-14 | 2004-03-02 | 株式会社日立製作所 | Information service system |
JPH08249352A (en) * | 1995-03-15 | 1996-09-27 | Omron Corp | Method and device for image retrieval |
JPH10162027A (en) * | 1996-11-29 | 1998-06-19 | Sony Corp | Method and device for information retrieval |
JP2003323454A (en) * | 2001-11-16 | 2003-11-14 | Nippon Telegr & Teleph Corp <Ntt> | Method, device and computer program for mapping content having meta-information |
JP4466174B2 (en) * | 2003-05-21 | 2010-05-26 | コニカミノルタホールディングス株式会社 | SEARCH DEVICE, SEARCH METHOD, AND PROGRAM |
JP4305079B2 (en) * | 2003-07-30 | 2009-07-29 | セイコーエプソン株式会社 | Image management device |
-
2006
- 2006-11-24 JP JP2006317476A patent/JP4917412B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2008130032A (en) | 2008-06-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4917412B2 (en) | Content extraction apparatus, method, program, and recording medium | |
US10394878B2 (en) | Associating still images and videos | |
JP6328761B2 (en) | Image-based search | |
JP6487944B2 (en) | Natural language image search | |
KR101659097B1 (en) | Method and apparatus for searching a plurality of stored digital images | |
JP4902499B2 (en) | Image display device, image display method, and image display system | |
KR102206184B1 (en) | Method for searching information of object in video and video playback apparatus thereof | |
JP5121917B2 (en) | Image search apparatus, image search method and program | |
US20140075393A1 (en) | Gesture-Based Search Queries | |
US20080021891A1 (en) | Searching a document using relevance feedback | |
JP2009509215A (en) | Mutual rank similarity space for navigation, visualization, and clustering in image databases | |
JP4374902B2 (en) | Similar image search device, similar image search method, and similar image search program | |
KR20070042064A (en) | Image display control device | |
JP5094830B2 (en) | Image search apparatus, image search method and program | |
Stober et al. | Musicgalaxy: A multi-focus zoomable interface for multi-facet exploration of music collections | |
KR102592904B1 (en) | Apparatus and method for summarizing image | |
JP5014479B2 (en) | Image search apparatus, image search method and program | |
US20210165818A1 (en) | Image searching apparatus, image searching method, and storage medium | |
KR100644016B1 (en) | Moving picture search system and method thereof | |
JP2005525606A (en) | Hierarchical image feature-based visualization method | |
JP2011197892A (en) | Image retrieval system | |
JP5066172B2 (en) | MOVIE DISPLAY DEVICE, MOVIE DISPLAY METHOD, PROGRAM, AND TERMINAL DEVICE | |
US11341660B1 (en) | Feature based image detection | |
US20160162752A1 (en) | Retrieval apparatus, retrieval method, and computer program product | |
JP4692784B2 (en) | Feature quantity selection program, feature quantity selection method and apparatus in image description system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090218 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110728 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110816 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111013 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120117 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120126 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150203 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |