JP5568953B2 - 情報処理装置、シーン検索方法及びプログラム - Google Patents
情報処理装置、シーン検索方法及びプログラム Download PDFInfo
- Publication number
- JP5568953B2 JP5568953B2 JP2009248590A JP2009248590A JP5568953B2 JP 5568953 B2 JP5568953 B2 JP 5568953B2 JP 2009248590 A JP2009248590 A JP 2009248590A JP 2009248590 A JP2009248590 A JP 2009248590A JP 5568953 B2 JP5568953 B2 JP 5568953B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- scene
- unit
- content
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Library & Information Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- User Interface Of Digital Computer (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
上記取得部は、音声を含む1以上のコンテンツを取得する。
上記指定部は、シーン内容を象徴するアイコンに関連付けられ且つ上記シーン内容を表現する音情報をシーン検索の条件とする指定を受け付ける。
上記検索処理部は、上記シーン検索の条件としての指定を受け付けた音情報と、上記コンテンツに含まれる上記音声とを比較して、上記音情報を上記音声に含むコンテンツを検索する。
上記出力部は、上記検索処理部により検索されたコンテンツに関する情報を出力する。
上記検索処理部は、上記アイコン選択部により指示された上記第1の音情報及び上記1以上の第2の音情報の少なくとも1つの音情報を上記音声に含むコンテンツを検索してもよい。
上記出力部は、上記コンテンツに関する情報とともに、上記時間位置の情報を出力してもよい。
上記検索処理部は、上記設定部により指示された上記第1の音情報及び上記1以上の第2の音情報の少なくとも1つの音情報を上記音声に含むコンテンツを検索してもよい。
上記出力部は、上記コンテンツに関する情報と、上記時間位置の情報と、上記音情報により表現される上記シーン内容を象徴する上記アイコンの画像情報とを用いて第2の表示情報を作成して出力してもよい。
上記出力部は、上記コンテンツに関する情報と、上記時間位置の情報と、上記音情報により表現される上記シーン内容を象徴する上記アイコンを識別する情報を出力してもよい。
次に、指定部にて、シーン内容を象徴するアイコンに関連付けられ且つ上記シーン内容を表現する音情報をシーン検索の条件とする指定を受け付ける。
次に、検索処理部にて、上記シーン検索の条件としての指定を受け付けた音情報と上記コンテンツに含まれる上記音声とを比較して、上記音情報を上記音声に含むコンテンツを検索する。
そして、出力部にて、上記検索処理部により検索されたコンテンツに関する情報を出力する。
上記取得部は、音声を含む1以上のコンテンツを取得する。
上記指定部は、シーン内容を象徴するアイコンに関連付けられ且つ上記シーン内容を表現する音情報をシーン検索の条件とする指定を受け付ける。
上記検索処理部は、上記シーン検索の条件としての指定を受け付けた音情報と、上記コンテンツに含まれる上記音声とを比較して、上記音情報を上記音声に含むコンテンツを検索する。
上記出力部は、上記検索処理部により検索されたコンテンツに関する情報を出力する。
[情報端末1のハードウェア構成]
図1は、本発明の一実施形態に係る情報端末1のハードウェア構成を示すブロック図である。
本実施形態において、情報処理装置としての情報端末1は、地上デジタルテレビジョン放送、CSデジタル放送、BSデジタル放送など、放送局から時々刻々と放映される放送番組などのコンテンツデータを録画及び再生可能である。あるいは、情報端末1は、IPマルチキャストで配信されるコンテンツデータを取得し、録画及び再生可能である。このような情報端末1としては、テレビジョン用情報処理装置や映像再生用アプリケーションを駆動するパーソナルコンピュータ等が挙げられる。
次に、情報端末1のソフトウェア構成を説明する。
図2は、情報端末1をのソフトウェア構成を示すブロック図である。
情報端末1は、アイコン選択部110(指定部)と、検索処理部120と、検索結果出力部130と、検索インデックス生成部140と、データ取得部150とを有する。なお、情報端末1の各保存部は、記憶部613又はメディアインターフェース部614に装着されたリムーバブルメディア615等に設定される。
データ取得部150は、トランスポートストリーム取得部151と、トランスポートストリーム保存部152とを有する。
トランスポートストリーム取得部151は、コンテンツ配信サーバ618よりネットワークを通じて、放送局608より放送を通じて、又はリムーバルメディア615に記録された番組コンテンツ等のトランスポートストリームを選択的に取得し、トランスポートストリーム保存部152に保存する。ここで、トランスポートストリームは、映像のストリーム、映像に係る音声のストリームなどが多重化されてなるものである。トランスポートストリーム取得部151は、保存したトランスポートストリームに係る番組名、コンテンツ配信サーバ618又は放送局608の名称及び配信日時等の番組情報、メディア615内のコンテンツタイトル等からコンテンツリストを作成し、トランスポートストリーム保存部152に保存する。トランスポートストリーム取得部151は、保存したトランスポートストリームに対してこれを一意に識別可能なコンテンツIDを作成し、コンテンツリストに記録された該当するコンテンツ情報と関連付けて、トランスポートストリーム保存部152に追加保存する。
検索インデックス生成部140は、音声ストリーム分離部141と、音声波形パターン抽出部142と、検索インデックス生成部143と、音声単位要素表保存部144と、音声ストリーム保存部145と、検索インデックス保存部146とを有する。
同図に示すように、音声単位要素情報144bのそれぞれに、各音声の単位要素を表現する音声波形パターン144cが関連付けられて、音声単位要素表144aが構成される。なお、同図に示す例では言語の音声単位要素毎の音声波形パターン144cが登録されているが、これに限定されず、環境音等の音声波形パターン144cを登録してもよい。
検索インデックス143aは、開始位置の情報143bと、終了位置の情報143cと、音声単位要素の情報143dと、スコア143eとの対応表である。同図の例では、検索インデックス143aにおいて、音声単位要素情報「ni」の音声ストリームにおける時間軸上での開始位置は0ミリ秒であり、終了位置は270ミリ秒であり、スコアは−70.000である。このようにして、検索インデックス143aには、「にほんの」の音声の単位要素の列に対応を識別する音声単位要素情報143d「ni」、「ho」、「N」及び「no」が開始位置の順に並べられて登録される。なお、音声単位要素表に登録された音声波形パターンのスコアを0とし、スコアの絶対値が大きくなるほど音声単位要素表に登録された音声波形パターンから相違するものとすればよい。
アイコン選択部110は、シーンアイコン選択部111と、シソーラス辞書保存部112と、検索音生成部113(音情報生成部)とを有する。
同図において、シーン検索画面101aには、例えば、「美味しいシーン」を象徴するシーンアイコン101bと、これに関連付けられた文字列「美味しい」が見出し語101cとして表示されている。利用者は、入力操作部605を用いて所望のシーン内容を象徴するシーンアイコン101bを選択する。シーンアイコン選択部111は、利用者によるシーンアイコン101bの選択を受け付けると、その選択されたシーンアイコンに予め対応付けられたシーンIDを判定し、検索音生成部113に供給する。
シソーラス辞書112aは、シーンアイコンの情報と、見出し語の情報(第1の音情報)と、1以上の同意音の情報(第2の音情報)とが互いに関連付けられて登録されて構成される。シーンアイコンの情報は、シーンアイコンを識別する情報である。見出し語の情報は、対応するシーンアイコンにより象徴されるシーン内容を文字列で表現した見出し語を、音声単位要素の情報で表現した音情報である。同意音の情報は、見出し語により表現されるシーン内容を表現する別の文字列を、音声単位要素の情報で表現した音情報である。例えば、同意音の情報は、見出し語と同様の意味内容を表す文字列を音声単位要素の情報で表現した音情報を含む。
同図において、シーンアイコンには、個々のシーンアイコンを一意に識別可能なシーンID112bが予め対応付けられている。さらに、例えば、「美味しいシーン」を象徴するシーンアイコンを一意に識別可能なシーンID112bには、このシーンアイコンにより象徴されるシーン内容を文字列で表現する見出し語「美味しい」を、音声単位要素の情報で表現する見出し語の情報112cが関連付けられて登録されている。「美味しいシーン」を象徴するシーンアイコンを一意に識別可能なシーンID112bには、さらに、関連付けられて登録された見出し語の情報112cで表現される見出し語「美味しい」により表現されるシーン内容を表現する1以上の別の文字列「うまい」及び「おいしー」等を音声単位要素の情報で表現する1以上の同意音情報112dが関連付けられて登録されている。なお、見出し語及び同意音の情報は音声単位要素の情報で表現したものに限定されず、テキスト形式で表現してもよい。また、同意音情報112dは、「うまい」及び「おいしー」等の言語的な音情報に限定されない。例えば、調理時に生じる環境音等を見出し語「美味しい」により表現されるシーン内容を表現する同意音情報112dとして登録してもよい。
検索処理部120は、検索音生成部113より供給された見出し語の情報(第1の音情報)及び1以上の同意音の情報(第2の音情報)と、検索インデックス保存部146に保存された音声ストリーム毎の検索インデックス143aとを比較して、これらの音情報を含む音声ストリームを検索する。より具体的には、検索処理部120は、見出し語を構成する音声単位要素の列と、検索インデックス143a中の音声単位要素の欄における音声単位要素の時間順の並びとを比較し、所定の一致度を満たす検索インデックス143a中の音声単位要素の並びを検索する。検索処理部120は、検索インデックス143a中から検索した音声単位要素の並びにおける先頭の音声単位要素に対応する開始位置の情報を検索インデックス143aから抽出する。検索処理部120は、さらに、検索インデックス143a中から検索した音声単位要素の、変換音声波形パターンに対する音声単位要素の判定結果の確からしさの値であるスコアを計算する。このスコアとは、例えば、検索インデックス143a中から検索した各音声単位要素のスコアの絶対値の合計を、音声単位要素の並びの数で割った値である。検索処理部120は、検索インデックス143aから抽出した開始位置の情報及び計算により得られたスコアとともに、変換元の音声ストリームに関連付けられたコンテンツIDを検索結果出力部130に供給する。
検索結果出力部130は、検索処理部120から供給されたコンテンツIDをもとに、トランスポートストリーム保存部152に当該コンテンツIDに関連付けられて保存された番組名、リムーバブルメディア615内のコンテンツタイトル、コンテンツ配信サーバ618又は放送局608の名称及び配信日時等の番組情報を抽出する。検索結果出力部130は、コンテンツIDとともに検索処理部120から供給された音声単位要素の判定結果の確からしさの値であるスコアに基き、例えば1以上のシーンの開始位置の情報を抽出する。検索結果出力部130は、検索処理部120から供給されたコンテンツIDと、トランスポートストリーム保存部152に当該コンテンツIDに関連付けられて保存されたコンテンツ情報と、1以上のシーンの開始位置の情報とを出力する。
同図において、シーン検索結果画面130aには、所定のコンテンツIDに関連付けられた、番組情報である番組名「A料理番組」、コンテンツ配信サーバ618又は放送局608の名称「Aテレビ」及び配信日時「2009.4.6 22:32」と、スコアが最小のシーンの開始位置「12:20」と、1以上のシーンに関連付けられたアイコンとが表示される。
さらに、利用者によりシーン検索結果画面130aに表示されたアイコンの1つが選択されたとき、検索結果出力部130は、例えば、当該アイコンに関連付けられたシーンの開始位置の情報をもとに所定長さのトランスポートストリームをトランスポートストリーム保存部152から検索し、これをサムネイル130bとして表示部607の表示画面に表示するよう出力を行ってもよい。
次に、情報端末1の動作を説明する。動作の説明は以下の順で行うものとする。
(1)検索インデックス作成の動作
(2)シーンの検索の動作
(1)検索インデックス作成の動作について説明する。
図8は、検索インデックス作成の動作を示すフローチャートである。
まず、音声ストリーム分離部141は、トランスポートストリーム保存部152に保存されたトランスポートストリームから音声ストリームを分離し、この音声ストリームと、コンテンツリストに記録された当該トランスポートストリームのコンテンツIDとを関連付けて音声ストリーム保存部145に保存する(ステップS101)。音声ストリーム分離部141は、トランスポートストリーム保存部152に保存されたトランスポートストリーム毎にこの処理を繰り返す(ステップS102でYES)。音声ストリーム分離部141は、トランスポートストリーム保存部152に保存された全てのトランスポートストリームにこの処理を行う(ステップS102でNO)。
(2)シーンの検索の動作について説明する。
図9は、シーンの検索の動作を示すフローチャートである。
まず、シーンアイコン選択部111は、表示部607の表示画面に1以上のシーンアイコン及び見出し語を含む選択画面を表示して利用者に提示する(ステップS201)。利用者は、シーンアイコン選択部111を用いて、表示部607の表示画面に表示された1以上のシーンアイコンの中から所望のシーン内容に対応するシーンアイコンを選択する(ステップS202)。シーンアイコン選択部111は、利用者によるシーンアイコン101bの選択の結果を受け付けると、この選択結果を検索音生成部113に供給する(ステップS203)。
次に、本発明の第2の実施形態に係る、情報処理装置としての情報端末2について説明する。
以下の説明において、第1の実施形態と同様の構成及び機能等については説明を省略又は簡略し、異なる点を中心に説明する。本実施形態において、情報端末1の各ユニットと同様の構成をもつ情報端末2の各ユニットについては対応する符号(200番台)を付し、重複する説明は省略する。
情報端末2のソフトウェア構成を説明する。
図10は、情報端末2のソフトウェア構成を示すブロック図である。
情報端末2は、検索インデックス生成部240と、データ取得部250と、自動検索処理部270と、コンテンツ情報処理部280とを有する。
データ取得部250は、第1の実施形態のデータ取得部150と同様のトランスポートストリーム取得部251及びトランスポートストリーム保存部252と、番組情報取得部253と、番組情報保存部254とを有する。
自動検索処理部270は、第1の実施形態の情報端末1と同様の検索音生成部272(音情報生成部)、シソーラス辞書保存部212及び検索処理部273と、シーン設定部271(指定部)と、メタデータ保存部274とを有する。
シーンID273b、シーンID毎のメタデータ273c及びシーンID毎のシーン数273d等でシーンID273b毎のメタデータ273aを構成する。ここで、シーンID毎のシーン数273dはシーンID毎のメタデータ273cに含まれる開始位置の情報273gとスコア273eとのペアの数を示す。この開始位置の情報の利用方法については後で説明する。シーン設定部271にて設定された1以上のシーンID毎のメタデータ273aで、音声ストリーム毎のメタデータ273fを構成する。
コンテンツ情報処理部280は、表示指示部281と、コンテンツ情報出力部282と、シーンアイコン画像保存部283とを有する。
同図において、番組表画面282aには、例えば、所定のコンテンツに関し、番組名「バラエティ番組H」、チャンネル「7ch」、放送局「Gテレビ」及び放送開始時刻「17:00」等の番組情報が表示され、「大笑いのシーン」を象徴するシーンアイコン及び「不思議なシーン」を象徴するシーンアイコンが配置される。
同図において、詳細情報表示画面282cには、例えば、放送局「Gテレビ」、番組名「バラエティ番組H」、放送時間帯「2009/08/05 17:00〜2009/08/05 17:30」、キャスト及び詳細情報等の番組情報と、詳細情報表示欄282dと、サムネイル282bとが表示される。詳細情報表示欄282dには、シーン内容の開始位置に基き、それぞれ1以上の「不思議なシーン」を象徴するシーンアイコン、「大笑いのシーン」を象徴するシーンアイコン、「美味しいシーン」を象徴するシーンアイコン、及び「びっくりのシーン」を象徴するシーンアイコンが配置される。詳細情報表示画面282cにおいて、コンテンツの情報、シーンの時間の情報及びこのシーン内容を象徴するシーンアイコンの画像を組み合わせた表示を行うことができるので、コンテンツ内のどの時間位置にどのようなシーン内容があるのかを表示するにあたり、利用者の直感に訴える表示を行うことができる。
同図において、詳細情報表示画面282fには、例えば、放送局「Gテレビ」、番組名「バラエティ番組H」、放送時間帯「2009/08/05 17:00〜2009/08/05 17:30」、キャスト及び詳細情報等の番組情報と、シーン分析表示欄282gと、サムネイル282bとが表示される。シーン分析表示欄282gには、それぞれコンテンツ情報出力部282より出力された数の「大笑いのシーン」を象徴するシーンアイコン、「びっくりのシーン」を象徴するシーンアイコン、「不思議なシーン」を象徴するシーンアイコン及び「美味しいシーン」を象徴するシーンアイコンが配置される。詳細情報表示画面282fにおいて、コンテンツの情報とこのシーン内容を象徴するシーンアイコンの画像とを組み合わせた表示を行うことができるので、どのコンテンツにどのようなシーン内容が含まれるのかを表示するにあたり、利用者の直感に訴える表示を行うことができる。
次に、情報端末2の動作を説明する。動作の説明は以下の順で行うものとする。
(1)自動検索処理の動作
(2)コンテンツ情報処理の動作
なお、(1)自動検索処理の動作の前に検索インデックス生成部140により検索インデックス作成の動作が行われるが、この動作はステップS101〜ステップS106で説明した検索インデックス作成の動作と同様なので説明を省略する。
(1)自動検索処理の動作について説明する。
図15は、自動検索処理の動作を示すフローチャートである。
まず、シーン設定部271は、表示部607の表示画面に選択画面を表示する等して、利用者に検索の対象となるシーン内容を選択させる(ステップS301)。利用者は、シーン設定部271を用いて検索の対象となるシーン内容を選択する(ステップS302)。シーン設定部271は、利用者により選択されたシーン内容に対してこれらをそれぞれ一意に識別可能なシーンIDを作成し、該当するシーンアイコンと関連付けて検索音生成部272に供給する(ステップS303)。
(2)コンテンツ情報処理の動作について説明する。
図16は、コンテンツ情報処理の動作を示すフローチャートである。
トランスポートストリーム取得部251は、トランスポートストリームを一意に識別可能なコンテンツIDを作成し、番組情報取得部253により取得され番組情報保存部254に保存された番組表の情報中の対応する番組情報に当該コンテンツIDを関連付けて追加保存する(ステップS401)。
次に、本発明の第3の実施形態に係る、情報処理装置としての構成を有するサーバ・クライアントシステム8について説明する。サーバ・クライアントシステム8は、サーバとしてのサーバ装置3と、クライアントとしての情報端末4とを含む。サーバ装置3と情報端末4とは、インターネットやホームネットワーク等のネットワーク617を通じて接続されている。なお、同図では1の情報端末4を示すが、これに限定されず、情報端末4は複数であってもよい。
図17は、サーバ装置3及び情報端末4のソフトウェア構成を示すブロック図である。
まず、サーバ装置3のソフトウェア構成を説明する。
サーバ装置3は、第2の実施形態の情報端末2のコンテンツ情報処理部280から表示指示部281を除いた各ユニットを備え、その他の構成は情報端末2と同様である。情報端末2の各ユニットと同様の構成をもつサーバ装置3の各ユニットについては対応する符号(300番台)を付し、重複する説明は省略する。
次に、情報端末4のソフトウェア構成を説明する。
情報端末4は、番組情報要求部401と、番組情報要求受信部402と、表示部403とを有する。
次に、情報端末4の動作を説明する。
図18は、情報端末4の動作を示すフローチャートである。
次に、本発明の第4の実施形態に係る、情報処理装置としての構成を有するサーバ・クライアントシステム9について説明する。サーバ・クライアントシステム9は、サーバとしてのサーバ装置5と、クライアントとしての情報端末7とを含む。サーバ装置5と情報端末7とは、インターネットやホームネットワーク等のネットワーク617を通じて接続されている。
図19は、サーバ装置5及び情報端末7のソフトウェア構成を示すブロック図である。
まず、サーバ装置5のソフトウェア構成を説明する。
サーバ装置5は、第3の実施形態のサーバ装置3のコンテンツ情報処理部380からシーンアイコン画像保存部383を除いた各ユニットを備え、その他の構成はサーバ装置3と同様である。サーバ装置3の各ユニットと同様の構成をもつサーバ装置5の各ユニットについては対応する符号(500番台)を付し、重複する説明は省略する。
次に、情報端末7のソフトウェア構成を説明する。
情報端末7は、第3の実施形態の情報端末4がもつ各ユニットを備え、表示情報出力部704と、シーンアイコン画像保存部705とが付加されたものである。情報端末4の各ユニットと同様の構成をもつ情報端末7の各ユニットについては対応する符号(700番台)を付し、重複する説明は省略する。
次に、情報端末7の動作を説明する。
図20は、情報端末7の動作を示すフローチャートである。
3、5…サーバ装置
8、9…サーバ・クライアントシステム
110…アイコン選択部(指定部)
111…シーンアイコン選択部
112、212、312、512…シソーラス辞書保存部
113、272、372、572…検索音生成部(音情報生成部)
120、273、373、573…検索処理部
130…検索結果出力部(出力部)
140、240、340、540…検索インデックス生成部
141、241、341、541…音声ストリーム分離部
142、242、342、542…音声波形パターン抽出部
143、243、343、543…検索インデックス生成部
144、244、344、544…音声単位要素表保存部
145、245、345、545…音声ストリーム保存部
146、246、346、546…検索インデックス保存部
150、250…データ取得部(取得部)
151、251…トランスポートストリーム取得部
152、252、352、552…トランスポートストリーム保存部
253…番組情報取得部
254、354、554…番組情報保存部
270、370、570…自動検索処理部
271、371、571…シーン設定部(指定部)
274、574…メタデータ保存部
280、380…コンテンツ情報処理部
282、382、580…コンテンツ情報出力部(出力部)
283、383、705…シーンアイコン画像保存部
350、550…データ保存部
401、701…番組情報要求部
402、702…番組情報受信部
704…表示情報出力部
Claims (4)
- 音声を含む1以上のコンテンツを取得する取得部と、
シーン内容を象徴するアイコンに関連付けられ、かつ前記シーン内容を表現する音情報をシーン検索の条件とする指定を、ユーザによる前記アイコンの選択により受け付ける指定部と、
前記シーン検索の条件としての指定を受け付けた音情報と前記取得した1以上のコンテンツに含まれる前記音声と比較して、前記音情報を前記音声に含む1以上のコンテンツおよび各々のコンテンツにおける前記音情報に対応する前記音声の時間位置を検索する検索処理部と、
前記検索された1以上のコンテンツにおいて詳細情報の表示に切り替えるように指定されたコンテンツに関する情報とともに、このコンテンツ内の前記検索された前記時間位置を示すために、前記指定されたシーン内容に関連付けられた前記アイコンを配置した表示情報を作成して出力する出力部と
を具備する情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記指定部は、1以上のシーン内容を表現する1以上の音情報をシーン検索の条件とする指定を、ユーザによる前記アイコンの選択により受け付け、
前記検索処理部は、前記シーン検索の条件としての指定を受け付けた1以上の音情報と前記取得した1以上のコンテンツに含まれる前記音声と比較して、前記音情報を前記音声に含む1以上のコンテンツおよび各々のコンテンツにおける前記音情報に各々対応する前記音声の1以上の時間位置を検索し、
前記出力部は、前記検索された1以上のコンテンツにおいて詳細情報の表示に切り替えるように指定されたコンテンツに関する情報とともに、このコンテンツ内の前記検索された前記時間位置を示すために、前記指定された1以上のシーン内容に関連付けられた1以上の前記アイコンを配置した表示情報を作成して出力する
情報処理装置。 - 取得部が、音声を含む1以上のコンテンツを取得し、
指定部が、シーン内容を象徴するアイコンに関連付けられ、かつ前記シーン内容を表現する音情報をシーン検索の条件とする指定を、ユーザによる前記アイコンの選択により受け付け、
検索処理部が、前記シーン検索の条件としての指定を受け付けた音情報と前記取得した1以上のコンテンツに含まれる前記音声と比較して、前記音情報を前記音声に含む1以上のコンテンツおよび各々のコンテンツにおける前記音情報に対応する前記音声の時間位置を検索し、
出力部が、前記検索された1以上のコンテンツにおいて詳細情報の表示に切り替えるように指定されたコンテンツに関する情報とともに、このコンテンツ内の前記検索された前記時間位置を示すために、前記指定されたシーン内容に関連付けられた前記アイコンを配置した表示情報を作成して出力する
シーン検索方法。 - 音声を含む1以上のコンテンツを取得する取得部と、
シーン内容を象徴するアイコンに関連付けられ、かつ前記シーン内容を表現する音情報をシーン検索の条件とする指定を、ユーザによる前記アイコンの選択により受け付ける指定部と、
前記シーン検索の条件としての指定を受け付けた音情報と前記取得した1以上のコンテンツに含まれる前記音声と比較して、前記音情報を前記音声に含む1以上のコンテンツおよび各々のコンテンツにおける前記音情報に対応する前記音声の時間位置を検索する検索処理部と、
前記検索された1以上のコンテンツにおいて詳細情報の表示に切り替えるように指定されたコンテンツに関する情報とともに、このコンテンツ内の前記検索された前記時間位置を示すために、前記指定されたシーン内容に関連付けられた前記アイコンを配置した表示情報を作成して出力する出力部と
としてコンピュータを機能させるプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009248590A JP5568953B2 (ja) | 2009-10-29 | 2009-10-29 | 情報処理装置、シーン検索方法及びプログラム |
US12/909,258 US8781301B2 (en) | 2009-10-29 | 2010-10-21 | Information processing apparatus, scene search method, and program |
CN2010105304344A CN102054019A (zh) | 2009-10-29 | 2010-10-22 | 信息处理装置、场景搜索方法和程序 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009248590A JP5568953B2 (ja) | 2009-10-29 | 2009-10-29 | 情報処理装置、シーン検索方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011095958A JP2011095958A (ja) | 2011-05-12 |
JP5568953B2 true JP5568953B2 (ja) | 2014-08-13 |
Family
ID=43925540
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009248590A Expired - Fee Related JP5568953B2 (ja) | 2009-10-29 | 2009-10-29 | 情報処理装置、シーン検索方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US8781301B2 (ja) |
JP (1) | JP5568953B2 (ja) |
CN (1) | CN102054019A (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9047620B2 (en) | 2012-03-21 | 2015-06-02 | Google Inc. | Expected activity of a user |
US20140214863A1 (en) * | 2013-01-31 | 2014-07-31 | Hewlett-Packard Development Company, L.P. | Selecting data items for display that are associated with entities that have representations placed in a selected state |
KR101537665B1 (ko) * | 2013-02-26 | 2015-07-20 | 주식회사 알티캐스트 | 콘텐츠 재생 방법 및 장치 |
JP2015115874A (ja) * | 2013-12-13 | 2015-06-22 | 株式会社東芝 | 電子機器、方法及びプログラム |
WO2015120184A1 (en) | 2014-02-06 | 2015-08-13 | Otosense Inc. | Instant real time neuro-compatible imaging of signals |
JP6520361B2 (ja) * | 2015-05-01 | 2019-05-29 | 富士通株式会社 | コンテンツ活用支援方法、コンテンツ活用支援プログラム、及びコンテンツ活用支援装置 |
US20180302680A1 (en) * | 2016-12-16 | 2018-10-18 | Google Inc. | On-Demand Video Surfing |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3767763B2 (ja) * | 1997-07-25 | 2006-04-19 | 株式会社ジャストシステム | 情報検索装置およびその装置としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
US7260226B1 (en) * | 1999-08-26 | 2007-08-21 | Sony Corporation | Information retrieving method, information retrieving device, information storing method and information storage device |
JP4325071B2 (ja) * | 2000-04-07 | 2009-09-02 | ソニー株式会社 | デジタルビデオ再生方法及びデジタルビデオ再生装置 |
KR100657267B1 (ko) * | 2003-10-30 | 2006-12-14 | 삼성전자주식회사 | 검색을 위한 메타 정보가 포함된 저장 매체, 재생 장치 및그 재생 방법 |
JP2003271630A (ja) * | 2002-03-15 | 2003-09-26 | Yamaha Corp | 情報検索方法、プログラム及び装置 |
JP2005267053A (ja) * | 2004-03-17 | 2005-09-29 | Nec Corp | 音声検索装置、音声検索サーバ、音声検索方法及び音声検索プログラム |
US20060075346A1 (en) * | 2004-09-27 | 2006-04-06 | Tom Lanning | Video presentation using compositional structures |
CN1889172A (zh) * | 2005-06-28 | 2007-01-03 | 松下电器产业株式会社 | 可增加和修正声音类别的声音分类***及方法 |
WO2007066662A1 (ja) * | 2005-12-05 | 2007-06-14 | Pioneer Corporation | コンテンツ検索装置、コンテンツ検索システム、コンテンツ検索システム用サーバ装置、コンテンツ検索方法及びコンピュータプログラム並びに検索機能付きコンテンツ出力装置 |
JPWO2007066663A1 (ja) * | 2005-12-05 | 2009-05-21 | パイオニア株式会社 | コンテンツ検索装置、コンテンツ検索システム、コンテンツ検索システム用サーバ装置、コンテンツ検索方法及びコンピュータプログラム並びに検索機能付きコンテンツ出力装置 |
US8032370B2 (en) * | 2006-05-09 | 2011-10-04 | Nokia Corporation | Method, apparatus, system and software product for adaptation of voice activity detection parameters based on the quality of the coding modes |
KR100765793B1 (ko) * | 2006-08-11 | 2007-10-12 | 삼성전자주식회사 | 음향 변환기 어레이를 사용하는 오디오 시스템에서 룸파라미터를 보정하는 장치 및 방법 |
EP1975938A1 (en) * | 2007-03-31 | 2008-10-01 | Sony Deutschland Gmbh | Method for determining a point in time within an audio signal |
JP2008276340A (ja) * | 2007-04-26 | 2008-11-13 | Hitachi Ltd | 検索装置 |
JP2009130849A (ja) * | 2007-11-27 | 2009-06-11 | Toshiba Corp | シーン認識装置及び映像処理装置 |
US20100011388A1 (en) * | 2008-07-10 | 2010-01-14 | William Bull | System and method for creating playlists based on mood |
CN101359339A (zh) * | 2008-09-23 | 2009-02-04 | 无敌科技(西安)有限公司 | 一种关键词自动扩展查询方法及其装置 |
WO2010075634A1 (en) * | 2008-12-30 | 2010-07-08 | Karen Collins | Method and system for visual representation of sound |
-
2009
- 2009-10-29 JP JP2009248590A patent/JP5568953B2/ja not_active Expired - Fee Related
-
2010
- 2010-10-21 US US12/909,258 patent/US8781301B2/en not_active Expired - Fee Related
- 2010-10-22 CN CN2010105304344A patent/CN102054019A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
CN102054019A (zh) | 2011-05-11 |
US8781301B2 (en) | 2014-07-15 |
US20110103768A1 (en) | 2011-05-05 |
JP2011095958A (ja) | 2011-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5178109B2 (ja) | 検索装置、方法及びプログラム | |
JP5568953B2 (ja) | 情報処理装置、シーン検索方法及びプログラム | |
US8155969B2 (en) | Subtitle generation and retrieval combining document processing with voice processing | |
CN107577385B (zh) | 媒体环境中的智能自动化助理 | |
US7966184B2 (en) | System and method for audible web site navigation | |
JP4550725B2 (ja) | 映像視聴支援システム | |
CN101422041A (zh) | 基于因特网搜索的电视 | |
US20150098018A1 (en) | Techniques for live-writing and editing closed captions | |
JP2007148976A (ja) | 関連情報検索装置 | |
JP4251634B2 (ja) | マルチメディアデータ再生装置およびマルチメディアデータ再生方法 | |
JP6865701B2 (ja) | 音声認識誤り修正支援装置およびそのプログラム | |
JP2010245853A (ja) | 動画インデクシング方法及び動画再生装置 | |
JP6949075B2 (ja) | 音声認識誤り修正支援装置およびそのプログラム | |
EP1463059A2 (en) | Recording and reproduction apparatus | |
JP4865469B2 (ja) | コンテンツ制作サーバ、コンテンツ提示装置、コンテンツ制作プログラム、及びコンテンツ提示プログラム | |
JP2007199315A (ja) | コンテンツ提供装置 | |
JP2013092912A (ja) | 情報処理装置、情報処理方法、並びにプログラム | |
JP5342509B2 (ja) | コンテンツ再生装置、コンテンツ再生装置の制御方法、制御プログラム、及び記録媒体 | |
JP2015050729A (ja) | 電子機器、電子機器の制御方法及びコンピュータプログラム | |
JP2006195900A (ja) | マルチメディアコンテンツ生成装置及び方法 | |
JP5152857B2 (ja) | 電子機器、表示制御方法、およびプログラム | |
JP2004215094A (ja) | 電子機器装置及びキーワード生成装置 | |
JP2002304420A (ja) | 視聴覚コンテンツ配信システム | |
JP2010009355A (ja) | 電子機器、形態素複合方法及びそのプログラム | |
CN109977239B (zh) | 一种信息处理方法和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121029 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130903 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130910 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140304 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140507 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140527 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140609 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5568953 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |