JP2014006680A - ビデオ記録装置、情報処理システム、情報処理方法および記録媒体 - Google Patents
ビデオ記録装置、情報処理システム、情報処理方法および記録媒体 Download PDFInfo
- Publication number
- JP2014006680A JP2014006680A JP2012141596A JP2012141596A JP2014006680A JP 2014006680 A JP2014006680 A JP 2014006680A JP 2012141596 A JP2012141596 A JP 2012141596A JP 2012141596 A JP2012141596 A JP 2012141596A JP 2014006680 A JP2014006680 A JP 2014006680A
- Authority
- JP
- Japan
- Prior art keywords
- word information
- image
- camera
- content
- video content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
- H04N9/8211—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a sound signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/87—Regeneration of colour television signals
- H04N9/8715—Regeneration of colour television signals involving the mixing of the reproduced video signal with a non-recorded signal, e.g. a text signal
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
【解決手段】コンテンツ蓄積部が蓄積したビデオコンテンツから特徴となる画像または音声を抽出し、抽出した画像または音声から単語情報を得る特徴抽出処理を行う。また、カメラ付き端末装置で撮影した画像から単語情報を得る画像認識処理を行い、その画像認識処理で得た単語情報をクラスタリングして分類された単語情報を得るクラスタリング処理を行う。さらに、クラスタリング処理で得た分類された単語情報と、特徴抽出処理で取得された単語情報に基づいて、コンテンツ蓄積部が蓄積したビデオコンテンツから関連するビデオコンテンツを検索するコンテンツ検索処理を行う。
【選択図】図4
Description
この特許文献1に記載されるように、ビデオ記録装置が外部から配信されるキーワードを取得することで、例えばビデオ記録装置が最近話題になっている事象を扱ったコンテンツを自動的に探し出して、ユーザに提示することが可能になる。
特徴抽出処理部は、コンテンツ蓄積部が蓄積したビデオコンテンツから特徴となる画像または音声を抽出し、抽出した画像または音声から単語情報を得る。
単語情報取得部は、カメラが撮影した画像から識別した単語情報をクラスタリング処理して得られた分類された単語情報を取得する。
コンテンツ検索部は、単語情報取得部が取得した分類された単語情報と、特徴抽出処理部が取得した単語情報とに基づいて、コンテンツ蓄積部が蓄積したビデオコンテンツから関連するビデオコンテンツを検索する。
そして、カメラ付き端末装置とビデオコンテンツ記録装置のいずれか一方が、画像認識部とクラスタリング処理部と特徴抽出処理部とコンテンツ検索部を備える。
画像認識部は、カメラ付き端末装置のカメラ部が撮影した画像から単語情報を得る。
クラスタリング処理部は、画像認識部が得た単語情報をクラスタリングして分類された単語情報を得る。
特徴抽出処理部は、コンテンツ蓄積部が蓄積したビデオコンテンツから特徴となる画像または音声を抽出し、抽出した画像または音声から単語情報を得る。
コンテンツ検索部は、クラスタリング処理部で得られた分類された単語情報と、特徴抽出処理部が取得した単語情報とに基づいて、コンテンツ蓄積部が蓄積したビデオコンテンツから関連するビデオコンテンツを検索する。
(a)コンテンツ蓄積部が蓄積したビデオコンテンツから特徴となる画像または音声を抽出し、抽出した画像または音声から単語情報を得る特徴抽出手順。
(b)カメラが撮影した画像から単語情報を得る画像認識手順。
(c)画像認識手順で得た単語情報をクラスタリングして分類された単語情報を得るクラスタリング手順。
(d)クラスタリング手順で得た分類された単語情報と、特徴抽出手順で取得された単語情報とに基づいて、コンテンツ蓄積部が蓄積したビデオコンテンツから関連するビデオコンテンツを検索するコンテンツ検索手順。
1.システム全体の構成例(図1)
2.ビデオ記録装置の構成例(図2)
3.カメラ付き端末装置の構成例(図3)
4.処理の流れの例(図4〜図8)
5.変形例1(図9〜図11)
6.変形例2(図12〜図13)
7.その他の変形例
図1は、本開示の一実施の形態に係る情報処理システム全体の例を示す図である。
本開示の情報処理システムは、ビデオコンテンツを蓄積するビデオ記録装置100と、そのビデオ記録装置100が蓄積したビデオコンテンツを表示する表示装置300とを備える。ビデオ記録装置100は、大容量の記録媒体を備え、多数のビデオコンテンツ(放送番組、映画、動画サイトから取得した動画など)を蓄積する。ビデオ記録装置100と表示装置300とは、一体化してもよい。
図2は、ビデオ記録装置100の構成例を示す図である。ビデオ記録装置100は、アンテナ101が接続されたチューナ102を備える。チューナ102は、テレビジョン放送信号を受信する。チューナ102が受信して得たテレビジョン放送信号は、記録処理部104に供給され、記録処理部104で記録用の処理が施された信号が、ビデオコンテンツとして記録媒体120に記録される。記録媒体120には、ハードディスクドライブ装置やフラッシュメモリなどが使用される。記録媒体120が記録するビデオコンテンツは、例えばユーザが録画予約した放送番組や、予め設定された条件で自動的に番組表などから検索された放送番組などである。あるいは、記録媒体120が非常に大容量である場合には、指定されたチャンネルの放送番組を常時記録するようにしてもよい。
また、ビデオ記録装置100は、ディスクドライブ部130を備え、ディスクドライブ部130に装着されたディスク状記録媒体131が、ビデオコンテンツの記録を行うこともできる。
なお、記録媒体120は、記録したビデオコンテンツを解析した結果のデータを記録したデータベースを含んでいる。このビデオコンテンツを解析する処理は、システムコントローラ110の制御下で、画像音声特徴抽出部111が実行する。
なお、カメラ付き端末装置200とビデオ記録装置100とのデータ転送を行う際には、ネットワークインターフェース部103がインターネット90を経由して行うようにしてもよい。
情報処理部105は、データベースとして記録媒体120に記録されている各ビデオコンテンツの単語情報と、カメラ付き端末装置200から伝送される単語情報とを比較して、類似度が高いビデオコンテンツを検索する処理を行う。そして、情報処理部105は、その検索した結果に基づいて、ユーザに再生を推薦するコンテンツを一覧で示したコンテンツリストを作成する。あるいは、情報処理部105が検索した結果をシステムコントローラ110が取得して、システムコントローラ110が、最も類似度が高いビデオコンテンツを自動的に再生するようにしてもよい。
図3は、カメラ付き端末装置200の構成例を示す図である。本開示のカメラ付き端末装置200は、スマートフォンと称される携帯電話端末装置に適用した例である。
カメラ付き端末装置200は、アンテナ201が接続された無線通信部202を備える。無線通信部202は、システムコントローラ210の制御下で、無線電話用の基地局と無線信号の送信及び受信の処理を行う。システムコントローラ210は、コントロールバス231およびデータバス232を介してカメラ付き端末装置200内の各部と指令やデータなどの転送を行う。
また、音声通話時に、音声処理部205は、マイクロフォン207が出力した音声信号を送信フォーマットの音声データに変換する。そして、音声処理部205で変換された音声データが無線通信部202に供給され、無線通信部202に供給される音声データが、パケット化されてアンテナ201から無線送信される。
カメラ部220が撮影して得た画像データは、メモリ211に記憶される。この場合、カメラ付き端末装置200は、撮影して得た画像データに対する各種処理を行う画像処理部212を備え、この画像処理部212で処理された画像データがメモリ211に記憶される。画像処理部212は、後述する画像解析処理も実行する。画像処理部212が解析する画像データが、動画像データなどの音声データ付きの画像データである場合には、画像処理部212が音声データの解析も行う。
また、近距離無線通信部204を使用した無線通信は、カメラ付き端末装置200がビデオ記録装置100とデータ伝送を行う際にも使用される。すなわち、上述したようにカメラ付き端末装置200は、外部インターフェース部208を経由してビデオ記録装置100とデータ伝送を行うようにした。この外部インターフェース部208を経由した経路でのデータ伝送ができない場合に、近距離無線通信部204がビデオ記録装置100と無線通信を行う。
次に、図4〜図8を参照して、本開示のシステムで行われる処理について説明する。なお、以下に説明するそれぞれの処理を行う装置の割り当ては一例であり、システム内の他の装置、あるいはインターネット上のサーバなどが、それぞれの処理を行うようにしてもよい。
図4は、処理の概要を示す図である。例えば、カメラ付き端末装置200を所持したユーザは、気に入った情報が文字で記載された書籍や雑誌などを見つけたとき、カメラ付き端末装置200のカメラ部220で、書籍や雑誌などの該当するページを撮影して、画像11を得る。画像は静止画像が好ましいが、動画像でもよい。撮影を行う対象は、雑誌やパンフレットなど、ユーザが気に入った情報や、興味を持った情報が記載されたものなど、どのようなものでもよい。また、書籍や雑誌などの印刷物以外でも、掲示物や展示物など、興味を持った様々なものを、ユーザが撮影してもよい。
次に、カメラ付き端末装置200内の情報処理部213が、文字認識処理12で得られたテキストデータについて、形態素解析処理13を行う。形態素解析処理は、テキストデータから単語を抽出する処理を行う。さらに、カメラ付き端末装置200内の情報処理部213が、テキストデータから抽出された単語を種類ごとに分類するクラスタリング処理14を行う。この場合に、クラスタリング処理14が分類するクラスについての情報は、例えばサーバ400から取得する。その後、カメラ付き端末装置200は、クラスタリング処理14が行われた単語情報を、ビデオ記録装置100に伝送する。
なお、この記録媒体120が蓄積したビデオコンテンツについての解析処理は、例えば記録媒体120が1つ1つのビデオコンテンツを蓄積した際に行う。あるいは、カメラ付き端末装置200から単語情報の伝送があった際に、記録媒体120が蓄積した全てのビデオコンテンツについて、ビデオ記録装置100が一括して行うようにしてもよい。
図5のフローチャートに示した動作について、図6〜図8の具体的な処理の例を参照しながら説明する。
まず、ユーザが、カメラ付き端末装置200の動作モードを、ビデオコンテンツを検索するための画像取得を行う動作モードに設定する。その動作モードが設定された状態で、ユーザは、カメラ付き端末装置200を使用して、書籍などを撮影し、文字が記載された画像(静止画像または動画像)を取得する(ステップS11)。カメラ付き端末装置200は、画像を取得すると、画像認識処理で画像中の文字をテキストコードとして抽出する(ステップS12)。
すなわち、ユーザが、流行の店の案内情報が記載された情報誌を撮影したとする。この撮影により、カメラ付き端末装置200は画像11aを得る。このとき、文字認識処理12では、その画像11aに記載された文字が、テキストデータ化される。
図6の例では、画像11aは、菓子店の情報を記載した情報誌の特定の頁を撮影したものであり、形態素解析では、菓子の名称,菓子店の所在地域,その他の名詞や形容詞などの単語が抽出される。
そして、クラスタリング処理14では、抽出された単語が、クラスごとに分類される。例えば、形態素解析された単語が、お菓子の名称のクラス、地域のクラス、その他の名刺のクラス、形容詞のクラスなどに分類される。
そして、ビデオ記録装置100では、記録媒体120が蓄積したビデオコンテンツの特徴抽出処理が行われる(ステップS16)。なお、このステップS16のビデオコンテンツの特徴抽出処理が行われる順序は一例であり、ビデオ記録装置100が、その他のタイミングでビデオコンテンツの特徴抽出処理を行うようにしてもよい。また、このビデオコンテンツの特徴抽出処理を行った結果で得られた単語は、カメラ付き端末装置200での処理と同様のクラスタリング処理が行われ、分類された単語情報になる。
そして、ビデオ記録装置100のシステムコントローラ110は、コンテンツ検索処理で、記録媒体120が蓄積したビデオコンテンツの中から、候補となるビデオコンテンツが検索できたか否かを判断する(ステップS18)。この判断で、候補となるビデオコンテンツが検索できた場合には、システムコントローラ110は、検索されたコンテンツのタイトルリストの作成指示を行い、ユーザに検索されたビデオコンテンツを告知する(ステップS19)。そして、ステップS18の判断で、候補となるビデオコンテンツが検索できなかった場合には、システムコントローラ110は、表示画像などで類似コンテンツがないことを警告する(ステップS20)。
図7に示すように、クラスタリング処理された単語情報14aが、カメラ付き端末装置200からビデオ記録装置100に送信される。また、ビデオ記録装置100は、記録媒体120が蓄積したあるビデオコンテンツ120aを特徴抽出して、単語情報15aを得る。図7の例では、ビデオコンテンツ120aを特徴抽出した単語情報15aは、1つのビデオコンテンツ120aを分割したシーンごとに存在し、クラスタリング処理で分類された情報になっている。
すなわち、図7の例ではビデオコンテンツ120aはニュース番組であり、ビデオコンテンツ120aが、ニュース番組中の話題ごとにシーン1,シーン2,・・・と分割してある。そして、それぞれのシーンごとに、音声から検出された単語が、クラスタリング処理で分類した状態になっている。例えばシーン2の単語情報15aは、お菓子の分類の単語の出現回数が3回、地域の分類の単語の出現回数が3回となっている。
この例では、「お菓子」と「地域」の2つの分類を示す。
例えば、図8に示すように、カメラ付き端末装置200が取得した画像は、「お菓子」の単語の出現回数が3回で、「地域」の単語の出現回数が1回であるとする。このとき、情報処理部105は、この3回ずつのそれぞれの単語と同じ分類の単語が、1つのビデオコンテンツのシーン1〜4に何回あるかを判断する。
図8に示すように、シーン2は、「お菓子」の単語の出現回数が3回で、「地域」の単語の出現回数が3回であり、その他のシーン1,3,4は、「お菓子」の単語と「地域」の単語の出現回数がいずれも0回であるとする。
[(x・y)+(a・b)]/[√(a2+b2)・√(x2+y2)]
この式のa、b、x、yは、次のように定義する。
a:撮影画像から得た「お菓子」の分類の単語の出現回数
b:撮影画像から得た「地域」の分類の単語の出現回数
x:各シーンの「お菓子」の分類の単語の出現回数
y:各シーンの「地域」の分類の単語の出現回数
全てのコンテンツについての類似度の計算が終了すると、ビデオ記録装置100のシステムコントローラ110は、このようにして選び出されたコンテンツのタイトルリストまたはシーンのリストの作成を指示し、表示装置300が作成されたリストを表示する。
なお、検索結果に基づいてビデオ記録装置100がタイトルリストを作成するのは1つの例であり、ビデオ記録装置100がその他の処理を行うようにしてもよい。例えば、ビデオ記録装置100でのコンテンツの検索に基づいて、ビデオ記録装置100が、類似度が最も高いビデオコンテンツを自動的に再生してもよい。
次に、図9〜図11を参照して、本開示の一実施の形態の変形例(その1)を説明する。
図9は、この例での処理の概要を示す図である。先に説明した一実施の形態の例では、図4に示したように、カメラ付き端末装置200が撮影した撮影画像に含まれる文字を、文字認識した例を示した。これに対して、図9の例では、カメラ付き端末装置200が、撮影した撮影画像を画像認識して、画像内の物体の形状や色などを認識した結果から、文字情報を得るようにしたものである。
この画像から名称を検出する際には、例えばインターネット90に接続されたサーバ400に画像を送り、サーバ400で検索するようにしてもよい。
なお、ビデオ記録装置100が、ビデオコンテンツについての解析を行う画像音声特徴抽出処理15を行う場合にも、カメラ付き端末装置200での画像特徴抽出処理17と同様に、画像内の物体の認識結果に基づいて、テキストデータを検出してもよい。
図9のフローチャートでは、ステップS11でカメラ付き端末装置200が撮影した画像を取得した後、その画像から図9に示す画像特徴抽出処理17を行って、画像内の物体の形状などから単語情報を得る(ステップS21)。そして、カメラ付き端末装置200は、そのように得られた単語のクラスタリング処理を行う(ステップS14)。クラスタリング処理を行った後の処理は、図5のフローチャートと同じである。
すなわち、カメラ付き端末装置200を使用して、ユーザが、興味のあるお菓子や野菜の画像が複数記載された情報誌を撮影したとする。このとき、撮影した画像21aから、画像特徴抽出処理17で、それぞれのお菓子や野菜の画像が抽出される。
さらに、クラスタリング処理14′が行われることで、抽出された各画像が、お菓子のクラスの画像と、野菜のクラスの画像に分類される。
また、画像の内容から単語情報を検出するため、カメラ付き端末装置200が撮影する対象は、雑誌などの印刷物に限定されず、例えばユーザは、お菓子屋に並んだ実際のお菓子を撮影してもよい。あるいは、表示装置300が表示したテレビジョン放送画面などを撮影してもよい。このように、様々な撮影画像の内容から単語情報を抽出することができる。
次に、図12〜図13を参照して、本開示の一実施の形態の変形例(その2)を説明する。
この例は、図4などで説明した、カメラ付き端末装置200が撮影した撮影画像に含まれる文字を、文字認識で検出する処理と、図9などで説明した、カメラ付き端末装置200が撮影した撮影画像の内容から画像認識する処理とを組み合わせたものである。
図12のフローチャートは、この場合の処理例を示す図である。この図12のフローチャートにおいて、図5および図10のフローチャートと同じ処理には、同じステップ番号を付与し、説明を省略する。
そして、カメラ付き端末装置200は、ステップS13の形態素解析処理またはステップS21の画像特徴抽出処理を行った後、抽出された単語について、クラスタリング処理を行う(ステップS14)。クラスタリング処理を行った後は、図5のフローチャートと同じ処理が行われる。
そして、カメラ付き端末装置200は、数が多い方を主たる情報と判断し、その主たる文字情報をクラスタリング処理して、ビデオ記録装置100に伝送する単語情報を得る。
なお、上述した実施の形態の例では、カメラ付き端末装置200が、撮影した画像から文字認識または画像認識で単語情報を取得して、その単語情報をビデオ記録装置100に送るようにした。これに対して、例えばカメラ付き端末装置200が撮影した画像をビデオ記録装置100に送り、ビデオ記録装置100が画像から文字認識または画像認識を行うようにしてもよい。あるいは、カメラ付き端末装置200が撮影した画像をサーバ400に送り、サーバ400が文字認識または画像認識で単語情報を取得するようにしてもよい。単語情報をクラス分けするクラスタリング処理についても、いずれの装置100,200またはサーバ400が行うようにしてもよい。
また、カメラ付き端末装置200は、スマートフォンと称される携帯電話端末装置に適用した例とした。これに対して、本開示の処理は、カメラ付きの端末装置であれば、その他の端末装置に適用してもよい。
また、類似度を判断する場合に、クラスごとの単語の出現頻度だけではなく、その他の要因から、類似度を判断するようにしてもよい。
あるいは、ビデオ記録装置100が、撮影した画像から得た単語情報と、蓄積したビデオコンテンツから得た単語情報とに基づいたその他の判断処理で、蓄積したビデオコンテンツから関連したビデオコンテンツを検索してもよい。
さらに、本発明の請求項に記載した構成や処理は、上述した実施の形態の例に限定されるものではない。本発明の要旨を逸脱しない限り、種々の改変、組み合わせ、他の実施の形態例が生じうることは、当業者にとって当然のことと理解される。
(1)
ビデオコンテンツを蓄積するコンテンツ蓄積部と、
前記コンテンツ蓄積部が蓄積したビデオコンテンツから特徴となる画像または音声を抽出し、抽出した画像または音声から単語情報を得る特徴抽出処理部と、
カメラが撮影した画像から識別した単語情報をクラスタリング処理して得られた分類された単語情報を取得する単語情報取得部と、
前記単語情報取得部が取得した分類された単語情報と、前記特徴抽出処理部が取得した単語情報とに基づいて、前記コンテンツ蓄積部が蓄積したビデオコンテンツから関連するビデオコンテンツを検索するコンテンツ検索部とを備えた
ビデオ記録装置。
(2)
前記特徴抽出処理部は、ビデオコンテンツの画像に含まれる字幕またはテロップから単語情報を取得する
前記(1)記載のビデオ記録装置。
(3)
前記特徴抽出処理部は、さらにビデオコンテンツの付加情報に含まれるテキスト情報から単語情報を取得する
前記(1)または(2)記載のビデオ記録装置。
(4)
前記単語情報取得部は、カメラが撮影した画像の文字認識処理で取得した単語情報をクラスタリング処理して分類された単語情報を取得する
前記(1)〜(3)のいずれか1項に記載のビデオ記録装置。
(5)
前記単語情報取得部は、カメラが撮影した画像中の物体の形状から、その物体名としての単語情報を取得する
前記(1)〜(3)のいずれか1項に記載のビデオ記録装置。
(6)
前記単語情報取得部が取得する単語情報は、カメラが撮影した画像から文字認識処理で得られた単語の数と、カメラが撮影した画像中の形状から認識された物体の数とを比較して、主たる情報として決定した単語情報である
前記(1)〜(3)のいずれか1項に記載のビデオ記録装置。
(7)
カメラ部を有するカメラ付き端末装置と、該カメラ付き端末装置と通信が可能で、ビデオコンテンツを蓄積するコンテンツ蓄積部を有するビデオ記録装置とよりなり、
前記カメラ付き端末装置のカメラ部が撮影した画像から単語情報を得る画像認識部と、
前記画像認識部が得た単語情報をクラスタリングして分類された単語情報を得るクラスタリング処理部と、
前記コンテンツ蓄積部が蓄積したビデオコンテンツから特徴となる画像または音声を抽出し、抽出した画像または音声から単語情報を得る特徴抽出処理部と、
前記クラスタリング処理部で得られた分類された単語情報と、前記特徴抽出処理部が取得した単語情報とに基づいて、前記コンテンツ蓄積部が蓄積したビデオコンテンツから関連するビデオコンテンツを検索するコンテンツ検索部を、
前記カメラ付き端末装置と前記ビデオ記録装置の何れか一方が備えた
情報処理システム。
(8)
コンテンツ蓄積部が蓄積したビデオコンテンツから特徴となる画像または音声を抽出し、抽出した画像または音声から単語情報を得る特徴抽出処理と、
カメラが撮影した画像から単語情報を得る画像認識処理と、
前記画像認識処理で得た単語情報をクラスタリングして分類された単語情報を得るクラスタリング処理と、
前記クラスタリング処理で得た分類された単語情報と、前記特徴抽出処理で取得された単語情報とに基づいて、前記コンテンツ蓄積部が蓄積したビデオコンテンツから関連するビデオコンテンツを検索するコンテンツ検索処理とを含む
情報処理方法。
(9)
コンテンツ蓄積部が蓄積したビデオコンテンツから特徴となる画像または音声を抽出し、抽出した画像または音声から単語情報を得る特徴抽出手順と、
カメラが撮影した画像から単語情報を得る画像認識手順と、
前記画像認識手順で得た単語情報をクラスタリングして分類された単語情報を得るクラスタリング手順と、
前記クラスタリング手順で得た分類された単語情報と、前記特徴抽出手順で取得された単語情報とに基づいて、前記コンテンツ蓄積部が蓄積したビデオコンテンツから関連するビデオコンテンツを検索するコンテンツ検索手順を、
コンピュータに実行させるためのプログラムを記録した
記録媒体。
Claims (9)
- ビデオコンテンツを蓄積するコンテンツ蓄積部と、
前記コンテンツ蓄積部が蓄積したビデオコンテンツから特徴となる画像または音声を抽出し、抽出した画像または音声から単語情報を得る特徴抽出処理部と、
カメラが撮影した画像から識別した単語情報をクラスタリング処理して得られた分類された単語情報を取得する単語情報取得部と、
前記単語情報取得部が取得した分類された単語情報と、前記特徴抽出処理部が取得した単語情報とに基づいて、前記コンテンツ蓄積部が蓄積したビデオコンテンツから関連するビデオコンテンツを検索するコンテンツ検索部とを備えた
ビデオ記録装置。 - 前記特徴抽出処理部は、ビデオコンテンツの画像に含まれる字幕またはテロップから単語情報を取得する
請求項1記載のビデオ記録装置。 - 前記特徴抽出処理部は、さらにビデオコンテンツの付加情報に含まれるテキスト情報から単語情報を取得する
請求項2記載のビデオ記録装置。 - 前記単語情報取得部は、カメラが撮影した画像の文字認識処理で取得した単語情報をクラスタリング処理して分類された単語情報を取得する
請求項1記載のビデオ記録装置。 - 前記単語情報取得部は、カメラが撮影した画像中の物体の形状から、その物体名としての単語情報を取得する
請求項1記載のビデオ記録装置。 - 前記単語情報取得部が取得する単語情報は、カメラが撮影した画像から文字認識処理で得られた単語の数と、カメラが撮影した画像中の形状から認識された物体の数とを比較して、主たる情報として決定した単語情報である
請求項1記載のビデオ記録装置。 - カメラ部を有するカメラ付き端末装置と、該カメラ付き端末装置と通信が可能で、ビデオコンテンツを蓄積するコンテンツ蓄積部を有するビデオ記録装置とよりなり、
前記カメラ付き端末装置のカメラ部が撮影した画像から単語情報を得る画像認識部と、
前記画像認識部が得た単語情報をクラスタリングして分類された単語情報を得るクラスタリング処理部と、
前記コンテンツ蓄積部が蓄積したビデオコンテンツから特徴となる画像または音声を抽出し、抽出した画像または音声から単語情報を得る特徴抽出処理部と、
前記クラスタリング処理部で得られた分類された単語情報と、前記特徴抽出処理部が取得した単語情報とに基づいて、前記コンテンツ蓄積部が蓄積したビデオコンテンツから関連するビデオコンテンツを検索するコンテンツ検索部を、
前記カメラ付き端末装置と前記ビデオ記録装置の何れか一方が備えた
情報処理システム。 - コンテンツ蓄積部が蓄積したビデオコンテンツから特徴となる画像または音声を抽出し、抽出した画像または音声から単語情報を得る特徴抽出処理と、
カメラが撮影した画像から単語情報を得る画像認識処理と、
前記画像認識処理で得た単語情報をクラスタリングして分類された単語情報を得るクラスタリング処理と、
前記クラスタリング処理で得た分類された単語情報と、前記特徴抽出処理で取得された単語情報とに基づいて、前記コンテンツ蓄積部が蓄積したビデオコンテンツから関連するビデオコンテンツを検索するコンテンツ検索処理とを含む
情報処理方法。 - コンテンツ蓄積部が蓄積したビデオコンテンツから特徴となる画像または音声を抽出し、抽出した画像または音声から単語情報を得る特徴抽出手順と、
カメラが撮影した画像から単語情報を得る画像認識手順と、
前記画像認識手順で得た単語情報をクラスタリングして分類された単語情報を得るクラスタリング手順と、
前記クラスタリング手順で得た分類された単語情報と、前記特徴抽出手順で取得された単語情報とに基づいて、前記コンテンツ蓄積部が蓄積したビデオコンテンツから関連するビデオコンテンツを検索するコンテンツ検索手順を、
コンピュータに実行させるためのプログラムを記録した
記録媒体。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012141596A JP6046393B2 (ja) | 2012-06-25 | 2012-06-25 | 情報処理装置、情報処理システム、情報処理方法および記録媒体 |
US13/920,397 US9131207B2 (en) | 2012-06-25 | 2013-06-18 | Video recording apparatus, information processing system, information processing method, and recording medium |
CN201310242489.9A CN103514248B (zh) | 2012-06-25 | 2013-06-19 | 视频记录设备、信息处理***、信息处理方法和记录介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012141596A JP6046393B2 (ja) | 2012-06-25 | 2012-06-25 | 情報処理装置、情報処理システム、情報処理方法および記録媒体 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2014006680A true JP2014006680A (ja) | 2014-01-16 |
JP2014006680A5 JP2014006680A5 (ja) | 2015-07-30 |
JP6046393B2 JP6046393B2 (ja) | 2016-12-14 |
Family
ID=49878596
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012141596A Expired - Fee Related JP6046393B2 (ja) | 2012-06-25 | 2012-06-25 | 情報処理装置、情報処理システム、情報処理方法および記録媒体 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9131207B2 (ja) |
JP (1) | JP6046393B2 (ja) |
CN (1) | CN103514248B (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020046908A (ja) * | 2018-09-19 | 2020-03-26 | 日本電信電話株式会社 | 選定装置および選定方法 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105898204A (zh) * | 2014-12-25 | 2016-08-24 | 支录奎 | 视频结构化智能录像机 |
TWI656692B (zh) * | 2015-12-31 | 2019-04-11 | 鴻海精密工業股份有限公司 | 通訊裝置 |
CN106547908B (zh) * | 2016-11-25 | 2020-03-17 | 三星电子(中国)研发中心 | 一种信息推送方法和*** |
CN107894998B (zh) * | 2017-10-24 | 2019-04-26 | 迅雷计算机(深圳)有限公司 | 视频推荐方法及装置 |
CN107948585A (zh) * | 2017-11-13 | 2018-04-20 | 西安艾润物联网技术服务有限责任公司 | 录像标记方法、装置及计算机可读存储介质 |
CN109034844A (zh) * | 2018-07-25 | 2018-12-18 | 龙口盛福达食品有限公司 | 一种基于镜头样本检索的食品安全追溯***检索方法 |
KR102661596B1 (ko) | 2018-08-08 | 2024-04-29 | 삼성전자주식회사 | 이미지에 대한 인식 정보, 인식 정보와 관련된 유사 인식 정보, 및 계층 정보를 이용하여 외부 객체에 대한 인식 결과를 제공하는 전자 장치 및 그의 동작 방법 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001229180A (ja) * | 2000-02-17 | 2001-08-24 | Nippon Telegr & Teleph Corp <Ntt> | コンテンツ検索装置 |
JP2006115052A (ja) * | 2004-10-13 | 2006-04-27 | Sharp Corp | コンテンツ検索装置とその入力装置、コンテンツ検索システム、コンテンツ検索方法、プログラム及び記録媒体 |
JP2010011332A (ja) * | 2008-06-30 | 2010-01-14 | Toshiba Corp | テロップ収集装置およびテロップ収集方法 |
WO2011017558A1 (en) * | 2009-08-07 | 2011-02-10 | Google Inc. | User interface for presenting search results for multiple regions of a visual query |
JP2012048324A (ja) * | 2010-08-24 | 2012-03-08 | Canon Inc | 情報処理装置、その処理方法及びプログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8218873B2 (en) * | 2000-11-06 | 2012-07-10 | Nant Holdings Ip, Llc | Object information derived from object images |
CN101021857A (zh) * | 2006-10-20 | 2007-08-22 | 鲍东山 | 基于内容分析的视频搜索*** |
JP2008219342A (ja) | 2007-03-02 | 2008-09-18 | Sony Corp | 情報処理装置および方法、並びにプログラム |
US7983915B2 (en) * | 2007-04-30 | 2011-07-19 | Sonic Foundry, Inc. | Audio content search engine |
-
2012
- 2012-06-25 JP JP2012141596A patent/JP6046393B2/ja not_active Expired - Fee Related
-
2013
- 2013-06-18 US US13/920,397 patent/US9131207B2/en active Active
- 2013-06-19 CN CN201310242489.9A patent/CN103514248B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001229180A (ja) * | 2000-02-17 | 2001-08-24 | Nippon Telegr & Teleph Corp <Ntt> | コンテンツ検索装置 |
JP2006115052A (ja) * | 2004-10-13 | 2006-04-27 | Sharp Corp | コンテンツ検索装置とその入力装置、コンテンツ検索システム、コンテンツ検索方法、プログラム及び記録媒体 |
JP2010011332A (ja) * | 2008-06-30 | 2010-01-14 | Toshiba Corp | テロップ収集装置およびテロップ収集方法 |
WO2011017558A1 (en) * | 2009-08-07 | 2011-02-10 | Google Inc. | User interface for presenting search results for multiple regions of a visual query |
JP2012048324A (ja) * | 2010-08-24 | 2012-03-08 | Canon Inc | 情報処理装置、その処理方法及びプログラム |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020046908A (ja) * | 2018-09-19 | 2020-03-26 | 日本電信電話株式会社 | 選定装置および選定方法 |
WO2020059432A1 (ja) * | 2018-09-19 | 2020-03-26 | 日本電信電話株式会社 | 選定装置および選定方法 |
JP7247497B2 (ja) | 2018-09-19 | 2023-03-29 | 日本電信電話株式会社 | 選定装置および選定方法 |
Also Published As
Publication number | Publication date |
---|---|
US20140010518A1 (en) | 2014-01-09 |
CN103514248A (zh) | 2014-01-15 |
US9131207B2 (en) | 2015-09-08 |
CN103514248B (zh) | 2018-08-14 |
JP6046393B2 (ja) | 2016-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6046393B2 (ja) | 情報処理装置、情報処理システム、情報処理方法および記録媒体 | |
US8750681B2 (en) | Electronic apparatus, content recommendation method, and program therefor | |
Truong et al. | Video abstraction: A systematic review and classification | |
US10410679B2 (en) | Producing video bits for space time video summary | |
US8107689B2 (en) | Apparatus, method and computer program for processing information | |
US8879890B2 (en) | Method for media reliving playback | |
JP5998807B2 (ja) | 情報処理システム、情報処理装置、情報処理方法及び情報処理プログラム | |
US20160099023A1 (en) | Automatic generation of compilation videos | |
US9082452B2 (en) | Method for media reliving on demand | |
JP2008533580A (ja) | オーディオ及び/又はビジュアルデータの要約 | |
US8255395B2 (en) | Multimedia data recording method and apparatus for automatically generating/updating metadata | |
CN111279709B (zh) | 提供视频推荐 | |
JP2006236218A (ja) | 電子アルバム表示システム、電子アルバム表示方法、及び電子アルバム表示プログラム | |
US8634708B2 (en) | Method for creating a new summary of an audiovisual document that already includes a summary and reports and a receiver that can implement said method | |
WO2017166483A1 (zh) | 一种动态图片处理方法及*** | |
WO2019129075A1 (zh) | 视频检索的方法和装置以及计算机可读存储介质 | |
WO2021050728A1 (en) | Method and system for pairing visual content with audio content | |
KR20150004681A (ko) | 미디어 정보 제공 서버, 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 장치, 방법 및 컴퓨터 판독 가능한 기록 매체 | |
JP2017021672A (ja) | 検索装置 | |
US20120059855A1 (en) | Method and computer program product for enabling organization of media objects | |
US20140189769A1 (en) | Information management device, server, and control method | |
JP2009103945A (ja) | 映像コンテンツ処理装置およびプログラム | |
JP2016177827A (ja) | 情報処理システム、情報処理装置、情報処理方法及び情報処理プログラム | |
WO2018042959A1 (ja) | 動画データ解析装置及び動画データ解析方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150610 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150610 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160408 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20160506 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160510 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160704 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20160729 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161018 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161117 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6046393 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |