JP4251634B2 - マルチメディアデータ再生装置およびマルチメディアデータ再生方法 - Google Patents
マルチメディアデータ再生装置およびマルチメディアデータ再生方法 Download PDFInfo
- Publication number
- JP4251634B2 JP4251634B2 JP2004192393A JP2004192393A JP4251634B2 JP 4251634 B2 JP4251634 B2 JP 4251634B2 JP 2004192393 A JP2004192393 A JP 2004192393A JP 2004192393 A JP2004192393 A JP 2004192393A JP 4251634 B2 JP4251634 B2 JP 4251634B2
- Authority
- JP
- Japan
- Prior art keywords
- multimedia data
- information
- answer
- reproduction
- playback
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/74—Browsing; Visualisation therefor
- G06F16/745—Browsing; Visualisation therefor the internal structure of a single video sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7844—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
しかし、従来の情報抽出技術はテキスト文書を対象としており、映像などのマルチメディアデータについては考慮されていなかった。
この発明は、このような問題を考慮したものであり、マルチメディアデータの検索結果と、該マルチメディアデータの現在の再生位置とを利用して、ユーザの質問から、ユーザが要求していると考えられる箇所(例えば、もう一度確認したい箇所)を特定し、マルチメディア中の当該特定した箇所へジャンプして再生を行うことができるマルチメディアデータ再生装置を提供することを目的とする。
(第1の実施形態)
以下、図面を参照しながら、本発明の第1の実施形態について説明する。
図1は、この発明の利用形態の一例を示した図である。この実施形態は、本発明のマルチメディアデータ再生装置をe−learningによる教育システムに適用した例である。
なお、ユーザ100が質問をした時点のビデオデータ104の再生位置をクライアント端末またはサーバ102内のメモリ等に記憶させておき、ユーザが確認したかった部分の再生終了後に、前記記憶させていた教材の位置から再びビデオデータ104を含む教材をビデオデータ104が配信するようにしてもよい。こうすればユーザ100は、質問を行う直前に視聴していた教材の視聴中断位置から再び教材を視聴再開することができる。
なお、プログラムを実行するためのプロセッサ,ROM,RAM等の本発明が実施されるコンピュータの構成については本発明の要旨でないので図からは省略しているが、汎用のコンピュータを用いれば良い。
再生位置記憶部202は、要求受理部201でユーザの要求である質問文テキストを受理した時点での、ビデオデータ104の再生位置を記憶する。
要求解析部203は、要求受理部201で受理したユーザの要求である質問文テキストを解析し、記憶装置110に格納されている解析ルール251に格納されているルールに従って、質問文の要求している情報のタイプを推定する。例えば、質問文テキストが「○○がXXしたのはいつだった?」という質問文の場合には、「いつだった?」という表現から求められている情報は、日付あるいは時間の情報であると推定する。
次に、図2の要求解析部203および再生位置比較部205の構成について、図3の機能ブロックを用いてより詳細に説明する。
図3は、要求解析部203および再生位置比較部205の構成について、より詳細な構成例を示した機能ブロック図である。
図3において、要求解析部203は、要求タイプ推定部203aおよび情報タイプ推定部203bより構成されている。また、再生位置比較部205は、再生位置比較部205aおよび優先順位計算部205bより構成されている。また、解析ルール251は、要求タイプ解析ルール251aおよび情報タイプ解析ルール251bより構成されている。
次に、再生位置比較部205aは、検索部204で得られた各回答候補に対応するビデオデータ104の再生位置と、再生位置記憶部202で記憶した再生位置との近さの比較を行う。
図4は、ビデオデータ104の発話内容の例を示した図である。
図5は、図4のビデオデータ104の発話部分をテキスト化した発話テキストデータを示した図である。
図6は、図5の発話テキストデータの解析した解析情報の一例を示した図である。
図4のビデオデータ104は、オーブンレンジを使ってスパゲティを茹でる方法について解説している。ビデオデータ104には、解説者が実際にオーブンレンジを使って、スパゲティを茹でる手順を実演している様子が記録されている。符号401〜404は、ビデオデータ104の中で解説者が発話している内容の一部を示している。
符号606の「8」という数値は、「100g」という単語のバイト数を示している。
また、符号607の「86,100,PT19S」という記述は、「100g」という単語の出現位置,この単語が「重さ」という情報タイプを持つことの確信度、およびこの単語がビデオデータ104中で出現する位置を表している。
符号607中の「PT19S」は、図4のビデオデータ104中で「100g」という単語が出現する位置(時間)を示している(例えば、ビデオデータ104の頭から19秒)。
図7は、マルチメディアデータ検索閲覧プログラム200によるマルチメディアデータの表示例を示した図である。なお、この実施形態では、マルチメディアデータとしてビデオデータ104を表示する場合の例を示している。
メタ情報表示部703には、ビデオデータ表示部702で再生されているビデオデータ104に対応するメタ情報を表示する。
図4のビデオデータ104の発話部分符号401〜404のテキストおよび各発話の時間情報が、ビデオデータ104に対応するメタ情報として与えられていた場合、ビデオデータ104の再生時間T1−T2間は、メタ情報表示部703には「スパゲティのゆで方」(図4の符号401)が表示され、T2−T3間は「水500cc、塩小さじ1/2杯を耐熱容器に入れます」(図4の符号402)が表示される。以降、メタ情報内の時間情報に従い、メタ情報表示部703のテキストが切り替わる。
ボタン706は、ビデオデータ表示部702のビデオデータ104の再生開始および一時停止の機能が割当てられている。
ボタン705は、ビデオデータ表示部702で再生されているビデオデータ104を、次のメタ情報の開始時間までジャンプさせる機能が割当てられている。例えば、図4のビデオデータ104の、T2−T3間を再生中にボタン705が押されると、直後のメタ情報の区間であるT3−T4間の先頭である再生時間T3の位置から再生を始める。
図8は、マルチメディアデータ検索閲覧プログラム200によるマルチメディアデータの他の表示例を示した図である。なお、この実施形態では、マルチメディアデータとして音声付のビデオデータを表示する場合の例を示している。
ユーザ要求入力部701に入力されたテキストデータが要求受理部201に渡されると、要求解析部203,検索部204の処理を経て、一つまたは複数の回答候補が得られる。
(第2の実施形態)
以下、図面を参照しながら、この発明の第2の実施形態について説明する。第2の実施形態では、マルチメディア再生時に解析情報106を生成することが特徴となっている。この発明の第2の実施形態は、第1の実施形態を変形したものである。このため第1の実施形態で説明したのと同じものについては同一番号を付し説明は省略する。
(1)再生中の音声付のビデオデータ104に含まれる発話部分を音声認識し、図5に示すような発話テキストデータ501を生成する。ただし、図5の例に加え、ここでは各発話テキストに、ビデオデータ104の中でその発話が行われる位置情報(例えば、再生時間情報)が対応付けられている。
(2)記憶装置110に格納されている意味解析ルール251cを用いて、上記発話テキストデータ501を解析し、図6の符号601に示すような解析した情報を生成し、解析情報106へ追加していく。
このコンピュータは、プログラムを実行する中央演算装置1001と、プログラムやプログラムが処理中のデータを格納するメモリ1002と、プログラム、検索対象のデータ及びOS(Operating System)を格納しておく磁気ディスクドライブ1003と、光ディスクにプログラムやデータを読み書きする光ディスクドライブ1004とを備える。
Claims (3)
- 複数メディアからなるマルチメディアデータの再生制御を行う再生制御手段と、
前記再生制御手段によって再生させている前記マルチメディアデータの内容に関するユーザからの確認質問文を受理する質問受理手段と、
この質問受理手段がユーザから確認質問文を受理した時点の、前記再生制御手段によって再生させている前記マルチメディアデータの再生位置を記憶する再生位置記憶手段と、
前記質問受理手段で受理した確認質問文をテキスト解析することによって、前記確認質問文の要求している情報のタイプを推定する解析手段と、
前記確認質問文の要求している情報のタイプを用いて、前記確認質問文に対する回答候補を前記マルチメディアデータから抽出した単語と、当該単語の情報タイプと、当該単語の再生位置とを含む情報から検索する検索手段と、
前記検索手段により検索された前記回答候補の含まれる前記マルチメディアデータ中の位置情報と、前記再生位置記憶手段により記憶された前記再生位置との差の逆数であるスコアを比較することによって、前記回答候補のスコアが高いものを回答として選択する位置比較手段と、
前記再生制御手段に前記マルチメディアデータの再生位置を前記回答に対応する前記マルチメディアデータ中の位置情報に変更させる再生位置変更手段とを備えたことを特徴とするマルチメディアデータ再生装置。 - 更に、再生された前記マルチメディアデータおよび前記回答を表示する表示手段とを備えたことを特徴とする請求項1記載のマルチメディアデータ再生装置。
- 再生制御手段により複数メディアからなるマルチメディアデータの再生制御を行う再生制御ステップと、
前記再生制御手段によって再生させている前記マルチメディアデータの内容に関するユーザからの確認質問文を受理する質問受理ステップと、
この質問受理ステップがユーザから確認質問文を受理した時点の、前記再生制御手段によって再生させている前記マルチメディアデータの再生位置を記憶する再生位置記憶ステップと、
前記質問受理手段で受理した確認質問文をテキスト解析することによって、前記確認質問文の要求している情報のタイプを推定する解析ステップと、
前記確認質問文の要求している情報のタイプを用いて、前記確認質問文に対する回答候補を前記マルチメディアデータから抽出した単語と、当該単語の情報タイプと、当該単語の再生位置とを含む情報から検索する検索ステップと、
前記検索ステップにより検索された前記回答候補の含まれる前記マルチメディアデータ中の位置情報と、前記再生位置記憶ステップにより記憶された前記再生位置との差の逆数であるスコアを比較することによって、前記回答候補のスコアが高いものを回答として選択する位置比較ステップと、
前記再生制御手段に前記マルチメディアデータの再生位置を前記回答に対応する前記マルチメディアデータ中の位置情報に変更させる再生位置変更ステップとを備えたことを特徴とするマルチメディアデータ再生方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004192393A JP4251634B2 (ja) | 2004-06-30 | 2004-06-30 | マルチメディアデータ再生装置およびマルチメディアデータ再生方法 |
US11/165,285 US20060004871A1 (en) | 2004-06-30 | 2005-06-24 | Multimedia data reproducing apparatus and multimedia data reproducing method and computer-readable medium therefor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004192393A JP4251634B2 (ja) | 2004-06-30 | 2004-06-30 | マルチメディアデータ再生装置およびマルチメディアデータ再生方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006019778A JP2006019778A (ja) | 2006-01-19 |
JP4251634B2 true JP4251634B2 (ja) | 2009-04-08 |
Family
ID=35515321
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004192393A Expired - Fee Related JP4251634B2 (ja) | 2004-06-30 | 2004-06-30 | マルチメディアデータ再生装置およびマルチメディアデータ再生方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20060004871A1 (ja) |
JP (1) | JP4251634B2 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070276852A1 (en) * | 2006-05-25 | 2007-11-29 | Microsoft Corporation | Downloading portions of media files |
WO2008032448A1 (en) * | 2006-09-13 | 2008-03-20 | Nikon Corporation | Headgear type display |
US10248931B2 (en) * | 2008-06-23 | 2019-04-02 | At&T Intellectual Property I, L.P. | Collaborative annotation of multimedia content |
JP4735726B2 (ja) * | 2009-02-18 | 2011-07-27 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
KR101677622B1 (ko) * | 2010-03-12 | 2016-11-18 | 엘지전자 주식회사 | 영상 표시 방법 및 그 장치 |
CN107105351B (zh) * | 2011-01-12 | 2019-10-11 | 夏普株式会社 | 再生装置 |
US10206014B2 (en) | 2014-06-20 | 2019-02-12 | Google Llc | Clarifying audible verbal information in video content |
US9946769B2 (en) | 2014-06-20 | 2018-04-17 | Google Llc | Displaying information related to spoken dialogue in content playing on a device |
US9838759B2 (en) | 2014-06-20 | 2017-12-05 | Google Inc. | Displaying information related to content playing on a device |
US9805125B2 (en) | 2014-06-20 | 2017-10-31 | Google Inc. | Displaying a summary of media content items |
CN104994416A (zh) * | 2015-07-10 | 2015-10-21 | 苏州朗捷通智能科技有限公司 | 一种多媒体智能控制*** |
US10349141B2 (en) | 2015-11-19 | 2019-07-09 | Google Llc | Reminders of media content referenced in other media content |
US10034053B1 (en) | 2016-01-25 | 2018-07-24 | Google Llc | Polls for media program moments |
US10733984B2 (en) * | 2018-05-07 | 2020-08-04 | Google Llc | Multi-modal interface in a voice-activated network |
JP2020003889A (ja) * | 2018-06-25 | 2020-01-09 | 日本電信電話株式会社 | 情報検索装置、方法、及びプログラム |
CN111240635A (zh) * | 2020-01-08 | 2020-06-05 | 北京松果电子有限公司 | 信息处理方法、装置、终端、服务器及存储介质 |
EP3903501A2 (en) | 2020-03-13 | 2021-11-03 | Google LLC | Media content casting in network-connected television devices |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11146325A (ja) * | 1997-11-10 | 1999-05-28 | Hitachi Ltd | 映像検索方法および装置並びに映像情報作成方法およびその処理プログラムを格納した記憶媒体 |
US6636238B1 (en) * | 1999-04-20 | 2003-10-21 | International Business Machines Corporation | System and method for linking an audio stream with accompanying text material |
US6785671B1 (en) * | 1999-12-08 | 2004-08-31 | Amazon.Com, Inc. | System and method for locating web-based product offerings |
US7624337B2 (en) * | 2000-07-24 | 2009-11-24 | Vmark, Inc. | System and method for indexing, searching, identifying, and editing portions of electronic multimedia files |
WO2003005235A1 (en) * | 2001-07-04 | 2003-01-16 | Cogisum Intermedia Ag | Category based, extensible and interactive system for document retrieval |
JP3904869B2 (ja) * | 2001-09-26 | 2007-04-11 | 株式会社東芝 | 学習支援装置および学習支援方法 |
JP2003259316A (ja) * | 2002-02-28 | 2003-09-12 | Toshiba Corp | ストリーム処理システムおよびストリーム処理プログラム |
US20050071328A1 (en) * | 2003-09-30 | 2005-03-31 | Lawrence Stephen R. | Personalization of web search |
-
2004
- 2004-06-30 JP JP2004192393A patent/JP4251634B2/ja not_active Expired - Fee Related
-
2005
- 2005-06-24 US US11/165,285 patent/US20060004871A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20060004871A1 (en) | 2006-01-05 |
JP2006019778A (ja) | 2006-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4251634B2 (ja) | マルチメディアデータ再生装置およびマルチメディアデータ再生方法 | |
AU2018260958B2 (en) | Intelligent automated assistant in a media environment | |
US8168876B2 (en) | Method of displaying music information in multimedia playback and related electronic device | |
JP5135024B2 (ja) | コンテンツのシーン出現を通知する装置、方法およびプログラム | |
JP4388128B1 (ja) | 情報提供サーバ、情報提供方法及び情報提供システム | |
US9544544B2 (en) | Method and system for sharing information between users in media reproducing system | |
JP2006309751A (ja) | 情報処理システムおよび方法、並びにプログラム | |
US9558784B1 (en) | Intelligent video navigation techniques | |
EP3531707A1 (en) | Audio content playback control | |
US9564177B1 (en) | Intelligent video navigation techniques | |
US20230280966A1 (en) | Audio segment recommendation | |
US20080005100A1 (en) | Multimedia system and multimedia search engine relating thereto | |
US8781301B2 (en) | Information processing apparatus, scene search method, and program | |
JP2007511858A (ja) | 拡張検索機能を提供するメタ情報及びサブタイトル情報が記録された記録媒体及びその再生装置 | |
WO2021126867A1 (en) | Providing enhanced content with identified complex content segments | |
US9094650B2 (en) | Chapter creating device, chapter creating method, and computer program product therefor | |
JP4865469B2 (ja) | コンテンツ制作サーバ、コンテンツ提示装置、コンテンツ制作プログラム、及びコンテンツ提示プログラム | |
JP5268327B2 (ja) | 放送受信端末 | |
KR100879667B1 (ko) | 멀티미디어 처리 장치의 어학 학습 방법 | |
JP2013198110A (ja) | コンテンツ再生装置、コンテンツ再生方法及びコンテンツ再生プログラム | |
JP5608785B2 (ja) | 放送受信端末 | |
KR101592944B1 (ko) | 자막 단어 검색 장치 및 방법 | |
JP2006018336A (ja) | メタデータ生成装置および方法、メタデータ生成プログラム | |
JP2016015621A (ja) | コンテンツ再生装置、コンテンツ再生のためのプログラム、コンテンツ再生方法、およびコンテンツ再生システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071121 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081014 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081215 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090116 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090119 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120130 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |