JP2007503747A - リアルタイムのメディア辞書 - Google Patents

リアルタイムのメディア辞書 Download PDF

Info

Publication number
JP2007503747A
JP2007503747A JP2006524506A JP2006524506A JP2007503747A JP 2007503747 A JP2007503747 A JP 2007503747A JP 2006524506 A JP2006524506 A JP 2006524506A JP 2006524506 A JP2006524506 A JP 2006524506A JP 2007503747 A JP2007503747 A JP 2007503747A
Authority
JP
Japan
Prior art keywords
multimedia stream
terms
dictionary database
viewing
definition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006524506A
Other languages
English (en)
Inventor
ぺー ペー フレイセン，アレクサンデル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of JP2007503747A publication Critical patent/JP2007503747A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4331—Caching operations, e.g. of an advertisement for later insertion during playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8586—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4438—Window management, e.g. event handling following interaction with the user interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4856—End-user interface for client configuration for language selection, e.g. for the menu or subtitles

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Acoustics & Sound (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Machine Translation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Medicines Containing Material From Animals Or Micro-Organisms (AREA)

Abstract

マルチメディア・ストリームを視聴する方法が備えられる。方法は、マルチメディア・ストリームにおいて辞書データベースを追加する工程と、マルチメディア・ストリームの視聴者がマルチメディア・ストリームの視聴中に辞書データベースをアクセスすることを可能にする工程とを備える。マルチメディア・ストリームを視聴する方法も備え、該方法は、マルチメディア・ストリームの視聴中に辞書データベースをアクセスする旨の願望を示す工程と、テキスト・ベースの字幕でない用語をマルチメディア・ストリームにおいて認識する工程と、マルチメディア・ストリームにおいて選択される1つ又は複数の認識される用語の定義と、訳語と、同義語とのうちの少なくとも１つを表示する工程とを備える。

Description

本発明は、一般的に、マルチメディア・ストリーム（MMS）に関し、特に、マルチメディア・ストリームとともに用いるリアルタイムのメディア辞書に関する。
（本明細書及び特許請求の範囲ではマルチメディア・ストリームとして表す）マルチメディア・コンテンツを視聴している間に人々はなじみのない用語に遭遇する。マルチメディア・ストリームは通常、オーディオ部分及びビデオ部分を備え、字幕及びアプリケーション（OCAP、MHP）を備え得る。マルチメディア・ストリームは、視聴する対象の、映画、テレビ番組、教育マテリアル、作業マテリアル等などの何れかのビデオ・コンテンツであり得る。
マルチメディア・コンテンツの視聴中に難解な用語に遭遇する場合、視聴者は、辞書や、百科事典の本を見に行って用語の意味や同義語を見つけることができ、翻訳用辞書を見に行って別の言語でその用語を調べることもできる。マルチメディア・ストリームが視聴される機器が（コンピュータなどの）辞書をサポートする場合、視聴者は、マルチメディア・ストリームの再生を停止し、辞書アプリケーションを開き、（スペルが分かっている場合）自分が分からない用語をタイプ入力しなければならない。
米国特許第5,543,851号明細書では、マルチメディア・ストリームの再生とともに表示されるテキスト・ベースの字幕中の用語を調べることができる、その上に辞書を記憶させたメモリを備えることが提案されている。しかし、視聴者が分からない用語は何れも、メモリ内に備えていなければならず、よって、特定の専門分野において用いられる特殊用語すなわち専門用語は、メモリ内に記憶されていない可能性が高い。更に、米国特許第5,543,851号明細書のシステムは、テキスト・ベースの字幕の一部として表示される用語にのみ有用である。よって、字幕が用いられない場合や、画像ベースの字幕が用いられる場合、視聴者は、上記の用語を手作業によって調べることに頼らなければならない。
したがって、本発明は、従来技術の欠点を解決するマルチメディア・ストリームを視聴する方法及び装置を備えることを目的とする。
よって、マルチメディア・ストリームを視聴する方法を備える。該方法は、マルチメディア・ストリーム内に辞書データベースを加える工程と、マルチメディア・ストリームの視聴中にマルチメディア・ストリームの視聴者が辞書データベースをアクセスすることを可能にする工程とを備える。
辞書データベースは、マルチメディア・システムにおいて用いる1つ又は複数の用語の定義と、訳語と、同義語とのうちの少なくとも１つを備え得る。
可能にする工程は、辞書アクセスを示す工程を備え得る。示す工程は、辞書データベースへのアクセスを開始することに特化したボタンを押す工程を備え得る。この方法は更に、マルチメディア・ストリームにおいて選択される1つ又は複数の用語の定義と、訳語と、同義語とのうちの少なくとも１つを表示する工程を更に備え得る。選択される用語は、マルチメディア・ストリーム内のデータと、マルチメディア・ストリーム内の表示される字幕と、マルチメディア・ストリーム内の再生されるオーディオとのうちの少なくとも１つに基づいて選び得る。選択される用語は、示す工程前に発話又は表示された所定数の用語に基づいて選び得る。選択される用語は、示す工程前の所定の期間に基づいても選び得る。方法は更に、選択される用語のうちの少なくとも１つについての定義と、訳語と、同義語とのうちの１つを選ぶ工程と、選ばれた定義、訳語又は同義語を表示する工程とを更に備え得る。
方法は更に、辞書データベースをアクセスしている間にマルチメディア・ストリームの視聴を中断する工程を備え得る。
マルチメディア・ストリームを視聴する方法も備え、この方法は、マルチメディア・ストリームの視聴中に辞書データベースをアクセスしたい旨の願望を示す工程と、テキスト・ベースの字幕でない用語をマルチメディア・ストリームにおいて認識する工程と、マルチメディア・ストリームにおいて選択される1つ又は複数の認識される用語の定義と、訳語と、同義語とのうちの少なくとも１つを表示する工程とを更に備える。
辞書データベースは、マルチメディア・ストリーム内に備え得るものであり、マルチメディア・ストリームにおいて用いる1つ又は複数の用語の定義と、訳語と、同義語とのうちの少なくとも１つを備え得る。
認識する工程は、画像認識を用いて画像ベースの字幕の用語を認識する工程を備え得る。認識する工程は、音声認識を用いてオーディオ用語を認識する工程も備え得る。
選択される用語は、示す工程の前に発話又は表示された所定数の用語に基づいて選び得る。選択される用語は、示す工程の前の所定の期間に基づいても選び得る。
方法は、選択される用語のうちの少なくとも１つについての定義と、訳語と、同義語とのうちの１つを選ぶ工程と、選ばれた定義、訳語又は同義語を表示する工程とを備え得る。
マルチメディア・ストリームを視聴する装置をなお備える。装置は、マルチメディア・ストリームを入力する入力手段と、その中に辞書データベースを有するマルチメディア・ストリームと、マルチメディア・ストリームのビデオ部分を視聴するディスプレイと、マルチメディア・ストリームのオーディオ部分を再生するスピーカと、マルチメディア・ストリームの視聴中に辞書データベースをアクセスする旨の願望を示す手段と、示す工程によって辞書データベースをアクセスし、マルチメディア・ストリームにおいて選択される1つ又は複数の認識される用語の定義と、訳語と、同義語とのうちの少なくとも１つを表示するコントローラとを備える。
マルチメディア・ストリームを視聴する装置をなお備え、この装置は、マルチメディア・ストリームを入力する入力手段と、マルチメディア・ストリームのビデオ部分を視聴するディスプレイと、マルチメディア・ストリームのオーディオ部分を再生するスピーカと、マルチメディア・ストリームの視聴中に辞書データベースをアクセスする旨の願望を示す手段と、テキスト・ベースの字幕でない用語をマルチメディア・ストリームにおいて認識する認識手段と、示す工程によって辞書データベースをアクセスし、マルチメディア・ストリームにおいて選択される1つ又は複数の認識される用語の定義と、訳語と、同義語とのうちの少なくとも１つを表示するコントローラとを備える。
本発明の方法を行うコンピュータ・プログラム及び、その中にコンピュータ・プログラムを記憶するプログラム記憶装置も備える。コンピュータ・プログラムは、コンピュータ判読可能媒体において実施することができ、マルチメディア・ストリーム内に備えることもできる。
本発明の装置及び方法のこれらや他の特徴、局面及び効果は、以下の記載、本特許請求の範囲、及び添付図面を参照しながらより良く分かるものである。
次に図１を参照すれば、マルチメディア・ストリームを視聴する装置の実施例の略図を示す。この装置は参照数字100によって概括的に表す。装置100は、単に例として、動作するようそれに接続されるビデオ・ディスプレイ102及びスピーカ104を有するセットトップ・ボックスとして示す。装置は、携帯電話機、携帯情報端末、ウェブタブレット、ラップトップ・コンピュータ又はデスクトップ・コンピュータや、テレビ・モニタなどの、マルチメディア・ストリームを表示するか表示させることができる何れかの装置であり得る。ビデオ・ディスプレイ102及びスピーカ104は装置100とは別個に示すが、一方又は両方をそれと一体化させたものであってもよい。
装置100は、マルチメディア・ストリームを入力する入力手段106を有する。マルチメディア・ストリームは、何れかのビデオ・コンテンツ又はオーディオ・コンテンツであり得るものであり、DV上、DVD上、CD上、D-VCR上などの記憶媒体上などの公知の何れかの手段によって入力することができ、放送、衛星、ケーブル、携帯等などによって装置100に直接伝送することもできる。マルチメディア・ストリームは、伝送媒体によって入力されても、記憶媒体によって入力されても、PVR上に通常存在するハード・ディスクなどの内部記憶装置（図示せず）にある装置100に記憶し得る。マルチメディア・ストリームはその場合、記憶装置からアクセスされる。よって、入力手段は、記憶媒体を読み取り、再生する手段であり得るものであり、伝送データ・ストリームを受信し、読み取るものでもあり得る。装置は更に、マルチメディア・ストリームのオーディオ部分における用語を認識する音声認識システム108及び、マルチメディア・ストリームにおける画像ベース字幕内の用語を認識する画像認識システム110も有し得る。装置100の構成部分も、ディスプレイ102及びスピーカ104も好ましくは、（あるいは「コントローラ」として表す）プロセッサ112の制御下にある。プロセッサ112は、上記装置100の構成部分の制御に特化し得るものであり、装置100の他の機能を制御し得るものでもある。例えば、装置100がセットトップ・ボックスである場合、プロセッサは、テレビ放送チャンネルやケーブル・チャンネルを受信し、表示するチューナを動作させるなどの、セットトップ・ボックスの他の標準機能を制御し得るものでもある。
装置100は、マルチメディア・ストリームの視聴中に辞書データベースをアクセスする旨の願望を示す、示す手段も有する。以下に記載するように、マルチメディア・ストリームは好ましくは、その中に辞書データベースを備える。辞書データベースは、マルチメディア・ストリームにおいて用いる用語のうちの少なくとも一部についての定義、訳語及び/又は同義語などの、マルチメディア・ストリームにおいて用いる用語に相当する情報を有し得る。示す手段はリモコン装置114であり得る。リモコン装置114は、装置100と結線し得るものであり、RFの赤外線などの無線媒体を介して装置100と無線で通信し得るものでもある。無線の構成では、装置は、動作するようプロセッサ112に接続されて、公知のリモコン装置114と通信するアンテナ116（受信器）を備える。リモコン114は好ましくは、以下に記載するように装置100の機能に特化しない一方、装置の他の機能を制御するのにも用いる。装置100がセットトップ・ボックスである場合、リモコン114は、チャンネルを切り換え、音量を制御し、他の標準機能を制御するのにも用い得る。リモコン114は、そうした機能についての複数のボタン118と、機能のうちでもとりわけ、ビデオ・ディスプレイ102上に表示されるユーザ・インタフェース上の表示リストを横断する指向性ボタン・パッド120とを有する。好ましくは、指向性ボタン・パッド120は、表示リストにおいて強調表示された機能を入力する「エンター」ボタン122も有する。
装置100の動作を次に、図２A、図２B、図３A、図３B及び図３Cを更に参照しながら説明することとする。上記のように、マルチメディア・ストリームは好ましくは、辞書データベースを備える。辞書データベースは、マルチメディア・ストリームにおいて用いる1つ又は複数の用語についての定義、訳語、及び/又は同義語などの、マルチメディア・ストリーム内の用語に相当する更なる情報を備える。マルチメディア・ストリーム内の用語のうちの1つ又は複数の、画像又はビデオの例などの他のタイプの情報も辞書データベースに備え得る。このようにして、特定のマルチメディア・ストリームの各々は、マルチメディア・ストリームにおける特定の難解な用語の辞書データベースを備え得る。よって、一般用語のエントリと、各種分野についての技術用語のエントリや医学用語のエントリを有するマスタ辞書データベースを装置に記憶させなくてよい。完全な辞書データベースは、少なくとも番組/イベントの開始時にマルチメディア・ストリームに備え得る。辞書データベースは更に、ストリームへの無作為のアクセスが必要である場合、繰り返し備え得る。しかし、別の手法は、常に更新される、ストリーム内の、所定数の興味ある用語（例えば、興味ある用語のうちの最後の8個）を備える非常に小容量の辞書データベースのみを有するというものである。辞書データベースをアクセスする旨の願望を視聴者が示すと、最後の所定数の用語が表示される。よって、音声/字幕の認識に対する必要性をなくし得る。
マルチメディア・ストリームを視聴している間、視聴者は、好ましくは、リモコン装置114上の辞書データベースをそうしてアクセスする旨の願望を示すことによって、辞書データベースをアクセスすることが可能である。好ましくは、視聴者は、リモコン上（、あるいは、装置100上）の専用ボタン124を押して、所望される辞書データベースへのアクセスを起動させる。専用ボタンは、辞書の記号、「ヘルプ」又は疑問符で表記し得る。専用ボタン124を押し下げるか、辞書データベースをアクセスする旨の願望を他の方法によって示すと、プロセッサ112はマルチメディア・ストリーム内の辞書データベースをアクセスし、マルチメディア・ストリーム内の、1つ又は複数の選択される用語の定義、訳語及び/又は同義語をディスプレイ102上に表示する。
選択される用語は、マルチメディア・ストリーム内のデータ、マルチメディア・ストリーム内の表示される字幕、及び/又はマルチメディア・ストリーム内の再生オーディオに基づいて選び得る。マルチメディア・ストリームがテキスト・ベースの字幕（例えば、クローズド・キャプション、テレテキスト・ベ―スの字幕）を有する場合、プロセッサは辞書データベース内の用語を直接、認識し、アクセスすることができる。ビデオの一部であるか、DVD字幕（ビットマップ）として放送される画像ベースの字幕の場合、画像認識システム110を用いてマルチメディア・ストリーム内の用語を認識する。字幕が何ら存在しない場合、音声認識システム108を用いて、マルチメディア・ストリームのオーディオ部分における用語を認識する。音声認識システムも画像認識システムも周知であり、その詳細説明を、簡潔にするために省略する。
用語がマルチメディア・ストリームから認識されると、用語を、示す工程前に発話又は表示された所定数の用語に基づいて選択し得る。例えば、プロセッサは、辞書データベースをアクセスして、専用ボタン124が押し下げられる前にスピーカ上で再生された（か、字幕上に表示された）最新の用語又は最新の10個の用語を表示し得る。あるいは、選択される用語は、示す工程の前の所定の期間に基づいて選び得る。例えば、プロセッサは、辞書データベースをアクセスし、専用ボタン124が押し下げられる前の最後の10秒間にスピーカ上で再生された用語を表示することができる。装置100は好ましくは、表示する対象の用語を選択するデフォールトの方法を選ぶよう視聴者によってプログラムし得る。本発明の方法は、（「I」、「the」や「an」などの）明白な用語をフィルタリングし得るものでもある。辞書データベースがマルチメディア・ストリーム内にある場合、辞書データベースはそうした明白な用語を排除し得るが、辞書データベースが装置100に記憶される場合にフィルタは重要であり得る。
図２A及び図2Bは、ディスプレイ102上で装置100によって表示されるグラフィカル・ユーザ・インタフェースの第１の例を示す。専用ボタン124を押し下げると、マルチメディア・ストリーム、例えば、映画を中断することができ、プロセッサ112は、音声認識システム108及び画像認識システム110を場合によっては用いてマルチメディア・ストリーム内の用語を認識し、第１のウインドウ200が、中断された映画上に表示される。あるいは、プロセッサ112は、ストリームの再生とともにマルチメディア・ストリームにおける用語を認識することができ、所定の期間の用語数によって、先行する用語数を場合によってはキャッシングすることができる。第１のウインドウは、例を前述した所定の基準によって選択される用語のリスト202を備える。各用語は更に、各用語についての情報のタイプに相当するカテゴリ204を有する。例えば、リスト202内の各用語は、定義の場合に「Ｄ」、訳語の場合に「T」、及び同義語の場合に「Ｓ」を有する。単語のビデオ例などの他の更なる情報が選択される場合、更なるウインドウ（図示せず）を用いてビデオ例を再生することができる。ビデオ例は、カテゴリに「V」として追加することができる。視聴者は更に、指向性ボタン・パッド120を用いて、更なる情報が必要な用語を強調表示する。視聴者は同様に、指向性ボタン・パッド120を用いて、強調表示された用語に相当するカテゴリのうちの１つを強調表示する。視聴者の選択が強調表示された後、視聴者は、エンター・ボタン122を押し下げて自らの選択を入力する。選択を入力すると、リスト202において強調表示された用語の定義、訳語又は同義語を有する別のウインドウ206が表示される。訳語が所望される場合、中間ウインドウ208を、ウインドウ206の前に表示して、図2Bに示す訳語の言語を選択することができる。あるいは、プロセッサを用いてデフォールト言語を設定し、更なるウインドウ208、310に対する必要性をなくすことができる。選択される用語についての更なる情報を表示した後、視聴者は更に、（例えば、リモコン装置114上のバック・ボタンを用いて）別の用語を選択し得るものであり、辞書データベース・アプリケーションを隠す/停止することを行い得るものでもある。マルチメディア・ストリームが中断される場合、辞書データベース・アプリケーションを隠すか停止すると、マルチメディア・ストリームは、視聴者が示すと、自動的に再起動し得るものであり、手作業で再起動し得るものでもある。
図3A乃至図3Cは、ディスプレイ102上で装置100によって表示されるグラフィカル・インタフェースの別の例を示す。専用ボタン124を押し下げると、マルチメディア・ストリームが中断され、第１のウインドウ300が中断された映画上に表示される。第1のウインドウは、例を前述した所定の基準によって選択される用語のリスト302を備える。しかし、第１のウインドウ300において選択される用語についての情報のタイプに相当するカテゴリ304は、第２のウインドウ306において表示される。例えば、リスト302における各用語は、第２のウインドウ306内に表示される「定義」、「訳語」及び「同義語」を有する。視聴者はまず、指向性ボタン・パッド120及びエンター・ボタン122を用いて自らが更なる情報を必要とする用語を強調表示する。第２のウインドウ306は更に表示され、視聴者は同様に、指向性ボタン・パッド120及びエンター・ボタン122をもう一度用いて強調表示された用語に相当するカテゴリ304の１つを強調表示する。選択を入力すると、図3Bに示すように、リスト302において強調表示された定義、訳語又は同義語を有する、（第１の例におけるウインドウ206と同様な）別のウインドウ308が表示される。訳語が所望される場合、（第１の例におけるウインドウ208と同様な）中間ウインドウ310がウインドウ306の前に表示されて、図3Cに示すように訳語の言語を選択する。
選択される用語と相当する特性がウインドウ上に表示されるものとして示すが、ディスプレイ102の最上部に表示されるバーに沿ったものか、画面の一方の側に沿ったドロップダウン・メニューにおけるものなどの別の方法で表示することができるということを当業者は分かるものである。更に、マルチメディア・コンテンツを、選択される用語が表示される間に中断し得るが、選択される用語が表示される間に再生し続け得るものでもある。更に、マルチメディア・ストリームが再生し続ける場合、選択される用語の表示による妨害なく視聴することができるようにその表示をフォーマッティングし直し得る。
本発明の方法は、コンピュータ・ソフトウェア・プログラムによって行うことが特に適しており、そうしたコンピュータ・ソフトウェア・プログラムは好ましくは、方法の個々の工程に相当するモジュールを備える。そうしたソフトウェアは当然、集積チップや周辺装置などのコンピュータ判読可能媒体において実施し得る。コンピュータ・ソフトウェア・プログラムは、（MHP又はOCAPのアプリケーションとして）マルチメディア・ストリームの一部であり得るものでもある。したがって、コンピュータ・ソフトウェア・プログラムは、ストリームにおけるオーディオ、ビデオ、コンテンツ及び辞書データベースの特定の知識を用い得る。
本発明の方法及び装置が従来技術の方法の欠点をなくすことを当業者は分かるものである。例えば、従来技術の方法に対して、視聴者は、マルチメディア・ストリームの視聴を停止し、別のアプリケーションを起動させる必要はない。視聴者は、自らが分からない用語を手作業でタイプ入力する必要もない。したがって、完全なキーボードに対する必要性が存在せず、（大半の消費者向電子製品に通常ある、）指向性キー及びエンター・キーを備えている単純なリモコンで十分である。更に、本発明の方法及び装置は、テキスト・ベースの字幕を有するマルチメディア・ストリームに限定されず、画像ベースの字幕を有するコンテンツや字幕を全く有しないコンテンツにも用いることができる。更に、辞書データベースは、マルチメディア・ストリームに備えることができるので、マルチメディア・ストリームのコンテンツに特に合わせることができる。このことは、独自の語彙を有する教育、ドキュメンタリやコースにおいて用いるマルチメディア・ストリームに特に有用である。方法及び装置は、そうしたタイプのコンテンツに特に有用であるが、映画などの通常のコンテンツに対する付加サービスとしての有用性も有する。
本発明の好ましい実施例と考えられるものを示し、説明したが、形式や詳細における種々の修正及び変更を、本発明の技術思想から逸脱することなく容易に行い得るということが当然分かるものである。したがって、本発明が、記載し、例証するまさにその形態に限定されず、本特許請求の範囲記載の範囲内に収まり得る修正全てを有するよう構成されることが意図されている。
マルチメディア・ストリームを視聴する装置の実施例を示す略図である。 更なる情報が所望される用語を選ぶ実施例による、図１の装置のディスプレイを示す図である。 更なる情報が所望される用語を選ぶ実施例による、図１の装置のディスプレイを示す別の図である。 更なる情報が所望される用語を選ぶ実施例による、図１の装置のディスプレイを示す図である。 更なる情報が所望される用語を選ぶ実施例による、図１の装置のディスプレイを示す別の図である。 更なる情報が所望される用語を選ぶ実施例による、図１の装置のディスプレイを示す更に別の図である。

Claims (24)

  1. マルチメディア・ストリームを視聴する方法であって、
    辞書データベースを前記マルチメディア・ストリームにおいて追加する工程と、
    前記マルチメディア・ストリームの視聴者が、前記マルチメディア・ストリームの視聴中に前記辞書データベースをアクセスすることを可能にする工程とを備えることを特徴とする方法。
  2. 請求項1記載の方法であって、
    前記辞書データベースは、前記マルチメディア・ストリームにおいて用いる1つ又は複数の用語の定義と、訳語と、同義語とのうちの少なくとも１つを備えることを特徴とする方法。
  3. 請求項1記載の方法であって、
    前記可能にする工程が、辞書のアクセスを示す工程を備えることを特徴とする方法。
  4. 請求項3記載の方法であって、
    前記示す工程が、前記辞書データベースへの前記アクセスを起動させることに特化したボタンを押す工程を備えることを特徴とする方法。
  5. 請求項3記載の方法であって、
    前記マルチメディア・ストリームにおける1つ又は複数の選択される用語の定義と、訳語と、同義語とのうちの少なくとも１つを表示する工程を更に備えることを特徴とする方法。
  6. 請求項5記載の方法であって、
    前記選択される用語が、前記マルチメディア・ストリームにおけるデータと、前記マルチメディア・ストリーム内の表示される字幕と、前記マルチメディア・ストリーム内の再生されるオーディオとのうちの少なくとも１つに基づいて選ばれることを特徴とする方法。
  7. 請求項5記載の方法であって、
    前記選択される用語が、前記示す工程の前に発話又は表示された所定数の用語に基づいて選ばれることを特徴とする方法。
  8. 請求項5記載の方法であって、
    前記選択される用語が、前記示す工程の前の所定の期間に基づいて選ばれることを特徴とする方法。
  9. 請求項5記載の方法であって、
    前記選択される用語のうちの少なくとも１つについての前記定義と、訳語と、同義語とのうちの１つを選ぶ工程と、該選ばれた定義、訳語又は同義語を表示する工程とを更に備えることを特徴とする方法。
  10. 請求項1記載の方法であって、
    前記辞書データベースをアクセスしている間に、前記マルチメディア・ストリームの前記視聴を中断する工程を更に備えることを特徴とする方法。
  11. マルチメディア・ストリームを視聴する方法であって、
    辞書データベースを前記マルチメディア・ストリームの視聴中にアクセスする旨の願望を示す工程と、
    テキスト・ベースの字幕でない用語を前記マルチメディア・ストリームにおいて認識する工程と、
    該マルチメディア・ストリームにおいて選択される1つ又は複数の認識される用語の定義と、訳語と、同義語とのうちの少なくとも１つを表示する工程とを備えることを特徴とする方法。
  12. 請求項11記載の方法であって、
    前記辞書データベースが、前記マルチメディア・ストリームに備えられ、該マルチメディア・ストリームにおいて用いる1つ又は複数の用語の定義と、訳語と、同義語とのうちの少なくとも１つを備えることを特徴とする方法。
  13. 請求項11記載の方法であって、
    前記認識する工程が、画像認識を用いて画像ベースの字幕の用語を認識する工程を備えることを特徴とする方法。
  14. 請求項11記載の方法であって、
    前記認識する工程が、音声認識を用いて画像ベースのオーディオの用語を認識する工程を備えることを特徴とする方法。
  15. 請求項1記載の方法であって、
    前記選択される用語が、前記示す工程前に発話又は表示された所定数の用語に基づいて選ばれることを特徴とする方法。
  16. 請求項11記載の方法であって、
    前記選択される用語が、前記示す工程前の所定の期間に基づいて選ばれることを特徴とする方法。
  17. 請求項11記載の方法であって、
    前記選択される用語のうちの少なくとも１つについての前記定義と、訳語と、同義語とのうちの1つを選ぶ工程と、該選ばれた定義、訳語又は同義語を表示する工程とを更に備えることを特徴とする方法。
  18. マルチメディア・ストリームを視聴する装置であって、
    前記マルチメディア・ストリームを入力する入力手段を備え、
    前記マルチメディア・ストリームが、該マルチメディア・ストリーム内に備える辞書データベースを有し、
    更に、前記マルチメディア・ストリームのビデオ部分を視聴するディスプレイと、
    前記マルチメディア・ストリームのオーディオ部分を再生するスピーカと、
    前記マルチメディア・ストリームの視聴中に辞書データベースをアクセスする旨の願望を示す手段と、
    前記示すことによって前記辞書データベースをアクセスし、前記マルチメディア・ストリームにおいて選択される1つ又は複数の認識される用語の定義と、訳語と、同義語とのうちの少なくとも１つを表示するコントローラとを備えることを特徴とする装置。
  19. 請求項18記載の装置であって、
    テキスト・ベースの字幕でない用語を前記マルチメディア・ストリームにおいて認識する認識手段を更に備えることを特徴とする装置。
  20. マルチメディア・ストリームを視聴する装置であって、
    前記マルチメディア・ストリームを入力する入力手段と、
    前記マルチメディア・ストリームのビデオ部分を視聴するディスプレイと、
    前記マルチメディア・ストリームのオーディオ部分を再生するスピーカと、
    前記マルチメディア・ストリームの視聴中に辞書データベースをアクセスする旨の願望を示す手段と、
    テキスト・ベースの字幕でない用語を前記マルチメディア・ストリームにおいて認識する認識手段と、
    前記示すことによって前記辞書データベースをアクセスし、前記マルチメディア・ストリームにおいて選択される1つ又は複数の認識される用語の定義と、訳語と、同義語とのうちの少なくとも１つを表示するコントローラとを備えることを特徴とする装置。
  21. 請求項20記載の装置であって、
    前記辞書データベースが前記マルチメディア・ストリームに備えられることを特徴とする装置。
  22. マルチメディア・ストリームを視聴するコンピュータ・プログラムであって、
    前記マルチメディア・ストリームにおいて辞書データベースを読み取るコンピュータ判読プログラム・コード手段と、
    前記マルチメディア・ストリームの視聴中に前記辞書データベースを前記マルチメディア・ストリームの視聴者がアクセスすることを可能にするコンピュータ判読可能プログラム・コード手段とを備えることを特徴とするコンピュータ・プログラム。
  23. 請求項22のコンピュータ・プログラムであって、
    該コンピュータ・プログラムが、コンピュータ判読可能媒体において実施されることを特徴とするコンピュータ・プログラム。
  24. 請求項22のコンピュータ・プログラムであって、
    該コンピュータ・プログラムが、前記マルチメディア・ストリームにおいて備えられることを特徴とするコンピュータ・プログラム。
JP2006524506A 2003-08-25 2004-08-23 リアルタイムのメディア辞書 Pending JP2007503747A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US49766203P 2003-08-25 2003-08-25
PCT/IB2004/051538 WO2005020579A1 (en) 2003-08-25 2004-08-23 Real-time media dictionary

Publications (1)

Publication Number Publication Date
JP2007503747A true JP2007503747A (ja) 2007-02-22

Family

ID=34216142

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006524506A Pending JP2007503747A (ja) 2003-08-25 2004-08-23 リアルタイムのメディア辞書

Country Status (9)

Country Link
US (1) US20070005338A1 (ja)
EP (1) EP1661403B1 (ja)
JP (1) JP2007503747A (ja)
KR (1) KR20060135598A (ja)
CN (1) CN1843036A (ja)
AT (1) ATE395788T1 (ja)
DE (1) DE602004013799D1 (ja)
ES (1) ES2307029T3 (ja)
WO (1) WO2005020579A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100808991B1 (ko) * 2006-05-04 2008-03-07 삼성전자주식회사 이동통신 단말기에서 전자사전을 이용한 단어검색 방법 및장치
KR101382748B1 (ko) * 2008-01-25 2014-04-08 엘지전자 주식회사 무선통신 시스템에서 랜덤 액세스 과정을 수행하는 방법
US20090240667A1 (en) * 2008-02-22 2009-09-24 Edward Baker System and method for acquisition and distribution of context-driven defintions
CN101609600A (zh) * 2008-06-19 2009-12-23 鸿富锦精密工业（深圳）有限公司 遥控器
US8510317B2 (en) * 2008-12-04 2013-08-13 At&T Intellectual Property I, L.P. Providing search results based on keyword detection in media content
US8332206B1 (en) 2011-08-31 2012-12-11 Google Inc. Dictionary and translation lookup
CN103838715A (zh) * 2012-11-26 2014-06-04 英业达科技有限公司 具翻译提示功能的输入***及其方法
CN103853704A (zh) * 2012-11-28 2014-06-11 上海能感物联网有限公司 计算机外语有声影像资料自动加注中外文字幕的方法
KR102354582B1 (ko) * 2014-08-12 2022-01-24 삼성전자 주식회사 전자 장치의 동작 방법 및 장치
US10002543B2 (en) * 2014-11-04 2018-06-19 Knotbird LLC System and methods for transforming language into interactive elements
WO2021091526A1 (en) * 2019-11-04 2021-05-14 Google Llc Using video clips as dictionary usage examples

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003030018A1 (en) * 2001-09-28 2003-04-10 Koninklijke Philips Electronics N.V. Multi-lingual transcription system

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5810599A (en) * 1994-01-26 1998-09-22 E-Systems, Inc. Interactive audio-visual foreign language skills maintenance system and method
JPH07231309A (ja) * 1994-02-17 1995-08-29 Hitachi Ltd 情報配信システム
US5758257A (en) * 1994-11-29 1998-05-26 Herz; Frederick System and method for scheduling broadcast of and access to video programs and other data using customer profiles
US5543851A (en) * 1995-03-13 1996-08-06 Chang; Wen F. Method and apparatus for translating closed caption data
US5790753A (en) * 1996-01-22 1998-08-04 Digital Equipment Corporation System for downloading computer software programs
US6141488A (en) * 1997-09-05 2000-10-31 United Video Properties, Inc. Program guide system for recording television programs
US20010032070A1 (en) * 2000-01-10 2001-10-18 Mordechai Teicher Apparatus and method for translating visual text
JP2003528498A (ja) * 2000-03-21 2003-09-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ マルチメディア出力装置の自動コンテンツ増強のためのシステム及び方法
CN1187982C (zh) * 2000-07-27 2005-02-02 皇家菲利浦电子有限公司 充实视频的屏幕文字触发字
DE10122597A1 (de) * 2001-05-10 2002-11-14 Philips Corp Intellectual Pty Anzeige weiterführender Informationen zu in einem Multimediagerät vorkommenden Informationselementen
DE60139699D1 (de) * 2001-12-07 2009-10-08 Accenture Global Services Gmbh Verfahren und Vorrichtung zur Anzeige von Definitionen von ausgewählte Begriffe in einem Fernsehprogram
US20040152055A1 (en) * 2003-01-30 2004-08-05 Gliessner Michael J.G. Video based language learning system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003030018A1 (en) * 2001-09-28 2003-04-10 Koninklijke Philips Electronics N.V. Multi-lingual transcription system

Also Published As

Publication number Publication date
DE602004013799D1 (de) 2008-06-26
WO2005020579A1 (en) 2005-03-03
ATE395788T1 (de) 2008-05-15
EP1661403A1 (en) 2006-05-31
EP1661403B1 (en) 2008-05-14
US20070005338A1 (en) 2007-01-04
ES2307029T3 (es) 2008-11-16
KR20060135598A (ko) 2006-12-29
CN1843036A (zh) 2006-10-04

Similar Documents

Publication Publication Date Title
JP3953886B2 (ja) 字幕抽出装置
JP2007150724A (ja) 映像視聴支援システムおよび方法
KR101743514B1 (ko) 외부 입력 제어 방법 및 이를 적용한 방송 수신 장치
US20100083314A1 (en) Information processing apparatus, information acquisition method, recording medium recording information acquisition program, and information retrieval system
JP5242105B2 (ja) 情報処理装置および情報表示方法
US20230401030A1 (en) Selecting options by uttered speech
US20080005100A1 (en) Multimedia system and multimedia search engine relating thereto
JP4251634B2 (ja) マルチメディアデータ再生装置およびマルチメディアデータ再生方法
CN103546788A (zh) 控制外部输入和广播接收装置的方法
JP2007503747A (ja) リアルタイムのメディア辞書
US20070003230A1 (en) Image display device and recording medium reproducing apparatus and recording medium reproducing method
TW201337860A (zh) 提供口述影像可用性通知的方法與設備
JP5121342B2 (ja) 情報処理装置および情報表示方法
JP2009077166A (ja) 情報処理装置および情報表示方法
US8789129B2 (en) Television and method for operating the same
JP2006134506A (ja) ディジタル映像再生装置
KR20110061802A (ko) 자막 정보를 이용한 영상 재생 장치 및 영상 재생 방법
KR100481539B1 (ko) 캡션정보를 이용한 원 클릭 정보검색 시스템 및 방법
WO2001043430A1 (fr) Recepteur de television
JP2013176089A (ja) 情報処理装置および情報表示方法
KR20050109670A (ko) 네트워크 기반 외국어 학습 방법 및 시스템
JP5575195B2 (ja) 情報処理装置および情報表示方法
JP2013059038A (ja) 情報処理装置および情報表示方法
JP2007300438A (ja) 入出力装置、映像表示システム、入出力制御方法、入出力制御プログラム、および、記録媒体
KR101592944B1 (ko) 자막 단어 검색 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070820

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20080918

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100309

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100803