JP2003032747A - 端末装置および端末装置用プログラム - Google Patents
端末装置および端末装置用プログラムInfo
- Publication number
- JP2003032747A JP2003032747A JP2001216511A JP2001216511A JP2003032747A JP 2003032747 A JP2003032747 A JP 2003032747A JP 2001216511 A JP2001216511 A JP 2001216511A JP 2001216511 A JP2001216511 A JP 2001216511A JP 2003032747 A JP2003032747 A JP 2003032747A
- Authority
- JP
- Japan
- Prior art keywords
- data
- screen
- pixel
- value
- accompanying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Television Signal Processing For Recording (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Controls And Circuits For Display Device (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
(57)【要約】
【課題】 多重化された複数のデータの内容を、小型の
表示画面に視認性良く表示する。 【解決手段】 多重化データから分離された映像データ
31とテキストデータ32とが、それぞれメモリへ展開
して保持される。対応する画素毎に、これら双方のデー
タを合成することにより、表示画面に表示すべき合成画
像データ34が得られる。テキストデータ32のうち、
文字等のテキスト部分については、テキストデータ32
の画素値がそのまま合成画像データ34の画素値とな
る。テキスト部分以外の背景部分については、テキスト
データ32の画素値と映像データ31の画素値とを混合
した値が、合成画像データ34の画素値となる。
表示画面に視認性良く表示する。 【解決手段】 多重化データから分離された映像データ
31とテキストデータ32とが、それぞれメモリへ展開
して保持される。対応する画素毎に、これら双方のデー
タを合成することにより、表示画面に表示すべき合成画
像データ34が得られる。テキストデータ32のうち、
文字等のテキスト部分については、テキストデータ32
の画素値がそのまま合成画像データ34の画素値とな
る。テキスト部分以外の背景部分については、テキスト
データ32の画素値と映像データ31の画素値とを混合
した値が、合成画像データ34の画素値となる。
Description
【0001】
【発明の属する技術分野】この発明は、動画像表示機能
を有する携帯用端末装置としての実施に好適な端末装
置、および当該端末装置に搭載するための端末装置用プ
ログラムに関する。
を有する携帯用端末装置としての実施に好適な端末装
置、および当該端末装置に搭載するための端末装置用プ
ログラムに関する。
【0002】
【従来の技術】動画像圧縮技術の進歩および通信の高速
化に伴い、デジタル通信を用いた据置型の動画像表示端
末が普及している。このような据置型の動画像表示端末
において、多種多様な機能やサービスを実現するため
に、複数画像を表示する技術が提案されてきた。例え
ば、特開平6−253301号公報(以下、文献1)に
は、通話中に通信相手の画像に加えて、通話中の自画像
をも同時に表示することができるTV電話端末が開示さ
れている。
化に伴い、デジタル通信を用いた据置型の動画像表示端
末が普及している。このような据置型の動画像表示端末
において、多種多様な機能やサービスを実現するため
に、複数画像を表示する技術が提案されてきた。例え
ば、特開平6−253301号公報(以下、文献1)に
は、通話中に通信相手の画像に加えて、通話中の自画像
をも同時に表示することができるTV電話端末が開示さ
れている。
【0003】一方、携帯電話やPDA(Personal Digita
l Assistant;個人用デジタル情報携帯端末)などの携
帯型端末においても、動画像表示機能を有する端末が普
及してきた。このような携帯端末においても、動画像を
閲覧するだけでなく、WWW(World Wide Web)を用いて
インタラクティブな通信を行うなど、据置型の端末と同
様に多種多様な機能やサービスが求められている。
l Assistant;個人用デジタル情報携帯端末)などの携
帯型端末においても、動画像表示機能を有する端末が普
及してきた。このような携帯端末においても、動画像を
閲覧するだけでなく、WWW(World Wide Web)を用いて
インタラクティブな通信を行うなど、据置型の端末と同
様に多種多様な機能やサービスが求められている。
【0004】
【発明が解決しようとする課題】前述の動画像表示機能
を備えた携帯端末に関して、サーバから配信される動画
像を閲覧しながら、同時に配信される付随データを表示
するという利用形態を想定することができる。例えば、
商品案内番組を閲覧しながら、その商品の価格や特徴を
テキストの形態で表示するという利用形態である。
を備えた携帯端末に関して、サーバから配信される動画
像を閲覧しながら、同時に配信される付随データを表示
するという利用形態を想定することができる。例えば、
商品案内番組を閲覧しながら、その商品の価格や特徴を
テキストの形態で表示するという利用形態である。
【0005】しかし、携帯端末のような小さな表示装置
を持つ端末の場合、画面あたりの表示領域が限られてい
るため、文献1に開示される端末装置のように、送信側
の映像、あるいは第三者の映像を同時表示することを目
的とした画面分割による複数画像表示技術では、ユーザ
が見易い画面構成を実現することはできない。
を持つ端末の場合、画面あたりの表示領域が限られてい
るため、文献1に開示される端末装置のように、送信側
の映像、あるいは第三者の映像を同時表示することを目
的とした画面分割による複数画像表示技術では、ユーザ
が見易い画面構成を実現することはできない。
【0006】この発明は、従来の技術における上記した
問題点を解消するためになされたもので、多重化データ
が含む動的な映像データの内容とこれに付随する付随画
面データの内容とを、小型の表示画面に視認性良く表示
することを可能にする端末装置を得ることを目的として
おり、さらにこの端末装置に搭載して使用するための端
末装置用プログラムを提供することを目的とする。
問題点を解消するためになされたもので、多重化データ
が含む動的な映像データの内容とこれに付随する付随画
面データの内容とを、小型の表示画面に視認性良く表示
することを可能にする端末装置を得ることを目的として
おり、さらにこの端末装置に搭載して使用するための端
末装置用プログラムを提供することを目的とする。
【0007】
【課題を解決するための手段】第1の発明の装置は端末
装置であって、動的な映像データとこれに付随する付随
画面データとを多重化形式で含む多重化データから、前
記映像データと前記付随画面データとを分離するデータ
分離部と、分離された前記映像データを1画面分の画素
信号群に展開して保持する動画像メモリと、分離された
前記付随画面データを1画面分の画素信号群に展開して
保持するデータ画面メモリと、前記付随画面データの前
記画素信号群に含まれる各画素信号に、合成可否信号を
付加する付随データ処理部と、前記動画像メモリに保持
される前記映像データと前記データ画面メモリに保持さ
れる前記付随画面データとの間で、対応する画素信号ご
とに、前記合成可否信号が第1値であるときには、双方
の画素値を混合した値を合成画像データの画素値とし、
前記合成可否信号が第2値であるときには、前記付随画
面データの画素値を前記合成画像データの画素値とし
て、前記合成画像データを生成する画像合成部と、を備
える。
装置であって、動的な映像データとこれに付随する付随
画面データとを多重化形式で含む多重化データから、前
記映像データと前記付随画面データとを分離するデータ
分離部と、分離された前記映像データを1画面分の画素
信号群に展開して保持する動画像メモリと、分離された
前記付随画面データを1画面分の画素信号群に展開して
保持するデータ画面メモリと、前記付随画面データの前
記画素信号群に含まれる各画素信号に、合成可否信号を
付加する付随データ処理部と、前記動画像メモリに保持
される前記映像データと前記データ画面メモリに保持さ
れる前記付随画面データとの間で、対応する画素信号ご
とに、前記合成可否信号が第1値であるときには、双方
の画素値を混合した値を合成画像データの画素値とし、
前記合成可否信号が第2値であるときには、前記付随画
面データの画素値を前記合成画像データの画素値とし
て、前記合成画像データを生成する画像合成部と、を備
える。
【0008】第2の発明の装置は端末装置であって、動
的な映像データとこれに付随する付随画面データとを多
重化形式で含む多重化データから、前記映像データと前
記付随画面データとを分離するデータ分離部と、分離さ
れた前記映像データを1画面分の画素信号群に展開して
保持する動画像メモリと、分離された前記付随画面デー
タを1画面分の画素信号群に展開して保持するデータ画
面メモリと、前記付随画面データの前記画素信号群に含
まれる各画素信号に、合成可否信号を付加する付随デー
タ処理部と、前記動画像メモリに保持される前記映像デ
ータと前記データ画面メモリに保持される前記付随画面
データとの間で、対応する画素信号ごとに、前記合成可
否信号が第1値であるときには、前記映像データの画素
値を合成画像データの画素値とし、前記合成可否信号が
第2値であるときには、前記付随画面データの画素値を
前記合成画像データの画素値として、前記合成画像デー
タを生成する画像合成部と、を備える。
的な映像データとこれに付随する付随画面データとを多
重化形式で含む多重化データから、前記映像データと前
記付随画面データとを分離するデータ分離部と、分離さ
れた前記映像データを1画面分の画素信号群に展開して
保持する動画像メモリと、分離された前記付随画面デー
タを1画面分の画素信号群に展開して保持するデータ画
面メモリと、前記付随画面データの前記画素信号群に含
まれる各画素信号に、合成可否信号を付加する付随デー
タ処理部と、前記動画像メモリに保持される前記映像デ
ータと前記データ画面メモリに保持される前記付随画面
データとの間で、対応する画素信号ごとに、前記合成可
否信号が第1値であるときには、前記映像データの画素
値を合成画像データの画素値とし、前記合成可否信号が
第2値であるときには、前記付随画面データの画素値を
前記合成画像データの画素値として、前記合成画像デー
タを生成する画像合成部と、を備える。
【0009】第3の発明の装置では、第1または第2の
発明の端末装置において、前記付随データ処理部は、前
記付随画面データが二値画像データであるときには、画
素値が一方値である画素に対して前記合成可否信号を前
記第2値に設定し、画素値が他方値である画素に対して
前記合成可否信号を前記第1値に設定する。
発明の端末装置において、前記付随データ処理部は、前
記付随画面データが二値画像データであるときには、画
素値が一方値である画素に対して前記合成可否信号を前
記第2値に設定し、画素値が他方値である画素に対して
前記合成可否信号を前記第1値に設定する。
【0010】第4の発明の装置では、第1または第2の
発明の端末装置において、前記付随データ処理部は、前
記付随画面データが二値画像データであるときには、画
素値が一方値である画素および当該画素に所定限度を超
えて近接する画素に対して前記合成可否信号を前記第2
値に設定し、他の画素に対して前記合成可否信号を前記
第1値に設定する。
発明の端末装置において、前記付随データ処理部は、前
記付随画面データが二値画像データであるときには、画
素値が一方値である画素および当該画素に所定限度を超
えて近接する画素に対して前記合成可否信号を前記第2
値に設定し、他の画素に対して前記合成可否信号を前記
第1値に設定する。
【0011】第5の発明の装置では、第3または第4の
発明の端末装置において、前記付随データ処理部は、前
記付随画面データが階調を有する画像データであるとき
には、すべての画素に対して、前記合成可否信号を前記
第2値に設定する。
発明の端末装置において、前記付随データ処理部は、前
記付随画面データが階調を有する画像データであるとき
には、すべての画素に対して、前記合成可否信号を前記
第2値に設定する。
【0012】第6の発明の装置は、第1ないし第5のい
ずれかの発明の端末装置に使用される端末装置用プログ
ラムであって、前記付随データ処理部の動作をコンピュ
ータに実現させる。
ずれかの発明の端末装置に使用される端末装置用プログ
ラムであって、前記付随データ処理部の動作をコンピュ
ータに実現させる。
【0013】第7の発明の装置は、第1ないし第5のい
ずれかの発明の端末装置に使用される端末装置用プログ
ラムであって、前記画像合成部の動作をコンピュータに
実現させる。
ずれかの発明の端末装置に使用される端末装置用プログ
ラムであって、前記画像合成部の動作をコンピュータに
実現させる。
【0014】
【発明の実施の形態】(装置の構成と動作の概略)図1
は、本発明の実施の形態による端末装置の構成を示すブ
ロック図である。この端末装置100は、動画像表示機
能を有する携帯用端末装置として構成されており、その
各要素あるいは一部の要素については、CPU(コンピ
ュータ)とその動作を規定するプログラムが格納された
メモリとによって、等価的に構成されても良い。この場
合には、図1は、端末装置100の機能を等価的に表現
する機能ブロック図に該当する。
は、本発明の実施の形態による端末装置の構成を示すブ
ロック図である。この端末装置100は、動画像表示機
能を有する携帯用端末装置として構成されており、その
各要素あるいは一部の要素については、CPU(コンピ
ュータ)とその動作を規定するプログラムが格納された
メモリとによって、等価的に構成されても良い。この場
合には、図1は、端末装置100の機能を等価的に表現
する機能ブロック図に該当する。
【0015】端末装置100は、制御部1、ユーザ操作
部2、データ蓄積部3、データ分離部4、付随データ処
理部5、データ画面メモリ6、動画像処理部7、動画像
メモリ8、画像合成部9、画像表示部10、音声処理部
11、スピーカ12、および通信部13を備えている。
制御部1は、装置100の各要素の制御を司る。ユーザ
操作部2は、装置100の動作を指示したり、データを
入力したりするために、ユーザが操作する装置要素であ
る。データ蓄積部3は、ファイル等のデータを蓄積す
る。データ分離部4は多重化データを分離する。付随デ
ータ処理部5は、多重化データから分離された付随デー
タから付随画面データ(すなわち、付随データに含まれ
表示画面に映像として表示すべきデータ)を取り出す。
データ画面メモリ6は、付随データから取り出された付
随画面データを展開して保持する。
部2、データ蓄積部3、データ分離部4、付随データ処
理部5、データ画面メモリ6、動画像処理部7、動画像
メモリ8、画像合成部9、画像表示部10、音声処理部
11、スピーカ12、および通信部13を備えている。
制御部1は、装置100の各要素の制御を司る。ユーザ
操作部2は、装置100の動作を指示したり、データを
入力したりするために、ユーザが操作する装置要素であ
る。データ蓄積部3は、ファイル等のデータを蓄積す
る。データ分離部4は多重化データを分離する。付随デ
ータ処理部5は、多重化データから分離された付随デー
タから付随画面データ(すなわち、付随データに含まれ
表示画面に映像として表示すべきデータ)を取り出す。
データ画面メモリ6は、付随データから取り出された付
随画面データを展開して保持する。
【0016】動画像処理部7は、分離された動画像デー
タに含まれる動的な映像データ(動画像データに含まれ
表示画面に映像として表示すべきデータ)の複号化処理
を行う。動画像メモリ8は、動画像処理部7が出力する
映像データを展開して保持する。画像合成部9は、デー
タ画面メモリ6と動画像メモリ8のそれぞれに保持され
るデータを合成し、合成画像データとして出力する。画
像表示部10は、合成画像データが表現する映像を表示
画面に表示する。音声処理部11は、データ分離部4に
よって多重化データから分離された音声データを、スピ
ーカ12へ入力可能な形式へ変換する。スピーカ12
は、音声処理部11で処理された音声データを、音声と
して出力する。
タに含まれる動的な映像データ(動画像データに含まれ
表示画面に映像として表示すべきデータ)の複号化処理
を行う。動画像メモリ8は、動画像処理部7が出力する
映像データを展開して保持する。画像合成部9は、デー
タ画面メモリ6と動画像メモリ8のそれぞれに保持され
るデータを合成し、合成画像データとして出力する。画
像表示部10は、合成画像データが表現する映像を表示
画面に表示する。音声処理部11は、データ分離部4に
よって多重化データから分離された音声データを、スピ
ーカ12へ入力可能な形式へ変換する。スピーカ12
は、音声処理部11で処理された音声データを、音声と
して出力する。
【0017】多重化データとは、動画像データとこれに
付随する付随データとを多重化したファイルを意味す
る。付随データは、通常において動画像データに付随す
る情報を内容とする。例えば、動画像データとしてはM
PEG4などのストリームデータがあり、付随データと
しては、図形、文字、画像等を含んだ各種データ形式の
表示データであり、テキストデータやHTMLなどがあ
る。また、動画像データには、通常において、映像デー
タと音声データが一つの動画像ストリームとして多重化
されている場合と、映像ストリームと音声ストリームが
別々に多重化されている場合とがある。本実施の形態で
は、映像データがMPEG4ストリームであり、音声デ
ータがPCM(Pulse Code Modulation;パルス符号変
調)データであり、付随データが、例えば字幕等の動画
像関連データをテキストデータの形式で、付随画面デー
タとして含む例を取り上げる。
付随する付随データとを多重化したファイルを意味す
る。付随データは、通常において動画像データに付随す
る情報を内容とする。例えば、動画像データとしてはM
PEG4などのストリームデータがあり、付随データと
しては、図形、文字、画像等を含んだ各種データ形式の
表示データであり、テキストデータやHTMLなどがあ
る。また、動画像データには、通常において、映像デー
タと音声データが一つの動画像ストリームとして多重化
されている場合と、映像ストリームと音声ストリームが
別々に多重化されている場合とがある。本実施の形態で
は、映像データがMPEG4ストリームであり、音声デ
ータがPCM(Pulse Code Modulation;パルス符号変
調)データであり、付随データが、例えば字幕等の動画
像関連データをテキストデータの形式で、付随画面デー
タとして含む例を取り上げる。
【0018】図2は、装置100の動作説明図であり、
処理にともなう多重化データの変遷の流れを表してい
る。ユーザがユーザ操作部2を用いて、多重化データを
閲覧する操作を行うと、通信部13を通じて受信する多
重化データ、あるいは、受信後にデータ蓄積部3へ蓄積
されている多重化データが、制御部1の指示にもとづい
て、データ分離部4へ送られる。データ分離部4の処理
により、多重化データは映像データと音声データと付随
データとに分離される。分離された映像データは動画像
処理部7により複号化処理を受けた上で、動画像メモリ
8に展開して保持される。
処理にともなう多重化データの変遷の流れを表してい
る。ユーザがユーザ操作部2を用いて、多重化データを
閲覧する操作を行うと、通信部13を通じて受信する多
重化データ、あるいは、受信後にデータ蓄積部3へ蓄積
されている多重化データが、制御部1の指示にもとづい
て、データ分離部4へ送られる。データ分離部4の処理
により、多重化データは映像データと音声データと付随
データとに分離される。分離された映像データは動画像
処理部7により複号化処理を受けた上で、動画像メモリ
8に展開して保持される。
【0019】また、分離された付随データから、付随デ
ータ処理部5により付随画面データとしてのテキストデ
ータが取り出される。取り出されたテキストデータは、
データ画面メモリ6に展開して保持される。データ画面
メモリ6に展開されたテキストデータは、画像合成部9
の処理により、動画像メモリ8に保持される映像データ
と混合された上で、画像表示部10へ入力される。デー
タ分離部4により多重化データから分離された音声デー
タは、音声処理部11により復号化処理を受けた上で、
スピーカ12へ入力される。
ータ処理部5により付随画面データとしてのテキストデ
ータが取り出される。取り出されたテキストデータは、
データ画面メモリ6に展開して保持される。データ画面
メモリ6に展開されたテキストデータは、画像合成部9
の処理により、動画像メモリ8に保持される映像データ
と混合された上で、画像表示部10へ入力される。デー
タ分離部4により多重化データから分離された音声デー
タは、音声処理部11により復号化処理を受けた上で、
スピーカ12へ入力される。
【0020】データ画面メモリ6および動画像メモリ8
は、例えばVRAM(Video RAM)であり、これらのメモ
リがデータを「展開して保持する」とは、データを1画
面分の画素信号群の形式で保持することを意味する。図
3は、データ画面メモリ6に保持される画素信号の構造
を示すデータ構造図である。図3に例示する画素信号
は、RGBの三色に対応した色成分データ22,23,
24を有し、それらの各々は5ビットの二進数で階調を
表現している。この画素信号は、さらに合成の可否を指
示する1ビットのフラグ形式の合成可否信号21を、最
上位ビットに含んでいる。したがって図3の例では、画
素信号は16ビットで構成される。
は、例えばVRAM(Video RAM)であり、これらのメモ
リがデータを「展開して保持する」とは、データを1画
面分の画素信号群の形式で保持することを意味する。図
3は、データ画面メモリ6に保持される画素信号の構造
を示すデータ構造図である。図3に例示する画素信号
は、RGBの三色に対応した色成分データ22,23,
24を有し、それらの各々は5ビットの二進数で階調を
表現している。この画素信号は、さらに合成の可否を指
示する1ビットのフラグ形式の合成可否信号21を、最
上位ビットに含んでいる。したがって図3の例では、画
素信号は16ビットで構成される。
【0021】一方、動画像メモリ8に保持される画素信
号は、合成可否信号21を持たなくても良い。したがっ
て、動画像メモリ8に保持される画素信号は、例えば図
3のうち、合成可否信号21を除去した構造を有しても
良く、あるいは図3と同様に16ビット長のデータ構造
を有し、最上位ビットは意味のないビットとしても良
い。合成可否信号21の機能については、以下において
詳述する。
号は、合成可否信号21を持たなくても良い。したがっ
て、動画像メモリ8に保持される画素信号は、例えば図
3のうち、合成可否信号21を除去した構造を有しても
良く、あるいは図3と同様に16ビット長のデータ構造
を有し、最上位ビットは意味のないビットとしても良
い。合成可否信号21の機能については、以下において
詳述する。
【0022】(装置の特徴的な動作)図4は、装置10
0の動作のうち、付随データ処理部5および画像合成部
9による特徴的な動作の手順を示すフローチャートであ
り、図5は、その動作説明図である。付随データ処理部
5は、付随データに含まれるテキストデータをデータ画
面メモリ6へ保持させるのに先だって、データ画面メモ
リ6が保持する画素信号群の値を初期化する(ステップ
S1)。初期化は、あらかじめ定められた背景色のデー
タ30によって行われる。すなわち、データ画面メモリ
6が保持する画素信号群のすべての画素値(図3の例で
は、色成分データ22,23,24の値)が、背景色
(例えば、白色または灰色)の値に初期化される。それ
と同時に付随データ処理部5は、合成可否信号21の値
Fを、合成を可とする第1値(以下、F=1とする)に
設定する。
0の動作のうち、付随データ処理部5および画像合成部
9による特徴的な動作の手順を示すフローチャートであ
り、図5は、その動作説明図である。付随データ処理部
5は、付随データに含まれるテキストデータをデータ画
面メモリ6へ保持させるのに先だって、データ画面メモ
リ6が保持する画素信号群の値を初期化する(ステップ
S1)。初期化は、あらかじめ定められた背景色のデー
タ30によって行われる。すなわち、データ画面メモリ
6が保持する画素信号群のすべての画素値(図3の例で
は、色成分データ22,23,24の値)が、背景色
(例えば、白色または灰色)の値に初期化される。それ
と同時に付随データ処理部5は、合成可否信号21の値
Fを、合成を可とする第1値(以下、F=1とする)に
設定する。
【0023】つづいて、付随データ処理部5は、データ
画面メモリ6が保持する画素信号群のうち、テキストデ
ータ32が表現する文字等のテキスト部分に対応する画
素の画素値を、あらかじめ定められた値に置き換える
(ステップS2)。図6は、この動作を示す説明図であ
る。図6において、矩形の小領域は画素を表し、ハッチ
を付した部分は、テキスト部分を表している。すなわち
ステップS2では、階調を持たない二値画像データであ
るテキストデータ32のうち、テキストを表現する一方
値(例えば、黒色の値)で、画素信号群の画素値が塗り
替えられる。これにより、図5に示すように、テキスト
部分を一方値とし背景色を他方値とする二値画像として
のテキストデータ32が、データ画面メモリ6へ展開し
て保持される。このとき同時に、付随データ処理部5
は、図6が示すように、テキストデータ32のうち、テ
キスト部分に対応する画素(すなわち、画素値が上記一
方値である画素)の合成可否信号21を、合成を否とす
る第2値(以下、F=0とする)に設定する。図6にお
いて、画素の中に付された数値は合成可否信号21の値
を表している。
画面メモリ6が保持する画素信号群のうち、テキストデ
ータ32が表現する文字等のテキスト部分に対応する画
素の画素値を、あらかじめ定められた値に置き換える
(ステップS2)。図6は、この動作を示す説明図であ
る。図6において、矩形の小領域は画素を表し、ハッチ
を付した部分は、テキスト部分を表している。すなわち
ステップS2では、階調を持たない二値画像データであ
るテキストデータ32のうち、テキストを表現する一方
値(例えば、黒色の値)で、画素信号群の画素値が塗り
替えられる。これにより、図5に示すように、テキスト
部分を一方値とし背景色を他方値とする二値画像として
のテキストデータ32が、データ画面メモリ6へ展開し
て保持される。このとき同時に、付随データ処理部5
は、図6が示すように、テキストデータ32のうち、テ
キスト部分に対応する画素(すなわち、画素値が上記一
方値である画素)の合成可否信号21を、合成を否とす
る第2値(以下、F=0とする)に設定する。図6にお
いて、画素の中に付された数値は合成可否信号21の値
を表している。
【0024】つぎに、画像合成部9は、動画像メモリ8
に保持される映像データ31と、データ画面メモリ6に
保持されるテキストデータ32とにもとづいて、合成画
像データ34(図5参照)を生成する(ステップS3;
図4参照)。図7〜図9は、画像合成部9の画像合成動
作を示す説明図である。映像データ31、テキストデー
タ32、および合成画像データ34の間で位置が共通す
る画素の画素信号を、それぞれ画素信号41,42,お
よび44とする。画像合成部9は、互いに対応する画素
信号41,42にもとづいて、それらに対応する画素信
号44を生成する。より特定的には、データ画面メモリ
6から画素信号42が読み出された後、画像合成部9に
よって画素信号44が生成されると、画素信号44がデ
ータ画面メモリ6へ戻される。すなわち、データ画面メ
モリ6が保持する画素信号42が画素信号44へ、つぎ
つぎと置き換えられる。
に保持される映像データ31と、データ画面メモリ6に
保持されるテキストデータ32とにもとづいて、合成画
像データ34(図5参照)を生成する(ステップS3;
図4参照)。図7〜図9は、画像合成部9の画像合成動
作を示す説明図である。映像データ31、テキストデー
タ32、および合成画像データ34の間で位置が共通す
る画素の画素信号を、それぞれ画素信号41,42,お
よび44とする。画像合成部9は、互いに対応する画素
信号41,42にもとづいて、それらに対応する画素信
号44を生成する。より特定的には、データ画面メモリ
6から画素信号42が読み出された後、画像合成部9に
よって画素信号44が生成されると、画素信号44がデ
ータ画面メモリ6へ戻される。すなわち、データ画面メ
モリ6が保持する画素信号42が画素信号44へ、つぎ
つぎと置き換えられる。
【0025】図8が示すように、画像合成部9は、画素
信号42の合成可否信号がF=1であるときには、画素
信号41の画素値と画素信号42の画素値とを混合した
値を、画素信号44の画素値とする。混合は、例えば一
定比率α(0<α<1)で重み平均を算出することによ
り行われる。一方、図9が示すように、画像合成部9
は、画素信号42の合成可否信号がF=0であるときに
は、画素信号42の画素値をそのまま画素信号44の画
素値とする。その結果、図5が示すように、合成画像デ
ータ34として、テキストデータ32と、トーンダウン
した映像データ31とを1画面の上に重ねて表示するデ
ータが得られる。
信号42の合成可否信号がF=1であるときには、画素
信号41の画素値と画素信号42の画素値とを混合した
値を、画素信号44の画素値とする。混合は、例えば一
定比率α(0<α<1)で重み平均を算出することによ
り行われる。一方、図9が示すように、画像合成部9
は、画素信号42の合成可否信号がF=0であるときに
は、画素信号42の画素値をそのまま画素信号44の画
素値とする。その結果、図5が示すように、合成画像デ
ータ34として、テキストデータ32と、トーンダウン
した映像データ31とを1画面の上に重ねて表示するデ
ータが得られる。
【0026】以上のように装置100では、映像データ
と付随画面データとが、表示画面を分割することなく重
ねて表示されるので、表示画面が狭くても、映像データ
の内容とテキストデータの内容とを、ユーザは同時に認
識することができる。また、テキストデータ32のうち
の文字等のテキスト部分については、映像データ31と
の混合が行われないので、テキストデータ32の内容を
視認性良く読み取ることができる。さらに、映像データ
31がトーンダウンしているので、テキストデータ32
の内容の読み取りが、さらに容易である。
と付随画面データとが、表示画面を分割することなく重
ねて表示されるので、表示画面が狭くても、映像データ
の内容とテキストデータの内容とを、ユーザは同時に認
識することができる。また、テキストデータ32のうち
の文字等のテキスト部分については、映像データ31と
の混合が行われないので、テキストデータ32の内容を
視認性良く読み取ることができる。さらに、映像データ
31がトーンダウンしているので、テキストデータ32
の内容の読み取りが、さらに容易である。
【0027】(変形例1)上記実施の形態では、映像デ
ータがMPEG4ストリームであり、音声データがPC
Mデータであり、付随データに含まれる付随画面データ
がテキストデータである例を取り上げたが、これらのデ
ータが他の形式のデータであっても、本発明は適用可能
である。さらに、HTTP(Hyper Text Transfer Prot
ocol;ハイパーテキスト転送プロトコル)などを用いる
ことにより、サーバとの双方向通信を可能とすること
で、動画像データを表示すると同時に、インタラクティ
ブなサービスを付随データとして受け得るように、装置
100を構成することも可能である。この形態において
も、動画像データと付随データとは多重化されているこ
とに変わりはなく、本発明は同様に適用可能である。
ータがMPEG4ストリームであり、音声データがPC
Mデータであり、付随データに含まれる付随画面データ
がテキストデータである例を取り上げたが、これらのデ
ータが他の形式のデータであっても、本発明は適用可能
である。さらに、HTTP(Hyper Text Transfer Prot
ocol;ハイパーテキスト転送プロトコル)などを用いる
ことにより、サーバとの双方向通信を可能とすること
で、動画像データを表示すると同時に、インタラクティ
ブなサービスを付随データとして受け得るように、装置
100を構成することも可能である。この形態において
も、動画像データと付随データとは多重化されているこ
とに変わりはなく、本発明は同様に適用可能である。
【0028】(変形例2)図10が示すように、付随デ
ータ処理部5は、テキストデータ32のテキスト部分
(図中のハッチングを付した部分)だけでなく、その縁
取り部分、すなわちテキスト部分の画素に所定限度を超
えて近接する画素に対しても、合成可否信号21をF=
0に設定してもよい。これにより、テキスト部分の縁取
り部分では、映像データ31の画素値が混合されないの
で、縁取り部分にはテキストデータ32の背景色がその
まま表示される。このため、表示画面を目視するユーザ
は、テキストデータ32の内容を、一層明瞭に認識する
ことが可能となる。
ータ処理部5は、テキストデータ32のテキスト部分
(図中のハッチングを付した部分)だけでなく、その縁
取り部分、すなわちテキスト部分の画素に所定限度を超
えて近接する画素に対しても、合成可否信号21をF=
0に設定してもよい。これにより、テキスト部分の縁取
り部分では、映像データ31の画素値が混合されないの
で、縁取り部分にはテキストデータ32の背景色がその
まま表示される。このため、表示画面を目視するユーザ
は、テキストデータ32の内容を、一層明瞭に認識する
ことが可能となる。
【0029】(変形例3)図11が示すように、付随デ
ータ処理部5は、付随画面データがテキストデータ等の
二値画像データではなく、例えば写真データのように階
調を有する画像データであるときには、データ画面メモ
リ6に展開されるすべての画素に対して、合成可否信号
21をF=0に設定するとよい。これにより、付随画面
データとして階調を有する画像データを多重化データが
含むときには、付随画面データの内容を優先的に画面表
示することができる。
ータ処理部5は、付随画面データがテキストデータ等の
二値画像データではなく、例えば写真データのように階
調を有する画像データであるときには、データ画面メモ
リ6に展開されるすべての画素に対して、合成可否信号
21をF=0に設定するとよい。これにより、付随画面
データとして階調を有する画像データを多重化データが
含むときには、付随画面データの内容を優先的に画面表
示することができる。
【0030】(変形例4)図12が示すように、画像合
成部9は、合成可否信号21の値がF=1である画素に
対して、背景色を混合することなく、画素信号41の画
素値をそのまま画素信号44の画素値とすることも可能
である。これにより、映像データ31のトーンダウンは
得られなくなるが、テキストデータ32のテキスト部分
について、映像データ31が混合されない点は、上記実
施の形態と同様である。このため、表示画面を目視する
ユーザは、テキストデータ32の内容を視認性良く読み
取ることが可能である。
成部9は、合成可否信号21の値がF=1である画素に
対して、背景色を混合することなく、画素信号41の画
素値をそのまま画素信号44の画素値とすることも可能
である。これにより、映像データ31のトーンダウンは
得られなくなるが、テキストデータ32のテキスト部分
について、映像データ31が混合されない点は、上記実
施の形態と同様である。このため、表示画面を目視する
ユーザは、テキストデータ32の内容を視認性良く読み
取ることが可能である。
【0031】(変形例5)装置100の動作のうち、特
に図4のフローチャートが示す付随データ処理部5およ
び画像合成部9による特徴的な動作については、ソフト
ウェアで実現するのが望ましい場合がある。動作の複雑
さに加えて、条件の変更に対応し易いからである。この
場合には、これらの動作に関する装置部分である、付随
データ処理部5および画像合成部9については、CPU
とその動作を規定するプログラムを搭載したメモリとに
よって、等価的に構成される。
に図4のフローチャートが示す付随データ処理部5およ
び画像合成部9による特徴的な動作については、ソフト
ウェアで実現するのが望ましい場合がある。動作の複雑
さに加えて、条件の変更に対応し易いからである。この
場合には、これらの動作に関する装置部分である、付随
データ処理部5および画像合成部9については、CPU
とその動作を規定するプログラムを搭載したメモリとに
よって、等価的に構成される。
【0032】
【発明の効果】第1の発明の端末装置では、合成可否信
号が画素毎に付与され、合成可否信号にしたがって、映
像データと付随画面データとから合成画像データが生成
される。このため、表示画面を分割することなく、かつ
視認性を損なうことなく、双方のデータの内容を重ねて
表示することが可能となる。特に動画像が、付随画面デ
ータを混合したものとして表示されるので、付随画面デ
ータの内容を、表示画面の上で、さらに明瞭に認識する
ことが可能となる。
号が画素毎に付与され、合成可否信号にしたがって、映
像データと付随画面データとから合成画像データが生成
される。このため、表示画面を分割することなく、かつ
視認性を損なうことなく、双方のデータの内容を重ねて
表示することが可能となる。特に動画像が、付随画面デ
ータを混合したものとして表示されるので、付随画面デ
ータの内容を、表示画面の上で、さらに明瞭に認識する
ことが可能となる。
【0033】第2の発明の端末装置では、合成可否信号
が画素毎に付与され、合成可否信号にしたがって、映像
データと付随画面データとから合成画像データが生成さ
れる。このため、表示画面を分割することなく、かつ視
認性を損なうことなく、双方のデータの内容を重ねて表
示することが可能となる。
が画素毎に付与され、合成可否信号にしたがって、映像
データと付随画面データとから合成画像データが生成さ
れる。このため、表示画面を分割することなく、かつ視
認性を損なうことなく、双方のデータの内容を重ねて表
示することが可能となる。
【0034】第3の発明の端末装置では、付随画面デー
タが例えばテキストデータ等の二値画像データであると
きに、合成可否信号の値が、画素値に対応するように各
画素に割り当てられる。このため、二値画像のうち一方
値の部分、例えばテキストの部分は画素値通りに表示さ
れ、他方値の部分、例えば背景の部分には、動画像を混
合した画像、あるいは動画像そのものが表示される。し
たがって、二値画像で表現される付随画面データの内容
が、表示画面の上で明瞭に認識可能となる。
タが例えばテキストデータ等の二値画像データであると
きに、合成可否信号の値が、画素値に対応するように各
画素に割り当てられる。このため、二値画像のうち一方
値の部分、例えばテキストの部分は画素値通りに表示さ
れ、他方値の部分、例えば背景の部分には、動画像を混
合した画像、あるいは動画像そのものが表示される。し
たがって、二値画像で表現される付随画面データの内容
が、表示画面の上で明瞭に認識可能となる。
【0035】第4の発明の端末装置では、付随画面デー
タが例えばテキストデータ等の二値画像データであると
きに、画素値が一方値である画素および当該画素に所定
限度を超えて近接する画素のいずれであるか否かに対応
するように、合成可否信号の値が各画素に割り当てられ
る。このため、二値画像のうち一方値の部分とその近
傍、例えばテキストの部分とその縁取り部分は画素値通
りに表示され、他の部分、例えば縁取り部分を除く背景
の部分には、動画像を混合した画像、あるいは動画像そ
のものが表示される。したがって、二値画像で表現され
る付随画面データの内容が、表示画面の上で一層明瞭に
認識可能となる。
タが例えばテキストデータ等の二値画像データであると
きに、画素値が一方値である画素および当該画素に所定
限度を超えて近接する画素のいずれであるか否かに対応
するように、合成可否信号の値が各画素に割り当てられ
る。このため、二値画像のうち一方値の部分とその近
傍、例えばテキストの部分とその縁取り部分は画素値通
りに表示され、他の部分、例えば縁取り部分を除く背景
の部分には、動画像を混合した画像、あるいは動画像そ
のものが表示される。したがって、二値画像で表現され
る付随画面データの内容が、表示画面の上で一層明瞭に
認識可能となる。
【0036】第5の発明の装置では、付随画面データが
階調を有する画像データであるときに、すべての画素に
対して合成可否信号が第2値に設定される。したがっ
て、付随画面データとして階調を有する画像データを多
重化データが含むときには、付随画面データの内容を優
先的に画面表示することができる。
階調を有する画像データであるときに、すべての画素に
対して合成可否信号が第2値に設定される。したがっ
て、付随画面データとして階調を有する画像データを多
重化データが含むときには、付随画面データの内容を優
先的に画面表示することができる。
【0037】第6の発明のプログラムでは、第1ないし
第5のいずれかの端末装置に搭載することにより、付随
画面データ処理部の複雑な動作を、コンピュータで容易
に実現することができる。
第5のいずれかの端末装置に搭載することにより、付随
画面データ処理部の複雑な動作を、コンピュータで容易
に実現することができる。
【0038】第7の発明のプログラムでは、第1ないし
第5のいずれかの端末装置に搭載することにより、画像
合成部の複雑な動作を、コンピュータで容易に実現する
ことができる。
第5のいずれかの端末装置に搭載することにより、画像
合成部の複雑な動作を、コンピュータで容易に実現する
ことができる。
【図1】 本発明の実施の形態による端末装置のブロッ
ク図である。
ク図である。
【図2】 図1の装置の動作にともなうデータの流れを
示す説明図である。
示す説明図である。
【図3】 図1のデータ画面メモリが保持する画素信号
の構造図である。
の構造図である。
【図4】 図1の装置の特徴部の動作手順を示すフロー
チャートである。
チャートである。
【図5】 図1の装置の特徴部の動作を示す動作説明図
である。
である。
【図6】 合成可否信号を付与する例を示す説明図であ
る。
る。
【図7】 図1の画像合成部の動作を示す動作説明図で
ある。
ある。
【図8】 図1の画像合成部の動作の一例を示す動作説
明図である。
明図である。
【図9】 図1の画像合成部の動作の一例を示す動作説
明図である。
明図である。
【図10】 合成可否信号を付与する例を示す説明図で
ある。
ある。
【図11】 合成可否信号を付与する例を示す説明図で
ある。
ある。
【図12】 図1の画像合成部の動作の他の例を示す動
作説明図である。
作説明図である。
4 データ分離部、5 付随データ処理部、6 データ
画面メモリ、8 動画像メモリ、9 画像合成部、21
合成可否信号、31 映像データ、32 テキストデ
ータ(付随画面データ)、34 合成画像データ、4
1,42,44画素信号。
画面メモリ、8 動画像メモリ、9 画像合成部、21
合成可否信号、31 映像データ、32 テキストデ
ータ(付随画面データ)、34 合成画像データ、4
1,42,44画素信号。
─────────────────────────────────────────────────────
フロントページの続き
(51)Int.Cl.7 識別記号 FI テーマコート゛(参考)
H04N 5/92 H04N 5/92 H
(72)発明者 前田 泰雄
東京都千代田区丸の内二丁目2番3号 三
菱電機株式会社内
Fターム(参考) 5C052 AA17 DD04 GA03 GA09
5C053 GB37 JA07
5C080 BB05 DD01 EE01 EE17 FF09
GG02 JJ01 JJ02 JJ07 KK07
5C082 AA00 BA02 BA12 BA27 BB01
BB15 BB53 CB01 DA32 DA53
DA73 DA86 DA89 MM10
5K067 AA34 BB04 DD52 HH21 HH22
KK15
Claims (7)
- 【請求項1】 動的な映像データとこれに付随する付随
画面データとを多重化形式で含む多重化データから、前
記映像データと前記付随画面データとを分離するデータ
分離部と、 分離された前記映像データを1画面分の画素信号群に展
開して保持する動画像メモリと、 分離された前記付随画面データを1画面分の画素信号群
に展開して保持するデータ画面メモリと、 前記付随画面データの前記画素信号群に含まれる各画素
信号に、合成可否信号を付加する付随データ処理部と、 前記動画像メモリに保持される前記映像データと前記デ
ータ画面メモリに保持される前記付随画面データとの間
で、対応する画素信号ごとに、前記合成可否信号が第1
値であるときには、双方の画素値を混合した値を合成画
像データの画素値とし、前記合成可否信号が第2値であ
るときには、前記付随画面データの画素値を前記合成画
像データの画素値として、前記合成画像データを生成す
る画像合成部と、を備える端末装置。 - 【請求項2】 動的な映像データとこれに付随する付随
画面データとを多重化形式で含む多重化データから、前
記映像データと前記付随画面データとを分離するデータ
分離部と、 分離された前記映像データを1画面分の画素信号群に展
開して保持する動画像メモリと、 分離された前記付随画面データを1画面分の画素信号群
に展開して保持するデータ画面メモリと、 前記付随画面データの前記画素信号群に含まれる各画素
信号に、合成可否信号を付加する付随データ処理部と、 前記動画像メモリに保持される前記映像データと前記デ
ータ画面メモリに保持される前記付随画面データとの間
で、対応する画素信号ごとに、前記合成可否信号が第1
値であるときには、前記映像データの画素値を合成画像
データの画素値とし、前記合成可否信号が第2値である
ときには、前記付随画面データの画素値を前記合成画像
データの画素値として、前記合成画像データを生成する
画像合成部と、を備える端末装置。 - 【請求項3】 前記付随データ処理部は、前記付随画面
データが二値画像データであるときには、画素値が一方
値である画素に対して前記合成可否信号を前記第2値に
設定し、画素値が他方値である画素に対して前記合成可
否信号を前記第1値に設定する、請求項1または請求項
2に記載の端末装置。 - 【請求項4】 前記付随データ処理部は、前記付随画面
データが二値画像データであるときには、画素値が一方
値である画素および当該画素に所定限度を超えて近接す
る画素に対して前記合成可否信号を前記第2値に設定
し、他の画素に対して前記合成可否信号を前記第1値に
設定する、請求項1または請求項2に記載の端末装置。 - 【請求項5】 前記付随データ処理部は、前記付随画面
データが階調を有する画像データであるときには、すべ
ての画素に対して、前記合成可否信号を前記第2値に設
定する、請求項3または請求項4に記載の端末装置。 - 【請求項6】 請求項1ないし請求項5のいずれかに記
載の端末装置に使用される端末装置用プログラムであっ
て、前記付随データ処理部の動作をコンピュータに実現
させる端末装置用プログラム。 - 【請求項7】 請求項1ないし請求項5のいずれかに記
載の端末装置に使用される端末装置用プログラムであっ
て、前記画像合成部の動作をコンピュータに実現させる
端末装置用プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001216511A JP2003032747A (ja) | 2001-07-17 | 2001-07-17 | 端末装置および端末装置用プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001216511A JP2003032747A (ja) | 2001-07-17 | 2001-07-17 | 端末装置および端末装置用プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2003032747A true JP2003032747A (ja) | 2003-01-31 |
Family
ID=19050979
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001216511A Pending JP2003032747A (ja) | 2001-07-17 | 2001-07-17 | 端末装置および端末装置用プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2003032747A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006080692A1 (en) * | 2004-10-08 | 2006-08-03 | Neomtel Co., Ltd. | Method and mobile communication terminal for playing multimedia content |
WO2006123744A1 (ja) | 2005-05-18 | 2006-11-23 | Nec Corporation | コンテンツ表示システム及びコンテンツ表示方法 |
JP2008191455A (ja) * | 2007-02-06 | 2008-08-21 | Nec Corp | プレゼンテーション支援システム、方法、及びプログラム。 |
-
2001
- 2001-07-17 JP JP2001216511A patent/JP2003032747A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006080692A1 (en) * | 2004-10-08 | 2006-08-03 | Neomtel Co., Ltd. | Method and mobile communication terminal for playing multimedia content |
WO2006123744A1 (ja) | 2005-05-18 | 2006-11-23 | Nec Corporation | コンテンツ表示システム及びコンテンツ表示方法 |
JP2008191455A (ja) * | 2007-02-06 | 2008-08-21 | Nec Corp | プレゼンテーション支援システム、方法、及びプログラム。 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9836267B2 (en) | Image/audio playback device of mobile communication terminal | |
JP4792458B2 (ja) | 字幕表示装置 | |
US8120623B2 (en) | Apparatuses for overlaying images, portable devices having the same and methods of overlaying images | |
JP2004312685A (ja) | 携帯端末機の画像表示装置及び方法 | |
JP2004164098A (ja) | ウェブカメラ | |
JP2001127847A (ja) | 電話機及び電話機のデータ伝送方法 | |
CN111193878A (zh) | 一种多媒体文本信息处理方法、装置、介质和电子设备 | |
US20060262142A1 (en) | Method for displaying special effects in image data and a portable terminal implementing the same | |
JP4159043B2 (ja) | テレビジョン放送システム | |
JP4136383B2 (ja) | テレビ受信装置及びその制御方法 | |
JP4215423B2 (ja) | 画像データ出力装置 | |
JP2003032747A (ja) | 端末装置および端末装置用プログラム | |
CN114782250A (zh) | 视频图像处理方法、装置、电子设备及存储介质 | |
JP2003209797A (ja) | デジタル放送受信装置及びその方法並びに印刷装置及びその方法 | |
JPH09116759A (ja) | 画像復号化装置および画像符号化・復号化システム | |
KR100833294B1 (ko) | 웹정보 제공 시스템 및 서버 시스템 및 운용방법 | |
JP2007019956A (ja) | 画像合成装置及び画像合成方法 | |
JP4697482B2 (ja) | 画像合成装置 | |
JPH08274961A (ja) | 画像伝送方法及び装置並びに解像度制御装置 | |
JP2003018392A (ja) | 画像処理装置、および画像処理方法 | |
CN115640248A (zh) | 一种可配置视频图像处理的采集卡及其视频图像处理方法 | |
JPH0955947A (ja) | 音声処理装置 | |
JP2008311788A (ja) | デジタルデータ放送情報の制御システム | |
JP2006211059A (ja) | 携帯電話のav外部インターフェイス | |
KR20000020532U (ko) | 캡션처리장치 |