JP2005031510A - 情報処理装置 - Google Patents

Abstract

【課題】 動画像表示を行う情報処理装置において、ユーザの操作性及び利便性を向上させる。
【解決手段】 記憶装置に用意された画像データに基いて、オペレーティングシステムによるＵＩ（ユーザインターフェース）用表示部品の描画処理とは独立して、表示画面の画像表示領域に動画像を表示する。ＵＩ用表示部品を表示させる際に、該表示部品の表示領域と動画像の画像表示領域とが互いに重なる場合に、動画像を構成する画像データのうち該表示部品の表示領域に相当する部分を除いた画像データを画像表示領域に描画する。これにより、動画像表示のための描画更新によって、ＵＩ用表示部品が消されないようにした。
【選択図】 図１

Description

本発明は、動画像の表示機能をもつ情報処理装置において、ユーザインターフェース用表示部品の表示領域と動画像の表示領域とが画面上で位置的に干渉する場合に、該表示部品の表示領域を回避して動画像表示を行えるようにするための技術に関する。

コンピュータ機器に搭載されるオペレーティングシステム（以下、単に「ＯＳ」という。）は、アプリケーションの処理に必要な各種機能を提供するが、ユーザの操作性を高めたＧＵＩ（Graphical User Interface）の形態ではポインティングデバイス等で直感的にアイコン選択やメニュー操作等を行うことができる。

例えば、ユーザが動画表示を行うアプリケーションを起動して、所望の動画像データを表示領域全体に表示させている状態で、何らかの操作を行った場合にメニューやウィンドウ等のＧＵＩ部品が描画されると、その描画領域によって動画像の表示領域が部分的に隠されてしまうが、ＧＵＩ部品が非表示の状態に戻るとそれまで隠されていた表示部分が元の状態に戻る。このような処理についてはＯＳの機能によりＧＵＩ部品の表示や非表示及び表示範囲が管理されており、ＧＵＩ部品の描画領域と動画像の表示領域との間の重複範囲について再描画が行われる。

ところで、動画像の表示機能をそれ自身の機能として有していないＯＳが搭載された装置等において、ＯＳ下でＧＵＩ部品の描画と独立して動画像を表示させる場合には、例えば、ＧＵＩ部品の表示領域が動画像の描画によって上書きされてしまうため、操作性に悪影響を及ぼす虞がある。

図５は、表示画面例を示したものであり、アプリケーションのメニューバー上に「Edit」、「File」の項目が示され、ユーザが「Edit」を選択した場合に表示されるプルダウンメニュー（Cut、Copy、Paste）の一部が、動画像の描画（画像表示領域「ＧＡ」参照。）によって見えなくなった状態を示している。

ＯＳによって描画されるメニュー等のＧＵＩ部品のうち、動画像の表示領域とオーバーラップする範囲については、動画像を表示するための画像の更新（新たな描画）によって書きかえられてしまうため、ポインティング操作に必要な範囲が背後に隠れてしまい、ユーザが操作し難くなる。そこで、そのような不都合が起きないようにするには、メニュー操作時に動画表示を一時停止させれば良いが、利便性を考えるとＧＵＩ部品が描画されても動画表示が中断されないようにすることが好ましい。また、表示範囲についてオーバーラップが生じないように互いの表示位置をずらすといった方法も挙げられるが、常にそのような処理が可能であるとは限らず、また処理が複雑になってしまう。

そこで、本発明は、動画像表示を行う情報処理装置において、ユーザの操作性及び利便性を向上させることを課題とする。

本発明は、上記した課題を解決するために、記憶装置に用意された画像データに基いて、オペレーティングシステムによるユーザインターフェース用表示部品の描画処理とは独立して、表示画面の画像表示領域に動画像を表示するとともに、該表示部品を表示させる際に、該表示部品の表示領域と動画像の画像表示領域とが互いに重なる場合（領域同士の干渉）において、動画像を構成する画像データのうち該表示部品の表示領域に相当する部分以外の画像データを画像表示領域に描画するように構成したものである。

従って、本発明によれば、表示画面上にユーザインターフェース用表示部品（ＧＵＩ部品等）が描画された表示状態では、該表示部品の表示範囲を除いた画像表示領域に動画像を表示させることができる。

本発明によれば、表示画面上のユーザインターフェース用表示部品がその後に描画される画像によって書き潰されることがなく、また、動画像表示の停止等の対策を講じる必要がない。よって、ユーザの操作性及び利便性を向上させることができる。そして、ＯＳが動画像の表示機能をそれ自身の機能として有していない場合でも、ＯＳによるメニュー等の描画と独立して動画像の表示を支障なく行うことができる。

また、画像表示領域に対してその表示位置毎に画像データの表示及び非表示を規定するための設定データからなるマスク領域を設け、ユーザインターフェース用表示部品の表示領域に応じてマスク領域を更新することによって、該表示部品の表示領域を回避して動画像を描画することができる。

そして、上記マスク領域の設定データに係るメモリアドレス及び複写元である画像データのアドレス及び複写先のアドレスを指定して該画像データをビデオメモリ領域に転送する装置を設けることにより、処理速度を高めたり、中央処理装置の処理負担を軽減することができる。あるいは、そのような装置を用いることなく、中央処理装置により実行されるプログラムによって上記マスク領域の設定データを参照しながら画像データをビデオメモリ領域に転送することにより、ハードウェア構成を変更せずにプログラム処理で対応することができる。

本発明は、動画像表示が可能な情報処理装置において、ユーザインターフェース用表示部品の表示領域と動画像の表示領域との間で表示画面上の干渉が起き得る場合に、ユーザインターフェース用表示部品のうち両表示領域の重複範囲が動画像によって書き消されないようにすること及び該ユーザインターフェース用表示部品が正規に表示されたままの状態で動画像表示を続行できるようにすることを目的する。

本発明の適用においては、ユーザインターフェース用の表示部品を表示装置の表示画面上に描画する機能をもつＯＳが搭載された情報処理装置であって、動画表示が可能であることが前提とされ、例えば、携帯型コンピュータやＰＤＡ（Personal Digital Assistance）、移動体通信端末装置、映像機器や撮像機器等に用いることができる。

動画像の画面表示において、記憶装置に用意された画像データに基いて、ＯＳによるメニュー等の表示部品の描画処理とは独立して表示画面の画像表示領域に画像データを表示する場合には、該表示部品と動画像との間で表示範囲が重なり合う場合への対応が必要である。例えば、ＯＳが動画像の表示機能をそれ自身の機能として有していない場合であって、動画像の表示中にユーザ操作によりメニュー等の表示部品が表示された場合には、動画像表示のための画像更新によって該表示部品が書き消されないないようにする必要がある（そうしないと、ユーザがメニュー操作等を行えなくなる虞が生じる。）。

本発明では、メニュー等の表示部品を表示させる際に、該表示部品の表示領域と動画像の画像表示領域とが互いに重なる場合に、表示部品の表示を優先し、動画像を構成する画像データのうち該表示部品の表示領域に相当する部分以外の画像データを画像表示領域に描画する手段を備えている。つまり、動画像に係る画像データについては、重複範囲であるメニュー等の表示部品の表示領域を除いた範囲において画像表示を行うことにより、該表示部品が動画像に係る画像表示領域にかかって表示された場合でも、それ以外の画像表示範囲において動画表示を続行することができる。

図１は、本発明に係る画像処理例について説明するための図である。

左端に示す画像は、動画像を構成する１つの画像「Ｇ」を示しており、例えば、ＭＰＥＧ（Moving Picture Experts Group）４のデコードデータ等が記憶装置に用意される。そして、転送対象とされる当該画像のデータは、例えば、ビデオメモリ領域（あるいはＶＲＡＭ領域）に書き出された後、表示装置に転送されて画像表示される。

図の中央に示す領域ＭＡ、ＭＢはいずれもマスク領域を示している。両者のうち、上方に位置する領域ＭＡは画像「Ｇ」の全領域を表示させるためのマスク領域を示し、下方に位置する領域ＭＢは、画像「Ｇ」のうち一部を除いた領域を表示させるためのマスク領域を示している。

マスク領域は、画像表示領域に対して、その表示位置毎に画像の表示及び非表示を規定するための設定データ（マスクデータ）から構成され、例えば、２値データを用いて「１」を表示と規定し、「０」を非表示と規定する場合に、８ピクセルを１バイトで表すことができる。

マスク領域ＭＡ、ＭＢにおいて梨地で示す部分が画素を表示すべき範囲を表しており、本例に示すマスク領域ＭＡでは、そのマスクデータからなるパターン（マスクパターン）が矩形状をなし、ＭＡを用いると右上図（Ａ）に示すように、全領域に亘って画像Ｇのデータが表示される（図に格子縞で示す範囲はＶＲＡＭにおける非表示範囲を概念的に示す。）。

また、マスク領域ＭＢにおいては白地の矩形範囲「Ｌ」で示す部分（破線枠参照）が非表示とされ、この範囲を除いた梨地部分が画素を表示すべき範囲を表している。よって、この場合のマスクパターンは、一部分（本例では左上部分）が欠如した形状をなし、右下図（Ｂ）に示すように、当該部分に相当する画像Ｇの一部「Ｋ」が非表示となる。

このように、画像表示領域に対して、その表示位置毎に画像の表示及び非表示を規定するための設定データからなるマスク領域を設定することによって、画像Ｇについて全域又は一部領域の画像表示又は非表示の処理を行うことができる（例えば、画像データとマスクデータとの論理積演算等。）。

上記の範囲「Ｌ」は、メニュー等の表示部品にかかる表示範囲に対応しており、よって非表示部「Ｋ」は該表示部品によって画面上では隠される領域である。このようなマスクパターンを用いて特定の表示範囲を除いた表示範囲に動画像を表示させる場合の手順は、概ね下記の通りである。

（１）メニュー等の表示部品を表示する際に、その表示領域を検出する
（２）メニュー等の表示領域と、動画像の画像表示領域との間に重なりが生じる場合には、マスク領域のうち該表示部品の表示領域に相当する部分（上記「Ｌ」参照。）を非表示域として処理することでマスク領域を更新する
（３）動画像に係る画像データのうち、（２）で更新されたマスク領域の設定データに従って表示すべき部分だけを表示画面に描画する。

このように、メニュー等の表示部品を表示する場合にマスク領域がその都度更新され、該マスク領域を用いて指定された範囲について動画表示を行うことができる。

本発明に係る実施上の構成形態には、下記に示す例が挙げられる。

（Ｉ）画像データに係るメモリ転送装置を用いた形態
（ＩＩ）中央処理装置（ＣＰＵ）によって画像データのメモリ転送を行う形態。

先ず、形態（Ｉ）では、ＣＰＵに係る処理負担を軽減したり処理速度を高めるために、ＤＭＡ（Direct Memory Access）転送の機能を備えた装置等が使用される。例えば、上記したマスク領域に対応する表示画面上の画像表示領域において画像データの描画処理を行う場合に、マスク領域の設定データに係るメモリアドレス及び複写元である画像データのアドレス及び複写先のアドレスを指定して該画像データを記憶装置のビデオメモリ領域に転送する装置を設けた構成形態が挙げられる。

図２は、そのような情報処理装置１の基本構成例について要部を示したものであり、それ以外に装備される各種装置（カメラや音声処理装置等）の図示を一切省略している。

情報処理装置１は、ＣＰＵ２、記憶装置（メモリ）３、表示装置４、入力装置（あるいは操作装置）５を備えている。

ＣＰＵ２は、記憶装置３上にあるＯＳやアプリケーションプログラムを読み込んで逐次実行する。

プログラムやデータを格納する記憶装置３には、アクセス時間が短いデバイス（ＳＤＲＡＭ等の半導体メモリ）が使用される。

表示装置４は本例において液晶表示装置（ＬＣＤ）が使用され、コントローラ（ＬＣＤコントローラ）４ａ及び画像表示部（ＬＣＤパネル）４ｂを有する。コントローラ４ａは、記憶装置３上の特定のアドレスに割り当てられたビデオメモリ領域のデータを所定のタイミングで読み込み、画像表示部４ｂに転送する。転送されたデータは画像表示部４ｂに画像として表示される。

入力装置５としては、ペンタップ式装置やキーボード、ダイヤル式操作装置等が挙げられ、ユーザの操作指令をＣＰＵ２に伝えることができる。

上記したＤＭＡ転送機能を備えた装置６（以下、「グラフィックエンジン」という。）は、ＣＰＵ２からの指示を受けて、記憶装置３上の特定アドレスから他のアドレスに画像データを矩形転送する機能を有する。但し、通常のＤＭＡと異なり、水平方向に１ライン転送した後に、次ラインの描画位置の先頭まで転送先アドレスをスキップさせることができる。つまり、図１（Ａ）図を例にすると、画像Ｇにおいて、Ｎ番目の水平ラインのスタート位置から１Ｈ分のライン転送を行った後に、そのエンド位置から次の水平ラインのスタート位置にジャンプしてそこから１水平ラインの転送を行うという具合に、矩形領域の画像データを転送することができる。また、矩形転送を行う際、マスクデータのアドレスを指定することができ、矩形領域の特定の部分をマスクして転送することができる機能を有する。尚、これは、図１（Ｂ）図で説明したように、画像Ｇのうち特定範囲だけを非表示とする場合に必要とされる。

上記の装置は、例えば、ＧＵＩ機能を持つＯＳの管理下におかれており、アプリケーションプログラムはＯＳのサービスルーチンをコールすることによりメニューやウィンドウ等のＧＵＩ部品（表示部品）を使用することができる。尚、上記したように、ビデオメモリ上の領域を特定のタイミングで書き換えれば表示画面上に動画像を表示させることができるが、以下では、装置搭載のＯＳがそれ自体の機能として動画像の表示機能を持っていないものとする。

図３はハードウェア層を下層として、その上にソフトウェア階層を例示した概念図である。

ハードウェア層にはグラフィックエンジン６だけを示しており、その上にはデバイスドライバ７、ＯＳ８、アプリケーション（プログラム）９を順に示している。

尚、グラフィックエンジン６は前記したＤＭＡ転送の他に、カラースペースコンバージョン（色空間変換）やビデオスケーラ等の処理機能をもつが、本発明に関係するのはメモリデータの転送装置としての機能である。

以下では、動画像を表示するアプリケーション９が動作している場合を想定し、動画像の表示をサポートしていないＯＳ８がメニュー等のＧＵＩ部品を表示させた時に、ＧＵＩ部品の表示と動画像の表示との干渉により描画処理が競合しないための画面調停の動作について、図４を用いて説明する。尚、（Ａ）図、（Ｂ）図に示す表示画面例において、（Ａ）図はメニュー画面の操作が行われていない状態を示し、（Ｂ）図はユーザ操作によってプルダウンメニューが表示された状態を示している。

先ず、アプリケーション９の初期化時等において、適当なタイミングをもって、動画像の表示領域に対応するマスクデータを作成する。ここで作成されるマスク領域については、（Ａ）図の領域「ＧＡ」で示すように、動画像を表示したい領域全体を指定しておく。そして、画像を表示したいタイミングでアプリケーション９からグラフィックエンジン６を逐次起動すると、メモリ上に用意された画像データのうち、その転送時に同時に指定されたマスクデータによって指示される範囲のデータが、ビデオメモリ上に矩形転送されて動画像が表示される。つまり、（Ａ）図では、画像表示領域の全域に亘って動画像表示が行われ、アプリケーション９が通常のモードで動作している状態（プルダウンメニュー等による画像表示領域への干渉がない状態）を表している。

次に、アプリケーション９が動画像を表示している最中に、ユーザ（操作者）が入力装置５を用いて、例えば、メニュー操作を行うと、アプリケーション９はＯＳ８のサービスルーチンをコールすることにより、メニュー処理をＯＳ８に委ねる。ＯＳ８は通常、そのサービスルーチンを置き換える機能を有している（イベントハンドラの入れ替え等。）。予めメニューを表示するサービスルーチンにパッチ（追加的な処理部分）をあてておくと、メニューの処理が行われたときにこのパッチ部分が呼ばれる。メニューを描画するサービスルーチン内では、メニューを描画する位置およびサイズ等の情報を含んでおり、例えば、矩形状表示部品の場合、画面上の左上位置及び右下位置と縦方向及び横方向のサイズ（高さと横幅）の情報によって描画範囲が決まる。よって、このパッチ部分が呼び出された場合、当該部分の処理において、メニューが表示される領域とマスク領域とが重複する部分を算定してマスクデータを更新し（つまり、重複部分を非表示に設定し直す。）、オリジナル（パッチをあてる前）のＯＳのサービスルーチン（デフォルトのハンドラ）を呼ぶ。画面上にメニューが表示されているときでもマスクパターン全体から該メニューが表示される範囲を差し引いたものがマスクパターンとして更新されているので、（Ｂ）図に領域「ＧＢ」で示すように、動画像がメニューの表示領域を除いた領域に表示され、ＯＳの描画領域（メニュー部分）と動画像の画像表示領域との間で画面調停が行われる。

また、操作者がメニューの選択を終了したときは、そのタイミングで呼ばれるＯＳのサービスルーチンが存在するので、予めそのサービスルーチンにパッチをあてておくことにより、メニューが消去されるタイミングをもって、マスク領域を初期状態（メニュー表示前の状態）に戻すことができる。この処理によってメニューが消去されると、再び全描画領域についてマスクデータが表示を意味する値（例えば、論理値「１」）として指定され、メニュー描画領域に対応する動画像領域のマスク処理が解除されて、（Ａ）図のように動画像の全域が表示される。

以上に説明した処理を箇条書きにして簡単にまとめると、以下のようになる。

（１）動画像の全体表示
（２）ユーザの操作（メニュー操作等）
（３）ＯＳによるＧＵＩ部品の描画
（４）ＧＵＩ部品の描画領域の検出（描画範囲の取得）
（５）ＧＵＩ部品の描画領域に応じたマスク領域の更新
（６）マスク領域に応じた画像データの表示（動画像の部分的表示）
（７）ユーザの操作（メニュー操作等の終了）
（８）ＯＳによるＧＵＩ部品の消去
（９）ＧＵＩ部品の消去に応じたマスク領域の更新
（１０）マスク領域に応じた画像データの表示（（１）に戻る。）。

尚、上記（６）や（１０）の処理をグラフィックエンジン６が担当し、これがＣＰＵ２により実行されるプログラム（アプリケーション９）によって起動されて、マスクデータ及び画像データに従って矩形転送を行い、ビデオメモリにデータが書き込まれることで画像表示が行われる。また、本例において、上記（５）、（９）の処理は、図３において、グラフィックエンジン６とＯＳ８との間に位置するデバイスドライバ７が担当している。つまり、該ドライバは、動画像の表示領域に対してマスク領域を設定したり、ＯＳ８がＧＵＩ部品等を表示するタイミングにおいて、ＧＵＩ部品の表示領域が動画像の表示領域と重複する場合にマスク領域を更新する機能を有する。これによって、ＧＵＩ部品の表示領域が動画像の描画によって消されなくなる。

図４では、説明を簡単化するために、ＧＵＩ部品として１つのプルダウンメニューを例示したが、動画像の表示中におけるユーザ操作によって、このようなメニュー等が複数表示された場合であっても、各ＧＵＩ部品の表示領域を検出してその総和をとって（論理和演算等）、マスク領域を更新すれば済むので処理が容易である（動画像の表示領域のうち、各ＧＵＩ部品の表示領域を除いた領域に画像を表示できる。）。また、マスク領域のデータ更新において、非表示領域が矩形範囲に限られる訳ではないので、各種形状をしたＧＵＩ部品の表示領域を避けて動画像を表示させることができる。

本発明の適用において上記のグラフィックエンジン６を必要としない場合、例えば、ＣＰＵの処理能力が高く、画像処理速度の低下等が問題にならない場合には、上記形態（ＩＩ）のように、ＤＭＡ転送に頼る必要はない。つまり、マスク領域に対応する画像表示領域に画像データの描画処理を行う場合において、ＣＰＵにより実行されるプログラムによって、マスク領域の設定データ（マスクデータ）を参照しながら画像データをビデオメモリ領域に転送すれば良い。

上記に説明した構成によれば、例えば、下記に示す利点が得られる。

・動画像の表示機能をそれ自身の機能として持っていないＯＳ上で、該ＯＳによるＧＵＩ部品の描画とは独立して動画像の表示を行った場合に起こり得る弊害を防止できる。つまり、動画像を表示するための画像の更新（次データの描画）によって画面上のＧＵＩ部品が書き潰されてしまわないようにすることができる。しかも、ＧＵＩ部品の表示によって動画像の表示を停止させたり、表示位置をずらす等の処理が不要である。

・ＯＳのＧＵＩ表示と動画像表示とが重なり合う範囲について画面上での調停を可能にし、ユーザの操作性を損わないようにして操作上の統一感を保証することができる。

本発明に係る画像処理例の説明図である。 本発明に係る情報処理装置の基本構成例を示すブロック図である。 デバイス及びソフトウェアの階層構造を示す概念図である。 ＧＵＩ部品表示と動画像表示との関係について説明するための図である。 従来の問題点について説明するための図である。

符号の説明

１…情報処理装置、２…中央処理装置、３…記憶装置、４…表示装置、６…ビデオメモリ領域への転送装置、８…オペレーティングシステム、ＭＡ、ＭＢ…マスク領域

Claims (5)

1. 記憶装置上のプログラムに従って演算を行う中央処理装置と、演算結果を表示する表示装置を備え、ユーザインターフェース用の表示部品を表示装置の表示画面上に描画する機能をもつオペレーティングシステムが搭載された情報処理装置において、
   上記記憶装置に用意された画像データに基いて、上記オペレーティングシステムによる上記表示部品の描画処理とは独立して上記表示画面の画像表示領域に動画像を表示するとともに、
   上記表示部品を表示させる際に該表示部品の表示領域と上記画像表示領域とが互いに重なる場合には、動画像を構成する上記画像データのうち該表示部品の表示領域に相当する部分以外の画像データを上記画像表示領域に描画する
   ことを特徴とする情報処理装置。
2. 請求項１に記載の情報処理装置において、
   上記オペレーティングシステムは動画像の表示機能をそれ自身の機能として有していない
   ことを特徴とする情報処理装置。
3. 請求項１に記載の情報処理装置において、
   上記画像表示領域に対して、その表示位置毎に画像の表示及び非表示を規定するための設定データからなるマスク領域を設定するとともに、
   上記表示部品を表示する際にその表示領域を検出し、該表示領域と上記画像表示領域とが重なる場合において上記マスク領域のうち該表示部品の表示領域に相当する部分を非表示域として処理することで該マスク領域を更新し、動画像を構成する画像データのうち、更新されたマスク領域に従って表示すべき部分だけを上記表示画面に描画する
   ことを特徴とする情報処理装置。
4. 請求項３に記載の情報処理装置において、
   上記マスク領域に対応する画像表示領域に画像データの描画処理を行う場合に、上記マスク領域の設定データに係るメモリアドレス及び複写元である上記画像データのアドレス及び複写先のアドレスを指定して該画像データを上記記憶装置のビデオメモリ領域に転送する装置を設け、上記中央処理装置により実行されるプログラムによって該装置を起動させることで画像表示が行われる
   ことを特徴とする情報処理装置。
5. 請求項３に記載の情報処理装置において、
   上記マスク領域に対応する画像表示領域に画像データの描画処理を行う場合に、上記中央処理装置により実行されるプログラムによって、上記マスク領域の設定データを参照しながら上記画像データを上記記憶装置のビデオメモリ領域に転送することで画像表示が行われる
   ことを特徴とする情報処理装置。
   
   
   

Images