JP5226188B2

JP5226188B2 - 画像表示装置およびその表示方法

Info

Publication number: JP5226188B2
Application number: JP2006050545A
Authority: JP
Inventors: 健太木下
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 2006-02-27
Filing date: 2006-02-27
Publication date: 2013-07-03
Anticipated expiration: 2026-02-27
Also published as: JP2007232751A; WO2007099914A1; US20090096772A1; CN101432791B; CN101432791A

Description

本発明は、画像表示装置およびその表示方法に関する。

自発光素子は、表示させる表示色によって消費電力が変化するという特徴をもっているため、消費電力の少ない色（黒、緑）を携帯端末の待ち受け等で積極的に利用するという試みがなされている。また、自発光素子は一般に液晶よりも電力を多く消費するため、携帯端末などの小さい電力しか持たない電池を使う機器では、変化の少ない表示領域は点灯表示させないなどの省電力方法が用いられている。自発光型表示装置の省電力対策として、電池残量に応じて画面表示領域の明るさを制御する（特許文献１を参照されたい。）、電池残量に応じてRGBの色の色素を間引いていく（特許文献２を参照）、背景色をライン状、市松模様状に間引き表示(点灯させない)するように制御を行う（特許文献３を参照）ような消費電力の少ない色に変更するという手法が主である。
特開2004-12600号公報特開2004-198809号公報特開2004-12655号公報

従来手法による省電力対策では、省電力制御を行う事で元々の画像の表示色と違った色に変化してしまう、また電池残量が少なくなれば画面が暗くなるためユーザの視認性が十分満足できないという課題がある。また、動画再生のようにユーザが連続視聴をする場合に、急激に画像が変化してしまいユーザにとってかなり違和感を感じるなどの問題があった。

上述した諸課題を解決すべく、第１の発明による画像表示装置は、
画像表示装置が、すべての色と消費電力との関係を記憶部に記憶しておき、当該関係を用いて画像データから１フレーム内の各画素毎の消費電力値を求めてその合計値であるフレーム消費エネルギーを算出し、当該フレーム消費エネルギーから目標とする省電力化後のフレーム消費エネルギーを算出し、当該省電力化後のフレーム消費エネルギーに基づいて、画素単位でフレームに挿入するべき最低輝度値の画素数を算出し、当該画素数に達するまで、前記画像データを構成する各画素のうち、最低輝度値の画素を除いて画素の輝度値が低いほど高い頻度で、最低輝度値の画素に変換するようにし、前記変換された画素を含む画素データを表示するようにしたことを特徴とする。

上述したように本発明の解決手段を装置として説明してきたが、本発明はこれらに実質的に相当する方法、プログラム、プログラムを記録した記憶媒体としても実現し得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。
例えば、本発明を方法として実現させた第２の発明による画像表示装置の表示方法は、
すべての色と消費電力との関係を記憶部に記憶しておき、当該関係を用いて画像データから１フレーム内の各画素毎の消費電力値を求めてその合計値であるフレーム消費エネルギーを算出し、当該フレーム消費エネルギーから目標とする省電力化後のフレーム消費エネルギーを算出し、当該省電力化後のフレーム消費エネルギーに基づいて、画素単位でフレームに挿入するべき最低輝度値の画素数を算出し、当該画素数に達するまで、前記画像データを構成する各画素のうち、最低輝度値の画素を除いて画素の輝度値が低いほど高い頻度で、最低輝度値の画素に変換するようにし、前記変換された画素を含む画素データを表示するようにした、ことを特徴とする。

本発明によれば、消費電力が最も少ない黒色を画素単位でフレームに挿入することで、ユーザの視認性を満足させながら省電力を達成することが可能となる。即ち、本発明では、OLEDなどの自発光素子を載せた移動体端末で動画再生を行う場合に、本来の画像表現を保ちつつ、ユーザの視認性を満足させることが可能となる。

以降、諸図面を参照しながら、本発明の実施態様を詳細に説明する。自発光素子を使った画像表示装置の典型例として移動体端末（携帯端末装置）に本発明を適用して説明する。図１は、本発明を適用した移動体端末の画像表示機能ブロックを示すブロック図である。図に示すように、本発明を適用した移動体端末１００は、記憶部１２０、キャッシュ（ワークメモリ）１３０、表示部１４０、操作部１５０、および制御部１６０を備える。記憶部１２０は、省電力変換前の画像データ１２２、省電力画像変換アルゴリズム（プログラムモジュール）１２４、色と消費電力の相関関係情報１２６を記憶しておく部分である。キャッシュ１３０は、記憶部から読み出した画像データおよび様々な処理中のデータ、特に、変換後の画素を含む変換後画像データ１３２を一時的に記憶しておく。表示部１４０は、自発光素子で構成された表示部であり、制御部１６０によって制御された映像を表示させる部分である。操作部１５０は、ユーザからの入力を受け入れるブロックである。制御部１６０は記憶部１２０に保存されている設定に従いデータを処理し、各部の制御を行うブロックであり、再生処理部１６２および省電力画像変換部１６４を備える。再生処理部１６２は、記憶部１２０に記憶されている画像データのデコードと再生処理を行う部分、省電力画像変換部１６４は、再生処理部１６２でデコードされた画像データを省電力画像変換アルゴリズム１２４を使って変換処理を行うブロックである。省電力画像変換部１６４は、画像データの各画素の輝度値、および、該各画素の輝度値の合計である合計輝度値を演算したり、他の関連演算なども行う演算部１６４Ａと、演算部で演算した合計輝度値が、所定の輝度値になるまで、前記画像データを構成する各画素のうち、最低輝度値の画素を除いて最も低い輝度値を持つ画素から、最低輝度値の画素に変換したり、相関関係色に変換する変換部１６４Ｂとを備える。上記構成によって、画質の変化をユーザにほとんど意識させることなく移動体端末の省電力を達成して、連続作動時間の向上を図ることが可能となる。

また、図１３は従来の自発光型表示部を持つ移動体端末のブロック図である。図１と従来の図１３を比較すると、図１の記憶部１２０には、省電力変換アルゴリズム１２４、色と消費電力の相関関係情報１２６が追加され、省電力画像変換部１６４が制御部１６０に追加されており、これらが本発明の主要な部分をなす。

また、本発明の消費電力を適宜消費エネルギーまたはエネルギーと記載して説明することがある。図２は、有機発光ダイオード（OLED）における色と消費電力の相関関係図である。横軸はRGB符号、縦軸は消費電力値を表している。色と消費電力の相関関係図とは、色毎の消費電力値を対応させたものである。色と消費電力の相関関係図（いわゆるRGB888形式であり、RGBの各色を8ビット：256色で表現する形式である。）は、4つに大別されており、
1)黒と白のモノクロでの消費電力関係(0x000000〜0x******〜0xffffff)
2)赤の濃淡消費電力関係(RGB:0x000000〜0x**0000〜0xff0000〜0xff****〜0xffffff)
3)緑の濃淡消費電力関係(RGB:0x000000〜0x00**00〜0x00ff00〜0x**ff**〜0xffffff)
4)青の濃淡消費電力関係(RGB:0x000000〜0x0000**〜0x0000ff〜0x****ff〜0xffffff)
上記４つによって全ての色と消費電力の相関関係が表現できる。白(0xffffff)ほど消費電力が高く、黒(0x000000)ほど消費電力が低いという非線形の関係がある。この関係を記憶部に保存しておく事で、１画素に対する消費電力値を算出する事ができる。白にかかる消費エネルギーを100とした場合には、黒の消費電力は17程度である。これは、黒の画素が実際には発光用の電力を消費するわけではないが、この場合であっても素子駆動上の待機電力などが消費されるからである。ここで、点灯させない事と同意であるとして便宜上、黒の消費エネルギーを0と定義する。実際記憶部には、白を100、黒0とした場合の各色の比率が値として記憶されている。

図３は、本発明による画像変換アルゴリズムによって白の画像を８０％の消費電力の画像に変換した場合の模式図である。図３（ａ）に示した320×240画素の白(0xffffff)フレームから消費エネルギーを算出し、黒点を挿入して消費電力を80％に抑えた図３（ｂ）に変換するためには、最低輝度値の画素である黒点をいくつ挿入すればよいかを図の右側に計算例として図示してある。色と消費電力の相関関係図を元にフレームの消費エネルギーを計算し、挿入する黒点の数を決定する事ができる。

図４は、自然画像を表示した際の消費エネルギーを算出し、黒点挿入をした例である。ここでは、MPEG形式の画像パケットが送られてきた事を想定している。フレーム走査によって黒点以外の平均消費エネルギーEaを計算し、黒点挿入数xを算出している。消費電力を100%（通常状態）から80％に変換した後の画像（省電力状態）を見ると、黒点挿入方法に特徴がある事がわかる。黒点挿入時に以下のルールに従い、画素を入れ替える。
i)黒に近い画素ほど黒点挿入の頻度を上げる、逆に白に近い色ほど黒点挿入の頻度を下げる。
ii)元々の画素が黒画素の場合は入れ替えない。
iii)MPEG形式の場合はIフレームのみ黒点挿入の位置を変化させる。それ以外のフレーム(P、B)はIフレームと同じ位置に黒挿入を行う。すなわち、15フレームに1回の割合で、フレームを解析し黒点挿入の位置を変化させる作業を行う。
ルールi)によれば、黒に近い画素ほど黒点に変換される確率が高くなり、白に近い画素ほど黒点に変換される確率が低くなるため、ユーザに画質の変化を認識させにくい効果がある。図４(b)では、図の左上に位置する空は明るく黒から遠いため黒点挿入が少なく、左やや下に位置する山はやや黒に近いため黒点挿入がやや多く、一番下にの地面部分は黒に最も近いグレー色であるため、この図では黒点挿入が最も多くなっている。また、ルールiii)によって黒点の挿入位置が一定間隔で変化するため、ユーザが動画視聴時に黒点が挿入されている事を意識せずに見る事ができるといった効果がある。

図５は、本発明による移動体端末の画像変換アルゴリズムの処理フローを示すフローチャートである。ここで、図５のフローチャートにおいて、Iフレームのときのみにフレーム消費エネルギー算出処理サブルーチン（図６）と、黒点挿入位置決定処理サブルーチン（図７）の処理が行われる。フレーム消費エネルギー算出処理時に各画素のエネルギー値情報テーブルを図８のように記憶部に保存しておき、黒画素以外の画素をこのテーブルのように黒点挿入候補リストのように記憶部で記憶しておく。黒点挿入位置決定処理では、黒点挿入候補リストの中から黒点に変換する画素の選択決定を行う。ここで、黒点挿入位置の選択方法は消費エネルギーの低い画素を選択する確率を上げ、消費エネルギーの高い画素を選択する確率を下げるように重み付けを行うような選択方法を適用する。黒点挿入位置リストは記憶部に保存しておき、Iフレーム以外のフレーム(B、Pフレーム)において、同様の黒点挿入位置リストを適用し、黒点を挿入する。以下、各フローチャートを詳細に説明する。

図５に示すように、フレームデータを読み込んだ後、本発明による画像変換アルゴリズムを使った省電力再生が開始される。ステップＳ１０ではメモリから省電力設定値Ｎ％を読み出す。そして、ステップＳ１１からＳ２１まで所定の終了条件に到るまでループ１として繰り返す。ループ１に含まれるステップＳ１２では、キー入力を判定し、終了キーの場合はループ１を終了し、キー入力が無い場合はステップＳ１３に進み、画像変換対象となる画像フレームを読み取る。次にＩフレームか否かを判定し（Ｓ１６）、Ｉフレームでない場合は、前回のＩフレームの処理において作成済みの黒点挿入位置リストをメモリから読み出して当該フレームに黒点を挿入する（Ｓ１９）。Ｉフレームの場合は、ステップＳ１７およびＳ１８に進みフレーム消費エネルギー算出処理サブルーチン（図６）と黒点挿入位置決定処理サブルーチン（図７）に制御を渡す（これらのサブルーチン処理は後で詳細に説明する）。サブルーチンの処理を終えた後は、ステップＳ２０に進み表示を行い、終了条件に達するまでループ１の処理を繰り返す（Ｓ２１）。

図６は、Iフレームのときのみ実施されるフレーム消費エネルギー算出処理サブルーチンのフローチャートである。図に示すように、ステップＳ３０では、メモリから画像サイズ（画素数）を読み出し、変数の初期化を行う（Ｓ３１）。ステップＳ３２からステップＳ３９までは繰り返し処理のループ２であり、変数iが画面サイズに達する終了条件になるまで処理を繰り返す。ループ２に含まれる処理ステップＳ３３では、色と消費電力相関リストから画素Ｇ[i]のエネルギーＥｍ[i]を算出する。次に、対象画素が黒点か否かを算出したＥｍ[i]=０か否かで判定する（Ｓ３４）。Ｅｍ[i]=０の場合（対象画素が黒点）は、ステップＳ３６に進み元画像の黒点数としてカウントする。黒点でない場合は、対象画素の番号iを黒点挿入候補リストに格納し（Ｓ３５）、そのエネルギー値もメモリに格納する（Ｓ３７）。最後にエネルギー値を総エネルギー値として集計し（Ｓ３８）、終了条件に達するまでループ２の処理を繰り返す（Ｓ３９、図８(a)参照）。

ループ２の処理が終了した後はステップ４０に進み、省電力Ｎ％のエネルギー値Ｅｓおよびフレームの平均エネルギー値Ｅａを計算する。そして、ステップ４１では、以下の計算を行って処理を終える。
元画像の黒点数Ｘ０＋黒点挿入の画素数Ｘ＋黒点以外の画素数Ｙ＝総画素数（Ｈ×Ｖ）
Ｅａ×Ｙ＝Ｅｓ

図７は、黒点挿入位置決定処理サブルーチンのフローチャートである。図に示すように、ステップＳ５０では、黒点挿入数Ｘ＝０として初期化を行い、ステップＳ５０からステップＳ５４までは繰り返し処理のループ３であり、終了条件になるまで処理を繰り返す。ループ３に含まれる処理ステップＳ５１では、黒点挿入候補リスト（図８(b)参照）よりエネルギー値Ｅｍが大きいほど重み付け（当選頻度）を小さくしてルーレット選択を行う。選択結果をｊとし、黒点をＧ[j]に挿入し、黒点挿入位置リストにこれを追加する（Ｓ５２）。黒点挿入候補リストから処理済みの画素番号ｊを削除し、必要な変数の後処理（デクリメント）を行う（Ｓ５３）。そして、終了条件に達するまでループ３の処理を繰り返す（Ｓ５４）。

図９は、ユーザが省電力化90％に設定し、端末によって動画再生をおこなっている様子を表す模式図である。図中の黒い点が、挿入された黒点を表すものであるが、これは模式図であり、黒点の大きさや挿入位置、挿入個数などは実際のものとは異なり、省電力設定値にもよるが、ユーザが動画再生中に黒点の挿入を認識することはほとんどできない。本発明による画像変換アルゴリズムにしたがってIフレーム毎に黒点挿入の位置が変化して動画再生が行われていく。図中の楕円は、黒点挿入位置がＩフレーム単位で変化したことを模式的に示したものである。これにより、ユーザは動画再生している間、厳密には黒点挿入によって幾らか画質が変化しているにもかかわらず、この変化を認識する事なく省電力90％を達成することが可能になる。

以上のように、最低輝度値を持つ画素として黒点を挿入する事で省電力を実現できるが、一方で省電力化の度合いが大きくなりすぎると、黒点挿入数の増加につながり、画面が見にくくなる可能性がある。そこで、本発明では、色と消費電力の相関関係図を利用して消費電力の少ない同系列色に変換する事で黒点挿入数を減少する事ができる。ここでは、消費電力の少ない色に変換する事を相関関係色変換と呼ぶ。

図１０は、320×240画素の白(0xffffff)画像を省電力80％にする場合に、図２の相関関係図を利用し、全体の色を消費電力90％の色に変換してから黒点を挿入した計算例である。図２（ａ）の白(0xffffff)についての相関関係図を適用し消費電力90％の色に変換する(輝度を下げる事と同意)。図１０（ｂ）が変換後の画像であり、ハッチングは消費電力90％の相関関係色に変換されたことを模式的に示すものである（他の図でも同様である）。図４と図１０とを比較すると、全画素を消費電力90％の画素に変換行う事で黒点挿入数が15360画素から8533画素に減らす事が可能となる。また、相関関係図による変換によって全く異なる色になる事がないので、ユーザは自然画像に近い形で画像を視聴する事ができる。なお、図１０（ｂ）の相関関係色変換のハッチングは作図および説明の便宜上入れたものであり、省電力設定値にもよるが特に動画再生中にユーザがこれを認識することはほとんどできない。

図１１は、相関関係色変換によって全画素を省電力L%の画素に変換するときのフローチャートである。図１１の処理と図５のそれと比べるとフレーム消費エネルギー算出フローに変化がある。それ以外のステップＳ６０−６６、Ｓ７０−７４は図５の対応ステップと同様である。対象画素番号ｉを黒点挿入候補リストに保存した後（Ｓ６６）、ステップＳ６７では、相関関係色変換ありか否かを判定し、条件を満たす場合は、目標とする画像省電力変換率Ｌでエネルギー値を乗算し、それをエネルギー値とし（Ｓ６８）、相関関係色リストから違和感を感じない相関関係がある色に対象画素を置き換える（Ｓ６９）。これらの処理によって、黒点挿入数を減少させることができる。

図１２は、画像変換をおこなった画像を示す図である。図１２（ａ）が原画像であり、図１２（ｂ）は黒点挿入のみの変換後画像であり、図１２（ｃ）は、相関関係の色変換を行い、さらに黒点を挿入した変換後画像である（色変換のおかげで１２ｂより黒点挿入数は減少している）。黒点の挿入数を減らして輝度を下げる（相関関係色変換を行う）のかまたは、輝度を下げずに黒点挿入するのかは、ユーザポリシーによる。

本発明では、OLEDなどの自発光素子を載せた移動体端末で動画再生を行う場合に、本来の画像表現を保ちつつ、ユーザの視認性が満足できる省電力画像変換アルゴリズムを利用するが。これによって以下のような効果が生まれる。省電力画像変換では、消費電力のもっとも少ない黒色を、画素単位でフレームに挿入する事により省電力化を図る。また、ユーザが動画を見る場合に視認性を満足するように、黒色を挿入する位置はMPEG形式であればIフレーム毎といったように、ある一定のフレーム間隔で変化させていく。その結果、ユーザは黒点があると認識しにくくなり、変換前の画像情報を保ちつつ省電力を実現できる。また、省電力画像変換アルゴリズムでは、色と電力の相関関係データを記憶部内にもっており、１つのフレームを再生する場合の消費電力エネルギーを算出する。色と電力の相関関係データはモノクロ、R、G、Bの４つの相関関係データがある。黒色の挿入数を減らしたい場合は、消費エネルギーの多い色を消費電力の低い色に相関関係データを元に変換する事ができる。その結果、従来画像がまったく違った色に変化するのではなく、従来画像の色に近い形で省電力化を実現する事ができる。従来の手法のように電池残量に応じて急激に画像が変化するわけではなく、ユーザが意識せずに省電力化が実現できるため、動画のように連続再生する場合に特に有効である。

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各部材、各手段、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の手段やステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。

本発明を適用した移動体端末の画像表示機能ブロックを示すブロック図である。有機発光ダイオード（OLED）における色と消費電力の相関関係図である。本発明による画像変換アルゴリズムによって白の画像を８０％の消費電力の画像に変換した場合の模式図である。自然画像の消費エネルギーを算出し、黒点挿入をした例を示す図である。本発明による移動体端末の画像変換アルゴリズムの処理フローを示すフローチャートである。 Iフレームのときのみ実施されるフレーム消費エネルギー算出処理サブルーチンのフローチャートである。黒点挿入位置決定処理サブルーチンのフローチャートである。エネルギー値情報テーブルを示す図である。ユーザが省電力化90％に設定し、端末によって動画再生をおこなっている様子を表す模式図である。相関関係図を利用して全体の色を消費電力90％の色に変換してから黒点を挿入した計算例を示す図である。相関関係色変換によって全画素を省電力L%の画素に変換するときのフローチャートである。画像変換をおこなった画像を示す図である。図１２（ａ）が原画像である。従来の自発光型表示部を持つ移動体端末のブロック図である。

符号の説明

１００移動体端末
１２０記憶部
１２２画像データ
１２４省電力画像変換アルゴリズム
１２６相関関係情報
１３０キャッシュ
１３２変換後画像データ
１４０表示部
１５０操作部
１６０制御部
１６２再生処理部
１６４省電力画像変換部
１６４Ａ演算部
１６４Ｂ変換部

Claims

画像表示装置が、すべての色と消費電力との関係を記憶部に記憶しておき、当該関係を用いて画像データから１フレーム内の各画素毎の消費電力値を求めてその合計値であるフレーム消費エネルギーを算出し、当該フレーム消費エネルギーから目標とする省電力化後のフレーム消費エネルギーを算出し、当該省電力化後のフレーム消費エネルギーに基づいて、画素単位でフレームに挿入するべき最低輝度値の画素数を算出し、当該画素数に達するまで、前記画像データを構成する各画素のうち、最低輝度値の画素を除いて画素の輝度値が低いほど高い頻度で、最低輝度値の画素に変換するようにし、前記変換された画素を含む画素データを表示するようにしたことを特徴とする画像表示装置。
画像表示装置の表示方法であって、
すべての色と消費電力との関係を記憶部に記憶しておき、当該関係を用いて画像データから１フレーム内の各画素毎の消費電力値を求めてその合計値であるフレーム消費エネルギーを算出し、当該フレーム消費エネルギーから目標とする省電力化後のフレーム消費エネルギーを算出し、当該省電力化後のフレーム消費エネルギーに基づいて、画素単位でフレームに挿入するべき最低輝度値の画素数を算出し、当該画素数に達するまで、前記画像データを構成する各画素のうち、最低輝度値の画素を除いて画素の輝度値が低いほど高い頻度で、最低輝度値の画素に変換するようにし、前記変換された画素を含む画素データを表示するようにしたことを特徴とする画像表示装置の表示方法。