JP2005221907A - 表示装置 - Google Patents

Abstract

【課題】 表示パネルを人が見ていない場合に画面表示をオフ等することで、無駄な電力消費を無くし、構成部品の寿命を延ばす。
【解決手段】 画像を画面に表示する表示装置５５であって、人が前記画面を見ているか否かを判別する視認状態判別機能と、判別結果に応じて当該表示装置５５の輝度等の表示状態を制御する表示制御機能と、を有する表示装置。
【選択図】 図１

Description

本発明は、テレビ受像機等の表示装置に関する。詳しくは、人（ユーザ）が見ているか否かに応じて機器状態を制御するようにした表示装置に関する。

携帯電話機やノートパソコン等の対話型の機器、つまり、ユーザ入力に応答して対応する処理が実行される機器では、当該機器が一定時間操作されないと画面表示をオフ又は暗くする等のパワーセーブ機能が、標準的に搭載されている。
テレビ受像機は、チャネルを所望の番組に合わせ且つ表示や音量を適正値に設定した後は、ユーザが操作入力を行う必要が無い非対話型の機器である。このため、一定時間の非操作に応答して画面表示をオフ等するパワーセーブ機能は搭載されていない。
工場等に設置されて設備の稼働状況等を表示する監視用の表示装置は、一般に、非対話型の機器であるが、監視者の有無に応じて画面表示をオフ等する監視装置としての特性を生かしたパワーセーブ機能が知られている（下記特許文献１，２，参照）。

カメラの撮影画像から人の顔領域を抽出する技術、顔領域から左目及び／又は右目の位置を抽出する技術、目領域から瞳（黒目）の位置を抽出する技術、顔領域内の左右の目の位置に基づいて顔の向きを識別する技術、撮影画像領域内の顔の位置及び顔の向きと目領域内の瞳（黒目）の位置とに基づいて人が或る所定の方向を見ているか否かを判別する技術、は公知である。

人（監視者）が近くに居る場合にのみバックライトを点灯することで、不必要な電力消費を低減し、且つ、バックライトの寿命を延ばすようにした、監視用の液晶表示装置が開示されている（特許文献１，参照）。この装置では、人の有無は、焦電型赤外線センサにより検出している。
人（監視者）が一定時間以上不在の場合に輝度を低下させて画面の焼き付けを防止するようにした、監視用のＣＲＴ表示装置が開示されている（特許文献２，参照）。この装置とでは、人の有無は、光電スイッチにより検出している。
外光照度が明るい場合はバックライトの輝度を上げ、暗い場合は下げることにより、不必要な電力消費を低減し、且つ、バックライトの寿命を延ばすようにした、液晶表示装置が開示されている（特許文献３，参照）。

特開平８−２１１３６０号公報。 特開平５−２０４３２４号公報。 特開平６−０２７４４０号公報。

非対話型の機器であるテレビ受像機では、一定時間の非操作に応答して画面表示をオフ等するパワーセーブ機能は、機器の性質に鑑みて搭載されていない。しかしながら、無駄な電力消費を無くしたいという要請やバックライト等の構成部品の寿命を延ばしたいという要請は、テレビ受像機の場合も対話型の機器と同様に存する。特に、バッテリー駆動の携帯型の機器では、無駄な消費電力抑制の要請が強い。
本発明は、テレビ受像機等の表示装置に於いて、人が見ていない場合に画面表示をオフ等できるようにすることで、無駄な電力消費を無くし、且つ、バックライト等の構成部品の寿命を延ばすことを目的とする。

本発明の目的は、下記構成１〜５の何れかにより達成される。
［１］構成１：
画像を画面に表示する表示装置であって、
人が前記画面を見ているか否かを判別する視認状態判別手段と、
前記判別結果に応じて当該表示装置の状態を制御する制御手段と、
を有することを特徴とする表示装置。
画面は液晶パネルでもよく、他の公知の表示パネルでもよい。以下、同様とする。
［２］構成２：
画像を表示するための画面と、該画面の前方を撮影可能に設けられたカメラと、を有する表示装置であって、
前記カメラで撮影した画像領域内の顔領域の位置と、該顔領域内の目領域の位置と、該目領域内の瞳領域の位置とに基づいて、人が前記画面を見ているか否かを判別する視認状態判別手段と、
前記判別結果に応じて前記画面の表示状態を制御する出力制御手段と、
を有することを特徴とする表示装置。
撮影した画像領域内から顔領域を抽出する手法、該顔領域内から左右の目領域を抽出する手法、各目領域内から瞳領域を抽出する手法としては、例えば、パターンマッチングを挙げることができる。
［３］構成３：
構成２に於いて、
前記出力制御手段は、人が前記画面を見ていないと前記視認状態判別手段が判別した場合は画面表示の電力消費を低減するように制御し、人が前記画面を見ていると前記視認状態判別手段が判別した場合は画面表示の電力消費を基準値へ戻すように制御する、
ことを特徴とする表示装置。
電力消費を低減する制御としては、例えば、画面表示をオフしたり、画面の輝度を低下さる制御（例：液晶パネルのバックライトを暗くする制御）を挙げることができる。
基準値とは、画面表示用の輝度として設定されている値である。

［４］構成４：
構成２に於いて、
前記画面に表示されるべき画像に関連付けられている音声を出力するためのスピーカを更に有し、
前記出力制御手段は、前記視認状態判別手段による判別結果に応じて前記画面の表示状態及び／又は前記スピーカの出力状態を制御する、
ことを特徴とする表示装置。
［５］構成５：
構成４に於いて、
前記出力制御手段は、人が前記画面を見ていないと前記視認状態判別手段が判別した場合は前記画面の表示出力をオフし及び／又は前記スピーカの音声出力をオフする、
ことを特徴とする表示装置。
［６］構成６：
構成４又は５に於いて、
移動電話機機能を更に有し、
前記出力制御手段は、移動電話機機能が着信を検出した場合は前記画面の表示出力をオフし及び／又は前記スピーカの音声出力をオフする、
ことを特徴とする表示装置。
移動電話機の方式は、公知の方式の何れでもよい。

［７］構成７：
構成４〜６の何れかに於いて、
前記画面表示及び音声出力をテレビ信号に基づいて行うテレビ機能を更に有する、
ことを特徴とする表示装置。
テレビ機能は、アナログ放送を受信して映像及び音声を再生する機能でもよく、デジタル放送を受信して映像及び音声を再生する機能でもよい。以下、同様とする。

構成１の表示装置は、人が画面を見ているか否かを判別する手段と、該判別結果に応じて当該表示装置の状態を制御する手段とを有するため、人が見ていない場合に例えば画面表示をオフ等して無駄な電力消費を無くしたり、寿命を延ばしたりすることができる。
構成２の表示装置は、カメラで撮影した画像領域内の顔領域の位置と、該顔領域内の目領域の位置と、該目領域内の瞳領域の位置とに基づいて、人が前記画面を見ているか否かを判別する手段と、該判別結果に応じて画面の表示状態を制御する手段とを有するため、人が見ていない場合に例えば画面表示をオフ等して無駄な電力消費を無くしたり、寿命を延ばしたりすることができる。
構成３の表示装置は、構成２の装置の出力制御手段が、人が画面を見ていない場合は画面表示の電力消費を低減するように制御し、人が画面を見ている場合は画面表示の電力消費を基準値へ戻すように制御するため、人が見ていない場合には無駄な電力消費を無くしたり寿命を延ばしたりでき、また、人が見ている場合は通常の表示を行って視聴に支障が生じないようにできる。

構成４の表示装置は、構成２に於いて、前記画面に表示されるべき画像に関連付けられている音声を出力するためのスピーカを更に有し、視認状態判別手段による判別結果に応じて出力制御手段が画面の表示状態及び／又はスピーカの出力状態を制御するため、人が見ているか否かに応じて画面及び／又はスピーカを最適に制御できる。
構成５の表示装置は、構成４に於いて、人が画面を見ていないと視認状態判別手段が判別した場合は出力制御手段が画面の表示出力をオフし及び／又はスピーカの音声出力をオフするため、人が見ていない場合に無駄に表示出力及び／又は音声出力が行われてしまうことを防止できる。
構成６の表示装置は、構成４又は５に於いて、移動電話機機能を更に有し、移動電話機機能が着信を検出した場合は出力制御手段が画面の表示出力をオフし及び／又はスピーカの音声出力をオフするため、移動電話機の着信により通話が開始された場合に、その通話の妨げとなることを防止できる。
構成７の表示装置は、構成４〜６の何れかに於いて、画面表示及び音声出力をテレビ信号に基づいて行うテレビ機能を更に有するため、テレビ視聴に関して構成４〜６の効果を得ることができる。

以下、図面を参照して本発明を具体的に説明する。
図１は、デジタル放送を受信して映像や音声を再生するテレビ機能と、受信した映像や音声を記録・再生する録画・再生機能と、を備えた携帯電話機（移動電話機）として、本発明を具体化した装置を例示するブロック図である。

携帯電話機：
携帯電話機の構成要素は、アンテナ５９、電話用送受信回路２１、チャネルコーデック２２、音声コーデック２３、マイク５１、スピーカ５２、カメラ５３、入力装置５４、表示装置５５、及び制御装置１０である。なお、カメラ５３は厳密には携帯電話機の構成要素ではなく独自の構成要素であるが、携帯電話機に標準搭載され始めているため、ここでは、携帯電話機の構成要素に含める。

アンテナ５９で受信された電話電波は、電話用送受信回路２１にて復調され、チャネルコーデック２２にて分解されて必要なチャネルの音声信号が取り出され、音声コーデック２３にてアナログ信号に変換され、スピーカ５２から音声として出力される。
マイク５１から入力された音声は、音声コーデック２３にてデジタル化され、制御装置１０からの制御信号とともにチャネルコーデック２２にてＴＤＭＡ（又はＣＤＭＡ）信号へ変換され、電話用送受信回路２１にて変調されて、アンテナ５９から送出される。

着信が検出されると、制御装置１０は報知音をスピーカ５２から出力する。なお、不図示のバイブレータを振動させるようにしてもよい（マナーモードの場合）。
また、着信又は通話終了が検出されると、制御装置１０の着信・通話監視機能がその旨を録画・加速再生制御機能に渡す。これにより、録画・加速再生制御機能は、それぞれに対応する処理を実行する。この処理については後述する。
入力装置５４は、呼出相手先の電話番号の入力、モードの設定若しくは切り換え（電話モード／テレビ視聴モード／ビデオ視聴モード，の切り換え等）、メールの入力等、携帯電話機やテレビ／ビデオ視聴装置で必要とされる種々の入力に用いられる。
また、入力装置５４は、映像及び音声出力（テレビ又はビデオの映像及び音声出力）の中断と再開を指令するための入力手段（キー等）を有しており、該入力手段から映像及び音声出力を中断又は再開すべき旨が入力されると、録画・加速再生制御機能は、それぞれに対応する処理を実行する。この処理については後述する。
表示装置５５は、着信／呼出相手先の電話番号の表示や、モードの表示、メールの表示等、携帯電話機として必要な種々の表示に用いられる。
また、表示装置５５は、テレビ／ビデオ映像の表示に用いられる。
カメラ５３は、表示装置５５の表示パネル（画面）の前方を撮影可能なように設けられており、デジタルカメラとしての機能を有する。
また、カメラ５３は、画面前方の画像を撮影して、制御装置１０の視認状態判別機能に渡す。これにより、視認状態判別機能は、人が画面を見ているか否かを判別し、その結果を、表示状態制御機能と、録画・加速再生制御機能に渡す。これにより、各機能はそれぞれ対応する処理を実行する。これらの処理については後述する。

テレビ視聴装置：
テレビ視聴装置の構成要素は、アンテナ５９、テレビ用受信回路３１、デスクランブラ３２、デマルチプレクサ３３、デコーダ（例：ＭＰＥＧデコーダ）３４、音声処理回路３５、スピーカ５２、映像処理回路３６、表示装置５５、入力装置５４、及び制御装置１０である。

アンテナで受信されたテレビ電波は、テレビ用受信回路３１にて選局・復調・誤り訂正され、デスクランブラ３２にてスクランブルを解除されてトランスポートストリーム（ＴＳ）が取り出される。このトランスポートストリーム（ＴＳ）からデマルチプレクサ３３にて必要な番組のパケットが取り出され、更にサービスインフォメーション（ＳＩ）が取得され、クロックが再生される。取り出されたパケットは、デコーダ３４にて音声データと映像データに復号され、それぞれ、音声処理回路３５によりアナログの音声信号に変換されてスピーカ５２から音声として出力され、映像処理回路３６により表示装置５５に適合する走査フォーマットのアナログのビデオ信号に変換されて表示装置５５から映像として出力される。
なお、後述の録画・加速再生制御に於ける再生動作実行中には、デマルチプレクサ３３により取り出されたパケットは、再生動作用に録画装置５７から読み出されたデータとの同一性の検査（録画装置５７からの再生出力が、放送中のテレビ信号に追いついたか否かの検査）に用いられるのみで、音声回路３５や映像回路への出力は行われない。

録画装置：
録画装置５７は、録画時には、トランスポーとストリームからデマルチプレクサ３３により取り出した所望の番組のパケットを、内蔵の記録装置（例：ハードディスク、メモリ等，不図示）に記録する。
また、録画装置５７は、再生時には、記録したパケットを順に取り出してデコーダ３４へ送って復号し、映像及び音声として出力する。
なお、圧縮状態のパケットではなく、デコーダ３４にて復号した後のデータを記録するように構成してもよい。復号後のデータを録画した場合には、再生時には、デコードすることなく、音声処理回路３５や映像処理回路３６へ出力することとなる。

表示状態制御：
図２は図１の携帯電話機に於いて人が見ているか否かに応じて画面の輝度と音声出力を制御する手順の一例を示すフローチャートである。制御装置１０は、所定時間間隔でカメラ５３の撮影画像を取り込み、該画像を解析して人が見ているか否かを判別し、その結果に応じて画面の輝度を制御するとともに音声出力を制御する。
状態（ＳＴ）＝Ａでは、通常の輝度（基準値）で画面表示を行う。また、音声出力制御も通常通り行う。
状態（ＳＴ）＝Ｂでは、通常より低い輝度（所定値）で画面表示を行う。
状態（ＳＴ）＝Ｃでは、画面表示をオフするとともに音声出力をオフする。
なお、通常の輝度や通常より低い輝度を実現する動作設定値を不図示のテーブルに保持しておき、該当する設定値を状態遷移時に読み出して動作設定を行うものとする。

まず、状態（ＳＴ）を判定する（Ｓ０１）。
ＳＴ＝Ａの場合は、通常の輝度で画面表示を行うとともに音声出力制御としても通常の制御を行う（Ｓ１１）。また、カメラ５３で撮影した画像を取り込む（Ｓ１３）。
撮影画像内に顔が有り（Ｓ１５でＹＥＳ）、且つ、その顔が画面を見ている場合は（Ｓ１７でＹＥＳ）、状態遷移を行わず、そのまま待機し（Ｓ１９）、所定時間後に上記ステップＳ１３へ戻り、処理を繰り返す。
顔の有無の判別は、公知のパターンマッチングの手法を用いて行うことができる。顔が画面を見ているか否かの判別手法については後述する。
撮影画像内に顔が有るが（Ｓ１５でＹＥＳ）、その顔が画面を見ていない場合は（Ｓ１７でＮＯ）、状態（ＳＴ）を「ＳＴ＝Ｂ」へ遷移する（Ｓ４１）。これにより、処理はステップ２１へ進み、輝度が低下される（Ｓ２１）。
撮影画像内に顔が無い場合は（Ｓ１５でＮＯ）、状態（ＳＴ）を「ＳＴ＝Ｃ」へ遷移する（Ｓ４３）。これにより、処理はステップ３１へ進み、表示がオフされるとともに音声出力がオフされる（Ｓ３１）。

ＳＴ＝Ｂの場合は、通常より低い輝度で画面表示を行い（Ｓ２１）、カメラ５３で撮影した画像を取り込む（Ｓ２３）。
撮影画像内に顔が有り（Ｓ２５でＹＥＳ）、且つ、その顔が画面を見ている場合は（Ｓ２７でＹＥＳ）、状態（ＳＴ）を「ＳＴ＝Ａ」へ遷移する（Ｓ４５）。これにより、処理は前述のステップ１１へ進み、通常の輝度表示に切り換えられるとともに、音声出力も通常通り制御される。
撮影画像内に顔が有るが（Ｓ２５でＹＥＳ）、その顔が画面を見ていない場合は（Ｓ２７でＮＯ）、状態遷移を行わず、そのまま待機し（Ｓ２９）、所定時間後に上記ステップＳ２３へ戻り、処理を繰り返す。
撮影画像内に顔が無い場合は（Ｓ２５でＮＯ）、状態（ＳＴ）を「ＳＴ＝Ｃ」へ遷移する（Ｓ４３）。これにより、処理はステップ３１へ進み、表示がオフされるとともに音声出力がオフされる（Ｓ３１）。

ＳＴ＝Ｃの場合は、画面表示をオフするとともに音声出力をオフして（Ｓ３１）、カメラ５３で撮影した画像を取り込む（Ｓ３３）。
撮影画像内に顔が無い場合は（Ｓ３５でＮＯ）、状態遷移を行わず、そのまま待機し（Ｓ３９）、所定時間後に上記ステップＳ３３へ戻り、処理を繰り返す。
撮影画像内に顔が有り（Ｓ３５でＹＥＳ）、且つ、その顔が画面を見ている場合は（Ｓ３７でＹＥＳ）、状態（ＳＴ）を「ＳＴ＝Ａ」へ遷移する（Ｓ４５）。これにより、処理は前述のステップ１１へ進み、通常の輝度での表示と通常の音声出力へ復帰する。
撮影画像内に顔が有るが（Ｓ３５でＹＥＳ）、その顔が画面を見ていない場合は（Ｓ３７でＮＯ）、状態（ＳＴ）を「ＳＴ＝Ｂ」へ遷移する（Ｓ４１）。これにより、処理は前述のステップ２１へ進み、輝度が低下される。
以上のようにして画面の輝度（表示状態）が制御され、人が画面を見ていない場合は輝度が通常より低くされる。これにより、無駄な電力消費が抑えられる。
なお、移動電話機に於いて着信が検出された時に、本表示状態等制御に於いて、前記ステップＳ３１の処理を実行するようにしてもよい。また、その場合に於いて、表示はオンしたまま、音声出力のみオフするようにしてもよい。

録画・加速再生制御：
図３と図４は、図１の携帯電話機のテレビ動作／録画動作／加速再生動作中に、着信の検出／通話終了の検出／人が画面を見ているか否か／中断入力の検出／再開入力の検出に応じて、テレビ動作／録画動作／加速再生動作を制御する手順の一例を示すフローチャートである。
ここで、テレビ動作とは、テレビ放送を受信してリアルタイムで映像及び音声出力する動作をいう。
また、録画動作とは、着信又は通話終了の検出／画面視認状態の判別結果／中断又は再開の入力に応じてテレビ放送を録画装置５７の内蔵の記録装置に記録する動作をいう。
また、加速再生動作とは、録画装置５７に記録したデータを着信又は通話終了の検出／画面視認状態の判別結果／中断又は再開の入力に応じて読み出して通常よりも高速度で映像及び音声出力する動作をいう。高速度とは、視聴者が不自然さを感じない程度の速度であり、例えば、通常の１．０５倍〜１．３倍程度の速度である。即ち、ビデオテープの早送りとは異なる。この速度は、ユーザの操作入力により適宜に設定可能であり、加速再生動作中も適宜に変更可能であるものとする。
制御装置１０は、テレビ動作中／加速再生動作中に携帯電話の着信が検出されると、映像及び音声出力をオフし、録画動作を開始する。
また、制御装置１０は、録画動作中に携帯電話の通話が終了すると、最新の加速再生中断位置又は録画開始位置から加速再生動作を開始する。
また、制御装置１０は、テレビ動作中／加速再生動作中に中断入力が有ると、映像及び音声出力をオフし、録画動作を開始する。
また、制御装置１０は、録画動作中に再開入力が有ると、最新の加速再生中断位置又は録画開始位置から加速再生動作を開始する。
また、制御装置１０は、テレビ動作中／録画動作中／加速再生動作中に所定時間間隔でカメラ５３から撮影画像を取り込み、該画像を解析して人が画面を見ているか否かを判別し、その結果に応じて、テレビ動作／録画動作／加速再生動作を制御する。

以下、フローチャートに即して説明する。
当初、本携帯電話機は、テレビ動作中である。即ち、放送中のテレビ電波を受信してリアルタイムで映像及び音声を出力している。
まず、着信状態、通話状態、中断入力の有無、再開入力の有無を調べ（Ｓ５１）、その結果に応じて下記の処理を実行する。

着信が発生した場合に於いて（Ｓ５３でＹＥＳ）、テレビ動作中の場合には（Ｓ５４でＹＥＳ）、テレビ動作をオフするとともに、テレビ動作中であることを示すテレビ中フラグをオフする（Ｓ７５）。さらに、録画動作を開始して、当該録画開始位置を、変数「開始位置」に代入する（Ｓ７６）。

中断入力が発生した場合に於いて（Ｓ５５でＹＥＳ）、テレビ動作中の場合にも（Ｓ５４でＹＥＳ）、着信発生の場合と同様に、テレビ動作をオフするとともに、テレビ中フラグをオフし（Ｓ７５）、録画動作を開始して、当該録画開始位置を、変数「開始位置」に代入する（Ｓ７６）。

着信が発生した場合に於いて（Ｓ５３でＹＥＳ）、加速再生動作中の場合には（Ｓ５４でＮＯ，Ｓ７８でＹＥＳ）、加速再生動作をオフするとともに、加速再生動作中であることを示す加速再生中フラグをオフする（Ｓ７９）。さらに、当該加速再生オフ位置を、変数「開始位置」に代入する（Ｓ８０）。

中断入力が発生した場合に於いて（Ｓ５５でＹＥＳ）、加速再生動作中の場合にも（Ｓ５４でＮＯ，Ｓ７８でＹＥＳ）、着信発生の場合と同様に、加速再生動作をオフするとともに、加速再生中フラグをオフして（Ｓ７９）、当該加速再生オフ位置を、変数「開始位置」に代入する（Ｓ８０）。

通話が終了した場合には（Ｓ５６でＹＥＳ）、変数「開始位置」にセットされている値を取得し（Ｓ８２）、当該開始位置から加速再生動作を開始するとともに、加速再生中フラグをオンする（Ｓ８３）。

再開入力が発生した場合にも（Ｓ５７でＹＥＳ）、通話終了の場合と同様に、変数「開始位置」にセットされている値を取得し（Ｓ８２）、当該開始位置から加速再生動作を開始するとともに、加速再生中フラグをオンする（Ｓ８３）。

その一方で、所定の撮影タイミング毎に（Ｓ５９でＹＥＳ）、カメラ５３の撮影画像を取り込み（Ｓ６０）、人が画面を見ているか否かを後述の手法（図５と図６，図７〜図１２，参照）で判別し、その結果に応じて下記の処理を実行する。

即ち、従前通りテレビ動作画面を見続けている場合は（Ｓ６１でＹＥＳ，且つ，Ｓ６３でＹＥＳ，且つ，Ｓ６４でＹＥＳ）、前記ステップＳ５１へ戻る。これにより、着信／通話終了／中断入力／再開入力の検査及びその結果に応じた処理や、次の撮影タイミングの待機状態となる。

それまで見ていたテレビ動作画面の視聴を止めた場合は（Ｓ６１でＮＯ，且つ，Ｓ６６でＹＥＳ，且つ，Ｓ６８でＹＥＳ）、人が画面を見ていることを示す視認状態フラグをオフし（Ｓ６７）、テレビ動作をオフするとともにテレビ中フラグをオフし（Ｓ７５）、録画動作を開始して、当該録画開始位置を、変数「開始位置」に代入する（Ｓ７６）。
つまり、テレビ動作を止めて、録画動作を開始する。

従前通り画面を見ていない状態が続いている場合は（Ｓ６１でＮＯ，且つ、Ｓ６６でＮＯ）、前記ステップＳ５１へ戻る。これにより、着信／通話終了／中断入力／再開入力の検査及びその結果に応じた処理や、次の撮影タイミングの待機状態となる。
その間、録画動作は従前通り継続されている。

画面を再び見るようになった場合は（Ｓ６１でＹＥＳ，且つ、Ｓ６３でＮＯ）、視認状態フラグをオンし（Ｓ７０）、変数「開始位置」にセットされている値を取得して（Ｓ８２）、当該取得した開始位置（録画開始位置又は最新の加速再生オフ位置）から加速再生動作を開始するとともに、加速再生中フラグをオンする（Ｓ８３）。
つまり、録画動作は継続したまま、加速再生動作を開始又は再開する。

それまで見ていた加速再生動作画面の視聴を止めた場合は（Ｓ６１でＮＯ，且つ，Ｓ６６でＹＥＳ，且つ，Ｓ６８でＮＯ，且つ，Ｓ７８でＹＥＳ）、視認状態フラグをオフし（Ｓ６７）、加速再生動作をオフするとともに加速再生中フラグをオフして（Ｓ７９）、当該加速再生オフ位置を、変数「開始位置」に代入する（Ｓ８０）。
つまり、加速再生動作を止める。その間、録画動作は従前通り継続されている。

撮影タイミングでない待機状態では（Ｓ５９でＮＯ）、テレビ動作中か否か、加速再生動作中か否かに応じて下記の処理を行う。

即ち、テレビ動作中の場合や（Ｓ７２でＹＥＳ）、加速再生動作中でない場合は（Ｓ７３でＮＯ）、前記ステップＳ５１へ戻る。これにより、着信／通話終了／中断入力／再開入力の検査及びその結果に応じた処理や、次の撮影タイミングの待機状態となる。

加速再生動作中の場合は（Ｓ７３でＹＥＳ）、当該加速再生動作中の映像及び音声出力が、テレビ放送中の映像及び音声に追いついたか否かを監視する（Ｓ８５）。
その結果、追いついた場合は（Ｓ８５でＹＥＳ）、加速再生動作をオフし、加速再生中フラグをオフする（Ｓ８６）。また、録画動作をオフする（Ｓ８７）。さらに、テレビ動作をオンして、テレビ中フラグをオンする（Ｓ８８）。
つまり、録画及び加速再生を止めて、テレビ動作に復帰する。
一方、追いついていない場合は（Ｓ８５でＮＯ）、前記ステップＳ５１へ戻る。これにより、着信／通話終了／中断入力／再開入力の検査及びその結果に応じた処理や、次の撮影タイミングの待機状態となる。

このようにして、テレビ動作／録画動作／加速再生動作が制御される。なお、上記では携帯型の視聴装置に即して説明しているが、中断入力や再開入力、或いは、人が画面を見ているか否かに応じて実行する制御は、携帯型の視聴装置や電話機機能を具備した視聴装置に限定されず、据置型の視聴装置についても適用可能である。
また、上記では、着信検出に応じてテレビ動作を止めて録画動作を開始したり、加速再生動作を止める等の制御を行っているが、着信検出に代えて、例えば、ユーザが着信に応答するための操作入力を行った時に、当該制御を行うようにしてもよい。
また、上記に於ける中断入力とは、中断指令の専用の入力ばかりでなく、例えば、発呼のためのオフフックや、メール作成や送信のための操作入力を中断入力として扱って制御するようにしてもよい。

画面を見ているか否かの判別手法：
図５は図１の携帯電話機に於いて人が見ているか否かを判別する手順を示すフローチャート、図６は図５のステップＳ１１１の処理の一例を示すフローチャートである。

まず、表示状態制御、又は、録画・加速再生制御からの指示に応答して、カメラ５３の撮影画像を取り込む（Ｓ１０１）。
次に、取り込んだ画像領域から顔領域を抽出する（Ｓ１０３）。画像領域から顔領域を抽出する手法としては、公知のパターンマッチングを用いることができる。
次に、抽出した顔領域から左右の目領域をそれぞれ抽出する（Ｓ１０５）。顔領域から目領域を抽出する手法としては、公知のパターンマッチングを用いることができる。
次に、各目領域から黒目（瞳）領域をそれぞれ抽出する（Ｓ１０７）。目領域から黒目領域を抽出する手法としては、公知のパターンマッチングを用いることができる。
ステップＳ１０９では、顔領域と目領域に基づいて、顔の向きを判別する。顔の向きを判別する手法としては種々の手法が公知である。例えば、アフィンパラメータを用いて顔の向きを認識する手法を用いることができる。

ステップＳ１１１では、顔の向きと、画像領域内の顔の位置と、目領域内に黒目の位置に基づいて、人が画面を見ているか否かを判別する。

ステップＳ１１１の処理の一例を、図６に即し、図７〜図１０を参照して説明する。
顔の向きが表示パネルの方を向いていない場合は（Ｓ１６１でＮＯ）、顔領域の位置をチェックする（Ｓ１６３）。
顔領域が画像領域内の左寄りに在り、黒目領域が目領域内で右位置に在る場合は（Ｓ１６３でＹＥＳ，且つ、Ｓ１６５でＹＥＳ）、図７左欄に図解する場合であり、人が表示パネルを見ている可能性が高い。したがって、Ｐの値を１増加させる（Ｓ１６７）。
顔領域が画像領域内の左寄りに在り、黒目領域が目領域内で右位置に無い場合は（Ｓ１６３でＹＥＳ，且つ、Ｓ１６５でＮＯ）、図８左欄に図解する場合であり、人が表示パネルを見ていない可能性が高い。したがって、Ｐの値を１減少させる（Ｓ１６９）。

顔領域が画像領域内の左寄りに無く、黒目領域が目領域内で左位置に在る場合は（Ｓ１６３でＮＯ，且つ、Ｓ１７５でＹＥＳ）、図７右欄に図解する場合であり、人が表示パネルを見ている可能性が高い。したがって、Ｐの値を１増加させる（Ｓ１７７）。
顔領域が画像領域内の左寄りに無く、黒目領域が目領域内で左位置に無い場合は（Ｓ１６３でＮＯ，且つ、Ｓ１７５でＮＯ）、図８右欄に図解する場合であり、人が表示パネルを見ていない可能性が高い。したがって、Ｐの値を１減少させる（Ｓ１７９）。

顔の向きが表示パネルの方を向いている場合は（Ｓ１６１でＹＥＳ）、目領域内での黒目領域の位置をチェックする（Ｓ１８５）。
顔が表示パネルの方を向いている場合には、顔領域が画像領域内の何れの位置にあったとしても、黒目領域が目領域内の略中央に位置するのであれば（Ｓ１８５でＹＥＳ）、図９に図解するように、人が表示パネルを見ている可能性が高い。したがって、Ｐの値を１増加させる（Ｓ１８７）。
一方、顔が表示パネルの方を向いている場合に於いて、黒目領域が目領域内の略中央位置に無い場合は（Ｓ１８５でＮＯ）、画像領域内での顔領域の位置にかかわらず、図１０に図解するように、人が表示パネルを見ていない可能性が高い。したがって、Ｐの値を１減少させる（Ｓ１８９）。

次に、Ｐの値をチェックし（Ｓ１９１）、Ｐが正であれば（Ｓ１９１でＹＥＳ）、人が表示パネルを見ていると判別し（Ｓ１９３）、Ｐが正でなければ（Ｓ１９１でＮＯ）、人が表示パネルを見ていないと判別する（Ｓ１９５）。

なお、上記の処理は判別手法の一例を簡略化して述べたものであり、より精度の高い判別手法を用いてもよい。例えば、画像領域内で顔の位置や目領域内での黒目の位置を右と左という２位置とせず、右／中央／左、更には上／下等として設定し、より精度の高い判別を行うようにしてもよい。

また、カメラの設置位置が表示パネルの位置とずれている場合、即ち、図１１に図解する場合には、人がカメラを見た時と表示パネルを見た時とで視線がずれる。このため、例えば、顔を表示パネルに向けた状態で表示パネルを見ている時には、カメラによる撮影画像では、目領域内の黒目の位置が中央ではなく、左（又は右）にずれる。したがって、上記の判定についても、そのようなずれを織り込むことが必要となる。

また、携帯型の表示装置では、顔を表示パネルに近づけて視聴することが多い。換言すれば、顔が表示パネルから離れている場合には、図１２に図解するように、表示パネルを見ていない可能性が高い。このことを上記の判定に織り込むようにしてもよい。即ち、カメラで撮影した画像領域中で顔領域が占める割合に応じて、上記の判定を修正するようにしてもよい。

デジタル放送を受信して映像や音声を再生するテレビ機能と、受信した映像や音声を記録する録画機能と、を備えた携帯電話機として本発明を具体化した装置を例示するブロック図。 図１の携帯電話機に於いて人が見ているか否かに応じて画面の輝度を制御する手順の一例を示すフローチャート。 図１の携帯電話機のテレビモードに於いて人が見ているか否かに応じて録画動作と加速再生動作を制御する手順の一例を示すフローチャートの一部。 図１の携帯電話機のテレビモードに於いて人が見ているか否かに応じて録画動作と加速再生動作を制御する手順の一例を示すフローチャートの残部。 図１の携帯電話機に於いて人が見ているか否かを判別する手順を示すフローチャート。 図５の状態判別処理（Ｓ１１１）の一例を示すフローチャート。 表示パネルの向きが顔の向きと一致しない場合に於いて画面を見ている可能性が高い場合を図解する説明図。 表示パネルの向きが顔の向きと一致しない場合に於いて画面を見ていない可能性が高い場合を図解する説明図。 表示パネルの向きが顔の向きと一致する場合に於いて画面を見ている可能性が高い場合を図解する説明図。 表示パネルの向きが顔の向きと一致する場合に於いて画面を見ていない可能性が高い場合を図解する説明図。 画面を見ているか否かを判別する際にカメラの取付位置との関係で考慮する必要がある場合を図解する説明図。 画面を見ているか否かを判別する際にカメラと人との距離との関係で考慮する必要がある場合を図解する説明図。

符号の説明

１０ 制御装置
２１ 電話用送受信回路
２２ チャネルコーデック
２３ 音声コーデック
３１ テレビ用受信回路
３２ デスクランブラ
３３ デマルチプレクサ
３４ デコーダ
３５ 音声処理回路
３６ 映像処理回路
５１ マイク
５２ スピーカ
５３ カメラ
５４ 入力装置
５５ 表示装置
５７ 録画装置
５９ アンテナ

Claims (7)

1. 画像を画面に表示する表示装置であって、
   人が前記画面を見ているか否かを判別する視認状態判別手段と、
   前記判別結果に応じて当該表示装置の状態を制御する制御手段と、
   を有することを特徴とする表示装置。
2. 画像を表示するための画面と、該画面の前方を撮影可能に設けられたカメラと、を有する表示装置であって、
   前記カメラで撮影した画像領域内の顔領域の位置と、該顔領域内の目領域の位置と、該目領域内の瞳領域の位置とに基づいて、人が前記画面を見ているか否かを判別する視認状態判別手段と、
   前記判別結果に応じて前記画面の表示状態を制御する出力制御手段と、
   を有することを特徴とする表示装置。
3. 請求項２に於いて、
   前記出力制御手段は、人が前記画面を見ていないと前記視認状態判別手段が判別した場合は画面表示の電力消費を低減するように制御し、人が前記画面を見ていると前記視認状態判別手段が判別した場合は画面表示の電力消費を基準値へ戻すように制御する、
   ことを特徴とする表示装置。
4. 請求項２に於いて、
   前記画面に表示されるべき画像に関連付けられている音声を出力するためのスピーカを更に有し、
   前記出力制御手段は、前記視認状態判別手段による判別結果に応じて前記画面の表示状態及び／又は前記スピーカの出力状態を制御する、
   ことを特徴とする表示装置。
5. 請求項４に於いて、
   前記出力制御手段は、人が前記画面を見ていないと前記視認状態判別手段が判別した場合は前記画面の表示出力をオフし及び／又は前記スピーカの音声出力をオフする、
   ことを特徴とする表示装置。
6. 請求項４、又は請求項５に於いて、
   移動電話機機能を更に有し、
   前記出力制御手段は、移動電話機機能が着信を検出した場合は前記画面の表示出力をオフし及び／又は前記スピーカの音声出力をオフする、
   ことを特徴とする表示装置。
7. 請求項４〜請求項６の何れかに於いて、
   前記画面表示及び音声出力をテレビ信号に基づいて行うテレビ機能を更に有する、
   ことを特徴とする表示装置。

Images