JP2012109810A - 表示装置、表示制御方法、携帯電話及び半導体装置 - Google Patents

表示装置、表示制御方法、携帯電話及び半導体装置 Download PDF

Info

Publication number
JP2012109810A
JP2012109810A JP2010257196A JP2010257196A JP2012109810A JP 2012109810 A JP2012109810 A JP 2012109810A JP 2010257196 A JP2010257196 A JP 2010257196A JP 2010257196 A JP2010257196 A JP 2010257196A JP 2012109810 A JP2012109810 A JP 2012109810A
Authority
JP
Japan
Prior art keywords
display
display device
unit
rate
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010257196A
Other languages
English (en)
Other versions
JP2012109810A5 (ja
Inventor
Akio Noda
晃生 野田
Takaharu Morohashi
隆治 諸橋
Kazuyuki Uchida
和之 内田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2010257196A priority Critical patent/JP2012109810A/ja
Priority to CN201180055223.2A priority patent/CN103210657B/zh
Priority to PCT/JP2011/004241 priority patent/WO2012066705A1/ja
Publication of JP2012109810A publication Critical patent/JP2012109810A/ja
Priority to US13/891,915 priority patent/US20130242187A1/en
Publication of JP2012109810A5 publication Critical patent/JP2012109810A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/63Generation or supply of power specially adapted for television receivers
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G09G3/3611Control of matrices with row and column drivers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435Change or adaptation of the frame rate of the video stream
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4436Power management, e.g. shutting down unused components of the receiver

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Liquid Crystal Display Device Control (AREA)

Abstract

【課題】視聴者の状況に応じて、表示レートを低くすることができ、視聴者にとって違和感なくかつ効率的に省電力化を図ることができる。
【解決手段】表示装置100は、顔検出状況を判断する。顔検出状況が、LCD表示画面202と向き合う顔が検出されない顔検出無しから半分検出までの範囲にある場合、表示レート決定部104により表示レートを小に設定する。顔検出状況が半分検出から3/4検出までの範囲である場合、表示レート決定部104により表示レートを中に設定する。顔検出状況が3/4検出から全検出までの範囲である場合、表示レート決定部104により表示レートを通常に設定する。表示装置100は、表示部108により、設定された表示レートで画像メモリ105に記憶された画像データを読み出し、表示する。
【選択図】図1

Description

本発明は、表示レートを変更して画像を表示する表示装置、表示制御方法、携帯電話及び半導体装置に関する。
近年、携帯電話やスマートフォン等のモバイル端末において、視聴や再生可能な動画の画角サイズが大きくなってきている。例えば、現在「ワンセグ」の名でサービスが提供されているモバイル端末向けデジタルTVでは、QVGA(320×240)の画角サイズを有する動画放送が、ほとんどのモバイル端末で視聴可能である。また、YouTube(登録商標)等のネット動画において、現状では、モバイル端末で対応可能な画角サイズはVGA(640×360)程度であるが、今後、Full HD(1920×1080)まで対応可能となることが予想される。また、デジタルTVの画角サイズであるFull HD(1920×1080)に対しても、モバイル端末で対応可能になると予想される。
一方、現在のモバイル端末におけるLCD等の表示解像度は、最大でもQHD(960×540)程度である。しかし、前述したように、今後、モバイル端末における動画像の対応可能な画角サイズは拡大することが予想される。画角サイズの拡大に伴い表示解像度も徐々に拡大し、近いうちにFull HD(1920×1080)となることが予想される。但し、動画像の対応可能な画角サイズの拡大に伴い表示解像度も拡大すると、消費電力が増加する。特に、モバイル端末においては消費電力の増加を抑制し、省電力化を図ることが重要である。省電力化を実現する方法として、フレームレートを変換する技術が特許文献1に記載されている。
特開2007−318193号公報
特許文献1に記載の技術では、画像の動きや番組ジャンル等の画像信号の情報に基づいてフレームレートが変換される。このように、画像情報や動画情報に応じてフレームレートを制御することで、省電力化が実現されている。しかし、視聴者の状況に配慮してはいないため、視聴者が違和感を覚える場合があり、また、省電力化の効率が良くない。また、フレームレートの変換に際して、画像情報だけを利用しているため、画像と同期した音声信号や字幕信号を活用しておらず、省電力化の効率が良くない。
本発明の目的は、視聴者の状況に応じて又は画像情報以外の情報を利用して表示レートを低くすることができ、視聴者にとって違和感なくかつ効率的に省電力化を図ることができる表示装置、表示制御方法、携帯電話及び半導体装置を提供することである。
本発明は、画像を表示する表示装置であって、所定のフレームレートで入力される画像信号を記憶する画像記憶部と、視聴者の状況を判断する際に用いられるデータを検出する検出部と、前記検出部によって検出されたデータから、前記視聴者の状況を判断する視聴者状況判断部と、前記視聴者状況判断部によって判断された視聴者の状況及び前記画像信号が入力される所定のフレームレートに基づき、表示レートを決定する表示レート決定部と、前記表示レート決定部によって決定された表示レートで、前記画像記憶部に記憶された画像データを読み出して画像を表示する表示部と、を備える表示装置を提供する。
本発明によれば、視聴者の状況及び画像信号が入力される所定のフレームレートに基づいて表示レートが決定されるため、視聴者の状況に応じて、表示レートを低くすることができ、視聴者にとって違和感なくかつ効率的に省電力化を図ることができる。
上記表示装置では、前記検出部は、前記表示部の前方を撮像する撮像部である。
したがって、撮像部で撮像される画像から視聴者の状況を判断することができる。
上記表示装置では、前記視聴者状況判断部は、前記撮像部によって撮像された画像の中に、視聴者の顔が存在するか否かを判断する。
したがって、視聴者が注視しているかどうかを推定することができる。
上記表示装置では、前記視聴者状況判断部によって視聴者の顔が存在しないと判断された場合、前記表示レート決定部は、前記所定のフレームレートに比べて低くなるように、前記表示レートを決定する。
したがって、視聴者が視ていないと推定される場合、表示レートが低くなり、省電力化に繋がる。
上記表示装置では、前記視聴者状況判断部によって視聴者の顔が存在すると判断された場合、前記表示レート決定部は、前記顔の表情に応じて、前記表示レートを決定する。
したがって、よりきめ細かく視聴者の状況を判断することができる。
上記表示装置では、前記視聴者状況判断部によって前記視聴者が笑っている、眠っている、又は泣いていると判断された場合、前記所定のフレームレートに比べて低くなるように、前記表示レートを決定する。
したがって、視聴者が注意深く表示装置を視ていないと推定される場合、表示レートを低くすることができる。
上記表示装置では、前記検出部は、前記表示装置の状態を検出するセンサである。
したがって、センサで検出される表示装置の状態から、視聴者の状況を判断することができる。
上記表示装置では、前記センサは、前記表示部の前方に向き合う物体までの距離を検出する距離センサである。
したがって、前方にある物体までの距離から、表示装置の状態を検出することができる。
上記表示装置では、前記視聴者状況判断部は、前記距離センサによって検出された距離がある一定の範囲内にあるか否かを判断する。
したがって、視聴者が注視していると推定される距離であるかを判断することができる。
上記表示装置では、前記表示レート決定部は、前記距離センサによって検出された距離がある一定の範囲内にない場合、前記所定のフレームレートに比べて低くなるように、前記表示レートを決定する。
したがって、距離が一定の範囲内にない場合、視聴者が注視していないと推定して表示レートを低くすることができ、効率的な省電力化を図ることができる。
上記表示装置では、前記センサは、前記表示装置の姿勢として上下左右の方向及び表裏の向きを検出する方向センサである。
したがって、表示装置の姿勢が把握される。
上記表示装置では、前記視聴者状況判断部は、前記方向センサによって上方向かつ表向きが検出されたか否かを判断する。
したがって、視聴者が視ていると推定される表示装置の姿勢であるか否かを判断することができる。
上記表示装置では、前記視聴者状況判断部によって上方向かつ表向き以外の方向が検出されたと判断された場合、前記表示レート決定部は、前記所定のフレームレートに比べて低くなるように、前記表示レートを決定する。
視聴者が注視していると推定される姿勢でない場合、表示レートが低くなるため、効率的な省電力化を図ることができる。
上記表示装置では、前記センサは、前記表示装置のゆれを検出する振動センサである。
したがって、表示装置のゆれが検出可能となる。
上記表示装置では、前記視聴者状況判断部は、前記振動センサによって前記表示装置のゆれが所定値以上であるか否かを判断する。
したがって、視聴者が注視していると推定される表示装置のゆれであるか否かを判断することができる。
上記表示装置では、前記視聴者状況判断部によって前記表示装置のゆれが所定値以上であると判断された場合、前記表示レート決定部は、前記所定のフレームレートに比べて低くなるように、前記表示レートを決定する。
表示装置のゆれが大きい場合、表示レートが低くなるため、効率的な省電力化を図ることができる。
上記表示装置では、前記表示レート決定部によって決定された表示レートで表示される画像データに対し、画像処理を行う画像処理部を備える。
したがって、表示レートの変更にかかわらず、画像処理を施すことができる。
上記表示装置では、前記表示レート決定部によって決定された表示レートで表示される画像データに対し、フレーム補間を行うフレーム補間部を備える。
したがって、表示レートを倍増させることができる。
本発明は、画像を表示する表示装置であって、所定のフレームレートで入力される画像信号を記憶する画像記憶部と、前記画像信号に同期したデータを格納する同期データ格納部と、前記同期データ格納部に格納されたデータを解析するデータ解析部と、前記データ解析部によるデータの解析結果及び前記画像信号が入力される所定のフレームレートに基づき、表示レートを決定する表示レート決定部と、前記表示レート決定部によって決定された表示レートで、前記画像記憶部に記憶された画像データを読み出して画像を表示する表示部と、を備える表示装置を提供する。
本発明によれば、画像情報以外の情報を利用して、表示レートを変更することができ、視聴者にとって違和感なく省電力化を図ることができる。
上記表示装置では、前記同期データ格納部に格納されるデータは、字幕データである。
したがって、動画像と同期した字幕データの更新タイミングを利用して、表示レートを変更することができ、視聴者にとって違和感なく省電力化を図ることができる。
上記表示装置では、前記データ解析部は、前記同期データ格納部に格納された字幕データの更新タイミングを解析する。
したがって、字幕データの更新タイミングが判断される。
上記表示装置では、前記表示レート決定部は、前記データ解析部によって解析された字幕データの更新タイミングに合わせて、表示レートを決定する。
したがって、字幕データの更新タイミングに合わせて表示レートが変更される。
上記表示装置では、前記同期データ格納部に格納されるデータは、音声データである。
したがって、動画像と同期した音声データを解析することができる。
上記表示装置では、前記データ解析部は、前記同期データ格納部に格納された音声データから、盛り上がりシーンを判断する。
したがって、盛り上がりシーンを判断することができ、この判断結果を利用して表示レートを変更することができる。
上記表示装置では、前記表示レート決定部は、前記データ解析部によって盛り上がりシーンと判断されない場合、前記所定のフレームレートに比べて低くなるように、前記表示レートを決定する。
したがって、盛り上がりシーン以外では、表示レートを低くすることができ、省電力化が図られる。
上記表示装置では、前記表示レート決定部によって決定された表示レートで表示される画像データに対し、画像処理を行う画像処理部を備える。
したがって、表示レートの変更にかかわらず、画像処理を施すことができる。
上記表示装置では、前記表示レート決定部によって決定された表示レートで表示される画像データに対し、フレーム補間を行うフレーム補間部を備える。
したがって、表示レートを倍増させることができる。
本発明は、所定のフレームレートで入力される画像信号を記憶する画像記憶部を備え、前記画像記憶部に記憶された画像信号に基づく画像を表示する表示装置の表示制御方法であって、視聴者の状況を判断する際に用いられるデータを検出する検出ステップと、前記検出ステップで検出されたデータから、前記視聴者の状況を判断する視聴者状況判断ステップと、前記視聴者状況判断ステップで判断された視聴者の状況及び前記画像信号が入力される所定のフレームレートに基づき、表示レートを決定する表示レート決定ステップと、前記表示レート決定ステップで決定された表示レートで、前記画像記憶部に記憶された画像データを読み出して画像を表示する表示ステップと、を有する表示制御方法を提供する。
本発明によれば、視聴者の状況に応じて、表示レートを低くすることができ、視聴者にとって違和感なくかつ効率的に省電力化を図ることができる。
本発明は、所定のフレームレートで入力される画像信号を記憶する画像記憶部を備え、前記画像記憶部に記憶された画像信号に基づく画像を表示する表示装置の表示制御方法であって、同期データ格納部に格納されたデータを解析するデータ解析ステップと、前記データ解析ステップにおけるデータの解析結果及び前記画像信号が入力される所定のフレームレートに基づき、表示レートを決定する表示レート決定ステップと、前記表示レート決定ステップで決定された表示レートで、前記画像記憶部に記憶された画像データを読み出して画像を表示する表示ステップと、を有する表示制御方法を提供する。
本発明によれば、画像情報以外の情報を利用して、表示レートを変更することができ、視聴者にとって違和感なく省電力化を図ることができる。
本発明は、上記表示装置と、通話を可能にする通話部と、を備える携帯電話を提供する。
したがって、携帯端末の消費電力として表示処理にかかる部分が半分以上を占める状況で、かつ、今後、携帯端末の表示解像度がさらに拡大していく中で、表示レートを低くすることにより、さらなる省電力化を図ることができる。
本発明は、表示装置に搭載される半導体装置であって、センサで検出されるデータから、視聴者の状況を判断する視聴者状況判断部と、前記視聴者状況判断部によって判断された視聴者の状況及び画像信号が入力される所定のフレームレートに基づき、前記画像信号に基づく画像を表示する際の表示レートを決定する表示レート決定部と、を備える半導体装置を提供する。
したがって、種々の表示装置に組み込むことができる。
本発明は、画像信号に同期したデータを解析するデータ解析部と、前記データ解析部によるデータの解析結果及び前記画像信号が入力される所定のフレームレートに基づき、前記画像信号に基づく画像を表示する際の表示レートを決定する表示レート決定部と、を備える半導体装置を提供する。
したがって、種々の表示装置に組み込むことができる。
本発明によれば、視聴者の状況及び画像信号が入力される所定のフレームレートに基づいて表示レートが決定されるため、視聴者の状況に応じて表示レートを低くすることができ、視聴者にとって違和感なくかつ効率的に省電力化を図ることができる。また、画像情報以外の情報を利用して表示レートを変更することができ、視聴者に違和感なく省電力化を図ることができる。
第1の実施形態の表示装置100の構成を示す図 表示装置100の外観を示す図 顔検出状況に対応する表示レートの変化を示すグラフ 表示装置100の表示動作手順を示すフローチャート 視聴者状況判断部102によって検出可能な顔の表情を示す図 顔の表情検出状況に対応する表示レートの変化を示すグラフ 視聴者センサとして赤外線センサが設けられた表示装置の外観を示す図 距離の状況に対応する表示レートの変化を示すグラフ 第2の実施形態の表示装置300の構成を示す図 画像データの表示が指示されるフレームを示す図 表示装置300の表示動作手順を示すフローチャート 第3の実施形態の表示装置400の構成を示す図 音声データ解析結果に対応する表示レートの変化を示すグラフ 表示装置400の表示動作手順を示すフローチャート 第4の実施形態の表示装置が搭載された携帯電話500の構成を示す図 第5の実施形態の表示装置が搭載された携帯電話600の構成を示す図 第6の実施形態の半導体チップ700の構成を示す図 第7の実施形態の半導体チップ800の構成を示す図
以下、本発明に係る表示装置、表示制御方法、携帯電話及び半導体装置の実施形態について、図面を参照して説明する。以下説明する実施形態の表示装置は、モバイル携帯端末等の電子機器に搭載される。
(第1の実施形態)
図1は、第1の実施形態の表示装置100の構成を示す図である。図2(A),(B)は表示装置の外観を示す図であって、図2(A)は表示装置の正面を示し、図2(B)は表示装置の側面を示す。
第1の実施形態の表示装置100は、視聴者センサ101、視聴者状況判断部102、デコード部103、表示レート決定部104、画像メモリ105、画像処理部106、フレーム補間部107、表示部108及び操作部109を有する。
デコード部103は、例えばデジタルTV放送の動画像データを復号(デコード)する。また、デコード部103は、動画像データに応じた速度で復号(デコード)し、このデコード結果である画像データ(画像信号)を画像メモリ105(画像記憶部)に格納する。第1の実施形態では、動画像データのデコード速度は60fps(flame per second)である。デコード部103は、デコードの開始と同時に、フレームレート情報(60fps)を表示レート決定部104、画像処理部106及びフレーム補間部107に通知する。
視聴者センサ101は、撮像素子を有するカメラからなる。視聴者センサ101は、表示装置100の筐体201の前面に設けられた表示部108のLCD表示画面202に対し、垂直に設置されている。
視聴者状況判断部102は、このカメラから入力された撮像データをもとに、顔を検出できなかったか、半分顔を検出できたか、3/4顔を検出できたか、全部顔を検出できたかというように、どの程度、顔を検出できたかを判断する。そして、視聴者状況判断部102は、顔検出状況の判断結果を表示レート決定部104に定期的に通知する。
表示レート決定部104は、デコード部103から通知されたフレームレート情報(60fps)と、視聴者状況判断部102から定期的に通知された顔検出状況の判断結果をもとに、表示レートを決定し、この決定した表示レートを画像処理部106、フレーム補間部107及び表示部108に通知する。
表示レート決定部104は、例えば、図3に示すように、顔検出の状況判断結果をもとに、表示レートを小(10fps)又は中(30fps)として表示レートを低くするか、それともデコード部103から通知されたフレームレート情報(60fps)のままとするかを決定する。図3は、顔検出状況に対応する表示レートの変化を示すグラフである。図3では、顔検出状況の判断結果をもとに、表示レートは3段階に設定される。すなわち、顔の検出無しから半分検出までの範囲において、表示レートは小(10fps)に設定される。また、半分検出から3/4検出までの範囲において、表示レートは中(30fps)に設定される。さらに、3/4検出から全検出までの範囲において、表示レートは通常(60fps)に設定される。
表示部108は、表示レート決定部104から通知された表示レートに応じて、画像メモリ105から1フレーム単位で画像データを読み出して表示する。
操作部109は、視聴者により操作され、処理の有無等の情報を表示レート決定部104、画像処理部106及びフレーム補間部107に通知する。また、操作部109は、例えば表示部108に貼られたタッチパネルを有し、指によって表現されるジェスチャアにより操作指示を入力する。
画像処理部106の処理及びフレーム補間部107の処理をそれぞれ実行するか否かは、視聴者により設定可能である。視聴者による処理有りが設定された場合にのみ、画像処理部106及びフレーム補間部107は、それぞれ動作し、処理を実行する。
画像処理部106は、視聴者による処理有りが設定された場合、画像メモリ105に存在する画像データの全てに対し、画像処理を行うのではなく、表示レート決定部104から通知された表示レートに応じて、画像メモリ105から1フレーム単位で画像データを読み出し、画像処理を実行した後、再び画像メモリ105に書き戻す。
フレーム補間部107は、視聴者による処理有りが設定された場合、表示レート決定部104から通知された表示レートがデコード部103から通知されたフレームレート情報(60fps)と同じである場合のみ、フレーム補間処理を実行し、表示レートを倍増(120fps)させた画像データを画像メモリ105に書き戻す。
第1の実施形態では、表示装置100は、視聴者センサ101によりLCD表示画面202と向き合った顔を検出し、視聴者が注視できているか否かを推定し、注視していない場合、表示レートを低くすることで、さらなる省電力化が可能である。
図4は、表示装置100の表示動作手順を示すフローチャートである。表示装置100では、つぎのような表示動作が行われる。表示装置100は、視聴者センサ101によりLCD表示画面202と向き合う顔の状況を検出する(ステップS1)。そして、表示装置100は、視聴者状況判断部102により顔検出状況を判断する(ステップS2)。顔検出状況が、LCD表示画面202と向き合う顔が検出されない顔検出無しから半分検出までの範囲にある場合、表示装置100は、表示レート決定部104により表示レートを小(10fps)に設定する(ステップS3)。そして、表示装置100は、表示部108によりこの「小」に設定された表示レートで画像メモリ105に記憶された画像データを読み出し、表示する(ステップS8)。この後、表示装置100は本動作を終了する。
また、ステップS2で判断された顔検出状況が半分検出から3/4検出までの範囲である場合、表示装置100は、表示レート決定部104により表示レートを中(30fps)に設定する(ステップS4)。そして、表示装置100は、表示部108により、ステップS8で、この「中」に設定された表示レートで画像メモリ105に記憶された画像データを読み出して表示する。この後、表示装置100は本動作を終了する。
また、ステップS2で判断された顔検出状況が3/4検出から全検出までの範囲である場合、表示装置100は、表示レート決定部104により表示レートを通常(60fps)に設定する(ステップS5)。
そして、表示装置100は、操作部109を介した視聴者の操作指示によりフレーム補間の処理有りが設定されているか否かを判別する(ステップS6)。フレーム補間の処理有りが設定されている場合、表示装置100は、フレーム補間部107により、画像メモリ105から画像データを読み出してフレーム補間処理を実行し、表示レートを倍増(120fps)させた画像データを画像メモリ105に書き戻す(ステップS7)。そして、表示装置100は、表示部108により、ステップS8で、表示レートを倍増させた画像データを、「通常」に設定された表示レートで画像メモリ105から読み出し、表示する。この後、表示装置100は本動作を終了する。
一方、ステップS6でフレーム補間の処理有りが設定されていない場合、表示装置100は、表示部108により、ステップS8で、「通常」に設定された表示レートで画像メモリ105に記憶された画像データを読み出し、表示する。この後、表示装置100は本動作を終了する。
このように、第1の実施形態の表示装置によれば、顔検出を利用して視聴者の状況を判断することにより、表示レートを変更することができ、視聴者に違和感なく、さらなる省電力化を図ることができる。すなわち、LCD表示画面と向き合った顔を検出することで、視聴者が注視できているか否かを推定し、視聴者が注視していない場合、表示レートを低くすることで、省電力化を効率的に行うことができ、さらなる省電力化が図られる。
なお、上記実施形態では、視聴者状況判断部102は、単に顔を検出していたが、顔を検出するだけでなく、顔を検出した後、さらに顔の表情を検出するようにしてもよい。顔の表情を検出する技術は既に周知であり、本実施形態では、視聴者状況判断部102が、泣いて涙が溜まった場合、笑って目が細くなった場合等、動画の滑らかさを認識する力が落ちることを利用し、表示レートを低くする。
図5(A)〜(C)は、視聴者状況判断部102によって検出可能な顔の表情を示す図である。図5(A)は泣き顔を示し、図5(B)は笑顔を示し、図5(C)は寝顔を示す。視聴者状況判断部102は、泣き顔、笑顔、寝顔といった顔の表情の検出状況を判断し、判断結果として、この表情検出状況を表示レート決定部104に通知する。表示レート決定部104は、通知された表情の検出状況をもとに、表示レートを変更する。
図6は、顔の表情検出状況に対応する表示レートの変化を示すグラフである。図6の例では、表示レート決定部104は、泣き顔、笑顔又は寝顔の場合、表示レートを通常の場合(怒っているときも含む)より低い中(30fps)に設定する。顔の表情検出状況に対応する表示レートの変化は、図6の例に限られないことは勿論である。
このように、顔の表情から、視聴者が注視できているか否かを推定し、視聴者が注視していないと推定される場合、表示レートを低くすることで、さらなる省電力化を図ることができる。
また、上記実施形態では、視聴者センサにはカメラが用いられたが、視聴者センサを、LCD表示画面の前方に向き合う物体までの距離を検出可能な赤外線センサ(距離センサ)としてもよい。図7(A),(B)は視聴者センサとして赤外線センサが設けられた表示装置の外観を示す図であって、図7(A)は表示装置の正面を示し、図7(B)は表示装置の側面を示す。視聴者センサ151は、表示装置100の筐体201に取り付けられたLCD表示画面202に対し、垂直に設置されている。
視聴者センサ151は、赤外線センサとして、物体(視聴者を含む)までの距離を検出し、視聴者状況判断部102に通知する。視聴者状況判断部102は、赤外線センサによって検出された距離がある一定の範囲内にあるか否かによって、近すぎる距離であるか、最適な距離であるか、それとも遠すぎる距離であるかを判断し、距離の状況を表示レート決定部104に定期的に通知する。表示レート決定部104は、その情報をもとに、表示レートを決定するようにしてもよい。
図8は、距離の状況に対応する表示レートの変化を示すグラフである。図8の例では、表示レート決定部104は、物体までの距離が近い場合又は遠い場合、表示レートを低く設定する。具体的に、距離が0cmから5cmまでの範囲にある場合、表示レートは、小(10fps)以下の値から中(30fps)まで、距離に比例して大きくなる値に設定される。また、距離が5cmから50cmまでの範囲にある場合、表示レートは、通常(60fps)の値に固定される。さらに、距離が50cmから1mまでの範囲にある場合、表示レートは、中(30fps)から小(10fps)まで、距離に比例して小さくなる値に設定される。距離が1m以上では、表示レートはさらに小さな値に設定される。
この設定は、物体(視聴者)からの距離が最適な距離でない場合、動画の滑らかさを認識する力が落ちる、もしくは視聴者が注視できていないと推定されることに基づく。このように、視聴者が注視できているか否かを推定し、注視できていないと推定される場合、表示レートを低くすることで、さらなる省電力化を図ることができる。
また、視聴者センサを、表示装置の姿勢として上下左右の方向を検出できるジャイロセンサと表裏の向きを検出できるカメラとを組み合わせたもの(方向センサ)としてもよい。この場合、表示装置が表向きでかつ上方向にある場合を除き、つまり、上方向かつ表向き以外の方向が検出された場合、表示レートを低くするように設定することが可能である。これにより、視聴者が注視できているか否かを推定することができ、さらなる省電力化が図られる。
また、視聴者センサを、表示装置のゆれを検出できるジャイロセンサ(振動センサ)とし、視聴者センサがゆれの激しさを検出するようにしてもよい。ここでは、ゆれが所定値以上で激しい場合、表示レートを低くするように設定することが可能である。これにより、視聴者が注視できているか否かを推定することができ、さらなる省電力化が図られる。
(第2の実施形態)
図9は、第2の実施形態の表示装置300の構成を示す図である。第1の実施形態と同一の構成要素は同一の符号で表されている。
第2の実施形態の表示装置300は、デコード部103、同期データ格納メモリ171、同期データ解析部172、表示レート決定部174、画像メモリ105、画像処理部106、表示部108及び操作部109を有する。
デコード部103は、例えばデジタルTV放送の動画像データを復号(デコード)する。また、デコード部103は、動画像データに応じた速度でデコードし、このデコード結果を画像メモリ105に表示時刻情報とともに格納する。
同期データ格納メモリ171は、画像メモリ105に格納された画像データと同期した字幕データを格納している。
同期データ解析部172は、同期データ格納メモリ171に格納された字幕データを解析し、この同期データ解析結果として、字幕表示のONタイミングとOFFタイミングを表示レート決定部174に通知する。
表示レート決定部174は、同期データ解析部172から通知された字幕表示のON/OFFタイミングである同期データ解析結果をもとに、図10に示すように、字幕表示のONタイミングと同じ表示時刻の画像データを決定する。図10は、画像データの表示が指示されるフレームを示す図である。また、表示レート決定部174は、図10に示すように、3秒以上、画像データの更新が行われなかった場合、強制的に表示が更新されるように、表示すべき画像データを決定する。そして、表示レート決定部174は、決定した表示すべき画像データを画像処理部106及び表示部108に通知する。
表示部108は、表示レート決定部174から通知された表示すべき画像データを、画像メモリ105から1フレーム単位で読み出して表示する。
操作部109は、視聴者により操作され、処理の有無等の情報を表示レート決定部174及び画像処理部106に通知する。
画像処理部106の処理を実行するか否かは、視聴者により設定可能である。視聴者による処理有りが設定された場合にのみ、画像処理部106は動作する。画像処理部106は、視聴者による処理有りが設定された場合、画像メモリ105に存在する全ての画像データに対し、画像処理を実行するのではなく、表示レート決定部174から通知された表示すべき画像データを、画像メモリ105から1フレーム単位で読み出し、画像処理を実行した後、再び画像メモリ105に書き戻す。
図11は、表示装置300の表示動作手順を示すフローチャートである。表示装置300は、同期データ解析部172により、同期データ格納メモリ171に格納された字幕データを読み出し(ステップS11)、字幕表示のON/OFFタイミングを解析する(ステップS12)。
表示装置300は、表示レート決定部174により、字幕ONタイミング(更新タイミング)の間隔が3秒以上経過するフレームがあるか否かを判別する(ステップS13)。3秒以上経過するフレームがない場合、表示装置300は、表示レート決定部174により、字幕表示ONタイミングのフレームを表示すべき画像データとして決定する(ステップS14)。一方、3秒以上経過するフレームがある場合、表示装置300は、表示レート決定部174により、字幕表示ONタイミングのフレーム、及び3秒以上経過して強制表示すべきフレームを、表示すべき画像データとして決定する(ステップS15)。
そして、表示装置300は、表示部108により、画像メモリ105から表示すべき画像データを読み出し、表示させる(ステップS16)。この後、表示装置300は本動作を終了する。
このように、第2の実施形態の表示装置によれば、字幕表示ON/OFFタイミングを利用して表示の更新を行うことで、視聴内容の理解を損ねない程度に、劇的に表示レートを低くすることができ、さらなる省電力化が図られる。
(第3の実施形態)
図12は、第3の実施形態の表示装置400の構成を示す図である。第1、第2の実施形態と同一の構成要素は同一の符号で表されている。
第3の実施形態の表示装置400は、デコード部103、同期データ格納メモリ181、同期データ解析部182、表示レート決定部184、画像メモリ105、画像処理部106、表示部108及び操作部109を有する。
デコード部103は、例えばデジタルTV放送の動画像データを復号(デコード)する。また、デコード部103は、動画像データに応じた速度でデコードし、このデコード結果を画像メモリ105に格納する。第3の実施形態では、動画像データのデコード速度は60fpsである。デコード部103は、デコード開始と同時に、フレームレート情報(60fps)を表示レート決定部184、画像処理部106及びフレーム補間部107に通知する。
同期データ格納メモリ181は、画像メモリ105に格納される動画像データと同期した音声データを格納する。
同期データ解析部182は、同期データ格納メモリ181に格納された音声データを解析し、動画像が盛り上がりシーンであるか否かを判断し、この同期データ解析結果を表示レート決定部184に定期的に通知する。ここで、盛り上がりシーンであるか否かの判断は、例えば音量が急に大きくなった、低音域と高音域のバランスが大きく変化した等、種々の情報を検知することで行われる。
表示レート決定部184は、デコード部103から通知されたフレームレート情報(60fps)と同期データ解析部182から定期的に通知された同期データ解析結果をもとに表示レートを決定し、この決定した表示レートを画像処理部106、フレーム補間部107及び表示部108に通知する。
表示レート決定部184は、図13に示すように、静かなシーンである場合に中(30fps)として表示レートを低くするか、それとも、盛り上がりシーンである場合にデコード部103から通知されたフレームレート情報である通常(60fps)のままとするかを決定する。図13は、音声データ解析結果に対応する表示レートの変化を示すグラフである。図13では、音声データ解析の結果、静かなシーンである場合、表示レートは中(30fps)であり、盛り上がりシーンである場合、表示レートは通常(60fps)であることが示されている。
表示部108は、表示レート決定部184から通知された表示レートに応じて、画像メモリ105から1フレーム単位で画像データを読み出し、表示する。
画像処理部106及びフレーム補間部107それぞれの処理については、視聴者により処理実行の有無が設定可能である。画像処理部106及びフレーム補間部107は、視聴者による処理有りが設定された場合のみ動作する。
画像処理部106は、視聴者による処理有りが設定された場合、画像メモリ105に存在する画像データの全てに対して画像処理するのではなく、表示レート決定部184から通知された表示レートに応じて、画像メモリ105から1フレーム単位で画像データを読み出し、画像処理を実行した後、再び画像メモリ105に書き戻す。
フレーム補間部107は、視聴者による処理有りが設定された場合、表示レート決定部184から通知された表示レートがデコード部103から通知されたフレームレート情報(60fps)と同じである場合のみ、フレーム補間を実行し、表示レートを倍増(120fps)させた画像データを画像メモリ105に書き戻す。
図14は、表示装置400の表示動作手順を示すフローチャートである。表示装置400は、同期データ解析部182により、同期データ格納メモリ181から音声データを読み出す(ステップS21)。表示装置400は、同期データ解析部182により、読み出した音声データを解析し、静かなシーンであるか、それとも盛り上がりシーンであるかを判別する(ステップS22)。
静かなシーンである場合、表示装置400は、表示レート決定部184により、表示レートを中(30fps)に設定する(ステップS23)。一方、盛り上がりシーンである場合、表示装置400は、表示レート決定部184により、表示レートを通常(60fps)に設定する(ステップS24)。
ステップS23、S24の処理後、表示装置400は、表示部108により、画像メモリ105から画像データを読み出し、表示する(ステップS25)。この後、表示装置300は本動作を終了する。
このように、第3の実施形態の表示装置は、音声データから、動画像が盛り上がりシーンであるか否かを判断することで、視聴内容に即して表示レートを変更することができ、さらなる省電力化を図ることができる。
(第4の実施形態)
第4の実施形態の表示装置は、モバイル携帯端末である携帯電話に搭載される。図15は、第4の実施形態の表示装置が搭載された携帯電話500の構成を示す図である。
第4の実施形態の携帯電話500は、表示部510及び通話部520から構成される。表示部510は、第1の実施形態と同様、視聴者センサ101、視聴者状況判断部102、デコード部103、表示レート決定部104、画像メモリ105、画像処理部106、フレーム補間部107、表示部108及び操作部109を有する。
また、通話部520は、合成処理部119、電源部190、音声処理部191、無線通信部192及び携帯電話画面メモリ部193を有する。
表示部510において、デコード部103は、例えばデジタルTV放送の動画像データを復号(デコード)する。デコード部103は、後述するように、動画像データに応じた速度で復号(デコード)し、このデコード結果を画像メモリ105に格納する。このデコードの開始と同時に、フレームレート情報は、表示レート決定部104、画像処理部106及びフレーム補間部107に通知される。
視聴者センサ101は撮像素子を有するカメラからなり、携帯電話500の表示部108のLCD表示画面に対して垂直に設置されている。
視聴者状況判断部102は、このカメラから入力された撮像データをもとに、顔が検出できなかったか、半分検出できたか、3/4検出できたか、又は全部検出できたかというように、どの程度検出できたか、つまり顔検出状況を判断する。視聴者状況判断部102は、この顔検出状況の判断結果を表示レート決定部104に定期的に通知する。
表示レート決定部104は、デコード部103から通知されたフレームレート情報と、視聴者状況判断部102から定期的に通知された顔検出状況の判断結果をもとに、表示レートを決定し、この決定した表示レートを画像処理部106、フレーム補間部107、表示部108及び合成処理部119に通知する。
表示部108は、表示レート決定部104から通知された表示レートに応じて、画像メモリ105から1フレーム単位で画像データを読み出し、表示する。
画像処理部106及びフレーム補間部107それぞれの処理については、視聴者により処理実行の有無が設定可能である。画像処理部106及びフレーム補間部107は、視聴者による処理有りが設定された場合のみ動作する。
画像処理部106は、視聴者による処理有りが設定された場合、画像メモリ105に存在する画像データの全てに対して画像処理するのではなく、表示レート決定部104から通知された表示レートに応じて、画像メモリ105から1フレーム単位で画像データを読み出し、画像処理を実行した後、再び画像メモリ105に書き戻す。
フレーム補間部107は、視聴者による処理有りが設定された場合、表示レート決定部104から通知された表示レートがデコード部103から通知されたフレームレート情報と同じである場合のみ、フレーム補間を実行し、表示レートを倍増させた画像データを画像メモリ105に書き戻す。
通話部520において、電源部190は、携帯電話500の電池残量を検出し、携帯電話画面メモリ部193に通知する。
音声処理部191は、マイク及びスピーカを備え、音声通話時、無線通信部192から受信した音声符号化データを復号化し、スピーカから出力させ、マイクから入力された音声データを符号化し、無線通信部192に送信する。また、音声処理部191は、動画再生時又はデジタルTV視聴時、動画像と同期した音声データを復号化してスピーカから鳴動させる。
無線通信部192は、音声処理部191から受信した音声符号化データに対し、暗号化等の処理を実行して基地局に送信し、また、基地局から受信したデータに対し、暗号化を解除する等の処理を実行し、音声符号化データを音声処理部191に送信する。また、無線通信部192は、電波受信状態の強度を携帯電話画面メモリ部193に通知する。
携帯電話画面メモリ部193は、通知された電波受信状態の強度と電池残量が携帯電話の使用者に理解可能となるような表示画面を生成し、携帯電話画面メモリ部193の内部メモリに格納する。
合成処理部119は、通知された表示レートに応じて、画像メモリ105に格納された画像データと携帯電話画面メモリ部193に格納された表示画面を合成し、再度、画像メモリ105に書き戻す。
なお、携帯電話500の表示動作は、第1の実施形態における図4に示した動作とほぼ同様である。第4の実施形態では、図4のステップS8において画像を表示する際、画像メモリ105に格納された画像データと携帯電話画面メモリ部193に格納された表示画面を合成して表示することが行われる。
このように、第4の実施形態の携帯電話では、第1の実施形態と同様、携帯電話のLCD表示画面と向き合った顔を検出することで、視聴者が注視できているか否かを推定し、視聴者が注視していない場合、表示レートを低くすることで、さらなる省電力化が図られる。
(第5の実施形態)
第5の実施形態の表示装置は、モバイル携帯端末である携帯電話に搭載される。図16は、第5の実施形態の表示装置が搭載された携帯電話600の構成を示す図である。
第5の実施形態の携帯電話600は、表示部610及び通話部620から構成される。第3、第4の実施形態と同一の構成要素は同一の符号で表されている。
表示部610は、デコード部103、同期データ格納メモリ181、同期データ解析部182、表示レート決定部184、画像メモリ105、画像処理部106、フレーム補間部107、表示部108及び操作部109を有する。また、通話部620は、合成処理部119、電源部190、音声処理部191、無線通信部192及び携帯電話画面メモリ部193を有する。
表示部610において、デコード部103は、例えばデジタルTV放送の動画像データを復号(デコード)する。また、デコード部103は、動画像データに応じた速度でデコードし、このデコード結果を画像メモリ105に格納する。デコード部103は、デコード開始と同時に、フレームレート情報(60fps)を表示レート決定部184、画像処理部106及びフレーム補間部107に通知する。
同期データ格納メモリ181は、画像メモリ105に格納される動画像データと同期した音声データを格納する。また、同期データ解析部182は、同期データ格納メモリ181に格納された音声データを解析し、盛り上がりシーンであるか否かを判断し、この同期データ解析結果を表示レート決定部184に定期的に通知する。
表示レート決定部184は、デコード部103から通知されたフレームレート情報と同期データ解析部182から定期的に通知された同期データ解析結果をもとに表示レートを決定し、この決定した表示レートを画像処理部106、フレーム補間部107及び表示部108に通知する。
表示レート決定部184は、第3の実施形態の図13に示すように、静かなシーンである場合に中(30fps)として表示レートを低くするか、それとも、盛り上がりシーンである場合にデコード部103から通知されたフレームレート情報である通常(60fps)のままとするかを決定する。
表示部108は、表示レート決定部184から通知された表示レートに応じて、画像メモリ105から1フレーム単位で画像データを読み出し、表示する。
画像処理部106及びフレーム補間部107それぞれの処理については、視聴者により処理実行の有無が設定可能である。画像処理部106及びフレーム補間部107は、視聴者による処理有りが設定された場合のみ動作する。
画像処理部106は、視聴者による処理有りが設定された場合、画像メモリ105に存在する画像データの全てに対して画像処理するのではなく、表示レート決定部184から通知された表示レートに応じて、画像メモリ105から1フレーム単位で画像データを読み出し、画像処理を実行した後、再び画像メモリ105に書き戻す。
フレーム補間部107は、視聴者による処理有りが設定された場合、表示レート決定部184から通知された表示レートがデコード部103から通知されたフレームレート情報(60fps)と同じである場合のみ、フレーム補間を実行し、表示レートを倍増(120fps)させた画像データを画像メモリ105に書き戻す。
通話部620において、電源部190は、携帯電話600の電池残量を検出し、携帯電話画面メモリ部193に通知する。
音声処理部191は、マイク及びスピーカを備え、音声通話時、無線通信部192から受信した音声符号化データを復号化し、スピーカから出力させ、マイクから入力された音声データを符号化し、無線通信部192に送信する。また、音声処理部191は、動画再生時又はデジタルTV視聴時、動画像と同期した音声データを復号化してスピーカから鳴動させる。
無線通信部192は、音声処理部191から受信した音声符号化データに対し、暗号化等の処理を実行して基地局に送信し、また、基地局から受信したデータに対し、暗号化を解除する等の処理を実行し、音声符号化データを音声処理部191に送信する。また、無線通信部192は、電波受信状態の強度を携帯電話画面メモリ部193に通知する。
携帯電話画面メモリ部193は、通知された電波受信状態の強度と電池残量が携帯電話の使用者に理解可能となるような表示画面を生成し、携帯電話画面メモリ部193の内部メモリに格納する。
合成処理部119は、通知された表示レートに応じて、画像メモリ105に格納された画像データと携帯電話画面メモリ部193に格納された表示画面を合成し、再度、画像メモリ105に書き戻す。
なお、携帯電話600の表示動作は、第3の実施形態における図14に示した動作とほぼ同様である。第5の実施形態では、図14のステップS25において画像を表示する際、画像メモリ105に格納された画像データと携帯電話画面メモリ部193に格納された表示画面を合成して表示することが行われる。
このように、第5の実施形態の携帯電話では、動画像が音声データから盛り上がりシーンであるか否かを判断することで、視聴内容に即して表示レートを変更することができ、さらなる省電力化が図られる。
(第6の実施形態)
第1の実施形態の表示装置の主要部の機能は、半導体チップ(半導体装置)として実現することも可能である。図17は、第6の実施形態の半導体チップ700の構成を示す図である。半導体チップ700には、デコード部131、視聴者状況判断部132、表示レート決定部134、画像処理部136及びフレーム補間部137が搭載されている。
デコード部131、視聴者状況判断部132、表示レート決定部134、画像処理部136及びフレーム補間部137の機能は、それぞれ第1の実施形態のデコード部103、視聴者状況判断部102、表示レート決定部104、画像処理部106及びフレーム補間部107の機能と同様である。
すなわち、デコード部131は、例えばデジタルTV放送の動画像データを復号(デコード)する。デコード部131は、このデコードの開始と同時に、フレームレート情報を表示レート決定部134、画像処理部136及びフレーム補間部137に通知する。
視聴者状況判断部132は、カメラから入力された撮像データをもとに、顔が検出できなかったか、半分検出できたか、3/4検出できたか、又は全部検出できたかというように、どの程度検出できたか、つまり顔検出状況を判断する。視聴者状況判断部132は、この顔検出状況の判断結果を表示レート決定部134に定期的に通知する。
表示レート決定部134は、デコード部131から通知されたフレームレート情報と、視聴者状況判断部132から定期的に通知された顔検出状況の判断結果をもとに、表示レートを決定し、この決定した表示レートを画像処理部136及びフレーム補間部137に通知する。
画像処理部136は、画像データの全てに対して画像処理するのではなく、表示レート決定部134から通知された表示レートに応じて、画像処理を実行する。
フレーム補間部137は、表示レート決定部134から通知された表示レートがデコード部131から通知されたフレームレート情報と同じである場合のみ、フレーム補間を実行し、表示レートを倍増させた画像データを生成する。
このように、第6の実施形態の半導体チップを表示装置等の電子機器に搭載することで、顔を検出して視聴者が注視できているか否かを推定し、表示レートを低くすることができ、さらなる省電力化が図られる。
(第7の実施形態)
第3の実施形態の表示装置の主要部の機能は、半導体チップとして実現することも可能である。図18は、第7の実施形態の半導体チップ800の構成を示す図である。半導体チップ800には、デコード部141、同期データ解析部142、表示レート決定部143、画像処理部144及びフレーム補間部145が搭載されている。
デコード部141、同期データ解析部142、表示レート決定部143、画像処理部144及びフレーム補間部145の機能は、それぞれ第3の実施形態のデコード部103、同期データ解析部182、表示レート決定部184、画像処理部106及びフレーム補間部107の機能と同様である。
すなわち、デコード部141は、例えばデジタルTV放送の動画像データを復号(デコード)する。また、デコード部141は、動画像データに応じた速度でデコードする。デコード部141は、デコード開始と同時に、フレームレート情報(60fps)を表示レート決定部143、画像処理部144及びフレーム補間部145に通知する。
同期データ解析部142は、音声データを解析し、盛り上がりシーンかそうでないかを判断し、この同期データ解析結果を表示レート決定部143に定期的に通知する。
表示レート決定部143は、デコード部141から通知されたフレームレート情報と同期データ解析部142から定期的に通知された同期データ解析結果をもとに表示レートを決定し、この決定した表示レートを画像処理部144及びフレーム補間部145に通知する。
画像処理部144は、画像データの全てに対して画像処理するのではなく、表示レート決定部143から通知された表示レートに応じて、画像処理を実行する。
フレーム補間部145は、表示レート決定部143から通知された表示レートがデコード部141から通知されたフレームレート情報と同じである場合のみ、フレーム補間を実行し、表示レートを倍増させた画像データを生成する。
このように、第7の実施形態の半導体チップを表示装置等の電子機器に搭載することで、音声データから、動画像が盛り上がりシーンであるか否かを判断し、視聴内容に即して表示レートを変更することができ、さらなる省電力化が図られる。
なお、本発明は、上記実施形態の構成に限られるものではなく、特許請求の範囲で示した機能、又は本実施形態の構成が持つ機能が達成できる構成であればどのようなものであっても適用可能である。
例えば、視聴者の顔検出状況と、字幕データや音声データの解析結果とを組み合わせて表示レートを変更するようにしてもよい。一例として、顔が3/4以上検出されている状況で、かつ、音声データが盛り上がりシーンである場合に、表示レートを通常に近い表示レートに設定し、その他の場合、表示レートを低くするようにしてもよい。
このように、本発明は、すでに最近の携帯端末の消費電力として表示処理にかかる部分が半分以上を占める状況で、かつ、今後、携帯端末の表示解像度がさらに拡大していく中で、表示レートを低くすることで、さらなる省電力化を図ることができ、有用である。
本発明に係る表示装置は、表示レートを変更して画像を表示する表示装置等として有用である。
100,300,400 表示装置
101 視聴者センサ
102,132 視聴者状況判断部
103,131,141 デコード部
104,134,143 表示レート決定部
105 画像メモリ
106,136,144 画像処理部
107,137,145 フレーム補間部
108 表示部
109 操作部
119 合成処理部
142 同期データ解析部
151 視聴者センサ
171,181 同期データ格納メモリ
172,182 同期データ解析部
174,184 表示レート決定部
190 電源部
191 音声処理部
192 無線通信部
193 携帯電話画面メモリ部
201 筐体
202 LCD表示画面
500,600 携帯電話
510,610 表示部
520,620 通話部

Claims (32)

  1. 画像を表示する表示装置であって、
    所定のフレームレートで入力される画像信号を記憶する画像記憶部と、
    視聴者の状況を判断する際に用いられるデータを検出する検出部と、
    前記検出部によって検出されたデータから、前記視聴者の状況を判断する視聴者状況判断部と、
    前記視聴者状況判断部によって判断された視聴者の状況及び前記画像信号が入力される所定のフレームレートに基づき、表示レートを決定する表示レート決定部と、
    前記表示レート決定部によって決定された表示レートで、前記画像記憶部に記憶された画像データを読み出して画像を表示する表示部と、
    を備えた表示装置。
  2. 請求項1記載の表示装置であって、
    前記検出部は、前記表示部の前方を撮像する撮像部である表示装置。
  3. 請求項2記載の表示装置であって、
    前記視聴者状況判断部は、前記撮像部によって撮像された画像の中に、視聴者の顔が存在するか否かを判断する表示装置。
  4. 請求項3記載の表示装置であって、
    前記視聴者状況判断部によって視聴者の顔が存在しないと判断された場合、前記表示レート決定部は、前記所定のフレームレートに比べて低くなるように、前記表示レートを決定する表示装置。
  5. 請求項3記載の表示装置であって、
    前記視聴者状況判断部によって視聴者の顔が存在すると判断された場合、前記表示レート決定部は、前記顔の表情に応じて、前記表示レートを決定する表示装置。
  6. 請求項5記載の表示装置であって、
    前記視聴者状況判断部によって前記視聴者が笑っている、眠っている、又は泣いていると判断された場合、前記所定のフレームレートに比べて低くなるように、前記表示レートを決定する表示装置。
  7. 請求項1記載の表示装置であって、
    前記検出部は、前記表示装置の状態を検出するセンサである表示装置。
  8. 請求項7記載の表示装置であって、
    前記センサは、前記表示部の前方に向き合う物体までの距離を検出する距離センサである表示装置。
  9. 請求項8記載の表示装置であって、
    前記視聴者状況判断部は、前記距離センサによって検出された距離がある一定の範囲内にあるか否かを判断する表示装置。
  10. 請求項9記載の表示装置であって、
    前記表示レート決定部は、前記距離センサによって検出された距離がある一定の範囲内にない場合、前記所定のフレームレートに比べて低くなるように、前記表示レートを決定する表示装置。
  11. 請求項7記載の表示装置であって、
    前記センサは、前記表示装置の姿勢として上下左右の方向及び表裏の向きを検出する方向センサである表示装置。
  12. 請求項11記載の表示装置であって、
    前記視聴者状況判断部は、前記方向センサによって上方向かつ表向きが検出されたか否かを判断する表示装置。
  13. 請求項12記載の表示装置であって、
    前記視聴者状況判断部によって上方向かつ表向き以外の方向が検出されたと判断された場合、前記表示レート決定部は、前記所定のフレームレートに比べて低くなるように、前記表示レートを決定する表示装置。
  14. 請求項7記載の表示装置であって、
    前記センサは、前記表示装置のゆれを検出する振動センサである表示装置。
  15. 請求項14記載の表示装置であって、
    前記視聴者状況判断部は、前記振動センサによって前記表示装置のゆれが所定値以上であるか否かを判断する表示装置。
  16. 請求項15記載の表示装置であって、
    前記視聴者状況判断部によって前記表示装置のゆれが所定値以上であると判断された場合、前記表示レート決定部は、前記所定のフレームレートに比べて低くなるように、前記表示レートを決定する表示装置。
  17. 請求項1〜16のいずれか一項に記載の表示装置であって、
    前記表示レート決定部によって決定された表示レートで表示される画像データに対し、画像処理を行う画像処理部を備えた表示装置。
  18. 請求項1〜17のいずれか一項に記載の表示装置であって、
    前記表示レート決定部によって決定された表示レートで表示される画像データに対し、フレーム補間を行うフレーム補間部を備えた表示装置。
  19. 画像を表示する表示装置であって、
    所定のフレームレートで入力される画像信号を記憶する画像記憶部と、
    前記画像信号に同期したデータを格納する同期データ格納部と、
    前記同期データ格納部に格納されたデータを解析するデータ解析部と、
    前記データ解析部によるデータの解析結果及び前記画像信号が入力される所定のフレームレートに基づき、表示レートを決定する表示レート決定部と、
    前記表示レート決定部によって決定された表示レートで、前記画像記憶部に記憶された画像データを読み出して画像を表示する表示部と、
    を備えた表示装置。
  20. 請求項19記載の表示装置であって、
    前記同期データ格納部に格納されるデータは、字幕データである表示装置。
  21. 請求項20記載の表示装置であって、
    前記データ解析部は、前記同期データ格納部に格納された字幕データの更新タイミングを解析する表示装置。
  22. 請求項21記載の表示装置であって、
    前記表示レート決定部は、前記データ解析部によって解析された字幕データの更新タイミングに合わせて、表示レートを決定する表示装置。
  23. 請求項19記載の表示装置であって、
    前記同期データ格納部に格納されるデータは、音声データである表示装置。
  24. 請求項23記載の表示装置であって、
    前記データ解析部は、前記同期データ格納部に格納された音声データから、盛り上がりシーンを判断する表示装置。
  25. 請求項24記載の表示装置であって、
    前記表示レート決定部は、前記データ解析部によって盛り上がりシーンと判断されない場合、前記所定のフレームレートに比べて低くなるように、前記表示レートを決定する表示装置。
  26. 請求項19〜25のいずれか一項に記載の表示装置であって、
    前記表示レート決定部によって決定された表示レートで表示される画像データに対し、画像処理を行う画像処理部を備えた表示装置。
  27. 請求項19〜26のいずれか一項に記載の表示装置であって、
    前記表示レート決定部によって決定された表示レートで表示される画像データに対し、フレーム補間を行うフレーム補間部を備えた表示装置。
  28. 所定のフレームレートで入力される画像信号を記憶する画像記憶部を備え、前記画像記憶部に記憶された画像信号に基づく画像を表示する表示装置の表示制御方法であって、
    視聴者の状況を判断する際に用いられるデータを検出する検出ステップと、
    前記検出ステップで検出されたデータから、前記視聴者の状況を判断する視聴者状況判断ステップと、
    前記視聴者状況判断ステップで判断された視聴者の状況及び前記画像信号が入力される所定のフレームレートに基づき、表示レートを決定する表示レート決定ステップと、
    前記表示レート決定ステップで決定された表示レートで、前記画像記憶部に記憶された画像データを読み出して画像を表示する表示ステップと、
    を有する表示制御方法。
  29. 所定のフレームレートで入力される画像信号を記憶する画像記憶部を備え、前記画像記憶部に記憶された画像信号に基づく画像を表示する表示装置の表示制御方法であって、
    同期データ格納部に格納されたデータを解析するデータ解析ステップと、
    前記データ解析ステップにおけるデータの解析結果及び前記画像信号が入力される所定のフレームレートに基づき、表示レートを決定する表示レート決定ステップと、
    前記表示レート決定ステップで決定された表示レートで、前記画像記憶部に記憶された画像データを読み出して画像を表示する表示ステップと、
    を有する表示制御方法。
  30. 請求項1〜27のいずれか一項に記載の表示装置と、通話を可能にする通話部と、を備えた携帯電話。
  31. 表示装置に搭載される半導体装置であって、
    センサで検出されるデータから、視聴者の状況を判断する視聴者状況判断部と、
    前記視聴者状況判断部によって判断された視聴者の状況及び画像信号が入力される所定のフレームレートに基づき、前記画像信号に基づく画像を表示する際の表示レートを決定する表示レート決定部と、
    を備えた半導体装置。
  32. 表示装置に搭載される半導体装置であって、
    画像信号に同期したデータを解析するデータ解析部と、
    前記データ解析部によるデータの解析結果及び前記画像信号が入力される所定のフレームレートに基づき、前記画像信号に基づく画像を表示する際の表示レートを決定する表示レート決定部と、
    を備えた半導体装置。
JP2010257196A 2010-11-17 2010-11-17 表示装置、表示制御方法、携帯電話及び半導体装置 Pending JP2012109810A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2010257196A JP2012109810A (ja) 2010-11-17 2010-11-17 表示装置、表示制御方法、携帯電話及び半導体装置
CN201180055223.2A CN103210657B (zh) 2010-11-17 2011-07-27 显示设备、显示控制方法、蜂窝电话和半导体器件
PCT/JP2011/004241 WO2012066705A1 (ja) 2010-11-17 2011-07-27 表示装置、表示制御方法、携帯電話及び半導体装置
US13/891,915 US20130242187A1 (en) 2010-11-17 2013-05-10 Display device, display control method, cellular phone, and semiconductor device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010257196A JP2012109810A (ja) 2010-11-17 2010-11-17 表示装置、表示制御方法、携帯電話及び半導体装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2014136983A Division JP2014222909A (ja) 2014-07-02 2014-07-02 表示装置、表示制御方法及び半導体装置

Publications (2)

Publication Number Publication Date
JP2012109810A true JP2012109810A (ja) 2012-06-07
JP2012109810A5 JP2012109810A5 (ja) 2013-10-10

Family

ID=46083660

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010257196A Pending JP2012109810A (ja) 2010-11-17 2010-11-17 表示装置、表示制御方法、携帯電話及び半導体装置

Country Status (4)

Country Link
US (1) US20130242187A1 (ja)
JP (1) JP2012109810A (ja)
CN (1) CN103210657B (ja)
WO (1) WO2012066705A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8848068B2 (en) * 2012-05-08 2014-09-30 Oulun Yliopisto Automated recognition algorithm for detecting facial expressions
US20140082504A1 (en) * 2012-09-14 2014-03-20 Kevin B. Stanton Continuous data delivery with energy conservation
US10055009B2 (en) * 2014-05-30 2018-08-21 Apple Inc. Dynamic display refresh rate based on device motion
US10129312B2 (en) * 2014-09-11 2018-11-13 Microsoft Technology Licensing, Llc Dynamic video streaming based on viewer activity
USD780737S1 (en) * 2015-09-14 2017-03-07 Panasonic Intellectual Property Management Co., Ltd. Telephone handset
US11082383B2 (en) * 2018-03-13 2021-08-03 ROVl GUIDES, INC. Systems and methods for displaying a notification at an area on a display screen that is within a line of sight of a subset of audience members to whom the notification pertains
CN109712549A (zh) * 2018-12-24 2019-05-03 深圳市巨烽显示科技有限公司 一种节约显示器能耗的方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008141535A (ja) * 2006-12-01 2008-06-19 Toshiba Corp 携帯電話制御装置及び機械的画像揺れ制御方法
JP2008177819A (ja) * 2007-01-18 2008-07-31 Mitsubishi Electric Corp 携帯端末装置
WO2010021373A1 (ja) * 2008-08-22 2010-02-25 ソニー株式会社 画像表示装置、制御方法およびコンピュータプログラム
WO2010123770A2 (en) * 2009-04-19 2010-10-28 Innerscope Research, Llc Method and system for measuring user experience for interactive activities

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020051077A1 (en) * 2000-07-19 2002-05-02 Shih-Ping Liou Videoabstracts: a system for generating video summaries
JP2005223454A (ja) * 2004-02-03 2005-08-18 Nec Access Technica Ltd Tv機能付き携帯電話装置
JP4232113B2 (ja) * 2006-02-17 2009-03-04 ソニー株式会社 データ処理装置およびデータ処理方法、並びにプログラム
JP5174329B2 (ja) * 2006-05-23 2013-04-03 株式会社日立製作所 画像処理装置及び画像表示装置
CN101536506A (zh) * 2006-09-28 2009-09-16 夏普株式会社 图像显示装置及方法、图像处理装置及方法
CN101398994B (zh) * 2007-09-28 2012-04-25 上海微小卫星工程中心 多功能晃动式led显示装置
CA2651464C (en) * 2008-04-30 2017-10-24 Crim (Centre De Recherche Informatique De Montreal) Method and apparatus for caption production
JP2010085683A (ja) * 2008-09-30 2010-04-15 Panasonic Corp 画像処理装置
CN102150181A (zh) * 2008-12-05 2011-08-10 松下电器产业株式会社 面部检测装置
JP5299866B2 (ja) * 2009-05-19 2013-09-25 日立コンシューマエレクトロニクス株式会社 映像表示装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008141535A (ja) * 2006-12-01 2008-06-19 Toshiba Corp 携帯電話制御装置及び機械的画像揺れ制御方法
JP2008177819A (ja) * 2007-01-18 2008-07-31 Mitsubishi Electric Corp 携帯端末装置
WO2010021373A1 (ja) * 2008-08-22 2010-02-25 ソニー株式会社 画像表示装置、制御方法およびコンピュータプログラム
WO2010123770A2 (en) * 2009-04-19 2010-10-28 Innerscope Research, Llc Method and system for measuring user experience for interactive activities

Also Published As

Publication number Publication date
WO2012066705A1 (ja) 2012-05-24
CN103210657B (zh) 2016-09-28
CN103210657A (zh) 2013-07-17
US20130242187A1 (en) 2013-09-19

Similar Documents

Publication Publication Date Title
WO2012066705A1 (ja) 表示装置、表示制御方法、携帯電話及び半導体装置
AU2014230175B2 (en) Display control method and apparatus
US8606183B2 (en) Method and apparatus for remote controlling bluetooth device
JP5123472B2 (ja) 携帯情報端末
US11632584B2 (en) Video switching during music playback
KR101688145B1 (ko) 동영상 재생 방법 및 이를 이용하는 이동 단말기
US20120092248A1 (en) method, apparatus, and system for energy efficiency and energy conservation including dynamic user interface based on viewing conditions
CN110324689B (zh) 音视频同步播放的方法、装置、终端及存储介质
US10841697B1 (en) Method and apparatus for playing audio, playing device, and storage medium
CN113438552B (zh) 一种刷新率调整方法和电子设备
JP2005221907A (ja) 表示装置
US20220256099A1 (en) Method for processing video, terminal, and storage medium
CN105577947B (zh) 控制方法及电子设备
KR20120059170A (ko) 휴대단말기의 화면전환 제어 장치 및 방법
JP2015517777A (ja) 多重動画再生方法及び装置
KR20170009087A (ko) 영상 표시 장치 및 그 동작 방법
US20110176032A1 (en) Audio signal processing apparatus and audio signal processing system
JP5291792B2 (ja) デジタル放送受信装置および映像表示方法
WO2021143388A1 (zh) 码率切换方法及设备
JP2014222909A (ja) 表示装置、表示制御方法及び半導体装置
CN109819188B (zh) 视频的处理方法和终端设备
KR101867618B1 (ko) 휴대단말기의 음악재생 종료장치 및 방법
KR100849293B1 (ko) 슬라이드 타입 휴대단말기에서 키 입력 장치 및 방법
CN106303714A (zh) 多媒体设备的控制方法、装置和终端设备
CN106528689B (zh) 页面内容的展示方法及装置、电子设备

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130826

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130826

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20131225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140507

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140902