JP2008146164A - 小型端末装置 - Google Patents
小型端末装置 Download PDFInfo
- Publication number
- JP2008146164A JP2008146164A JP2006329705A JP2006329705A JP2008146164A JP 2008146164 A JP2008146164 A JP 2008146164A JP 2006329705 A JP2006329705 A JP 2006329705A JP 2006329705 A JP2006329705 A JP 2006329705A JP 2008146164 A JP2008146164 A JP 2008146164A
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- data
- terminal device
- small terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
【課題】インターネットの文章、公告等、或いはメールを読む際、画面移動を自動調整する。
【解決手段】動画撮影用カメラ2と、任意の画像データを表示するディスプレイ6と、ディスプレイ6を見る人の顔とディスプレイ6との距離を測定する手段と、距離の変化量を動き補償技術を用いて推定し、変化量に応じた移動量に応じて、ディスプレイにおける任意の画像をデータの表示位置を、電子的に変更する手段とを備え、距離を相対的に一定すると共に、動画撮影用カメラ画像と動き補償(MC)予測を用いて、縦横方向、或いは深さ方向の制御を実行し、文章の文字を読む時の画面移動を自動調整する小型端末装置。
【選択図】図1
【解決手段】動画撮影用カメラ2と、任意の画像データを表示するディスプレイ6と、ディスプレイ6を見る人の顔とディスプレイ6との距離を測定する手段と、距離の変化量を動き補償技術を用いて推定し、変化量に応じた移動量に応じて、ディスプレイにおける任意の画像をデータの表示位置を、電子的に変更する手段とを備え、距離を相対的に一定すると共に、動画撮影用カメラ画像と動き補償(MC)予測を用いて、縦横方向、或いは深さ方向の制御を実行し、文章の文字を読む時の画面移動を自動調整する小型端末装置。
【選択図】図1
Description
本発明の技術分野は、小型端末用制御装置に関するもので、特に文章の文字移動の制御を行う小型端末装置に関する。
最近携帯電話等でも代表されるように小型端末装置は、メール等の文章、及びインターネットの文章等を読む時、ボタン等でスクロールをさせて、手動で、文章文字を移動させなければならないのが現状である。また、電子辞書等で、文字を読んでいる際にも同様に、ボタン等でスクロールをさせて、手動で、文章文字を移動させなければならないのが現状である。
撮像手段と、画像表示手段と、撮像手段で撮影された画像から,画像認識によって顔の目の位置を検出する検出手段と、検出手段の検出結果に基づいて,画像表示手段での画像の表示位置を変更させる表示位置変更手段とを備える画像表示装置及び画像ぶれ防止方法については、既に開示されている(例えば、特許文献1参照。)。
特許文献1における画像表示装置及び画像ぶれ防止方法においては、画像表示装置とユーザの目との相対位置関係が変化する場合にも画像ぶれを軽減するとともに、プライバシーフィルタを用いる場合のような画質の低下や着脱の煩わしさを伴うことなく電車内等での真後ろからの覗き込みによる情報漏洩を防止することができる。
特開2004−317813号公報
本発明は、小型端末装置の画面表示装置上の表示画面において、表示画面上の位置や大きさを変更することで、2次元、深さ方向、3次元移動に対する画面の調整を行うことができ、顔の位置と表示画面との相対的な位置を変更する。
本発明の目的は、インターネットの文章、公告等、或いはメールを読む際、動画撮影用カメラ画像と動き補償(MC)予測を用いて、縦横方向の制御を実行し、文章の文字を読む時の画面移動を自動調整する小型端末装置を提供することにある。
本発明の一態様によれば、(イ) 動画撮影用カメラと、(ロ)任意の画像データを表示する画像表示装置と、(ハ)画像表示装置を見る人の顔と画像表示装置との距離を測定する手段と、(二)距離の変化量を動き補償技術を用いて推定し、変化量に応じた移動量に応じて,画像表示装置における任意の画像をデータの表示位置を電子的に変更する手段とを備え、(ホ)距離を相対的に一定すると共に、動画撮影用カメラ画像と動き補償予測を用いて、縦横方向の制御を実行し、文章の文字を読む時の画面移動を自動調整する小型端末装置が提供される。
本発明の他の態様によれば、(イ)動画撮影用カメラと、(ロ)ディスプレイと、(ハ)データアナログ信号を送受信するアナログ・フロント・エンドと、(二)動画撮影用カメラを制御するカメラコントローラ部と、(ホ)ディスプレイを制御するディスプレイ用コントローラ部と、(へ)カメラコントローラ部,及びディスプレイ用コントローラ部とデータを送受信する画像処理装置と、中央演算処理装置,及びディジタル・シグナル・プロセッサを有し,前記アナログ・フロント・エンドとの間でデータを送受信するベースバンド部とを備える画像処理プロセッサとを備え、(ト)動画撮影用カメラ画像と動き補償予測を用いて、縦横方向の制御を実行し、文章の文字を読む時の画面移動を自動調整する小型端末装置が提供される。
本発明の小型端末装置によれば、インターネットの文章、公告等、或いはメールを読む際、動画撮影用カメラ画像と動き補償(MC)予測を用いて、縦横方向の制御を実行し、文章の文字を読む時の画面移動を自動調整することができ、この結果、文字の縦横方向を監視することで、文章を手動でスクロールすること無く文字を読む時の画面移動を可能にすることができる。
次に、図面を参照して、本発明の第1の実施の形態を説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。ただし、図面は模式的なものであり、厚みと平面寸法との関係、動作タイミング等は現実のものとは異なることに留意すべきである。したがって、具体的な厚みや寸法は以下の説明を参酌して判断すべきものである。又、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることはもちろんである。
また、以下に示す第1の実施の形態は、この発明の技術的思想を具体化するための装置や方法を例示するものであって、この発明の技術的思想は、構成部品の形状、構造、配置等を下記のものに特定するものでない。この発明の技術的思想は、特許請求の範囲において、種々の変更を加えることができる。
また、以下に示す第1の実施の形態は、例えば、携帯電話、TV、表示画面付の動画像再生機器、或いはカーナビといった画像表示装置を有する電子機器に応用可能である。
[第1の実施の形態]
本発明の第1の実施の形態に係る小型端末装置の模式的ブロック構成は、図1に示すように、動画撮影用カメラ2と、動画撮影用カメラ2を制御するカメラコントローラ部4と、ディスプレイ6と、ディスプレイ6を制御するディスプレイ用コントローラ部25と、画像処理プロセッサ7と、アナログ・フロント・エンド(AFE)31とを備える。
本発明の第1の実施の形態に係る小型端末装置の模式的ブロック構成は、図1に示すように、動画撮影用カメラ2と、動画撮影用カメラ2を制御するカメラコントローラ部4と、ディスプレイ6と、ディスプレイ6を制御するディスプレイ用コントローラ部25と、画像処理プロセッサ7と、アナログ・フロント・エンド(AFE)31とを備える。
画像処理プロセッサ7は、カメラコントローラ部4及びディスプレイ用コントローラ部25とデータを送受信する画像処理装置27と、中央演算処理装置(CPU)21,ディジタル・シグナル・プロセッサ(DSP)23及び画像メモリ19を有し,AFE31との間でデータを送受信するベースバンド部22とを備える。
AFE31は、TVアナログ信号TVA及びTV電話アナログ送受信信号TVB等のデータアナログ信号DASを送受信する。
画像処理装置27は、例えば、MPEG4チップによって構成される。ベースバンド部22は、例えば、ベースバンドチップによって構成される。
本発明の第1の実施の形態に係る小型端末装置は、ディスプレイ上の表示画面について、ディスプレイ上の画像位置を調整し、揺れを抑えるものである。
ディスプレイ6は、本実施形態では液晶表示装置(LCD:Liquid Crystal Display)であるが、表示方法をクロックで制御する他の表示装置にも応用可能である。
本発明の第1の実施の形態に係る小型端末装置は、小型端末装置の動画撮影用カメラと、動き補償(Motion Compensation、以下MCと称する)予測を用いて、ディスプレイ画像の縦横深さと2次元、深さ方向、3次元方向位置制御を行う。この小型端末装置は、小型端末装置のディスプレイで、テレビ、動画像を見ている時に、小型端末装置に装備された動画撮影用カメラ2から、見ている人の位置情報を監視する。
監視とは、すなわち、動画撮影用カメラ2によって撮影された画像を基に、動き補償予測を用いたブロックマッチング法を用いて、見ている人の位置情報の移動量を予測することである。この予測した移動量を基に、表示画面のディスプレイ上の位置を変えることで、より制度の高いディスプレイの画面表示制御を行うことができる。
この監視する手順については、後に、図9乃至図12を用いて説明する。
(変形例1)
本発明の第1の実施の形態の変形例1に係る小型端末装置の模式的ブロック構成は、図2に示すように、動画撮影用カメラ2と、動画撮影用カメラ2を制御するカメラコントローラ部4と、ディスプレイ6と、ディスプレイ6を制御するディスプレイ用コントローラ部25と、画像処理プロセッサ7と、AFE31と、フレームメモリ26とを備える。
本発明の第1の実施の形態の変形例1に係る小型端末装置の模式的ブロック構成は、図2に示すように、動画撮影用カメラ2と、動画撮影用カメラ2を制御するカメラコントローラ部4と、ディスプレイ6と、ディスプレイ6を制御するディスプレイ用コントローラ部25と、画像処理プロセッサ7と、AFE31と、フレームメモリ26とを備える。
画像処理プロセッサ7は、カメラコントローラ部4及びディスプレイ用コントローラ部25とデータを送受信する画像処理装置27と、CPU21及びDSP23を有し,AFE31及びフレームメモリ26との間でデータを送受信するベースバンド部22とを備える。
AFE31は、TVアナログ信号TVA及びTV電話アナログ送受信信号TVB等のデータアナログ信号DASを送受信する。
AFE31は、TVアナログ信号TVA及びTV電話アナログ送受信信号TVB等のデータアナログ信号DASを送受信する。
本発明の第1の実施の形態の変形例1に係る小型端末装置においては、フレームメモリ26を設け、TVの受信データのデータレートが低い場合、フレームメモリ26を用いることで、データレートを維持し、画面表示スピードを保持することができる。
(変形例2)
本発明の第1の実施の形態の変形例2に係る小型端末装置の模式的ブロック構成は、図3に示すように、動画撮影用カメラ2と、ディスプレイ6と、動画撮影用カメラ2及びディスプレイ6を制御するカメラ/ディスプレイ用コントローラ部8と、画像処理プロセッサ7と、AFE31とを備える。
本発明の第1の実施の形態の変形例2に係る小型端末装置の模式的ブロック構成は、図3に示すように、動画撮影用カメラ2と、ディスプレイ6と、動画撮影用カメラ2及びディスプレイ6を制御するカメラ/ディスプレイ用コントローラ部8と、画像処理プロセッサ7と、AFE31とを備える。
画像処理プロセッサ7は、カメラ/ディスプレイ用コントローラ部8とデータを送受信する画像処理装置27と、CPU21,DSP23及び画像メモリ19を有し,AFE31との間でデータを送受信するベースバンド部22とを備える。AFE31は、TVアナログ信号TVA及びTV電話アナログ送受信信号TVB等のデータアナログ信号DASを送受信する。
本発明の第1の実施の形態の変形例2に係る小型端末装置においては、図1に示すカメラコントローラ部4、ディスプレイ用コントローラ部25を一体型にしたカメラ/ディスプレイ用コントローラ部8を備える。
(変形例3)
本発明の第1の実施の形態の変形例3に係る小型端末装置の模式的ブロック構成は、図4に示すように、動画撮影用カメラ2と、ディスプレイ6と、動画撮影用カメラ2及びディスプレイ6を制御するカメラ/ディスプレイ用コントローラ部8と、画像処理プロセッサ7と、AFE31と、フレームメモリ26とを備える。
本発明の第1の実施の形態の変形例3に係る小型端末装置の模式的ブロック構成は、図4に示すように、動画撮影用カメラ2と、ディスプレイ6と、動画撮影用カメラ2及びディスプレイ6を制御するカメラ/ディスプレイ用コントローラ部8と、画像処理プロセッサ7と、AFE31と、フレームメモリ26とを備える。
画像処理プロセッサ7は、カメラ/ディスプレイ用コントローラ部8とデータを送受信する画像処理装置27と、CPU21及びDSP23を有し,AFE31及びフレームメモリ26との間でデータを送受信するベースバンド部22とを備える。AFE31は、TVアナログ信号TVA及びTV電話アナログ送受信信号TVB等のデータアナログ信号DASを送受信する。
本発明の第1の実施の形態の変形例3に係る小型端末装置においては、図1に示すカメラコントローラ部4、ディスプレイ用コントローラ部25を一体型にしたカメラ/ディスプレイ用コントローラ部8を備える。
本発明の第1の実施の形態の変形例3に係る小型端末装置においては、フレームメモリ26を設け、TVの受信データのデータレートが低い場合、フレームメモリ26を用いることで、データレートを維持し、画面表示スピードを保持することができる。
(変形例4)
本発明の第1の実施の形態の変形例4に係る小型端末装置の模式的ブロック構成は、図5に示すように、動画撮影用カメラ2と、位置監視用カメラ3と、ディスプレイ6と、動画撮影用カメラ2とデータを送受信するカメラコントローラ部4と、位置監視用カメラ3とデータを送受信するカメラコントローラ部5と、ディスプレイ6とデータを送受信するディスプレイ用コントローラ部25と、画像処理プロセッサ7と、AFE31とを備える。
画像処理プロセッサ7は、カメラコントローラ部4,カメラコントローラ部5,及びディスプレイ用コントローラ部25とデータを送受信する画像処理装置27と、CPU21,DSP23及びが画像メモリ19を有し,AFE31との間でデータを送受信するベースバンド部22とを備える。AFE31は、TVアナログ信号TVA及びTV電話アナログ送受信信号TVB等のデータアナログ信号DASを送受信する。
本発明の第1の実施の形態の変形例4に係る小型端末装置の模式的ブロック構成は、図5に示すように、動画撮影用カメラ2と、位置監視用カメラ3と、ディスプレイ6と、動画撮影用カメラ2とデータを送受信するカメラコントローラ部4と、位置監視用カメラ3とデータを送受信するカメラコントローラ部5と、ディスプレイ6とデータを送受信するディスプレイ用コントローラ部25と、画像処理プロセッサ7と、AFE31とを備える。
画像処理プロセッサ7は、カメラコントローラ部4,カメラコントローラ部5,及びディスプレイ用コントローラ部25とデータを送受信する画像処理装置27と、CPU21,DSP23及びが画像メモリ19を有し,AFE31との間でデータを送受信するベースバンド部22とを備える。AFE31は、TVアナログ信号TVA及びTV電話アナログ送受信信号TVB等のデータアナログ信号DASを送受信する。
本発明の第1の実施の形態の変形例4に係る小型端末装置においては、位置監視用カメラ3をディスプレイ6側に設置し、その位置監視用カメラ3で、人の顔の位置状態を監視し、XY軸の揺れ幅、Z軸の奥行きのサイズ幅を変更させることができ、これにより顔の位置が移動しても、視点から揺れずに一定の画面の大きさで見ることができる。
(変形例5)
本発明の第1の実施の形態の変形例5に係る小型端末装置の模式的ブロック構成は、図6に示すように、動画撮影用カメラ2と、位置監視用カメラ3と、ディスプレイ6と、動画撮影用カメラ2とデータを送受信するカメラコントローラ部4と、位置監視用カメラ3とデータを送受信するカメラコントローラ部5と、ディスプレイ6とデータを送受信するディスプレイ用コントローラ部25と、画像処理プロセッサ7と、AFE31と、フレームメモリ26とを備える。
本発明の第1の実施の形態の変形例5に係る小型端末装置の模式的ブロック構成は、図6に示すように、動画撮影用カメラ2と、位置監視用カメラ3と、ディスプレイ6と、動画撮影用カメラ2とデータを送受信するカメラコントローラ部4と、位置監視用カメラ3とデータを送受信するカメラコントローラ部5と、ディスプレイ6とデータを送受信するディスプレイ用コントローラ部25と、画像処理プロセッサ7と、AFE31と、フレームメモリ26とを備える。
画像処理プロセッサ7は、カメラコントローラ部4,カメラコントローラ部5,及びディスプレイ用コントローラ部25とデータを送受信する画像処理装置27と、CPU21及びDSP23を有し,AFE31及びフレームメモリ26との間でデータを送受信するベースバンド部22とを備える。AFE31は、TVアナログ信号TVA及びTV電話アナログ送受信信号TVB等のデータアナログ信号DASを送受信する。
本発明の第1の実施の形態の変形例5に係る小型端末装置においては、フレームメモリ26を設け、TVの受信データのデータレートが低い場合、フレームメモリ26を用いることで、データレートを維持し、画面表示スピードを保持することができる。
本発明の第1の実施の形態の変形例5に係る小型端末装置においても、位置監視用カメラ3をディスプレイ6側に設置し、その位置監視用カメラ3で、人の顔の位置状態を監視し、XY軸の振れ幅、Z軸の奥行きのサイズ幅を変更させることができ、これにより顔の位置が移動しても、視点から振れずに一定の画面の大きさで見ることができる。
(変形例6)
本発明の第1の実施の形態の変形例6に係る小型端末装置の模式的ブロック構成は、図7に示すように、動画撮影用カメラ2と、位置監視用カメラ3と、ディスプレイ6と、動画撮影用カメラ2,位置監視用カメラ3,及びディスプレイ6とデータを送受信するカメラ/ディスプレイ用コントローラ部8と、画像処理プロセッサ7と、AFE31とを備える。
本発明の第1の実施の形態の変形例6に係る小型端末装置の模式的ブロック構成は、図7に示すように、動画撮影用カメラ2と、位置監視用カメラ3と、ディスプレイ6と、動画撮影用カメラ2,位置監視用カメラ3,及びディスプレイ6とデータを送受信するカメラ/ディスプレイ用コントローラ部8と、画像処理プロセッサ7と、AFE31とを備える。
画像処理プロセッサ7は、カメラ/ディスプレイ用コントローラ部8とデータを送受信する画像処理装置27と、CPU21及びDSP23を有し,AFE31との間でデータを送受信するベースバンド部22とを備える。AFE31は、TVアナログ信号TVA及びTV電話アナログ送受信信号TVB等のデータアナログ信号DASを送受信する。
本発明の第1の実施の形態の変形例6に係る小型端末装置においては、図6に示すカメラコントローラ部4,カメラコントローラ部5,及びディスプレイ用コントローラ部25を一体型にしたカメラ/ディスプレイ用コントローラ部8を備える。
本発明の第1の実施の形態の変形例6に係る小型端末装置においても、位置監視用カメラ3をディスプレイ6側に設置し、その位置監視用カメラ3で、人の顔の位置状態を監視し、XY軸の振れ幅、Z軸の奥行きのサイズ幅を変更させることができ、これにより顔の位置が移動しても、視点から振れずに一定の画面の大きさで見ることができる。
(変形例7)
本発明の第1の実施の形態の変形例6に係る小型端末装置の模式的ブロック構成は、図8に示すように、動画撮影用カメラ2と、位置監視用カメラ3と、ディスプレイ6と、動画撮影用カメラ2,位置監視用カメラ3,及びディスプレイ6とデータを送受信するカメラ/ディスプレイ用コントローラ部8と、画像処理プロセッサ7と、AFE31と、フレームメモリとを備える。
本発明の第1の実施の形態の変形例6に係る小型端末装置の模式的ブロック構成は、図8に示すように、動画撮影用カメラ2と、位置監視用カメラ3と、ディスプレイ6と、動画撮影用カメラ2,位置監視用カメラ3,及びディスプレイ6とデータを送受信するカメラ/ディスプレイ用コントローラ部8と、画像処理プロセッサ7と、AFE31と、フレームメモリとを備える。
画像処理プロセッサ7は、カメラ/ディスプレイ用コントローラ部8とデータを送受信する画像処理装置27と、CPU21及びDSP23を有し,AFE31及びフレームメモリ26との間でデータを送受信するベースバンド部22とを備える。AFE31は、TVアナログ信号TVA及びTV電話アナログ送受信信号TVB等のデータアナログ信号を送受信する。
本発明の第1の実施の形態の変形例7に係る小型端末装置においては、フレームメモリ26を設け、TVの受信データのデータレートが低い場合、フレームメモリ26を用いることで、データレートを維持し、画面表示スピードを保持することができる。
本発明の第1の実施の形態の変形例7に係る小型端末装置においては、図6に示すカメラコントローラ部4,カメラコントローラ部5,及びディスプレイ用コントローラ部25を一体型にしたカメラ/ディスプレイ用コントローラ部8を備える。
本発明の第1の実施の形態の変形例7に係る小型端末装置においても、位置監視用カメラ3をディスプレイ6側に設置し、その位置監視用カメラ3で、人の顔の位置状態を監視し、XY軸の振れ幅、Z軸の奥行きのサイズ幅を変更させることができ、これにより顔の位置が移動しても、視点から振れずに一定の画面の大きさで見ることができる。
(小型端末装置の動作方法)
−人の顔の縦横の移動−
本発明の第1の実施の形態に係る小型端末装置の動作方法について、人の顔の縦横の移動のような2Dの場合の動作を説明するフローチャートは、図9及び図10に示すように表される。
−人の顔の縦横の移動−
本発明の第1の実施の形態に係る小型端末装置の動作方法について、人の顔の縦横の移動のような2Dの場合の動作を説明するフローチャートは、図9及び図10に示すように表される。
図9は、MC予測の無い場合のフローチャートを示す。
まず、モニターを見ている画面の人の目の位置を動画撮影用カメラにより人の顔の目位置データとして常時読み取られ、MPEG4に画像情報が格納される。人の目の縦横位置が微妙に変化することで、この格納されたデータと顔の目の位置(今回は、目の位置を基準にしているが、それ以外でも良い)が、微妙に変化したデータとの画像のデータ差分が生じる。このデータの差分を、MP4でY或いはXY軸の揺れ幅の変化値の計算を行う。このY或いはXY軸の移動のデータは、ベースバンド部22へ送信され、CPU21、DSP23等により、データの処理が行われる。その後、画面の文字の移動が自動で行われる。
以下に、MC予測の無い場合のフローチャートのステップを説明する。
(a)まず、ステップS1において、ディスプレイ6を見ている画面人の顔を動画撮影用カメラ2で撮影し、基準位置からの人の目の縦・横の移動を検出する。
(b)次に、ステップS2において、画像撮影用カメラからの人の目の画像データ差分から、MP4により計算し、縦横軸を感知する。
(c)次に、ステップS3において、縦横の移動データを、ベースバンド部22に送信し、画像処理プロセッサ7内のCPU21、DSP23により、データ処理を行う。
(d)次に、ステップS4において、文章データは、縦横データ処理により基準値より移動した差分を移動させる。
(e)次に、ステップS5において、文章の文字を読む時の画面の自動移動を行う。
図10は、MC予測を用いたフローチャートを示す。
画面モニターを見ている画面人の顔を動画撮影用カメラ2によって撮影し、人の画像フレームデータとしてMPEG4に送信する。この時、基準情報をセットする。次に、監視カメラからの画像フレームデータからの人の顔の次のフレームの移動量の予測をいくつかたてる。この予測は、目を移動させた基準領域での画像予測をたてる。次のフレームデータが来たとき、予測したフレームと選択し、予測値と同一のものあるいは一番近いもの(誤差範囲内)を選択する。この時、予測値と大幅にずれた、つまりは予測フレームが無い場合、調整は行わず、データを基準状態に戻し、デジタルデータを作成する。選択した場合は、一致した顔の移動分、文字の移動を行う。
以下に、MC予測の無い場合のフローチャートのステップを説明する。
(a)まず、ステップS11において、ディスプレイ6を見ている画面人の目の位置の移動を動画撮影用カメラ2で撮影する。
(b)次に、ステップS12において、人の顔の画像フレームデータを画像処理装置27に送信する。この時の画像を基準情報としてセットする。
(c)次に、ステップS13において、画像フレームデータからの人の顔の次のフレームの移動量の予測を、MCを用いていくつかたてる。この移動量の予測については、ブロックマッチング法として、後に詳細に説明する。
(d)次に、ステップS14において、次のフレームデータが来たとき、次フレームと予測したフレームを選択し、予測値と同一のものあるいは一番近いもの(誤差範囲内)を選択可能か否かを判断する。予測値と同一のものあるいは一番近いもの(誤差範囲内)を選択可能である場合には、ステップS4に移行する。予測値と大幅にずれ、予測フレームが無い場合には、ステップS15に移行する。
(e)次に、ステップS15において、調整は行わず、データを基準状態に戻し、ステップS12に移行する。
(f)次に、予測値と同一のものあるいは一番近いもの(誤差範囲内)を選択可能である場合には、ステップS16において、目の縦横移動データ値は、ディスプレイ用コントローラ部25に送信され、文字の大きさ等の縦・横を調整(縦・横)した画像データをディスプレイ6へ送信する。
(g)次に、ステップS17において、ディスプレイ6の画面の縦横画像の2次元調整処理を行い、文章の文字を読む時の画面の自動移動を行い、ディスプレイ画面を表示する。
−人の顔の奥行きの移動−
本発明の第1の実施の形態に係る小型端末装置の動作方法について、人の顔の奥行き移動のような奥行き調整のみの場合の動作を説明するフローチャートは、図11及び図12に示すように表される。
本発明の第1の実施の形態に係る小型端末装置の動作方法について、人の顔の奥行き移動のような奥行き調整のみの場合の動作を説明するフローチャートは、図11及び図12に示すように表される。
図11は、MC予測の無い場合のフローチャートを示す。
まず、モニターを見ている画面の人の顔の奥行きを動画撮影用カメラにより人の顔の奥行き位置データとして常時読み取られ、MPEG4に画像情報が格納される。人の顔の奥行き位置が微妙に変化することで、この格納されたデータと人の顔の奥行き位置(今回は、目の奥行き位置を基準にしているが、それ以外でも良い)が、微妙に変化したデータとの画像のデータ差分が生じる。このデータの差分を、MP4でYあるいはXY軸の揺れ幅の変化値の計算を行う。このY或いはXY軸の移動のデータは、ベースバンド部22へ送信され、CPU21、DSP23等により、データの処理が行われる。その後、画面の文字の大きさの変化が自動で行われる。
以下に、MC予測の無い場合のフローチャートのステップを説明する。
(a)まず、ステップS21において、ディスプレイ6を見ている画面人の顔を動画撮影用カメラ2で撮影し、基準位置からの人の顔の奥行きの移動を検出する。
(b)次に、ステップS22において、画像撮影用カメラからの人の顔の奥行きの画像データ差分から、MP4により計算し、奥行きZ軸を感知する。
(c)次に、ステップS23において、人の顔の奥行きの移動データを、ベースバンド部22に送信し、画像処理プロセッサ7内のCPU21、DSP23により、データ処理を行う。
(d)次に、ステップS24において、文章データは、奥行きデータ処理により基準値より移動した差分を移動させる。
(e)次に、ステップS25において、文章の文字を読む時の画面の文字の大きさを自動変化させる。
図12は、MC予測を用いたフローチャートを示す。
画面モニターを見ている画面人の顔の奥行きを動画撮影用カメラ2によって撮影し、人の顔の奥行き画像フレームデータとしてMPEG4に送信する。この時、基準情報をセットする。次に、監視カメラからの画像フレームデータからの人の顔の奥行きデータの次のフレームの移動量の予測をいくつかたてる。この予測は、人の顔の奥行きを移動させた基準領域での画像予測をたてる。次のフレームデータが来たとき、予測したフレームと選択し、予測値と同一のものあるいは一番近いもの(誤差範囲内)を選択する。この時、予測値と大幅にずれた、つまりは予測フレームが無い場合、調整は行わず、データを基準状態に戻し、デジタルデータを作成する。選択した場合は、一致した顔の奥行き移動分、文字の移動を行い、或いは文字の大きさを変化させる。
(a)まず、ステップS31において、ディスプレイ6を見ている画面人の顔を動画撮影用カメラ2で撮影する。
(b)次に、ステップS32において、人の顔の奥行きの画像フレームデータを画像処理装置27に送信する。この時の画像を基準情報としてセットする。
(c)次に、ステップS33において、画像フレームデータからの人の顔の奥行きの次のフレームの移動量の予測をいくつかたてる。
(d)次に、ステップS34において、次のフレームデータが来たとき、次フレームと予測したフレームを選択し、予測値と同一のものあるいは一番近いもの(誤差範囲内)を選択可能か否かを判断する。予測値と同一のものあるいは一番近いもの(誤差範囲内)を選択可能である場合には、ステップS34に移行する。予測値と大幅にずれ、予測フレームが無い場合には、ステップS35に移行する。
(e)次に、ステップS35において、調整は行わず、データを基準状態に戻し、ステップS32に移行する。
(f)次に、予測値と同一のものあるいは一番近いもの(誤差範囲内)を選択可能である場合には、ステップS36において、人の顔の奥行きデータ値は、ディスプレイ用コントローラ部25に送信され、奥行きを調整した画像データをディスプレイ6へ送信する。
(g)次に、ステップS37において、ディスプレイ6の画面の奥行き画像の調整処理を行い、ディスプレイ画面への文字表示を行う。
−人の顔の縦横・奥行きの移動−
本発明の第1の実施の形態に係る小型端末装置の動作方法について、例えば、人の顔の縦横・奥行きの移動のような3Dの場合の動作も同様に取り扱うことができる。説明は省略する。
本発明の第1の実施の形態に係る小型端末装置の動作方法について、例えば、人の顔の縦横・奥行きの移動のような3Dの場合の動作も同様に取り扱うことができる。説明は省略する。
(MC予測を用いたブロックマッチング法と表示画面制御)
次に、フローチャートに示した、予測値とデータの比較方法についての具体的説明を行う。動き補償予測にブロックマッチング法を用い説明を行う。これは、画面を適当な大きさの小領域に分割して行う。ブロックの大きさは、16×16画素のものを用いているが、用途によって大きくしても、小さくしても構わない。
次に、フローチャートに示した、予測値とデータの比較方法についての具体的説明を行う。動き補償予測にブロックマッチング法を用い説明を行う。これは、画面を適当な大きさの小領域に分割して行う。ブロックの大きさは、16×16画素のものを用いているが、用途によって大きくしても、小さくしても構わない。
ディスプレイ6を見ている人の顔の位置の移動量を予測し、表示画面を制御する方法について、具体的に説明を行う。本実施形態では、移動量の予測に、MCを用いたブロックマッチング法を用いる。予測された移動量を基に、表示画面を制御する。
先ず、図13に示す通り、TV動画用カメラ(監視カメラ)によって人の顔を撮影し、この画像を基準値とする。次に、撮影した画面を適切な大きさのブロックに分ける。ブロックの大きさは、例えば、16×16画素のものを用いているが、用途によって大きくしても、小さくしても構わない。次に、人の目の周辺の画像を用いて、人の顔の位置の移動量を予測する。
−2次元平面方向の移動量の予測とディスプレイ画面の表示調整方法−
本発明の第1の実施の形態に係る小型端末装置において、2次元の場合のブロックマッチング法によるディスプレイ画面の縦横制御の方法は、図14に示すように模式的に表される。図14に示すように、現フレームF1と予測フレーム(例えば、Y軸移動予測画像)F2を比較し、得られたベクトル分の移動データを文書の文字の自動補正用(移動)データとする。以下、詳述する。
本発明の第1の実施の形態に係る小型端末装置において、2次元の場合のブロックマッチング法によるディスプレイ画面の縦横制御の方法は、図14に示すように模式的に表される。図14に示すように、現フレームF1と予測フレーム(例えば、Y軸移動予測画像)F2を比較し、得られたベクトル分の移動データを文書の文字の自動補正用(移動)データとする。以下、詳述する。
動画撮影用カメラ2から人の画像フレームデータを取り、基準フレームとする。これを現フレームとする。次に、この現フレームを、16×16画素で種々シフトしたブロックを取る。具体的には、図15に示す通り、標準画像を真ん中に据えて、同じ大きさ(1.0倍)の顔であるが、平面の位置を変更した画像を9枚準備する。
次に、次フレームの一部と比較していき、予測フレームに一致するもの、あるいは、一番近いものを選択する。
次に、予測フレームに応じて、画面データをディスプレイ上に表示させる位置が変更される。例えば、顔が右にずれると、画面データも右にずらすように、目と画面データとの相対位置がずれないように制御する。具体的には、図16或いは図17に示す通り、画面データが画像や文字のいずれの場合も、図15の顔の位置と同じ位置に画面データが表示される制御が実行される。この表示を実行するための移動量は、画面データの基の表示位置情報からの変更量である。
−深さ方向の移動量の調整方法−
本発明の第1の実施の形態に係る小型端末装置において、深さ方向移動の場合のブロックマッチング法によるディスプレイ画面の深さ方向制御の方法は、図18に示すように模式的に表すことができる。図18に示すように、現フレームF1と予測フレームF2を比較し、得られたサイズ分の移動データをディスプレイ画像の補正(移動)データとする。この移動量をディスプレイ画像の補正(移動)データとする。図18に示すように、次フレームにおいて、得られたサイズ分の移動データをディスプレイ画像の補正(移動)データとすることで画面データは、(1/0.9)倍となる。以下、詳述する。
本発明の第1の実施の形態に係る小型端末装置において、深さ方向移動の場合のブロックマッチング法によるディスプレイ画面の深さ方向制御の方法は、図18に示すように模式的に表すことができる。図18に示すように、現フレームF1と予測フレームF2を比較し、得られたサイズ分の移動データをディスプレイ画像の補正(移動)データとする。この移動量をディスプレイ画像の補正(移動)データとする。図18に示すように、次フレームにおいて、得られたサイズ分の移動データをディスプレイ画像の補正(移動)データとすることで画面データは、(1/0.9)倍となる。以下、詳述する。
動画撮影用カメラ2から人の画像フレームデータを取り、基準フレームとする。これを現フレームとする。次に、この現フレームの倍率を変化させたフレームデータを作成し、特定部分を16X16画素で倍率を変化させたブロックを取る。具体的には、図19および図20に示す通り、図15の画像を基に、大きさを変更した画像を準備する。本実施形態では、1.2倍と0.8倍の画像を合計18枚準備する。
次に、次フレームの一部と比較していき、予測フレームに一致するもの、あるいは、一番近いものを選択する。
次に、予測フレームに応じて、画面データをディスプレイ上に表示させる位置を変更する。例えば、顔が右にずれ、さらに画面から離れるとすると、画面データも右にずらし、さらに画面データを大きくなるように、目と画面との相対位置と大きさがずれないように制御する。具体的には、図21と図22、或いは図23と図24とに示す通り、XY軸方向は位置と同じ位置の画面であるが、深さ方向は逆の画面を表示するように制御する。この表示を実行するための移動量は、画面データの基の表示位置情報からの変更量である。
(拡大された画像表示例)
以下、図25乃至図28を用いて、拡大された画像表示例を示す。
以下、図25乃至図28を用いて、拡大された画像表示例を示す。
図25は、本発明の第1の実施の形態に係る小型端末装置において、横方向の移動を説明するための標準位置における画像表示例を示す。これに対して、図27は、本発明の第1の実施の形態に係る小型端末装置において、横方向に移動した場合の画像表示例を示す。
例えば、顔の移動距離が、MC予測で標準値に対して、Y軸方向にYだけ移動したとする。文字データは、現在目が文字を見ている位置を確認し、図25から図27に示す様に、Y分だけ、文字データを移動させ、その画像を表示させる。次に図27の画面に対して、文字調整方法を実現させる。文字移動調整方法の一例については、図56、図57において詳述する。
一方、図26は、深さ方向の移動を説明するための標準位置における画像表示例を示す。これに対して、図28は、本発明の第1の実施の形態に係る小型端末装置において、深さ方向に移動した場合の画像表示例を示す。
例えば、顔の移動距離が、MC予測で標準値に対して、Z軸方向に移動したとする。文字データは、現在目が文字を見ている位置を確認し、図26から図28に示す様に、Z軸方向の移動分だけ、文字データを(1/0.9)倍に変化させ、その画像を表示させる。次に図28の画面に対して、文字調整方法を実現させる。文字移動調整方法の一例については、図56、図57において詳述する。
−3次元(縦横・奥行き移動)方向の移動量の調整方法−
本発明の第1の実施の形態に係る小型端末装置において、3次元の場合は、上記2次元と奥行きを組合せた方法で制御される。
本発明の第1の実施の形態に係る小型端末装置において、3次元の場合は、上記2次元と奥行きを組合せた方法で制御される。
動画撮影用カメラ2から人の画像フレームデータを取り、基準フレームとする。これを現フレームとする。次に、この現フレームの倍率を変化させたフレームデータを作成し、特定部分を16X16画素で倍率を変化させたブロックを取る。
模式的には、顔の撮影画像と表示画像の各々について、図29に示す3次元アルゴリズムの座標、図30に示す2次元アルゴリズムの座標を用いる。
顔については図15、図19、及び図20を配置し、表示画面については図16、図21、及び図22、を文字表示については図17、図23、及び図24を配置する。
次フレームの一部と比較していき、予測フレームに一致する倍率のもの、あるいは、一番近いものを選択する。
次に、予測フレームに応じて、2次元方向の移動と深さ方向の移動にて説明した通りに、画面データのディスプレイ上の表示位置を変更する。この表示を実行するための移動量は、画面データの基の表示位置情報からの変更量である。
移動量に応じて、図18に示すように、次フレームにおいて、得られたベクトル分・サイズ分の移動データをディスプレイ画像の補正(移動)データとすることで画面データは、(1/0.9)倍となる。
本発明の第1の実施の形態に係る小型端末装置において、3次元の場合のブロックマッチング法によるディスプレイ画面の3次元(縦横・奥行き移動)方向の移動量の調整方法は、 具体的に、2次元の例では、図32に示すフレームF1乃至フレームF3の順番で顔の位置が移動した場合、顔は図33に示す通りに、フレームF1乃至フレームF3の順番で2次元に変化する。このとき、表示画面は、図34、或いは図35に示す通り、フレームF1乃至フレームF3の順番で変化する。
次に、1次元の例では、図36に示すフレームF1乃至フレームF5の順番で顔の位置が移動した場合、顔は図37乃至図39に示す通りに、フレームF1乃至フレームF5の順番で大きさが変化する。このとき、表示画面は、図40乃至図42、或いは図43乃至図45に示す通り、フレームF1乃至フレームF5の順番で変化する。
次に、3次元の例では、図46に示すフレームF1乃至フレームF7の順番で顔の位置が移動した場合、顔は図47乃至図49に示す通りに、フレームF1乃至フレームF7の順番で変化する。このとき、表示画面は、図50乃至図52、或いは図53乃至図55に示す通り、フレームF1乃至フレームF7の順番で変化する。
以上の通り、MCを用いた予測をすることで、移動量の測定に要する時間と処理量を軽減させることができる。
また、一定の揺れの周期が続く場合、一定の時間その周期のみの動作を行う。例えば、動作周期を監視し、所定の時間で一定であれば、顔の位置を検知せずに画面データの表示のみ継続され、そうでなければ、常時揺れに合わせ画像データの表示位置を変更する。これにより、処理量をさらに減少させ、消費電力やメモリ量等を抑制することができる。
この一定の周期は、人の目が変化を感知できない周期であればさらに効果を有する。
(ディスプレイ画面に画像を出力する方法)
図56、図57は、文字移動調整方法の一例である。図56に示す様に、水平方向にHSYNC信号、垂直方向にVSYNC信号、HEN信号、VEN信号により、有効表示領域を決めている。この有効領域部分のデータをD/A変換して送信する。この時、有効表示領域以外は、図57の様に、ブランキングモード領域の画像として、マスクして、画像データを送信する。この時文字倍率の変化方法として、今回、Y軸の移動について詳述しているが、行移動の時も、目の位置により同様に制御される。
図56、図57は、文字移動調整方法の一例である。図56に示す様に、水平方向にHSYNC信号、垂直方向にVSYNC信号、HEN信号、VEN信号により、有効表示領域を決めている。この有効領域部分のデータをD/A変換して送信する。この時、有効表示領域以外は、図57の様に、ブランキングモード領域の画像として、マスクして、画像データを送信する。この時文字倍率の変化方法として、今回、Y軸の移動について詳述しているが、行移動の時も、目の位置により同様に制御される。
本発明の第1の実施の形態に係る小型端末装置において、水平方向に水平同期信号HSYNC,及び水平有効信号HENを印加し、垂直方向に垂直同期信号VSYNC,及び垂直有効信号VENを印加することにより有効表示領域を決めて出力したディスプレイ画面の具体例は、図56に示すように表される。
本発明の第1の実施の形態に係る小型端末装置において、データの揺れの情報から、水平有効信号HEN,垂直有効信号VENの立ち上がりタイミングを決めて、画像データを出力させ、移動情報と伴に、水平有効信号HEN,垂直有効信号VENのタイミング調整を行い、縦横揺れの調整を行うタイミングチャートは、図57に示すように表される。水平方向の有効表示領域とデータは、クロック信号CLK、水平同期信号HSYNC、水平有効信号HENによって生成される。水平同期信号HSYNC、水平有効信号HEN、データ信号DATAは、クロック信号CLKに同期されている。水平同期信号HSYNCの立下がりで、水平方向画像出力幅の始点と終点を決める。また、水平有効信号HENにより有効表示領域を決め、水平有効信号HEN信号がハイレベルHの時、クロックの立下りによりデータを取り入れ、ローレベルLの時は、データは、取り入れられない。垂直方向は、垂直同期信号VSYNCの立下りにより、垂直方向画像出力幅の始点と終点を決める。また、垂直有効信号VENにより有効表示領域を決め、垂直有効信号VENがハイレベルHの時、クロックの立下りによりデータを取り入れ、ローレベルLの時は、データは取り入れられない。つまり、データの揺れの情報から、水平有効信号HEN,垂直有効信号VENの立ち上がりタイミングが決まり、画像データが出力させる。つまり、移動情報とともに、水平有効信号HEN,垂直有効信号VENのタイミング調整を行い、縦横揺れの調整を行うことができる。
本発明の第1の実施の形態に係る小型端末装置において、深さ方向の画像サイズ幅により画像の幅を変化させる方法を示すタイミングチャートは、模式的に図23に示すように表される。図58(a)は、ある一定のクロック信号CLKにおけるタイミングチャートであり、図58(b)は、別のある一定のクロック信号CLKにおけるタイミングチャートを示し、図58(a)に対して、クロック信号CLKの周期を変えることで、水平・垂直有効画面を変化させることができる。
本発明の第1の実施の形態に係る小型端末装置において、深さ方向の画像サイズ幅により画像の幅を変化させる方法を示すタイミングチャートは、模式的に図23に示すように表される。図58(a)は、ある一定のクロック信号CLKにおけるタイミングチャートであり、図58(b)は、別のある一定のクロック信号CLKにおけるタイミングチャートを示し、図58(a)に対して、クロック信号CLKの周期を変えることで、水平・垂直有効画面を変化させることができる。
画像幅の変化は、画像を出力するCLK幅を制御することで、実現することができる。
CLK幅の制御とは、クロック信号CLKのパルス幅の制御を意味し、実質的にクロック周波数を変化させることによって実現することができる。
パーセント幅によりZ軸の深さ方向率が、a/bの場合、CLK幅をa/bに設定する。これにより、画面幅を、水平・垂直方向に、a/b分変化させることができる。ディスプレイ画面に人の顔が近づいた時は、CLK幅を小さくすることで、画像幅を小さくする。これにより、画像の縦横・深さ調整を行うことができる。
本発明の第1の実施の形態に係る小型端末装置において、図59に示すように、小型端末装置を用いて、画面の文章の文字を移動する状況について述べる。
本発明の第1の実施の形態に係る小型端末装置において、図59(a)及び図59(b)では、目の位置に合わせて横方向に文字列が自動移動する例、図59(b)及び図59(c)では、目の位置に合わせて縦方向に文字列が自動移動する例、図59(c)及び図59(d)では、目の位置により自動で文字の大きさを戻す例、或いは手動でスクロールして戻す例をそれぞれ示す。
例えば、目の位置が現在の基準値より横にずれた場合、現在文字を読んでいる所など、(監視装置により現在目が文字を見ている位置情報が分かるため。)の部分を中心に文字が横に移動する。
例えば、目の位置が現在の基準値より横にずれた場合、現在文字を読んでいる所など、(監視装置により現在目が文字を見ている位置情報が分かるため。)の部分を中心に文字が横に移動する。
一方で、目の位置が、現在の基準値より縦方向にずれた場合、監視装置により現在目が文字を見ている位置情報が分かるため、例えば現在文字を読んでいる所などの部分を中心に文字が縦に移動する。また、更に効率的に文章を移動させるため、自動制御プラス手動で画面移動を設定することも可能である。
(一定の揺れの周期が続く場合の画面データの表示例)
さらに、一定の揺れの周期が続く場合の画面データの表示例について、説明する。図60に示す通り、EN_A信号を用いることで、一定の揺れの周期が続く制御を実行する。EN_A信号がハイの場合は顔の位置の検知をし、EN_A信号がローの場合は顔の位置を検知しない。
さらに、一定の揺れの周期が続く場合の画面データの表示例について、説明する。図60に示す通り、EN_A信号を用いることで、一定の揺れの周期が続く制御を実行する。EN_A信号がハイの場合は顔の位置の検知をし、EN_A信号がローの場合は顔の位置を検知しない。
このときは、例えば、図61、或いは図62に示す通り、EN_A信号がハイである場合は、顔の位置を検知し、顔の位置がT1乃至T5の順で変化するのに応じて画面データの表示位置をT1乃至T5の順番で変更する。
次に、図63、或いは図64に示す通り、所定の周期の間に顔の移動がT1乃至T5の順で一定の場合は、EN_A信号をローにして、顔の位置を検知せず、画面データのみ移動させる。次に、所定の時間を経過すると再度EN_A信号をハイにして、顔の位置を検知する。顔の位置の移動量が、前と変化しない場合は、所定の周期を短くして顔の位置を検知しない。
次に、図65、或いは図66に示す通り、所定の周期の間に顔の移動が一定の場合は、EN_A信号をローにして、顔の位置を検知せず、画面データのみ移動させる。次に、所定の時間を経過すると再度EN_A信号をハイにして、顔の位置を検知する。顔の移動が変わっていた場合は、顔の位置に応じて画面データの位置を変更する。
本発明の第1の実施の形態に係る小型端末装置は、インターネットの文章、広告等、或いはメールを読む際、動画撮影用カメラ画像と動き補償(MC)予測を用いて、縦横方向の制御を実行し、文章の文字を読む時の画面移動を自動調整する。この結果、文字の縦横方向を監視することで、文章を手動でスクロールすること無く文字を読む時の画面移動を可能にする。
本発明の第1の実施の形態に係る小型端末装置は、画面の文字を読んでいる際、画像の移動を自動で行うことができる。これにより、小型端末装置の画面から文章を読む時に、文章画面を手動で移動すること無く自動で見ることができる。
[その他の実施の形態]
上記のように、本発明は第1の実施の形態によって記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。
上記のように、本発明は第1の実施の形態によって記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。
このように、本発明はここでは記載していない様々な実施の形態等を含むことは勿論である。したがって、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。
2…動画撮影用カメラ
3…位置監視用カメラ
4,5…カメラコントローラ部
6…ディスプレイ
7…画像処理プロセッサ
8…カメラ/ディスプレイ用コントローラ部
19…画像メモリ
21…中央演算処理装置(CPU)
22…ベースバンド部
23…ディジタル・シグナル・プロセッサ(DSP)
25…ディスプレイ用コントローラ部
26…フレームメモリ
27…画像処理装置
31…アナログ・フロント・エンド(AFE)
S1〜S5, S11〜S17, S21〜S25, S31〜S37…ステップ
3…位置監視用カメラ
4,5…カメラコントローラ部
6…ディスプレイ
7…画像処理プロセッサ
8…カメラ/ディスプレイ用コントローラ部
19…画像メモリ
21…中央演算処理装置(CPU)
22…ベースバンド部
23…ディジタル・シグナル・プロセッサ(DSP)
25…ディスプレイ用コントローラ部
26…フレームメモリ
27…画像処理装置
31…アナログ・フロント・エンド(AFE)
S1〜S5, S11〜S17, S21〜S25, S31〜S37…ステップ
Claims (5)
- 動画撮影用カメラと、
任意の画像データを表示する画像表示装置と、
前記画像表示装置を見る人の顔と前記画像表示装置との距離を測定する手段と、
前記距離の変化量を動き補償技術を用いて推定し、前記変化量に応じた移動量に応じて,前記画像表示装置における前記任意の画像をデータの表示位置を電子的に変更する手段
とを備え、前記距離を相対的に一定すると共に、動画撮影用カメラ画像と動き補償予測を用いて、縦横方向の制御を実行し、文章の文字を読む時の画面移動を自動調整することを特徴とする小型端末装置。 - 前記電子的に変更する手段は、前記画像表示装置のクロックを用いて実行することを特徴とする請求項1記載の小型端末装置。
- 前記測定手段は、前記動画撮影用カメラによって撮影された前記人の目の位置の画像を用いて、前記距離を測定し、前記画像を基準にして、動き補償技術を用いた予測画像を作成し、前記距離の変化量を、前記画像と前記予測画像との比較を行うことで測定することを特徴とする請求項1又は請求項2の内、いずれか1項に記載の小型端末装置。
- 動画撮影用カメラ画像と動き補償予測を用いて、更に深さ方向の制御を実行し、文章の文字を読む時の画面移動を自動調整することを特徴とする請求項1記載の小型端末装置。
- 動画撮影用カメラと、
ディスプレイと、
データアナログ信号を送受信するアナログ・フロント・エンドと、
前記動画撮影用カメラを制御するカメラコントローラ部と、
前記ディスプレイを制御するディスプレイ用コントローラ部と、
前記カメラコントローラ部,及び前記ディスプレイ用コントローラ部とデータを送受信する画像処理装置と、中央演算処理装置,及びディジタル・シグナル・プロセッサを有し,前記アナログ・フロント・エンドとの間でデータを送受信するベースバンド部とを備える画像処理プロセッサ
とを備え、動画撮影用カメラ画像と動き補償予測を用いて、縦横方向の制御を実行し、文章の文字を読む時の画面移動を自動調整することを特徴とする小型端末装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006329705A JP2008146164A (ja) | 2006-12-06 | 2006-12-06 | 小型端末装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006329705A JP2008146164A (ja) | 2006-12-06 | 2006-12-06 | 小型端末装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008146164A true JP2008146164A (ja) | 2008-06-26 |
Family
ID=39606312
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006329705A Pending JP2008146164A (ja) | 2006-12-06 | 2006-12-06 | 小型端末装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008146164A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010176170A (ja) * | 2009-01-27 | 2010-08-12 | Sony Ericsson Mobilecommunications Japan Inc | 表示装置、表示制御方法および表示制御プログラム |
JP2011123501A (ja) * | 2010-12-28 | 2011-06-23 | Sony Ericsson Mobilecommunications Japan Inc | 表示装置、表示制御方法および表示制御プログラム |
JP2014529094A (ja) * | 2011-08-02 | 2014-10-30 | マイクロソフト コーポレーション | 表示装置閲覧モード間の変更 |
JP2016143414A (ja) * | 2015-01-30 | 2016-08-08 | ピックスアート イメージング インコーポレイテッド | インタラクティブシステム、リモコン及びその操作方法 |
-
2006
- 2006-12-06 JP JP2006329705A patent/JP2008146164A/ja active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010176170A (ja) * | 2009-01-27 | 2010-08-12 | Sony Ericsson Mobilecommunications Japan Inc | 表示装置、表示制御方法および表示制御プログラム |
US8624927B2 (en) | 2009-01-27 | 2014-01-07 | Sony Corporation | Display apparatus, display control method, and display control program |
JP2011123501A (ja) * | 2010-12-28 | 2011-06-23 | Sony Ericsson Mobilecommunications Japan Inc | 表示装置、表示制御方法および表示制御プログラム |
JP2014529094A (ja) * | 2011-08-02 | 2014-10-30 | マイクロソフト コーポレーション | 表示装置閲覧モード間の変更 |
JP2016143414A (ja) * | 2015-01-30 | 2016-08-08 | ピックスアート イメージング インコーポレイテッド | インタラクティブシステム、リモコン及びその操作方法 |
US10055011B2 (en) | 2015-01-30 | 2018-08-21 | Pixart Imaging Inc. | Interactive system, handheld device remote controller and operating method thereof |
US10534426B2 (en) | 2015-01-30 | 2020-01-14 | Pixart Imaging Inc. | Interactive system, remote controller and operating method thereof |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103885593B (zh) | 一种手持终端及其屏幕防抖方法和装置 | |
US10324523B2 (en) | Rendering virtual images based on predicted head posture | |
US10629107B2 (en) | Information processing apparatus and image generation method | |
US9019387B2 (en) | Imaging device and method of obtaining image | |
US10863155B2 (en) | Reduction of banding artifacts in image processing | |
JP5149435B1 (ja) | 映像処理装置および映像処理方法 | |
US9451242B2 (en) | Apparatus for adjusting displayed picture, display apparatus and display method | |
CN106464959B (zh) | 半导体集成电路和具备该半导体集成电路的显示装置及控制方法 | |
US20140098187A1 (en) | Image processing device, image processing method, and program | |
CN103533340B (zh) | 移动终端的裸眼3d播放方法和移动终端 | |
US20120176353A1 (en) | Mobile information apparatus and display control method | |
US9549122B2 (en) | Imaging apparatus, photographing guide displaying method for imaging apparatus, and non-transitory computer readable medium | |
US8531599B2 (en) | Apparatus, method and system for frame rate conversion of partial image | |
EP3065413B1 (en) | Media streaming system and control method thereof | |
JP2008139600A (ja) | 表示装置 | |
US20210124174A1 (en) | Head mounted display, control method for head mounted display, information processor, display device, and program | |
JP2008146164A (ja) | 小型端末装置 | |
JP2012173683A (ja) | 表示制御装置、情報表示装置、及び表示制御方法 | |
JP5439474B2 (ja) | 画像表示制御装置、画像表示制御方法及び集積回路 | |
JP2008139599A (ja) | 小型端末装置 | |
JP2013020063A (ja) | 撮像装置および画像表示システム並びに画像表示装置 | |
US20090169127A1 (en) | Anti-vibration system for the display screen of an image display device | |
US20150248870A1 (en) | Program, display apparatus, television receiver, display method, and display system | |
US9361854B2 (en) | Method for stabilization and a system thereto | |
US9762891B2 (en) | Terminal device, image shooting system and image shooting method |