JPH10336505A - 画像表示装置及び画像表示方法 - Google Patents
画像表示装置及び画像表示方法Info
- Publication number
- JPH10336505A JPH10336505A JP9301095A JP30109597A JPH10336505A JP H10336505 A JPH10336505 A JP H10336505A JP 9301095 A JP9301095 A JP 9301095A JP 30109597 A JP30109597 A JP 30109597A JP H10336505 A JPH10336505 A JP H10336505A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image display
- camera
- display unit
- sight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
- H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
- Transforming Electric Information Into Light Information (AREA)
Abstract
(57)【要約】
【課題】 携帯型のディスプレイ装置付き機器の操作性
や機動性の向上を図る。 【解決手段】 上記フレームバッファ２，３の内容を利
用して、フレーム差分検出装置４は、２フレーム間に生
じた画像の変化を抽出する。重心計算検出装置５は、抽
出された画像の変化に基づいて画像変化の重心を計算
し、この重心の値を重心座標記憶部６等に記憶させる。
カメラ移動値計算装置６は、重心座標記憶部６の値と重
心座標記憶部７の値との差分を求めて、カメラの水平方
向のピクセル値変化数ΔＰｘ及び垂直方向のピクセル値
変化数ΔＰｙを計算する。上記水平方向回転角制御装置
９及び垂直方向回転角制御装置１０は、仮想的カメラ装
置１１の水平方向の回転角θｘ及び垂直方向の回転角θ
ｙを算出し、上記仮想的カメラ装置１１の視点を制御す
る。
や機動性の向上を図る。 【解決手段】 上記フレームバッファ２，３の内容を利
用して、フレーム差分検出装置４は、２フレーム間に生
じた画像の変化を抽出する。重心計算検出装置５は、抽
出された画像の変化に基づいて画像変化の重心を計算
し、この重心の値を重心座標記憶部６等に記憶させる。
カメラ移動値計算装置６は、重心座標記憶部６の値と重
心座標記憶部７の値との差分を求めて、カメラの水平方
向のピクセル値変化数ΔＰｘ及び垂直方向のピクセル値
変化数ΔＰｙを計算する。上記水平方向回転角制御装置
９及び垂直方向回転角制御装置１０は、仮想的カメラ装
置１１の水平方向の回転角θｘ及び垂直方向の回転角θ
ｙを算出し、上記仮想的カメラ装置１１の視点を制御す
る。
Description
【０００１】
【発明の属する技術分野】本発明は、遠隔操作されたカ
メラ視線の画像情報による画像を表示する画像表示装置
及び画像表示方法に関する。
メラ視線の画像情報による画像を表示する画像表示装置
及び画像表示方法に関する。
【０００２】
【従来の技術】近年のインターネットの普及に伴い、イ
ンターネット上で公開される情報は、テキスト，静止画
や音声のみならず、動画や３次元動的モデル空間の提供
と、多彩さを増している。この中で３次元動的モデル空
間の提供に関しては、１９９６年８月にその標準化仕様
が公開されたＶＲＭＬ（Virtual Reality Modeling Lan
guage）が、現在の標準技術として一般によく利用され
るようになってきている。この技術を使えば、例えば、
美術館や劇場などの３次元モデルがインターネット情報
として提供されれば、インターネットに接続されたコン
ピュータ端末を利用して、ユーザが上記美術館や劇場な
どの３次元モデル空間中を移動することができる。この
際、コンピュータディスプレイ装置上に表示される画像
は、上記３次元モデル空間中に仮想的に備えられたカメ
ラの位置及び向きを反映している。ユーザが上記３次元
モデル空間中を移動する指示をコンピュータに与える
と、コンピュータは、この指示に従って、仮想的に備え
られたカメラの位置及び向きを制御する。これによっ
て、ユーザが上記３次元モデル空間中を移動しているよ
うな画像をコンピュータディスプレイ装置上に表示し続
けることができる。
ンターネット上で公開される情報は、テキスト，静止画
や音声のみならず、動画や３次元動的モデル空間の提供
と、多彩さを増している。この中で３次元動的モデル空
間の提供に関しては、１９９６年８月にその標準化仕様
が公開されたＶＲＭＬ（Virtual Reality Modeling Lan
guage）が、現在の標準技術として一般によく利用され
るようになってきている。この技術を使えば、例えば、
美術館や劇場などの３次元モデルがインターネット情報
として提供されれば、インターネットに接続されたコン
ピュータ端末を利用して、ユーザが上記美術館や劇場な
どの３次元モデル空間中を移動することができる。この
際、コンピュータディスプレイ装置上に表示される画像
は、上記３次元モデル空間中に仮想的に備えられたカメ
ラの位置及び向きを反映している。ユーザが上記３次元
モデル空間中を移動する指示をコンピュータに与える
と、コンピュータは、この指示に従って、仮想的に備え
られたカメラの位置及び向きを制御する。これによっ
て、ユーザが上記３次元モデル空間中を移動しているよ
うな画像をコンピュータディスプレイ装置上に表示し続
けることができる。
【０００３】また、コンピュータに指示を与える与える
方法としては、マウスやジョイスティックなどのポイン
ティングデバイスあるいはタッチディスプレイを用い
て、指又は手を上下左右に移動させる方法が採用されて
いる。
方法としては、マウスやジョイスティックなどのポイン
ティングデバイスあるいはタッチディスプレイを用い
て、指又は手を上下左右に移動させる方法が採用されて
いる。
【０００４】
【発明が解決しようとする課題】ところで、マウスやジ
ョイスティックなどのポインティングデバイスあるいは
タッチディスプレイを用いて、指又は手を上下左右に移
動させることによりコンピュータに指示を与える方法
は、テキストあるいは静止画といったように、比較的静
止した画面上で、画面変更や指示を出すのには適してい
るが、３次元モデル空間中における視点の動的な変更す
なわちカメラの位置の動的な変更のための操作には適し
ない面がある。これは、人間が日常生活において視点を
変更する場合、目あるいは頭部全体を動かすことにより
変更するのが一般的であり、指又は手によって眼前の目
視対象を移動させることはないからである。
ョイスティックなどのポインティングデバイスあるいは
タッチディスプレイを用いて、指又は手を上下左右に移
動させることによりコンピュータに指示を与える方法
は、テキストあるいは静止画といったように、比較的静
止した画面上で、画面変更や指示を出すのには適してい
るが、３次元モデル空間中における視点の動的な変更す
なわちカメラの位置の動的な変更のための操作には適し
ない面がある。これは、人間が日常生活において視点を
変更する場合、目あるいは頭部全体を動かすことにより
変更するのが一般的であり、指又は手によって眼前の目
視対象を移動させることはないからである。
【０００５】ここで、コンピュータが卓上型の場合に
は、ディスプレイの表示を変化させる際にも、視線は常
に固定されたコンピュータ端末のディスプレイ装置上に
向けられており、画面表示の変更は手などの操作に頼ら
ざる得ないので、上記問題は顕著ではない。
は、ディスプレイの表示を変化させる際にも、視線は常
に固定されたコンピュータ端末のディスプレイ装置上に
向けられており、画面表示の変更は手などの操作に頼ら
ざる得ないので、上記問題は顕著ではない。
【０００６】しかしながら、例えば頭部眼前に固定して
使用するディスプレイ装置いわゆるヘッドマウンティン
グディスプレイ装置付き機器では、ユーザが頭部を移動
させてもディスプレイ装置は常に眼前にある。また、ユ
ーザが手にもって使用するタイプのディスプレイ装置付
き機器の場合にも、頭部の動きに合わせて、手に保持し
た当該機器を上下左右に移動させることによって、ディ
スプレイ装置を常に眼前に保持することができる。
使用するディスプレイ装置いわゆるヘッドマウンティン
グディスプレイ装置付き機器では、ユーザが頭部を移動
させてもディスプレイ装置は常に眼前にある。また、ユ
ーザが手にもって使用するタイプのディスプレイ装置付
き機器の場合にも、頭部の動きに合わせて、手に保持し
た当該機器を上下左右に移動させることによって、ディ
スプレイ装置を常に眼前に保持することができる。
【０００７】このように常に眼前に保持するようにディ
スプレイ装置を移動させて使用する携帯型のディスプレ
イ装置付き機器では、上記３次元モデル空間中における
視点の動的な変更すなわちカメラの位置の動的な変更を
コンピュータに指示するのに、マウスやジョイスティッ
クなどのポインティングデバイスあるいはタッチディス
プレイを用いて、指又は手を上下左右に移動させる方法
を採用していたので、操作性や機動性が悪いという問題
点があった。
スプレイ装置を移動させて使用する携帯型のディスプレ
イ装置付き機器では、上記３次元モデル空間中における
視点の動的な変更すなわちカメラの位置の動的な変更を
コンピュータに指示するのに、マウスやジョイスティッ
クなどのポインティングデバイスあるいはタッチディス
プレイを用いて、指又は手を上下左右に移動させる方法
を採用していたので、操作性や機動性が悪いという問題
点があった。
【０００８】また、３次元モデル空間中における視点の
動的な変更に連動させる制御をコンピュータにより行う
ことにより実現される仮想現実感（バーチャルリアリテ
ィ）あるいは遠隔存在（テレイグジステンス）と呼ばれ
る技術分野では、視線の位置を計測するアイトラッキン
グや頭部の位置を計測するための装置を体に装着するこ
とによって、使用者の視線の位置を計測しているが、こ
れらの装置を体に装着することは一般使用者にとって極
めて大きな負担となっている。
動的な変更に連動させる制御をコンピュータにより行う
ことにより実現される仮想現実感（バーチャルリアリテ
ィ）あるいは遠隔存在（テレイグジステンス）と呼ばれ
る技術分野では、視線の位置を計測するアイトラッキン
グや頭部の位置を計測するための装置を体に装着するこ
とによって、使用者の視線の位置を計測しているが、こ
れらの装置を体に装着することは一般使用者にとって極
めて大きな負担となっている。
【０００９】そこで、本発明の目的は、携帯型のディス
プレイ装置付き機器の移動に応じて３次元モデル空間中
における視点を動的な変更した画像表示を行うことがで
きる画像表示装置及び画像表示方法を提供することにあ
る。
プレイ装置付き機器の移動に応じて３次元モデル空間中
における視点を動的な変更した画像表示を行うことがで
きる画像表示装置及び画像表示方法を提供することにあ
る。
【００１０】また、携帯型のディスプレイ装置付き機器
の操作性や機動性の向上を図ることのできる画像表示装
置及び画像表示方法を提供することにある。
の操作性や機動性の向上を図ることのできる画像表示装
置及び画像表示方法を提供することにある。
【００１１】
【課題を解決するための手段】本発明に係る画像表示装
置では、画像表示部の背面方向を撮像する画像入力部か
らの入力画像情報を処理することによって、制御部によ
り、上記画像表示部の動きを検出し、その検出結果に応
じて遠隔操作されたカメラ視線の画像情報を画像情報生
成部で生成して上記画像表示部に表示する。
置では、画像表示部の背面方向を撮像する画像入力部か
らの入力画像情報を処理することによって、制御部によ
り、上記画像表示部の動きを検出し、その検出結果に応
じて遠隔操作されたカメラ視線の画像情報を画像情報生
成部で生成して上記画像表示部に表示する。
【００１２】また、本発明に係る画像表示方法では、画
像表示部の背面方向を撮像し、その撮像画像情報を処理
することによって、上記画像表示部の動きを検出し、そ
の検出結果に応じて遠隔操作されたカメラ視線の画像情
報を生成して上記画像表示部に表示する。
像表示部の背面方向を撮像し、その撮像画像情報を処理
することによって、上記画像表示部の動きを検出し、そ
の検出結果に応じて遠隔操作されたカメラ視線の画像情
報を生成して上記画像表示部に表示する。
【００１３】
【発明の実施の形態】以下、本発明の実施の形態つい
て、図面を参照しながら説明する。
て、図面を参照しながら説明する。
【００１４】本発明に係る画像表示装置は、例えば図１
に示すように構成される。この画像表示装置は、マイク
ロコンピュータ１４を内蔵する携帯型の画像表示装置で
あって、このマイクロコンピュータ１４に接続された画
像入力部１と画像表示部１３を備える。
に示すように構成される。この画像表示装置は、マイク
ロコンピュータ１４を内蔵する携帯型の画像表示装置で
あって、このマイクロコンピュータ１４に接続された画
像入力部１と画像表示部１３を備える。
【００１５】上記画像入力部１は、ＣＣＤカメラからな
り、上記画像表示部１３の背面方向を撮像するようにな
っている。また、上記画像表示部１３は、液晶ディスプ
レイからなり、上記マイクロコンピュータ１４から供給
される画像情報による画像を表示するようになってい
る。
り、上記画像表示部１３の背面方向を撮像するようにな
っている。また、上記画像表示部１３は、液晶ディスプ
レイからなり、上記マイクロコンピュータ１４から供給
される画像情報による画像を表示するようになってい
る。
【００１６】また、上記マイクロコンピュータ１４は、
その機能構成ブロックを図１に示してあるように、上記
画像入力部１により撮像された撮像画像情報がフレーム
バッファ２，３を介して供給されるフレーム差分検出装
置４、このフレーム差分検出装置４に接続された重心計
算装置５、重心座標記憶部６，７を介して上記重心計算
装置５に接続しているカメラ移動値計算装置８、上記カ
メラ移動値計算装置８に接続された水平方向回転角制御
装置９及び垂直方向回転角制御装置１０、上記水平方向
回転角制御装置９及び垂直方向回転角制御装置１０に接
続された仮想的カメラ装置１１、この仮想的カメラ装置
１１に接続された３次元オブジェクト空間データベース
１２などの各種機能を有している。
その機能構成ブロックを図１に示してあるように、上記
画像入力部１により撮像された撮像画像情報がフレーム
バッファ２，３を介して供給されるフレーム差分検出装
置４、このフレーム差分検出装置４に接続された重心計
算装置５、重心座標記憶部６，７を介して上記重心計算
装置５に接続しているカメラ移動値計算装置８、上記カ
メラ移動値計算装置８に接続された水平方向回転角制御
装置９及び垂直方向回転角制御装置１０、上記水平方向
回転角制御装置９及び垂直方向回転角制御装置１０に接
続された仮想的カメラ装置１１、この仮想的カメラ装置
１１に接続された３次元オブジェクト空間データベース
１２などの各種機能を有している。
【００１７】この画像表示装置では、図２のフローチャ
ートに示すように、当該機器を動かすと（ステップＳ
１）、上記画像表示部１３の背面方向を撮像する上記画
像入力部１からの入力画像情報が１フレーム毎にフレー
ムバッファ２に取り込まれ、次のフレームが取り込まれ
る前に上記フレームバッファ２の内容がフレームバッフ
ァ３に待避されてから（ステップＳ２）、新しい画像情
報がフレームバッファ２に取り込まれる（ステップＳ
３）。
ートに示すように、当該機器を動かすと（ステップＳ
１）、上記画像表示部１３の背面方向を撮像する上記画
像入力部１からの入力画像情報が１フレーム毎にフレー
ムバッファ２に取り込まれ、次のフレームが取り込まれ
る前に上記フレームバッファ２の内容がフレームバッフ
ァ３に待避されてから（ステップＳ２）、新しい画像情
報がフレームバッファ２に取り込まれる（ステップＳ
３）。
【００１８】上記フレームバッファ２，３の内容を利用
して、フレーム差分検出装置４は、２つのフレーム間の
オプティカルフローを計算して、２フレーム間に生じた
画像の変化を抽出する。重心計算装置５は、抽出された
画像の変化に基づいて画像変化の重心を計算し、この重
心の値を重心座標記憶部６に記憶させる。なお、重心座
標記憶部７は、重心の初期値が（０，０）に設定されて
いる。
して、フレーム差分検出装置４は、２つのフレーム間の
オプティカルフローを計算して、２フレーム間に生じた
画像の変化を抽出する。重心計算装置５は、抽出された
画像の変化に基づいて画像変化の重心を計算し、この重
心の値を重心座標記憶部６に記憶させる。なお、重心座
標記憶部７は、重心の初期値が（０，０）に設定されて
いる。
【００１９】カメラ移動値計算装置６は、重心座標記憶
部６の値と重心座標記憶部７の値との差分を求めて、カ
メラの水平方向のピクセル値変化数ΔＰｘ及び垂直方向
のピクセル値変化数ΔＰｙを計算する（ステップＳ
４）。その後、重心座標記憶部６の値を重心座標記憶部
７に移動する。
部６の値と重心座標記憶部７の値との差分を求めて、カ
メラの水平方向のピクセル値変化数ΔＰｘ及び垂直方向
のピクセル値変化数ΔＰｙを計算する（ステップＳ
４）。その後、重心座標記憶部６の値を重心座標記憶部
７に移動する。
【００２０】上記カメラ移動値計算装置８の結果を用い
て、上記水平方向回転角制御装置９及び垂直方向回転角
制御装置１０により仮想的カメラ装置１１の水平方向の
回転角θｘ及び垂直方向の回転角θｙを算出し、上記仮
想的カメラ装置１１の視点を制御する（ステップＳ
５）。
て、上記水平方向回転角制御装置９及び垂直方向回転角
制御装置１０により仮想的カメラ装置１１の水平方向の
回転角θｘ及び垂直方向の回転角θｙを算出し、上記仮
想的カメラ装置１１の視点を制御する（ステップＳ
５）。
【００２１】そして、上記仮想的カメラ装置１１は、３
次元モデル空間のオブジェクトデータを３次元オブジェ
クト空間データベース１２から取得して、当該カメラ自
身の視線に基づき、２次元表示画面上に３次元オブジェ
クトを写像して、その結果を画像情報として上記画像表
示部１３の液晶ディスプレイに表示する（ステップＳ
６）。
次元モデル空間のオブジェクトデータを３次元オブジェ
クト空間データベース１２から取得して、当該カメラ自
身の視線に基づき、２次元表示画面上に３次元オブジェ
クトを写像して、その結果を画像情報として上記画像表
示部１３の液晶ディスプレイに表示する（ステップＳ
６）。
【００２２】上記ステップＳ５において計算される仮想
的カメラ装置１１の水平方向の回転角θｘ及び垂直方向
の回転角θｙは、以下の式により概算される。ここで
は、上記画像入力部１のＣＣＤカメラが周囲の対象物か
ら比較的等距離にあり、この距離がｄであると仮定して
いる。また、１フレームの水平方向の画素数をＰｘと
し、また、垂直方向の画素数をＰｙとする。なお、水平
方向と垂直方向は同様にして近似計算できるので、以下
では水平方向のみについて説明する。上記画像入力部１
のＣＣＤカメラの水平方向の回転角θｘとし、θｘ回転
させた場合の画面上の実際の距離変化をＬｘとした場
合、 θｘ＝ｔａｎ-1（Ｌｘ／ｄ） ・・・（１） である。θｘ移動する際の１フレーム中の画素変化数を
ΔＰｘとして、Ｐｘ移動した場合の、実際の距離変化を
ＬｘMAX とした場合、ＬｘMAX ：Ｌｘ＝Ｐｘ：ΔＰｘで
あるから、 Ｌｘ＝（ΔＰｘ／Ｐｘ）・ＬｘMAX ・・・（２） となる。（２）を（１）に代入すると、 θｘ＝ｔａｎ-1（ＬｘMAX ／（Ｐｘ・ｄ））・ΔＰｘ ・・・（３） となり、未知の変数はなくなる。垂直方向についても同
様に、 θｙ＝ｔａｎ-1（ＬｙMAX ／（Ｐｙ・ｄ））・ΔＰｙ ・・・（４） である。
的カメラ装置１１の水平方向の回転角θｘ及び垂直方向
の回転角θｙは、以下の式により概算される。ここで
は、上記画像入力部１のＣＣＤカメラが周囲の対象物か
ら比較的等距離にあり、この距離がｄであると仮定して
いる。また、１フレームの水平方向の画素数をＰｘと
し、また、垂直方向の画素数をＰｙとする。なお、水平
方向と垂直方向は同様にして近似計算できるので、以下
では水平方向のみについて説明する。上記画像入力部１
のＣＣＤカメラの水平方向の回転角θｘとし、θｘ回転
させた場合の画面上の実際の距離変化をＬｘとした場
合、 θｘ＝ｔａｎ-1（Ｌｘ／ｄ） ・・・（１） である。θｘ移動する際の１フレーム中の画素変化数を
ΔＰｘとして、Ｐｘ移動した場合の、実際の距離変化を
ＬｘMAX とした場合、ＬｘMAX ：Ｌｘ＝Ｐｘ：ΔＰｘで
あるから、 Ｌｘ＝（ΔＰｘ／Ｐｘ）・ＬｘMAX ・・・（２） となる。（２）を（１）に代入すると、 θｘ＝ｔａｎ-1（ＬｘMAX ／（Ｐｘ・ｄ））・ΔＰｘ ・・・（３） となり、未知の変数はなくなる。垂直方向についても同
様に、 θｙ＝ｔａｎ-1（ＬｙMAX ／（Ｐｙ・ｄ））・ΔＰｙ ・・・（４） である。
【００２３】したがって、例えばＬｘMAX ＝ｄ＝８０ｃ
ｍ、水平方向のピクセル数Ｐｘ＝１６０とした場合、Δ
Ｐｘ＝１６０のときに、右方向に４５゜回転したことに
なる。
ｍ、水平方向のピクセル数Ｐｘ＝１６０とした場合、Δ
Ｐｘ＝１６０のときに、右方向に４５゜回転したことに
なる。
【００２４】このような構成の画像表示装置では、上記
マイクロコンピュータ１４の上記フレームバッファ２，
３からカメラ水平方向回転角制御装置９及びカメラ垂直
方向回転角制御装置１０が、上記画像入力部１からの入
力画像情報を処理することによって、上記画像表示部１
３の動きを検出し、その検出結果に応じてカメラ視線を
遠隔操作する制御部として機能し、また、仮想的カメラ
装置１１及び３次元オブジェクト空間データベース１２
が上記制御部により遠隔操作されたカメラ視線の画像情
報を生成する画像情報生成部として機能する。これによ
り、上記画像表示部１３の動きの検出結果に応じて遠隔
操作されたカメラ視線の画像情報を仮想的カメラ装置１
１で生成して上記画像表示部１３に表示することができ
る。
マイクロコンピュータ１４の上記フレームバッファ２，
３からカメラ水平方向回転角制御装置９及びカメラ垂直
方向回転角制御装置１０が、上記画像入力部１からの入
力画像情報を処理することによって、上記画像表示部１
３の動きを検出し、その検出結果に応じてカメラ視線を
遠隔操作する制御部として機能し、また、仮想的カメラ
装置１１及び３次元オブジェクト空間データベース１２
が上記制御部により遠隔操作されたカメラ視線の画像情
報を生成する画像情報生成部として機能する。これによ
り、上記画像表示部１３の動きの検出結果に応じて遠隔
操作されたカメラ視線の画像情報を仮想的カメラ装置１
１で生成して上記画像表示部１３に表示することができ
る。
【００２５】ここで、図３に本発明を適用した携帯型端
末１００の正面図を示し、図４に上記携帯型端末１００
の側面図を示す。
末１００の正面図を示し、図４に上記携帯型端末１００
の側面図を示す。
【００２６】この携帯型端末１００は、上述の図１に示
した画像表示装置におけるマイクロコンピュータ１４を
内蔵したハンドヘルドコンピュータであり、ビデオキャ
プチャボード１６にビデオケーブル１７を介して接続さ
れた小型ビデオカメラを画像入力部１として備え、この
画像入力部１により液晶ディスプレイを用いた画像表示
部１３の背面方向を撮像して得られる画像情報が上記画
像表示部１３の動きを検出するための入力画像情報とし
て上記マイクロコンピュータ１４に入力されるようにな
っている。これにより、上述の図１に示した画像表示装
置と同様に、上記画像表示部１３の動きの検出結果に応
じて遠隔操作されたカメラ視線の画像情報を仮想的カメ
ラ装置１１で生成して上記画像表示部１３に表示する。
した画像表示装置におけるマイクロコンピュータ１４を
内蔵したハンドヘルドコンピュータであり、ビデオキャ
プチャボード１６にビデオケーブル１７を介して接続さ
れた小型ビデオカメラを画像入力部１として備え、この
画像入力部１により液晶ディスプレイを用いた画像表示
部１３の背面方向を撮像して得られる画像情報が上記画
像表示部１３の動きを検出するための入力画像情報とし
て上記マイクロコンピュータ１４に入力されるようにな
っている。これにより、上述の図１に示した画像表示装
置と同様に、上記画像表示部１３の動きの検出結果に応
じて遠隔操作されたカメラ視線の画像情報を仮想的カメ
ラ装置１１で生成して上記画像表示部１３に表示する。
【００２７】この携帯型端末１００では、画像処理のた
めの画像入力部１と、仮想カメラ装置１１の制御部を分
離し、当該カメラ装置１１の水平及び垂直方向の回転角
のみを受け渡す構成とすることによって、装置自体の構
成方法に汎用性を持たせることができ、画像処理のため
の画像入力部１、画像表示部１３及び制御対象のカメラ
装置の３の構成要素を多様な形態で組み合わせることが
可能になっている。
めの画像入力部１と、仮想カメラ装置１１の制御部を分
離し、当該カメラ装置１１の水平及び垂直方向の回転角
のみを受け渡す構成とすることによって、装置自体の構
成方法に汎用性を持たせることができ、画像処理のため
の画像入力部１、画像表示部１３及び制御対象のカメラ
装置の３の構成要素を多様な形態で組み合わせることが
可能になっている。
【００２８】このように、この携帯型端末１００では、
画像表示部１３が設けられた機器本体を上下左右に移動
させることにより、その動きを画像処理によって検出
し、その検出結果に応じて上記画像表示部１３に表示さ
れた３次元モデル空間中のカメラ視線を変化させるよう
にしたので、３次元空間の上下左右をより人間の日常生
活に近い状態で見渡すことができ、機動性の向上を図る
とともに、操作性の向上を図ることができる。
画像表示部１３が設けられた機器本体を上下左右に移動
させることにより、その動きを画像処理によって検出
し、その検出結果に応じて上記画像表示部１３に表示さ
れた３次元モデル空間中のカメラ視線を変化させるよう
にしたので、３次元空間の上下左右をより人間の日常生
活に近い状態で見渡すことができ、機動性の向上を図る
とともに、操作性の向上を図ることができる。
【００２９】ここで、上述の実施の形態では、機器本体
に内蔵されたマイクロコンピュータ１４の機能として備
えられた画像情報生成部の３次元オブジェクト空間デー
タベース１２に３次元モデル空間データが全て存在する
場合について説明したが、本発明は、これに限定される
ことなく、例えば携帯型端末１００に装着される図示し
ないモデムポートを介して携帯電話により上記マイクロ
コンピュータ１４をインターネットに接続し、インター
ネットを介して３次元モデル空間データを取得するよう
にしてもよい。
に内蔵されたマイクロコンピュータ１４の機能として備
えられた画像情報生成部の３次元オブジェクト空間デー
タベース１２に３次元モデル空間データが全て存在する
場合について説明したが、本発明は、これに限定される
ことなく、例えば携帯型端末１００に装着される図示し
ないモデムポートを介して携帯電話により上記マイクロ
コンピュータ１４をインターネットに接続し、インター
ネットを介して３次元モデル空間データを取得するよう
にしてもよい。
【００３０】また、上述の実施の形態では、機器本体に
内蔵されたマイクロコンピュータ１４の機能として備え
られた画像情報生成部すなわち仮想的カメラ装置１１及
び３次元オブジェクト空間データベース１２により画像
表示部１３が表示する画像の画像データを生成するもの
とし、カメラ装置を３次元モデル空間中に存在するモデ
ルの１つとした場合ついて説明したが、本発明は、これ
に限定されることなく、上記画像情報生成部を実空間に
設置された図示しないカメラ装置により構成し、このカ
メラ装置のカメラ視線を上記制御部により遠隔操作する
ようにしてもよい。
内蔵されたマイクロコンピュータ１４の機能として備え
られた画像情報生成部すなわち仮想的カメラ装置１１及
び３次元オブジェクト空間データベース１２により画像
表示部１３が表示する画像の画像データを生成するもの
とし、カメラ装置を３次元モデル空間中に存在するモデ
ルの１つとした場合ついて説明したが、本発明は、これ
に限定されることなく、上記画像情報生成部を実空間に
設置された図示しないカメラ装置により構成し、このカ
メラ装置のカメラ視線を上記制御部により遠隔操作する
ようにしてもよい。
【００３１】さらに、上記携帯型端末１００では、画像
入力部１として小型ビデオカメラをビデオキャプチャボ
ード１６を介してハンドヘルドコンピュータに接続した
実施の形態について説明したが、ハンドヘルドコンピュ
ータと小型ビデオカメラとを一体化させた構成とするこ
ともできる。
入力部１として小型ビデオカメラをビデオキャプチャボ
ード１６を介してハンドヘルドコンピュータに接続した
実施の形態について説明したが、ハンドヘルドコンピュ
ータと小型ビデオカメラとを一体化させた構成とするこ
ともできる。
【００３２】
【発明の効果】以上のように、本発明によれば、画像表
示部の背面方向を撮像する画像入力部からの入力画像情
報を処理することによって、上記画像表示部の動きを検
出し、その検出結果に応じて遠隔操作されたカメラ視線
の画像情報を生成して上記画像表示部に表示するように
したので、携帯型のディスプレイ装置付き機器の操作性
や機動性の向上を図ることができる
示部の背面方向を撮像する画像入力部からの入力画像情
報を処理することによって、上記画像表示部の動きを検
出し、その検出結果に応じて遠隔操作されたカメラ視線
の画像情報を生成して上記画像表示部に表示するように
したので、携帯型のディスプレイ装置付き機器の操作性
や機動性の向上を図ることができる
【図１】本発明に係る画像表示装置の機能構成を示すブ
ロック図である。
ロック図である。
【図２】上記画像表示装置の動作を示すフローチャート
である。
である。
【図３】本発明を適用した携帯型端末の正面図である。
【図４】上記携帯型端末の側面図である。
１ 画像入力部、２，３ フレームバッファ、４ フレ
ーム差分検出装置、５重心検査装置、６，７ 重心座標
記憶部、８ カメラ移動値計算装置、９ 水平方向回転
角制御装置、１０ 垂直方向回転角制御装置、１１ 仮
想的カメラ装置、１２ ３次元オブジェクト空間データ
ベース、１３ 画像表示部、１４マイクロコンピュータ
ーム差分検出装置、５重心検査装置、６，７ 重心座標
記憶部、８ カメラ移動値計算装置、９ 水平方向回転
角制御装置、１０ 垂直方向回転角制御装置、１１ 仮
想的カメラ装置、１２ ３次元オブジェクト空間データ
ベース、１３ 画像表示部、１４マイクロコンピュータ
Claims (10)
- 【請求項１】 画像表示部と、 上記画像表示部の背面方向を撮像する画像入力部と、 上記画像入力部からの入力画像情報を処理することによ
って、上記画像表示部の動きを検出し、その検出結果に
応じてカメラ視線を遠隔操作する制御部と、 上記制御部により遠隔操作されたカメラ視線の画像情報
を生成する画像情報生成部とを備え、 上記画像生成部により生成された画像情報による画像を
上記画像表示部に表示することを特徴とする画像表示装
置。 - 【請求項２】 上記画像情報生成部は、３次元オブジェ
クト空間データベースより取得される３次元モデル空間
のオブジェクト情報に基づいて、上記制御部により遠隔
操作されたカメラ視線の画像情報を生成する仮想的カメ
ラ装置からなることを特徴とする請求項１記載の画像表
示装置。 - 【請求項３】 上記画像情報生成部は、通信機能を有す
るマイクロコンピュータにより構成され、上記通信機能
により取得される３次元モデル空間のオブジェクト情報
に基づいて、上記制御部によりカメラ視線が遠隔操作さ
れる仮想的カメラ装置で画像情報を生成することを特徴
とする請求項１記載の画像表示装置。 - 【請求項４】 上記画像情報生成部は、上記制御部によ
りカメラ視線が遠隔操作される実空間に設置されたカメ
ラ装置からなることを特徴とする請求項１記載の画像表
示装置。 - 【請求項５】 上記制御部は、上記画像入力部からのフ
レーム毎の入力画像に基づいて入力画像の重心の変化量
を求め、この重心の変化量から上記画像表示部の動きを
検出することを特徴とする請求項１記載の画像表示装
置。 - 【請求項６】 画像表示部の背面方向を撮像し、 その撮像画像情報を処理することによって、上記画像表
示部の動きを検出し、 上記画像表示部の動きの検出結果に応じて遠隔操作され
たカメラ視線の画像情報を生成し、 上記画像表示部の動きに応じたカメラ視線の画像情報を
上記画像表示部に表示することを特徴とする画像表示方
法。 - 【請求項７】 ３次元オブジェクト空間データベースよ
り取得される３次元モデル空間のオブジェクト情報に基
づいて、上記画像表示部の動きの検出結果に応じてカメ
ラ視線の画像情報を仮想的カメラ装置により生成するこ
とを特徴とする請求項６記載の画像表示方法。 - 【請求項８】 通信機能を有するマイクロコンピュータ
により、上記通信機能により取得される３次元モデル空
間のオブジェクト情報に基づいて、上記画像表示部の動
きの検出結果に応じたカメラ視線の画像情報を仮想的カ
メラ装置により生成することを特徴とする請求項６記載
の画像表示方法。 - 【請求項９】 実空間に設置されたカメラ装置のカメラ
視線を遠隔操作して、上記画像表示部の動きに応じたカ
メラ視線の画像情報を生成することを特徴とする請求項
６記載の画像表示方法。 - 【請求項１０】 上記画像入力部からのフレーム毎の入
力画像に基づいて入力画像の重心の変化量を求め、 上記重心の変化量から上記画像表示部の動きを検出する
ことを特徴とする請求項６記載の画像表示方法。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9301095A JPH10336505A (ja) | 1997-04-01 | 1997-10-31 | 画像表示装置及び画像表示方法 |
| US09/049,084 US6297803B1 (en) | 1997-04-01 | 1998-03-27 | Apparatus and method for image display |
| US09/885,481 US6473068B2 (en) | 1997-04-01 | 2001-06-20 | Apparatus and method for image display |
| US09/885,475 US6489944B2 (en) | 1997-04-01 | 2001-06-20 | Apparatus and method for image display |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8313497 | 1997-04-01 | ||
| JP9-83134 | 1997-04-01 | ||
| JP9301095A JPH10336505A (ja) | 1997-04-01 | 1997-10-31 | 画像表示装置及び画像表示方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH10336505A true JPH10336505A (ja) | 1998-12-18 |
Family
ID=26424196
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP9301095A Pending JPH10336505A (ja) | 1997-04-01 | 1997-10-31 | 画像表示装置及び画像表示方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (3) | US6297803B1 (ja) |
| JP (1) | JPH10336505A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005534246A (ja) * | 2002-07-25 | 2005-11-10 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ビューシステム |
| KR100870235B1 (ko) | 2007-08-27 | 2008-11-24 | 성균관대학교산학협력단 | 피사체의 특징 추출이 가능한 영상 처리 장치 |
| JP2011108028A (ja) * | 2009-11-18 | 2011-06-02 | Fujifilm Corp | 画像再生装置、撮像装置、画像再生方法 |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10336505A (ja) * | 1997-04-01 | 1998-12-18 | Sony Corp | 画像表示装置及び画像表示方法 |
| JP2004005272A (ja) * | 2002-05-31 | 2004-01-08 | Cad Center:Kk | 仮想空間移動制御装置及び制御方法並びに制御プログラム |
| JP4099357B2 (ja) * | 2002-07-08 | 2008-06-11 | ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー | 画像処理方法および装置 |
| JP4099434B2 (ja) * | 2003-07-08 | 2008-06-11 | 任天堂株式会社 | 画像生成プログラム及びゲーム装置 |
| JP3880008B2 (ja) * | 2004-12-21 | 2007-02-14 | 株式会社光栄 | キャラクタ集団移動制御プログラム、記憶媒体及びゲーム装置 |
| JP2007020092A (ja) * | 2005-07-11 | 2007-01-25 | Matsushita Electric Ind Co Ltd | 画像表示装置、画像表示方法および画像表示システム |
| US9265458B2 (en) | 2012-12-04 | 2016-02-23 | Sync-Think, Inc. | Application of smooth pursuit cognitive testing paradigms to clinical drug development |
| US9380976B2 (en) | 2013-03-11 | 2016-07-05 | Sync-Think, Inc. | Optical neuroinformatics |
| US10254870B2 (en) | 2015-12-01 | 2019-04-09 | Apple Inc. | Force sensor-based motion or orientation determination in a device |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2538653B1 (fr) * | 1982-05-28 | 1989-03-31 | Thomson Csf | Procede d'estimation des translations subies par des objets representes dans une sequence d'images et dispositif mettant en oeuvre ce procede |
| JPH10336505A (ja) * | 1997-04-01 | 1998-12-18 | Sony Corp | 画像表示装置及び画像表示方法 |
-
1997
- 1997-10-31 JP JP9301095A patent/JPH10336505A/ja active Pending
-
1998
- 1998-03-27 US US09/049,084 patent/US6297803B1/en not_active Expired - Lifetime
-
2001
- 2001-06-20 US US09/885,481 patent/US6473068B2/en not_active Expired - Lifetime
- 2001-06-20 US US09/885,475 patent/US6489944B2/en not_active Expired - Lifetime
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005534246A (ja) * | 2002-07-25 | 2005-11-10 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ビューシステム |
| KR100870235B1 (ko) | 2007-08-27 | 2008-11-24 | 성균관대학교산학협력단 | 피사체의 특징 추출이 가능한 영상 처리 장치 |
| JP2011108028A (ja) * | 2009-11-18 | 2011-06-02 | Fujifilm Corp | 画像再生装置、撮像装置、画像再生方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20010038386A1 (en) | 2001-11-08 |
| US6489944B2 (en) | 2002-12-03 |
| US6297803B1 (en) | 2001-10-02 |
| US6473068B2 (en) | 2002-10-29 |
| US20010031082A1 (en) | 2001-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7535486B2 (en) | Display control device, display control method, program, and portable apparatus | |
| KR101171660B1 (ko) | 증강현실의 포인팅 장치 | |
| US9495068B2 (en) | Three-dimensional user interface apparatus and three-dimensional operation method | |
| US9274597B1 (en) | Tracking head position for rendering content | |
| US9541997B2 (en) | Three-dimensional user interface apparatus and three-dimensional operation method | |
| KR101693951B1 (ko) | 제스처 인식 방법 및 제스처 검출기 | |
| US20100100853A1 (en) | Motion controlled user interface | |
| US20150213649A1 (en) | Three-dimensional environment sharing system and three-dimensional environment sharing method | |
| US20210201002A1 (en) | Moving image distribution computer program, server device, and method | |
| WO2022022029A1 (zh) | 虚拟显示方法、装置、设备和计算机可读存储介质 | |
| KR101892735B1 (ko) | 직관적인 상호작용 장치 및 방법 | |
| US11625858B2 (en) | Video synthesis device, video synthesis method and recording medium | |
| CN112581571B (zh) | 虚拟形象模型的控制方法、装置、电子设备及存储介质 | |
| JPH10336505A (ja) | 画像表示装置及び画像表示方法 | |
| JP2020087278A (ja) | 動画合成装置、動画合成方法及び動画合成プログラム | |
| WO2011152634A2 (ko) | 모니터 기반 증강현실 시스템 | |
| WO2006097722A2 (en) | Interface control | |
| JP2020087429A (ja) | 動画合成装置、動画合成方法及び動画合成プログラム | |
| JP2000276577A (ja) | 画像感応型イベント発生装置 | |
| GB2582106A (en) | Display device and display device control method | |
| KR20150044243A (ko) | 손 아바타를 이용한 콘텐츠 제어가능 전자학습 장치 및 방법 | |
| CN206195973U (zh) | 一种电子设备 | |
| KR20010057718A (ko) | 3차원 위치 제어기를 이용한 얼굴 추적 시스템 및 그 방법 | |
| TW201913298A (zh) | 可顯示實體輸入裝置即時影像之虛擬實境系統及其控制方法 | |
| JP7241628B2 (ja) | 動画合成装置、動画合成方法、および動画合成プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040420 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051206 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060206 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070213 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070416 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070515 |