JP2012221250A - 画像処理装置、表示制御方法及びプログラム - Google Patents
画像処理装置、表示制御方法及びプログラム Download PDFInfo
- Publication number
- JP2012221250A JP2012221250A JP2011086684A JP2011086684A JP2012221250A JP 2012221250 A JP2012221250 A JP 2012221250A JP 2011086684 A JP2011086684 A JP 2011086684A JP 2011086684 A JP2011086684 A JP 2011086684A JP 2012221250 A JP2012221250 A JP 2012221250A
- Authority
- JP
- Japan
- Prior art keywords
- stability
- image processing
- processing apparatus
- image
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/634—Warning indications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Studio Devices (AREA)
Abstract
【解決手段】画像に映る物体の位置又は姿勢を認識する認識部と、前記認識部による認識の安定度に応じて、前記物体に関連する仮想オブジェクトの表示を変化させる表示制御部と、を備える画像処理装置を提供する。前記表示制御部は、前記物体の位置又は姿勢に前記仮想オブジェクトが追従するように前記仮想オブジェクトを表示装置に表示させてもよい。また、前記表示制御部は、前記安定度に応じて、前記仮想オブジェクトの前記物体への追従のペースを変化させてもよい。
【選択図】図5
Description
1.概要
2.一実施形態に係る画像処理装置のハードウェア構成例
3.一実施形態に係る画像処理装置の機能構成例
3−1.画像取得部
3−2.画像認識部
3−3.検出部
3−4.判定部
3−5.データ取得部
3−6.表示制御部
4.一実施形態に係る表示制御処理の流れ
5.まとめ
図1は、本明細書で開示する技術の一実施形態の概要について説明するための説明図である。図1を参照すると、実空間1内でユーザにより携帯されている画像処理装置100が示されている。
[2−1.ハードウェア構成]
図4は、本実施形態に係る画像処理装置100のハードウェア構成の一例を示すブロック図である。図4を参照すると、画像処理装置100は、撮像部102、センサ部104、入力部106、記憶部108、表示部112、通信部114、バス118及び制御部120を備える。
撮像部102は、画像を撮像するカメラモジュールである。撮像部102は、CCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を用いて実空間を撮像し、撮像画像を生成する。撮像部102により生成される撮像画像は、映像入力の各フレームを構成する。
センサ部104は、撮像部102の動きを計測する動きセンサ群を含む。動きセンサは、例えば、撮像部102の加速度を測定する加速度センサ、傾き角を測定するジャイロセンサ、又は撮像部102の向けられた方位を測定する地磁気センサなどであってよい。また、センサ部104は、GPS(Global Positioning System)信号を受信して装置の緯度、経度及び高度を測定するGPSセンサを含んでもよい。
入力部106は、ユーザが画像処理装置100を操作し又は画像処理装置100へ情報を入力するために使用される入力デバイスである。入力部106は、典型的には、表示部112の画面上へのユーザによるタッチを検出するタッチセンサを含む。その代わりに(又はそれに加えて)、入力部106は、マウス若しくはタッチパッドなどのポインティングデバイス、画像に映るユーザのジェスチャを認識するジェスチャ認識モジュール、又はHMD(Head Mounted Display)を装着したユーザの視線方向を検出する視線検出モジュールを含んでもよい。さらに、入力部106は、キーボード、キーパッド、ボタン又はスイッチなどのその他の種類の入力デバイスを含んでもよい。
記憶部108は、半導体メモリ又はハードディスクなどの記憶媒体により構成され、画像処理装置100による処理のためのプログラム及びデータを記憶する。記憶部108により記憶されるデータには、例えば、撮像部102により生成される画像データ及びセンサ部104により生成されるセンサデータが含まれ得る。また、記憶部108により記憶されるデータには、例えば、画像処理装置100による物体認識の際に用いられるモデルデータ及び仮想オブジェクトを定義するオブジェクトデータなども含まれ得る。
表示部112は、LCD(Liquid Crystal Display)、OLED(Organic light-Emitting Diode)又はCRT(Cathode Ray Tube)などにより構成される表示モジュールである。表示部112は、例えば、撮像部102により撮像される画像、又は制御部120により実現されるARアプリケーションの画像を画面上に表示する。表示部112は、ユーザにより把持される画像処理装置100の画面であってもよく、又はユーザにより装着されるシースルー型若しくは非シースルー型のHMDであってもよい。
通信部114は、画像処理装置100による他の装置との間の通信を仲介する通信インタフェースである。通信部114は、任意の無線通信プロトコル又は有線通信プロトコルをサポートし、他の装置との間の通信接続を確立する。
バス118は、撮像部102、センサ部104、入力部106、記憶部108、表示部112、通信部114及び制御部120を相互に接続する。
制御部120は、CPU(Central Processing Unit)又はDSP(Digital Signal Processor)などのプロセッサに相当する。制御部120は、記憶部108又は他の記憶媒体に記憶されるプログラムを実行することにより、後に説明する画像処理装置100の様々な機能を動作させる。
図5は、図4に示した画像処理装置100の記憶部108及び制御部120により実現される論理的機能の構成の一例を示すブロック図である。図5を参照すると、画像処理装置100は、画像取得部130、モデルデータベース(DB)138、画像認識部140検出部150、判定部160、データ取得部170、オブジェクトDB172及び表示制御部190を含む。
画像取得部130は、実空間を映した画像を入力画像として取得する。画像取得部130は、例えば、撮像部102からの映像入力の各フレームを入力画像として順次取得してもよい。また、画像取得部130は、記憶部108により記憶されている過去に撮像された映像入力の各フレームを入力画像として取得してもよい。画像取得部130は、取得した入力画像を画像認識部140へ出力する。
画像認識部140は、モデルDB138により記憶されているデータを用いて物体認識を行う。モデルDB138は、画像処理装置100が認識の対象とする物体の形状又は外観に関するモデルデータを予め蓄積しているデータベースである。本実施形態において、画像処理装置100による認識の対象は、図1に例示した物体12a〜12eなど、実空間に存在する任意の物体であってよい。モデルデータは、各物体の形状を定義するデータ、各物体に付される所定のシンボルマーク又はテキストラベルなどの画像データ、又は各物体についての既知の画像から抽出された特徴量セットのデータなどを含み得る。
検出部150は、ユーザ入力を検出し、ユーザ入力情報を表示制御部190へ出力する。検出部150により検出されるユーザ入力は、例えば、入力部106のタッチセンサへのタッチ入力、ボタンの押下、センサ部104のセンサ群により測定される装置の動き(例えば、傾き若しくは揺れなど)、ユーザのジェスチャ又はユーザの音声などであってよい。
判定部160は、入力画像に映る物体の状態の画像認識部140による認識の安定度を判定する。判定部160により判定される安定度は、連続値又は離散値(例えば、3段階以上の段階的な値若しくは「高」/「低」の2値)で表現され得る。以下、図7〜図11を用いて、判定部160による安定度の判定手法の5つの例について説明する。
例えば、画像認識部140による認識が不安定である場合には、物体の状態量の変化は激しくなる傾向にある。そこで、判定部160は、画像認識部140により認識される物体の状態量の時間的変化に基づいて、上記安定度を判定してもよい。物体の状態量の時間的変化は、例えば、物体の状態量の周波数特性、状態量の微分(若しくは二次微分)又は所定の期間内の状態量の履歴と状態量の現在値との比較などを通じて把握され得る。
画像認識部140による認識が不安定である場合には、現実的な状況では生じる可能性の低い物体の状態の変化が認識結果において示される可能性がある。例えば、実空間内で静止している物体を撮像した場合に、画角の変化に依存して画像内の物体の位置又は大きさが変化することが考えられるが、その際に同時に物体が大きく回転することは稀である。そこで、第2の判定手法において、判定部160は、画像認識部140により認識される物体の複数の状態量の間の整合性に基づいて、上記安定度を判定する。
第3の判定手法においては、判定部160は、物体の状態量の変化と動きセンサにより計測される撮像部102の動きとの間の整合性に基づいて、上記安定度を判定する。
第4の判定手法においては、判定部160は、画像認識部140により認識される物体の状態量の変化と複数の入力画像に現れる実空間の動きの方向との間の整合性に基づいて、上記安定度を判定する。複数の入力画像に現れる実空間の動きの方向は、例えば、複数の入力画像から求められるオプティカルフローを通じて認識されてよい。
例えば、物体の一部が入力画像に映らない場合には、認識の精度が低下する蓋然性が高まる。そこで、第5の判定手法において、判定部160は、認識された物体が入力画像に映らない部分を含む場合には、当該物体の全体が入力画像に映る場合よりも認識の安定度が低いと判定する。認識された物体が入力画像に映らない部分を含む場合とは、例えば、物体の一部が画角の外に位置する場合、及び物体の一部が他の物体に隠されている場合(所謂オクルージョンの場合)を含み得る。
データ取得部170は、表示制御部190により入力画像に重畳される仮想オブジェクトに関するデータを取得する。データ取得部170により取得されるデータは、仮想オブジェクトを定義するオブジェクトデータを含む。オブジェクトデータは、例えば、仮想オブジェクトの種類、関連付けられる物体の識別子、当該物体からの相対的な表示位置、及び情報コンテンツの内容などを定義するデータであってよい。データ取得部170は、オブジェクトDB172により予め記憶されるオブジェクトデータを取得してもよい。その代わりに、データ取得部170は、実空間内に設置されるデータサーバから通信部114を介して最新のオブジェクトデータを取得してもよい。データサーバから提供されるオブジェクトデータは、例えば、センサ部104により測定される画像処理装置100の位置に応じて異なるデータであってもよい。データ取得部170は、このようなオブジェクトデータを表示制御部190へ出力する。
表示制御部190は、画像処理装置100が提供するARアプリケーションによる仮想オブジェクトの表示を制御する。より具体的には、例えば、表示制御部190には、画像認識部140により入力画像に映っていると認識された物体と関連付けられている仮想オブジェクトのオブジェクトデータが、データ取得部170から入力される。表示制御部190は、かかるオブジェクトデータに基づいて、仮想オブジェクトのオブジェクト画像を生成する。表示制御部190により生成されるオブジェクト画像は、典型的には、3次元の実空間内に仮想的に配置される仮想オブジェクトを画像処理装置100の撮像面に投影した画像である。そして、表示制御部190は、生成した出力画像を表示部112へ出力する。その結果、ARアプリケーションの画像がユーザに呈示される。
図16は、本実施形態に係る画像処理装置100による表示制御処理の流れの一例を示すフローチャートである。
ここまで、図1〜図16を用いて、一実施形態に係る画像処理装置100について詳細に説明した。本実施形態によれば、画像に映る物体の状態の認識の安定度に応じて、当該物体に関連する仮想オブジェクトの表示が動的に変化する。それにより、認識の精度の低下に伴う仮想オブジェクトの表示の乱れによってユーザに混乱を与えることを回避することが可能となる。
(1)
画像に映る物体の位置又は姿勢を認識する認識部と、
前記認識部による認識の安定度に応じて、前記物体に関連する仮想オブジェクトの表示を変化させる表示制御部と、
を備える画像処理装置。
(2)
前記表示制御部は、前記物体の位置又は姿勢に前記仮想オブジェクトが追従するように前記仮想オブジェクトを表示装置に表示させる、前記(1)に記載の画像処理装置。
(3)
前記表示制御部は、前記安定度に応じて、前記仮想オブジェクトの前記物体への追従のペースを変化させる、前記(2)に記載の画像処理装置。
(4)
前記表示制御部は、前記安定度がより高い場合に、前記仮想オブジェクトの前記物体への追従のペースをより速くする、前記(3)に記載の画像処理装置。
(5)
前記表示制御部は、前記安定度に応じて、前記仮想オブジェクトの静的な表示態様に関する属性及び動的な表示態様に関する属性のいずれか一方又は双方を変化させる、前記(1)〜(4)のいずれか1項に記載の画像処理装置。
(6)
前記画像処理装置は、前記安定度を判定する判定部、をさらに備える、前記(1)〜(5)のいずれか1項に記載の画像処理装置。
(7)
前記判定部は、前記認識部により認識される前記物体の状態量の時間的変化に基づいて前記安定度を判定し、
前記物体の前記状態量は、前記物体の位置、姿勢及び大きさのうちの少なくとも1つに関連する、
前記(6)に記載の画像処理装置。
(8)
前記判定部は、前記認識部により認識される前記物体の第1の状態量と第2の状態量との間の整合性に基づいて前記安定度を判定し、
前記物体の前記第1の状態量及び前記第2の状態量は、それぞれ、前記物体の位置、姿勢及び大きさのうち少なくとも1つに関連する、
前記(6)に記載の画像処理装置。
(9)
前記判定部は、前記認識部により認識される前記物体が前記画像に映らない部分を含む場合には、前記物体の全体が前記画像に映る場合よりも前記安定度が低いと判定する、前記(6)に記載の画像処理装置。
(10)
前記画像処理装置は、
前記画像を撮像する撮像部と、
前記撮像部の動きを計測する動きセンサと、
をさらに備え、
前記判定部は、前記認識部により認識される前記物体の状態量の変化と前記動きセンサにより計測される前記撮像部の動きとの間の整合性に基づいて前記安定度を判定し、
前記物体の前記状態量は、前記物体の位置、姿勢及び大きさのうち少なくとも1つに関連する、
前記(6)に記載の画像処理装置。
(11)
前記判定部は、前記認識部により認識される前記物体の状態量の変化と複数の入力画像に現れる実空間の動きの方向との間の整合性に基づいて前記安定度を判定し、
前記物体の前記状態量は、前記物体の位置、姿勢及び大きさのうち少なくとも1つに関連する、
前記(6)に記載の画像処理装置。
(12)
前記表示制御部は、前記安定度が低い場合に、前記安定度を高めるための行動をユーザに促す情報を表示する、前記(1)〜(11)のいずれか1項に記載の画像処理装置。
(13)
前記表示制御部は、所定のユーザ入力が検出された場合には、前記認識部による認識の前記安定度に関わらず、前記安定度が高いと仮定した場合の前記仮想オブジェクトの表示を表示装置に行わせる、前記(1)〜(12)のいずれか1項に記載の画像処理装置。
(14)
前記仮想オブジェクトは、物体が認識されたことを示す標識である、前記(1)〜(13)のいずれか1項に記載の画像処理装置。
(15)
前記仮想オブジェクトは、認識された物体に関連する情報コンテンツである、前記(1)〜(13)のいずれか1項に記載の画像処理装置。
(16)
前記表示制御部は、物体が認識されたことを示す標識と認識された物体に関連する情報コンテンツとを前記仮想オブジェクトとして表示装置に表示させ、前記安定度に応じて前記標識又は前記情報コンテンツの一方の表示を変化させる、
前記(1)〜(13)のいずれか1項に記載の画像処理装置。
(17)
画像に映る物体の位置又は姿勢を認識するステップと、
前記認識の安定度に応じて、前記物体に関連する仮想オブジェクトの表示を変化させるステップと、
を含む表示制御方法。
(18)
画像処理装置を制御するコンピュータを、
画像に映る物体の位置又は姿勢を認識する認識部と、
前記認識部による認識の安定度に応じて、前記物体に関連する仮想オブジェクトの表示を変化させる表示制御部と、
として機能させるためのプログラム。
102 撮像部
104 センサ部
140 画像認識部
160 判定部
190 表示制御部
Claims (18)
- 画像に映る物体の位置又は姿勢を認識する認識部と、
前記認識部による認識の安定度に応じて、前記物体に関連する仮想オブジェクトの表示を変化させる表示制御部と、
を備える画像処理装置。 - 前記表示制御部は、前記物体の位置又は姿勢に前記仮想オブジェクトが追従するように前記仮想オブジェクトを表示装置に表示させる、請求項1に記載の画像処理装置。
- 前記表示制御部は、前記安定度に応じて、前記仮想オブジェクトの前記物体への追従のペースを変化させる、請求項2に記載の画像処理装置。
- 前記表示制御部は、前記安定度がより高い場合に、前記仮想オブジェクトの前記物体への追従のペースをより速くする、請求項3に記載の画像処理装置。
- 前記表示制御部は、前記安定度に応じて、前記仮想オブジェクトの静的な表示態様に関する属性及び動的な表示態様に関する属性のいずれか一方又は双方を変化させる、請求項1に記載の画像処理装置。
- 前記画像処理装置は、前記安定度を判定する判定部、をさらに備える、請求項1に記載の画像処理装置。
- 前記判定部は、前記認識部により認識される前記物体の状態量の時間的変化に基づいて前記安定度を判定し、
前記物体の前記状態量は、前記物体の位置、姿勢及び大きさのうちの少なくとも1つに関連する、
請求項6に記載の画像処理装置。 - 前記判定部は、前記認識部により認識される前記物体の第1の状態量と第2の状態量との間の整合性に基づいて前記安定度を判定し、
前記物体の前記第1の状態量及び前記第2の状態量は、それぞれ、前記物体の位置、姿勢及び大きさのうち少なくとも1つに関連する、
請求項6に記載の画像処理装置。 - 前記判定部は、前記認識部により認識される前記物体が前記画像に映らない部分を含む場合には、前記物体の全体が前記画像に映る場合よりも前記安定度が低いと判定する、請求項6に記載の画像処理装置。
- 前記画像処理装置は、
前記画像を撮像する撮像部と、
前記撮像部の動きを計測する動きセンサと、
をさらに備え、
前記判定部は、前記認識部により認識される前記物体の状態量の変化と前記動きセンサにより計測される前記撮像部の動きとの間の整合性に基づいて前記安定度を判定し、
前記物体の前記状態量は、前記物体の位置、姿勢及び大きさのうち少なくとも1つに関連する、
請求項6に記載の画像処理装置。 - 前記判定部は、前記認識部により認識される前記物体の状態量の変化と複数の入力画像に現れる実空間の動きの方向との間の整合性に基づいて前記安定度を判定し、
前記物体の前記状態量は、前記物体の位置、姿勢及び大きさのうち少なくとも1つに関連する、
請求項6に記載の画像処理装置。 - 前記表示制御部は、前記安定度が低い場合に、前記安定度を高めるための行動をユーザに促す情報を表示する、請求項1に記載の画像処理装置。
- 前記表示制御部は、所定のユーザ入力が検出された場合には、前記認識部による認識の前記安定度に関わらず、前記安定度が高いと仮定した場合の前記仮想オブジェクトの表示を表示装置に行わせる、請求項1に記載の画像処理装置。
- 前記仮想オブジェクトは、物体が認識されたことを示す標識である、請求項1に記載の画像処理装置。
- 前記仮想オブジェクトは、認識された物体に関連する情報コンテンツである、請求項1に記載の画像処理装置。
- 前記表示制御部は、物体が認識されたことを示す標識と認識された物体に関連する情報コンテンツとを前記仮想オブジェクトとして表示装置に表示させ、前記安定度に応じて前記標識又は前記情報コンテンツの一方の表示を変化させる、
請求項1に記載の画像処理装置。 - 画像に映る物体の位置又は姿勢を認識するステップと、
前記認識の安定度に応じて、前記物体に関連する仮想オブジェクトの表示を変化させるステップと、
を含む表示制御方法。 - 画像処理装置を制御するコンピュータを、
画像に映る物体の位置又は姿勢を認識する認識部と、
前記認識部による認識の安定度に応じて、前記物体に関連する仮想オブジェクトの表示を変化させる表示制御部と、
として機能させるためのプログラム。
Priority Applications (14)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011086684A JP5732988B2 (ja) | 2011-04-08 | 2011-04-08 | 画像処理装置、表示制御方法及びプログラム |
TW101110902A TW201243767A (en) | 2011-04-08 | 2012-03-28 | Image processing apparatus, display control method and program |
EP12767610.4A EP2695143B1 (en) | 2011-04-08 | 2012-04-02 | Image processing apparatus, display control method and program |
BR112013025416A BR112013025416A2 (pt) | 2011-04-08 | 2012-04-02 | aparelho, método, e, meio legível por computador |
RU2013143978/08A RU2013143978A (ru) | 2011-04-08 | 2012-04-02 | Устройство обработки изображений, способ управления отображением и программа |
PCT/JP2012/002269 WO2012137463A1 (en) | 2011-04-08 | 2012-04-02 | Image processing apparatus, display control method and program |
US14/008,789 US9269002B2 (en) | 2011-04-08 | 2012-04-02 | Image processing apparatus, display control method and program |
KR1020137019062A KR20140017527A (ko) | 2011-04-08 | 2012-04-02 | 화상 처리 장치, 표시 제어 방법 및 프로그램 |
CN201210100149.8A CN102867169B (zh) | 2011-04-08 | 2012-04-06 | 图像处理设备和显示控制方法 |
CN201220143819XU CN202976122U (zh) | 2011-04-08 | 2012-04-06 | 图像处理设备 |
US15/015,926 US9582938B2 (en) | 2011-04-08 | 2016-02-04 | Image processing apparatus, display control method and program |
US15/378,444 US9836887B2 (en) | 2011-04-08 | 2016-12-14 | Image processing apparatus and method to control display of a virtual object |
US15/807,680 US10395429B2 (en) | 2011-04-08 | 2017-11-09 | Image processing apparatus and display control method |
US16/511,216 US10930083B2 (en) | 2011-04-08 | 2019-07-15 | Image processing apparatus and display control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011086684A JP5732988B2 (ja) | 2011-04-08 | 2011-04-08 | 画像処理装置、表示制御方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012221250A true JP2012221250A (ja) | 2012-11-12 |
JP5732988B2 JP5732988B2 (ja) | 2015-06-10 |
Family
ID=46968874
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011086684A Active JP5732988B2 (ja) | 2011-04-08 | 2011-04-08 | 画像処理装置、表示制御方法及びプログラム |
Country Status (9)
Country | Link |
---|---|
US (5) | US9269002B2 (ja) |
EP (1) | EP2695143B1 (ja) |
JP (1) | JP5732988B2 (ja) |
KR (1) | KR20140017527A (ja) |
CN (2) | CN102867169B (ja) |
BR (1) | BR112013025416A2 (ja) |
RU (1) | RU2013143978A (ja) |
TW (1) | TW201243767A (ja) |
WO (1) | WO2012137463A1 (ja) |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014192418A1 (ja) | 2013-05-27 | 2014-12-04 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP2016018367A (ja) * | 2014-07-08 | 2016-02-01 | 沖電気工業株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2016504611A (ja) * | 2012-11-02 | 2016-02-12 | クアルコム,インコーポレイテッド | 地図作成と自己位置推定とのための複数のセンサの使用 |
JP2016507746A (ja) * | 2013-01-28 | 2016-03-10 | ▲華▼▲為▼▲終▼端有限公司 | 拡張現実オブジェクトを発見するための方法および端末 |
JP2016519377A (ja) * | 2013-05-09 | 2016-06-30 | アマゾン・テクノロジーズ、インコーポレイテッド | コンピューティングデバイスのための認識インターフェース |
JP2017053724A (ja) * | 2015-09-09 | 2017-03-16 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法及びプログラム |
WO2017047178A1 (ja) * | 2015-09-16 | 2017-03-23 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP2017120558A (ja) * | 2015-12-28 | 2017-07-06 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP2017199381A (ja) * | 2017-05-24 | 2017-11-02 | カシオ計算機株式会社 | 表示制御装置、表示制御方法及びプログラム |
WO2021010342A1 (ja) * | 2019-07-12 | 2021-01-21 | 日本電信電話株式会社 | 行動認識装置、行動認識方法、及び行動認識プログラム |
US11263456B2 (en) | 2017-10-31 | 2022-03-01 | Sony Corporation | Virtual object repositioning versus motion of user and perceived or expected delay |
KR20220043106A (ko) | 2019-07-29 | 2022-04-05 | 소니그룹주식회사 | 정보 처리 장치, 정보 처리 방법, 및 프로그램 |
US11297296B2 (en) | 2018-05-30 | 2022-04-05 | Sony Corporation | Display control apparatus, program, and display control method |
WO2022168515A1 (ja) | 2021-02-05 | 2022-08-11 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置、情報処理方法、並びにプログラム |
WO2023021757A1 (ja) * | 2021-08-20 | 2023-02-23 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、及びプログラム |
WO2023026546A1 (ja) | 2021-08-25 | 2023-03-02 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置 |
JP7465067B2 (ja) | 2018-06-22 | 2024-04-10 | 株式会社ソニー・インタラクティブエンタテインメント | 仮想オブジェクトを表示するための方法およびシステム |
WO2024106317A1 (en) | 2022-11-17 | 2024-05-23 | Sony Semiconductor Solutions Corporation | Information processing device and information processing method for presenting virtual content to a user |
JP7506135B2 (ja) | 2022-11-15 | 2024-06-25 | ソフトバンク株式会社 | 情報処理装置、プログラム、及び表示方法 |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2014073345A1 (ja) * | 2012-11-09 | 2016-09-08 | ソニー株式会社 | 情報処理装置、情報処理方法およびコンピュータ読み取り可能な記録媒体 |
US10453259B2 (en) | 2013-02-01 | 2019-10-22 | Sony Corporation | Information processing device, client device, information processing method, and program |
CN103455969B (zh) | 2013-08-28 | 2019-06-04 | 腾讯科技(成都)有限公司 | 图像处理的方法及装置 |
US9569892B2 (en) * | 2013-09-26 | 2017-02-14 | Qualcomm Incorporated | Image capture input and projection output |
US10671766B2 (en) * | 2013-10-21 | 2020-06-02 | Autodesk, Inc. | Evaluating the stability of three-dimensional models |
EP3070681A4 (en) * | 2013-11-13 | 2017-07-12 | Sony Corporation | Display control device, display control method and program |
TWI529663B (zh) * | 2013-12-10 | 2016-04-11 | 財團法人金屬工業研究發展中心 | 虛擬影像定位方法及其裝置 |
US9652893B2 (en) * | 2014-04-29 | 2017-05-16 | Microsoft Technology Licensing, Llc | Stabilization plane determination based on gaze location |
KR101430614B1 (ko) * | 2014-05-30 | 2014-08-18 | 주식회사 모리아타운 | 웨어러블 안경을 이용한 디스플레이 장치 및 그 동작 방법 |
CN104090973B (zh) * | 2014-07-18 | 2018-09-07 | 百度在线网络技术(北京)有限公司 | 一种信息呈现方法及装置 |
US10943395B1 (en) * | 2014-10-03 | 2021-03-09 | Virtex Apps, Llc | Dynamic integration of a virtual environment with a physical environment |
US20180176483A1 (en) * | 2014-12-29 | 2018-06-21 | Metaio Gmbh | Method and sytem for generating at least one image of a real environment |
EP3113159A1 (en) * | 2015-06-30 | 2017-01-04 | Thomson Licensing | Method and device for processing a part of an immersive video content according to the position of reference parts |
TWI574223B (zh) * | 2015-10-26 | 2017-03-11 | 行政院原子能委員會核能研究所 | 運用擴增實境技術之導航系統 |
US9858707B2 (en) * | 2015-12-30 | 2018-01-02 | Daqri, Llc | 3D video reconstruction system |
JP2017123050A (ja) * | 2016-01-07 | 2017-07-13 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム、及びサーバ |
KR102649197B1 (ko) | 2016-07-29 | 2024-03-20 | 삼성전자주식회사 | 그래픽 객체를 표시하기 위한 전자 장치 및 컴퓨터 판독 가능한 기록 매체 |
US11563895B2 (en) * | 2016-12-21 | 2023-01-24 | Motorola Solutions, Inc. | System and method for displaying objects of interest at an incident scene |
CN110199324B (zh) * | 2017-01-31 | 2023-12-29 | 株式会社和冠 | 显示装置及其控制方法 |
CN109189210A (zh) * | 2018-08-06 | 2019-01-11 | 百度在线网络技术(北京)有限公司 | 混合现实交互方法、装置及存储介质 |
CN109241385A (zh) * | 2018-08-08 | 2019-01-18 | 百度在线网络技术(北京)有限公司 | 搜索方法、设备以及存储介质 |
KR102091217B1 (ko) * | 2018-12-12 | 2020-03-19 | 주식회사 하이쓰리디 | 모바일 증강현실 영상 편집 시스템 |
KR20210030147A (ko) * | 2019-09-09 | 2021-03-17 | 삼성전자주식회사 | 3d 렌더링 방법 및 장치 |
TWI759764B (zh) * | 2020-06-12 | 2022-04-01 | 光時代科技有限公司 | 基於光通信裝置疊加虛擬物件的方法、電子設備以及電腦可讀取記錄媒體 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003046842A (ja) * | 2001-07-31 | 2003-02-14 | Nippon Hoso Kyokai <Nhk> | 仮想シーン撮影方法及びその装置 |
JP2005020559A (ja) * | 2003-06-27 | 2005-01-20 | Univ Waseda | 立体映像呈示装置 |
JP2007156561A (ja) * | 2005-11-30 | 2007-06-21 | Canon Inc | 複合現実感提示方法および複合現実感提示システム |
JP2009289035A (ja) * | 2008-05-29 | 2009-12-10 | Jiro Makino | 画像表示システム、携帯型表示装置、サーバコンピュータ、および遺跡観光システム |
JP2010231459A (ja) * | 2009-03-26 | 2010-10-14 | Kyocera Corp | 画像合成装置 |
JP2012129731A (ja) * | 2010-12-14 | 2012-07-05 | Ntt Docomo Inc | 携帯端末および画像処理方法 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6469660B1 (en) * | 2000-04-13 | 2002-10-22 | United Parcel Service Inc | Method and system for displaying target icons correlated to target data integrity |
US6765569B2 (en) * | 2001-03-07 | 2004-07-20 | University Of Southern California | Augmented-reality tool employing scene-feature autocalibration during camera motion |
US6867753B2 (en) * | 2002-10-28 | 2005-03-15 | University Of Washington | Virtual image registration in augmented display field |
US7466650B2 (en) | 2004-09-08 | 2008-12-16 | Visualgate Systems, Inc. | System, method and apparatus for adaptive video surveillance over power lines |
JP4726194B2 (ja) * | 2005-04-01 | 2011-07-20 | キヤノン株式会社 | キャリブレーション方法及び装置 |
JP4976756B2 (ja) * | 2006-06-23 | 2012-07-18 | キヤノン株式会社 | 情報処理方法および装置 |
JP4804256B2 (ja) * | 2006-07-27 | 2011-11-02 | キヤノン株式会社 | 情報処理方法 |
TW200843989A (en) * | 2007-05-02 | 2008-11-16 | Automotive Res & Testing Ct | Automobile lateral collision warning system |
JP4894741B2 (ja) * | 2007-12-03 | 2012-03-14 | ソニー株式会社 | 情報処理装置および情報処理方法、プログラム、並びに記録媒体 |
KR101188588B1 (ko) * | 2008-03-27 | 2012-10-08 | 주식회사 만도 | 모노큘러 모션 스테레오 기반의 주차 공간 검출 장치 및방법 |
JP5111210B2 (ja) * | 2008-04-09 | 2013-01-09 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
JP2010134649A (ja) | 2008-12-03 | 2010-06-17 | Canon Inc | 情報処理装置、その処理方法及びプログラム |
CN101551732A (zh) * | 2009-03-24 | 2009-10-07 | 上海水晶石信息技术有限公司 | 带有交互功能的增强现实的方法及其*** |
CN101520904B (zh) * | 2009-03-24 | 2011-12-28 | 上海水晶石信息技术有限公司 | 带有现实环境估算的增强现实的方法及其*** |
US8384770B2 (en) * | 2010-06-02 | 2013-02-26 | Nintendo Co., Ltd. | Image display system, image display apparatus, and image display method |
-
2011
- 2011-04-08 JP JP2011086684A patent/JP5732988B2/ja active Active
-
2012
- 2012-03-28 TW TW101110902A patent/TW201243767A/zh unknown
- 2012-04-02 RU RU2013143978/08A patent/RU2013143978A/ru not_active Application Discontinuation
- 2012-04-02 KR KR1020137019062A patent/KR20140017527A/ko not_active Application Discontinuation
- 2012-04-02 US US14/008,789 patent/US9269002B2/en active Active
- 2012-04-02 EP EP12767610.4A patent/EP2695143B1/en active Active
- 2012-04-02 BR BR112013025416A patent/BR112013025416A2/pt not_active IP Right Cessation
- 2012-04-02 WO PCT/JP2012/002269 patent/WO2012137463A1/en active Application Filing
- 2012-04-06 CN CN201210100149.8A patent/CN102867169B/zh active Active
- 2012-04-06 CN CN201220143819XU patent/CN202976122U/zh not_active Expired - Lifetime
-
2016
- 2016-02-04 US US15/015,926 patent/US9582938B2/en active Active
- 2016-12-14 US US15/378,444 patent/US9836887B2/en active Active
-
2017
- 2017-11-09 US US15/807,680 patent/US10395429B2/en active Active
-
2019
- 2019-07-15 US US16/511,216 patent/US10930083B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003046842A (ja) * | 2001-07-31 | 2003-02-14 | Nippon Hoso Kyokai <Nhk> | 仮想シーン撮影方法及びその装置 |
JP2005020559A (ja) * | 2003-06-27 | 2005-01-20 | Univ Waseda | 立体映像呈示装置 |
JP2007156561A (ja) * | 2005-11-30 | 2007-06-21 | Canon Inc | 複合現実感提示方法および複合現実感提示システム |
JP2009289035A (ja) * | 2008-05-29 | 2009-12-10 | Jiro Makino | 画像表示システム、携帯型表示装置、サーバコンピュータ、および遺跡観光システム |
JP2010231459A (ja) * | 2009-03-26 | 2010-10-14 | Kyocera Corp | 画像合成装置 |
JP2012129731A (ja) * | 2010-12-14 | 2012-07-05 | Ntt Docomo Inc | 携帯端末および画像処理方法 |
Cited By (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016504611A (ja) * | 2012-11-02 | 2016-02-12 | クアルコム,インコーポレイテッド | 地図作成と自己位置推定とのための複数のセンサの使用 |
US9953618B2 (en) | 2012-11-02 | 2018-04-24 | Qualcomm Incorporated | Using a plurality of sensors for mapping and localization |
JP2016507746A (ja) * | 2013-01-28 | 2016-03-10 | ▲華▼▲為▼▲終▼端有限公司 | 拡張現実オブジェクトを発見するための方法および端末 |
US9436874B2 (en) | 2013-01-28 | 2016-09-06 | Huawei Device Co., Ltd. | Method for discovering augmented reality object, and terminal |
US9927949B2 (en) | 2013-05-09 | 2018-03-27 | Amazon Technologies, Inc. | Recognition interfaces for computing devices |
JP2016519377A (ja) * | 2013-05-09 | 2016-06-30 | アマゾン・テクノロジーズ、インコーポレイテッド | コンピューティングデバイスのための認識インターフェース |
JPWO2014192418A1 (ja) * | 2013-05-27 | 2017-02-23 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
WO2014192418A1 (ja) | 2013-05-27 | 2014-12-04 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
US10169916B2 (en) | 2013-05-27 | 2019-01-01 | Sony Corporation | Image processing device and image processing method |
JP2016018367A (ja) * | 2014-07-08 | 2016-02-01 | 沖電気工業株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2017053724A (ja) * | 2015-09-09 | 2017-03-16 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法及びプログラム |
US10977774B2 (en) | 2015-09-16 | 2021-04-13 | Sony Corporation | Information processing apparatus, information processing method, and program for estimating prediction accuracy |
JPWO2017047178A1 (ja) * | 2015-09-16 | 2018-07-05 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
WO2017047178A1 (ja) * | 2015-09-16 | 2017-03-23 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP2017120558A (ja) * | 2015-12-28 | 2017-07-06 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびプログラム |
US10573073B2 (en) | 2015-12-28 | 2020-02-25 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and storage medium |
JP2017199381A (ja) * | 2017-05-24 | 2017-11-02 | カシオ計算機株式会社 | 表示制御装置、表示制御方法及びプログラム |
US11263456B2 (en) | 2017-10-31 | 2022-03-01 | Sony Corporation | Virtual object repositioning versus motion of user and perceived or expected delay |
US11297296B2 (en) | 2018-05-30 | 2022-04-05 | Sony Corporation | Display control apparatus, program, and display control method |
JP7465067B2 (ja) | 2018-06-22 | 2024-04-10 | 株式会社ソニー・インタラクティブエンタテインメント | 仮想オブジェクトを表示するための方法およびシステム |
JP2021015479A (ja) * | 2019-07-12 | 2021-02-12 | 日本電信電話株式会社 | 行動認識装置、行動認識方法、及び行動認識プログラム |
WO2021010342A1 (ja) * | 2019-07-12 | 2021-01-21 | 日本電信電話株式会社 | 行動認識装置、行動認識方法、及び行動認識プログラム |
JP7207210B2 (ja) | 2019-07-12 | 2023-01-18 | 日本電信電話株式会社 | 行動認識装置、行動認識方法、及び行動認識プログラム |
KR20220043106A (ko) | 2019-07-29 | 2022-04-05 | 소니그룹주식회사 | 정보 처리 장치, 정보 처리 방법, 및 프로그램 |
US11908090B2 (en) | 2019-07-29 | 2024-02-20 | Sony Group Corporation | Information processing device, information processing method, and program |
WO2022168515A1 (ja) | 2021-02-05 | 2022-08-11 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置、情報処理方法、並びにプログラム |
WO2023021757A1 (ja) * | 2021-08-20 | 2023-02-23 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、及びプログラム |
WO2023026546A1 (ja) | 2021-08-25 | 2023-03-02 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置 |
JP7506135B2 (ja) | 2022-11-15 | 2024-06-25 | ソフトバンク株式会社 | 情報処理装置、プログラム、及び表示方法 |
WO2024106317A1 (en) | 2022-11-17 | 2024-05-23 | Sony Semiconductor Solutions Corporation | Information processing device and information processing method for presenting virtual content to a user |
Also Published As
Publication number | Publication date |
---|---|
CN102867169B (zh) | 2017-07-11 |
US10930083B2 (en) | 2021-02-23 |
WO2012137463A1 (en) | 2012-10-11 |
US9269002B2 (en) | 2016-02-23 |
US10395429B2 (en) | 2019-08-27 |
US20170157513A1 (en) | 2017-06-08 |
CN102867169A (zh) | 2013-01-09 |
RU2013143978A (ru) | 2015-04-10 |
KR20140017527A (ko) | 2014-02-11 |
CN202976122U (zh) | 2013-06-05 |
BR112013025416A2 (pt) | 2016-12-27 |
US9582938B2 (en) | 2017-02-28 |
US20190340826A1 (en) | 2019-11-07 |
US9836887B2 (en) | 2017-12-05 |
EP2695143A1 (en) | 2014-02-12 |
JP5732988B2 (ja) | 2015-06-10 |
US20160217622A1 (en) | 2016-07-28 |
TW201243767A (en) | 2012-11-01 |
EP2695143A4 (en) | 2016-01-13 |
EP2695143B1 (en) | 2020-02-26 |
US20140016825A1 (en) | 2014-01-16 |
US20180068491A1 (en) | 2018-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5732988B2 (ja) | 画像処理装置、表示制御方法及びプログラム | |
US11195307B2 (en) | Image processing apparatus, image processing method, and program | |
US9761054B2 (en) | Augmented reality computing with inertial sensors | |
JP5724543B2 (ja) | 端末装置、オブジェクト制御方法及びプログラム | |
US9823821B2 (en) | Information processing apparatus, display control method, and program for superimposing virtual objects on input image and selecting an interested object | |
US9996982B2 (en) | Information processing device, authoring method, and program | |
CN108885497B (zh) | 信息处理装置、信息处理方法和计算机可读介质 | |
JP2012226529A (ja) | 画像処理装置、画像処理方法及びプログラム | |
KR20190049784A (ko) | 무주의 조건 동안 그래픽 사용자 인터페이스에 영향을 미치는 정보의 상태 변화 연기 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140219 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150317 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150330 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5732988 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |