JP2011159162A - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP2011159162A JP2011159162A JP2010021368A JP2010021368A JP2011159162A JP 2011159162 A JP2011159162 A JP 2011159162A JP 2010021368 A JP2010021368 A JP 2010021368A JP 2010021368 A JP2010021368 A JP 2010021368A JP 2011159162 A JP2011159162 A JP 2011159162A
- Authority
- JP
- Japan
- Prior art keywords
- procedure
- environment map
- data
- image processing
- real space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/61—Scene description
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Optics & Photonics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Geometry (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
【解決手段】1つ以上の物体の外観の特徴を表す特徴データを記憶しているデータ記憶部と、撮像装置を用いて実空間を撮影することにより得られる入力画像、及び前記データ記憶部により記憶されている前記特徴データに基づいて、前記実空間内に存在する物体の位置を表現する環境マップを構築する環境マップ構築部と、前記実空間内で遂行すべき作業の一連の手順について、各手順に関する説明と当該説明を表示すべき位置を指定する位置情報とを対応付けて定義する手順データを取得する制御部と、前記制御部により取得される前記手順データを用いて、前記一連の手順に含まれる各手順に関する説明を、前記環境マップ及び前記位置情報に基づいて決定される前記入力画像内の位置に重畳することにより、出力画像を生成する重畳部と、を備える画像処理装置を提供する。
【選択図】図4
Description
1.画像処理装置の概要
2.一実施形態に係る画像処理装置の構成
2−1.撮像部
2−2.環境マップ生成部
2−3.出力画像生成部
2−4.出力画像の例
3.ハードウェア構成の例
4.まとめ
まず、図1A〜図3Bを用いて、本発明の一実施形態に係る画像処理装置の概要を説明する。図1A及び図1Bは、本発明の一実施形態に係る画像処理装置100が使用され得る一例としての環境1a及び1bをそれぞれ示している。
図4は、本発明の一実施形態に係る画像処理装置100の構成の一例を示すブロック図である。図4を参照すると、画像処理装置100は、撮像部102、環境マップ生成部110、及び出力画像生成部180を備える。
撮像部102は、例えば、CCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を有する撮像装置として実現され得る。撮像部102は、画像処理装置100の外部に設けられてもよい。撮像部102は、環境1a又は環境1bなどの実空間を撮影することにより取得した画像を、入力画像として環境マップ生成部110及び出力画像生成部180へ出力する。
環境マップ生成部110は、撮像部102から入力される入力画像、及びデータ記憶部130により記憶されている後述するオブジェクトの特徴データに基づいて、実空間内に存在する1つ以上の物体の位置等を表現する環境マップを生成する。図4に示しているように、本実施形態において、環境マップ生成部110は、自己位置検出部120、データ記憶部130、画像認識部140、環境マップ構築部150、及び環境マップ記憶部152を含む。
自己位置検出部120は、撮像部102から入力される入力画像、及びデータ記憶部130により記憶されている特徴データに基づいて、入力画像を映した撮像装置の位置を動的に検出する。例えば、自己位置検出部120は、上記非特許文献1に記載されているSLAM技術を応用することにより、撮像装置が単眼カメラを有する場合にも、当該カメラの位置及び姿勢、並びにカメラの撮像面における特徴点の位置を、フレームごとに動的に決定することができる。
本実施形態において、データ記憶部130は、実空間内に存在し得る物体に対応するオブジェクトの特徴を表す特徴データを予め記憶している。特徴データには、例えば、各オブジェクトの外観の特徴を表す1つ以上の特徴点についての小画像、即ちパッチ(Patch)が含まれる。パッチとは、例えば、特徴点を中心とする3×3=9画素よりなる小画像であってよい。
本実施形態において、自己位置検出部120は、拡張カルマンフィルタを適用すべき状態変数として、次式に示す状態変数Xを用いる。
そして、自己位置検出部120は、観測方程式を用いて、例えば状態変数の予測値から予測される観測情報と、特徴点の追跡結果として得られる実際の観測情報との誤差を評価する。なお、式(8)におけるνがその誤差である。
データ記憶部130は、ハードディスク又は半導体メモリなどの記憶媒体を用いて、実空間内に存在し得る物体に対応するオブジェクトの特徴を表す特徴データを予め記憶している。図4では、データ記憶部130が環境マップ生成部110の一部である例を示しているが、かかる例に限定されず、データ記憶部130は環境マップ生成部110の外部に設けられてもよい。図9は、特徴データの構成の一例について説明するための説明図である。
画像認識部140は、データ記憶部130により記憶されている上述した特徴データを用いて、入力画像に映っている物体がそれぞれどのオブジェクトに対応するかを特定する。
環境マップ構築部150は、自己位置検出部120から入力されるカメラの位置及び姿勢、画像認識部140から入力される特徴点の撮像面上の位置、及びデータ記憶部130に記憶されている特徴データを用いて、環境マップを構築する。本明細書において、環境マップとは、実空間内に存在する1つ以上の物体の位置(及び姿勢)を表現するデータの集合である。環境マップには、例えば、物体に対応するオブジェクト名称、当該物体に属す特徴点の3次元位置、及び当該物体の形状を構成するポリゴン情報などが含まれ得る。環境マップは、例えば、画像認識部140から入力される特徴点の撮像面上の位置から、上述したピンホールモデルに従って各特徴点の3次元位置を求めることにより構築され得る。
出力画像生成部180は、実空間内で遂行すべき作業の一連の手順について、各手順に関する説明をユーザに呈示するための出力画像を生成し、生成した出力画像を表示装置104に表示させる。その際、出力画像生成部180は、環境マップ生成部110により生成される環境マップ内の所定の位置と各手順に関する説明とを関連付け、当該所定の位置に対応する入力画像内の位置に各手順に関する説明を重畳する。図4に示しているように、本実施形態において、出力画像生成部180は、手順記憶部184、手順制御部186、情報配置部190及び重畳部192を含む。
手順記憶部184は、ハードディスク又は半導体メモリなどの記憶媒体を用いて、実空間内で遂行すべき作業の一連の手順について、各手順に関する説明と当該説明を表示すべき位置を指定する位置情報とを対応付けて定義する手順データを記憶する。
・第1のパターン:環境マップにおける物体の状態
・第2のパターン:所定の時間の経過
・第3のパターン:外部イベント
手順制御部186は、例えば、ユーザからの指示に応じて手順記憶部184から所望の説明書名についての手順データを取得し、取得した手順データに従って、一連の手順に含まれる各手順に関する手順説明の表示を制御する。
情報配置部190は、手順制御部186から入力される各手順説明を表示すべき入力画像内の位置を、環境マップ生成部110から取得される撮像装置の位置及び姿勢を用いて、ピンホールモデルの式(11)に従って算出する。この場合、式(11)における右辺の特徴点FPiの3次元位置piに、手順制御部186から入力される3次元位置が代入される。そして、情報配置部190は、各手順説明を表示すべき入力画像内の位置を算出すると、各手順説明と当該手順説明を表示すべき入力画像内の位置とを、重畳部192へ出力する。
重畳部192は、情報配置部190から入力される各手順説明を情報配置部190により算出される入力画像内の位置に重畳することにより、出力画像を生成する。
図14及び図15は、本実施形態において表示装置104の画面上に表示され得る出力画像の例をそれぞれ示している。
なお、上述した実施形態に係る一連の処理をハードウェアで実現するかソフトウェアで実現するかは問わない。一連の処理又はその一部をソフトウェアで実行させる場合には、ソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれたコンピュータ、又は例えば図16に示した汎用コンピュータなどを用いて実行される。
ここまで、図1A〜図16を用いて、本発明の一実施形態について説明した。本実施形態によれば、実空間内で遂行すべき作業の一連の手順に含まれる各手順に関する説明が、実空間内に存在する物体の位置を3次元的に表現する環境マップに基づいて決定される位置に表示される。それにより、ユーザによる手順の直感的な理解が可能となる。特に、本実施形態によれば、ユーザを取り巻く環境が動的に変化し得る実空間内での作業においても、その環境の変化に追随して環境マップが動的に更新される。その結果、各手順に関する説明が表示される位置も環境の変化に合わせて移動するため、環境の変化に起因して説明書の理解が困難となることがない。
102 撮像装置(撮像部)
104 表示装置
120 自己位置検出部
130 データ記憶部
150 環境マップ構築部
182 手順データ
186 手順制御部
192 重畳部
Claims (8)
- 1つ以上の物体の外観の特徴を表す特徴データを記憶しているデータ記憶部と;
撮像装置を用いて実空間を撮影することにより得られる入力画像、及び前記データ記憶部により記憶されている前記特徴データに基づいて、前記実空間内に存在する物体の位置を表現する環境マップを構築する環境マップ構築部と;
前記実空間内で遂行すべき作業の一連の手順について、各手順に関する説明と当該説明を表示すべき位置を指定する位置情報とを対応付けて定義する手順データを取得する制御部と;
前記制御部により取得される前記手順データを用いて、前記一連の手順に含まれる各手順に関する説明を、前記環境マップ及び前記位置情報に基づいて決定される前記入力画像内の位置に重畳することにより、出力画像を生成する重畳部と;
を備える画像処理装置。 - 前記位置情報は、各手順に関する説明と関連する物体を特定することにより、前記説明を表示すべき前記環境マップ内での位置を指定する、請求項1に記載の画像処理装置。
- 前記手順データは、各手順に関する説明と各説明の表示を進行させるための条件とをさらに対応付けて定義する、請求項1又は請求項2に記載の画像処理装置。
- 各説明の表示を進行させるための前記条件は、環境マップにより表現される物体の位置又は姿勢に応じた条件を含む、請求項3に記載の画像処理装置。
- 前記制御部は、前記一連の手順に含まれる各手順に関する説明の表示を前記手順データに従って制御する、請求項3又は4に記載の画像処理装置。
- 前記画像処理装置は、前記入力画像及び前記特徴データに基づいて前記撮像装置の前記実空間内の位置を動的に検出する検出部、をさらに備え、
各手順に関する説明が重畳される前記入力画像内の位置は、前記検出部により検出される前記撮像装置の前記実空間内の位置に応じて決定される、
請求項1〜5のいずれか1項に記載の画像処理装置。 - 1つ以上の物体の外観の特徴を表す特徴データを記憶している記憶媒体を備える画像処理装置における画像処理方法であって:
撮像装置を用いて実空間を撮影した入力画像を取得するステップと;
前記入力画像及び前記特徴データに基づいて、前記実空間内に存在する物体の位置を表現する環境マップを構築するステップと;
前記実空間内で遂行すべき作業の一連の手順について、各手順に関する説明と当該説明を表示すべき位置を指定する位置情報とを対応付けて定義する手順データを取得するステップと;
取得された前記手順データを用いて、前記一連の手順に含まれる各手順に関する説明を、前記環境マップ及び前記位置情報に基づいて決定される前記入力画像内の位置に重畳することにより、出力画像を生成するステップと;
を含む画像処理方法。 - 1つ以上の物体の外観の特徴を表す特徴データを記憶している記憶媒体を備える画像処理装置を制御するコンピュータを:
撮像装置を用いて実空間を撮影することにより得られる入力画像、及び前記特徴データに基づいて、前記実空間内に存在する物体の位置を表現する環境マップを構築する環境マップ構築部と;
前記実空間内で遂行すべき作業の一連の手順について、各手順に関する説明と当該説明を表示すべき位置を指定する位置情報とを対応付けて定義する手順データを取得する制御部と;
前記制御部により取得される前記手順データを用いて、前記一連の手順に含まれる各手順に関する説明を、前記環境マップ及び前記位置情報に基づいて決定される前記入力画像内の位置に重畳することにより、出力画像を生成する重畳部と;
として機能させるための、プログラム。
Priority Applications (13)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010021368A JP5728159B2 (ja) | 2010-02-02 | 2010-02-02 | 画像処理装置、画像処理方法及びプログラム |
US12/984,847 US8896628B2 (en) | 2010-02-02 | 2011-01-05 | Image processing device, image processing method, and program |
CN2011100314217A CN102141885B (zh) | 2010-02-02 | 2011-01-26 | 图像处理设备和图像处理方法 |
US14/527,148 US9183678B2 (en) | 2010-02-02 | 2014-10-29 | Image processing device, image processing method, and program |
US14/869,063 US9754418B2 (en) | 2010-02-02 | 2015-09-29 | Image processing device, image processing method, and program |
US14/991,477 US9805513B2 (en) | 2010-02-02 | 2016-01-08 | Image processing device, image processing method, and program |
US15/713,801 US10037628B2 (en) | 2010-02-02 | 2017-09-25 | Image processing device, image processing method, and program |
US16/026,763 US10223837B2 (en) | 2010-02-02 | 2018-07-03 | Image processing device, image processing method, and program |
US16/263,524 US10515488B2 (en) | 2010-02-02 | 2019-01-31 | Image processing device, image processing method, and program |
US16/668,862 US10810803B2 (en) | 2010-02-02 | 2019-10-30 | Image processing device, image processing method, and program |
US17/069,389 US11189105B2 (en) | 2010-02-02 | 2020-10-13 | Image processing device, image processing method, and program |
US17/529,605 US11651574B2 (en) | 2010-02-02 | 2021-11-18 | Image processing device, image processing method, and program |
US18/133,252 US12002173B2 (en) | 2010-02-02 | 2023-04-11 | Image processing device, image processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010021368A JP5728159B2 (ja) | 2010-02-02 | 2010-02-02 | 画像処理装置、画像処理方法及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2011159162A true JP2011159162A (ja) | 2011-08-18 |
JP2011159162A5 JP2011159162A5 (ja) | 2013-01-31 |
JP5728159B2 JP5728159B2 (ja) | 2015-06-03 |
Family
ID=44341235
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010021368A Active JP5728159B2 (ja) | 2010-02-02 | 2010-02-02 | 画像処理装置、画像処理方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (11) | US8896628B2 (ja) |
JP (1) | JP5728159B2 (ja) |
CN (1) | CN102141885B (ja) |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013109624A (ja) * | 2011-11-22 | 2013-06-06 | Hitachi Plant Technologies Ltd | 画像処理装置、画像処理方法 |
WO2014119098A1 (ja) | 2013-02-01 | 2014-08-07 | ソニー株式会社 | 情報処理装置、端末装置、情報処理方法及びプログラム |
WO2014119097A1 (ja) | 2013-02-01 | 2014-08-07 | ソニー株式会社 | 情報処理装置、端末装置、情報処理方法及びプログラム |
JP2015118558A (ja) * | 2013-12-18 | 2015-06-25 | マイクロソフト コーポレーション | 物体追跡 |
JP2015135645A (ja) * | 2014-01-20 | 2015-07-27 | ヤフー株式会社 | 情報表示制御装置、情報表示制御方法及びプログラム |
KR20150090092A (ko) * | 2012-11-29 | 2015-08-05 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | 착용식 식품 영양 피드백 시스템 |
WO2015173882A1 (ja) * | 2014-05-13 | 2015-11-19 | 株式会社日立製作所 | コンテンツ生成方法および管理装置 |
JP2016512626A (ja) * | 2013-01-12 | 2016-04-28 | マイクロソフト テクノロジー ライセンシング,エルエルシー | ウェアラブルな行動ベース視覚システム |
JP2016099638A (ja) * | 2014-11-18 | 2016-05-30 | セイコーエプソン株式会社 | 画像処理装置、画像処理装置の制御方法、および、コンピュータープログラム |
US9373196B2 (en) | 2012-04-23 | 2016-06-21 | Sony Corporation | Image processing apparatus, image processing method, and program |
JP2016218594A (ja) * | 2015-05-18 | 2016-12-22 | セイコーエプソン株式会社 | 画像処理装置、画像処理装置の制御方法、および、コンピュータープログラム |
JPWO2014097413A1 (ja) * | 2012-12-19 | 2017-01-12 | 株式会社日立製作所 | 作業支援端末および作業支援システム |
WO2017030193A1 (ja) * | 2015-08-20 | 2017-02-23 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2017120329A (ja) * | 2015-12-28 | 2017-07-06 | 株式会社ブリリアントサービス | 調理用ヘッドマウントディスプレイおよび調理用ヘッドマウントディスプレイのプログラム |
US9979809B2 (en) | 2012-08-07 | 2018-05-22 | Microsoft Technology Licensing, Llc | Object tracking |
US10013795B2 (en) | 2015-09-14 | 2018-07-03 | Fujitsu Limited | Operation support method, operation support program, and operation support system |
JP2019179382A (ja) * | 2018-03-30 | 2019-10-17 | 株式会社スクウェア・エニックス | 情報処理プログラム、情報処理方法及び情報処理システム |
JP2022020039A (ja) * | 2020-07-19 | 2022-01-31 | プレティア・テクノロジーズ株式会社 | コンテンツ提供システム及びコンテンツ提供方法 |
JP2022052324A (ja) * | 2020-09-23 | 2022-04-04 | 株式会社x garden | 料理支援装置、プログラム及び料理支援方法 |
Families Citing this family (57)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8851896B2 (en) | 2008-08-21 | 2014-10-07 | Lincoln Global, Inc. | Virtual reality GTAW and pipe welding simulator and setup |
US9196169B2 (en) | 2008-08-21 | 2015-11-24 | Lincoln Global, Inc. | Importing and analyzing external data using a virtual reality welding system |
US9483959B2 (en) | 2008-08-21 | 2016-11-01 | Lincoln Global, Inc. | Welding simulator |
US8274013B2 (en) | 2009-03-09 | 2012-09-25 | Lincoln Global, Inc. | System for tracking and analyzing welding activity |
US9773429B2 (en) | 2009-07-08 | 2017-09-26 | Lincoln Global, Inc. | System and method for manual welder training |
US9011154B2 (en) | 2009-07-10 | 2015-04-21 | Lincoln Global, Inc. | Virtual welding system |
US9606992B2 (en) * | 2011-09-30 | 2017-03-28 | Microsoft Technology Licensing, Llc | Personal audio/visual apparatus providing resource management |
US20130155105A1 (en) * | 2011-12-19 | 2013-06-20 | Nokia Corporation | Method and apparatus for providing seamless interaction in mixed reality |
US10937239B2 (en) | 2012-02-23 | 2021-03-02 | Charles D. Huston | System and method for creating an environment and for sharing an event |
CA2864003C (en) | 2012-02-23 | 2021-06-15 | Charles D. Huston | System and method for creating an environment and for sharing a location based experience in an environment |
US10600235B2 (en) | 2012-02-23 | 2020-03-24 | Charles D. Huston | System and method for capturing and sharing a location based experience |
US20160093233A1 (en) | 2012-07-06 | 2016-03-31 | Lincoln Global, Inc. | System for characterizing manual welding operations on pipe and other curved structures |
US9767712B2 (en) | 2012-07-10 | 2017-09-19 | Lincoln Global, Inc. | Virtual reality pipe welding simulator and setup |
US8743224B2 (en) * | 2012-07-13 | 2014-06-03 | Intel Corporation | Context based management for secure augmented reality applications |
EP2899618B1 (en) * | 2012-09-21 | 2019-05-15 | Sony Corporation | Control device and computer-readable storage medium |
US9336541B2 (en) * | 2012-09-21 | 2016-05-10 | Paypal, Inc. | Augmented reality product instructions, tutorials and visualizations |
US10573037B2 (en) * | 2012-12-20 | 2020-02-25 | Sri International | Method and apparatus for mentoring via an augmented reality assistant |
US20140253540A1 (en) * | 2013-03-07 | 2014-09-11 | Yoav DORI | Method and system of incorporating real world objects into a virtual environment |
FI125913B (en) * | 2013-03-25 | 2016-04-15 | Mikkelin Ammattikorkeakoulu Oy | A state-defining object for computer-aided design |
US10930174B2 (en) | 2013-05-24 | 2021-02-23 | Lincoln Global, Inc. | Systems and methods providing a computerized eyewear device to aid in welding |
US10533850B2 (en) | 2013-07-12 | 2020-01-14 | Magic Leap, Inc. | Method and system for inserting recognized object data into a virtual world |
KR102165818B1 (ko) * | 2013-09-10 | 2020-10-14 | 삼성전자주식회사 | 입력 영상을 이용한 사용자 인터페이스 제어 방법, 장치 및 기록매체 |
US20150072323A1 (en) | 2013-09-11 | 2015-03-12 | Lincoln Global, Inc. | Learning management system for a real-time simulated virtual reality welding training environment |
US10083627B2 (en) | 2013-11-05 | 2018-09-25 | Lincoln Global, Inc. | Virtual reality and real welding training system and method |
US9761059B2 (en) * | 2014-01-03 | 2017-09-12 | Intel Corporation | Dynamic augmentation of a physical scene |
US9836987B2 (en) | 2014-02-14 | 2017-12-05 | Lincoln Global, Inc. | Virtual reality pipe welding simulator and setup |
DE102014206623A1 (de) * | 2014-04-07 | 2015-10-08 | Bayerische Motoren Werke Aktiengesellschaft | Lokalisierung eines Head-mounted Displays (HMD) im Fahrzeug |
CN106233358A (zh) | 2014-06-02 | 2016-12-14 | 林肯环球股份有限公司 | 用于人工焊工培训的***和方法 |
KR20150140449A (ko) * | 2014-06-05 | 2015-12-16 | 팅크웨어(주) | 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능한 기록 매체 |
US10270985B2 (en) | 2014-09-03 | 2019-04-23 | Intel Corporation | Augmentation of textual content with a digital scene |
US10440808B2 (en) * | 2015-11-17 | 2019-10-08 | Southwest Research Institute | High power impulse plasma source |
US10706626B1 (en) * | 2015-12-09 | 2020-07-07 | Roger Brent | Augmented reality procedural system |
US9536355B1 (en) * | 2016-03-24 | 2017-01-03 | Daqri, Llc | Thermal detection in an augmented reality system |
US10216289B2 (en) * | 2016-04-29 | 2019-02-26 | International Business Machines Corporation | Laser pointer emulation via a mobile device |
EP3319066A1 (en) | 2016-11-04 | 2018-05-09 | Lincoln Global, Inc. | Magnetic frequency selection for electromagnetic position tracking |
US10878591B2 (en) | 2016-11-07 | 2020-12-29 | Lincoln Global, Inc. | Welding trainer utilizing a head up display to display simulated and real-world objects |
US10913125B2 (en) | 2016-11-07 | 2021-02-09 | Lincoln Global, Inc. | Welding system providing visual and audio cues to a welding helmet with a display |
CN106774878A (zh) * | 2016-12-12 | 2017-05-31 | 大连文森特软件科技有限公司 | 基于ar增强现实技术的烹饪辅助*** |
CN107168532B (zh) * | 2017-05-05 | 2020-09-11 | 武汉秀宝软件有限公司 | 一种基于增强现实的虚拟同步显示方法及*** |
US10997872B2 (en) | 2017-06-01 | 2021-05-04 | Lincoln Global, Inc. | Spring-loaded tip assembly to support simulated shielded metal arc welding |
JP7046506B2 (ja) * | 2017-06-12 | 2022-04-04 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
US10534962B2 (en) * | 2017-06-17 | 2020-01-14 | Matterport, Inc. | Automated classification based on photo-realistic image/model mappings |
US10963750B2 (en) | 2018-01-04 | 2021-03-30 | IAS Machine, LLC | Procedural language and content generation environment for use in augmented reality/mixed reality systems to support laboratory and related operations |
US10467816B2 (en) * | 2018-03-23 | 2019-11-05 | Microsoft Technology Licensing, Llc | Mixed reality objects |
WO2019204395A1 (en) * | 2018-04-17 | 2019-10-24 | Marchand Stacey Leighton | Augmented reality spatial guidance and procedure control system |
US11475792B2 (en) | 2018-04-19 | 2022-10-18 | Lincoln Global, Inc. | Welding simulator with dual-user configuration |
US11557223B2 (en) | 2018-04-19 | 2023-01-17 | Lincoln Global, Inc. | Modular and reconfigurable chassis for simulated welding training |
US20190378334A1 (en) | 2018-06-08 | 2019-12-12 | Vulcan Inc. | Augmented reality portal-based applications |
WO2019237085A1 (en) | 2018-06-08 | 2019-12-12 | Vulcan Inc. | Session-based information exchange |
US10916105B2 (en) | 2018-09-06 | 2021-02-09 | Bank Of America Corporation | Processing system for providing enhanced reality interfaces at an automated teller machine (ATM) terminal platform |
US10755250B2 (en) | 2018-09-07 | 2020-08-25 | Bank Of America Corporation | Processing system for providing a teller assistant experience using enhanced reality interfaces |
US10462425B1 (en) | 2018-09-07 | 2019-10-29 | Bank Of America Corporation | Processing system for providing a teller assistant experience using enhanced reality interfaces |
US20200090661A1 (en) * | 2018-09-13 | 2020-03-19 | Magna Legal Services, Llc | Systems and Methods for Improved Digital Transcript Creation Using Automated Speech Recognition |
US11445107B2 (en) | 2019-08-08 | 2022-09-13 | Qorvo Us, Inc. | Supervised setup for control device with imager |
US11132590B2 (en) | 2019-12-12 | 2021-09-28 | Lablightar Inc. | Augmented camera for improved spatial localization and spatial orientation determination |
CN115244489A (zh) * | 2020-03-06 | 2022-10-25 | 山特维克有限公司 | 计算机增强维护*** |
US11933621B2 (en) * | 2021-10-06 | 2024-03-19 | Qualcomm Incorporated | Providing a location of an object of interest |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003281297A (ja) * | 2002-03-22 | 2003-10-03 | National Institute Of Advanced Industrial & Technology | 情報提示装置および情報提示方法 |
JP2009037392A (ja) | 2007-08-01 | 2009-02-19 | Olympus Corp | 作業支援システム |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6856324B2 (en) * | 2001-03-27 | 2005-02-15 | Siemens Corporate Research, Inc. | Augmented reality guided instrument positioning with guiding graphics |
GB2376397A (en) * | 2001-06-04 | 2002-12-11 | Hewlett Packard Co | Virtual or augmented reality |
US20030218638A1 (en) * | 2002-02-06 | 2003-11-27 | Stuart Goose | Mobile multimodal user interface combining 3D graphics, location-sensitive speech interaction and tracking technologies |
JP2004048674A (ja) * | 2002-05-24 | 2004-02-12 | Olympus Corp | 視野一致型情報呈示システム、並びに、それに用いられる携帯情報端末及びサーバ |
WO2004008427A1 (en) * | 2002-07-17 | 2004-01-22 | Yoram Baram | Closed-loop augmented reality apparatus |
US6867753B2 (en) * | 2002-10-28 | 2005-03-15 | University Of Washington | Virtual image registration in augmented display field |
WO2005094664A1 (ja) * | 2004-04-02 | 2005-10-13 | Olympus Corporation | 内視鏡 |
US7330125B2 (en) | 2005-03-25 | 2008-02-12 | Honeywell International, Inc. | Directional sound system with messaging |
JP4667111B2 (ja) * | 2005-04-21 | 2011-04-06 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
RU2008110056A (ru) * | 2005-08-15 | 2009-09-27 | Конинклейке Филипс Электроникс Н.В. (Nl) | Система, устройство и способ для очков расширенной реальности для программирования конечным пользователем |
JP4738144B2 (ja) * | 2005-11-28 | 2011-08-03 | 株式会社日立製作所 | 情報監視方法、システム及びプログラム |
WO2007076555A2 (en) * | 2005-12-29 | 2007-07-05 | Aechelon Technology, Inc. | A location based wireless collaborative environment with a visual user interface |
JP5084167B2 (ja) * | 2006-03-31 | 2012-11-28 | キヤノン株式会社 | 位置姿勢計測方法及び装置 |
US9323055B2 (en) * | 2006-05-26 | 2016-04-26 | Exelis, Inc. | System and method to display maintenance and operational instructions of an apparatus using augmented reality |
US8614675B2 (en) * | 2007-01-25 | 2013-12-24 | Microsoft Corporation | Automatic mode determination for an input device |
WO2008107021A1 (de) * | 2007-03-08 | 2008-09-12 | Siemens Aktiengesellschaft | Verfahren und vorrichtung zur generierung von trackingkonfigurationen für augmented-reality-anwendungen |
JP4909176B2 (ja) * | 2007-05-23 | 2012-04-04 | キヤノン株式会社 | 複合現実感提示装置及びその制御方法、コンピュータプログラム |
JP5380789B2 (ja) * | 2007-06-06 | 2014-01-08 | ソニー株式会社 | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
US8786675B2 (en) * | 2008-01-23 | 2014-07-22 | Michael F. Deering | Systems using eye mounted displays |
US8970690B2 (en) * | 2009-02-13 | 2015-03-03 | Metaio Gmbh | Methods and systems for determining the pose of a camera with respect to at least one object of a real environment |
US20100240988A1 (en) * | 2009-03-19 | 2010-09-23 | Kenneth Varga | Computer-aided system for 360 degree heads up display of safety/mission critical data |
US8838080B2 (en) * | 2009-07-23 | 2014-09-16 | Qualcomm Incorporated | Methods and apparatus for context-based communications through visualization |
US8768313B2 (en) * | 2009-08-17 | 2014-07-01 | Digimarc Corporation | Methods and systems for image or audio recognition processing |
WO2011041262A2 (en) * | 2009-09-30 | 2011-04-07 | University Of Florida Research Foundation, Inc. | Real-time feedback of task performance |
US8830227B2 (en) * | 2009-12-06 | 2014-09-09 | Primesense Ltd. | Depth-based gain control |
-
2010
- 2010-02-02 JP JP2010021368A patent/JP5728159B2/ja active Active
-
2011
- 2011-01-05 US US12/984,847 patent/US8896628B2/en active Active
- 2011-01-26 CN CN2011100314217A patent/CN102141885B/zh active Active
-
2014
- 2014-10-29 US US14/527,148 patent/US9183678B2/en active Active
-
2015
- 2015-09-29 US US14/869,063 patent/US9754418B2/en active Active
-
2016
- 2016-01-08 US US14/991,477 patent/US9805513B2/en active Active
-
2017
- 2017-09-25 US US15/713,801 patent/US10037628B2/en active Active
-
2018
- 2018-07-03 US US16/026,763 patent/US10223837B2/en active Active
-
2019
- 2019-01-31 US US16/263,524 patent/US10515488B2/en not_active Expired - Fee Related
- 2019-10-30 US US16/668,862 patent/US10810803B2/en active Active
-
2020
- 2020-10-13 US US17/069,389 patent/US11189105B2/en active Active
-
2021
- 2021-11-18 US US17/529,605 patent/US11651574B2/en active Active
-
2023
- 2023-04-11 US US18/133,252 patent/US12002173B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003281297A (ja) * | 2002-03-22 | 2003-10-03 | National Institute Of Advanced Industrial & Technology | 情報提示装置および情報提示方法 |
JP2009037392A (ja) | 2007-08-01 | 2009-02-19 | Olympus Corp | 作業支援システム |
Cited By (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013109624A (ja) * | 2011-11-22 | 2013-06-06 | Hitachi Plant Technologies Ltd | 画像処理装置、画像処理方法 |
US10950053B2 (en) | 2012-04-23 | 2021-03-16 | Sony Corporation | Image processing apparatus and image processing method |
US9842435B2 (en) | 2012-04-23 | 2017-12-12 | Sony Corporation | Image processing to provide stable environment recognition |
US9552677B2 (en) | 2012-04-23 | 2017-01-24 | Sony Corporation | Image processing apparatus, image processing method, and program |
US11468648B2 (en) | 2012-04-23 | 2022-10-11 | Sony Corporation | Image processing apparatus and image processing method |
US9373196B2 (en) | 2012-04-23 | 2016-06-21 | Sony Corporation | Image processing apparatus, image processing method, and program |
US9979809B2 (en) | 2012-08-07 | 2018-05-22 | Microsoft Technology Licensing, Llc | Object tracking |
KR102300390B1 (ko) | 2012-11-29 | 2021-09-08 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | 착용식 식품 영양 피드백 시스템 |
JP2016506562A (ja) * | 2012-11-29 | 2016-03-03 | マイクロソフト テクノロジー ライセンシング,エルエルシー | ウェアラブル食品栄養素フィードバックシステム |
KR20150090092A (ko) * | 2012-11-29 | 2015-08-05 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | 착용식 식품 영양 피드백 시스템 |
KR20200129187A (ko) * | 2012-11-29 | 2020-11-17 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | 착용식 식품 영양 피드백 시스템 |
KR102179142B1 (ko) | 2012-11-29 | 2020-11-16 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | 착용식 식품 영양 피드백 시스템 |
JPWO2014097413A1 (ja) * | 2012-12-19 | 2017-01-12 | 株式会社日立製作所 | 作業支援端末および作業支援システム |
JP2016512626A (ja) * | 2013-01-12 | 2016-04-28 | マイクロソフト テクノロジー ライセンシング,エルエルシー | ウェアラブルな行動ベース視覚システム |
EP3517190A2 (en) | 2013-02-01 | 2019-07-31 | Sony Corporation | Information processing device, terminal device, information processing method, and programme |
WO2014119098A1 (ja) | 2013-02-01 | 2014-08-07 | ソニー株式会社 | 情報処理装置、端末装置、情報処理方法及びプログラム |
WO2014119097A1 (ja) | 2013-02-01 | 2014-08-07 | ソニー株式会社 | 情報処理装置、端末装置、情報処理方法及びプログラム |
JP2015118558A (ja) * | 2013-12-18 | 2015-06-25 | マイクロソフト コーポレーション | 物体追跡 |
JP2015135645A (ja) * | 2014-01-20 | 2015-07-27 | ヤフー株式会社 | 情報表示制御装置、情報表示制御方法及びプログラム |
WO2015173882A1 (ja) * | 2014-05-13 | 2015-11-19 | 株式会社日立製作所 | コンテンツ生成方法および管理装置 |
JP2016099638A (ja) * | 2014-11-18 | 2016-05-30 | セイコーエプソン株式会社 | 画像処理装置、画像処理装置の制御方法、および、コンピュータープログラム |
JP2016218594A (ja) * | 2015-05-18 | 2016-12-22 | セイコーエプソン株式会社 | 画像処理装置、画像処理装置の制御方法、および、コンピュータープログラム |
JPWO2017030193A1 (ja) * | 2015-08-20 | 2018-05-31 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
WO2017030193A1 (ja) * | 2015-08-20 | 2017-02-23 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
US10013795B2 (en) | 2015-09-14 | 2018-07-03 | Fujitsu Limited | Operation support method, operation support program, and operation support system |
JP2017120329A (ja) * | 2015-12-28 | 2017-07-06 | 株式会社ブリリアントサービス | 調理用ヘッドマウントディスプレイおよび調理用ヘッドマウントディスプレイのプログラム |
JP2019179382A (ja) * | 2018-03-30 | 2019-10-17 | 株式会社スクウェア・エニックス | 情報処理プログラム、情報処理方法及び情報処理システム |
US11328490B2 (en) | 2018-03-30 | 2022-05-10 | Kabushiki Kaisha Square Enix | Information processing program, method, and system for sharing virtual process for real object arranged in a real world using augmented reality |
JP7209474B2 (ja) | 2018-03-30 | 2023-01-20 | 株式会社スクウェア・エニックス | 情報処理プログラム、情報処理方法及び情報処理システム |
JP7215752B2 (ja) | 2020-07-19 | 2023-01-31 | プレティア・テクノロジーズ株式会社 | コンテンツ提供システム及びコンテンツ提供方法 |
JP2022020039A (ja) * | 2020-07-19 | 2022-01-31 | プレティア・テクノロジーズ株式会社 | コンテンツ提供システム及びコンテンツ提供方法 |
JP2022052324A (ja) * | 2020-09-23 | 2022-04-04 | 株式会社x garden | 料理支援装置、プログラム及び料理支援方法 |
Also Published As
Publication number | Publication date |
---|---|
US20110187746A1 (en) | 2011-08-04 |
JP5728159B2 (ja) | 2015-06-03 |
US10515488B2 (en) | 2019-12-24 |
US20150049116A1 (en) | 2015-02-19 |
US10810803B2 (en) | 2020-10-20 |
US10037628B2 (en) | 2018-07-31 |
CN102141885A (zh) | 2011-08-03 |
US9805513B2 (en) | 2017-10-31 |
US9183678B2 (en) | 2015-11-10 |
US20190164348A1 (en) | 2019-05-30 |
US20180012415A1 (en) | 2018-01-11 |
US20230245402A1 (en) | 2023-08-03 |
US20160125657A1 (en) | 2016-05-05 |
US20220076499A1 (en) | 2022-03-10 |
US9754418B2 (en) | 2017-09-05 |
US20200066057A1 (en) | 2020-02-27 |
US20210027543A1 (en) | 2021-01-28 |
CN102141885B (zh) | 2013-10-30 |
US20180315249A1 (en) | 2018-11-01 |
US11651574B2 (en) | 2023-05-16 |
US8896628B2 (en) | 2014-11-25 |
US11189105B2 (en) | 2021-11-30 |
US20160035141A1 (en) | 2016-02-04 |
US12002173B2 (en) | 2024-06-04 |
US10223837B2 (en) | 2019-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5728159B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US10521085B2 (en) | Image processing device, image processing method, and program for displaying an image in accordance with a selection from a displayed menu and based on a detection by a sensor | |
US10853649B2 (en) | Context-aware hazard detection using world-facing cameras in virtual, augmented, and mixed reality (xR) applications | |
CN105981076B (zh) | 合成增强现实环境的构造 | |
JP2011095797A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2013225245A (ja) | 画像処理装置、画像処理方法及びプログラム | |
TW201346640A (zh) | 影像處理裝置及電腦程式產品 | |
JP2011203824A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5668587B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2013164697A (ja) | 画像処理装置、画像処理方法、プログラム及び画像処理システム | |
US20210327160A1 (en) | Authoring device, authoring method, and storage medium storing authoring program | |
JP7341736B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US20230137440A1 (en) | Point and clean | |
Hashimoto et al. | How does user’s access to object make hci smooth in recipe guidance? | |
EP4312108A1 (en) | Identifying device in a mixed-reality environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121212 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121212 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130805 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130813 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131001 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20131112 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150130 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150406 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5728159 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |