JP2019121136A - 情報処理装置、情報処理システムおよび情報処理方法 - Google Patents
情報処理装置、情報処理システムおよび情報処理方法 Download PDFInfo
- Publication number
- JP2019121136A JP2019121136A JP2017255093A JP2017255093A JP2019121136A JP 2019121136 A JP2019121136 A JP 2019121136A JP 2017255093 A JP2017255093 A JP 2017255093A JP 2017255093 A JP2017255093 A JP 2017255093A JP 2019121136 A JP2019121136 A JP 2019121136A
- Authority
- JP
- Japan
- Prior art keywords
- worker
- work
- work target
- area
- dimensional model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Computer Hardware Design (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- General Factory Administration (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
さらに、1つの案では、上記の情報処理装置と同様の処理をコンピュータが実行する情報処理方法が提供される。
〔第1の実施の形態〕
図1は、第1の実施の形態に係る情報処理装置の構成例および処理例を示す図である。
演算部1bは、作業者3の向きD1の検出結果に基づいて、3次元モデル2aから作業対象4が存在する部分領域5a(第1の部分領域)を特定する(ステップS1)。図1では、3次元モデル2aにおいて網掛けを付して示した領域が、部分領域5aとして特定されている。
次に、第2の実施の形態に係る作業支援システムについて説明する。
第2の実施の形態に係る作業支援システムは、作業現場で作業する作業者に対して、その作業を支援するための情報を画像情報として提供するためのシステムである。具体的には、作業者には、作業対象箇所を含む領域を撮影した画像をリアルタイムに視認できる環境が与えられる。そして、その画像上に、作業支援のための画像情報がAR技術を用いて重畳表示される。
まず、作業現場の3次元形状を再現した3次元モデルが作成される(ステップS11)。この作業では、3次元モデル上に設定された多数の特徴点の3次元座標が登録された3次元マップが作成される。次に、3次元モデルの座標空間における各作業対象箇所の位置が特定される(ステップS12)。次に、各作業対象箇所に対応するARコンテンツが作成され、作成されたARコンテンツと、それに対応する作業対象箇所の3次元モデルにおける3次元座標とが、ARコンテンツデータベース101に登録される(ステップS13)。
図5は、オーサリング作業フェーズで用いられる装置の構成例を示す図である。オーサリング作業フェーズでは、前述の作業支援装置100および作業者端末200aに加えて、図5に示すヘッドマウントユニット300aが用いられる。なお、作業支援装置100と作業者端末200aとは、例えば、ネットワークを介して通信可能になっている。また、作業者端末200aとヘッドマウントユニット300aとは、例えば、近距離無線通信によって通信可能になっている。
図6は、作業支援装置による作業対象箇所の特定処理の概要について説明するための図である。図6(A)は、作業現場における作業対象箇所の位置の例を示し、図6(B)は、作業者の動きと作業対象箇所の特定処理との関係について示す。
まず、図7は、オーサリング作業フェーズで用いられる各装置のハードウェア構成例を示す図である。
RAM212は、作業者端末200aの主記憶装置として使用される。RAM212には、CPU211に実行させるOS(Operating System)プログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、RAM212には、CPU211による処理に必要な各種データが格納される。
通信インタフェース215は、例えば、近距離無線通信を行うためのインタフェース装置であり、ヘッドマウントユニット300aとの間で無線通信によりデータを送受信する。近距離無線通信方式としては、Bluetooth(登録商標)などの方式を使用可能である。
ヘッドマウントユニット300aは、前述したカメラ301、深度センサ302および音声入出力装置303に加えて、通信インタフェース(I/F)304を備える。通信インタフェース304は、作業者端末200aの通信インタフェース215との間で無線通信によりデータを送受信する。
RAM112は、作業支援装置100の主記憶装置として使用される。RAM112には、CPU111に実行させるOSプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、RAM112には、CPU111による処理に必要な各種データが格納される。
図8は、作業者端末および作業支援装置が備える処理機能の構成例を示すブロック図である。
図9は、作業者端末で実行される処理の手順を示すフローチャートの例である。作業者端末200aでは、1フレーム分のカメラ画像の画像データが深度データとともに入力されるたびに、図9の処理が実行される。
SLAM処理部231は、例えば、特徴点検出部231a、マッチング部231b、位置姿勢推定部231cおよびマップ登録部231dを備える。
マッチング部231bは、抽出された各特徴点と、3次元マップ221に登録された特徴点とのマッチング処理を実行する。なお、このマッチング処理では、例えば、カメラ画像と複数のキーフレームとの間で特徴点のマッチング処理が実行されてもよい。キーフレームとは、過去にカメラ301の位置姿勢の推定に成功したカメラ画像の中から、撮影時刻の差が所定時間以上であるといった条件に基づいて選択された画像である。
図11は、作業支援装置で実行される処理の手順を示すフローチャートの例である。
[ステップS111]停留状態判定部133は、センサユニット216による検出データを送受信処理部131から取得し、この検出データに基づいて、作業者が停留状態かを判定する。停留状態であると判定された場合、停留状態判定部133は、ステップS112の処理を実行する。一方、停留状態でないと判定された場合、停留状態判定部133は、センサユニット216による次の検出データを送受信処理部131が受信するのを待機し、次の検出データが受信されると、その検出データに基づいてステップS111の処理を再度実行する。
図12は、停留状態の判定処理手順を示すフローチャートの例である。停留状態判定部133は、送受信処理部131が作業者端末200aからセンサユニット216による検出データを受信するたびに、図12の処理を実行する。
SMA=Σ(|x(i)|+|y(i)|+|z(i)|)/T ・・・(1)
[ステップS124]作業対象領域推定部134は、算出されたSMAを所定の閾値と比較する。ここでは、ジャイロデータと加速度データのそれぞれに対して個別に閾値TH1,TH2が設定される。ジャイロデータに基づくSMAが閾値TH1以下であり、かつ、加速度データに基づくSMAが閾値TH2以下である場合、作業対象領域推定部134は、ステップS125の処理を実行する。一方、上記条件を満たさない場合、作業対象領域推定部134は、ステップS126の処理を実行する。
[ステップS126]作業対象領域推定部134は、作業者が移動状態である(停留状態でない)と判定する。
ステップS112において、作業対象領域推定部134は、作業者の注目方向を示す注目方向ベクトルを算出する。また、作業対象領域推定部134は、作業者が作業対象箇所に対する指差し動作を行っている場合、その指差し方向を示す指差し方向ベクトルを算出する。
[ステップS131]作業対象領域推定部134は、3次元マップ102から、作業者の注目方向(視線の方向)に存在する特徴点群のデータを取得する。この処理では、作業対象領域推定部134は、例えば、カメラ301の位置姿勢と、あらかじめ求められたカメラ301のカメラパラメータとに基づいて、カメラ画像に写り込んでいる特徴点群のデータを3次元マップ102から取得する。
[ステップS135]作業対象領域推定部134は、特定された腕部の3次元形状を、図15に例示するような円筒形状モデル432によって近似する。
作業対象領域推定部134は、注目方向ベクトルV1と指差し方向ベクトルV2とを平均した平均ベクトルV3を算出する。また、作業対象領域推定部134は、作業者の目の位置と、作業者の指先の位置との中間点P1を算出する。なお、目の位置は、カメラ301の位置として特定され、指先の位置は、図14の処理でマッチングに成功した手の3次元モデルから特定される。
図17は、作業対象箇所の特定処理手順を示すフローチャートの例である。
[ステップS143]作業対象箇所特定部135は、抽出された平面領域の中から、所定の条件に合致しない平面領域を選択し、その平面領域を示す特徴点群のデータを処理対象から(すなわち、ステップS141で取得された特徴点群から)削除する。この処理では、作業対象領域に含まれる3次元モデルから、作業対象箇所を含まないと推定される平面領域を削除して、作業対象箇所の特定するための領域を絞り込む。例えば、一定の大きさ以上の平面領域は作業対象箇所でないと判断されて、その平面領域が作業対象箇所を特定するための領域から除外される。
[ステップS151]作業対象箇所特定部135は、処理対象の特徴点群のデータに基づき、作業対象領域からノーマルベクトルとエッジを抽出する。
[ステップS171]作業対象箇所特定部135は、処理対象の各特徴点についての3次元座標と色情報とを、3次元マップ102から取得する。
[ステップS173]作業対象箇所特定部135は、抽出された同色領域の中から、背景として除去が必要な領域があるかを判定する。例えば、特徴点全体の数に対する大きさの(特徴点数)の割合が一定以上の同色領域が、除去が必要な領域と判定される。作業対象箇所特定部135は、除去が必要な領域がある場合、ステップS174の処理を実行し、除去が必要な領域がない場合、ステップS175の処理を実行する。
1a 記憶部
1b 演算部
2 作業現場
2a 3次元モデル
2b 3次元モデルデータ
3 作業者
4 作業対象
5a,5b 部分領域
5c 3次元座標
D1,D1a 向き
S1〜S3 ステップ
Claims (13)
- 作業現場の環境を再現した3次元モデルを示すデータを記憶する記憶部と、
前記作業現場に存在する作業者の向きの検出結果に基づいて、前記3次元モデルから作業対象が存在する第1の部分領域を特定し、前記第1の部分領域の幾何形状、または前記第1の部分領域の色情報の少なくとも一方に基づいて、前記第1の部分領域から前記作業対象に対応する第2の部分領域を特定し、前記3次元モデルが形成された座標空間における前記第2の部分領域の3次元座標を、前記作業現場を撮像した画像上に前記作業対象の位置に応じて画像情報を表示するための位置情報として前記記憶部に登録する演算部と、
を有する情報処理装置。 - 前記演算部は、さらに、前記作業者の位置の検出結果に基づいて、前記作業者が移動しているかを判定し、
前記第1の部分領域の特定は、前記作業者が移動していないと判定された場合に実行される、
請求項1記載の情報処理装置。 - 前記作業者が指差し動作を行った場合、前記第1の部分領域は、前記作業者の向きと、前記指差し動作における指差し方向とに基づいて特定される、
請求項1または2記載の情報処理装置。 - 前記第1の部分領域は、前記作業者を起点とした前記作業者の向きと、前記3次元モデルとが交差する位置に基づいて特定される、
請求項1乃至3のいずれか1項に記載の情報処理装置。 - 前記第2の部分領域は、前記第1の部分領域から検出された平面領域の大きさ、および、前記平面領域と前記作業者との距離に基づいて特定される、
請求項1乃至4のいずれか1項に記載の情報処理装置。 - 前記第2の部分領域は、前記第1の部分領域における色別の領域の大きさに基づいて特定される、
請求項1乃至5のいずれか1項に記載の情報処理装置。 - 前記第2の部分領域は、前記作業対象をモデル化した他の3次元モデルと、前記第1の部分領域とのマッチング処理によって特定される、
請求項1乃至6のいずれか1項に記載の情報処理装置。 - 前記作業者の向きは、前記作業者が保持し、前記作業現場を撮像する撮像装置による撮像画像に基づいて検出される、
請求項1乃至7のいずれか1項に記載の情報処理装置。 - 前記撮像画像に基づいて、前記作業者の向きが検出されるとともに、前記3次元モデルが作成される、
請求項8記載の情報処理装置。 - 作業現場に存在する作業者の向きを検出する検出装置と、
前記作業現場の環境を再現した3次元モデルを示すデータを記憶する記憶部、および、
前記作業者の向きの検出結果に基づいて、前記3次元モデルから作業対象が存在する第1の部分領域を特定し、前記第1の部分領域の幾何形状、または前記第1の部分領域の色情報の少なくとも一方に基づいて、前記第1の部分領域から前記作業対象に対応する第2の部分領域を特定し、前記3次元モデルが形成された座標空間における前記第2の部分領域の3次元座標を、前記作業現場を撮像した画像上に前記作業対象の位置に応じて画像情報を表示するための位置情報として前記記憶部に登録する演算部、
を有する情報処理装置と、
を含む情報処理システム。 - 前記検出装置は、前記作業者が保持し、前記作業現場を撮像する撮像装置による撮像画像に基づいて、前記作業者の向きを検出する、
請求項10記載の情報処理システム。 - 前記検出装置は、前記撮像画像に基づいて、前記作業者の向きの検出処理と、前記3次元モデルの形成処理とを実行し、前記作業者の向きの検出結果と形成された前記3次元モデルのデータとを前記情報処理装置に送信する、
請求項11記載の情報処理システム。 - コンピュータが、
作業現場に存在する作業者の向きの検出結果に基づいて、前記作業現場の環境を再現した3次元モデルから作業対象が存在する第1の部分領域を特定し、
前記第1の部分領域の幾何形状、または前記第1の部分領域の色情報の少なくとも一方に基づいて、前記第1の部分領域から前記作業対象に対応する第2の部分領域を特定し、
前記3次元モデルが形成された座標空間における前記第2の部分領域の3次元座標を、前記作業現場を撮像した画像上に前記作業対象の位置に応じて画像情報を表示するための位置情報として記憶部に登録する、
情報処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017255093A JP7017689B2 (ja) | 2017-12-29 | 2017-12-29 | 情報処理装置、情報処理システムおよび情報処理方法 |
US16/214,393 US11238653B2 (en) | 2017-12-29 | 2018-12-10 | Information processing device, information processing system, and non-transitory computer-readable storage medium for storing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017255093A JP7017689B2 (ja) | 2017-12-29 | 2017-12-29 | 情報処理装置、情報処理システムおよび情報処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019121136A true JP2019121136A (ja) | 2019-07-22 |
JP7017689B2 JP7017689B2 (ja) | 2022-02-09 |
Family
ID=67057733
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017255093A Active JP7017689B2 (ja) | 2017-12-29 | 2017-12-29 | 情報処理装置、情報処理システムおよび情報処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11238653B2 (ja) |
JP (1) | JP7017689B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021049281A1 (ja) * | 2019-09-12 | 2021-03-18 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置、ヘッドマウントディスプレイ、および空間情報取得方法 |
JP2021071885A (ja) * | 2019-10-30 | 2021-05-06 | 富士通株式会社 | 領域切り出し方法および領域切り出しプログラム |
WO2021181448A1 (ja) * | 2020-03-09 | 2021-09-16 | オリンパス株式会社 | 面推定方法、面推定装置、および記録媒体 |
WO2023054661A1 (ja) * | 2021-10-01 | 2023-04-06 | 株式会社日立製作所 | 注視位置分析システム及び注視位置分析方法 |
WO2023100743A1 (ja) * | 2021-12-03 | 2023-06-08 | 株式会社日立製作所 | 作業支援システム、作業対象特定装置および方法 |
WO2024134968A1 (ja) * | 2022-12-22 | 2024-06-27 | 株式会社日立製作所 | 三次元データ処理システム、及び三次元データ処理方法 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018005091A (ja) * | 2016-07-06 | 2018-01-11 | 富士通株式会社 | 表示制御プログラム、表示制御方法および表示制御装置 |
US11741620B1 (en) * | 2020-01-24 | 2023-08-29 | Apple Inc. | Plane detection using depth sensor and semantic information |
CN115114139A (zh) * | 2021-03-17 | 2022-09-27 | 华为技术有限公司 | 异常检测方法及装置 |
JP2024042545A (ja) * | 2022-09-15 | 2024-03-28 | 株式会社日立製作所 | 作業支援システム、および作業支援方法 |
JP2024073077A (ja) * | 2022-11-17 | 2024-05-29 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置および情報処理方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012168798A (ja) * | 2011-02-15 | 2012-09-06 | Sony Corp | 情報処理装置、オーサリング方法及びプログラム |
JP2014526174A (ja) * | 2011-07-01 | 2014-10-02 | インテル コーポレイション | モバイル拡張現実システム |
JP2015026138A (ja) * | 2013-07-24 | 2015-02-05 | 富士通株式会社 | 情報処理装置、位置指定方法および位置指定プログラム |
WO2015107665A1 (ja) * | 2014-01-17 | 2015-07-23 | 株式会社日立製作所 | 作業支援用データ作成プログラム |
WO2015173882A1 (ja) * | 2014-05-13 | 2015-11-19 | 株式会社日立製作所 | コンテンツ生成方法および管理装置 |
JP2015228050A (ja) * | 2014-05-30 | 2015-12-17 | ソニー株式会社 | 情報処理装置および情報処理方法 |
JP2016004292A (ja) * | 2014-06-13 | 2016-01-12 | 富士通株式会社 | 端末装置、情報処理システム、及び表示制御プログラム |
JP2016017757A (ja) * | 2014-07-04 | 2016-02-01 | Kddi株式会社 | 情報登録装置及び情報継続登録装置並びに方法及びプログラム |
JP2017068601A (ja) * | 2015-09-30 | 2017-04-06 | Kddi株式会社 | Ar情報表示装置 |
JP2017146759A (ja) * | 2016-02-17 | 2017-08-24 | 株式会社菊池製作所 | 重畳画像表示システム |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005018385A (ja) | 2003-06-26 | 2005-01-20 | Mitsubishi Electric Corp | 作業情報提供装置 |
US8564534B2 (en) * | 2009-10-07 | 2013-10-22 | Microsoft Corporation | Human tracking system |
US9113050B2 (en) * | 2011-01-13 | 2015-08-18 | The Boeing Company | Augmented collaboration system |
US9218063B2 (en) * | 2011-08-24 | 2015-12-22 | Apple Inc. | Sessionless pointing user interface |
JP6141108B2 (ja) * | 2013-06-07 | 2017-06-07 | キヤノン株式会社 | 情報処理装置およびその方法 |
JP2015125641A (ja) | 2013-12-26 | 2015-07-06 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、その制御方法、及びプログラム |
US9965895B1 (en) * | 2014-03-20 | 2018-05-08 | A9.Com, Inc. | Augmented reality Camera Lucida |
US9696798B2 (en) * | 2014-04-09 | 2017-07-04 | Lenovo Enterprise Solutions (Singapore) Pte. Ltd. | Eye gaze direction indicator |
JP6540108B2 (ja) | 2015-03-09 | 2019-07-10 | 富士通株式会社 | 画像生成方法、システム、装置、及び端末 |
JP6110893B2 (ja) * | 2015-06-12 | 2017-04-05 | 株式会社コロプラ | 仮想空間位置指定方法、プログラム、プログラムを記録した記録媒体、および、装置 |
US10249084B2 (en) * | 2016-06-10 | 2019-04-02 | Microsoft Technology Licensing, Llc | Tap event location with a selection apparatus |
US10140773B2 (en) * | 2017-02-01 | 2018-11-27 | Accenture Global Solutions Limited | Rendering virtual objects in 3D environments |
US10824293B2 (en) * | 2017-05-08 | 2020-11-03 | International Business Machines Corporation | Finger direction based holographic object interaction from a distance |
US10319150B1 (en) * | 2017-05-15 | 2019-06-11 | A9.Com, Inc. | Object preview in a mixed reality environment |
-
2017
- 2017-12-29 JP JP2017255093A patent/JP7017689B2/ja active Active
-
2018
- 2018-12-10 US US16/214,393 patent/US11238653B2/en active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012168798A (ja) * | 2011-02-15 | 2012-09-06 | Sony Corp | 情報処理装置、オーサリング方法及びプログラム |
JP2014526174A (ja) * | 2011-07-01 | 2014-10-02 | インテル コーポレイション | モバイル拡張現実システム |
JP2015026138A (ja) * | 2013-07-24 | 2015-02-05 | 富士通株式会社 | 情報処理装置、位置指定方法および位置指定プログラム |
WO2015107665A1 (ja) * | 2014-01-17 | 2015-07-23 | 株式会社日立製作所 | 作業支援用データ作成プログラム |
WO2015173882A1 (ja) * | 2014-05-13 | 2015-11-19 | 株式会社日立製作所 | コンテンツ生成方法および管理装置 |
JP2015228050A (ja) * | 2014-05-30 | 2015-12-17 | ソニー株式会社 | 情報処理装置および情報処理方法 |
JP2016004292A (ja) * | 2014-06-13 | 2016-01-12 | 富士通株式会社 | 端末装置、情報処理システム、及び表示制御プログラム |
JP2016017757A (ja) * | 2014-07-04 | 2016-02-01 | Kddi株式会社 | 情報登録装置及び情報継続登録装置並びに方法及びプログラム |
JP2017068601A (ja) * | 2015-09-30 | 2017-04-06 | Kddi株式会社 | Ar情報表示装置 |
JP2017146759A (ja) * | 2016-02-17 | 2017-08-24 | 株式会社菊池製作所 | 重畳画像表示システム |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021049281A1 (ja) * | 2019-09-12 | 2021-03-18 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置、ヘッドマウントディスプレイ、および空間情報取得方法 |
US11847784B2 (en) | 2019-09-12 | 2023-12-19 | Sony Interactive Entertainment Inc. | Image processing apparatus, head-mounted display, and method for acquiring space information |
JP7446320B2 (ja) | 2019-09-12 | 2024-03-08 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置、ヘッドマウントディスプレイ、および空間情報取得方法 |
JP2021071885A (ja) * | 2019-10-30 | 2021-05-06 | 富士通株式会社 | 領域切り出し方法および領域切り出しプログラム |
JP7327083B2 (ja) | 2019-10-30 | 2023-08-16 | 富士通株式会社 | 領域切り出し方法および領域切り出しプログラム |
WO2021181448A1 (ja) * | 2020-03-09 | 2021-09-16 | オリンパス株式会社 | 面推定方法、面推定装置、および記録媒体 |
WO2023054661A1 (ja) * | 2021-10-01 | 2023-04-06 | 株式会社日立製作所 | 注視位置分析システム及び注視位置分析方法 |
WO2023100743A1 (ja) * | 2021-12-03 | 2023-06-08 | 株式会社日立製作所 | 作業支援システム、作業対象特定装置および方法 |
WO2024134968A1 (ja) * | 2022-12-22 | 2024-06-27 | 株式会社日立製作所 | 三次元データ処理システム、及び三次元データ処理方法 |
Also Published As
Publication number | Publication date |
---|---|
US11238653B2 (en) | 2022-02-01 |
JP7017689B2 (ja) | 2022-02-09 |
US20190206135A1 (en) | 2019-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7017689B2 (ja) | 情報処理装置、情報処理システムおよび情報処理方法 | |
CN111325796B (zh) | 用于确定视觉设备的位姿的方法和装置 | |
US11481982B2 (en) | In situ creation of planar natural feature targets | |
JP5950973B2 (ja) | フレームを選択する方法、装置、及びシステム | |
EP2915140B1 (en) | Fast initialization for monocular visual slam | |
CN108805917B (zh) | 空间定位的方法、介质、装置和计算设备 | |
JP6348574B2 (ja) | 総体的カメラ移動およびパノラマカメラ移動を使用した単眼視覚slam | |
EP3008695B1 (en) | Robust tracking using point and line features | |
WO2020005635A1 (en) | Object-based localization | |
US20190026922A1 (en) | Markerless augmented reality (ar) system | |
US20190026948A1 (en) | Markerless augmented reality (ar) system | |
US11094079B2 (en) | Determining a pose of an object from RGB-D images | |
US10861185B2 (en) | Information processing apparatus and method of controlling the same | |
WO2022237048A1 (zh) | 位姿获取方法、装置、电子设备、存储介质及程序 | |
WO2017003825A1 (en) | Hypotheses line mapping and verification for 3d maps | |
McClean | An Augmented Reality System for Urban Environments using a Planar Building Fa cade Model | |
KR102618069B1 (ko) | 지상조사 로봇의 점군 자료와 시각정보를 이용한 실내건물 재난정보 분석 방법 및 장치 | |
KR102542363B1 (ko) | 3차원 공간에서 객체를 인식하는 방법 | |
JP2024077816A (ja) | 情報処理方法、情報処理装置およびプログラム | |
WO2019023076A1 (en) | AUGMENTED REALITY SYSTEM (RA) WITHOUT MARKER |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201008 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20201016 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20201016 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210623 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210629 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210830 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211228 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220110 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7017689 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |