JP2020091928A - Information processing apparatus, information processing method, and program - Google Patents
Information processing apparatus, information processing method, and program Download PDFInfo
- Publication number
- JP2020091928A JP2020091928A JP2020043763A JP2020043763A JP2020091928A JP 2020091928 A JP2020091928 A JP 2020091928A JP 2020043763 A JP2020043763 A JP 2020043763A JP 2020043763 A JP2020043763 A JP 2020043763A JP 2020091928 A JP2020091928 A JP 2020091928A
- Authority
- JP
- Japan
- Prior art keywords
- interference
- image
- virtual objects
- information
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
Description
本発明は、複合現実感システムに関する。 The present invention relates to mixed reality systems.
近年、設計・製造分野においてプロトタイプを用いた評価の期間短縮、費用削減が求められている。CAD(コンピュータ支援設計)システムで作成した設計(形状・デザイン)データを用いて、組み立てやすさやメンテナンス性の仮想評価をするための複合現実感(MR:Mixed Reality)システムが導入されている。代表的な評価項目として、工具を目的の部品以外に干渉させずに作業ができるかを、現実の部品が存在しなくても仮想部品のみで評価するというものがある。
このような評価を行うための複合現実感システムでは、体験者が仮想物体(例えば工具)を動かして別の仮想物体(部品)に干渉させたかどうか、または発生した場合は、どこでどのような干渉痕が残ったのかを提示する機能が求められる。
特許文献1では、干渉が発生した位置群をメモリに記録し、メモリ上の位置群を時系列ごとに線分で繋いでいくことで軌跡を表示することを開示している。
In recent years, there has been a demand for reduction of evaluation period and cost reduction using prototypes in the field of design and manufacturing. A mixed reality (MR) system for virtual evaluation of ease of assembly and maintainability has been introduced using design (shape/design) data created by a CAD (computer-aided design) system. As a typical evaluation item, there is a method of evaluating whether or not a work can be performed without interfering with a tool other than a target part, using only virtual parts even if there are no actual parts.
In a mixed reality system for making such an evaluation, whether or not the experiencer moves a virtual object (for example, a tool) to interfere with another virtual object (part), and if so, where and what kind of interference occurs. A function is required to show whether or not the mark remains.
Patent Document 1 discloses that a position group in which interference has occurred is recorded in a memory, and the loci are displayed by connecting the position groups on the memory with a line segment for each time series.
しかしながら、特許文献1に開示される方法では順次線分を繋ぐだけであり、どの程度の干渉痕が部品に残ったのかを判断することは困難である。
本発明は上記課題に鑑みてなされたものであり、仮想物体と対象物体との干渉について、干渉した部位の形状を示す干渉情報を提示することを目的とする。
However, the method disclosed in Patent Document 1 only connects the line segments sequentially, and it is difficult to determine how many interference marks remain on the component.
The present invention has been made in view of the above problems, and it is an object of the present invention to present interference information indicating the shape of a part where the virtual object and the target object interfere with each other.
上記課題を解決するために、本願発明の情報処理装置は、例えば、現実の空間を撮像した撮像画像を取得する画像取得手段と、複数の仮想物体のモデルデータを記憶する記憶手段と、前記複数の仮想物体それぞれの位置姿勢を取得する位置姿勢取得手段と、前記複数の前記仮想物体の位置姿勢と前記複数の仮想物体のモデルデータとに基づいて、前記仮想物体同士が干渉したかを判定する干渉判定手段と、前記干渉判定手段の結果に基づいて、前記仮想物体同士が干渉する干渉部位の輪郭を干渉情報として記録する干渉情報記録手段と、前記撮像画像と前記複数の仮想物体の画像と前記干渉部位の輪郭を示す画像とが合成された合成画像を生成する生成手段と、前記生成された合成画像を出力する出力手段とを備える。 In order to solve the above problems, an information processing apparatus of the present invention includes, for example, an image acquisition unit that acquires a captured image of a real space, a storage unit that stores model data of a plurality of virtual objects, and the plurality of storage units. Position and orientation acquisition means for acquiring the position and orientation of each of the virtual objects, and it is determined whether the virtual objects interfere with each other based on the position and orientation of the plurality of virtual objects and the model data of the plurality of virtual objects. Interference determination means, based on the result of the interference determination means, interference information recording means for recording the contour of the interference site where the virtual objects interfere with each other as interference information, the captured image and images of the plurality of virtual objects. The image forming apparatus includes: a generating unit that generates a combined image in which the image showing the contour of the interference portion is combined; and an output unit that outputs the generated combined image.
本発明によれば、仮想物体と対象物体との干渉について、干渉した部位の形状を示す干渉情報を提示することが可能になる。 According to the present invention, it is possible to present the interference information indicating the shape of the part where the virtual object and the target object interfere with each other.
(第1の実施形態)
以下、添付図面を参照して、本発明を適用した好適な実施例に従って詳細に説明する。
(First embodiment)
Hereinafter, with reference to the accompanying drawings, a detailed description will be given according to preferred embodiments to which the present invention is applied.
図7は、本実施例を実現するためのハードウェアを示すブロック図である。 FIG. 7 is a block diagram showing hardware for realizing the present embodiment.
図7は、本実施形態における情報装置100のハードウェア構成図である。同図において、CPU710は、バス700を介して接続する各デバイスを統括的に制御する。CPU710は、読み出し専用メモリ(ROM)720に記憶された処理ステップやプログラムを読み出して実行する。オペレーティングシステム(OS)をはじめ、本実施形態に係る各処理プログラム、デバイスドライバ等はROM720に記憶されており、ランダムアクセスメモリ(RAM)730に一時記憶され、CPU710によって適宜実行される。また、入力I/F740は、外部の装置(撮像装置や操作装置など)から情報処理装置101で処理可能な形式で入力信号として入力する。また、出力I/F750は、外部の装置(例えばHMDなどの表示装置)へ処理可能な形式で出力信号として出力する。
FIG. 7 is a hardware configuration diagram of the
図1は本実施形態における情報処理装置の機能構成を示すブロック図である。 FIG. 1 is a block diagram showing the functional arrangement of the information processing apparatus according to this embodiment.
本実施形態における情報処理装置100は、HMD301に接続されている。情報処理装置100は、HMD301内の撮像部107から取り込んだ現実空間の画像と仮想空間の画像とを合成し、複合現実感映像としてHMD301内の表示部110に出力する。
The
撮像部107は、現実空間を撮影し、撮像した画像を情報処理装置100に取り込む。撮影された画像は、合成部109にて仮想物体の画像と合成して表示部110に合成画像として表示する。本実施形態では、撮像部107は、ヘッドマウンテッドディスプレイ301(以下、HMDと称する)に内蔵されているものとする。
The
表示部110は、合成部109で描画した合成画像を体験者に提示する。本実施形態では、HMD301に内蔵されたディスプレイを用いる。
The
振動提示部113は、干渉情報通知部112から干渉しているという出力を受けて、体験者(ユーザ)の触覚に干渉したことを知らせる振動を提示する。本実施形態では、振動提示部113としては、偏心おもりを先端に取り付けたモーターを回転させるデバイスを用い、該デバイスを体験者の身体の一部に備えつけておく。しかしながら本発明はこれに限られるものではなく、例えば、指先に設置した電極に微弱な電流を流すなど、触覚を刺激する方法であれば適用可能である。
The vibration presenting
音提示部115は、干渉情報通知部112から干渉しているという出力を受けて、体験者の聴覚に干渉したことを知らせる音を提示する。本実施形態では、情報処理装置100とは別体のスピーカを用いるものとする。例えば、HMD301にヘッドホンを内蔵させて、該ヘッドホンを用いて音を提示してもよい。また、据え置き型のスピーカを利用しても良い。また、情報処理装置100にスピーカを内蔵しても良い。音の種類は、体験者の聴覚を刺激できるものであればどのような音でもよい。たとえば、所定の波長のビープ音でもよい。
The
情報処理装置100は、仮想物体データベース101、干渉判定部103、仮想物体描画部104、干渉部位算出部105、位置姿勢取得部108、合成部109、干渉情報保持部111、干渉情報通知部112、を備える。
The
これらの各機能部は、CPU710が、ROM720に格納されたプログラムをRAM730に展開し、後述する各フローチャートに従った処理を実行することで実現されている。また例えば、CPU710を用いたソフトウェア処理の代替としてハードウェアを構成する場合には、ここで説明する各機能部の処理に対応させた演算部や回路を構成すればよい。
Each of these functional units is realized by the CPU 710 developing a program stored in the
仮想物体データベース101は、仮想物体のモデルを保持するデータベースである。仮想物体のモデルは、例えば形状、表示色、初期位置姿勢を含んでいる。本実施形態では、図2(a)に示すような円柱と直方体の2つの形状の仮想物体201、202を例に説明する。
The
位置姿勢取得部108は、撮像部107から取り込んだ画像(画像取得)に基づいて、現実空間の撮像部107の位置姿勢(即ち、HMD301の位置姿勢)と仮想物体の位置姿勢を推定する。本実施形態では、撮像部107の位置姿勢を体験者の視点位置姿勢とする。撮像部107の位置姿勢の算出は、現実空間に配置されたマーカを撮像した画像に基づいて行われる(撮像部位置姿勢計測)。また、仮想物体の位置姿勢は、例えば、仮想物体に対応する現実物を予め現実空間に配置する。そして、現実物にマーカを貼りつけておき、該マーカを撮像した画像に基づいて現実物の位置姿勢位置姿勢を推定し、該推定された現実物の位置姿勢を該現実物に対応する仮想物体の位置姿勢として推定する。そして、体験者が現実物を動かすことによって、仮想物体の位置姿勢を変更することができる。ただし、本発明では体験者の視点位置姿勢や仮想物体の位置姿勢を取得する方法はこれに限定されない。例えば、現実物に三次元センサを貼りつけまたは内蔵させても用いてもよいし、市販のモーションキャプチャシステムを利用して撮像装置107に対する仮想物体の位置姿勢を計測することも可能である。また、仮想物体に対応する現実物を用意しなくても、予め設定された位置に仮想物を表示し、コントローラ等を用いて仮想物体を移動させてもよい。
The position/
干渉判定部103は、仮想物体の位置姿勢および形状に基づいて、複数の仮想物体同士の干渉の有無を判定する。2つの仮想物体同士の干渉判定は、以下の手順で実現する。まず、それぞれの仮想物体から三角形ポリゴンを一つずつ取り出し、その三角形ポリゴン同士が交差しているかどうかを判定する。これを全ての三角形ポリゴンの組み合わせに対して行い、一つでも交差している場合は仮想物体同士が干渉していると判定する。さらに、この処理を全ての仮想物体の組み合わせに対して行う。ただし、本発明における干渉判定部103の実現方法はこれに限るものではない。
The
干渉部位算出部105は、干渉判定部103で干渉していると判定された仮想物体から、干渉部位を算出する。本実施形態では交差している三角形ポリゴンの集合と、交線の集合とを干渉部位(即ち、干渉した部位の輪郭)として算出する。すなわち、ただし、本発明における干渉部位の表現方法はこれに限るものではない。
The interference
干渉情報保持部111は、干渉部位算出部105で算出された干渉情報を保持する(干渉情報記録)。干渉情報の一例を図8に示す。
The interference
フレーム番号は、撮像装置107が撮像した画像が更新されるたびに1個カウントアップされる番号である。
The frame number is a number that is incremented by one each time the image captured by the
干渉対象物は、干渉している仮想物体を特定するモデルの識別情報である。本実施形態では、仮想物体の名称を登録している。時刻は、実際に干渉が発生したと判定した時刻である。 The interference target is identification information of a model that identifies the virtual object that is interfering. In this embodiment, the name of the virtual object is registered. The time is the time when it is determined that the interference actually occurred.
頂点数は、干渉している仮想物体201と仮想物体202が干渉しているポリゴンの交線の端点の数である。
The number of vertices is the number of end points of the intersecting line of the polygon where the
頂点位置は、交線の端点のすべての3次元位置である。この頂点位置を線分として描画すると、図2(b)において仮想物体201と202の干渉部位を表わす円の線203となる。
The vertex positions are all three-dimensional positions of the end points of the intersection line. When this vertex position is drawn as a line segment, it becomes a
色と線幅は、干渉情報を仮想物体の画像として描画する場合に使用する描画属性である。なお、描画属性である色と線幅は、干渉したときに生成されることに限定されるものではなく、事前にパラメータを設定しておけばよい。 The color and line width are drawing attributes used when drawing the interference information as an image of a virtual object. The color and line width, which are drawing attributes, are not limited to being generated when they interfere with each other, and parameters may be set in advance.
図8で示す表はフレーム番号ごとに1つのデータセットとして履歴が保持される。なお、本発明は、干渉情報をフレーム番号でデータセットとして区分することに限定されるものではなく、時刻をキーにしてデータセットを作ってもよい。また、干渉対象物の2つの仮想物体の組み合わせごとにデータセットを作ってもよい。 The table shown in FIG. 8 holds the history as one data set for each frame number. It should be noted that the present invention is not limited to the division of the interference information as a data set by the frame number, and the data set may be created by using the time as a key. Moreover, you may create a data set for every combination of two virtual objects of an interference target.
仮想物体描画部104は、干渉情報と仮想物体201、202を描画した画像を生成する。より具体的には、仮想物体データベースに保存されたモデルデータや干渉情報保持部111に保存された干渉情報に基づいて画像を生成する。
The virtual
まず、仮想空間の画像を生成するための仮想視点の位置姿勢を位置姿勢取得部108から取得する。仮想視点の位置姿勢は、例えば、基準とする世界座標系における撮像部107の位置姿勢情報を入力すればよい。また、仮想物体201と202および干渉情報の3次元頂点位置は、位置姿勢取得部108で取得された位置姿勢に基づいて更新する。更新した仮想物体と干渉情報の3次元頂点は、仮想視点に基づいて設定された投影面に投影される。投影後のポリゴン・線分の描画処理は、一般的な3次元画像生成における描画処理と同じであるため詳細な説明は省略する。本実施形態における、仮想物描画部104で生成された仮想空間の画像を図2(c)に示している。仮想物体201、202およびこれまで蓄積された干渉情報に基づく干渉部位206が描画される(干渉情報画像生成)。本実施形態では、干渉部位の輪郭を描画しているが、輪郭の内部についても特定色を重畳する等して判別しやすくしてもよい。
First, the position and orientation of the virtual viewpoint for generating the image of the virtual space is acquired from the position and
合成部109は、撮像装置107から取り込んだ現実空間の画像と、仮想物体描画部104で描画された仮想空間の画像とを合成する。合成処理は、実写画像の上に仮想空間の画像を撮像装置107の現実空間の画像の上に描画することにより。すなわち、仮想物体201、202の領域以外の画素は、現実空間画像の画素が表示される合成画像となる。
The synthesizing unit 109 synthesizes the image of the physical space captured from the
干渉情報通知部112は、干渉情報保持部111の情報に基づいて、現時点における干渉状態を他の通知手段に通知する。本実施形態では、仮想物体描画部104で仮想物体201、202と干渉情報を視覚的に表示することによって干渉しているか否かを明示的に体験者に提示している。しかし、視覚的な表示のみでは、干渉している場所が撮像装置107の視野外である場合は、干渉していることを体験者が知覚できない。干渉しているか否かを聴覚と触覚で提示すると、視野外で起こった干渉を体験者が知覚することができる。
The interference
図2は本実施形態における仮想空間の画像の例を示した模式図である。また、図4は、本実施形態の処理の詳細を示すフローチャートである。 FIG. 2 is a schematic diagram showing an example of an image of a virtual space in this embodiment. Further, FIG. 4 is a flowchart showing details of the processing of this embodiment.
図2および図4を用いて、仮想物体201、202が配置されている状況を例に本実施形態の処理の詳細を説明する。
The details of the processing of this embodiment will be described with reference to FIGS. 2 and 4 by taking the situation where the
ステップS801では、仮想物体描画部104は、仮想物体データベース101から仮想物体201、202のデータを読み込む。
In step S801, the virtual
ステップS802では、位置姿勢取得部108は、撮像部107で撮影された現実空間の画像を取得する。そして、位置姿勢取得部108は、取得した画像に基づいて撮像部107の位置姿勢情報を算出する。ステップS802以降の処理は、撮像部107から現実空間の画像が更新されるまで処理が一時停止され、更新があった場合に後段の処理を実行する。ただし、本実施形態は、撮像部107の画像更新ごとに処理をすることに限定されるものではなく、例えば、位置姿勢取得部108で新たな位置姿勢が取得されたタイミングで処理を実行する方法でも適用可能である。
In step S<b>802, the position/
ステップS803は、位置姿勢取得部102は、位置姿勢情報を干渉判定部103と仮想物体描画部104に送出する。
In step S803, the position and orientation acquisition unit 102 sends the position and orientation information to the
ステップS806は、干渉判定部103は、RAM702に格納されている仮想物体201、202を参照し、仮想物体201、202を構成するポリゴンごとに交差しているかどうか判定する。
In step S806, the
図2(b)は、体験者が仮想物体202に対応するマーカを移動させ、仮想物体201と仮想物体202が干渉した状況を示している。図2(a)の状態のときは、ステップS811に処理を移し、図2(b)の状態のときにS809に処理を移す。
FIG. 2B illustrates a situation in which the experience person moves the marker corresponding to the
ステップS809では、干渉部位算出部105が、仮想物体の干渉部位の情報を計算する。
In step S809, the interference
例えば、本実施形態に置いては、図2(b)において、円柱の仮想物体202を移動して直方体の仮想物体201に干渉させた場合、干渉部位の情報として各ポリゴンの交線の集合として干渉部位203が生成される。
For example, in the present embodiment, in FIG. 2B, when the
ステップS810では、干渉情報保持部111が、仮想物体の組み合わせごとに干渉情報のデータセットを記録する。本実施形態においては、図8に示すような干渉情報を記録する。さらに、このデータセットの記録は、撮像部107で撮影された画像が更新されるたびに実行される。すなわち、図8に示す干渉情報は、仮想物体の組み合わせのデータセットに加えて、撮像部107で画像が更新される度にデータセットが蓄積されるものとする。ステップS810の処理の詳細は後述する。
In step S810, the interference
ステップS811では、仮想物体描画部104が仮想物体と干渉部位を仮想空間の画像として描画する。本実施形態においては、仮想物体201、202は、三角形ポリゴンの情報に基づいて描画される。また、干渉部位は、干渉情報に基づいて2頂点が1つの線分として描画される。また、描画時の線分の色や線幅については、干渉情報を参照して描画される。
In step S811, the virtual
図2(c)が仮想物体201、202と干渉部位206を描画した結果を示している。干渉部位206には、過去に蓄積した干渉部位の情報も含まれるため、円柱の仮想物体202をどのように動かして干渉させたかが、タスクのあとで確認できる。
FIG. 2C shows a result of drawing the
ステップS812では、合成部109は、撮像部107が撮像した現実空間の画像と、仮想空間の画像とを合成して合成画像を生成する。
In step S812, the combining unit 109 combines the image of the real space captured by the
ステップS813では、まず表示部110は、合成部109で合成された合成画像を表示し、HMD301を装着する体験者に提示する。さらに、振動提示部113と音提示部115は、干渉情報通知部112の情報にしたがって体験者に振動および音を提示する。
In step S813, first, the
ステップS815では、体験者から終了コマンドがキーボードなどの入力装置で送信されたかどうかを判定し、終了コマンドがなければステップS802に処理を移し、終了判定された場合は処理を終了する。 In step S815, it is determined whether or not an end command has been transmitted from the user through an input device such as a keyboard. If there is no end command, the process proceeds to step S802, and if the end command is determined, the process ends.
図5は、ステップS810の干渉情報を記録する処理の詳細を示すフローチャートである。 FIG. 5 is a flowchart showing details of the process of recording the interference information in step S810.
図2(c)のように過去の干渉部位を重ねて表示すると、干渉部位の強調表示が蓄積されて描画性能が低下したり、不要に強調表示されて見難くなるという課題がある。この課題に対して、本実施形態では、あらかじめ体験者が設定した干渉部位のデータセットの個数の閾値を超えた場合は、一番古い干渉部位のデータセットから消去(削除)していく方法で対応する。図5のフローチャートで詳細を説明する。 As shown in FIG. 2C, when the past interference parts are displayed in a superimposed manner, there is a problem that the emphasis display of the interference parts is accumulated and the drawing performance is deteriorated, or the interference parts are unnecessarily emphasized and are difficult to see. In order to solve this problem, in the present embodiment, when the threshold value of the number of data sets of the interference site set by the user in advance is exceeded, the method is to delete (delete) the data set of the oldest interference site. Correspond. Details will be described with reference to the flowchart of FIG.
ステップS901では、干渉情報保持部111は、過去の干渉情報を参照し、データセット数を集計する。集計したデータセット(過去データセット)数が、予め体験者が設定した閾値を超えた場合は、ステップS905に処理を移す。閾値を超えない場合はステップS910に処理を移す。
In step S901, the interference
ステップS905では、干渉情報保持部111は、過去の干渉情報のうち、時刻が一番古いデータセットを検索して消去する。なお、本発明は時刻が一番古いデータセットを消去することに限定されるものではなく、所定の時刻以前のデータセットをすべて消去したり、頂点数の多いデータセットを優先して消去してもよい。
In step S905, the interference
ステップS910では、干渉情報保持部111が干渉部位算出部105で算出した現在の干渉情報を新たなデータセットとして追加する。
In step S910, the interference
以上の処理により、仮想物体201と202が干渉した結果を、過去の干渉部位の情報として現在の視点における仮想空間の画像上で強調表示することにより、タスクを完了したあとに干渉の状況を再確認することができる。さらに、一定のデータセット数を超えないように閾値を設けることで、表示負荷の軽減や干渉部位を見やすく表示することができるようになる。
By the above processing, the result of the interference between the
上記第1の実施形態では、一定のデータセット数を超えないように閾値を設け、超える場合にはメモリから削除する例を示した。しかしながら、メモリから削除は行わずに、表示する画像は含めないようにしてもよい。 In the above-described first embodiment, an example is shown in which a threshold value is set so as not to exceed the fixed number of data sets, and when the threshold value is exceeded, the threshold value is deleted from memory. However, the image to be displayed may not be included without deleting from the memory.
(変形例1)
第1の実施形態では、干渉部位として、仮想物体201と202との干渉部位の表現方法として、ポリゴンの交線を繋いで干渉部位206を表現していた。しかし本発明は干渉しているポリゴンの交線を繋いで表示することに限定されるものではなく、別の表現で干渉部位を表現してもよい。
(Modification 1)
In the first embodiment, as the method of expressing the interference part between the
本変形例においては、図3に示すように、干渉部位206の表現として仮想物体の形状そのものを干渉した場所に留めて表示する方法を示す。図3は体験者がHMD301を装着して仮想物体の工具305を仮想物体のドア310に対して近づけるタスクを行う作業を表わした模式図である。
In this modified example, as shown in FIG. 3, a method of displaying the shape of the virtual object as a representation of the
本変形例を実現するための構成は、第1の実施形態の干渉情報保持部111の処理を変更すればよい。
The configuration for realizing the present modification may be obtained by changing the processing of the interference
第1の実施形態では干渉情報保持部111は、干渉情報のデータセットの頂点位置として干渉したポリゴンの交線を記録していた。しかし、本変形例では頂点位置として、体験者301が手で動かす仮想物体305の形状を表わすポリゴン情報を記録する。しかし、撮像装置107で撮影する画像が更新されるごとにデータセットを記録し、すべての干渉部位206をドア310上に表示すると、数が多すぎて表示が煩雑になる。本変形例では、表示が煩雑にならないように、データセットの重心位置に基づいて表示を制約する方法を図9のフローチャートを用いて示す。
In the first embodiment, the interference
なお、本発明は仮想物体を表わす形状として三角形ポリゴンに限定されるものではなく、例えばモデルデータをパラメトリックに表現する方法でも適用可能である。 It should be noted that the present invention is not limited to triangular polygons as a shape representing a virtual object, and can be applied to a method of parametrically representing model data, for example.
図9のフローチャートは、本変形例における図4のステップS810の処理の詳細を示している。以下、第1の実施形態との差分のみを説明する。 The flowchart of FIG. 9 shows details of the process of step S810 of FIG. 4 in the present modification. Only the differences from the first embodiment will be described below.
ステップS925では、干渉情報保持部111が、干渉部位算出部105で算出した干渉情報のうち、頂点位置の3次元位置の平均を算出して重心位置とする。データセットに関連付けて記憶する。
In step S925, the interference
ステップS930では、干渉情報保持部111が、過去の干渉情報に対応付けられた重心位置群を参照し、干渉情報保持部111で算出した重心位置と比較する。干渉情報保持部111で算出した重心位置と、過去の重心位置群とを比較して、過去の重心位置群のうち少なくとも1つの重心位置との距離が予め設定した閾値を下回る場合は、干渉情報として追加せずに処理を終了する。すなわち、現在の位置姿勢における工具305がドア310に干渉した場合、過去の干渉情報で重心位置が近いものがあると追加しないようにする。一方、距離の閾値を上回っている場合は、干渉情報としてデータセットを追加する。
In step S930, the interference
以上のように本変形例における干渉表示方法では、干渉部位をよりわかりやすい表現に置き換えることでタスク後の干渉状況の確認を補助することができる。 As described above, in the interference display method according to the present modification, it is possible to assist the confirmation of the interference situation after the task by replacing the interference site with a more understandable expression.
上記変形例1では、干渉が発生した位置に近い場合は、現在の干渉部位の情報をデータセットに追加しなかったが、データセットには追加し、表示する画像には含めないようにしてもよい。 In the first modification, when the position near the interference occurs, the information on the current interference site is not added to the data set, but it may be added to the data set and not included in the displayed image. Good.
(変形例2)
変形例1では、干渉が発生したときの仮想物体の重心位置が、過去の干渉情報において、干渉が発生した位置に近い場合は、現在の干渉部位の情報をデータセットに追加しなかった。しかし、本発明は、干渉部位の空間中の位置に基づいて干渉情報を記録するか否かを判断することに限定されるものではない。
(Modification 2)
In the first modification, when the position of the center of gravity of the virtual object when the interference occurs is close to the position where the interference occurs in the past interference information, the information on the current interference site is not added to the data set. However, the present invention is not limited to determining whether or not to record interference information based on the position of the interference site in space.
本変形例では、位置姿勢取得部108から出力される位置姿勢の信頼度に応じて、干渉情報を記録するか否かを判定する処理について説明する。
In this modification, a process of determining whether or not to record interference information according to the reliability of the position and orientation output from the position and
撮像画像に映るマーカで仮想物体の位置姿勢を決定する場合において、以下のような状態で位置姿勢計測結果の信頼性が低下する。
(1)マーカが画面上で小さく写っている場合
(2)撮像装置107とマーカの間に遮蔽物が入ってマーカが隠される場合
(3)マーカが撮像装置107の視野外で写らない場合
また、仮想物体の位置姿勢を位置姿勢センサーにより計測する場合であっても、環境ノイズや計測範囲外になるなど、信頼性が低下する状況が考えられる。
When the position/orientation of the virtual object is determined by the marker shown in the captured image, the reliability of the position/orientation measurement result decreases in the following situations.
(1) When the marker is shown small on the screen (2) When a marker is hidden by an obstacle between the
上記のように位置姿勢の計測の信頼性が低下した状態で干渉情報を追加しても、タスク後の確認で過去の干渉状況を正しく判断できないため、干渉情報を記録しないようにする方法を示す。 Even if interference information is added when the reliability of position/orientation measurement is reduced as described above, it is not possible to correctly determine the past interference situation by checking after the task. ..
本変形例を実現するための構成は、変形例1の位置姿勢取得部108から干渉情報保持部111に位置姿勢の信頼度の情報を入力するようにし、干渉情報保持部111の処理で信頼度に応じて干渉情報の記録を判断すればよい。
The configuration for realizing the present modified example is such that the position/
位置姿勢取得部108は、例えば図4のステップS803の位置姿勢更新の処理において、現在の位置姿勢計測結果の信頼度を保存すればよい。信頼度は、例えば、マーカが認識されていれば1、認識されていなければ0、マーカ領域が撮像装置画像上を占める割合が10%を下回った場合は0.5と定義する。
The position/
干渉情報保持部111の処理の詳細を図6に示す。なお、変形例1と同じ番号の処理については説明を省略する。
The details of the processing of the interference
ステップS915では、干渉情報保持部111は、位置合わせ信頼度を取得し(導出)、信頼度が閾値以下の場合はステップS920に処理を移す。信頼度が閾値以上であれば、ステップS910に処理を移す。
In step S915, the interference
ステップS920では、干渉情報保持部111は、仮想物体描画部104に対して、現在位置合わせ信頼度が低いために干渉情報を記録しなかったことを伝えるメッセージを表示するように指示する。
In step S920, the interference
仮想物体描画部104は、ステップS811の仮想物体の描画処理に置いて、仮想物体画像よりも前に、メッセージ250を表示するように変更すればよい。仮想物体描画部104がメッセージ250を表示した画像の模式図を図10に示す。
The virtual
以上のように本変形例における干渉表示方法では、位置合わせの計測時の信頼度が低い場合は干渉部位記録しないことで正しくない干渉情報を除去し、タスク後の干渉状況の確認を補助することができる。 As described above, in the interference display method according to the present modification, if the reliability at the time of alignment measurement is low, the incorrect interference information is removed by not recording the interference part, and assists in checking the interference situation after the task. You can
(変形例3)
第1の実施形態では、仮想物体201と202を円柱と直方体で表現し、仮想物体の位置姿勢をマーカの位置姿勢に割り当てて、体験者が意図的に手で移動させるようにしていた。
(Modification 3)
In the first embodiment, the
しかし、本発明は仮想物体を手で移動させることに限定されるものではなく、体験者の身体の部位の位置姿勢を計測し、その位置姿勢を仮想物体に割り当てる方法でも適用可能である。 However, the present invention is not limited to moving the virtual object by hand, and is also applicable to a method of measuring the position and orientation of the body part of the experiencer and assigning the position and orientation to the virtual object.
例えば、変形例1のドア310に工具305を使って作業をするような状況で、体験者の肘や膝などを位置姿勢センサーで計測して、作業中に工具305だけではなく、体験者の身体の一部が干渉したこと検知して提示してもよい。
For example, in a situation where the
本変形例を実現する構成は、位置姿勢取得部108が体験者の膝などの身体の一部の位置姿勢を入力し、干渉判定部103と仮想物体描画部104に出力すればよい。また、仮想物体データベース101には、体験者の身体の部位の形状に応じたモデルデータをあらかじめ記録しておき、干渉判定部103や仮想物体描画部104に出力すればよい。
In the configuration for realizing the present modified example, the position/
以上のように、本変形例では、体験者が意図的に手で動かした仮想物体の干渉状況を確認するだけではなく、作業中に意図せずに当たってしまった人体の部位の干渉状況も確認することができる。 As described above, in this modification, not only the interference situation of the virtual object that the user intentionally moved by hand is confirmed, but also the interference situation of the part of the human body that is accidentally hit during the work is confirmed. be able to.
(変形例4)
第1の実施形態では、過去の干渉部位を表わす線分の頂点を図8に示すような頂点位置で保持していた。しかし、本発明は、過去の干渉部位を頂点位置として保持することに限定されるものではなく、干渉が発生した時点で、過去の干渉部位を計算で求めてもよい。
(Modification 4)
In the first embodiment, the vertices of the line segment representing the past interference part are held at the vertex positions as shown in FIG. However, the present invention is not limited to holding the past interference portion as the apex position, and the past interference portion may be calculated when the interference occurs.
本変形例を実現するためには、図8の干渉情報に仮想物体201、202のポリゴン情報と位置姿勢を追加し、仮想空間の画像を生成するたびに過去の干渉情報のデータセットからポリゴンの交線の端点を算出してもよい。
In order to realize this modification, the polygon information and the position and orientation of the
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(Other embodiments)
The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program. It can also be realized by the processing. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
上記課題を解決するために、本願発明の情報処理装置は、例えば、現実の空間を撮像した撮像画像を取得する画像取得手段と、複数の仮想物体のモデルデータを記憶する記憶手段と、前記複数の仮想物体それぞれの位置姿勢を取得する位置姿勢取得手段と、前記複数の前記仮想物体の位置姿勢と前記複数の仮想物体のモデルデータとに基づいて、前記仮想物体同士が干渉したかを判定する干渉判定手段と、前記干渉判定手段の結果に基づいて、前記仮想物体同士が干渉する干渉部位を干渉情報として記録する干渉情報記録手段と、前記干渉情報記録手段で記録された前記干渉情報を参照して、前記撮像画像と前記複数の仮想物体の画像と前記干渉部位を示す画像と過去の干渉部位を示す画像とが合成された合成画像を生成する生成手段と、前記生成された合成画像を出力する出力手段とを備える。 In order to solve the above problems, an information processing apparatus of the present invention includes, for example, an image acquisition unit that acquires a captured image of a real space, a storage unit that stores model data of a plurality of virtual objects, and the plurality of storage units. Position and orientation acquisition means for acquiring the position and orientation of each of the virtual objects, and it is determined whether the virtual objects interfere with each other based on the position and orientation of the plurality of virtual objects and the model data of the plurality of virtual objects. Refer to the interference determining means, the interference information recording means for recording the interference site where the virtual objects interfere with each other as interference information based on the result of the interference determining means, and the interference information recorded by the interference information recording means . to the generating means and an image indicating the image and the past interference region indicating the interference portion and the captured image and the image of the plurality of virtual objects to generate a synthesized image synthesized, said generated combined images And output means for outputting.
Claims (14)
複数の仮想物体のモデルデータを記憶する記憶手段と、
前記複数の仮想物体それぞれの位置姿勢を取得する位置姿勢取得手段と、
前記複数の前記仮想物体の位置姿勢と前記複数の仮想物体のモデルデータとに基づいて、前記仮想物体同士が干渉したかを判定する干渉判定手段と、
前記干渉判定手段の結果に基づいて、前記仮想物体同士が干渉する干渉部位の輪郭を干渉情報として記録する干渉情報記録手段と、
前記撮像画像と前記複数の仮想物体の画像と前記干渉部位の輪郭を示す画像とが合成された合成画像を生成する生成手段と、
前記生成された合成画像を出力する出力手段とを備えることを特徴とする情報処理装置。 An image acquisition unit that acquires a captured image of an actual space,
Storage means for storing model data of a plurality of virtual objects,
A position and orientation acquisition unit that acquires the position and orientation of each of the plurality of virtual objects,
Based on the position and orientation of the plurality of virtual objects and model data of the plurality of virtual objects, an interference determination unit that determines whether the virtual objects interfere with each other,
Based on the result of the interference determination means, interference information recording means for recording the contour of the interference site where the virtual objects interfere with each other as interference information,
Generating means for generating a combined image in which the captured image, the images of the plurality of virtual objects, and the image showing the contour of the interference site are combined.
An information processing apparatus comprising: an output unit that outputs the generated composite image.
前記画像を撮像する撮像装置の位置姿勢を計測する撮像部位置姿勢計測手段と、
前記撮像装置の位置姿勢に基づいて、前記仮想物体の画像および前記干渉部位の輪郭を示す情報を生成する第2の生成手段とを備えることを特徴とする請求項1に記載の情報処理装置。 Furthermore,
An image pickup unit position/orientation measuring means for measuring the position/orientation of the image pickup device for picking up the image;
The information processing apparatus according to claim 1, further comprising a second generation unit configured to generate information indicating an image of the virtual object and a contour of the interference site based on a position and orientation of the imaging apparatus.
前記複数の仮想物体それぞれの位置姿勢を取得する位置姿勢取得ステップと、
前記複数の前記仮想物体の位置姿勢と前記複数の仮想物体のモデルデータとに基づいて、前記仮想物体同士の干渉を判定する干渉判定ステップと、
前記干渉判定手段の結果に基づいて、前記仮想物体同士が干渉する干渉部位の輪郭を干渉情報として記録する干渉情報記録ステップと、
前記撮像画像と前記複数の仮想物体の画像と前記干渉部位の輪郭を示す画像とが合成された合成画像を生成する生成ステップと、
前記生成された合成画像を出力する出力ステップとを備えることを特徴とする情報処理方法。 An image acquisition step of acquiring a captured image of an actual space,
A position and orientation acquisition step of acquiring the position and orientation of each of the plurality of virtual objects,
Based on the position and orientation of the plurality of virtual objects and model data of the plurality of virtual objects, an interference determination step of determining interference between the virtual objects,
An interference information recording step of recording, as interference information, a contour of an interference site where the virtual objects interfere with each other based on a result of the interference determination means,
A generating step of generating a combined image in which the captured image, the images of the plurality of virtual objects, and the image showing the contour of the interference site are combined;
An output step of outputting the generated composite image, the information processing method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020043763A JP6983939B2 (en) | 2015-06-30 | 2020-03-13 | Information processing equipment, information processing methods, programs |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015132197A JP6676294B2 (en) | 2015-06-30 | 2015-06-30 | Information processing apparatus, information processing method, and program |
JP2020043763A JP6983939B2 (en) | 2015-06-30 | 2020-03-13 | Information processing equipment, information processing methods, programs |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015132197A Division JP6676294B2 (en) | 2015-06-30 | 2015-06-30 | Information processing apparatus, information processing method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020091928A true JP2020091928A (en) | 2020-06-11 |
JP6983939B2 JP6983939B2 (en) | 2021-12-17 |
Family
ID=79170123
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020043763A Active JP6983939B2 (en) | 2015-06-30 | 2020-03-13 | Information processing equipment, information processing methods, programs |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6983939B2 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10201947A (en) * | 1996-11-22 | 1998-08-04 | Sega Enterp Ltd | Game device, image data forming method and medium |
JP2006215750A (en) * | 2005-02-02 | 2006-08-17 | Canon Inc | Image processing method, image processor |
JP2006302035A (en) * | 2005-04-21 | 2006-11-02 | Canon Inc | Image processing method and image processing apparatus |
JP2007004713A (en) * | 2005-06-27 | 2007-01-11 | Canon Inc | Image processing method and image processor |
JP2013134706A (en) * | 2011-12-27 | 2013-07-08 | Canon Inc | Information processing device, information processing method, and program for the same |
-
2020
- 2020-03-13 JP JP2020043763A patent/JP6983939B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10201947A (en) * | 1996-11-22 | 1998-08-04 | Sega Enterp Ltd | Game device, image data forming method and medium |
JP2006215750A (en) * | 2005-02-02 | 2006-08-17 | Canon Inc | Image processing method, image processor |
JP2006302035A (en) * | 2005-04-21 | 2006-11-02 | Canon Inc | Image processing method and image processing apparatus |
JP2007004713A (en) * | 2005-06-27 | 2007-01-11 | Canon Inc | Image processing method and image processor |
JP2013134706A (en) * | 2011-12-27 | 2013-07-08 | Canon Inc | Information processing device, information processing method, and program for the same |
Also Published As
Publication number | Publication date |
---|---|
JP6983939B2 (en) | 2021-12-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2019070909A (en) | Information processing apparatus, information processing method, and program | |
US9607439B2 (en) | Information processing apparatus and information processing method | |
JP6643170B2 (en) | Work support system and method | |
US10614590B2 (en) | Apparatus for determination of interference between virtual objects, control method of the apparatus, and storage medium | |
KR102059834B1 (en) | Information processing apparatus, information processing method, storage medium, and program | |
JP6863927B2 (en) | Robot simulation device | |
US10366539B2 (en) | Information processing apparatus, information processing method, and storage medium for reporting based on elapse time and positional relationships between 3-D objects | |
CN110956695B (en) | Information processing apparatus, information processing method, and storage medium | |
US20180158222A1 (en) | Image processing apparatus displaying image of virtual object and method of displaying the same | |
JP2016058042A (en) | Information processing apparatus, information processing method, and program | |
JP6742760B2 (en) | Information processing apparatus, information processing method, and program | |
JP2017004464A (en) | Image processor, image processing system, image processing method and program | |
KR101916663B1 (en) | Device of displaying 3d image using at least one of gaze direction of user or gravity direction | |
JP2017134116A (en) | Information processing apparatus, information processing method, and program | |
JP2021002290A (en) | Image processing apparatus and method for controlling the same | |
JP2020091928A (en) | Information processing apparatus, information processing method, and program | |
JP4689344B2 (en) | Information processing method and information processing apparatus | |
KR101956087B1 (en) | Device of displaying 3d image using at least one of gaze direction of user or gravity direction | |
JP4986543B2 (en) | Information processing method and information processing apparatus | |
JP2019045997A (en) | Information processing device, method thereof and program | |
JP2016218916A (en) | Information processing device, information processing method, and program | |
US20200258193A1 (en) | Information processing apparatus, information processing method, and storage medium | |
JP6704698B2 (en) | Information processing apparatus, information processing method, information processing system, and program | |
JP2016058043A (en) | Information processing device, information processing method, and program | |
JP7321029B2 (en) | CALIBRATION DEVICE AND ITS CONTROL METHOD, PROGRAM AND STORAGE MEDIUM |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200403 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200403 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210309 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210510 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211026 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211124 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6983939 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |