JP6983939B2 - Information processing equipment, information processing methods, programs - Google Patents
Information processing equipment, information processing methods, programs Download PDFInfo
- Publication number
- JP6983939B2 JP6983939B2 JP2020043763A JP2020043763A JP6983939B2 JP 6983939 B2 JP6983939 B2 JP 6983939B2 JP 2020043763 A JP2020043763 A JP 2020043763A JP 2020043763 A JP2020043763 A JP 2020043763A JP 6983939 B2 JP6983939 B2 JP 6983939B2
- Authority
- JP
- Japan
- Prior art keywords
- interference
- image
- information processing
- virtual objects
- history
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Description
本発明は、複合現実感システムに関する。 The present invention relates to a mixed reality system.
近年、設計・製造分野においてプロトタイプを用いた評価の期間短縮、費用削減が求められている。ＣＡＤ（コンピュータ支援設計）システムで作成した設計（形状・デザイン）データを用いて、組み立てやすさやメンテナンス性の仮想評価をするための複合現実感（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）システムが導入されている。代表的な評価項目として、工具を目的の部品以外に干渉させずに作業ができるかを、現実の部品が存在しなくても仮想部品のみで評価するというものがある。
このような評価を行うための複合現実感システムでは、体験者が仮想物体（例えば工具）を動かして別の仮想物体（部品）に干渉させたかどうか、または発生した場合は、どこでどのような干渉痕が残ったのかを提示する機能が求められる。
特許文献１では、干渉が発生した位置群をメモリに記録し、メモリ上の位置群を時系列ごとに線分で繋いでいくことで軌跡を表示することを開示している。
In recent years, in the fields of design and manufacturing, there has been a demand for shortening the evaluation period using prototypes and reducing costs. A mixed reality (MR) system has been introduced for virtual evaluation of ease of assembly and maintainability using design (shape / design) data created by a CAD (computer-aided design) system. As a typical evaluation item, there is an evaluation item of whether or not the tool can work without interfering with other than the target part, even if the actual part does not exist, only with the virtual part.
In a mixed reality system for making such an evaluation, whether or not the experiencer has moved a virtual object (for example, a tool) to interfere with another virtual object (part), or if so, where and what kind of interference. A function to show whether a mark remains is required.
Patent Document 1 discloses that a position group in which interference occurs is recorded in a memory, and a locus is displayed by connecting the position groups on the memory with a line segment for each time series.
しかしながら、特許文献１に開示される方法では順次線分を繋ぐだけであり、どの程度の干渉痕が部品に残ったのかを判断することは困難である。
本発明は上記課題に鑑みてなされたものであり、仮想物体と対象物体との干渉について、干渉した部位の形状を示す干渉情報を提示することを目的とする。
However, the method disclosed in Patent Document 1 only connects line segments in sequence, and it is difficult to determine how much interference marks remain on the component.
The present invention has been made in view of the above problems, and an object of the present invention is to present interference information indicating the shape of an interfering portion with respect to interference between a virtual object and a target object.
上記課題を解決するために、本発明の情報処理装置は、複数の仮想物体それぞれの形状データを取得する形状データ取得手段と、前記複数の仮想物体それぞれの位置姿勢を取得する位置姿勢取得手段と、前記複数の仮想物体それぞれの形状データと位置姿勢とに基づいて、仮想物体同士が干渉したかを判定する干渉判定手段と、複数の時点のそれぞれにおいて前記干渉判定手段により干渉したと判定された前記仮想物体同士の干渉部位の輪郭を干渉の履歴として記録する干渉履歴記録手段と、前記干渉の履歴を参照して、前記複数の仮想物体の画像と前記複数の時点のそれぞれにおける前記干渉部位の輪郭とが合成された合成画像を生成する生成手段と、前記生成された合成画像を表示する表示手段とを備える。 In order to solve the above problems, an information processing apparatus of the present invention, the shape data acquiring means for acquiring a plurality of virtual objects each shape data, the position and orientation obtaining means for obtaining the plurality of virtual objects each position and orientation said plurality of based on the virtual object respective shape data and the position and orientation, is determined and interference determination means for determining whether virtual objects to each other is interference that interferes with the interference judging means in each of a plurality of time points interference history recording means for recording the contour of the interference portion of the virtual objects to each other as interference history, with reference to the history of the interference, the interference portion in each of said plurality of time points and images of the plurality of virtual objects It includes a generation means for generating a composite image in which contours are combined, and a display means for displaying the generated composite image.
本発明によれば、仮想物体と対象物体との干渉について、干渉した部位の形状を示す干渉情報を提示することが可能になる。 According to the present invention, it is possible to present interference information indicating the shape of the interfered portion with respect to the interference between the virtual object and the target object.
（第１の実施形態）
以下、添付図面を参照して、本発明を適用した好適な実施例に従って詳細に説明する。
(First Embodiment)
Hereinafter, description will be made in detail with reference to the accompanying drawings according to suitable examples to which the present invention has been applied.
図７は、本実施例を実現するためのハードウェアを示すブロック図である。 FIG. 7 is a block diagram showing hardware for realizing this embodiment.
図７は、本実施形態における情報装置１００のハードウェア構成図である。同図において、ＣＰＵ７１０は、バス７００を介して接続する各デバイスを統括的に制御する。ＣＰＵ７１０は、読み出し専用メモリ（ＲＯＭ）７２０に記憶された処理ステップやプログラムを読み出して実行する。オペレーティングシステム（ＯＳ）をはじめ、本実施形態に係る各処理プログラム、デバイスドライバ等はＲＯＭ７２０に記憶されており、ランダムアクセスメモリ（ＲＡＭ）７３０に一時記憶され、ＣＰＵ７１０によって適宜実行される。また、入力Ｉ／Ｆ７４０は、外部の装置（撮像装置や操作装置など）から情報処理装置１０１で処理可能な形式で入力信号として入力する。また、出力Ｉ／Ｆ７５０は、外部の装置（例えばＨＭＤなどの表示装置）へ処理可能な形式で出力信号として出力する。
FIG. 7 is a hardware configuration diagram of the
図１は本実施形態における情報処理装置の機能構成を示すブロック図である。 FIG. 1 is a block diagram showing a functional configuration of an information processing apparatus according to the present embodiment.
本実施形態における情報処理装置１００は、ＨＭＤ３０１に接続されている。情報処理装置１００は、ＨＭＤ３０１内の撮像部１０７から取り込んだ現実空間の画像と仮想空間の画像とを合成し、複合現実感映像としてＨＭＤ３０１内の表示部１１０に出力する。
The
撮像部１０７は、現実空間を撮影し、撮像した画像を情報処理装置１００に取り込む。撮影された画像は、合成部１０９にて仮想物体の画像と合成して表示部１１０に合成画像として表示する。本実施形態では、撮像部１０７は、ヘッドマウンテッドディスプレイ３０１（以下、ＨＭＤと称する）に内蔵されているものとする。
The
表示部１１０は、合成部１０９で描画した合成画像を体験者に提示する。本実施形態では、ＨＭＤ３０１に内蔵されたディスプレイを用いる。
The
振動提示部１１３は、干渉情報通知部１１２から干渉しているという出力を受けて、体験者（ユーザ）の触覚に干渉したことを知らせる振動を提示する。本実施形態では、振動提示部１１３としては、偏心おもりを先端に取り付けたモーターを回転させるデバイスを用い、該デバイスを体験者の身体の一部に備えつけておく。しかしながら本発明はこれに限られるものではなく、例えば、指先に設置した電極に微弱な電流を流すなど、触覚を刺激する方法であれば適用可能である。
The vibration presenting
音提示部１１５は、干渉情報通知部１１２から干渉しているという出力を受けて、体験者の聴覚に干渉したことを知らせる音を提示する。本実施形態では、情報処理装置１００とは別体のスピーカを用いるものとする。例えば、ＨＭＤ３０１にヘッドホンを内蔵させて、該ヘッドホンを用いて音を提示してもよい。また、据え置き型のスピーカを利用しても良い。また、情報処理装置１００にスピーカを内蔵しても良い。音の種類は、体験者の聴覚を刺激できるものであればどのような音でもよい。たとえば、所定の波長のビープ音でもよい。
The
情報処理装置１００は、仮想物体データベース１０１、干渉判定部１０３、仮想物体描画部１０４、干渉部位算出部１０５、位置姿勢取得部１０８、合成部１０９、干渉情報保持部１１１、干渉情報通知部１１２、を備える。
The
これらの各機能部は、ＣＰＵ７１０が、ＲＯＭ７２０に格納されたプログラムをＲＡＭ７３０に展開し、後述する各フローチャートに従った処理を実行することで実現されている。また例えば、ＣＰＵ７１０を用いたソフトウェア処理の代替としてハードウェアを構成する場合には、ここで説明する各機能部の処理に対応させた演算部や回路を構成すればよい。
Each of these functional units is realized by the CPU 710 expanding the program stored in the
仮想物体データベース１０１は、仮想物体のモデルを保持するデータベースである。仮想物体のモデルは、例えば形状、表示色、初期位置姿勢を含んでいる。本実施形態では、図２（ａ）に示すような円柱と直方体の２つの形状の仮想物体２０１、２０２を例に説明する。
The
位置姿勢取得部１０８は、撮像部１０７から取り込んだ画像（画像取得）に基づいて、現実空間の撮像部１０７の位置姿勢（即ち、ＨＭＤ３０１の位置姿勢）と仮想物体の位置姿勢を推定する。本実施形態では、撮像部１０７の位置姿勢を体験者の視点位置姿勢とする。撮像部１０７の位置姿勢の算出は、現実空間に配置されたマーカを撮像した画像に基づいて行われる（撮像部位置姿勢計測）。また、仮想物体の位置姿勢は、例えば、仮想物体に対応する現実物を予め現実空間に配置する。そして、現実物にマーカを貼りつけておき、該マーカを撮像した画像に基づいて現実物の位置姿勢位置姿勢を推定し、該推定された現実物の位置姿勢を該現実物に対応する仮想物体の位置姿勢として推定する。そして、体験者が現実物を動かすことによって、仮想物体の位置姿勢を変更することができる。ただし、本発明では体験者の視点位置姿勢や仮想物体の位置姿勢を取得する方法はこれに限定されない。例えば、現実物に三次元センサを貼りつけまたは内蔵させても用いてもよいし、市販のモーションキャプチャシステムを利用して撮像装置１０７に対する仮想物体の位置姿勢を計測することも可能である。また、仮想物体に対応する現実物を用意しなくても、予め設定された位置に仮想物を表示し、コントローラ等を用いて仮想物体を移動させてもよい。
The position /
干渉判定部１０３は、仮想物体の位置姿勢および形状に基づいて、複数の仮想物体同士の干渉の有無を判定する。２つの仮想物体同士の干渉判定は、以下の手順で実現する。まず、それぞれの仮想物体から三角形ポリゴンを一つずつ取り出し、その三角形ポリゴン同士が交差しているかどうかを判定する。これを全ての三角形ポリゴンの組み合わせに対して行い、一つでも交差している場合は仮想物体同士が干渉していると判定する。さらに、この処理を全ての仮想物体の組み合わせに対して行う。ただし、本発明における干渉判定部１０３の実現方法はこれに限るものではない。
The
干渉部位算出部１０５は、干渉判定部１０３で干渉していると判定された仮想物体から、干渉部位を算出する。本実施形態では交差している三角形ポリゴンの集合と、交線の集合とを干渉部位（即ち、干渉した部位の輪郭）として算出する。すなわち、ただし、本発明における干渉部位の表現方法はこれに限るものではない。
The interference
干渉情報保持部１１１は、干渉部位算出部１０５で算出された干渉情報を保持する（干渉情報記録）。干渉情報の一例を図８に示す。
The interference
フレーム番号は、撮像装置１０７が撮像した画像が更新されるたびに１個カウントアップされる番号である。
The frame number is a number that is counted up by one each time the image captured by the
干渉対象物は、干渉している仮想物体を特定するモデルの識別情報である。本実施形態では、仮想物体の名称を登録している。時刻は、実際に干渉が発生したと判定した時刻である。 The object of interference is the identification information of the model that identifies the virtual object that is interfering. In this embodiment, the name of the virtual object is registered. The time is the time when it is determined that the interference actually occurred.
頂点数は、干渉している仮想物体２０１と仮想物体２０２が干渉しているポリゴンの交線の端点の数である。
The number of vertices is the number of end points of the line of intersection of the polygons in which the
頂点位置は、交線の端点のすべての３次元位置である。この頂点位置を線分として描画すると、図２（ｂ）において仮想物体２０１と２０２の干渉部位を表わす円の線２０３となる。
Vertex positions are all three-dimensional positions of the endpoints of the line of intersection. When this vertex position is drawn as a line segment, it becomes a
色と線幅は、干渉情報を仮想物体の画像として描画する場合に使用する描画属性である。なお、描画属性である色と線幅は、干渉したときに生成されることに限定されるものではなく、事前にパラメータを設定しておけばよい。 The color and line width are drawing attributes used when the interference information is drawn as an image of a virtual object. It should be noted that the color and line width, which are drawing attributes, are not limited to being generated when they interfere with each other, and parameters may be set in advance.
図８で示す表はフレーム番号ごとに１つのデータセットとして履歴が保持される。なお、本発明は、干渉情報をフレーム番号でデータセットとして区分することに限定されるものではなく、時刻をキーにしてデータセットを作ってもよい。また、干渉対象物の２つの仮想物体の組み合わせごとにデータセットを作ってもよい。 The history of the table shown in FIG. 8 is maintained as one data set for each frame number. The present invention is not limited to classifying the interference information as a data set by the frame number, and the data set may be created by using the time as a key. Further, a data set may be created for each combination of two virtual objects of the interference target.
仮想物体描画部１０４は、干渉情報と仮想物体２０１、２０２を描画した画像を生成する。より具体的には、仮想物体データベースに保存されたモデルデータや干渉情報保持部１１１に保存された干渉情報に基づいて画像を生成する。
The virtual
まず、仮想空間の画像を生成するための仮想視点の位置姿勢を位置姿勢取得部１０８から取得する。仮想視点の位置姿勢は、例えば、基準とする世界座標系における撮像部１０７の位置姿勢情報を入力すればよい。また、仮想物体２０１と２０２および干渉情報の３次元頂点位置は、位置姿勢取得部１０８で取得された位置姿勢に基づいて更新する。更新した仮想物体と干渉情報の３次元頂点は、仮想視点に基づいて設定された投影面に投影される。投影後のポリゴン・線分の描画処理は、一般的な３次元画像生成における描画処理と同じであるため詳細な説明は省略する。本実施形態における、仮想物描画部１０４で生成された仮想空間の画像を図２（ｃ）に示している。仮想物体２０１、２０２およびこれまで蓄積された干渉情報に基づく干渉部位２０６が描画される（干渉情報画像生成）。本実施形態では、干渉部位の輪郭を描画しているが、輪郭の内部についても特定色を重畳する等して判別しやすくしてもよい。
First, the position / posture of the virtual viewpoint for generating the image of the virtual space is acquired from the position /
合成部１０９は、撮像装置１０７から取り込んだ現実空間の画像と、仮想物体描画部１０４で描画された仮想空間の画像とを合成する。合成処理は、実写画像の上に仮想空間の画像を撮像装置１０７の現実空間の画像の上に描画することにより。すなわち、仮想物体２０１、２０２の領域以外の画素は、現実空間画像の画素が表示される合成画像となる。
The synthesizing unit 109 synthesizes the image of the real space captured from the
干渉情報通知部１１２は、干渉情報保持部１１１の情報に基づいて、現時点における干渉状態を他の通知手段に通知する。本実施形態では、仮想物体描画部１０４で仮想物体２０１、２０２と干渉情報を視覚的に表示することによって干渉しているか否かを明示的に体験者に提示している。しかし、視覚的な表示のみでは、干渉している場所が撮像装置１０７の視野外である場合は、干渉していることを体験者が知覚できない。干渉しているか否かを聴覚と触覚で提示すると、視野外で起こった干渉を体験者が知覚することができる。
The interference
図２は本実施形態における仮想空間の画像の例を示した模式図である。また、図４は、本実施形態の処理の詳細を示すフローチャートである。 FIG. 2 is a schematic diagram showing an example of an image of a virtual space in the present embodiment. Further, FIG. 4 is a flowchart showing the details of the processing of the present embodiment.
図２および図４を用いて、仮想物体２０１、２０２が配置されている状況を例に本実施形態の処理の詳細を説明する。
The details of the processing of the present embodiment will be described with reference to FIGS. 2 and 4 by taking as an example the situation where the
ステップＳ８０１では、仮想物体描画部１０４は、仮想物体データベース１０１から仮想物体２０１、２０２のデータを読み込む。
In step S801, the virtual
ステップＳ８０２では、位置姿勢取得部１０８は、撮像部１０７で撮影された現実空間の画像を取得する。そして、位置姿勢取得部１０８は、取得した画像に基づいて撮像部１０７の位置姿勢情報を算出する。ステップＳ８０２以降の処理は、撮像部１０７から現実空間の画像が更新されるまで処理が一時停止され、更新があった場合に後段の処理を実行する。ただし、本実施形態は、撮像部１０７の画像更新ごとに処理をすることに限定されるものではなく、例えば、位置姿勢取得部１０８で新たな位置姿勢が取得されたタイミングで処理を実行する方法でも適用可能である。
In step S802, the position /
ステップＳ８０３は、位置姿勢取得部１０２は、位置姿勢情報を干渉判定部１０３と仮想物体描画部１０４に送出する。
In step S803, the position / attitude acquisition unit 102 sends the position / attitude information to the
ステップＳ８０６は、干渉判定部１０３は、ＲＡＭ７０２に格納されている仮想物体２０１、２０２を参照し、仮想物体２０１、２０２を構成するポリゴンごとに交差しているかどうか判定する。
In step S806, the
図２（ｂ）は、体験者が仮想物体２０２に対応するマーカを移動させ、仮想物体２０１と仮想物体２０２が干渉した状況を示している。図２（ａ）の状態のときは、ステップＳ８１１に処理を移し、図２（ｂ）の状態のときにＳ８０９に処理を移す。
FIG. 2B shows a situation in which the experiencer moves the marker corresponding to the
ステップＳ８０９では、干渉部位算出部１０５が、仮想物体の干渉部位の情報を計算する。
In step S809, the interference
例えば、本実施形態に置いては、図２（ｂ）において、円柱の仮想物体２０２を移動して直方体の仮想物体２０１に干渉させた場合、干渉部位の情報として各ポリゴンの交線の集合として干渉部位２０３が生成される。
For example, in the present embodiment, in FIG. 2B, when the cylindrical
ステップＳ８１０では、干渉情報保持部１１１が、仮想物体の組み合わせごとに干渉情報のデータセットを記録する。本実施形態においては、図８に示すような干渉情報を記録する。さらに、このデータセットの記録は、撮像部１０７で撮影された画像が更新されるたびに実行される。すなわち、図８に示す干渉情報は、仮想物体の組み合わせのデータセットに加えて、撮像部１０７で画像が更新される度にデータセットが蓄積されるものとする。ステップＳ８１０の処理の詳細は後述する。
In step S810, the interference
ステップＳ８１１では、仮想物体描画部１０４が仮想物体と干渉部位を仮想空間の画像として描画する。本実施形態においては、仮想物体２０１、２０２は、三角形ポリゴンの情報に基づいて描画される。また、干渉部位は、干渉情報に基づいて２頂点が１つの線分として描画される。また、描画時の線分の色や線幅については、干渉情報を参照して描画される。
In step S811, the virtual
図２（ｃ）が仮想物体２０１、２０２と干渉部位２０６を描画した結果を示している。干渉部位２０６には、過去に蓄積した干渉部位の情報も含まれるため、円柱の仮想物体２０２をどのように動かして干渉させたかが、タスクのあとで確認できる。
FIG. 2C shows the results of drawing the
ステップＳ８１２では、合成部１０９は、撮像部１０７が撮像した現実空間の画像と、仮想空間の画像とを合成して合成画像を生成する。
In step S812, the compositing unit 109 combines the image in the real space captured by the
ステップＳ８１３では、まず表示部１１０は、合成部１０９で合成された合成画像を表示し、ＨＭＤ３０１を装着する体験者に提示する。さらに、振動提示部１１３と音提示部１１５は、干渉情報通知部１１２の情報にしたがって体験者に振動および音を提示する。
In step S813, first, the
ステップＳ８１５では、体験者から終了コマンドがキーボードなどの入力装置で送信されたかどうかを判定し、終了コマンドがなければステップＳ８０２に処理を移し、終了判定された場合は処理を終了する。 In step S815, it is determined whether or not the end command is transmitted from the experiencer by an input device such as a keyboard, and if there is no end command, the process is transferred to step S802, and if the end command is determined, the process is terminated.
図５は、ステップＳ８１０の干渉情報を記録する処理の詳細を示すフローチャートである。 FIG. 5 is a flowchart showing the details of the process of recording the interference information in step S810.
図２（ｃ）のように過去の干渉部位を重ねて表示すると、干渉部位の強調表示が蓄積されて描画性能が低下したり、不要に強調表示されて見難くなるという課題がある。この課題に対して、本実施形態では、あらかじめ体験者が設定した干渉部位のデータセットの個数の閾値を超えた場合は、一番古い干渉部位のデータセットから消去（削除）していく方法で対応する。図５のフローチャートで詳細を説明する。 When the past interference parts are superimposed and displayed as shown in FIG. 2C, there is a problem that the highlighting of the interference parts is accumulated and the drawing performance is deteriorated, or the interference parts are unnecessarily highlighted and become difficult to see. In response to this problem, in the present embodiment, when the threshold value of the number of data sets of the interference site set in advance by the experiencer is exceeded, the oldest interference site data set is deleted (deleted). handle. Details will be described with reference to the flowchart of FIG.
ステップＳ９０１では、干渉情報保持部１１１は、過去の干渉情報を参照し、データセット数を集計する。集計したデータセット（過去データセット）数が、予め体験者が設定した閾値を超えた場合は、ステップＳ９０５に処理を移す。閾値を超えない場合はステップＳ９１０に処理を移す。
In step S901, the interference
ステップＳ９０５では、干渉情報保持部１１１は、過去の干渉情報のうち、時刻が一番古いデータセットを検索して消去する。なお、本発明は時刻が一番古いデータセットを消去することに限定されるものではなく、所定の時刻以前のデータセットをすべて消去したり、頂点数の多いデータセットを優先して消去してもよい。
In step S905, the interference
ステップＳ９１０では、干渉情報保持部１１１が干渉部位算出部１０５で算出した現在の干渉情報を新たなデータセットとして追加する。
In step S910, the interference
以上の処理により、仮想物体２０１と２０２が干渉した結果を、過去の干渉部位の情報として現在の視点における仮想空間の画像上で強調表示することにより、タスクを完了したあとに干渉の状況を再確認することができる。さらに、一定のデータセット数を超えないように閾値を設けることで、表示負荷の軽減や干渉部位を見やすく表示することができるようになる。
By the above processing, the result of the interference between the
上記第１の実施形態では、一定のデータセット数を超えないように閾値を設け、超える場合にはメモリから削除する例を示した。しかしながら、メモリから削除は行わずに、表示する画像は含めないようにしてもよい。 In the first embodiment, an example is shown in which a threshold value is set so as not to exceed a certain number of data sets, and if the threshold value is exceeded, the data is deleted from the memory. However, it may not be deleted from the memory and the image to be displayed may not be included.
（変形例１）
第１の実施形態では、干渉部位として、仮想物体２０１と２０２との干渉部位の表現方法として、ポリゴンの交線を繋いで干渉部位２０６を表現していた。しかし本発明は干渉しているポリゴンの交線を繋いで表示することに限定されるものではなく、別の表現で干渉部位を表現してもよい。
(Modification 1)
In the first embodiment, as the interference part, the
本変形例においては、図３に示すように、干渉部位２０６の表現として仮想物体の形状そのものを干渉した場所に留めて表示する方法を示す。図３は体験者がＨＭＤ３０１を装着して仮想物体の工具３０５を仮想物体のドア３１０に対して近づけるタスクを行う作業を表わした模式図である。
In this modification, as shown in FIG. 3, as an expression of the
本変形例を実現するための構成は、第１の実施形態の干渉情報保持部１１１の処理を変更すればよい。
In the configuration for realizing this modification, the processing of the interference
第１の実施形態では干渉情報保持部１１１は、干渉情報のデータセットの頂点位置として干渉したポリゴンの交線を記録していた。しかし、本変形例では頂点位置として、体験者３０１が手で動かす仮想物体３０５の形状を表わすポリゴン情報を記録する。しかし、撮像装置１０７で撮影する画像が更新されるごとにデータセットを記録し、すべての干渉部位２０６をドア３１０上に表示すると、数が多すぎて表示が煩雑になる。本変形例では、表示が煩雑にならないように、データセットの重心位置に基づいて表示を制約する方法を図９のフローチャートを用いて示す。
In the first embodiment, the interference
なお、本発明は仮想物体を表わす形状として三角形ポリゴンに限定されるものではなく、例えばモデルデータをパラメトリックに表現する方法でも適用可能である。 The present invention is not limited to triangular polygons as a shape representing a virtual object, and can be applied to, for example, a method of parametrically expressing model data.
図９のフローチャートは、本変形例における図４のステップＳ８１０の処理の詳細を示している。以下、第１の実施形態との差分のみを説明する。 The flowchart of FIG. 9 shows the details of the process of step S810 of FIG. 4 in this modification. Hereinafter, only the difference from the first embodiment will be described.
ステップＳ９２５では、干渉情報保持部１１１が、干渉部位算出部１０５で算出した干渉情報のうち、頂点位置の３次元位置の平均を算出して重心位置とする。データセットに関連付けて記憶する。
In step S925, the interference
ステップＳ９３０では、干渉情報保持部１１１が、過去の干渉情報に対応付けられた重心位置群を参照し、干渉情報保持部１１１で算出した重心位置と比較する。干渉情報保持部１１１で算出した重心位置と、過去の重心位置群とを比較して、過去の重心位置群のうち少なくとも１つの重心位置との距離が予め設定した閾値を下回る場合は、干渉情報として追加せずに処理を終了する。すなわち、現在の位置姿勢における工具３０５がドア３１０に干渉した場合、過去の干渉情報で重心位置が近いものがあると追加しないようにする。一方、距離の閾値を上回っている場合は、干渉情報としてデータセットを追加する。
In step S930, the interference
以上のように本変形例における干渉表示方法では、干渉部位をよりわかりやすい表現に置き換えることでタスク後の干渉状況の確認を補助することができる。 As described above, in the interference display method in this modification, it is possible to assist in confirming the interference situation after the task by replacing the interference portion with a more understandable expression.
上記変形例１では、干渉が発生した位置に近い場合は、現在の干渉部位の情報をデータセットに追加しなかったが、データセットには追加し、表示する画像には含めないようにしてもよい。 In the above modification 1, when the position near the position where the interference occurred, the information of the current interference site was not added to the data set, but it may be added to the data set and not included in the displayed image. good.
（変形例２）
変形例１では、干渉が発生したときの仮想物体の重心位置が、過去の干渉情報において、干渉が発生した位置に近い場合は、現在の干渉部位の情報をデータセットに追加しなかった。しかし、本発明は、干渉部位の空間中の位置に基づいて干渉情報を記録するか否かを判断することに限定されるものではない。
(Modification 2)
In the first modification, when the position of the center of gravity of the virtual object when the interference occurred is close to the position where the interference occurred in the past interference information, the information of the current interference part was not added to the data set. However, the present invention is not limited to determining whether or not to record interference information based on the position of the interference site in space.
本変形例では、位置姿勢取得部１０８から出力される位置姿勢の信頼度に応じて、干渉情報を記録するか否かを判定する処理について説明する。
In this modification, a process of determining whether or not to record the interference information according to the reliability of the position / posture output from the position /
撮像画像に映るマーカで仮想物体の位置姿勢を決定する場合において、以下のような状態で位置姿勢計測結果の信頼性が低下する。
（１）マーカが画面上で小さく写っている場合
（２）撮像装置１０７とマーカの間に遮蔽物が入ってマーカが隠される場合
（３）マーカが撮像装置１０７の視野外で写らない場合
また、仮想物体の位置姿勢を位置姿勢センサーにより計測する場合であっても、環境ノイズや計測範囲外になるなど、信頼性が低下する状況が考えられる。
When the position and orientation of a virtual object is determined by the marker displayed in the captured image, the reliability of the position and orientation measurement result is lowered in the following states.
(1) When the marker appears small on the screen (2) When a shield enters between the
上記のように位置姿勢の計測の信頼性が低下した状態で干渉情報を追加しても、タスク後の確認で過去の干渉状況を正しく判断できないため、干渉情報を記録しないようにする方法を示す。 Even if the interference information is added in the state where the reliability of the position and attitude measurement is lowered as described above, the past interference situation cannot be correctly determined by the confirmation after the task, so the method of not recording the interference information is shown. ..
本変形例を実現するための構成は、変形例１の位置姿勢取得部１０８から干渉情報保持部１１１に位置姿勢の信頼度の情報を入力するようにし、干渉情報保持部１１１の処理で信頼度に応じて干渉情報の記録を判断すればよい。
The configuration for realizing this modification is such that the position /
位置姿勢取得部１０８は、例えば図４のステップＳ８０３の位置姿勢更新の処理において、現在の位置姿勢計測結果の信頼度を保存すればよい。信頼度は、例えば、マーカが認識されていれば１、認識されていなければ０、マーカ領域が撮像装置画像上を占める割合が１０％を下回った場合は０．５と定義する。
The position /
干渉情報保持部１１１の処理の詳細を図６に示す。なお、変形例１と同じ番号の処理については説明を省略する。
FIG. 6 shows the details of the processing of the interference
ステップＳ９１５では、干渉情報保持部１１１は、位置合わせ信頼度を取得し（導出）、信頼度が閾値以下の場合はステップＳ９２０に処理を移す。信頼度が閾値以上であれば、ステップＳ９１０に処理を移す。
In step S915, the interference
ステップＳ９２０では、干渉情報保持部１１１は、仮想物体描画部１０４に対して、現在位置合わせ信頼度が低いために干渉情報を記録しなかったことを伝えるメッセージを表示するように指示する。
In step S920, the interference
仮想物体描画部１０４は、ステップＳ８１１の仮想物体の描画処理に置いて、仮想物体画像よりも前に、メッセージ２５０を表示するように変更すればよい。仮想物体描画部１０４がメッセージ２５０を表示した画像の模式図を図１０に示す。
The virtual
以上のように本変形例における干渉表示方法では、位置合わせの計測時の信頼度が低い場合は干渉部位記録しないことで正しくない干渉情報を除去し、タスク後の干渉状況の確認を補助することができる。 As described above, in the interference display method in this modification, if the reliability at the time of alignment measurement is low, incorrect interference information is removed by not recording the interference part, and it assists the confirmation of the interference situation after the task. Can be done.
（変形例３）
第１の実施形態では、仮想物体２０１と２０２を円柱と直方体で表現し、仮想物体の位置姿勢をマーカの位置姿勢に割り当てて、体験者が意図的に手で移動させるようにしていた。
(Modification 3)
In the first embodiment, the
しかし、本発明は仮想物体を手で移動させることに限定されるものではなく、体験者の身体の部位の位置姿勢を計測し、その位置姿勢を仮想物体に割り当てる方法でも適用可能である。 However, the present invention is not limited to moving the virtual object by hand, and is also applicable to a method of measuring the position and posture of a part of the body of the experiencer and assigning the position and posture to the virtual object.
例えば、変形例１のドア３１０に工具３０５を使って作業をするような状況で、体験者の肘や膝などを位置姿勢センサーで計測して、作業中に工具３０５だけではなく、体験者の身体の一部が干渉したこと検知して提示してもよい。
For example, in a situation where the
本変形例を実現する構成は、位置姿勢取得部１０８が体験者の膝などの身体の一部の位置姿勢を入力し、干渉判定部１０３と仮想物体描画部１０４に出力すればよい。また、仮想物体データベース１０１には、体験者の身体の部位の形状に応じたモデルデータをあらかじめ記録しておき、干渉判定部１０３や仮想物体描画部１０４に出力すればよい。
In the configuration for realizing this modification, the position /
以上のように、本変形例では、体験者が意図的に手で動かした仮想物体の干渉状況を確認するだけではなく、作業中に意図せずに当たってしまった人体の部位の干渉状況も確認することができる。 As described above, in this modification, not only the interference status of the virtual object intentionally moved by the experiencer is confirmed, but also the interference status of the part of the human body that is unintentionally hit during the work is confirmed. be able to.
（変形例４）
第１の実施形態では、過去の干渉部位を表わす線分の頂点を図８に示すような頂点位置で保持していた。しかし、本発明は、過去の干渉部位を頂点位置として保持することに限定されるものではなく、干渉が発生した時点で、過去の干渉部位を計算で求めてもよい。
(Modification example 4)
In the first embodiment, the vertices of the line segments representing the past interference sites are held at the apex positions as shown in FIG. However, the present invention is not limited to holding the past interference site as the apex position, and the past interference site may be calculated at the time when the interference occurs.
本変形例を実現するためには、図８の干渉情報に仮想物体２０１、２０２のポリゴン情報と位置姿勢を追加し、仮想空間の画像を生成するたびに過去の干渉情報のデータセットからポリゴンの交線の端点を算出してもよい。
In order to realize this modification, the polygon information and the position / orientation of the
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
(Other examples)
The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
Claims (12)
前記複数の仮想物体それぞれの位置姿勢を取得する位置姿勢取得手段と、
前記複数の仮想物体それぞれの形状データと位置姿勢とに基づいて、仮想物体同士が干渉したかを判定する干渉判定手段と、
複数の時点のそれぞれにおいて前記干渉判定手段により干渉したと判定された前記仮想物体同士の干渉部位の輪郭を干渉の履歴として記録する干渉履歴記録手段と、
前記干渉の履歴を参照して、前記複数の仮想物体の画像と前記複数の時点のそれぞれにおける前記干渉部位の輪郭とが合成された合成画像を生成する生成手段と、
前記生成された合成画像を表示する表示手段とを備えることを特徴とする情報処理装置。 Shape data acquisition means for acquiring shape data for each of multiple virtual objects,
A position / posture acquisition means for acquiring the position / posture of each of the plurality of virtual objects,
Said plurality of virtual object based on the respective shape data and the position and orientation, and interference determination means for determining whether the virtual object with each other interfered,
Interference history recording means that records the contours of interference sites between virtual objects that are determined to have interfered by the interference determination means at each of a plurality of time points as a history of interference.
With reference to the history of the interference, a generating unit and the contour of the interference region in each image and the plurality of time points of the plurality of virtual objects to generate a composite image combined,
An information processing apparatus including a display means for displaying the generated composite image.
前記撮像装置の位置姿勢を計測する撮像部位置姿勢計測手段とを更に備え、
前記生成手段は、前記撮像装置の位置姿勢に基づいて、前記撮像画像と、前記複数の仮想物体の画像および前記複数の時点のそれぞれにおける前記干渉部位の輪郭とが合成された合成画像を生成することを特徴とする請求項１に記載の情報処理装置。 An image acquisition means for acquiring an image captured by an image pickup device in a real space, and an image acquisition means.
Further comprising an imaging unit position and orientation measurement means for measuring the position and orientation of the imaging device,
Said generating means, based on the position and orientation of the imaging device, for generating said captured image, a composite image and a contour of the interference region is synthesized in each of the image and the plurality of time points of the plurality of virtual objects the information processing apparatus according to claim 1, characterized in that.
前記干渉履歴記録手段は、前記信頼度が閾値よりも小さい場合には、前記干渉部位を前記干渉の履歴に記録しないようにすることを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。 Further, a derivation means for deriving the reliability of the position / posture acquired by the position / posture acquisition means is provided.
The interference history recording means, wherein when the reliability is smaller than the threshold, according to any one of claims 1 to 6, characterized in that to avoid recording the interference region on the interference of the history Information processing equipment.
前記複数の仮想物体それぞれの位置姿勢を取得する位置姿勢取得ステップと、
前記複数の仮想物体それぞれの形状データと位置姿勢とに基づいて、仮想物体同士の干渉を判定する干渉判定ステップと、
複数の時点のそれぞれにおいて前記干渉判定ステップで干渉したと判定された前記仮想物体同士の干渉部位の輪郭を干渉の履歴として記録する干渉履歴記録ステップと、
前記干渉の履歴を参照して、前記複数の仮想物体の画像と前記複数の時点のそれぞれにおける前記干渉部位の輪郭とが合成された合成画像を生成する生成ステップと、
前記生成された合成画像を表示する表示ステップとを備えることを特徴とする情報処理方法。 The shape data acquisition step to acquire the shape data of each of multiple virtual objects,
The position / orientation acquisition step for acquiring the position / orientation of each of the plurality of virtual objects,
Said plurality of based on the virtual object respective shape data and the position and orientation, an interference determination step of determining the interference of a virtual object between,
Interference history recording step of recording the contour of the interference portion of the virtual objects to each other it is determined that the interference by the interference determination step as a history of interference in each of a plurality of time points,
With reference to the history of the interference, a generation step of the contour of the interference region in each image and the plurality of time points of the plurality of virtual objects to generate a composite image combined,
An information processing method comprising a display step for displaying the generated composite image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020043763A JP6983939B2 (en) | 2015-06-30 | 2020-03-13 | Information processing equipment, information processing methods, programs |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015132197A JP6676294B2 (en) | 2015-06-30 | 2015-06-30 | Information processing apparatus, information processing method, and program |
| JP2020043763A JP6983939B2 (en) | 2015-06-30 | 2020-03-13 | Information processing equipment, information processing methods, programs |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015132197A Division JP6676294B2 (en) | 2015-06-30 | 2015-06-30 | Information processing apparatus, information processing method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020091928A JP2020091928A (en) | 2020-06-11 |
| JP6983939B2 true JP6983939B2 (en) | 2021-12-17 |
Family
ID=79170123
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020043763A Active JP6983939B2 (en) | 2015-06-30 | 2020-03-13 | Information processing equipment, information processing methods, programs |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6983939B2 (en) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3415416B2 (en) * | 1996-11-22 | 2003-06-09 | 株式会社セガ | GAME DEVICE, IMAGE DATA FORMING METHOD, AND MEDIUM |
| JP2006215750A (en) * | 2005-02-02 | 2006-08-17 | Canon Inc | Image processing method, image processor |
| JP4756899B2 (en) * | 2005-04-21 | 2011-08-24 | キヤノン株式会社 | Information processing apparatus and information processing method |
| JP2007004713A (en) * | 2005-06-27 | 2007-01-11 | Canon Inc | Image processing method and image processor |
| JP5777507B2 (en) * | 2011-12-27 | 2015-09-09 | キヤノン株式会社 | Information processing apparatus, information processing method, and program thereof |
-
2020
- 2020-03-13 JP JP2020043763A patent/JP6983939B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020091928A (en) | 2020-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6643170B2 (en) | Work support system and method | |
| US9607439B2 (en) | Information processing apparatus and information processing method | |
| US10366539B2 (en) | Information processing apparatus, information processing method, and storage medium for reporting based on elapse time and positional relationships between 3-D objects | |
| JP2019070909A (en) | Information processing apparatus, information processing method, and program | |
| JP6857980B2 (en) | Information processing equipment, control methods and programs for information processing equipment | |
| JP5777786B1 (en) | Information processing apparatus, information processing method, and program | |
| JP5709440B2 (en) | Information processing apparatus and information processing method | |
| US10614590B2 (en) | Apparatus for determination of interference between virtual objects, control method of the apparatus, and storage medium | |
| JP2011028309A5 (en) | ||
| KR102059834B1 (en) | Information processing apparatus, information processing method, storage medium, and program | |
| JP2008210276A (en) | Method and device for generating three-dimensional model information | |
| US20140118396A1 (en) | Image processing device, image processing method, and computer program product | |
| US20150269759A1 (en) | Image processing apparatus, image processing system, and image processing method | |
| JP6742760B2 (en) | Information processing apparatus, information processing method, and program | |
| JP2017004464A (en) | Image processor, image processing system, image processing method and program | |
| JP6723743B2 (en) | Information processing apparatus, information processing method, and program | |
| JP6983939B2 (en) | Information processing equipment, information processing methods, programs | |
| JP6362401B2 (en) | Image processing apparatus and image processing apparatus control method | |
| JP2022174971A (en) | Concrete compaction work analysis device, analysis method and program | |
| JP7029253B2 (en) | Information processing equipment and its method | |
| JP2019045997A (en) | Information processing device, method thereof and program | |
| US20200258193A1 (en) | Information processing apparatus, information processing method, and storage medium | |
| JP2021166091A (en) | Image processing system, image processing method and computer program | |
| JP6948801B2 (en) | Information processing equipment, control methods and programs for information processing equipment | |
| JP6704698B2 (en) | Information processing apparatus, information processing method, information processing system, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200403 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200403 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210309 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210510 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211026 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211124 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6983939 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |