JP7365981B2 - Information terminal device, method and program - Google Patents

Information terminal device, method and program Download PDF

Info

Publication number
JP7365981B2
JP7365981B2 JP2020143726A JP2020143726A JP7365981B2 JP 7365981 B2 JP7365981 B2 JP 7365981B2 JP 2020143726 A JP2020143726 A JP 2020143726A JP 2020143726 A JP2020143726 A JP 2020143726A JP 7365981 B2 JP7365981 B2 JP 7365981B2
Authority
JP
Japan
Prior art keywords
orientation
captured image
information
imaging unit
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020143726A
Other languages
Japanese (ja)
Other versions
JP2022038974A (en
Inventor
晴久 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2020143726A priority Critical patent/JP7365981B2/en
Publication of JP2022038974A publication Critical patent/JP2022038974A/en
Application granted granted Critical
Publication of JP7365981B2 publication Critical patent/JP7365981B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、光学的整合性を持った拡張現実表示を得ることのできる情報端末装置、方法及びプログラムに関する。 The present invention relates to an information terminal device, a method, and a program that can obtain an augmented reality display with optical consistency.

拡張現実で現実感のある描画を実現するため、環境の光源をCG（コンピュータグラフィックス）に反映する環境マップを用いて描画する方法が用いられる。このとき、環境マップの構築は一般的に全方位カメラなどで事前に撮影しておく方法が利用されている。しかし、事前に作成する必要があるため、環境の変更には対応できないという課題があった。この問題を解決するため、特許文献１は動的に環境マップを構築する方法を開示している。具体的には、ディスプレイの上部に設置したカメラで撮影した画像を入射照明としカメラの撮影範囲外を外挿することで環境全体の照明を推定する。 In order to achieve realistic drawings using augmented reality, a drawing method is used that uses an environment map that reflects the light source of the environment in CG (computer graphics). At this time, the environmental map is generally constructed by taking pictures in advance using an omnidirectional camera or the like. However, since it needs to be created in advance, there is a problem that it cannot respond to changes in the environment. In order to solve this problem, Patent Document 1 discloses a method of dynamically constructing an environment map. Specifically, the illumination of the entire environment is estimated by using an image taken with a camera installed above the display as the incident illumination and extrapolating the area outside the camera's shooting range.

特許５７１１２６２号Patent No. 5711262

特許文献１は撮影範囲外を境界画素値で外挿するため、境界に光源が存在した場合は現実とは異なる光源が生成されるという問題がある。また、別の実施例で撮影画像の平均値を用いて外挿する場合も、撮影画像に光源や利用者が写り込んだ場合は撮影範囲外の実際の光量と平均値とが大きく異なるという問題がある。 Since Patent Document 1 extrapolates the area outside the imaging range using boundary pixel values, there is a problem that if a light source exists at the boundary, a light source different from reality is generated. In addition, even when extrapolating using the average value of the captured image in another embodiment, there is a problem that if a light source or a user is reflected in the captured image, the actual amount of light outside the shooting range and the average value will be significantly different. There is.

上記従来技術の課題に鑑み、本発明は、光源等を適切に反映することで光学的整合性を持った拡張現実表示を得ることのできる情報端末装置、方法及びプログラムを提供することを目的とする。 In view of the problems of the prior art described above, an object of the present invention is to provide an information terminal device, a method, and a program that can obtain an augmented reality display with optical consistency by appropriately reflecting light sources, etc. do.

上記目的を達成するため、本発明は情報端末装置であって、撮像対象を撮像した第１撮像画像を得る第１撮像部と、環境を撮像した第２撮像画像を得る第２撮像部と、前記第１撮像画像を解析して、前記撮像対象を基準とした前記第１撮像部の第１位置姿勢を認識する認識部と、前記第２撮像画像より、前記第１位置姿勢における環境情報を生成する生成部と、前記第１位置姿勢に配置される拡張現実表示を、前記環境情報を反映して描画する描画部と、を備えることを特徴とする。また、前記情報端末装置に対応する方法であること、コンピュータを前記情報端末装置として機能させるプログラムであることを特徴とする。 In order to achieve the above object, the present invention provides an information terminal device, which includes: a first imaging unit that obtains a first captured image of an imaging target; a second imaging unit that obtains a second captured image of an environment; a recognition unit that analyzes the first captured image and recognizes a first position and orientation of the first imaging unit with respect to the imaging target; and a recognition unit that analyzes the first captured image to recognize the first position and orientation of the first imaging unit based on the imaging target; The present invention is characterized in that it includes a generating unit that generates a generated image, and a drawing unit that draws an augmented reality display placed in the first position and orientation while reflecting the environmental information. Further, the method is characterized in that it is a method compatible with the information terminal device, and that it is a program that causes a computer to function as the information terminal device.

本発明によれば、拡張現実表示の幾何的整合を得るための第１位置姿勢を認識する第１撮像画像のカメラとしての第１撮像部とは別のカメラとしての第２撮像部で撮像された第２撮像画像より環境情報を生成し、第１撮像部のカメラにおけるものとしてこの環境情報を用いて拡張現実表示を描画することで、第１撮像部の撮像範囲に限定されることのない第２撮像部の撮像範囲に基づいて適切に光源等を反映したものとして、当該拡張現実表示の描画結果を得ることができる。 According to the present invention, an image is captured by a second imaging unit as a camera different from a first imaging unit as a camera of a first captured image that recognizes a first position and orientation for obtaining geometric alignment of an augmented reality display. By generating environmental information from the second captured image and drawing an augmented reality display using this environmental information as that of the camera of the first imaging unit, it is possible to avoid being limited to the imaging range of the first imaging unit. The drawing result of the augmented reality display can be obtained by appropriately reflecting the light source and the like based on the imaging range of the second imaging unit.

一実施形態に係る情報端末装置の機能ブロック図である。FIG. 2 is a functional block diagram of an information terminal device according to an embodiment. 情報端末装置の各部の処理内容に関する模式例を示す図である。FIG. 3 is a diagram showing a schematic example of processing contents of each part of the information terminal device. 図２の例の場合における第１撮像部及び第２撮像部の配置関係等を２次元断面で模式的に示す図である。FIG. 3 is a diagram schematically showing, in a two-dimensional cross section, the arrangement relationship between the first imaging section and the second imaging section in the case of the example of FIG. 2; 一般的なコンピュータ装置におけるハードウェア構成の例を示す図である。1 is a diagram showing an example of a hardware configuration in a general computer device.

図１は、一実施形態に係る情報端末装置10の機能ブロック図である。情報端末装置10は、第１撮像部1、第２撮像部2、認識部3、生成部4、描画部5及び表示部6を備える。 FIG. 1 is a functional block diagram of an information terminal device 10 according to an embodiment. The information terminal device 10 includes a first imaging section 1, a second imaging section 2, a recognition section 3, a generation section 4, a drawing section 5, and a display section 6.

情報端末装置10としてはスマートフォンやスマートグラス等の携帯端末を利用することができるが、第１撮像部1及び第２撮像部2を備えたものであればどのような装置や機器等を利用しても良い。例えば、デスクトップ型、ラップトップ型またはその他のコンピュータなどでもよい。なお、情報端末装置10のうち、認識部3、生成部4及び描画部5の全てまたはその任意の一部分を、情報端末装置10には備わらない外部構成とする、例えば、一台以上のサーバにおいてその機能を実現させる構成とすることもできる。この場合、当該外部構成で実現された各部と情報端末装置10との間で、以下説明する処理において必要となる情報の授受をネットワーク等経由によって行うようにすればよい。 Although a mobile terminal such as a smartphone or smart glasses can be used as the information terminal device 10, any device or equipment can be used as long as it is equipped with the first imaging section 1 and the second imaging section 2. It's okay. For example, it may be a desktop, laptop, or other computer. In addition, in the information terminal device 10, all or any part of the recognition unit 3, the generation unit 4, and the drawing unit 5 may be provided as an external component that is not included in the information terminal device 10, for example, on one or more servers. It is also possible to adopt a configuration that realizes this function. In this case, information required in the processing described below may be exchanged between each unit realized by the external configuration and the information terminal device 10 via a network or the like.

情報端末装置10は、その全体的な動作として、所定の処理レートにおいてリアルタイムの各時刻t=1,2,3,…で第１撮像部1及び第２撮像部2が撮像を行うことにより第１撮像画像P1(t)及び第２撮像画像P2(t)を得て、各部3,4,5の処理を経たうえで最終的な出力として表示部6が当該時刻tでの拡張現実表示AR(t)を表示することを、リアルタイムの各時刻t=1,2,3,…について繰り返し実行するものである。この拡張現実表示AR(t)は、第１撮像画像P1(t)に対して所定のCG描画を重畳したものとして構成される。当該CG描画して重畳することは第２撮像画像P2(t)を解析して得られる時刻tでの光源等に関する環境情報E(t)を用いて行われるため、光学的整合性を持った拡張現実表示AR(t)をリアルタイムで得ることができる。 As for the overall operation of the information terminal device 10, the first imaging section 1 and the second imaging section 2 perform imaging at each time t=1, 2, 3,... in real time at a predetermined processing rate. After obtaining the first captured image P1(t) and the second captured image P2(t), the display unit 6 displays the augmented reality display AR at the time t as the final output after processing in each unit 3, 4, and 5. (t) is repeatedly displayed at each time t=1, 2, 3, . . . in real time. This augmented reality display AR(t) is configured as a predetermined CG drawing superimposed on the first captured image P1(t). The CG drawing and superimposition is performed using environmental information E(t) regarding the light source, etc. at time t obtained by analyzing the second captured image P2(t), so Augmented reality display AR(t) can be obtained in real time.

以下、各時刻t=1,2,3,…について繰り返し実行される共通処理である情報端末装置10の各部の処理内容の詳細を説明する。図２は、情報端末装置10の各部の処理内容に関する模式例を例EX1～EX4と分けて示す図であり、以下の説明において適宜、参照する。なお、「時刻t」として説明する場合は、上記の全体的な動作で述べたリアルタイムの各時刻t=1,2,3,…を意味するものとして、これよりも過去の時刻t-1,t-2,…等と区別する。 Hereinafter, details of the processing content of each part of the information terminal device 10, which is a common process repeatedly executed at each time t=1, 2, 3, . . . , will be explained. FIG. 2 is a diagram showing a schematic example of processing contents of each part of the information terminal device 10, separated into examples EX1 to EX4, and will be referred to as appropriate in the following description. In addition, when explaining as "time t", it means each real-time time t=1, 2, 3,... mentioned in the above overall operation, and it also refers to times t-1, t-1, etc. in the past. Distinguish from t-2,...etc.

第１撮像部1は、所定の撮像対象を撮像して、得られた第１撮像画像P1(t)を認識部3及び描画部5へと出力する。（なお、図１中の点線矢印で示されるように、後述する別の実施形態では第１撮像画像P1(t)はさらに生成部4へも出力される。）第１撮像部1を実現するハードウェアとしては例えば、昨今の携帯端末に標準装備されることの多いデジタルカメラを用いることができる。 The first imaging unit 1 images a predetermined imaging target and outputs the obtained first captured image P1(t) to the recognition unit 3 and the drawing unit 5. (In addition, as shown by the dotted line arrow in FIG. 1, in another embodiment described later, the first captured image P1(t) is further output to the generation unit 4.) Realizing the first imaging unit 1 As the hardware, for example, a digital camera, which is often included as standard equipment in modern mobile terminals, can be used.

第２撮像部2は、環境を撮像して、得られた第２撮像画像P2(t)を生成部4へと出力する。第２撮像部2を実現するハードウェアとしては例えば、第１撮像部1と同様に、昨今の携帯端末に標準装備されることの多いデジタルカメラを用いることができる。 The second imaging unit 2 images the environment and outputs the obtained second captured image P2(t) to the generation unit 4. As the hardware for realizing the second imaging section 2, for example, like the first imaging section 1, a digital camera, which is often included as a standard equipment in modern mobile terminals, can be used.

ここで、第１撮像部1のカメラの位置姿勢と第２撮像部2の位置姿勢との相対的な位置関係は既知であるものとする。この相対的な位置関係は、当該両カメラの３次元世界座標における位置姿勢（カメラの外部パラメータ）を変換するものとして、並進成分及び回転成分で与えることができる。変換Tとして与えられるこの相対的な位置関係は時刻tによらない固定的なものであってもよいし、「T=T(t)」として時刻tに応じて動的に変化し相対的位置関係が逐次更新されるものであってもよい。 Here, it is assumed that the relative positional relationship between the camera position and orientation of the first imaging section 1 and the position and orientation of the second imaging section 2 is known. This relative positional relationship can be given by a translational component and a rotational component, which transforms the position and orientation (external parameters of the camera) of the two cameras in three-dimensional world coordinates. This relative positional relationship given as transformation T may be fixed regardless of time t, or it may be dynamically changed according to time t as "T=T(t)" and the relative position The relationship may be updated sequentially.

図２の例EX1では、第1撮像部1及び第２撮像部2の各カメラがスマートフォンとして構成される情報端末装置10におけるリアカメラ及びフロントカメラとして構成される例が示されている。この例EX1においては情報端末装置10の筐体に第1撮像部1及び第２撮像部2の各カメラが固定して設置されることにより、相対的な位置関係としての変換Tは時刻tによらない固定的なものとして与えられることとなる。 An example EX1 in FIG. 2 shows an example in which the cameras of the first imaging section 1 and the second imaging section 2 are configured as a rear camera and a front camera in the information terminal device 10 configured as a smartphone. In this example EX1, since the cameras of the first imaging unit 1 and the second imaging unit 2 are fixedly installed in the housing of the information terminal device 10, the transformation T as a relative positional relationship is at time t. It will be given as a fixed thing.

この例EX1では、リアカメラとしての第１撮像部1は所定の撮像対象OBとして第１環境E1である室内の床に設置された正方マーカを撮像することで、例EX2に画像P1として示されるような第１撮影画像P1(t)が得られる。また、フロントカメラとしての第２撮像部2は第２環境E2として、情報端末装置10を利用するユーザUや室内電灯等として構成される光源Lを撮像することで、例EX3に画像P2として示されるような第２撮像画像P2(t)が得られる。 In this example EX1, the first imaging unit 1 as a rear camera images a square marker installed on the floor of the room, which is the first environment E1, as a predetermined imaging target OB, and the image is shown as image P1 in example EX2. A first photographed image P1(t) like this is obtained. In addition, the second imaging unit 2 serving as a front camera captures an image of the user U using the information terminal device 10 and the light source L configured as an indoor light, etc. as the second environment E2, which is shown as an image P2 in example EX3. A second captured image P2(t) is obtained.

図３は、図２の例EX1の場合における第1撮像部1及び第２撮像部2の配置関係等を２次元断面で模式的に示す図である。図３（及び図２）に示されるように、第1撮像部1及び第２撮像部2のカメラはそれぞれ、スマートフォンとしての情報端末装置10の背面及び前面で互いに反対向きに配置されるリアカメラ及びフロントカメラとして構成されており、情報端末装置10の周辺環境E（模式的に３次元半球の断面として２次元半円の範囲で示す）の全体のうち、点線範囲内の画角範囲として模式的に示される範囲R1及びR2にある第１環境E1及び第２環境E2を撮像する。（すなわち、周辺環境Eのうち、一部が第１環境E1であり、別の一部が第２環境E2である。第１環境E1及び第２環境E2は、図３や図２の例では重複していないが、重複があってもよい。） FIG. 3 is a diagram schematically showing, in a two-dimensional cross section, the arrangement relationship of the first imaging section 1 and the second imaging section 2 in the case of example EX1 in FIG. As shown in FIG. 3 (and FIG. 2), the cameras of the first imaging unit 1 and the second imaging unit 2 are rear cameras arranged in opposite directions on the back and front of the information terminal device 10 as a smartphone, respectively. It is configured as a front camera, and is schematically shown as the angle of view range within the dotted line range of the entire surrounding environment E of the information terminal device 10 (schematically shown as a two-dimensional semicircular range as a cross section of a three-dimensional hemisphere). The first environment E1 and the second environment E2 in the ranges R1 and R2 shown in the figure are imaged. (In other words, part of the surrounding environment E is the first environment E1, and another part is the second environment E2. The first environment E1 and the second environment E2 are There are no duplicates, but there may be duplicates.)

第1撮像部1及び第２撮像部2がこのように配置されていることにより、後述する描画部5によって描画される拡張現実表示AR(t)（図３の例では拡張現実表示AR）は、第1撮像部1が撮像する第１環境E1内において撮像対象OBを基準として幾何的整合性を保った配置により描画され、且つ、第２撮像部2が撮像する第２環境E2の光源や写り込み等を反映して光学的整合性を有するものとして描画されるものとすることができる。 By arranging the first imaging unit 1 and the second imaging unit 2 in this way, the augmented reality display AR(t) drawn by the drawing unit 5 (described later) (augmented reality display AR in the example of FIG. 3) is , is drawn in a first environment E1 imaged by the first imaging unit 1 in an arrangement that maintains geometric consistency with respect to the imaging target OB, and the light source of the second environment E2 imaged by the second imaging unit 2. It can be rendered as having optical consistency by reflecting reflections and the like.

なお、第1撮像部1及び第２撮像部2のカメラの配置関係は、図２，３の例に示すものに限らず、撮像される範囲R1及びR2が互いに異なる（部分的に重複していてもよい）ような、任意の配置関係を設定することが可能である。また、第１撮像部1と第２撮像部2とは、両者間の相対的な位置関係（変換T）を取得できるのであれば、スマートフォン等の同一筐体内に一緒に搭載されていなくともよい。例えば、第１撮像部1がスマートフォンのリアカメラであり、第２撮像部2は、当該スマートフォンと通信可能に構成され、当該スマートフォンが存在する部屋（共通の周辺環境Eの例としての部屋）に設置されているカメラ（監視カメラ等）であってもよい。 Note that the arrangement relationship of the cameras of the first imaging unit 1 and the second imaging unit 2 is not limited to that shown in the examples of FIGS. 2 and 3. It is possible to set any arrangement relationship such as Furthermore, the first imaging unit 1 and the second imaging unit 2 do not need to be installed together in the same housing of a smartphone, etc., as long as the relative positional relationship (transformation T) between them can be obtained. . For example, the first imaging unit 1 is a rear camera of a smartphone, and the second imaging unit 2 is configured to be able to communicate with the smartphone, and is located in a room where the smartphone is present (a room as an example of the common surrounding environment E). It may be an installed camera (surveillance camera, etc.).

認識部3は、第１撮像部1で撮像された第１撮像画像P1(t)を入力し、この第１撮像画像P1(t)に撮像されている撮像対象OBを特定するとともに、当該特定結果に基づいて撮像対象OBと第１撮像部1を構成するカメラとの相対的な位置姿勢OP(t)（このカメラの、撮像対象OBを基準として与えられる３次元世界座標における位置姿勢を表す外部パラメータに相当）を認識する。認識部3において当該認識された撮像対象OBおよび位置姿勢OP(t)の情報は、生成部4及び描画部5へと出力される。 The recognition unit 3 inputs the first captured image P1(t) captured by the first imaging unit 1, identifies the imaging target OB captured in this first captured image P1(t), and identifies the identified object. Based on the results, the relative position and orientation OP(t) between the imaging target OB and the camera constituting the first imaging unit 1 (represents the position and orientation of this camera in the three-dimensional world coordinates given with the imaging target OB as a reference) (equivalent to external parameters). Information about the imaging target OB and position/orientation OP(t) recognized by the recognition unit 3 is output to the generation unit 4 and the drawing unit 5.

ここで、一実施形態では、特定対象となる撮像対象OBについては、一つ以上の所定対象を予め設定しておき、その画像上における特徴情報を事前に抽出した上で、照合用のリファレンス特徴情報として記憶しておく。第１撮像画像P1(t)よりクエリとしての特徴情報を抽出し、当該予め登録されているリファレンス特徴情報との間で照合することにより、第１撮像画像P1(t)に撮像されている撮像対象OBを特定するとともに、相対的な位置姿勢OP(t)を推定することができる。 Here, in one embodiment, for the imaging target OB to be identified, one or more predetermined targets are set in advance, feature information on the image is extracted in advance, and reference features for matching are extracted. Store it as information. By extracting feature information as a query from the first captured image P1(t) and comparing it with the reference feature information registered in advance, the captured image captured in the first captured image P1(t) is extracted. The target OB can be specified and the relative position and orientation OP(t) can be estimated.

画像に対する特徴情報としては、周知のSIFT特徴量又はSURF特徴量等のような、回転及び拡大縮小あるいは輝度変化のいずれか又はその任意の組み合わせに不変な性質を有し、画像の局所領域における相対的な輝度勾配に基づいて算出される特徴点及び当該特徴点周辺から抽出される局所特徴量を用いることができ、ベクトル等で表現可能な局所特徴量を特徴点座標と紐づけてリファレンス特徴情報として記憶しておき、同様にして、第１撮像画像P1(t)からクエリ特徴情報として抽出すればよい。SIFT特徴量は以下の非特許文献１に、SURF特徴量は以下の非特許文献２に、それぞれ開示されている。 Feature information for an image, such as the well-known SIFT feature or SURF feature, has a property that is invariant to rotation, scaling, or brightness change, or any combination thereof, and has a relative property in a local area of the image. Feature points calculated based on brightness gradients and local features extracted from around the feature points can be used, and reference feature information is generated by linking local feature values that can be expressed as vectors with feature point coordinates. , and similarly extract it as query feature information from the first captured image P1(t). The SIFT feature amount is disclosed in Non-Patent Document 1 below, and the SURF feature amount is disclosed in Non-Patent Document 2 below.

[非特許文献１]「D.G.Lowe, Distinctive image features from scale-invariant key points, Proc. of Int. Journal of Computer Vision (IJCV), 60(2) pp.91-110 (2004)」
[非特許文献２]「H.Bay, T.Tuytelaars, and L.V.Gool, SURF: Speed Up Robust Features, Proc. of Int. Conf. of ECCV, (2006)」 [Non-patent Document 1] "DG Lowe, Distinctive image features from scale-invariant key points, Proc. of Int. Journal of Computer Vision (IJCV), 60(2) pp.91-110 (2004)"
[Non-Patent Document 2] “H.Bay, T.Tuytelaars, and LVGool, SURF: Speed Up Robust Features, Proc. of Int. Conf. of ECCV, (2006)”

生成部4は、認識部3より得られる撮像対象OB及び位置姿勢OP(t)の情報と第２撮像部2より得られる第２画像P2(t)とを入力し、当該位置姿勢OP(t)（第１撮像部1のカメラの位置姿勢）における環境の光源や陰影を表現するものとしての環境情報E(t)を生成して描画部5へ出力する。 The generation unit 4 inputs information on the imaging target OB and position/orientation OP(t) obtained from the recognition unit 3 and the second image P2(t) obtained from the second imaging unit 2, and generates the position/orientation OP(t). ) (position and orientation of the camera of the first imaging unit 1), environmental information E(t) representing the light source and shadow of the environment is generated and output to the drawing unit 5.

環境情報E(t)は、CG分野において既知である環境マップとして生成することができ、その表現形式としても任意のものを用いてよく、例えばスフィアマップ（球状マップ）又はキューブマップを用いてよい。当該スフィアマップまたはキューブマップの球面内または立方体面のそれぞれの内側に貼り付けるテクスチャとして第２撮像画像P2(t)を用いることで、環境情報E(t)を生成することができる。 The environmental information E(t) can be generated as an environmental map known in the CG field, and any representation format may be used, for example, a sphere map or a cube map may be used. . By using the second captured image P2(t) as a texture pasted inside each of the spherical or cubic surfaces of the sphere map or cube map, the environmental information E(t) can be generated.

当該環境情報E(t)は位置姿勢OP(t)（第１撮像部1のカメラの位置姿勢）での環境マップとして与えられるものであるが、既に説明した通り、第２撮像部2のカメラの位置姿勢（第２位置姿勢）とこの位置姿勢OP(t)（第１位置姿勢）との変換関係Tが既知であるため、変換関係Tを用いて第２撮像画像P2(t)を位置姿勢OP(t)における環境マップとして貼り付けることが可能となる。なお、第２撮像画像P2(t)を環境マップとして貼り付ける際には、マップ形式（例えば球または立方体）に応じた既知の変換を行ったうえで、貼り付けるようにすればよい。 The environmental information E(t) is given as an environment map at the position and orientation OP(t) (the position and orientation of the camera of the first imaging unit 1), but as already explained, the environment information E(t) is given as an environment map at the position and orientation of the camera of the first imaging unit Since the transformation relationship T between the position and orientation (second position and orientation) and this position and orientation OP(t) (first position and orientation) is known, the transformation relationship T is used to change the position of the second captured image P2(t). It becomes possible to paste it as an environment map in posture OP(t). Note that when pasting the second captured image P2(t) as an environment map, it may be pasted after performing a known conversion according to the map format (for example, sphere or cube).

描画部5は、認識部3から得られる撮像対象OB及び位置姿勢OP(t)の情報と、生成部4から得られる環境情報E(t)とを入力し、撮像対象OBに紐付いた仮想情報（注釈やアバタ、物体など）を、位置姿勢OP(t)に応じた位置に環境情報E(t)を反映して拡張現実表示AR(t)として描画し、この拡張現実表示AR(t)を第１撮像部1から得られる第１撮像画像P1(t)に対して重畳した描画画像PG(t)を表示部6へと出力する。表示部6は当該描画画像PG(t)を表示することで、情報端末装置10を利用するユーザに対して拡張現実表示が提供される。 The drawing unit 5 inputs information on the imaging target OB and position/orientation OP(t) obtained from the recognition unit 3 and the environment information E(t) obtained from the generation unit 4, and generates virtual information linked to the imaging target OB. (annotations, avatars, objects, etc.) are drawn as an augmented reality display AR(t) reflecting the environmental information E(t) at a position according to the position and orientation OP(t), and this augmented reality display AR(t) A drawn image PG(t) superimposed on the first captured image P1(t) obtained from the first imaging unit 1 is output to the display unit 6. By displaying the drawn image PG(t), the display unit 6 provides an augmented reality display to the user using the information terminal device 10.

撮像対象OBに紐づいた仮想情報は、拡張現実表示するための３次元モデルあるいは２次元モデルとしてそのモデルデータを予め用意しておき、第１撮像部1を構成するカメラの位置姿勢である位置姿勢OP(t)に応じた位置において、描画部5が当該カメラの画像平面上で描画することにより、第１環境E1を撮像した第１撮像画像P1(t)に重畳させる拡張現実表示としての幾何的整合性を確保した描画を行うことができる。 The virtual information linked to the imaging target OB is obtained by preparing the model data in advance as a 3D model or 2D model for augmented reality display, and determining the position that is the position and orientation of the camera constituting the first imaging unit 1. The drawing unit 5 draws on the image plane of the camera at a position corresponding to the posture OP(t), thereby creating an augmented reality display in which the first environment E1 is superimposed on the first captured image P1(t). Drawing can be performed with geometric consistency ensured.

描画部5ではまた、当該幾何的整合性を確保してモデルを描画する際に、第２環境E2のものとして得られた環境情報E(t)を反映して描画することにより、第１環境E1内に第２環境E2の光源による反射や陰影、写り込み等を反映させたものとして、光学的整合性を持った描画を行うことができる。 In addition, when drawing the model while ensuring the geometric consistency, the drawing unit 5 also draws the model by reflecting the environment information E(t) obtained as that of the second environment E2. By reflecting reflections, shadows, reflections, etc. from the light source of the second environment E2 in E1, it is possible to perform drawing with optical consistency.

一実施形態では、環境情報E(t)を構成する環境マップを用いて、位置姿勢OP(t)に応じた位置に描画される３次元モデルの表面（反射率が予め設定されている）に対して、環境マップを描画することで、当該表面における第２環境E2の写り込みを表現するように、描画部5は描画を行うことができる。当該表面への描画は、環境マップを用いた写り込みの描画に関する任意の既存手法を利用すればよく、位置姿勢OP(t)で与えられる仮想カメラ視点から見た３次元モデル表面を見た状態として、環境情報E(t)を構成する環境マップが当該表面に投影されるように、３次元モデルの表面の所定位置に環境マップ内の所定位置の画素値を（そのまま、あるいは反射率等を考慮した何らかの変換等を施して）割り当てて描画すればよい。 In one embodiment, an environment map constituting the environment information E(t) is used to create a surface of a 3D model (with a preset reflectance) drawn at a position corresponding to the position and orientation OP(t). On the other hand, by drawing the environment map, the drawing unit 5 can draw so as to express the reflection of the second environment E2 on the surface. For drawing on the surface, any existing method for drawing reflections using an environment map can be used, and the state of the 3D model surface as seen from the virtual camera viewpoint given by the position and orientation OP(t). As such, pixel values at predetermined positions in the environment map are placed at predetermined positions on the surface of the 3D model (either as is or with reflectance etc. All you need to do is to perform some kind of conversion, etc. that takes into consideration) and draw it.

また、一実施形態では、環境情報E(t)を構成する環境マップより、輝度値が閾値以上となる領域を光源領域として定め、所定の光源モデル（点光源モデル、平行光線モデルなどの１種類以上のモデル）における当該光源領域のパラメータ（輝度や色など）を求めたうえで、位置姿勢OP(t)に応じた位置に描画される３次元モデルを、位置姿勢OP(t)に配置された仮想カメラ視点から見た状態として、この光源の効果を反映して描画するようにしてもよい。光源の効果としては、３次元モデルの表面（反射率が予め設定されている）での光源の反射や、３次元モデルと光源との位置関係で生ずる陰影を反映して、描画すればよい。当該描画には、任意の既存の光源モデルに対応する既存の描画手法を用いるようにすればよい。 In one embodiment, an area where the luminance value is equal to or greater than a threshold is defined as a light source area from an environment map constituting the environment information E(t), and a predetermined light source model (one type of point light source model, parallel ray model, etc.) is defined as a light source area. After determining the parameters (brightness, color, etc.) of the light source area in the above model), the 3D model drawn at the position corresponding to the position and orientation OP(t) is placed at the position and orientation OP(t). The effect of this light source may be reflected in the drawing as seen from the viewpoint of the virtual camera. As for the effect of the light source, the drawing may be performed by reflecting the light source on the surface of the three-dimensional model (the reflectance is set in advance) or by reflecting the shadow caused by the positional relationship between the three-dimensional model and the light source. For this drawing, an existing drawing method corresponding to any existing light source model may be used.

図２の例EX4では、例EX1～EX3に応じて描画され第１撮像画像P1(t)に重畳された描画画像PG(t)の例として画像P3が示され、拡張現実表示AR(t)の例として重畳表示ARは、正方マーカである撮像対象OB上の所定位置に浮かんだ金属球（表面に反射率等が設定された球）を所定の３次元モデルとして、環境情報E(t)を反映して描画した例である。重畳表示ARにおいては、例EX3に示す第２環境E2のユーザU等が当該金属球の表面に写り込んだ状態として描画されており、且つ、例EX3に示す第２環境E2に存在する光源Lの光が遮蔽されることによる金属球の影も、正方マーカである撮像対象OBの配置される平面上に描画されており、且つ、例EX3に示す第２環境E2に存在する光源Lの光による金属球の表面上での反射も、写り込んだユーザUの顔の一部が白飛び状態となるものとして描画されている。 In example EX4 of FIG. 2, image P3 is shown as an example of the drawn image PG(t) drawn according to examples EX1 to EX3 and superimposed on the first captured image P1(t), and the augmented reality display AR(t) As an example, superimposed display AR uses a metal ball (a ball with reflectance, etc. set on the surface) floating at a predetermined position on the imaging target OB, which is a square marker, as a predetermined three-dimensional model, and displays environmental information E(t). This is an example of a drawing that reflects the In the superimposed display AR, the user U and the like in the second environment E2 shown in example EX3 are depicted as being reflected on the surface of the metal sphere, and the light source L present in the second environment E2 shown in example EX3 The shadow of the metal sphere due to the blocking of the light is also drawn on the plane where the imaging target OB, which is a square marker, is placed, and the shadow of the metal sphere is also drawn on the plane where the imaging target OB, which is a square marker, is placed, and the light of the light source L existing in the second environment E2 shown in example EX3 The reflection on the surface of the metal ball is also depicted as having a portion of the reflected user U's face blown out.

以上、本実施形態によれば、拡張現実表示される対象となる第１撮像画像P1(t)のカメラとは別途のカメラで撮像された第２撮像画像P2(t)から環境情報E(t)を求めて拡張現実表示を行うことにより、第１撮像画像P1(t)のカメラでは取得し得ない光源等に関する情報を環境情報E(t)として反映して、光学的整合性を保った写実的なCG描画として拡張現実表示を得ることができる。 As described above, according to the present embodiment, the environmental information E(t ) and performs augmented reality display, information about the light source, etc. that cannot be acquired by the camera of the first captured image P1(t) is reflected as environmental information E(t), and optical consistency is maintained. Augmented reality display can be obtained as photorealistic CG drawing.

以下、追加例、補足例、代替例として利用可能な諸々の事項に関して説明する。 Below, various matters that can be used as additional examples, supplementary examples, and alternative examples will be explained.

（１） 認識部3では、第１撮像画像P1(t)からクエリ特徴情報を抽出して、リファレンス特徴情報として（撮像対象OBの候補ごとに）予め記憶されているものと照合することで、撮像対象OBを特定対象として認識してその位置姿勢OP(t)も認識するものとしたが、位置姿勢OP(t)が推定できれば、撮像対象OBは不特定なものであってもよい。例えば、任意の物体に起因しうるものとして、地面や壁といった平面領域を撮像対象OBとして特徴情報の抽出（及び特徴点の３次元分布の確認）により認識し、位置姿勢OP(t)を推定してもよい。描画部5で描画する所定の３次元モデルは、不特定の撮像対象OBに対して重畳するものとして、ユーザ指定などで与えるようにすればよい。 (1) The recognition unit 3 extracts query feature information from the first captured image P1(t) and compares it with what is stored in advance as reference feature information (for each candidate OB to be imaged). Although the imaging target OB is recognized as a specific object and its position and orientation OP(t) is also recognized, the imaging target OB may be unspecified as long as the position and orientation OP(t) can be estimated. For example, a plane area such as the ground or a wall that can be caused by an arbitrary object is recognized as the imaging target OB by extracting feature information (and checking the three-dimensional distribution of feature points), and estimating the position and orientation OP(t). You may. The predetermined three-dimensional model drawn by the drawing unit 5 may be given by user designation or the like to be superimposed on an unspecified imaging target OB.

（２） 生成部4で第２撮像画像P2(t)より環境マップとして生成する環境情報E(t)は、現時刻tの第２撮像画像P2(t)のみのテクスチャを貼り付けたものとして生成されるのではなく、１つ以上の過去時刻t-1,t-2,…,t-N(N≧1)の第２撮像画像P2(t-1),P2(t-2),…P2(t-N)のテクスチャも同様に貼り付けられたものとして生成されるようにしてもよい。この際、環境マップ内の同じ画素位置に複数の時刻の第２撮像画像の画素が対応する場合、現在時刻tに近い側の画素値を優先して割り当てるようにしてもよい。 (2) The environment information E(t) generated by the generation unit 4 as an environment map from the second captured image P2(t) is assumed to have the texture of only the second captured image P2(t) at the current time t pasted. Rather than being generated, the second captured images P2(t-1), P2(t-2),...P2 at one or more past times t-1, t-2,...,t-N (N≧1) The (t-N) texture may also be generated as a pasted texture. At this time, if pixels of the second captured image at a plurality of times correspond to the same pixel position in the environment map, the pixel value closer to the current time t may be assigned preferentially.

また、各回の処理タイミングである各時刻t,t-1,t-2,…,t-Nで常に環境マップに対して画素値を更新して上書きしていくのではなく、情報端末装置10（第２撮像部2）が事前に設定した一定量以上回転するごとに、環境マップの上書き更新を行うようにしてもよい。（例えば３回の処理タイミングごとに一定量以上の回転があった場合、上書き処理のタイミングはt,t-3,t-6,t-9等となる。）一方、情報端末装置10（第２撮像部2）の並進位置が閾値以上変化した場合、第２撮像画像P2(t)で累積的に上書きしていく環境マップを、初期値（例えば全画素に一定値を割り当てたもの）に戻す処理を行ってもよい。 In addition, instead of constantly updating and overwriting pixel values for the environment map at each time t, t-1, t-2, ..., t-N, which is the processing timing of each time, it is possible to The environment map may be overwritten and updated every time the imaging unit 2) rotates by a predetermined amount or more. (For example, if there is a rotation of more than a certain amount at every three processing timings, the overwriting processing timing will be t, t-3, t-6, t-9, etc.) On the other hand, the information terminal device 10 (the If the translational position of the second imaging unit 2) changes by more than a threshold, the environment map that is cumulatively overwritten with the second captured image P2(t) is changed to an initial value (for example, a constant value assigned to all pixels). You may also perform a process to return it.

以上のような、一定回転ごとの環境マップの上書き更新や、一定並進ごとの環境マップの初期値書き換え更新によれば、環境マップ（環境情報E(t)）を、現在の第２撮像画像P2(t)の投影範囲外に関して、過去に投影された第２撮像画像P2(t-k)(k>0)を利用して確保することで、現在の第２撮像画像P2(t)のみを利用する場合と比べて広範囲に環境マップを確保できる効果が得られる。なお、環境マップは第２撮像部2よりそのテクスチャが取得されるものであるため、並進移動があった場合、移動前の場所からは見えなかった箇所が見えてくることがあるため環境マップを初期化し、一方で、回転移動の場合は、環境マップ内のテクスチャ割り当て範囲を広げる移動であるため、環境マップに対して上書きを行っている。 According to the above-mentioned overwriting update of the environment map every fixed rotation and initial value rewriting update of the environment map every fixed translation, the environment map (environment information E(t)) can be updated to the current second captured image P2. By securing information outside the projection range of (t) by using the second captured image P2(t-k) (k>0) projected in the past, only the current second captured image P2(t) is used. This has the effect of securing an environmental map over a wider area than in the case of this method. Note that the texture of the environment map is acquired from the second imaging unit 2, so if there is a translational movement, parts that were not visible from the location before the movement may come into view, so the environment map is On the other hand, in the case of rotational movement, the environment map is overwritten because the movement expands the texture allocation range within the environment map.

なお、以上のような環境マップの更新判断に必要となる並進成分や回転成分の変化は、第２撮像部2のカメラの位置姿勢における並進成分や回転成分の変化として求めればよいが、これは、第１撮像部1のカメラと第２撮像部2のカメラとの相対的な位置姿勢（変換T）が時間変化しないものである場合、認識部3で得られる位置姿勢OP(t)（第１撮像部1のカメラの第１位置姿勢）から取得すればよい。一方、この相対的な位置姿勢が時間変化するものである（変換T=T(t)である）場合、第２撮像部2のカメラの位置姿勢（第２位置姿勢）を、第１撮像部1の第１位置姿勢を求めるのと同様の手法（認識部3が位置姿勢OP(t)を求めるのと同様の手法）で第２撮像画像P2(t)から求めて、この第２位置姿勢の変化に基づいて、環境マップの更新判断を行えばよい。（なお、このように第１位置姿勢及び第２位置姿勢の両方を各時刻tにおいて共通の３次元世界座標系で求めることで、時間変化する変換T(t)も算出することが可能となる。） Note that the changes in the translational and rotational components necessary for the above-mentioned environment map update judgment can be found as changes in the translational and rotational components in the position and orientation of the camera of the second imaging unit 2; , if the relative position/orientation (transformation T) between the camera of the first imaging unit 1 and the camera of the second imaging unit 2 does not change over time, the position/orientation OP(t) obtained by the recognition unit 3 (the 1 (the first position and orientation of the camera of the imaging unit 1). On the other hand, if this relative position and orientation changes over time (transformation T=T(t)), the position and orientation of the camera of the second imaging unit 2 (second position and orientation) is changed to the position and orientation of the camera of the first imaging unit. The second position and orientation is determined from the second captured image P2(t) using the same method as that used to determine the first position and orientation of P1 (the same method that the recognition unit 3 uses to determine the position and orientation OP(t)). The environment map may be updated based on changes in the environment map. (In this way, by calculating both the first position and orientation at each time t using a common three-dimensional world coordinate system, it is also possible to calculate the time-varying transformation T(t). .)

（３） 生成部4では、第２撮像画像P2(t)のみから環境情報E(t)を生成するのではなく、図１に点線矢印で示されるように、第１撮像部1の第１撮像画像P1(t)も追加で利用するようにしてもよい。なお、第１撮像画像P1(t)は、環境情報E(t)の環境マップが定義される位置姿勢OP(t)において既にそのまま得られているので、第２撮像画像P2(t)から環境マップに貼り付ける際に考慮した変換Tを用いずに、そのまま環境マップに貼り付けるようにすればよい。第１撮像画像P1(t)を追加利用する際も、上記（２）として第２撮像画像P2(t)に関して説明したのと同様の更新処理を行いながら環境マップとしての環境情報E(t)を得るようにしてもよく、この場合、位置姿勢OP(t)における並進成分や回転成分の変化に対する判定で、更新処理を行えばよい。 (3) The generating unit 4 does not generate the environmental information E(t) only from the second captured image P2(t), but instead generates the environmental information E(t) from the first image of the first image capturing unit 1, as shown by the dotted arrow in FIG. The captured image P1(t) may also be used additionally. Note that the first captured image P1(t) has already been obtained as is in the position and orientation OP(t) where the environment map of the environment information E(t) is defined, so the environment can be obtained from the second captured image P2(t). You can simply paste it directly onto the environment map without using the transformation T that was taken into consideration when pasting it onto the map. When additionally using the first captured image P1(t), the same update process as described for the second captured image P2(t) in (2) above is performed, and the environment information E(t) is updated as an environment map. In this case, the update process may be performed based on a determination regarding a change in the translational component or rotational component in the position/orientation OP(t).

（４） 表示部6はハードウェアとしてはディスプレイで構成され、描画部5において第１撮像画像P1(t)に対して拡張現実表示AR(t)を重畳した重畳画像PG(t)を表示するが、別の実施形態も可能である。すなわち、ヘッドマウントディスプレイ（HMD）における場合の光学シースルー型ディスプレイとして表示部6が構成される場合には、第１撮像画像P1(t)に相当する実際の景色としての第１環境E1が、当該HMDを装着するユーザから直接見える状態にあるため、描画部5では第１撮像画像P1(t)を読み込むことなく、拡張現実表示AR(t)のみを表示部6に出力して、表示部6ではこの拡張現実表示AR(t)のみを表示してもよい。この場合、当該HMDの視点の位置姿勢に第１撮像部1のカメラが配置されるように設定しておくことで、当該HMDを装着して拡張現実表示を見るユーザに対して、幾何的整合性を保った表示を提供することが可能となる。 (4) The display unit 6 is configured with a display as hardware, and the drawing unit 5 displays a superimposed image PG(t) in which an augmented reality display AR(t) is superimposed on the first captured image P1(t). However, other embodiments are also possible. That is, when the display unit 6 is configured as an optical see-through display in the case of a head-mounted display (HMD), the first environment E1 as an actual scenery corresponding to the first captured image P1(t) is Since the HMD is directly visible to the user wearing the HMD, the rendering unit 5 outputs only the augmented reality display AR(t) to the display unit 6 without reading the first captured image P1(t). Then, only this augmented reality display AR(t) may be displayed. In this case, by setting the camera of the first imaging unit 1 to be placed at the position and orientation of the viewpoint of the HMD, geometric alignment can be achieved for the user wearing the HMD and viewing the augmented reality display. This makes it possible to provide a display that maintains its character.

（５） 図４は、一般的なコンピュータ装置70におけるハードウェア構成の例を示す図である。情報端末装置10は、このような構成を有する１台以上のコンピュータ装置70として実現可能である。なお、２台以上のコンピュータ装置70で情報端末装置10を実現する場合、ネットワークNW経由で処理に必要な情報の送受を行うようにしてよい。コンピュータ装置70は、所定命令を実行するCPU（中央演算装置）71、CPU71の実行命令の一部又は全部をCPU71に代わって又はCPU71と連携して実行する専用プロセッサとしてのGPU（グラフィックス演算装置）72、CPU71（及びGPU72）にワークエリアを提供する主記憶装置としてのRAM73、補助記憶装置としてのROM74、通信インタフェース75、ディスプレイ76、マウス、キーボード、タッチパネル等によりユーザ入力を受け付ける入力インタフェース77、環境やユーザを撮像するカメラ78と、これらの間でデータを授受するためのバスBSと、を備える。 (5) FIG. 4 is a diagram showing an example of the hardware configuration of a general computer device 70. The information terminal device 10 can be realized as one or more computer devices 70 having such a configuration. Note that when the information terminal device 10 is implemented using two or more computer devices 70, information necessary for processing may be sent and received via the network NW. The computer device 70 includes a CPU (central processing unit) 71 that executes predetermined instructions, a GPU (graphics processing unit) as a dedicated processor that executes some or all of the instructions executed by the CPU 71 instead of the CPU 71 or in cooperation with the CPU 71. ) 72, RAM 73 as a main storage device that provides a work area for the CPU 71 (and GPU 72), ROM 74 as an auxiliary storage device, communication interface 75, display 76, input interface 77 that accepts user input from a mouse, keyboard, touch panel, etc. It includes a camera 78 that images the environment and the user, and a bus BS for exchanging data between them.

情報端末装置10の各機能部は、各部の機能に対応する所定のプログラムをROM74から読み込んで実行するCPU71及び／又はGPU72によって実現することができる。なお、CPU71及びGPU72は共に、演算装置（プロセッサ）の一種である。ここで、表示関連の処理が行われる場合にはさらに、ディスプレイ76が連動して動作し、データ送受信に関する通信関連の処理が行われる場合にはさらに通信インタフェース75が連動して動作する。第１撮像部1及び第２撮像部2はカメラ78（異なる２台のカメラとしてのカメラ78）で実現され、表示部はディスプレイ76として実現することで、拡張現実表示を行うことができる。 Each functional unit of the information terminal device 10 can be realized by a CPU 71 and/or a GPU 72 that read a predetermined program corresponding to the function of each unit from the ROM 74 and execute it. Note that both the CPU 71 and the GPU 72 are a type of arithmetic unit (processor). Here, when display-related processing is performed, the display 76 also operates in conjunction, and when communication-related processing regarding data transmission and reception is performed, the communication interface 75 further operates in conjunction. The first imaging unit 1 and the second imaging unit 2 are realized by a camera 78 (camera 78 as two different cameras), and the display unit is realized by a display 76, so that augmented reality display can be performed.

10…情報端末装置、1…第１撮像部、2…第２撮像部、3…認識部、4…生成部、5…描画部、6…表示部 10... Information terminal device, 1... First imaging section, 2... Second imaging section, 3... Recognition section, 4... Generation section, 5... Drawing section, 6... Display section

Claims (10)

撮像対象を撮像した第１撮像画像を得る第１撮像部と、
環境を撮像した第２撮像画像を得る第２撮像部と、
前記第１撮像画像を解析して、前記撮像対象を基準とした前記第１撮像部の第１位置姿勢を認識する認識部と、
前記第２撮像画像より、前記第１位置姿勢における環境情報を生成する生成部と、
前記第１位置姿勢に配置される拡張現実表示を、前記環境情報を反映して描画する描画部と、を備え、
前記生成部では、各時刻において認識される前記第２撮像部の第２位置姿勢における回転成分の時間変化が閾値を超えたと判定されるごとに第２撮像画像を追加で読み込んで上書きして更新することにより、前記第１位置姿勢における環境情報を生成することを特徴とする情報端末装置。 a first imaging unit that obtains a first captured image of the imaging target;
a second imaging unit that obtains a second captured image of the environment;
a recognition unit that analyzes the first captured image and recognizes a first position and orientation of the first imaging unit with respect to the imaging target;
a generation unit that generates environmental information in the first position and orientation from the second captured image;
a drawing unit that draws an augmented reality display placed in the first position and orientation, reflecting the environmental information ;
The generation unit additionally reads and overwrites a second captured image for updating each time it is determined that a time change in the rotational component in the second position and orientation of the second imaging unit recognized at each time exceeds a threshold value. An information terminal device that generates environmental information in the first position and orientation by doing so. 撮像対象を撮像した第１撮像画像を得る第１撮像部と、
環境を撮像した第２撮像画像を得る第２撮像部と、
前記第１撮像画像を解析して、前記撮像対象を基準とした前記第１撮像部の第１位置姿勢を認識する認識部と、
前記第２撮像画像より、前記第１位置姿勢における環境情報を生成する生成部と、
前記第１位置姿勢に配置される拡張現実表示を、前記環境情報を反映して描画する描画部と、を備え、
前記生成部では、各時刻において認識される前記第２撮像部の第２位置姿勢における並進成分の時間変化が閾値を超えたと判定されるごとに環境情報を初期値に設定して更新することにより、前記第１位置姿勢における環境情報を生成することを特徴とする情報端末装置。 a first imaging unit that obtains a first captured image of the imaging target;
a second imaging unit that obtains a second captured image of the environment;
a recognition unit that analyzes the first captured image and recognizes a first position and orientation of the first imaging unit with respect to the imaging target;
a generation unit that generates environmental information in the first position and orientation from the second captured image;
a drawing unit that draws an augmented reality display placed in the first position and orientation, reflecting the environmental information;
The generation unit updates the environmental information by setting it to an initial value each time it is determined that a time change in the translational component in the second position and orientation of the second imaging unit recognized at each time exceeds a threshold value. , an information terminal device that generates environmental information in the first position and orientation. 前記生成部は、前記第２撮像部の第２位置姿勢と前記第１位置姿勢との変換関係を用いて、前記環境情報を生成することを特徴とする請求項１または２に記載の情報端末装置。 The information terminal according to claim 1 or 2, wherein the generation unit generates the environment information using a conversion relationship between the second position and orientation of the second imaging unit and the first position and orientation. Device. 前記環境情報は、環境マップの情報を含むことを特徴とする請求項１ないし３のいずれかに記載の情報端末装置。 4. The information terminal device according to claim 1, wherein the environmental information includes information on an environmental map. 前記描画部は、前記環境情報に含まれる環境マップの情報を用いて、拡張現実表示されるモデル表面上での写り込みを反映することによって前記環境情報を反映して描画することを特徴とする請求項４に記載の情報端末装置。 The drawing unit is characterized in that it uses information on an environment map included in the environment information to reflect the environment information by reflecting the reflection on the surface of the model displayed in augmented reality. The information terminal device according to claim 4 . 前記描画部は、前記環境情報より前記第１位置姿勢における光源の情報を求めたうえで、当該光源を反映することによって前記環境情報を反映して描画することを特徴とする請求項１ないし５のいずれかに記載の情報端末装置。 5. The drawing unit calculates information about a light source in the first position and orientation from the environment information, and then reflects the light source to reflect the environment information and draw the image. The information terminal device according to any one of. 前記生成部は、前記第２撮像画像及び前記第１撮像画像より、前記第１位置姿勢における環境情報を生成することを特徴とする請求項１ないし６のいずれかに記載の情報端末装置。 7. The information terminal device according to claim 1, wherein the generation unit generates environmental information in the first position and orientation from the second captured image and the first captured image. 第１撮像部が、撮像対象を撮像した第１撮像画像を得ることと、
第２撮像部が、環境を撮像した第２撮像画像を得ることと、
前記第１撮像画像を解析して、前記撮像対象を基準とした前記第１撮像部の第１位置姿勢を認識することと、
前記第２撮像画像より、前記第１位置姿勢における環境情報を生成することと、
前記第１位置姿勢に配置される拡張現実表示を、前記環境情報を反映して描画することと、を備え、
前記生成することにおいては、各時刻において認識される前記第２撮像部の第２位置姿勢における回転成分の時間変化が閾値を超えたと判定されるごとに第２撮像画像を追加で読み込んで上書きして更新することにより、前記第１位置姿勢における環境情報を生成することを特徴とする方法。 The first imaging unit obtains a first captured image of the imaging target;
The second imaging unit obtains a second captured image of the environment;
Analyzing the first captured image to recognize a first position and orientation of the first imaging unit based on the imaging target;
Generating environmental information in the first position and orientation from the second captured image;
drawing an augmented reality display placed in the first position and orientation, reflecting the environmental information ;
In the generation, a second captured image is additionally read and overwritten each time it is determined that a time change in the rotational component in the second position and orientation of the second imaging unit recognized at each time exceeds a threshold value. The method is characterized in that the environmental information in the first position and orientation is generated by updating the environmental information in the first position and orientation. 第１撮像部が、撮像対象を撮像した第１撮像画像を得ることと、
第２撮像部が、環境を撮像した第２撮像画像を得ることと、
前記第１撮像画像を解析して、前記撮像対象を基準とした前記第１撮像部の第１位置姿勢を認識することと、
前記第２撮像画像より、前記第１位置姿勢における環境情報を生成することと、
前記第１位置姿勢に配置される拡張現実表示を、前記環境情報を反映して描画することと、を備え、
前記生成することにおいては、各時刻において認識される前記第２撮像部の第２位置姿勢における並進成分の時間変化が閾値を超えたと判定されるごとに環境情報を初期値に設定して更新することにより、前記第１位置姿勢における環境情報を生成することを特徴とする方法。 The first imaging unit obtains a first captured image of the imaging target;
The second imaging unit obtains a second captured image of the environment;
Analyzing the first captured image to recognize a first position and orientation of the first imaging unit based on the imaging target;
Generating environmental information in the first position and orientation from the second captured image;
drawing an augmented reality display placed in the first position and orientation, reflecting the environmental information ;
In the generation, the environment information is set to an initial value and updated every time it is determined that the temporal change in the translational component in the second position and orientation of the second imaging unit recognized at each time exceeds a threshold value. A method comprising: generating environmental information in the first position and orientation. コンピュータを請求項１ないし７のいずれかに記載の情報端末装置として機能させることを特徴とするプログラム。 A program for causing a computer to function as an information terminal device according to any one of claims 1 to 7 .
JP2020143726A 2020-08-27 2020-08-27 Information terminal device, method and program Active JP7365981B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020143726A JP7365981B2 (en) 2020-08-27 2020-08-27 Information terminal device, method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020143726A JP7365981B2 (en) 2020-08-27 2020-08-27 Information terminal device, method and program

Publications (2)

Publication Number Publication Date
JP2022038974A JP2022038974A (en) 2022-03-10
JP7365981B2 true JP7365981B2 (en) 2023-10-20

Family

ID=80498242

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020143726A Active JP7365981B2 (en) 2020-08-27 2020-08-27 Information terminal device, method and program

Country Status (1)

Country Link
JP (1) JP7365981B2 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015158862A (en) 2014-02-25 2015-09-03 株式会社ソニー・コンピュータエンタテインメント Image generation device, image generation method, program, and computer readable information storage medium
JP2015185176A (en) 2014-03-25 2015-10-22 メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツングｍｅｔａｉｏ ＧｍｂＨ Expression method and system for virtual object in visual field of reality environment

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015158862A (en) 2014-02-25 2015-09-03 株式会社ソニー・コンピュータエンタテインメント Image generation device, image generation method, program, and computer readable information storage medium
JP2015185176A (en) 2014-03-25 2015-10-22 メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツングｍｅｔａｉｏ ＧｍｂＨ Expression method and system for virtual object in visual field of reality environment

Also Published As

Publication number Publication date
JP2022038974A (en) 2022-03-10

Similar Documents

Publication Publication Date Title
JP6425780B1 (en) Image processing system, image processing apparatus, image processing method and program
CN104380338B (en) Information processor and information processing method
US10109107B2 (en) Method and system for representing a virtual object in a view of a real environment
CN110889890A (en) Image processing method and device, processor, electronic device and storage medium
WO2019035155A1 (en) Image processing system, image processing method, and program
Mori et al. Efficient use of textured 3D model for pre-observation-based diminished reality
JP7038683B2 (en) Synthesizers, methods and programs
US11967094B2 (en) Detecting device, information processing device, detecting method, and information processing program
JP7244810B2 (en) Face Texture Map Generation Using Monochromatic Image and Depth Information
JP2021056679A (en) Image processing apparatus, method and program
US11941729B2 (en) Image processing apparatus, method for controlling image processing apparatus, and storage medium
Leal-Meléndrez et al. Occlusion handling in video-based augmented reality using the kinect sensor for indoor registration
JP6579659B2 (en) Light source estimation apparatus and program
JP7365981B2 (en) Information terminal device, method and program
CN111710044A (en) Image processing method, apparatus and computer-readable storage medium
JP7319215B2 (en) Information systems, terminals and programs
Oishi et al. An instant see-through vision system using a wide field-of-view camera and a 3d-lidar
JP6341540B2 (en) Information terminal device, method and program
Yuan et al. 18.2: Depth sensing and augmented reality technologies for mobile 3D platforms
JP5865092B2 (en) Image processing apparatus, image processing method, and program
JP2023527438A (en) Geometry Recognition Augmented Reality Effect Using Real-time Depth Map
Murphy-Chutorian et al. Particle filtering with rendered models: A two pass approach to multi-object 3d tracking with the gpu
CN111260544A (en) Data processing method and device, electronic equipment and computer storage medium
CN116030228B (en) Method and device for displaying mr virtual picture based on web
US20230316640A1 (en) Image processing apparatus, image processing method, and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220707

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230905

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231010

R150 Certificate of patent or registration of utility model

Ref document number: 7365981

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150