JP2013125328A - Augmented reality display method - Google Patents

Augmented reality display method Download PDF

Info

Publication number
JP2013125328A
JP2013125328A JP2011272393A JP2011272393A JP2013125328A JP 2013125328 A JP2013125328 A JP 2013125328A JP 2011272393 A JP2011272393 A JP 2011272393A JP 2011272393 A JP2011272393 A JP 2011272393A JP 2013125328 A JP2013125328 A JP 2013125328A
Authority
JP
Japan
Prior art keywords
information
augmented reality
display
tag
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011272393A
Other languages
Japanese (ja)
Inventor
Seho Seo
世鎬 徐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
STELLA GREEN CORP
Original Assignee
STELLA GREEN CORP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by STELLA GREEN CORP filed Critical STELLA GREEN CORP
Priority to JP2011272393A priority Critical patent/JP2013125328A/en
Priority to PCT/JP2012/075700 priority patent/WO2013088819A1/en
Publication of JP2013125328A publication Critical patent/JP2013125328A/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

PROBLEM TO BE SOLVED: To solve the problem that, when a large portion of a display screen is occupied by a tag describing detailed information, the fun of augmented reality created by wonderful combination between an image of a real space and an image of augmented information image is undeniably spoiled.SOLUTION: Detailed information associated with an object is set in augmented information (tag). Before the detailed information for the object is displayed, respective display areas of the augmented information (tag) are selected by a user to enable the user to select detailed information needed by him or her.

Description

この発明は、コンピューター処理系において、カメラで撮影されている現実空間の撮影画像をディスプレイに表示するとともに、当該撮影画像中の対象物に関連して設定されている拡張情報を当該撮影画像に合成して当該ディスプレイに表示する拡張現実感表示方法に関し、とくに、撮影画像に合成表示される拡張情報に前記対象物に関連づけられた詳細情報を設定しておき、この詳細情報を利用者に提供する手法に関する。   In the computer processing system, the present invention displays a captured image of a real space captured by a camera on a display and combines extended information set in relation to an object in the captured image with the captured image. In particular, with regard to the augmented reality display method displayed on the display, in particular, detailed information associated with the object is set in the extended information synthesized and displayed on the captured image, and this detailed information is provided to the user. Concerning the method.

周知のように、カメラとディスプレイを備えた携帯型のコンピューター、いわゆるスマートフォンやタブレットコンピューターなどを主な対象として、さまざまな場面において拡張現実感表示技術をさまざまに活用する用途開発が大流行している。たとえば、２００９年発行の日経エレクトロニクス９月７日号「特集・拡張現実感」には拡張現実感表示技術の応用展開に関する当時の状況が詳しく解説されている。また下記特許文献に見られるような拡張現実感表示技術に関連した数多くの発明が創作されて特許出願されている。   As is well known, application development using various augmented reality display technologies in various situations is popular, mainly for portable computers equipped with cameras and displays, so-called smartphones and tablet computers. . For example, the Nikkei Electronics September 7 issue “Special Issue: Augmented Reality” published in 2009 explains in detail the situation at that time regarding application development of augmented reality display technology. A number of inventions related to augmented reality display technology as found in the following patent documents have been created and patent applications have been filed.

拡張現実感表示技術のわかりやすい典型的な応用はつぎのようなものである。たとえば自動車や電子機器などの大規模な展示会場において、来場者が持参している携帯型コンピューター（スマートフォンやタブレットコンピューターなど）のカメラで関心のある展示品を撮影すると、ディスプレイにその展示品を含む現実空間の画像が表示され、表示画像中の展示品に対応づける形態でタグと呼ぶ拡張情報が付加表示（合成表示）される。タグには、対象となっている展示品についての機能の説明や入手方法の説明などがテキストやイメージを用いて表現されている。   Typical applications of the augmented reality display technology that are easy to understand are as follows. For example, in a large-scale exhibition hall such as an automobile or electronic device, if you take an exhibit of interest with a camera of a portable computer (such as a smartphone or tablet computer) that visitors bring, the display will include that exhibit. An image of the real space is displayed, and extended information called a tag is additionally displayed (combined display) in a form associated with the exhibits in the display image. In the tag, descriptions of functions and how to obtain information about the exhibits are displayed using text and images.

特開２０１１−２４４０５８号公報JP 2011-244058 A 特開２０１１−２４２８１６号公報JP 2011-242816 A 特開２０１１−１２３８０７号公報JP 2011-123807 A 特開２０１１−２２６６２号公報JP 2011-22626 A 特開２０１１−８１５５６号公報JP 2011-81556 A 特開２０１１−２０４１１５号公報JP 2011-204115 A 特開２０１１−１３００２５号公報JP 2011-130025 A 特開２０１１−１２３７４１号公報JP 2011-123741 A

従来の拡張現実感表示方法においては、撮影画像中の対象物にタグで表現された拡張情報を付加表示するに際して、拡張情報の内容（たとえば機能の説明とか入手方法の説明など）が豊富になればなるほど、合成画像中に占めるタグの領域が大きくなり、タグによって隠れてしまう現実空間の画像領域が大きくなり、このことが以下のような問題を引き起こしていた。   In the conventional augmented reality display method, the content of the extended information (for example, explanation of functions or explanation of how to obtain it) can be abundant when additional information represented by tags is additionally displayed on the object in the captured image. The larger the tag area occupied in the composite image, the larger the real space image area hidden by the tag, which causes the following problems.

周知のように、タグ（拡張情報）は透明色で撮影画像に重なるように表示されるので、撮影画像がタグによって完全に見えなくなるわけではない。しかしながら、ディスプレイ画面の大部分をタグが占めるようになれば、現実空間の画像と拡張情報の画像の組み合わせの妙によって醸しだされる拡張現実感のおもしろさが損なわれるのは否めない。また、カメラを操作してディスプレイを見る利用者に対し、欲しているのかどうか分からない段階で内容豊富な拡張情報を大きなタグの形式で一括して提示することが、利用者のニーズにかなった良い方法であるとは言えないであろう。   As is well known, since the tag (extended information) is displayed in a transparent color so as to overlap the captured image, the captured image is not completely invisible by the tag. However, if the tag occupies most of the display screen, it cannot be denied that the augmented reality created by the unique combination of the real space image and the augmented information image is impaired. In addition, users who view the display by operating the camera can meet the user's needs by presenting abundant extended information in a large tag format at a stage when it is unknown whether they want it or not. It may not be a good method.

こうした事情に鑑みて創作された本発明の方法は、コンピューター処理系において、カメラで撮影されている現実空間の撮影画像をディスプレイに表示するとともに、当該撮影画像中の対象物に関連して設定されている一つ乃至複数の拡張情報を当該撮影画像に合成して当該ディスプレイに表示する拡張現実感表示方法において、前記拡張情報には前記対象物に関連づけられた詳細情報が設定され、対象物に対する詳細情報を表示する前に、前記拡張情報の表示領域のそれぞれは、使用者の選択を受け、使用者が必要とする前記詳細情報を選べる事を特徴とする。   In the computer processing system, the method of the present invention created in view of such circumstances displays a photographed image of a real space photographed by a camera on a display and is set in relation to an object in the photographed image. In the augmented reality display method in which one or more augmented information is combined with the captured image and displayed on the display, detailed information associated with the object is set in the augmented information. Before displaying the detailed information, each of the extended information display areas can be selected by the user and select the detailed information required by the user.

上記の本発明の方法において、望ましい一形態として、前記ディスプレイの画面において、表示された拡張情報を特定する利用者入力を受け付ける拡張情報指定受付領域の最小サイズが規定されており、拡張情報の表示サイズが拡張情報指定受付領域の最小サイズ以下となって拡張情報指定受付領域に内包される場合がある。   In the above-described method of the present invention, as a desirable mode, a minimum size of an extended information designation receiving area for receiving user input specifying the displayed extended information is defined on the display screen, and the display of the extended information is performed. The size may be smaller than the minimum size of the extended information designation receiving area and included in the extended information designation receiving area.

上記の本発明の方法において、望ましい一形態として、記コンピューター処理系は、前記カメラと前記ディスプレイを備えた使用者コンピューターと、使用者コンピューターと通信するサーバーコンピューターとによって構成され、サーバーコンピューターで所望の時点で編集した前記拡張情報と前記詳細情報を通信経由で随時共有する。   In the above-described method of the present invention, as a desirable mode, the computer processing system includes a user computer having the camera and the display, and a server computer that communicates with the user computer. The extended information and the detailed information edited at the time are shared as needed via communication.

この発明の方法においては、撮影画像に合成する拡張情報（前記のタグに相当）としては、前記の例における対象物に関する機能の説明や入手方法の説明といった詳細情報を含めないこととしている。こうした詳細情報は、拡張情報（タグ）と関連づけられた別のデータとして前記コンピューター処理系に存在している。   In the method of the present invention, the extended information (corresponding to the tag) to be combined with the photographed image does not include detailed information such as the description of the function related to the object and the description of the obtaining method in the above example. Such detailed information exists in the computer processing system as other data associated with the extended information (tag).

撮影画像に付加表示される拡張情報（タグ）は、詳細情報にアクセスするためのリンク要素としての機能するものであり、どのような種類（カテゴリー）の詳細情報にリンクしているのかが分かるようにデザインされた小型の絵文字や図案（アイコンのようなもの）からなっている。たとえば、詳細情報である「商品情報」にリンクすることを図案化したしたタグ（拡張情報）、詳細情報である「お買い得情報」にリンクすることを図案化したタグ（拡張情報）、詳細情報である「商品動画」にリンクすることを図案化したタグなどがある。なお、こうしたカテゴリー別の図案化は一例にすぎない。   The extended information (tag) added to the captured image functions as a link element for accessing the detailed information, so that it can be understood what type (category) of the detailed information is linked. It consists of small pictograms and designs (like icons) designed in the For example, a tag (extended information) designed to link to “product information”, which is detailed information, a tag (extended information) designed to link to “bargain information”, which is detailed information, and detailed information There are tags that are designed to link to a “product video”. Such design by category is only an example.

利用者は、撮影画像中の対象物に上記のようなタグが付加表示されたディスプレイ画面を見ることになる。そして、関心のある対象物に対応づけされた「お買い得情報」タイプのタグを興味を持ち、当該タグを指定操作すると（典型的なタッチパネル・ディスプレイでは指先でタグに触れる）、当該タグに関連づけされている詳細情報「お買い得情報」が前記ディスプレイに表示される。   The user sees the display screen in which the tag as described above is additionally displayed on the object in the captured image. Then, if you are interested in a “Bargain Information” type tag that is associated with the object you are interested in, and specify the tag (by touching the tag with a fingertip on a typical touch panel display), the tag is associated with the tag. The detailed information “Bargain information” is displayed on the display.

以上のように、この発明の方法によれば、ディスプレイに表示された拡張現実感画像を見て、画面中のタグを関心に応じて自らの意志で選択的に指定することで、タグが指し示している対象物についての詳細情報を表示させることができる。したがって、対象物に関する豊富な詳細情報を利用者に提示可能としていても、現実空間の撮影画像に合成表示するタブ（拡張情報）は小さなものでよくなり、前述した従来の問題点を解消することができる。   As described above, according to the method of the present invention, by looking at the augmented reality image displayed on the display and selectively specifying the tag in the screen according to interest, the tag indicates. Detailed information about the target object can be displayed. Therefore, even if abundant detailed information about the object can be presented to the user, the tab (extended information) to be synthesized and displayed on the captured image in the real space can be small, and the conventional problems described above can be solved. Can do.

展示会場におけるある局所の現実空間の様子を表している。It shows the appearance of a certain local real space in the exhibition hall. 図１の現実空間を携帯型コンピューターで撮影した場合に、そのディスプレイに表示された拡張現実感画像を表している。1 shows an augmented reality image displayed on the display when the real space of FIG. 1 is taken with a portable computer. タグ５ａ・５ｂ・５ｃおよびタグ６とそれぞれに対応づけされた詳細情報の関係を表している。This represents the relationship between the tags 5a, 5b, 5c and the detailed information associated with the tags 6 respectively.

＝＝＝前提となる技術事項＝＝＝
実施例として、前述した自動車とか電子機器などの展示会での応用を前提として説明する。展示会に来場した利用者が、カメラとタッチパネル・ディスプレイを備えた一般的なスマートフォンやタブレットコンピューター（これを携帯型コンピューターとする）を持参しており、これにより拡張現実感表示を活用するものとして説明を進める。 === Technical matters to be assumed ===
The embodiment will be described on the premise of application in an exhibition such as the above-described automobile or electronic device. Users who came to the exhibition bring a general smartphone or tablet computer with a camera and a touch panel display (this is called a portable computer), and this will utilize the augmented reality display. Proceed with the explanation.

拡張現実感表示を携帯型コンピューターで実行するために必要なソフトウエアをすべて当該携帯型コンピューターに実装しておき、当該携帯型コンピューターが他のコンピューターと通信することなく拡張現実感表示の処理を完遂できるスタンドアローン方式は周知である。また、携帯型コンピューターがインターネットやＬＡＮを通じてサーバーコンピューターと無線通信しつつ分散処理を行い、サーバーコンピューターと情報交換しながら携帯型コンピューターにおいて拡張現実感表示の処理を具現化する分散処理方式も周知である。この場合、サーバーコンピューターは多数の携帯型コンピューターと通信しながら同時並行して処理を進めることができる。   All the software necessary to execute augmented reality display on a portable computer is installed on the portable computer, and the processing of augmented reality display is completed without the portable computer communicating with other computers. The stand-alone system that can be used is well known. A distributed processing method is also known in which a portable computer performs distributed processing while wirelessly communicating with a server computer via the Internet or a LAN, and realizes augmented reality display processing in the portable computer while exchanging information with the server computer. . In this case, the server computer can proceed with processing simultaneously in parallel with a large number of portable computers.

上記したような基礎的な技術事項は当業者にとって自明であり、かつ、この発明の核心部分とは直接関係しないので、この明細書においては周知技術に関する冗長な説明はしない。本願の特許請求の範囲に記載した「コンピューター処理系」とは、上記のスタンドアローン方式であれば携帯型コンピューターを指し、上記の分散処理方式であれば携帯型コンピューターとサーバーコンピューターの両方を含むことになる。分散処理方式の場合、処理の分散の仕方はいろいろに実施できることは当業者にとって自明である。   Since the basic technical matters as described above are obvious to those skilled in the art and are not directly related to the core part of the present invention, a redundant description of well-known technology is not provided in this specification. The “computer processing system” described in the claims of the present application refers to a portable computer in the case of the above stand-alone method, and includes both a portable computer and a server computer in the case of the above distributed processing method. become. In the case of the distributed processing method, it is obvious to those skilled in the art that various ways of distributing the processing can be implemented.

つぎに撮影画像上に拡張画像（タグ）を位置決めする技術について触れる。位置決め技術としては、マーカー方式とマーカーレス方式の２種類が当業者に周知されている。以下の実施例においてはマーカー方式をとりあげて説明しているが、この発明の方法は位置決め方式に直接関係していないので、マーカーレス方式でも良いことはいうまでもない。   Next, a technique for positioning an extended image (tag) on a captured image will be described. As a positioning technique, two types, a marker method and a markerless method, are well known to those skilled in the art. In the following embodiments, the marker method is described as an example, but it goes without saying that the method of the present invention is not directly related to the positioning method and may be a markerless method.

＝＝＝実施例＝＝＝
図１は、展示会場におけるある局所の現実空間の様子を表している。机があり、その上に商品１と商品２が展示されている。商品１はノートパソコンであり、商品２はデスクトップパソコンの本体である。商品１には３個のマーカー３ａ・３ｂ・３ｃが付設されている。商品２には１個のマーカー４が付設されている。 === Example ===
FIG. 1 shows a situation of a certain local real space in the exhibition hall. There is a desk on which products 1 and 2 are displayed. Product 1 is a notebook computer, and product 2 is a desktop personal computer. The product 1 is provided with three markers 3a, 3b, and 3c. One marker 4 is attached to the product 2.

図２は、図１の現実空間を携帯型コンピューターで撮影した場合に、そのディスプレイに表示された拡張現実感画像を表している。表示画像は、机の上にある商品１と商品２の撮影画像が主体となり、商品１の３個のマーカー３ａ・３ｂ・３ｃにそれぞれ対応した３個のタグ５ａ・５ｂ・５ｃが透明色で付加表示（合成表示）され、商品２の１個のマーカー４に対応したタグ６が透明色で付加表示（合成表示）されている。ここで、タグとはアイコンのように図案化された拡張情報のことである。   FIG. 2 shows an augmented reality image displayed on the display when the real space of FIG. 1 is taken with a portable computer. The displayed images are mainly taken images of the product 1 and the product 2 on the desk, and the three tags 5a, 5b, and 5c corresponding to the three markers 3a, 3b, and 3c of the product 1 are transparent colors. Additional display (composite display) is performed, and the tag 6 corresponding to one marker 4 of the product 2 is additionally displayed (synthesized display) in a transparent color. Here, the tag is extended information designed like an icon.

コンピューター処理系において上記のような拡張現実感画像を表示する仕組みは説明するまでもなく周知であるが、いちおう肝となる部分の概要を説明する。各マーカーにはそれぞれ固有の情報が表現されており、コンピューター処理系はカメラによる撮影画像データ中に含まれる各マーカーを検出して固有情報を読み取り、読み取ったマーカー固有情報に基づいてこれに対応づけされているタグ情報を設定情報中から抽出し、タグ情報に基づく図案を撮影画像中の該当マーカーの位置に表示させる。   A mechanism for displaying an augmented reality image as described above in a computer processing system is well known, but an outline of the most important part will be described. Each marker expresses unique information, and the computer processing system detects each marker included in the image data captured by the camera, reads the unique information, and associates it with the read marker specific information. The extracted tag information is extracted from the setting information, and the design based on the tag information is displayed at the position of the corresponding marker in the captured image.

図３は、タグ５ａ・５ｂ・５ｃおよびタグ６とそれぞれに対応づけされた詳細情報の関係を表している。タグ５ａには商品１の仕様や機能の説明文書からなる詳細情報７ａが対応づけされている。タグ５ｂには商品１のお買い得な入手方法の説明文書からなる詳細情報７ｂが対応づけされている。タグ５ｃには商品１の利用シーンを撮影した商品動画からなる詳細情報７ｃが対応づけされている。タグ６には商品２のプロモーションビデオからなる詳細情報８が対応づけされている。   FIG. 3 shows the relationship between the tags 5a, 5b, 5c and the tag 6 and the detailed information associated with them. The tag 5a is associated with detailed information 7a consisting of a description document of specifications and functions of the product 1. The tag 5b is associated with detailed information 7b made up of a document explaining how to obtain the product 1 at a reasonable price. The tag 5c is associated with detailed information 7c including a product moving image obtained by photographing the usage scene of the product 1. Detailed information 8 consisting of a promotion video of the product 2 is associated with the tag 6.

上述した文書情報や動画情報などからなる詳細情報のデータは前記コンピューター処理系（前記サーバーコンピューターや携帯型コンピューター）のいずれかに蔵置されていてもいいし、インターネット上の他のコンピューターに蔵置されていてもよい。いずれにしても、各タブのデータにはそれらに対応づけされた詳細情報を取得可能にするリンク情報が含まれている。   The detailed information data including the document information and the moving image information described above may be stored in any of the computer processing systems (the server computer or the portable computer) or stored in other computers on the Internet. May be. In any case, the data of each tab includes link information that enables acquisition of detailed information associated with them.

携帯型コンピューターにおいて、ディスプレイに表示された図２の拡張現実感画像を見ている利用者が画面上のタグ５ａを指先で触れることで選択入力を与えると、タグ５ａに対応づけされている詳細情報７ａ（文書情報）が当該ディスプレイに表示される。このとき、それまで表示されていた拡張現実感画像に代えて文書情報を表示してもいいし、拡張現実感画像に重なるように別ウインドウを開いて文書情報を表示してもよい。他のタブを選択した場合も同様であるので説明を繰り返さない。   In a portable computer, when a user who is viewing the augmented reality image of FIG. 2 displayed on the display gives a selection input by touching the tag 5a on the screen with his / her fingertip, the details associated with the tag 5a Information 7a (document information) is displayed on the display. At this time, the document information may be displayed instead of the augmented reality image that has been displayed so far, or the document information may be displayed by opening another window so as to overlap the augmented reality image. The same applies to the case where other tabs are selected, so the description will not be repeated.

周知のように、携帯型コンピューターのディスプレイに表示されている図２のような拡張現実感画像を利用者の好みにより拡大・縮小することができる。拡張現実感画像を極端に縮小すると、表示されているタグ（拡張情報）の表示サイズが小さくなりすぎ、利用者が指先で触れることでタグを選択する操作がやりにくくなる。これを防ぐために、請求項２に定義したように、前記ディスプレイの画面において、表示された拡張情報を特定する利用者入力を受け付ける拡張情報指定受付領域の最小サイズが規定されており、拡張情報の表示サイズが拡張情報指定受付領域の最小サイズ以下となって拡張情報指定受付領域に内包される場合があるという構成を採用することが望ましい。   As is well known, the augmented reality image shown in FIG. 2 displayed on the display of the portable computer can be enlarged or reduced according to the preference of the user. If the augmented reality image is extremely reduced, the display size of the displayed tag (extended information) becomes too small, and it becomes difficult for the user to select the tag by touching with the fingertip. In order to prevent this, as defined in claim 2, the minimum size of the extended information designation receiving area for receiving user input for specifying the displayed extended information is defined on the display screen. It is desirable to adopt a configuration in which the display size may be smaller than the minimum size of the extended information designation receiving area and may be included in the extended information designation receiving area.

また、利用者に提示する拡張情報や詳細情報は適切に更新することが望ましい。この意味で、前記の分散処理方式を採用する場合、請求項３に定義したように、前記コンピューター処理系は、前記カメラと前記ディスプレイを備えた使用者コンピューターと、使用者コンピューターと通信するサーバーコンピューターとによって構成され、サーバーコンピューターで所望の時点で編集した前記拡張情報と前記詳細情報を通信経由で随時共有する方式を採用することが望ましい。   In addition, it is desirable to appropriately update the extended information and detailed information presented to the user. In this sense, when the distributed processing method is adopted, as defined in claim 3, the computer processing system includes a user computer having the camera and the display, and a server computer that communicates with the user computer. It is desirable to adopt a method in which the extended information and the detailed information edited at a desired time on the server computer are shared at any time via communication.

１…商品、２…商品、３ａ・３ｂ・３ｃ…マーカー、４…マーカー、５ａ・５ｂ・５ｃ・６…タグ（拡張情報）、７ａ・７ｂ・７ｃ・８…詳細情報。   DESCRIPTION OF SYMBOLS 1 ... Merchandise, 2 ... Merchandise, 3a * 3b * 3c ... Marker, 4 ... Marker, 5a * 5b * 5c * 6 ... Tag (extended information), 7a * 7b * 7c * 8 ... Detailed information.

Claims (3)

コンピューター処理系において、カメラで撮影されている現実空間の撮影画像をディスプレイに表示するとともに、当該撮影画像中の対象物に関連して設定されている一つ乃至複数の拡張情報を当該撮影画像に合成して当該ディスプレイに表示する拡張現実感表示方法において、
前記拡張情報には前記対象物に関連づけられた詳細情報が設定され、対象物に対する詳細情報を表示する前に、
前記拡張情報の表示領域のそれぞれは、使用者の選択を受け、使用者が必要とする前記詳細情報を選べる事を特徴とする拡張現実感表示方法。 In a computer processing system, a photographed image of a real space photographed by a camera is displayed on a display, and one or a plurality of extended information set in relation to an object in the photographed image is displayed in the photographed image. In the augmented reality display method of combining and displaying on the display,
Detailed information associated with the object is set in the extended information, and before displaying detailed information on the object,
An augmented reality display method, wherein each of the display areas of the extended information is selected by the user and the detailed information required by the user can be selected. 前記ディスプレイの画面において、表示された拡張情報を特定する利用者入力を受け付ける拡張情報指定受付領域の最小サイズが規定されており、拡張情報の表示サイズが拡張情報指定受付領域の最小サイズ以下となって拡張情報指定受付領域に内包される場合があることを特徴とする請求項１に記載の拡張現実感表示方法。   In the display screen, the minimum size of the extended information designation receiving area for receiving user input for specifying the displayed extended information is defined, and the display size of the extended information is equal to or smaller than the minimum size of the extended information designation receiving area. The augmented reality display method according to claim 1, wherein the augmented reality designation receiving area may be included. 前記コンピューター処理系は、前記カメラと前記ディスプレイを備えた使用者コンピューターと、使用者コンピューターと通信するサーバーコンピューターとによって構成され、サーバーコンピューターで所望の時点で編集した前記拡張情報と前記詳細情報を通信経由で随時共有する事を特徴とする請求項１〜２のいずれかに記載の拡張現実感表示方法。   The computer processing system includes a user computer having the camera and the display, and a server computer that communicates with the user computer, and communicates the extended information and the detailed information edited at a desired time on the server computer. 3. The augmented reality display method according to claim 1, wherein the augmented reality display method is shared at any time via the network.
JP2011272393A 2011-12-13 2011-12-13 Augmented reality display method Pending JP2013125328A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011272393A JP2013125328A (en) 2011-12-13 2011-12-13 Augmented reality display method
PCT/JP2012/075700 WO2013088819A1 (en) 2011-12-13 2012-10-03 Augmented reality display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011272393A JP2013125328A (en) 2011-12-13 2011-12-13 Augmented reality display method

Publications (1)

Publication Number Publication Date
JP2013125328A true JP2013125328A (en) 2013-06-24

Family

ID=48612276

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011272393A Pending JP2013125328A (en) 2011-12-13 2011-12-13 Augmented reality display method

Country Status (2)

Country Link
JP (1) JP2013125328A (en)
WO (1) WO2013088819A1 (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017040980A (en) * 2015-08-17 2017-02-23 コニカミノルタ株式会社 Content provision server, content provision method, and computer program
JP2017538202A (en) * 2014-10-31 2017-12-21 アリババ・グループ・ホールディング・リミテッドＡｌｉｂａｂａ Ｇｒｏｕｐ Ｈｏｌｄｉｎｇ Ｌｉｍｉｔｅｄ Method and apparatus for displaying object information on a screen display device
US9986113B2 (en) 2016-05-06 2018-05-29 Fuji Xerox Co., Ltd. Information processing apparatus and nontransitory computer readable medium
US10076998B2 (en) 2015-02-04 2018-09-18 Denso Corporation Image display control apparatus, electronic mirror system, and image display control program
US10382634B2 (en) 2016-05-06 2019-08-13 Fuji Xerox Co., Ltd. Information processing apparatus and non-transitory computer readable medium configured to generate and change a display menu
JP2020173817A (en) * 2018-08-24 2020-10-22 グーグル エルエルシー Smartphone including radar system, system, and method
US10890653B2 (en) 2018-08-22 2021-01-12 Google Llc Radar-based gesture enhancement for voice interfaces
US10930251B2 (en) 2018-08-22 2021-02-23 Google Llc Smartphone-based radar system for facilitating awareness of user presence and orientation
US11314312B2 (en) 2018-10-22 2022-04-26 Google Llc Smartphone-based radar system for determining user intention in a lower-power mode
JP7449672B2 (en) 2019-11-05 2024-03-14 ユニ・チャーム株式会社 Display control device, display control method, and display control program

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4236372B2 (en) * 2000-09-25 2009-03-11 インターナショナル・ビジネス・マシーンズ・コーポレーション Spatial information utilization system and server system
EP1965344B1 (en) * 2007-02-27 2017-06-28 Accenture Global Services Limited Remote object recognition
JP5295092B2 (en) * 2009-12-24 2013-09-18 三菱電機株式会社 Touch panel input device

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017538202A (en) * 2014-10-31 2017-12-21 アリババ・グループ・ホールディング・リミテッドＡｌｉｂａｂａ Ｇｒｏｕｐ Ｈｏｌｄｉｎｇ Ｌｉｍｉｔｅｄ Method and apparatus for displaying object information on a screen display device
US10076998B2 (en) 2015-02-04 2018-09-18 Denso Corporation Image display control apparatus, electronic mirror system, and image display control program
US10313827B2 (en) 2015-08-17 2019-06-04 Konica Minolta, Inc. Server and method for providing content, and computer-readable storage medium for computer program
JP2017040980A (en) * 2015-08-17 2017-02-23 コニカミノルタ株式会社 Content provision server, content provision method, and computer program
US10375258B2 (en) 2016-05-06 2019-08-06 Fuji Xerox Co., Ltd. Information processing apparatus and nontransitory computer readable medium
US10362184B2 (en) 2016-05-06 2019-07-23 Fuji Xerox Co., Ltd. Information processing apparatus and nontransitory computer readable medium
US11159687B2 (en) 2016-05-06 2021-10-26 Fujifilm Business Innovation Corp. Information processing apparatus and non-transitory computer readable medium
US10382634B2 (en) 2016-05-06 2019-08-13 Fuji Xerox Co., Ltd. Information processing apparatus and non-transitory computer readable medium configured to generate and change a display menu
US10469682B2 (en) 2016-05-06 2019-11-05 Fuji Xerox Co., Ltd. Information processing apparatus and nontransitory computer readable medium
US10764452B2 (en) 2016-05-06 2020-09-01 Fuji Xerox Co., Ltd. Information processing apparatus and non-transitory computer readable medium
US11800026B2 (en) 2016-05-06 2023-10-24 Fujifilm Business Innovation Corp. Information processing apparatus and non-transitory computer readable medium
US11558514B2 (en) 2016-05-06 2023-01-17 Fujifilm Business Innovation Corp. Information processing apparatus and non-transitory computer readable medium
US9986113B2 (en) 2016-05-06 2018-05-29 Fuji Xerox Co., Ltd. Information processing apparatus and nontransitory computer readable medium
US11176910B2 (en) 2018-08-22 2021-11-16 Google Llc Smartphone providing radar-based proxemic context
US10930251B2 (en) 2018-08-22 2021-02-23 Google Llc Smartphone-based radar system for facilitating awareness of user presence and orientation
US11435468B2 (en) 2018-08-22 2022-09-06 Google Llc Radar-based gesture enhancement for voice interfaces
US10890653B2 (en) 2018-08-22 2021-01-12 Google Llc Radar-based gesture enhancement for voice interfaces
US10936185B2 (en) 2018-08-24 2021-03-02 Google Llc Smartphone-based radar system facilitating ease and accuracy of user interactions with displayed objects in an augmented-reality interface
US11204694B2 (en) 2018-08-24 2021-12-21 Google Llc Radar system facilitating ease and accuracy of user interactions with a user interface
JP2020173817A (en) * 2018-08-24 2020-10-22 グーグル エルエルシー Smartphone including radar system, system, and method
US11314312B2 (en) 2018-10-22 2022-04-26 Google Llc Smartphone-based radar system for determining user intention in a lower-power mode
JP7449672B2 (en) 2019-11-05 2024-03-14 ユニ・チャーム株式会社 Display control device, display control method, and display control program

Also Published As

Publication number Publication date
WO2013088819A1 (en) 2013-06-20

Similar Documents

Publication Publication Date Title
WO2013088819A1 (en) Augmented reality display method
US10819768B2 (en) User interaction with desktop environment
US8976202B2 (en) Method for controlling the display of a portable computing device
US10210659B2 (en) Augmented reality system, method, and apparatus for displaying an item image in a contextual environment
US20150062158A1 (en) Integration of head mounted displays with public display devices
US20110093888A1 (en) User selection interface for interactive digital television
WO2022032916A1 (en) Display system
US20160210788A1 (en) Display control device, display control method, and program
US20190362563A1 (en) Method and apparatus for managing content in augmented reality system
Grubert et al. Exploring the design of hybrid interfaces for augmented posters in public spaces
CN104881423B (en) Information provider unit and information providing method
US20080282140A1 (en) Embedded website banner system and method
US20160171659A1 (en) Method for controlling the display of a portable computing device
US9542094B2 (en) Method and apparatus for providing layout based on handwriting input
TWI763971B (en) Devices, systems and methods for personalized banner generation and display
TWI514319B (en) Methods and systems for editing data using virtual objects, and related computer program products
WO2023274363A1 (en) Application icon searching method and apparatus and electronic device
JP7376191B2 (en) Guide device, guide system, guide method, program, and recording medium
Zhang et al. Towards Workplace Metaverse: A Human-Centered Approach for Designing and Evaluating XR Virtual Displays
CN105183292A (en) Method and system for displaying picture
KR20180071492A (en) Realistic contents service system using kinect sensor
CN111768269A (en) Panoramic image interaction method and device and storage medium
Hagen et al. Visual scoping and personal space on shared tabletop surfaces
JP7396326B2 (en) Information processing system, information processing device, information processing method and program
US20160034978A1 (en) Method, system and apparatus for associating merchant-supplied information with a fixed reference point in a virtual three-dimensional world