JP6156549B2 - 撮像装置、情報取得システム及びプログラム - Google Patents
撮像装置、情報取得システム及びプログラム Download PDFInfo
- Publication number
- JP6156549B2 JP6156549B2 JP2016095985A JP2016095985A JP6156549B2 JP 6156549 B2 JP6156549 B2 JP 6156549B2 JP 2016095985 A JP2016095985 A JP 2016095985A JP 2016095985 A JP2016095985 A JP 2016095985A JP 6156549 B2 JP6156549 B2 JP 6156549B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- image data
- subject
- building
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 140
- 230000009471 action Effects 0.000 claims description 33
- 238000001514 detection method Methods 0.000 claims description 30
- 230000002093 peripheral effect Effects 0.000 description 27
- 238000000034 method Methods 0.000 description 25
- 230000008569 process Effects 0.000 description 24
- 230000005540 biological transmission Effects 0.000 description 19
- 230000006870 function Effects 0.000 description 16
- 230000001133 acceleration Effects 0.000 description 14
- 230000008859 change Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 239000000284 extract Substances 0.000 description 8
- 230000003190 augmentative effect Effects 0.000 description 7
- 239000002131 composite material Substances 0.000 description 7
- 238000012508 change request Methods 0.000 description 5
- 101150107506 ARIH2 gene Proteins 0.000 description 4
- 102100038513 E3 ubiquitin-protein ligase ARIH2 Human genes 0.000 description 4
- 101150076105 ari-2 gene Proteins 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000003825 pressing Methods 0.000 description 4
- 101150021453 ARI1 gene Proteins 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 3
- 101150009632 prx2 gene Proteins 0.000 description 3
- 102100029648 Beta-arrestin-2 Human genes 0.000 description 2
- 101100109996 Homo sapiens ARRB2 gene Proteins 0.000 description 2
- 101100166349 Homo sapiens CBY1 gene Proteins 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 102100026774 Protein chibby homolog 1 Human genes 0.000 description 2
- 101100002079 Schizosaccharomyces pombe (strain 972 / ATCC 24843) arb2 gene Proteins 0.000 description 2
- 101150081937 arb1 gene Proteins 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 235000013305 food Nutrition 0.000 description 2
- 101100323945 Arabidopsis thaliana ARI3 gene Proteins 0.000 description 1
- 101100323951 Arabidopsis thaliana ARI4 gene Proteins 0.000 description 1
- 229910000906 Bronze Inorganic materials 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 239000010974 bronze Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- KUNSUQLRTQLHQQ-UHFFFAOYSA-N copper tin Chemical compound [Cu].[Sn] KUNSUQLRTQLHQQ-UHFFFAOYSA-N 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0207—Discounts or incentives, e.g. coupons or rebates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
- H04N21/4334—Recording operations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
- H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
- H04N21/8153—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
- H04N1/00323—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a measuring, monitoring or signaling apparatus, e.g. for transmitting measured information to a central location
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2101/00—Still video cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
- H04N2201/3253—Position information, e.g. geographical position at time of capture, GPS data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/3273—Display
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Strategic Management (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Finance (AREA)
- Computer Graphics (AREA)
- Ecology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Environmental Sciences (AREA)
- Remote Sensing (AREA)
- Environmental & Geological Engineering (AREA)
- Emergency Management (AREA)
- Biodiversity & Conservation Biology (AREA)
- General Business, Economics & Management (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- Marketing (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Description
本願は、2010年2月8日に、日本に出願された特願2010−025998号に基づき優先権を主張し、その内容をここに援用する。
図1において、情報取得システムは、撮像装置の一例であるデジタルカメラ1と、情報検索システム2とから構成され、デジタルカメラ1は無線通信により無線基地局3とデータ通信を行うことにより、この無線基地局3及びインターネットなどの情報通信網4を介して、情報検索システム2(或いは、後述する情報検索サーバ21)とデータの送受信を行う。なお、本実施形態における撮像装置とは、上述のデジタルカメラ1やカメラ付携帯電話などのような撮像機能付の携帯型端末である。例えば、デジタルカメラ1は、ブラウザ機能を有しており、制御部11、送受信部12、撮像部13、GPS(Global Positioning System)14、記憶部15、方位センサ16(方位角検出部)、表示部17及びタイマ18を有している。ここで、本実施形態における無線通信とは、伝送路として線を使わなく、電波、光や音波などによる通信を含むものである。
表示部17は、撮像部13が撮像している画像データ、またはユーザにより表示する画像として選択されて制御部11が記憶部15から読み出した画像データを表示する。
また、表示部17は、後述するように、情報検索システム2から受信した画像データ、あるいはユーザが入力した文字データなどの表示を、上記制御部11の制御により行う。
送受信部12は、無線通信により無線基地局3と送受信を行い、情報通信網4を介して、情報検索システム2との間にて、画像データ、文字データあるいは制御信号などのデータの送受信を行う。
データベース22には、図2に示す建造物テーブルのように、建造物を識別するための建造物識別情報と、建造物の名称である建造物名称と、建造物情報(住所、電話番号、種別、建造物を中心とした周辺画像データなどの情報)と、建造物の緯度経度などによる位置情報と、建造物の説明(店舗であれば店が記載する情報)と、投稿情報(訪れたユーザの評価などのコメント、及びユーザの投稿した画像データ等)とが記憶されている。
情報検索サーバ21は、入力される上記位置情報及び上記方位情報を用い、位置情報の示した緯度経度の位置から、方位情報の示す方向において、最も近い距離にある建造物を探索し、探索された建造物の建造物識別情報を取得する。
また、情報検索サーバ21は、探索して取得した建造物の建造物識別情報に対応する建造物を、上記建造物テーブルから検索し、検索された建造物の各情報(建造物名称、建造物情報、など)をデジタルカメラ1に送信する。なお、情報検索サーバ21は、デジタルカメラ1に送信する上記の建造物の各情報を、例えば送受信データ容量などの必要に応じて、選択的に送信するようにしてもよい。その場合、情報検索サーバ21は、上記の建造物の各情報のうち残りの情報を、所定の操作(例えば、デジタルカメラ1からの要求など)などによって再度デジタルカメラ1に送信するようにしてもよい。
次に、図1及び図3、並びに図4から図6を用いて本実施形態の動作を説明する。図3はデジタルカメラ1を建造物に向けて撮像している状態で情報検索を行いたい場合の本実施形態における情報検索処理の動作例を示すフローチャートである。図4から図6は、デジタルカメラ1の表示部17に表示される画面及びデジタルカメラ1の撮像ボタンB1の配置を示した図である。
以下の説明において、例えば、ユーザが繁華街を歩きながら、夕食を食べるレストランを探索している状態にて説明する。
ユーザは繁華街を徘徊しつつ、気に入った外観のレストランに対し、デジタルカメラ1のレンズを向け(ステップS1)、情報を得たい外観のレストランを見つけた場合、図4に示されるように、デジタルカメラ1の画像表示欄MPに設けられているブラウズアイコンI1をタッチする(押下する)ことによりブラウズアイコンI1が選択される(ステップS2)。
なお、上述のステップS2は、デジタルカメラ1の撮像ボタンB1を押下した後に、撮像された上記レストランの画像が表示される画像表示欄MPを見ながらブラウズアイコンI1をタッチして選択するようにしてもよい。
そして、制御部11は、画像データ及び上記関連情報を記憶部15に書き込んだ後、デジタルカメラ1を識別するためのカメラ識別情報(ユーザに付与されたユーザの識別情報あるいはデジタルカメラ1に付与された識別情報)と、上記位置情報と、上記方位情報とを含む検索依頼信号を、送受信部12を介して情報検索システム2へ送信する(ステップS5)。なお、制御部11は、上述のステップS3〜ステップS5において、上記画像データ及び上記関連情報などを記憶部15に書き込まずに送受信部12を介して上記検索依頼信号を情報検索システム2へ送信するようにしてもよい。
これにより、制御部11は、CMアイコンI2が選択されたことを、上記CMアイコンI2が選択されたことを示す信号が入力されることにより検出し、検索結果情報に含まれるレストランのコマーシャル情報(メニューや、席数や、店内画像や、シェフの今日のおすすめ料理など)を、表示部17を介して情報表示欄SPに表示する。また、このコマーシャル情報に店内画像などの画像データが含まれている場合、制御部11は、その画像データを情報表示欄SPに表示する。
これにより、制御部11は、投稿閲覧アイコンI3が選択されたことを、上記投稿閲覧アイコンI3が選択されたことを示す信号が入力されることにより検出し、検索結果情報に含まれる他のユーザの書き込んだ投稿情報(コメント)を、情報表示欄SPに表示部17を介して表示する。 そして、上記の投稿情報が複数ある場合、制御部11は、例えば、投稿された日付順に複数の投稿情報を情報表示欄SPに表示する。
そして、例えば、制御部11は、図5において、情報表示欄SPの左端から右方向にスライドするようにタッチされたことを示す信号を検出した場合、情報表示欄SPの表示を終了して、図4のように画像表示欄MPに上記レストランの画像を表示部17を介して表示する。なお、例えば、制御部11は、情報表示欄SPに投稿情報を表示中で、投稿閲覧アイコンI3が選択されたことを示す信号を検出した場合に、情報表示欄SPの表示又は投稿情報の表示を終了するようにしてもよい。
なお、制御部11は、情報表示欄SPに表示されたその店内画像などをタッチされたことを示す信号を検出すると、その店内画像の拡大画像又は縮小画像を情報表示欄SP(又は画像表示欄MP)に表示する。
これにより、制御部11は、メールアイコンI4が選択されたことを、上記メールアイコンI4が選択されたことを示す信号が入力されることにより検出し、図6に示すような入力欄IPを、表示部17を介して画像表示欄MPの一部に表示する。ここで、入力欄IPは、ユーザが情報などを入力するテキスト欄Tと、タッチ画面型キーボード部Kと、で構成されている。この入力欄IPは、ユーザが、後述する投稿情報、店舗名や年度を入力する際などに使用される。
そして、制御部11は、終了アイコンEが選択されたことを示す信号が入力されることにより、終了アイコンEが選択されたことを検出した場合、情報検索の処理を終了する。
一方、制御部11は、終了アイコンEが選択されたことを示す信号が入力されず、終了アイコンEが選択されたことを検出しない場合、処理をステップS1に戻し、デジタルカメラ1の撮像処理及び情報検索処理を継続する。
この際、比較結果として周辺画像データの建造物と、画像データの建造物とが同様でないと判定した場合、サーバ21は、位置情報及び方位情報により次に距離的に近い建造物を地図データから抽出し、再度特徴量の比較を行い、新たに抽出された建造物の周辺画像データと、撮像している画像データとの類似性の評価を行うようにしても良い。
次に、図1及び図7、並びに図4から図6を用いて本実施形態の動作を説明する。図7はデジタルカメラ1により、建造物を撮像した後、記憶部15に記憶されている画像データを読み出し、その画像データに対する情報検索を行う場合において、本実施形態における情報検索処理の動作例を示すフローチャートである。
以下の説明において、例えば、ユーザが新宿の繁華街を徘徊しつつ、夕食を食べるレストランを探索し、いくつかのレストランの画像データを撮像してから、そのなかから食事をするレストランを探す状態を示す例を示す。
そして、制御部11は、撮像ボタンB1が押下されたことを示す信号が入力されることにより、撮像ボタンB1が押下されたことを検出し、撮像部13の撮像している上記レストランの画像データに画像識別情報を付与し、この画像識別情報に対応させ、画像データと撮像した時刻とを記憶部15に対して書き込んで記憶させる(ステップS13)。
そして、制御部11は、撮像ボタンB1が押下された時点において、GPS14が取得した位置情報と、方位センサ16が取得した方位情報とを、上記画像識別情報に対応させ、記憶部15に書き込み、記憶させる(ステップS14)。
このとき、読み出しアイコンRが選択されたことを示す信号が入力されると、制御部11は、読み出しアイコンRが選択されたことを検出し、情報の探索を開始するため、処理をステップS16へ進める。なお、読み出しアイコンRは、読み出しボタン(不図示)としてもよい。その場合、読み出しボタンは、撮像ボタンB1のようにデジタルカメラ1本体に設ければよい。 一方、読み出しアイコンRが選択されたことを示す信号が入力されない場合又は記憶部15に画像が記憶されていない場合、制御部11は、新たな撮像処理を行うため、処理をステップS11の状態に戻す。
また、1ページにサムネイル画像が入りきらない場合(或いは1枚ずつ表示する場合)、ユーザが画像表示欄MPに表示された画像を所定の方向にスライドさせるようにタッチすると、前ページ又は次ページのサムネイル画像を画像表示欄MPに表示する。この時、制御部11は、画像表示欄MPに表示された画像が所定の方向にスライドさせるようにタッチされたことを示す信号を検出することで、前ページ又は次ページのサムネイル画像を画像表示欄MPに表示部17を介して表示する。
これにより、制御部11は、ブラウズアイコンI1が押下されたことを示す信号が入力されると、選択された画像データの画像識別情報により、記憶部15からこの画像識別情報に対応する位置情報及び方位情報を読み出し、カメラ識別情報、位置情報及び方位情報とを含む検索依頼信号を、送受信部12を介して情報検索システム2へ送信する(ステップS17)。
次に、図1及び図8、並びに図4から図6を用いて本実施形態の動作を説明する。図8はデジタルカメラ1に対して、ユーザが店舗名を入力することにより、データベース22に記憶されている対応する店舗名の図2の建造物テーブルから、入力した店舗名のレストランなどの情報検索を行いたい場合において、本実施形態における情報検索処理の動作例を示すフローチャートである。
以下の説明において、例えば、原宿にて夕食を行う場合、知人から聞いたレストランの情報を確認する状態を示す。 ユーザが検索アイコンI5をタッチにより選択すると、上記周辺回路は検索アイコンI5が選択されたことを示す信号を制御部11に出力する。
これにより、制御部11は、検索アイコンI5が選択されたことを、上記検索アイコンI5が選択されたことを示す信号が入力されることにより検出し、図6に示すような入力欄IPを、表示部17を介して画像表示欄MPの一部に表示する。
そして、ユーザが入力欄IPのテキスト欄Tに対し、タッチ画面型キーボード部Kを用いて検索を行いたいレストランの店舗名を書き込み(ステップS21)、ユーザが検索アイコンI5を再度タッチする(ステップS22)。
次に、サーバ21は、上記検索依頼信号を入力すると、データベース22における建造物テーブルから、上記店舗名に対応する建造物(店舗)の情報(店舗情報、図2のテーブルにおける各情報)を読み出す(ステップS24)。
店舗情報が送受信部12を介して受信されると、制御部11は、表示部17を介して、図5の画像表示欄MPに建造物情報に含まれる店舗周辺の画像データを表示するとともに、情報表示欄SPに建物情報を表示する(ステップS26)。例えば、レストランが、どのような種類(中華、和風、フレンチ、イタリアンなど)であるかの情報と、電話番号となどが表示される。
また、ユーザがCMアイコンI2をタッチにより選択すると、制御部11は、CMアイコンI2が選択されたことを検出し、検索結果情報に含まれるレストランのコマーシャル情報(メニューや、シェフの今日のおすすめ料理など)を、情報表示欄SPに表示部17を介して表示する。
制御部11は、投稿閲覧アイコンI3が選択されたことを示す信号が入力されることにより、投稿閲覧アイコンI3が選択されたことを検出し、検索結果情報に含まれる他のユーザの書き込んだ投稿情報を、情報表示欄SPに表示部17を介して表示する。
このとき、制御部11は、ユーザが終了アイコンEをタッチにより終了アイコンEが選択されたこと示す信号が周辺回路から入力された場合、ブラウズの処理を終了する。一方、制御部11は、終了アイコンEが選択されたことを示す信号が入力されない場合、処理をステップS21に戻し、店舗の情報の検索を継続する。
データベース22の建造物テーブルは、上述した建造物が店舗(レストランや会社も含む)である場合、この店舗毎に割引クーポンのデータが記憶されている構成としてもよい。
そして、サーバ21は、検索結果情報に割引クーポン情報を付加し、デジタルカメラ1へ送信する。
ユーザが上記割引クーポン情報を用いて、食事をしたり、買い物をしたりすると、サーバ21は、割引クーポン情報の使用の有無からユーザが食事あるいは買い物をしたかの有無を検出する。例えば、上記割引クーポン情報がデジタルカメラ1の情報表示欄SPに表示されるバーコード(2次元バーコードを含む)などの場合、店舗の読み取り機がそのバーコードを読み取り、デジタルカメラ1から送信されるカメラ識別情報、及び買い物(または食事)の料金ととともに、割引クーポン情報が使用されたことを示す利用情報を情報検索システム2へ送信する。
そして、サーバ21は、建造物識別情報に対応して、利用した金額及び上記情報の利用段階に対応する課金を、上記課金テーブルに履歴として書き込み、積算値に新たな課金を加算して積算値の更新を行う。
サーバ21は、ユーザが割引クーポン情報を店舗で利用する毎に、割引クーポン情報を用いた際の利用金額に応じた(例えば、利用金額にポイント係数を乗して計算した)ポイントを求め、データベース22におけるユーザ登録テーブルにおいて、求めたポイントを、カメラ識別情報に対応して積算する。
また、サーバ21は、投稿情報を送信してきたユーザに対し、予め設定された値のポイントを、上記ユーザ登録テーブルに、カメラ識別情報に対応して積算する。 上記ポイントはお金の代わりに、代金支払いにおいて割引クーポン情報とともに使用することができる。
ここで、サーバ21は、デジタルカメラ1に対して、最初の段階において投稿情報として、ニックネームと表題とを、投稿識別情報とともに送信するようにしてもよい。 そして、制御部11は、最初に情報表示欄SPにニックネームと表題のみを複数表示する。そして、ユーザは、その複数表示されたなかから、気になる投稿情報のニックネームと表題とをタッチして選択する。これにより、周辺回路は、ニックネームと表題とが選択されたことを示す信号と、選択された投稿情報の投稿識別情報を制御部11に対して送信する。
これにより、制御部11は、情報検索システム2に対して、投稿識別情報とともに投稿情報送信依頼を送信する。
ここで、サーバ21は、各投稿情報に対して、識別のための投稿識別情報を付与し、カメラ識別情報と対応させて、ユーザ登録テーブルに書き込んで記憶させている。
なお、本実施形態においては、制御部11は、情報検索システム2からの文字データ及び画像データを、送受信部12を介して受信すると、情報表示欄SPに文字データを表示し、画像データを画像表示欄MPに表示してもよい。
そして、サーバ21は、ユーザに投稿情報を選択させる、最初のニックネーム及び表題の表示段階において、投稿情報の選択された回数の多い順に、すなわち参照回数の多いユーザのニックネームと表題とを、情報表示欄SPに表示する順位を上位とした表示リストを、デジタルカメラ1へ送信する。
これにより、制御部11は、上記表示リストに従い、情報表示欄SPにニックネームと表題を順次表示する。
また、本実施形態においては、データベース22は、各緯度経度における建物及び風景が年度ごとに撮影された画像データが、緯度経度毎に対応して記憶された過去画像テーブルを有するようにしてもよい。
ユーザが過去画像アイコンI6をタッチにより選択すると、上記周辺回路は過去画像アイコンI6が選択されたことを示す信号を制御部11に出力する。
これにより、制御部11は、過去画像アイコンI6が選択されたことを、上記過去画像アイコンI6が選択されたことを示す信号が入力されることにより検出し、図6に示すような入力欄IPを、表示部17を介して画像表示欄MPの一部に表示する。
そして、ユーザは、テキスト欄Tにタッチ画面型キーボード部Kを用いて年度(例えば、西暦)を記入した後、過去画像アイコンI6(又はブラウズアイコンI1)をタッチする。
年度のデータを読み込んだ後、制御部11は、過去画像検索要求を、読み込んだ年度と、位置情報と、方位情報と、カメラ識別情報とともに、情報検索システム2へ送信する。
これにより、ユーザは、過去の各年度にどのような建造物があったのか、あるいは何もなく風景のみであったのかなどの情報を得ることができる。
また、検索対象の年度が、写真が無い時代であれば、その時代にかかれた風景画、あるいは想像して作成されたCG(Computer Graphics)の画像データを、写真の画像データ
に代えて、年度に対応して、記憶部15の上記過去画像テーブルに記憶させておいても良い。
すでに述べたように、図1の構成において、制御部11は、GPS14から得られたデジタルカメラ1自身の存在位置を示す緯度経度情報(位置情報)、方位センサ16(方位角検出部)で得られたデジタルカメラ1の光学軸の方向(撮影している方向)を示す方位角からなる方位情報などを、撮像部16が被写体を撮像した画像データに画像識別情報を付加し、記憶部15に撮像順に書き込む。
この図1の構成に対して、図9に示すように、AR情報の取得及び記憶のための機能として、ホールド制御部31とAR情報記憶部30とを新たに付加する。図9は、AR情報を取得及び記憶する機能を有する情報取得システムの構成例を示すブロック図である。
制御部11は、このAR情報のうちいずれかを、スルー画像(被写体を撮像した画像)の画像データに対して重ね合わせて表示するタグ(拡張現実のオブジェクト)とするかは、ユーザにより任意に設定されるように構成しても良い。
ここでスルー画像とは、撮像部13が撮像素子に結像された画像を連続的に画像データとして制御部11へ出力し、制御部11が順次表示部17に表示する画像データである。
ここで、制御部13は、焦点距離及び倍率等と、画角との対応を示すテーブルを記憶部15に予め記憶させておき、画像データを取得した際の焦点距離及び倍率等により画像の画角情報を求める。
また、本実施形態におけるデジタルカメラ1は、AR情報を取得するAR情報取得モードまたは通常の撮像モードがある。制御部11は、デジタルカメラ1の筐体に設けられているAR情報取得モードのボタン(AR情報取得ボタンARB1)の押下、あるいは表示部17に表示されているAR情報取得モードのアイコン(AR情報取得アイコンARI1)をタッチすることにより、制御部11は、ボタンの押下をスイッチからの信号を検出あるいは表示部17におけるアイコンのタッチをタッチセンサにより検出し、AR情報取得モードあるいは通常の撮像モードのいずれかとする制御を行う。
ここで、制御部11は、方位角の変化を、所定の周期毎に方位角を検出し、すでに記憶部15の方位角記憶部に記憶されている方位角から、予め設定した角度を超えて方位角が変化すると、方位角の変化として検出し、この時点の方位角を新たに方位角記憶部に記憶させる。
また、情報検索サーバ21は、画角情報と、当該画角に対応した検索距離とが記載されたデータベース22の検索距離テーブルから、画角情報に対応した検索距離を読み出すことによりAR情報の検索距離を求める。
そして、情報検索サーバ21は、経度緯度情報に基づく座標位置、デジタルカメラ1のレンズの光軸の方位角、検索距離により、図12に示す検索範囲を求め、この検索範囲にある建造物識別情報を、データベース22の地図データから読み出す。
また、情報検索サーバ21は、読み出した建造物識別情報により、データベース22内の建造物テーブルから、建造物のAR情報を読み出す。
情報検索サーバ21は、読み出したAR情報を、対応する建造物識別情報とともに、デジタルカメラ1に対して送信する。
また、制御部11は、ホールド制御部31からホールド制御信号を受信すると、ホールドされた際の緯度経度情報、方位情報及び画角情報と、AR情報取得要求にて情報検索システム2から送信されるAR情報及びこのAR情報の建造物を識別する建造物識別情報とを、ホールドした際の画像データの画像識別情報毎に、AR情報記憶部30に対して記録する処理を行う。
制御部11は、上述したように画像識別情報毎に生成され、建造物識別情報(建造物のAR情報が記憶されている場所を示すURL)と、この建造物のAR情報(緯度経度情報を含む)と、ホールド制御信号が入力されてホールドされた際のデジタルカメラ1自身の緯度経度情報、方位情報及び画角情報とを、AR情報記憶部30に対してAR情報テーブルとして書き込み記憶する。
また、制御部11は、ホールド制御信号が入力されると、その時点において撮像部13の撮像素子に結像されている画像データを、この画像データに付与した画像識別情報に対応させて記憶部15に書き込んで記憶させる。
そして、ホールド制御部31は、AR情報取得ボタンが押下された場合、あるいはAR情報取得を示すアイコンがタッチされた場合、画像データとAR情報とを記録する信号が入力されたことを検出し、制御部1に対してホールド制御を行うホールド制御信号を出力する。このように、ホールド制御部31は、ユーザのデジタルカメラ1に対するモーション(アクション、操作、動作)によって、画像データとAR情報とを記録する信号が入力されたことを検出し、制御部1に対してホールド制御を行うホールド制御信号を出力する。
上記加速度センサを用いた加速度検出において、ホールド制御部31は、予め設定された閾値以上の加速度データが加速度センサから供給されると、ホールド指示の制御信号として、ホールド制御信号を制御部11に対して出力する。このように、ホールド制御部31は、端末(例、デジタルカメラ1)のモーションによって、画像データとAR情報とを記録する信号が入力されたことを検出し、制御部1に対してホールド制御を行うホールド制御信号を出力する。
上記画像パターンの変化の検出において、ホールド制御部31は、予め設定された閾値以上の画像パターンの変化を検出すると、ホールド制御を行う制御信号として、ホールド制御信号を制御部11に対して出力する。
上記仰角センサを用いた仰角情報の検出において、ホールド制御部31は、予め設定された閾値以上の仰角変化が仰角センサから供給されると、ホールド制御を行う制御信号として、ホールド制御信号を制御部11に対して出力する。このように、ホールド制御部31は、端末(例、デジタルカメラ1)のモーションによって、画像データとAR情報とを記録する信号が入力されたことを検出し、制御部11に対してホールド制御を行うホールド制御信号を出力する。
このため、制御部11は、AR情報取得要求に対応した、画像データ及びこの画像データに対応する建造物識別情報と、この建造物のAR情報、緯度経度情報、方位情報及び画角情報とを、所定の時間内、例えば1秒間、AR情報記憶部30のバッファ部に書き込み記憶させる(キャッシュする)。
また、制御部11は、画像データを記憶部15に、この画像識別情報とともに書き込んで記憶させる。
また、制御部11及びホールド制御部31は、AR表示を非表示とする非表示モードに設定されていても、AR情報の取得あるいはAR情報のホールド処理を行うように構成しても良い。
この際、上述したように、ユーザは、AR情報の表示/非表示を選択することができる。
上述した構成により、ユーザは、AR情報を得たい方向にデジタルカメラ1の撮像方向を向けていなくても、例えば、デジタルカメラ1をテーブルの上に置いて表示部17の画面を見る状態においても、AR情報を得たい方向の画像データを見つつ、AR情報を確認することが可能となる。
ユーザがアルファベット及び数字のキーが示されたアイコンをタッチすることにより、制御部11は、対応する文字データを検出し、内部バッファに書き込むとともに、ユーザID記入欄に内部バッファの文字データを表示する。
そして、制御部11は、アルファベット及び数字のキーが示されたアイコンにあるエンターのキーをタッチされたことを検出することにより、内部バッファの文字列をユーザIDとして固定する。
制御部11は、AR情報テーブルに、内部バッファに記憶されているユーザIDを付加して記憶する。
アルファベット及び数字のキーが示されたアイコンがタッチされたことを検出することにより、制御部11は、対応する文字データを検出し、内部バッファに書き込むとともに、ユーザID記入欄に内部バッファの文字データを表示する。
そして、制御部11は、アルファベット及び数字のキーが示されたアイコンにあるエンターのキーをタッチされたことを検出することにより、内部バッファの文字列に対応するユーザIDと、選択された画像データの画像識別情報に対応したAR情報テーブルに付加されたユーザIDとの比較を行う。
制御部11は、ユーザの入力したユーザIDと、AR情報テーブルに付加されているユーザIDとが等しい場合、表示部17に画像データとAR情報とを合成した画像(AR画像)の表示を行い、一方、AR情報テーブルに付加されているユーザIDとが異なる場合、画像データのみを表示する。
この構成により、デジタルカメラ1は、画像毎にユーザ(又はユーザID)を特定してAR情報の表示を行うことが可能となる。
そして、ユーザがこのリストから自身のユーザIDをタッチすると、制御部11は、このタッチされたユーザIDと同一のユーザが付加されたAR情報テーブルを、AR情報記憶部31から読み出し、このAR情報テーブルの画像識別情報と同一の画像識別情報を有する画像データを、記憶部15から読み出しサムネイル画像として、表示部17に表示するように構成しても良い。なお、制御部11は、上記リストが表示された状態において、他のユーザが選択された信号に基づき、該他のユーザのユーザIDと同一のユーザが付加されたAR情報テーブルを、AR情報記憶部30から読み出して、このAR情報テーブルの画像識別情報と同一の画像識別情報を有する画像データを、記憶部15から読み出しサムネイル画像として、表示部17に表示するように構成しても良い。
このようにすることで、例えば、ユーザが10年前の画像データ、AR情報及びAR関連情報を表示部17に表示させる際、表示部17に表示されたAR日付検索のアイコン(AR日付検索アイコンARI3)を押下すると、制御部11は、AR日付検索のアイコンを押下したことをセンサにより検出し、日付を入力する入力欄を、アルファベット及び数字のキーが示されたアイコンとともに、表示部17に表示する。
そして、制御部11は、抽出されたAR情報テーブルに対応する画像識別情報を読み込み、この画像識別情報の画像データを記憶部15から読み込み、サムネイル画像として表示部17に表示する。
ユーザが表示部17に表示されているサムネイル画像をタッチすることにより、制御部11は、表示部17のセンサによりそのサムネイル画像がタッチされたことを検出し、タッチされて選択された画像データの画像識別情報を検知する。
さらに、制御部11は、画像識別情報に対応するAR情報テーブルを読み込み、AR情報及びAR関連情報を、先に表示した画像データに対して重ねた合成画像(AR画像)を、表示部17に表示する。
上述した構成により、ユーザは、10年前の画像データと、この画像データにある建造物の10年前のAR情報とを、表示部17を介して見ることが可能となる。
そして、制御部11は、AR情報テーブルから、現在から過去の間(本実施形態の場合、10年間)にAR情報を取得した際の緯度経度情報、方位情報及び画角情報を付加して、情報検索システム2に対して、AR情報検索要求を送信する。なお、制御部11は、AR情報テーブルから、現在から過去の間(本実施形態の場合、10年間)の全てのAR情報を情報検索システム2から取得するようにしてもよい。
そして、情報検索サーバ21は、建造物識別情報に対応する建造物のAR情報を、データベース22の建造物テーブルから読み出し、デジタルカメラ1に対して送信する。
これにより、制御部11は、過去の画像データに対して、現在のそこにある建造物のAR情報を重ねて表示させる。
この構成により、過去と現在の建造物の移り変わりを容易に確認することができる。
また、被写体の撮影当時(例、10年前)のAR情報が情報検索サーバ21のデータベース22に日時順などで保存されている場合、制御部11は、現在又は過去の時刻情報(例、現在、10年前、など)に基づき、その時刻情報のAR情報を取得して表示部17に表示してもよい。ユーザは、現在から過去に遡って、画像データに対応するAR情報を時系列的に見ることができる。
また、いずれのユーザIDも設定されていない場合、オープン表示、すなわち見る人(ユーザ)を限定せず、いずれの人間(ユーザ)も見られる状態となる。
制御部11は、選択された画像データに対応するAR情報テーブルにユーザIDが付加されているときのみ、ユーザIDを入力する欄と、アルファベット及び数字のキーが示されたアイコンとを、表示部17に表示する。
(1)現在(又は過去)の画像データ及び現在(又は過去)の画像データ内の建造物のAR情報の合成画像
ユーザIDが付加されており、表示可能なユーザの限定表示
(2)現在(又は過去)の画像データ及び現在(又は過去)の画像データ内の建造物のAR情報の合成画像
ユーザIDが付加されておらず、いずれものユーザが表示可能なオープン表示
(3)現在(又は過去)の画像データ及びこの現在(又は過去)の画像データの検索範囲にある現在の建造物のAR情報の合成画像
ユーザIDが付加されており、表示可能なユーザの限定表示
(4)現在(又は過去)の画像データ及びこの現在(又は過去)の画像データの検索範囲にある現在の建造物のAR情報の合成画像
ユーザIDが付加されておらず、いずれものユーザが表示可能なオープン表示
(5)現在(又は過去)の画像データのみの表示(AR情報非表示)
また、制御部11は、上記のユーザIDを用いたAR情報の表示をARユーザ切り替えアイコンARI4の選択に基づく信号によって切り替えることができる。
ユーザが表示部17に表示されているAR情報取得モードのアイコン(AR情報取得アイコンARI1)をタッチすると、制御部11は、AR情報取得モードのアイコンがタッチされたことを検出し、デジタルカメラ1をAR情報取得モードとする。
制御部11は、撮像部13から連続的に供給される画像データを表示部17に表示させる(ステップS31)。
このとき、制御部21は、焦点距離及び倍率から画角情報を、記憶部15に記憶されている、焦点距離及び倍率の組合せ毎に画角情報が対応付けられたテーブルから読み出すことで、AR情報取得要求を情報検索システム2に対して行う際のデジタルカメラ1における画角情報を求める。
そして、情報検索サーバ21は、読み出したAR情報を、このAR情報の建造物識別情報とともに、カメラ識別情報に対応したデジタルカメラ1に対して送信する。
このとき、制御部11は、差分が所定の角度(角度の閾値)を超えて(又は以上)変化した場合、方位角が変化したとして、処理をステップS31に戻し、一方、差分が所定の角度(閾値)を超えて(又は以上)変化していない場合、方位角が変化していないとして、処理をステップS37へ進める。
このとき、制御部11は、ホールド制御信号が入力されると、処理をステップS38へ進め、一方、ホールド制御信号が入力されていない場合、処理をステップS36へ戻す。
ここで、ホールド制御部31は、例えば、加速度センサからの加速度データと、予め設定されている加速度データの閾値とを比較し、加速度センサから供給される加速度データが加速度データの閾値を超えている(又は以上である)場合、ホールド制御信号を生成し、制御部11へ送信する。一方、ホールド制御部31は、加速度センサから供給される加速度データが加速度データの閾値以下(又は未満)の場合、ホールド制御信号を制御部11へ送信する処理を行わない。
AR情報取得モードの場合、AR情報を表示及び非表示のいずれにおいても、図13のフローチャートを繰り返すことになる。
例えば、東京駅北口からの画像データにある建造物のAR情報をホールドし、レストランのテーブル上にて、東京駅北口からの画像データの建造物のAR情報を確認することが可能となる。また、ユーザは、現在位置から北の方向の建造物のAR情報をホールドし、ホールド後に北の方向とは異なる方向(例、地面の方向や東の方向)にデジタルカメラ1を向けた状態において、ホールドした画像データの建造物のAR情報を確認することが可能となる。また、本実施形態におけるデジタルカメラ1は、無線基地局3と通信が行えずオフラインの場合においても、上述した処理が可能となる。
表示部17に表示されているナビゲーションのアイコンをタッチすると、制御部11はナビゲーションのアイコンをタッチしたことをタッチセンサにより検出し、ナビゲーションのアプリケーション(ナビゲーション部)を起動する。
ユーザが案内を要求する建造物のタグをタッチすると、制御部11は、タッチされた建造物のタグに対応した建造物識別情報を検出し、表示している画像データの画像識別情報に対応するAR情報テーブルをAR情報記憶部30から読み込む。
そして、制御部11は、このAR情報テーブルから、検出した建造物識別情報に対応したAR情報から、建造物の緯度経度情報を読み込み、デジタルカメラ1の現在位置の緯度経度情報と、建造物の緯度経度情報を付加し、ナビゲーション要求として、情報検索システム2に対して送信する。
すなわち、情報検索サーバ21は、緯度経度情報が示すデジタルカメラ1の位置する座標値から最も近い交差点を地図データから抽出し、開始交差点とする。
同様に、情報検索サーバ21は、緯度経度情報が示す建造物の位置する座標値から最も近い交差点を地図データから抽出し、終了交差点とする。
そして、情報検索サーバ21は、開始交差点から終了交差点までの道路経路を示す地図の画像データを、ナビゲーション要求を行ったデジタルカメラ1に対して送信する。ここで、情報検索サーバ21は、地図の画像データにおける案内経路(開始交差点と終了交差点とを結ぶ道路経路)の表示色を他の道路と異なる色にて、地図の画像データを生成する。
そして、制御部11は、GPS14で取得した緯度経度の位置に対応した、表示部17に表示されている地図の画像データ上の位置に、自身の位置を示すマークを重ねて配置する。これにより、ユーザは、自身のマークの移動を確認しながら、開始交差点から終了交差点まで案内の案内サービスを受けることができる。
さらに、デジタルカメラ1から、画像データと、この画像データ内の建造物のAR情報とを、SNS(Social Networking Service)等のWebサイトにアップロードするようにし、多数の他のデジタルカメラと情報を共有するようにしても良い。この場合、AR情報テーブルにユーザIDを付加しておくことにより、ユーザIDを認識しているユーザのみが、このSNSにおいて、画像データに対応したAR情報を閲覧あるいは追加することができる。
ユーザは、デジタルカメラ1から、自身の登録したい画像データ及びこの画像データに対応するAR情報にユーザ情報を付加し、登録することができる。
ここで、表示部17に表示されているユーザ登録のアイコンを、ユーザがタッチすると、制御部11は、アイコンをタッチしたことをタッチセンサにより検出し、登録画面を表示部17に表示する。この登録画面には、ユーザの取得したAR情報に対応する画像データのサムネイル画像と、アルファベット及び数字のキーが示されたアイコンも含まれている。
SNSサーバは、この登録要求を受信すると、ユーザ自身の名前(あるいはニックネーム)のファイルを生成し、登録要求された画像データ及びAR情報を、AR情報共有データベースに書き込んで記憶させる。このファイルは、図11のAR情報テーブルと同様の構成である。
次に、この登録画面において、ユーザが参照したいユーザの名前(あるいはニックネーム)及びユーザIDを、アルファベット及び数字のキーが示されたアイコンをタッチすることで入力し、エンターアイコンをタッチすることにより、制御部11は、SNSサーバにアクセスし、この名前(あるいはニックネーム)及びユーザIDを、画像データ及びAR情報の参照要求とともに送信する。
そして、SNSサーバは、このファイルのAR情報の中から受信したユーザIDと同一のユーザIDが付加された画像識別情報及びこの画像識別情報に対応する画像データを読み出し、読み出したAR情報及び画像データを、デジタルカメラ1に送信する。
制御部11は、入力される画像データ及びAR情報をすでに説明したように、表示部17に表示する。
そして、この変更画面において、ユーザが変更したいAR情報の画像データを、サムネイル画像から選択すると、制御部17は、選択された画像データをタッチセンサにより検出し、選択した画像データを表示部17に表示し、この表示された画像データ上にそれぞれの建造物の位置に対応させ、AR情報のタグを重ねて表示させる。
SNSサーバは、変更要求を受信すると、変更要求に付加された名前(あるいはニックネーム)により、AR情報共有データベースを検索し、同一の名前(あるいはニックネーム)のファイルを抽出する。
一方、SNSサーバは、AR情報に付加されているユーザIDが、受信した変更要求に付加されたユーザIDと一致した場合、この画像識別情報における建造物識別情報のAR情報を変更する。
また、図9における情報検索サーバ21のAR情報検索の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりAR情報の検索の制御を行ってもよい。
なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
Claims (21)
- 被写体を撮像する撮像部と、
撮像位置の位置情報を取得する位置情報取得部と、
前記被写体の撮像を指示する制御信号に基づいて前記撮像部に前記被写体を撮像させることと、前記位置情報に基づいて前記被写体に関する情報を取得し前記被写体の画像データと前記被写体に関する情報とを表示部に表示させることとを有する制御部と、
前記被写体の画像データと前記被写体に関する情報とを前記表示部に表示中におけるユーザーアクションに基づいて前記制御信号とは異なるホールド制御信号を前記制御部に出力するホールド制御部と、
を備え、
前記ホールド制御信号とは、前記表示部に表示されている前記被写体の画像データと前記被写体に関する情報とを前記制御部によりホールドさせるとともに前記ユーザーアクションに基づいて前記ホールド制御信号が出力された後にも前記ホールドされた画像データと前記ホールドされた前記被写体に関する情報とを前記表示部に表示させる信号である、
撮像装置。 - 前記制御部は、前記表示部に対する前記被写体に関する情報の表示及び非表示を切り替え可能である請求項1に記載の撮像装置。
- 前記制御部は、前記被写体を撮像中において前記ホールド制御信号を受信した場合に、ホールドした前記被写体の画像データと前記被写体に関する情報とを前記表示部に表示する請求項1又は請求項2のいずれか一項に記載の撮像装置。
- 前記制御部は、前記ホールド制御信号に基づいてホールドした前記被写体に関する情報と前記被写体の画像データとを他端末へ送信する請求項1から請求項3のいずれか一項に記載の撮像装置。
- 前記被写体に関する情報は、AR情報である請求項1から請求項4のいずれか一項に記載の撮像装置。
- 前記制御部は、前記ホールド制御信号を受信した場合に、前記被写体に関する情報を得たい方向に撮像方向を向けていない状態において、前記ホールドした前記被写体の画像データと前記被写体に関する情報とを前記表示部に表示する、請求項1から請求項5のいずれか一項に記載の撮像装置。
- 前記表示部は、タッチパネルを有する請求項1から請求項6のいずれか一項に記載の撮像装置。
- 前記被写体に関する情報は、クーポン情報を含む請求項1から請求項7のいずれか一項に記載の撮像装置。
- 前記制御部は、ユーザが投稿情報を入力する入力欄を前記表示部に表示させる請求項1から請求項8のいずれか一項に記載の撮像装置。
- 自身の位置の緯度経度情報を検出する緯度経度検出部と、
画像データを撮像している方位角を検出する方位角検出部と、
被写体の撮像を指示する制御信号に基づいて撮像部に前記被写体を撮像させることと、前記緯度経度情報における前記方位角方向の緯度経度範囲に位置する建造物に付加されたAR情報を、当該緯度経度情報及び当該方位角により取得し、表示部に表示させることとを有する制御部と、
本体の位置及び/又は姿勢を変化させるユーザーアクションに基づいて前記制御信号とは異なるホールド制御信号を前記制御部に出力するホールド制御部と、
を備え、
前記ホールド制御信号とは、前記AR情報を記憶部に記憶させるアクションを検知すると、前記AR情報と前記画像データとを前記記憶部に記憶させ、前記表示部に表示されている前記被写体の画像データと前記AR情報とを前記制御部によりホールドさせるとともに前記ユーザーアクションに基づいて前記ホールド制御信号が出力された後にも前記ホールドされた画像データと前記ホールドされた情報とを前記表示部に表示させる信号である、
撮像装置。 - 前記制御部は、
前記ホールド制御部から前記ホールド制御信号が入力されると、当該ホールド制御信号が入力された際に、前記画像データを撮像していた自身の位置の前記緯度経度情報及び前記方位角を、前記画像データを識別する画像識別情報を付加して前記記憶部に記憶させる請求項10に記載の撮像装置。 - 前記制御部は、
前記ホールド制御部から前記ホールド制御信号が入力されると、当該ホールド制御信号が入力された際に、前記表示部に表示していた前記画像データ及び当該画像データに対応する前記AR情報を、当該画像データを識別する画像識別情報を付加して前記記憶部に記憶させる請求項10に記載の撮像装置。 - 前記記憶部は、前記画像データ毎に
前記画像データを識別する画像識別情報、画像データ内の建造物を識別する建造物識別情報、当該建造物識別情報の示す建造物の建造物情報、当該画像識別情報に付加されたユーザIDとから構成されている
請求項10から請求項12のいずれか一項に記載の撮像装置。 - 前記制御部は、前記記憶部から前記AR情報及び前記画像データを読み出して前記表示部に表示させる、
請求項10から請求項13のいずれか一項に記載の撮像装置。 - 前記制御部は、撮像状態において付加された前記AR情報を情報検索システムへ送信する請求項10から請求項14のいずれか一項に記載の撮像装置。
- 前記被写体に関する情報は、クーポン情報を含む請求項10から請求項15のいずれか一項に記載の撮像装置。
- 前記制御部は、ユーザが投稿情報を入力する入力欄を前記表示部に表示させる請求項10から請求項16のいずれか一項に記載の撮像装置。
- 請求項1から請求項17のいずれか一項に記載の撮像装置と、
サーバと、
を備える情報取得システム。 - 撮像装置と情報検索システムとから構成され、当該情報検索システムが前記撮像装置から送信される緯度経度情報及び方位角により、当該緯度経度情報における前記方位角の方向の緯度経度範囲に位置する建造物を抽出し、この抽出された該建造物に付加された情報を前記撮像装置に送信する情報取得システムであり、
前記撮像装置は、
自身の位置の緯度経度情報を検出する緯度経度検出部と、
画像データを撮像している方位角を検出する方位角検出部と、
被写体の撮像を指示する制御信号に基づいて撮像部に被写体を撮像させることと、前記緯度経度情報における前記方位角の方向の緯度経度範囲に位置する建造物に付加されたAR情報を、当該緯度経度情報及び当該方位角により取得し、表示部に表示させることとを有する制御部と、
ユーザーアクションに基づいて前記制御信号とは異なるホールド制御信号を、前記制御部に対して出力するホールド制御部と
を備え、
前記ホールド制御信号とは、前記AR情報を記憶部に記憶させるアクションを検知すると、前記AR情報と前記画像データとを前記記憶部に記憶させ、前記表示部に表示されている前記被写体の画像データと前記AR情報とを前記制御部によりホールドさせるとともに前記ユーザーアクションに基づいて前記ホールド制御信号が出力された後にも前記ホールドされた画像データと前記ホールドされた情報とを前記表示部に表示させる信号であり、
前記情報検索システムは、
建造物の建造物識別番号及び当該建造物の緯度経度情報を対応させた地図データと、前記建造物識別番号及び当該建造物識別番号の示す建造物の前記AR情報を対応させた建造物テーブルとが記憶されたデータベースと、
前記撮像装置から送信された前記緯度経度情報及び前記方位角により、前記緯度経度情報における前記方位角の方向の緯度経度範囲に位置する建造物の建造物識別番号を前記地図データから検索し、検索された前記建造物識別番号により、当該建造物識別番号の示す建造物に付加された前記AR情報を前記建造物テーブルから読み出し、読み出した建造物の前記AR情報を前記撮像装置に送信する情報検索サーバと
を備える、
情報取得システム。 - 撮像装置が備えるコンピュータに、
被写体の撮像を指示する制御信号に基づいて、撮像装置が備える撮像部に前記被写体を撮像させるステップと、
前記被写体を撮像した撮像位置の位置情報を入力するステップと、
前記位置情報に基づいて前記被写体に関する情報を取得するステップと、
前記被写体の画像データと前記被写体に関する情報とを撮像装置が備える表示部に表示するステップと、
前記被写体の画像データと前記被写体に関する情報との前記表示部への表示中におけるユーザーアクションに基づいて前記制御信号とは異なるホールド制御信号を出力するステップと、
前記ホールド制御信号に基づいて前記表示部に表示されている前記被写体の画像データと前記被写体に関する情報とをホールドさせるとともに前記ユーザーアクションに基づいて前記ホールド制御信号が出力された後にも前記ホールドされた画像データと前記ホールドされた情報とを前記表示部に表示させるステップと、
を実行させるためのプログラム。 - 撮像装置が備えるコンピュータに、
被写体の撮像を指示する制御信号に基づいて撮像装置が備える撮像部に前記被写体を撮像させるステップと、
撮像装置が備える緯度経度検出部が検出した自身の位置の緯度経度情報を入力するステップと、
撮像装置が備える方位角検出部が検出した画像データを撮像している方位角を入力するステップと、
前記緯度経度情報における前記方位角方向の緯度経度範囲に位置する建造物に付加されたAR情報を、当該緯度経度情報及び当該方位角により取得し、撮像装置が備える表示部に表示するステップと、
本体の位置及び/又は姿勢を変化させるユーザーアクションに基づいて前記制御信号とは異なるホールド制御信号を出力するステップと、
前記ホールド制御信号に基づいて前記AR情報を撮像装置が備える記憶部に記憶させるアクションを検知すると、前記AR情報と前記画像データとを前記記憶部に記憶させるステップと、
前記ホールド制御信号に基づいて前記表示部に表示されている前記被写体の画像データと前記AR情報とをホールドさせるとともに前記ユーザーアクションに基づいて前記ホールド制御信号が出力された後にも前記ホールドされた画像データと前記ホールドされた情報とを前記表示部に表示させるステップと、
を実行させるためのプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010025998 | 2010-02-08 | ||
JP2010025998 | 2010-02-08 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011552853A Division JPWO2011096561A1 (ja) | 2010-02-08 | 2011-02-07 | 撮像装置、情報取得システム及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017113602A Division JP2017200208A (ja) | 2010-02-08 | 2017-06-08 | 撮像装置、情報取得システム及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016192767A JP2016192767A (ja) | 2016-11-10 |
JP6156549B2 true JP6156549B2 (ja) | 2017-07-05 |
Family
ID=44353435
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011552853A Pending JPWO2011096561A1 (ja) | 2010-02-08 | 2011-02-07 | 撮像装置、情報取得システム及びプログラム |
JP2016095985A Active JP6156549B2 (ja) | 2010-02-08 | 2016-05-12 | 撮像装置、情報取得システム及びプログラム |
JP2017113602A Pending JP2017200208A (ja) | 2010-02-08 | 2017-06-08 | 撮像装置、情報取得システム及びプログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011552853A Pending JPWO2011096561A1 (ja) | 2010-02-08 | 2011-02-07 | 撮像装置、情報取得システム及びプログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017113602A Pending JP2017200208A (ja) | 2010-02-08 | 2017-06-08 | 撮像装置、情報取得システム及びプログラム |
Country Status (6)
Country | Link |
---|---|
US (7) | US9420251B2 (ja) |
EP (1) | EP2536124B1 (ja) |
JP (3) | JPWO2011096561A1 (ja) |
CN (3) | CN112565552B (ja) |
BR (1) | BR112012019407A2 (ja) |
WO (1) | WO2011096561A1 (ja) |
Families Citing this family (42)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102009037835B4 (de) * | 2009-08-18 | 2012-12-06 | Metaio Gmbh | Verfahren zur Darstellung von virtueller Information in einer realen Umgebung |
US9420251B2 (en) * | 2010-02-08 | 2016-08-16 | Nikon Corporation | Imaging device and information acquisition system in which an acquired image and associated information are held on a display |
WO2012120799A1 (ja) * | 2011-03-04 | 2012-09-13 | パナソニック株式会社 | 表示装置及び表示方向切替方法 |
CN102355550A (zh) * | 2011-11-16 | 2012-02-15 | 天津三星光电子有限公司 | 一种具有gps定位功能的数码相机 |
GB2511679B (en) * | 2011-12-08 | 2016-06-08 | Canon Kk | Image pickup apparatus, method for controlling the same, and program |
US20130257900A1 (en) * | 2012-03-30 | 2013-10-03 | Nokia Corporation | Method and apparatus for storing augmented reality point-of-interest information |
JP5955662B2 (ja) * | 2012-06-25 | 2016-07-20 | アルパイン株式会社 | 拡張現実システム |
US8743224B2 (en) | 2012-07-13 | 2014-06-03 | Intel Corporation | Context based management for secure augmented reality applications |
JP6004807B2 (ja) * | 2012-07-24 | 2016-10-12 | キヤノン株式会社 | 画像処理装置、その制御方法、プログラム |
US20140067869A1 (en) | 2012-08-30 | 2014-03-06 | Atheer, Inc. | Method and apparatus for content association and history tracking in virtual and augmented reality |
WO2014044201A1 (zh) * | 2012-09-21 | 2014-03-27 | Wang Hao | 热成像信息记录装置和热成像信息记录方法 |
CN104541300B (zh) * | 2012-09-28 | 2019-01-22 | 英特尔公司 | 增强现实信息的确定 |
KR101962134B1 (ko) * | 2012-10-24 | 2019-07-17 | 엘지전자 주식회사 | 컨텐츠 제공 방법 및 이를 위한 디지털 디바이스 |
TWI571827B (zh) * | 2012-11-13 | 2017-02-21 | 財團法人資訊工業策進會 | 決定3d物件影像在3d環境影像中深度的電子裝置及其方法 |
JP2014131207A (ja) * | 2012-12-28 | 2014-07-10 | Sharp Corp | 携帯情報端末 |
CN103104792B (zh) * | 2013-01-22 | 2016-01-27 | Tcl集团股份有限公司 | 仿生摄像头、驱动仿生摄像头的偏置方法、及媒体终端 |
US9412201B2 (en) * | 2013-01-22 | 2016-08-09 | Microsoft Technology Licensing, Llc | Mixed reality filtering |
JP6265621B2 (ja) * | 2013-04-18 | 2018-01-24 | キヤノン株式会社 | 表示制御装置およびプログラム |
KR102249886B1 (ko) * | 2014-02-14 | 2021-05-10 | 삼성전자 주식회사 | 웹 페이지 전환 방법 및 이를 이용하는 휴대 단말기, 이 방법을 실행하기 위한 프로그램이 기록되어 있는 비휘발성 기록매체 |
JP6613553B2 (ja) * | 2014-09-30 | 2019-12-04 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、情報処理システム、その制御方法及びプログラム |
WO2016162952A1 (ja) * | 2015-04-07 | 2016-10-13 | 三菱電機株式会社 | 空気調和機のメンテナンスサポートシステム |
US9943262B2 (en) * | 2015-10-26 | 2018-04-17 | Sk Planet Co., Ltd. | System and method for providing walking path guidance service based on measurement of motion of user |
JP2017134467A (ja) * | 2016-01-25 | 2017-08-03 | 富士通株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
US10154080B2 (en) * | 2016-05-23 | 2018-12-11 | Accenture Global Solutions Limited | Enhancing digital content provided from devices |
US11876941B1 (en) | 2016-06-20 | 2024-01-16 | Pipbin, Inc. | Clickable augmented reality content manager, system, and network |
US11785161B1 (en) | 2016-06-20 | 2023-10-10 | Pipbin, Inc. | System for user accessibility of tagged curated augmented reality content |
JP6281609B2 (ja) * | 2016-07-28 | 2018-02-21 | 株式会社Jvcケンウッド | 情報生成装置、情報付加装置及び情報表示装置 |
US10334160B2 (en) * | 2016-09-28 | 2019-06-25 | Casio Computer Co., Ltd. | Imaging apparatus capable of automatic photography, image playback apparatus which plays back automatically photographed image, image playback method, and imaging method |
JP2018097581A (ja) * | 2016-12-13 | 2018-06-21 | 富士ゼロックス株式会社 | 情報処理装置およびプログラム |
JP2018106307A (ja) * | 2016-12-23 | 2018-07-05 | 株式会社tiwaki | 仮想内容記憶方法 |
US10380544B2 (en) * | 2016-12-24 | 2019-08-13 | Motorola Solutions, Inc. | Method and apparatus for avoiding evidence contamination at an incident scene |
CN107194370B (zh) * | 2017-06-10 | 2023-12-19 | 国网浙江省电力公司台州供电公司 | 基于地理位置信息的影像智能分析方法 |
US10338768B1 (en) | 2017-12-10 | 2019-07-02 | International Business Machines Corporation | Graphical user interface for finding and depicting individuals |
US10521961B2 (en) | 2017-12-10 | 2019-12-31 | International Business Machines Corporation | Establishing a region of interest for a graphical user interface for finding and depicting individuals |
JP7144164B2 (ja) * | 2018-03-19 | 2022-09-29 | 株式会社Lifull | 情報提供システム、サーバ装置、及び端末用プログラム |
US10565764B2 (en) | 2018-04-09 | 2020-02-18 | At&T Intellectual Property I, L.P. | Collaborative augmented reality system |
US10536809B1 (en) * | 2018-06-28 | 2020-01-14 | Homerun Labs, Inc. | System and method for detection of a structure |
US11227007B2 (en) * | 2019-07-23 | 2022-01-18 | Obayashi Corporation | System, method, and computer-readable medium for managing image |
JP6852202B1 (ja) * | 2020-01-14 | 2021-03-31 | 株式会社梓設計 | 情報表示装置、情報表示方法及びプログラム |
TWI737371B (zh) * | 2020-06-30 | 2021-08-21 | 國立成功大學 | 虛實整合系統與方法 |
KR20220114336A (ko) * | 2021-02-08 | 2022-08-17 | 현대자동차주식회사 | 사용자 단말 및 그 제어 방법 |
WO2023095770A1 (ja) * | 2021-11-24 | 2023-06-01 | 日本電気株式会社 | 拡張現実表示装置、サーバ装置、拡張現実表示システム、拡張現実表示方法、及びプログラム |
Family Cites Families (82)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0438573A (ja) * | 1990-06-04 | 1992-02-07 | Toshiba Corp | 画像表示装置 |
US6282362B1 (en) | 1995-11-07 | 2001-08-28 | Trimble Navigation Limited | Geographical position/image digital recording and display system |
US6222583B1 (en) | 1997-03-27 | 2001-04-24 | Nippon Telegraph And Telephone Corporation | Device and system for labeling sight images |
JP3738310B2 (ja) * | 1997-08-04 | 2006-01-25 | カシオ計算機株式会社 | カメラ |
JP4009887B2 (ja) * | 1998-10-20 | 2007-11-21 | 富士フイルム株式会社 | カメラ |
JP4274656B2 (ja) * | 1999-12-08 | 2009-06-10 | カシオ計算機株式会社 | カメラ装置及び被写体名称表示方法 |
US7028263B2 (en) * | 2000-07-19 | 2006-04-11 | Research In Motion Limited | User interface and method for viewing short messages on a wireless device |
JP3925057B2 (ja) | 2000-09-12 | 2007-06-06 | カシオ計算機株式会社 | カメラ装置、撮影範囲表示システム、及び撮影範囲表示方法 |
US7016899B1 (en) | 2000-09-21 | 2006-03-21 | Lenovo (Singapore) Pte. Ltd. | Camera device, methods and program products for location and environmental stamping of images, communications and other applications |
JP2002344792A (ja) * | 2001-02-16 | 2002-11-29 | Fuji Photo Film Co Ltd | 情報伝送システム |
JP4158376B2 (ja) | 2001-12-07 | 2008-10-01 | 株式会社ニコン | 電子カメラおよび画像表示装置および画像表示方法 |
WO2003049424A1 (fr) | 2001-12-03 | 2003-06-12 | Nikon Corporation | Appareil electronique, camera electronique, dispositif electronique, appareil d'affichage d'image et systeme de transmission d'image |
JP3893983B2 (ja) * | 2002-01-17 | 2007-03-14 | ソニー株式会社 | 情報提供装置及び情報提供方法、記憶媒体、並びにコンピュータ・プログラム |
JP2004015187A (ja) | 2002-06-04 | 2004-01-15 | Fuji Photo Film Co Ltd | 撮影補助システム、デジタルカメラ、及びサーバ |
JP2004297478A (ja) | 2003-03-27 | 2004-10-21 | Fuji Photo Film Co Ltd | デジタルカメラ |
JP2004341960A (ja) | 2003-05-16 | 2004-12-02 | Sony Corp | 位置依存情報検索方法、位置依存情報検索装置、位置依存情報提供装置、および位置依存情報検索プログラム |
US20050046706A1 (en) | 2003-08-28 | 2005-03-03 | Robert Sesek | Image data capture method and apparatus |
JP4561084B2 (ja) * | 2003-11-25 | 2010-10-13 | ソニー株式会社 | サービス管理装置及びサービス管理方法、並びにサービス提供システム及びサービス提供方法 |
JP4419621B2 (ja) | 2004-03-17 | 2010-02-24 | アイシン・エィ・ダブリュ株式会社 | 旅行計画作成管理システム |
JP2006003963A (ja) | 2004-06-15 | 2006-01-05 | Hitachi Omron Terminal Solutions Corp | 地域案内システム |
JP4363642B2 (ja) * | 2004-07-02 | 2009-11-11 | 富士フイルム株式会社 | 地図表示システム及びデジタルカメラ |
JP4054018B2 (ja) | 2004-12-14 | 2008-02-27 | 株式会社ナビタイムジャパン | 空席経路探索システム、空席経路探索装置および端末装置 |
US7720436B2 (en) | 2006-01-09 | 2010-05-18 | Nokia Corporation | Displaying network objects in mobile devices based on geolocation |
JP4632793B2 (ja) | 2005-01-12 | 2011-02-16 | 京セラ株式会社 | ナビゲーション機能付き携帯型端末機 |
US20060190812A1 (en) * | 2005-02-22 | 2006-08-24 | Geovector Corporation | Imaging systems including hyperlink associations |
JP2006235979A (ja) | 2005-02-24 | 2006-09-07 | Toshiba Corp | 情報提供システム及び情報提供方法 |
JP2006238220A (ja) | 2005-02-25 | 2006-09-07 | Fuji Photo Film Co Ltd | 撮像装置、撮像方法、及びプログラム |
JP4366601B2 (ja) | 2005-03-18 | 2009-11-18 | ソニー株式会社 | タイムシフト画像配信システム、タイムシフト画像配信方法、タイムシフト画像要求装置および画像サーバ |
JP4969053B2 (ja) | 2005-04-14 | 2012-07-04 | ソニーモバイルコミュニケーションズ, エービー | 携帯端末装置及び表示方法 |
JP2006350879A (ja) * | 2005-06-20 | 2006-12-28 | Nikon Corp | 情報提供システム |
JP2008001383A (ja) * | 2006-06-21 | 2008-01-10 | Mitsubishi Gas Chem Co Inc | 多層ボトル |
JP4863274B2 (ja) | 2006-09-20 | 2012-01-25 | ソニー エリクソン モバイル コミュニケーションズ, エービー | 行動案内装置、行動予定処理方法、行動案内システム、及び行動予定処理プログラム |
JP2008076734A (ja) | 2006-09-21 | 2008-04-03 | Seiko Epson Corp | 眼鏡装置及び画像生成方法 |
JP2008111693A (ja) | 2006-10-30 | 2008-05-15 | Sony Ericsson Mobilecommunications Japan Inc | 移動体装置および目標物情報検索方法 |
US20080147730A1 (en) * | 2006-12-18 | 2008-06-19 | Motorola, Inc. | Method and system for providing location-specific image information |
JP2008160631A (ja) | 2006-12-26 | 2008-07-10 | Funai Electric Co Ltd | 携帯機器 |
JP4479929B2 (ja) | 2007-02-01 | 2010-06-09 | 日本電気株式会社 | 撮影画像利用システムおよび撮影画像利用方法 |
JP4914268B2 (ja) | 2007-03-29 | 2012-04-11 | 株式会社日立製作所 | 検索サービスサーバの情報検索方法。 |
CN101680766B (zh) | 2007-05-31 | 2013-01-23 | 松下电器产业株式会社 | 图像摄影装置、附加信息提供服务器及附加信息过滤*** |
JP5194650B2 (ja) | 2007-08-31 | 2013-05-08 | 株式会社ニコン | 電子カメラ |
US8180396B2 (en) * | 2007-10-18 | 2012-05-15 | Yahoo! Inc. | User augmented reality for camera-enabled mobile devices |
KR100914848B1 (ko) * | 2007-12-15 | 2009-09-02 | 한국전자통신연구원 | 혼합현실 시스템 및 그 구현 방법 |
JP2010025998A (ja) | 2008-07-15 | 2010-02-04 | Ricoh Co Ltd | クリーニング装置、定着装置及び画像形成装置 |
US9191238B2 (en) * | 2008-07-23 | 2015-11-17 | Yahoo! Inc. | Virtual notes in a reality overlay |
EP2325768A4 (en) * | 2008-08-08 | 2016-08-17 | Nikon Corp | RESEARCH ASSISTANCE SYSTEM, RESEARCH ASSISTANCE METHOD, AND RESEARCH ASSISTANCE PROGRAM |
TWI558199B (zh) * | 2008-08-08 | 2016-11-11 | 尼康股份有限公司 | Carry information machine and information acquisition system |
US10133438B2 (en) * | 2008-09-17 | 2018-11-20 | Nokia Technologies Oy | User interface for augmented reality |
EP2378392B1 (en) * | 2008-12-25 | 2016-04-13 | Panasonic Intellectual Property Management Co., Ltd. | Information displaying apparatus and information displaying method |
TWI649730B (zh) * | 2009-02-20 | 2019-02-01 | 日商尼康股份有限公司 | 資訊取得系統、攜帶型終端、伺服器、以及攜帶資訊機器用程式 |
US8682391B2 (en) * | 2009-08-27 | 2014-03-25 | Lg Electronics Inc. | Mobile terminal and controlling method thereof |
KR101648339B1 (ko) * | 2009-09-24 | 2016-08-17 | 삼성전자주식회사 | 휴대용 단말기에서 영상인식 및 센서를 이용한 서비스 제공 방법 및 장치 |
US20110093888A1 (en) * | 2009-10-21 | 2011-04-21 | John Araki | User selection interface for interactive digital television |
US9766089B2 (en) * | 2009-12-14 | 2017-09-19 | Nokia Technologies Oy | Method and apparatus for correlating and navigating between a live image and a prerecorded panoramic image |
US20110161875A1 (en) * | 2009-12-29 | 2011-06-30 | Nokia Corporation | Method and apparatus for decluttering a mapping display |
US9420251B2 (en) * | 2010-02-08 | 2016-08-16 | Nikon Corporation | Imaging device and information acquisition system in which an acquired image and associated information are held on a display |
KR101691034B1 (ko) * | 2010-08-03 | 2016-12-29 | 삼성전자주식회사 | 3차원 그래픽 기반 단말기에서 객체 렌더링 시 부가정보 합성 장치 및 방법 |
US20120038668A1 (en) * | 2010-08-16 | 2012-02-16 | Lg Electronics Inc. | Method for display information and mobile terminal using the same |
KR101260576B1 (ko) * | 2010-10-13 | 2013-05-06 | 주식회사 팬택 | Ar 서비스를 제공하기 위한 사용자 단말기 및 그 방법 |
KR101688155B1 (ko) * | 2010-10-25 | 2016-12-20 | 엘지전자 주식회사 | 이동 단말기의 정보 처리 장치 및 그 방법 |
US9245307B2 (en) * | 2011-06-01 | 2016-01-26 | Empire Technology Development Llc | Structured light projection for motion detection in augmented reality |
US8749396B2 (en) * | 2011-08-25 | 2014-06-10 | Satorius Stedim Biotech Gmbh | Assembling method, monitoring method, communication method, augmented reality system and computer program product |
JPWO2013039025A1 (ja) * | 2011-09-16 | 2015-03-26 | Necカシオモバイルコミュニケーションズ株式会社 | 情報管理編集機能を備えた情報処理装置 |
US8902344B2 (en) * | 2011-12-28 | 2014-12-02 | Canon Kabushiki Kaisha | Display control apparatus, image capture apparatus, display control method, and image capture apparatus control method |
US8610663B2 (en) * | 2012-02-06 | 2013-12-17 | Lg Electronics Inc. | Portable device and method for controlling the same |
JP5966510B2 (ja) * | 2012-03-29 | 2016-08-10 | ソニー株式会社 | 情報処理システム |
KR101923929B1 (ko) * | 2012-06-06 | 2018-11-30 | 삼성전자주식회사 | 증강 현실 서비스를 제공하는 이동통신 단말기 및 증강 현실 서비스에 대한 화면으로의 화면 전환 방법 |
KR20140038577A (ko) * | 2012-09-11 | 2014-03-31 | 한국과학기술연구원 | 메타데이터를 이용한 콘텐츠 추천 |
KR101962134B1 (ko) * | 2012-10-24 | 2019-07-17 | 엘지전자 주식회사 | 컨텐츠 제공 방법 및 이를 위한 디지털 디바이스 |
US9547697B2 (en) * | 2012-12-21 | 2017-01-17 | Google Inc. | Aggregating interactions for content items |
JP2015005026A (ja) * | 2013-06-19 | 2015-01-08 | 京セラドキュメントソリューションズ株式会社 | 機器管理端末、機器管理システム、及び機器管理プログラム |
US9230473B2 (en) * | 2013-06-24 | 2016-01-05 | Microsoft Technology Licensing, Llc | Dual duty cycle OLED to enable dynamic control for reduced motion blur control with constant brightness in augmented reality experiences |
CN105324737B (zh) * | 2013-06-26 | 2019-06-21 | 索尼电脑娱乐公司 | 信息处理器、信息处理器的控制方法、程序和信息贮存介质 |
US9401849B2 (en) * | 2013-07-02 | 2016-07-26 | Hitachi, Ltd. | Network construction support system and method |
JP6132719B2 (ja) * | 2013-09-18 | 2017-05-24 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置 |
KR102114618B1 (ko) * | 2014-01-16 | 2020-05-25 | 엘지전자 주식회사 | 포터블 디바이스 및 그 제어 방법 |
JP2015141259A (ja) * | 2014-01-28 | 2015-08-03 | アルパイン株式会社 | 地図情報表示装置および地図情報表示方法 |
KR102182162B1 (ko) * | 2014-02-20 | 2020-11-24 | 엘지전자 주식회사 | Hmd 및 그 제어 방법 |
US10510189B2 (en) * | 2014-04-16 | 2019-12-17 | Sony Interactive Entertainment Inc. | Information processing apparatus, information processing system, and information processing method |
US9526983B2 (en) * | 2014-06-04 | 2016-12-27 | Chih-Feng Lin | Virtual reality avatar traveling control system and virtual reality avatar traveling control method |
US9632664B2 (en) * | 2015-03-08 | 2017-04-25 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
US9678566B2 (en) * | 2015-06-03 | 2017-06-13 | Oculus Vr, Llc | Hand-held controllers for virtual reality system |
CN108228120A (zh) * | 2016-12-13 | 2018-06-29 | 腾讯科技(深圳)有限公司 | 一种ar场景下的多屏联动方法和*** |
-
2011
- 2011-02-04 US US13/021,198 patent/US9420251B2/en active Active
- 2011-02-07 JP JP2011552853A patent/JPWO2011096561A1/ja active Pending
- 2011-02-07 EP EP11739908.9A patent/EP2536124B1/en active Active
- 2011-02-07 CN CN202011217327.6A patent/CN112565552B/zh active Active
- 2011-02-07 CN CN201710339570.7A patent/CN107404598B/zh active Active
- 2011-02-07 BR BR112012019407-0A patent/BR112012019407A2/ja not_active Application Discontinuation
- 2011-02-07 CN CN201180008654.3A patent/CN102763404B/zh active Active
- 2011-02-07 WO PCT/JP2011/052498 patent/WO2011096561A1/ja active Application Filing
-
2016
- 2016-05-12 JP JP2016095985A patent/JP6156549B2/ja active Active
- 2016-07-11 US US15/207,228 patent/US9756253B2/en active Active
-
2017
- 2017-06-08 JP JP2017113602A patent/JP2017200208A/ja active Pending
- 2017-08-03 US US15/668,032 patent/US10452914B2/en active Active
-
2019
- 2019-10-17 US US16/656,062 patent/US11048941B2/en active Active
-
2021
- 2021-06-23 US US17/356,004 patent/US11455798B2/en active Active
-
2022
- 2022-08-16 US US17/889,037 patent/US11741706B2/en active Active
-
2023
- 2023-07-06 US US18/218,749 patent/US20230351746A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
BR112012019407A2 (ja) | 2018-03-20 |
US20230351746A1 (en) | 2023-11-02 |
EP2536124A4 (en) | 2015-01-14 |
US9420251B2 (en) | 2016-08-16 |
US11048941B2 (en) | 2021-06-29 |
US10452914B2 (en) | 2019-10-22 |
CN107404598A (zh) | 2017-11-28 |
CN112565552B (zh) | 2023-04-18 |
CN102763404B (zh) | 2017-06-06 |
US20160323515A1 (en) | 2016-11-03 |
US20220392217A1 (en) | 2022-12-08 |
WO2011096561A1 (ja) | 2011-08-11 |
JPWO2011096561A1 (ja) | 2013-06-13 |
US20200050859A1 (en) | 2020-02-13 |
CN107404598B (zh) | 2020-11-17 |
US20210319222A1 (en) | 2021-10-14 |
US11455798B2 (en) | 2022-09-27 |
EP2536124A1 (en) | 2012-12-19 |
CN112565552A (zh) | 2021-03-26 |
US20110193985A1 (en) | 2011-08-11 |
JP2017200208A (ja) | 2017-11-02 |
JP2016192767A (ja) | 2016-11-10 |
US11741706B2 (en) | 2023-08-29 |
CN102763404A (zh) | 2012-10-31 |
EP2536124B1 (en) | 2019-03-27 |
US20170330037A1 (en) | 2017-11-16 |
US9756253B2 (en) | 2017-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6156549B2 (ja) | 撮像装置、情報取得システム及びプログラム | |
JP6958673B2 (ja) | 携帯情報機器、情報取得システム、及びプログラム | |
US20240251156A1 (en) | Portable information device having real-time display with relevant information |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170303 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170509 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170522 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6156549 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |