CN107784060A - 适地性空间对象数据建立方法、显示方法与应用*** - Google Patents

适地性空间对象数据建立方法、显示方法与应用*** Download PDF

Info

Publication number
CN107784060A
CN107784060A CN201710287386.2A CN201710287386A CN107784060A CN 107784060 A CN107784060 A CN 107784060A CN 201710287386 A CN201710287386 A CN 201710287386A CN 107784060 A CN107784060 A CN 107784060A
Authority
CN
China
Prior art keywords
spatial object
information
mobile device
spatial
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710287386.2A
Other languages
English (en)
Inventor
李雨暹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN107784060A publication Critical patent/CN107784060A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/904Browsing; Visualisation therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9537Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004Annotating, labelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Library & Information Science (AREA)
  • Architecture (AREA)
  • Information Transfer Between Computers (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种适地性空间对象数据建立方法、显示方法与应用***,提供一云端服务器,取得终端使用者使用移动装置建立的一空间对象,还取得此空间对象所处位置的空间信息,例如地面位置信息、空间角度信息,或可包括空间对象所处位置背景的影像信息。当云端***收集多个空间对象的空间信息后,经设立一可视范围后,足够多个空间对象与空间信息建立一搜索数据库。使用者操作移动装置搜索空间对象,通过产生传送到云端服务器的空间信息,可比对形成搜索结果,移动装置因此显示出对应的空间对象。

Description

适地性空间对象数据建立方法、显示方法与应用***
技术领域
本发明公开一种有关空间对象数据建立与显示方法与***,特别涉及让使用者通过移动装置建立适地性空间对象数据的方法,以及提供这些对象的显示方法与应用***。
背景技术
在现有应用中,使用者可以操作移动装置,执行一特定软件程序,开启其中照相模块,在移动装置上显示实景的情况下,可以搭配使用增强现实(augmented reality)技术,呈现出在此实景前的特定影像对象。
根据现有技术,利用移动装置显示增强现实影像的技术常是设定软件程序可以识别出某个场景内的标记(marker),因而触发某个影像对象,其中标记与此影像对象的关联已经默认在软件程序中。
另有方式是根据移动装置的位置,触发其中软件程序产生对应某个位置的影像对象,让移动装置显示出对应某个位置范围的影像。其中全球定位***产生的全球定位信号,或可搭配方位角(azimuth angle)的信号,即为触发软件程序经联系某个服务器产生特定影像对象的依据。
常见现有使用增强现实或是依照地点显示影像的技术多用于体验或娱乐的用途。
发明内容
本发明公开书提出一种适地性空间对象数据建立方法、显示方法与应用***,应用***提供使用者操作移动装置下载一软件程序,经执行此软件程序后,可选择进入一数据建立模式或是一搜索与显示模式。在数据建立模式下,***提供使用者可以通过每个执行此软件程序的移动装置在特定实景下建立空间对象,因此在***端可以建立一个实景、移动装置定位信息与空间对象对应的搜索引擎。于是,在搜索与显示模式下,使用者仍然操作着移动装置,***端服务器取得移动装置的定位信息后,可配合实景的影像信息,进而能搜索对应的空间对象,达到搜索与显示空间对象的目的。
优选地,在发明所提出的适地性空间对象数据建立方法中,于数据建立模式下,运行于移动装置内的软件程序取得移动装置产生选定一空间对象的信号,并接收移动装置所选定的实景的信号,产生对应空间对象的空间信息,接着,上传此空间对象的数据以及对应空间对象的空间信息至一服务器,建立提供搜索空间对象的数据库。空间对象为一文字、一图片、一影片与一声音其中的一个,或其组合。
进一步地,其中对应空间对象的空间信息包括对应移动装置的一地面位置信息与一空间角度信息,以及实景的影像信息。例如,地面位置信息于操作移动装置时,由移动装置内一地面定位单元产生,空间角度信息由移动装置内一空间定位单元产生。而实景的影像信息则可为经图像处理后产生的色块信息与线条信息。以上定位信息与影像信息形成定位空间对象的依据。
优选地,再一实施方案中,适地性空间对象数据显示方法包括于搜索与显示模式下,运行于移动装置内的软件程序接收移动装置取得一实景的影像的信号,于是,移动装置产生与此实景相关的空间信息,至少包括上述的地面位置信息与空间角度信息,这些空间信息可上传至一***提供的服务器,经服务器中运算程序比对当中数据库后,可以接收一对应此空间信息的搜索结果,并显示搜索结果表示的空间对象。
进一步地,若经比对产生对应这个空间信息的空间对象,将可直接于移动装置显示上述实景时,同时显示迭加与实景有关连的位置的空间对象,完成搜索有关此实景空间对象的目的。
优选地,根据发明提出的应用***实施例,应用***包括设于云端的服务器与数据库,并包括载于移动装置的计算机可读取媒体的程序集,经处理器执行后可以执行以上适地性空间对象数据与显示的程序,程序集包括:
一影像获取指令,用以取得实景的影像,并显示于移动装置上;一空间对象处理指令,用以处理建立于移动装置上与实景有关连的位置的一空间对象,以及形成传送到服务器的空间对象的数据;一定位信息产生指令,用以取得移动装置的一地面定位单元与一空间定位单元产生的一定位信息;一影像信息产生指令,用以处理实景影像,产生对应空间对象的影像信息;一搜索处理指令,用以取得移动装置于一搜索与显示模式下产生的定位信息与影像信息,将定位信息与影像信息传送到服务器,接收服务器产生的搜索结果;一数据传送与接收指令,建立移动装置与服务器之间的联机,用以传送与接收信号;以及一空间对象显示指令,用以根据搜索结果显示空间对象。
附图说明
图1A至图1C显示使用者操作移动装置建立适地性空间对象的情境示意图;
图2A显示取得空间角度信息的示意图;
图2B显示取得空间对象的背景影像信息的示意图;
图3显示实现本发明适地性空间对象数据建立与显示的***网络架构实施例图;
图4显示本发明应用***中终端移动装置中软件模块的实施例图;
图5显示本发明适地性空间对象数据建立方法的实施例流程;
图6显示本发明提出的应用***建立数据库的实施例流程;
图7显示本发明适地性空间对象数据显示方法的实施例流程;
图8显示应用***提供搜索结果的实施例示意图。
具体实施方式
本发明公开书公开一种适地性空间对象数据建立方法、显示方法与应用***,所提出的应用***包括一云端***,以及载于移动装置的计算机可读取媒体中的软件程序,云端***设有服务器以及数据库,提供使用者管理接口,让使用者使用移动装置上传与位置、空间有关的空间信息,使得应用***记载了各端使用者上传的适地性空间对象数据,形成一提供搜索服务的数据库,进而建立搜索引擎,能提供使用者依照地理位置搜索对应的空间对象。
通过以下情境示意图描述使用者操作移动装置建立适地性空间对象的方法。
如图1A所示,示意显示使用者操作一移动装置10,先让使用者操作移动装置10下载并安装应用***提供的软件程序,如智能移动装置内的APP,经执行此软件程序后,可进入一数据建立模式,开启移动装置10的照相模块,操作移动装置10朝向欲加注数据的对象,如建筑物、商店、景点、物品等目标对象,通过移动装置10的显示器可以看到这些目标对象的实景101。之后,通过如增强现实(Augmented Reality,AR)的技术,提供使用者利用移动装置10的触控显示器,或是其他输入方式,在实景101的某个部位上新增一个信息,不排除可为文字、图片、影片、声音等信息。
此例显示使用者就站在知名景点「巴黎铁塔(实景101)」的前方,使用者操作移动装置10朝向此实景101,并加注此为「巴黎铁塔」的信息,此加注内容在本发明提出的***中称为空间对象103。
之后,当使用者确认在实景101上加注的信息(空间对象103)后,移动装置10内的软件程序可以通过程序将产生此空间对象103对应的空间信息传送到应用***的服务器,例如传送到应用***的某个伺服主机上。上述信息(空间对象103)的内容可为文字、图片、影片或声音,或其组合,上传到服务器的空间信息则可包括空间对象103,以及建立此空间对象103当下的移动装置10的地面位置信息、空间角度信息,以及拍摄实景101的影像信息等。其中空间角度为方位角(azimuth angle)与仰角(elevation angle)的组合。
在搜索与显示模式下,此例中实景101的影像信息如空间对象103背后巴黎铁塔的组成色块,以及色块之间的线条。以上地面位置信息、空间角度信息、色块信息与线条信息即为呈现空间对象103的参数,一并存储在应用***中的云端服务器上,当有使用者操作移动装置10产生以上参数,云端服务器即可比对而取得并呈现出空间对象103。在一般运行下,云端服务器至少需要地面位置信息与空间角度信息来比对得出空间对象103,若有需要,则可继续比对移动装置10所传送的色块信息,以及/或再加上线条信息;或先考虑线条信息,当有无法确认空间对象103的时候,再继续参考色块信息。最后产生传送到移动装置10的搜索结果。
更进一步地,当使用者通过移动装置10显示空间对象103时,可以通过软件程序提供的接口,如一个链接图案,或是空间对象103显示时也成为一个链接按钮,让使用者点入后继续得到有关此空间对象103的更多信息,这些信息为***提供,或是在建立此空间对象已经加入的信息。举例来说,当空间对象表示一个景点的信息,点入后可以得到景点介绍、交通信息、附近店家等;当空间对象为一个店家,点入后可以得到店家的进一步信息,如店家联络方式、优惠方案,让软件程序可以提供联系的功能。
图1B显示另一建立适地性空间对象的情境示意图。此例显示使用者操作移动装置10启动软件程序,在数据建立模式下,开启照相模块,朝向一个实景102(此例为大楼),可以准确地对着某个楼层范围以增强现实的技术迭加空间对象105,此例为图片信息,此图片信息可以传达对应的楼层或是这个实景102的内容,例如为该楼层有一个公司,空间对象106可以为介绍该公司的文字、影音内容、图片等,或可为商品广告、招募信息等。同样地,将此加注的信息(空间对象105)的空间信息传送到***的服务器。此例的空间信息可包括空间对象105的影像信息,以及建立此空间对象105时的移动装置10的地面位置信息、空间角度信息与实景102的影像信息。此例中的实景102影像信息如作为空间对象105背景的大楼组成的色块信息以及色块之间形成的线条信息。
当完成建立此空间对象105的空间信息后,上述对应此空间对象105的地面位置信息、空间角度信息与影像信息即上传应用***的数据库,作为搜索空间对象105的参数。
更进一步地,此空间对象105建立时,使用者可以赋予空间对象105更多功能,例如建立一个连结,如URL,让其他使用者搜索得到此空间对象105时,可以获取进一步信息,如链接到另一个网页,提供使用者进一步的互动服务,如提供影音通信、信息交谈、购买交易的接口。
再如图1C显示的情境示意图,在此例图中,实景104显示有一摆设于室内的桌子,使用者可操作移动装置10先取得并显示实景104的影像,并可操作其中程序接口在实景104影像上迭加一空间对象107,此例显示在一张桌子上加入一个花瓶,另不排除可为一段文字信息、影音内容或图片,或是各种信息的组合。同样地,经使用者确认空间对象107在此桌子的位置后,移动装置10的软件程序将此迭加的空间对象107的空间信息传送到***的服务器。此例的空间信息可包括空间对象107的影像信息,以及对应此空间对象107的地面位置信息、空间位置信息与实景104的影像信息。
值得一提的是,当实景104为室内对象时,移动装置10不容易获得全球定位***(GPS)的信号时,移动装置10中的软件程序可以采用移动装置10最近一次的全球定位信息,应用***将可以根据此最近的位置信息判断移动装置10所处位置,例如可能是在某个建筑物内,或在某个景点范围内。不过,却因此无法精准定位所建立的空间对象,因此本发明还提出可以实景的影像信息作为定位的依据的技术,而所述影像信息,根据一实施例,可以为空间对象背景(即某个实景)的色块信息以及/或线条信息。
根据一实施例,上述实景104的影像一般为加入空间对象的背景影像,如图1C所示范例中的桌面,桌面影像可先经移动装置10内的软件程序前置处理成色块信息与线条信息,或许拥有强大运算能力的云端服务器可以直接进行影像识别,可以准确得到空间对象的所在位置,但是,优选地,将原本的影像信息经前置处理能形成容易存储、比对的数字信息。理由的一个是,当***欲提供快速搜索的服务,不论***是否拥有强大的运算能力,都不需要对整个实景影像进行影像识别,而仅需要以经过前置处理的数字信息进行比对,就可准确而快速地搜索到对应的空间对象。
也就是说,本发明提出提供适地性空间对象数据建立与显示功能的应用***,其中在服务器端的运算程序初步可以从地面位置信息与空间角度信息定位得出空间对象,例如,其中可以从全球定位***得出的地面位置信息,由陀螺仪信号取得移动装置在此空间的水平方位与俯仰角度等信息,也就是形成所述的空间角度信息。但是,在搜索与显示模式下,当地面位置信息与空间角度信息仍无法准确定位某个空间对象,云端服务器将继续比对色块信息,看服务器中的数据库是否可以对应得到某个空间对象;若加入色块信息仍无法确认对应的空间对象,则继续比对线条信息,如此,应用***将提供最终搜索结果,包括对应的唯一空间对象,或是提供选择的项目。
以上所述的地面位置信息一般由移动装置中的全球定位***(GPS)等的定位电路读出,或可辅以行动基地台信号或是无线区域网络信号辅助定位。当移动装置处于无法接收到定位卫星的信号时,除了可以其他信号辅助定位外,应用***可以将自该移动装置接收的最后定位信号作为所述地面位置信息。接着,再取得移动装置中陀螺仪(gyroscope)等空间定位电路产生的信号,以此作为所述空间角度信息。
空间角度信息的取得可参考图2A所示的示意图,所示的空间坐标是以一个水平方位角(Azimuthal angle)φ与俯仰角(vertical angle)θ定义位置,根据本发明的实施概念,移动装置20发展这个空间坐标是,中间原点即为使用者所持的移动装置20,水平表示一个东西南北的方位坐标,根据一个基准轴(此例为朝北的轴)可以取得移动装置20的朝向(如移动装置20背面镜头所指的方向A),此方向A形成一个水平方位角φ以及一个垂直方向的俯仰角θ,方位角φ与俯仰角θ可由移动装置20内的空间定位单元决定,两者的组合即形成方向A的空间角度信息。当配合定位卫星201在移动装置20内形成的水平位置信息,即可适当地定位移动装置20所指的位置与方向,这个空间信息将提供给应用***的服务器,由服务器中的运算程序比对判断得出显示在移动装置20上的空间对象。
图2B显示取得空间对象背景的影像信息的示意图。此例图中显示有一空间对象203,以一虚线外框表示,座落在一个背景影像205上,当建立此空间对象203时,服务器可自使用者端的移动装置上取得空间对象203的影像,以及所处的地面位置信息与空间角度信息,还包括此背景影像205的影像信息,这些空间信息即形成定位此空间对象203的参数。更进一步地,使用者建立此空间对象203时,可以加注更多信息,建立一个链接,让后续使用者搜索到此空间对象203时,可以取得进一步信息、链接到另一网页或购买接口,提供更多互动服务。
此例显示背景影像205的影像信息包括了经过影像前置处理形成的色块信息与线条信息。根据实施例的一个,影像前置处理可于移动装置上执行软件程序运算,亦不排除由云端服务器运算,影像的色块之间形成边缘线条,线条之间就是色块,都是成为识别空间对象所处位置的参数。
前置处理可先识别将背景影像205中的线条(如图示上的线条221,222,223,224,225,226),线条之间形成区域,计算区域(211,212,213,214,215,216,217)中的影像像素的平均值,形成对应的色块信息。在另一实施例中,可对各区域(211,212,213,214,215,216,217)中的影像像素执行一正规化运算(normalization),计算每个区域的特征值,作为该区域的色块信息。影像前置处理方法并不限于以上列举方法,且影像所处色度空间亦不受限于特定色度空间,可如RGB(红、绿、蓝)、HSV(色相(Hue)、饱和度(Saturation)、明度(Value))、CMYK(青(Cyan)、洋红(Magenta)、黄(Yellow)、黑)等。
值得一提的是,当经图像处理后,得出上述背景影像205上的线条221,222,223,224,225,226的信息,线条信息可以提供显示的空间对象203的依据,能经图像处理后让空间对象203确实地座落在应该呈现的平面上。
图3显示实现本发明适地性空间对象数据建立与显示的***网络架构实施例图。
公开书所公开的适地性空间对象数据建立与搜索服务建构在网络上,此例显示***端设有服务器301与数据库302,形成一个云端***,数据库302记载空间对象与对应空间信息,包括使用者操作移动装置上传的空间对象以及对应此空间对象的空间信息,亦可包括应用***自行建制的数据。数据库302作为搜索对象的数据源。在一实施例中,数据库302包括记载空间对象的数据的一空间对象数据库,以及记载空间对象的空间信息以及对应各空间对象的搜索条件的一搜索数据库。
服务器301主要是处理使用者端移动装置所传送的信号,例如搜索空间对象的参数,并进行数据库302内数据比对,提供搜索结果。应用***通过网络30提供搜索服务,云端***的数据库302的数据源主要来自终端使用者建立的空间对象数据,通过软件接口提供使用者端搜索当中数据库302的空间对象。
终端使用者如所示建立者装置303,304,使用者操作移动装置,可以此用移动装置的触控显示器,以手势操做的方式(或是其他输入方式)决定一个置放空间对象的场景,空间对象如文字、图片、影片或声音等,或其组合,所置放空间对象的场景优选为一个实景,两者的结合形成定位此空间对象的空间信息,包括置放此空间对象的地面位置信息与空间角度信息,而实景形成了定位此空间对象的影像信息,如前述经图像处理产生的色块信息与线条信息。
当利用建立者装置303,304建立空间对象与相关空间信息后,通过网络30上传到应用***的服务器301,服务器301将数据存储在数据库302中。应用***经网络30提供搜索者装置306,307,308通过操作移动装置与其中软件程序搜索数据库302中的空间对象。举例来说,使用者操作移动装置,启动软件程序,软件程序取得移动装置中相关定位电路产生的地面位置信息与空间角度信息,这些信息可先传送到服务器301,经比对后,传回搜索结果,搜索结果为对应地面位置信息与空间角度信息的空间对象,最后可显示在移动装置的显示器上。
当地面位置信息与空间角度信息并未明确定位而准确得到某个空间对象时,移动装置将拍摄的实景影像运算得到的色块信息上传应用***的服务器,成为比对的另一参数,或可继续上传实景形成的线条信息,也为比对的参数的一个。
值得一提的是,应用***取得到建立者装置303,304等使用者端通过软件程序产生的空间对象与对应的空间信息(包括地面位置信息、空间角度信息、色块信息与线条信息),可以设定搜索条件,或可由使用者提供,或可由***根据建立者装置303,304与实景之间的空间关系设定此搜索条件,例如可以看到这个空间对象的一时间范围、一可视范围与一使用者范围其中的一个,或其组合。
例如,当初建立此空间对象时的建立者装置303,304与空间对象背后实景(具有一个全球定位坐标值)的位置差异形成一个可视范围,设定一个可以看到空间对象的距离或是区域,应用***即能设一个搜索者装置306,307,308与空间对象显示的实景之间可以看到空间对象的距离门限,在此距离门限之外,不论太近或太远都不能看到空间对象。
再如图4显示本发明应用***与终端移动装置中软件模块的实施例图。
应用***包括设于云端的服务器41,以一计算机***实现,不排除由执行不同工作的计算机***所组成,主要工作在于接收使用者端移动装置400所上传的空间对象数据,以及空间对象对应的空间信息,以建立数据库(搜索数据库43、空间对象数据库45),数据库(搜索数据库43、空间对象数据库45)用以记载经服务器取得使用者端的移动装置产生的数据,特别是包括移动装置400产生对应特定空间对象的空间信息。
数据库为一个数据存储媒体,可以根据功能区分为搜索数据库43与空间对象数据库45,两者可以设于同一服务器内,或是设于不同的位置。其中空间对象数据库45主要为记载移动装置400上传的空间对象的数据,空间对象可以为使用者通过移动装置400建立的文字、图片、影片与声音其中的一个,或其组合,其中影片更广泛地包括平面、立体动画;空间对象数据库45同时也成为使用者通过操作移动装置400选择空间对象的数据源。搜索数据库43主要为记载移动装置400上传的数据中对应空间对象的其他信息,如空间对象的定位信息(地面位置信息、空间角度信息),以及对应空间对象的色块信息与线条信息,色块信息与线条信息主要是取自空间对象的背景实景影像,成为定位空间对象的依据的一个。当服务器41中运行运算程序,比对搜索数据库43记载的空间信息,可以得到一或多个空间对象,每个空间对象各有识别信息(ID),通过空间对象数据库45提供给使用者端装置。
根据再一实施例,当使用者操作移动装置400形成空间对象的空间信息同时,可以设定一搜索条件,也是上传至搜索数据库43中,搜索条件如一时间范围、一可视范围与一使用者范围其中的一个,或其组合,成为搜索比对的依据。
举例来说,使用者在某个实景上(包括实景前、后以及其他与实景有关连的位置)建立空间对象时,可以设定一时间范围,也就是设定使用者在本发明应用***中执行信息搜索时,除了需要符合上述定位信息与影像信息外,在此时间范围内才能搜索到此空间对象。可视范围则是规范一个可视某空间对象的地面位置范围与空间角度范围,或是设定与某实景的某一距离范围与空间角度范围,让使用者操作移动装置400时要在这个可视范围内才能看到对应的空间对象。使用者范围则是让使用者可以设定可以看到空间对象的对象,可以为一或多个人,每个人操作移动装置400搜索空间对象时,同时也会传送每个人的使用者识别数据(user ID),服务器同样将此纳入搜索条件的一个。
因此,应用***借着大量使用者上传的数据建立数据库(搜索数据库43、空间对象数据库45),可以建立一搜索引擎,提供使用者操作移动装置搜索空间对象的服务。
运行本发明适地性空间对象数据建立方法与显示方法的移动装置400通过网络40联机于服务器41,移动装置400主要电路组件如处理各电路组件产生的信号的数据处理单元401,以及与数据处理单元401电性连接的电路组件,如建立与外部装置联机的通信单元402、感测移动装置400位置的地面定位单元403、感测移动装置400在空间位置的空间定位单元404、取得实景影像的摄影单元405以及提供使用者操作手势输入指令的触控显示单元406。
其中地面定位单元403如全球定位***的相关电路,通过接收定位卫星信号产生地面位置信息,而定位的技术仍可辅以其他无线基地台信号执行定位;空间定位单元404则如载于移动装置400内的陀螺仪,利用陀螺仪感测到移动装置在空间的位置,形成空间角度信息,主要由方位角φ与俯仰角θ组成。
应用***还包括载于移动装置400的记忆单元407(一种计算机可读取媒体)的程序集,程序集经移动装置400的处理器(一或多个)执行后,可以执行适地性空间对象数据建立与显示的程序。程序集执行主要功能的指令如下描述。
影像获取指令471,运行移动装置400的摄影单元405取得实景的影像,并显示于移动装置400上;空间对象处理指令472,用以处理使用者操作移动装置400上的触控显示单元406建立与某个实景附近的位置上(前、后、上、下、左、右等)的空间对象,空间对象可由使用者自行建立,或是选自***提供的空间对象数据库45,并形成传送到服务器41的空间对象的数据,空间对象为文字、图片、影片与声音其中的一个,或其组合;定位信息产生指令473,能够取得移动装置400中定位电路产生的信号,如取得移动装置400中地面定位单元403与空间定位单元404产生的定位信息;影像信息产生指令474,用以处理实景影像,产生对应空间对象的影像信息,如上述实施例公开的图像处理方法,可以产生可用以定位空间对象的色块信息与线条信息;搜索处理指令475,用以取得移动装置400于一搜索与显示模式下产生的定位信息与影像信息,并于定位信息与影像信息传送到服务器41后接收服务器41产生的搜索结果;数据传送与接收指令476则是建立移动装置400与服务器41之间的联机,用以传送与接收信号,特别是传送使用者端产生的定位信息,或包括影像信息,再接收服务器41产生的搜索结果;以及空间对象显示指令477,当移动装置400接收到服务器41产生的搜索结果后,如有一空间对象被搜索到,可以根据此搜索结果显示空间对象,根据实施例的一个,将在移动装置400上显示的实景附近迭加此空间对象。
以上所述的空间对象除了可由***提供外,还可以由使用者自行通过其他软件工具产生,包括拍摄的照片,亦可自所提供的***取得,***可以提供图库、影片库、声音库等让使用者选择使用。
图5接着显示本发明适地性空间对象数据建立方法的实施例流程,包括执行搜索与显示,本发明应用***提供使用者操作移动装置下载一软件程序,经执行此软件程序后,可选择进入一数据建立模式或是一搜索与显示模式。
在步骤S501中,使用者操作移动装置启动此软件程序,并可选定执行数据建立模式,于步骤S503,软件程序启动摄影单元,操作移动装置朝向所欲建立空间对象的实景,这时,如步骤S505,由使用者操作接口选定一空间对象,软件程序即接收选定此空间对象的信号。并如步骤S507,通过移动装置上的输入功能,如触控显示器,以手势选定此空间对象在与某个实景有关连的位置,此时软件程序将接收移动装置产生选定空间对象在此实景附近的位置的信号。
经确认空间对象以及其位置时,如步骤S509,软件程序将会取得这个时刻下的移动装置的定位信息,至少包括由GPS***得到的地面位置信息,以及陀螺仪得到的空间角度位置,产生对应空间对象的空间信息。同时,软件程序中的图像处理程序亦能将空间对象背景的实景影像转换为色块信息与线条信息,成为定位空间对象的依据的一个。最后,如步骤S511,将产生对应空间对象的这些空间信息,以及空间对象本身的信息上传至服务器。
更者,在一实施例中,应用***要取得的空间对象相关信息除了对应移动装置的地面位置信息与空间角度信息,以及实景的影像信息,还可包括使用者本身的识别信息(user ID),以及使用者设定的搜索条件(时间、可视范围、使用者范围等)。
而在服务器端,可参考图6所示应用***建立数据库的实施例流程。
当如步骤S601,服务器接收使用者端上传的空间对象与对应的空间信息后,如步骤S603,可以同时取得上传者的信息,也就是使用者的识别数据。再如步骤S605,服务器运行其中程序,根据使用者需求建立空间对象搜索条件,包括依据实景的位置、移动装置建立空间对象的位置等信息所设定的可视范围,另有时间范围,以及由使用者选择,或是应用***决定的可看到此空间对象的使用者范围。
据此,如步骤S607,将建立一个提供搜索服务的数据库,其中记载了空间对象,以及对应空间对象的空间信息、使用者识别数据以及/或搜索条件。
当移动装置处于一搜索与显示模式时,可参考图7所示的适地性空间对象显示方法的实施例流程。
流程一开始,如步骤S701,使用者运行移动装置启动软件程序,进入搜索与显示模式,如步骤S703,并启动摄影单元以取得四周实景,软件程序则接收移动装置取得某个实景的影像的信号。如步骤S705,当使用者操作移动装置,软件程序可以持续得到其中定位电路产生的定位信息,软件程序即产生地面位置信息与空间角度信息,以及/或自所取得实景影像中处理形成的色块信息与线条信息,这些空间信息将上传至服务器,如步骤S707所述。
在服务器端,服务器设有搜索数据库,其中运算程序比对移动装置上传的空间信息,以及/或根据一搜索条件,除比对地面位置信息与空间角度信息之外,还可比对色块信息以及/或线条信息,以得出搜索结果,如步骤S709所述,可自服务器接收对应空间信息的搜索结果。若搜索得到某个空间对象,每个空间对象具有一个识别信息(ID),由空间对象数据库取得后得出空间对象的数据,再于步骤S711,可下载至移动装置上,并显示对应空间信息的空间对象。
在一实施例中,应用***提供一个通知使用者在其地理位置附近有空间对象的提醒功能。在使用者启动此软件程序时,可以在此搜索与显示模式下,当使用者移动到附近一个具有空间对象的范围内,***得知移动装置的地面位置信息已经在至少一个空间对象的一定范围门限内,发出如推播的通知至移动装置中,利用声响、文字、振动等方式让使用者得知,使用者即可拿起移动装置搜索附近的空间对象。应用***提供的提醒功能还可以用使用者的关联性、喜好设定等进行过滤。
值得一提的是,根据本发明实施例,***提供的云端服务器中数据库记载了对应空间对象的空间信息以及/或搜索条件,而这些空间信息以数字信息存储在数据库中,特别是其中影像信息为经图像处理后形成色块与线条的数字信息,因此方便搜索比对,虽***仍不排除可以直接处理影像识别,但是经处理后的色块与线条信息还容易实现实时搜索与实时显示结果的效果。
最后,根据本发明实施例的一个,图8显示应用***提供搜索结果的另一实施方式。
图中显示有一移动装置80,产生由软件程序启始的图形使用者接口801,其中显示使用者操作移动装置80拍摄实时得到的实景影像803,在此状态下,软件程序将产生这个时刻对应移动装置的地面位置信息与空间角度信息,并能包括实景的影像信息,这些空间信息上传服务器时,经比对数据库可以得到对应此实景的空间对象,并可经特定搜索条件过滤,的后将搜索结果传送到移动装置80上,显示如图所示的空间对象805。
当搜索产生多种结果,可以如此图例显示的方式,在图形使用者接口801一侧显示一个搜索结果选单807,当中包括经过排序的空间对象1、空间对象2、空间对象3、空间对象4与空间对象5,供使用者选择观看。其中排序的依据可以根据使用者的朋友圈、喜好、关联性、等方式排列搜索结果。
而显示以上多个空间对象的搜索结果的方式并不限于示意图所示的方式,另可包括左右滑动切换空间对象(1,2,3,4,5,805),更不排除可以迭加方式显示多个空间对象,提供使用者通过触控显示器选择与切换。更者,每个空间对象都可以为一个链接的按钮,让使用者点入后获取更多信息,或是通过其他图案提供使用者链接到其他信息页面上,以提供后续互动的内容。
是以,根据公开书所载实施例,本发明提出一种适地性空间对象数据建立方法、空间对象显示方法与应用***,在此***架构下,可以根据多个使用者上传在不同或相同实景下的空间对象建立提供搜索服务的数据库,所依据的定位信息包括地面位置信息、空间角度信息,以及实景的影像信息,当有使用者欲搜索此实景下的空间对象时,服务器同样依照移动装置上传的定位信息与影像信息搜索空间对象,达到搜索与最后显示空间对象的目的。
而以上所述仅为本发明的优选可行实施例,非因此即局限本发明的权利要求,故举凡运用本发明说明书及图示内容所为的等效结构变化,均同理包含于本发明的范围内,合予陈明。

Claims (20)

1.一种适地性空间对象数据建立方法,其特征在于所述的方法包括:
于一数据建立模式下,接收一移动装置产生选定一空间对象的信号;
接收该移动装置产生选定该空间对象在一与实景有关连的位置的信号,并产生对应该空间对象的空间信息;以及
上传该空间对象的数据以及对应该空间对象的空间信息至一服务器,建立一提供搜索该空间对象的数据库。
2.如权利要求1所述的适地性空间对象数据建立方法,其特征在于对应该空间对象的空间信息包括对应该移动装置的一地面位置信息与一空间角度信息,以及该实景的影像信息。
3.如权利要求2所述的适地性空间对象数据建立方法,其特征在于所述的地面位置信息于操作该移动装置时,由该移动装置内一地面定位单元产生,以及该空间角度信息由该移动装置内一空间定位单元产生。
4.如权利要求2所述的适地性空间对象数据建立方法,其特征在于所述的实景的影像信息为经图像处理后产生对应该空间对象的一色块信息与一线条信息。
5.如权利要求1所述的适地性空间对象数据建立方法,其特征在于,于上传该空间对象的数据的步骤中,还设定对应该空间对象的一搜索条件。
6.如权利要求5所述的适地性空间对象数据建立方法,其特征在于所述的搜索条件为搜索该空间对象的一时间范围、一可视范围与一使用者范围其中的一个,或其组合。
7.如权利要求1至6中任一权利要求所述的适地性空间对象数据建立方法,其特征在于所述的空间对象为一文字、一图片、一影片与一声音其中的一个,或其组合。
8.一种适地性空间对象显示方法,其特征在于所述的方法包括:
于一搜索与显示模式下,接收一移动装置取得一实景的影像的信号;
该移动装置产生与该实景相关的一空间信息;
上传该空间信息至一服务器;以及
自该服务器接收一对应该空间信息的搜索结果;
其中,该服务器设有一数据库,记载由多个使用者操作各自的移动装置所上传的空间对象与对应该空间对象的空间信息;
其中,于该搜索模式下,当该服务器接收该移动装置所上传的空间信息,该服务器的运算程序比对该数据库,以得出对应该空间信息的搜索结果。
9.如权利要求8所述的适地性空间对象显示方法,其特征在于,与该实景相关的该空间信息包括对应该移动装置的一地面位置信息与一空间角度信息,以及该实景的影像信息。
10.如权利要求9所述的适地性空间对象显示方法,其特征在于所述的地面位置信息于操作该移动装置时,由该移动装置内一地面定位单元产生,以及该空间角度信息由该移动装置内一空间定位单元产生。
11.如权利要求10所述的适地性空间对象显示方法,其特征在于,于该服务器接收到该空间信息后,根据一搜索条件,比对该地面位置信息与该空间角度信息,以得出该搜索结果。
12.如权利要求10所述的适地性空间对象显示方法,其特征在于所述的实景的影像信息为经图像处理后产生该空间对象的一色块信息与一线条信息。
13.如权利要求12所述的适地性空间对象显示方法,其特征在于,于该服务器接收到该空间信息后,根据一搜索条件,除比对该地面位置信息与该空间角度信息之外,还比对该色块信息以及/或线条信息,以得出该搜索结果。
14.如权利要求11或13所述的适地性空间对象显示方法,其特征在于所述的搜索条件还包括搜索该空间对象的一时间范围、一可视范围与一使用者范围其中的一个,或其组合。
15.如权利要求8至13任一权利要求所述的适地性空间对象显示方法,其特征在于所述的空间对象为一文字、一图片、一影片与一声音其中的一个,或其组合。
16.一种应用***,其特征在于所述的***包括:
一服务器,包括一数据库;
载于一移动装置的计算机可读取媒体的一程序集,该程序集经该移动装置的一处理器执行后,执行适地性空间对象数据建立与搜索的程序,该程序集包括:
一影像获取指令,用以取得一实景的影像,并显示于该移动装置上;
一空间对象处理指令,用以处理建立于该移动装置上与该实景有关连的一空间对象,以及形成传送到该服务器的空间对象的数据;
一定位信息产生指令,用以取得该移动装置的一地面定位单元与一空间定位单元产生的一定位信息;
一影像信息产生指令,用以处理该实景影像,产生对应该空间对象的影像信息;
一搜索处理指令,用以取得该移动装置于一搜索模式下产生的该定位信息与该影像信息,并于将该定位信息与该影像信息传送到该服务器后接收该服务器产生的搜索结果;
一数据传送与接收指令,建立该移动装置与该服务器之间的联机,用以传送与接收信号;以及
一空间对象显示指令,用以根据该搜索结果显示该空间对象。
17.如权利要求16所述的应用***,其特征在于所述的数据库包括记载该空间对象的数据的一空间对象数据库,以及记载该空间对象的空间信息以及对应各空间对象的搜索条件的一搜索数据库。
18.如权利要求16所述的应用***,其特征在于所述的实景的影像经图像处理后,形成对应该空间对象或执行搜索的一色块信息与一线条信息。
19.如权利要求16所述的应用***,其特征在于,传送到该服务器的空间对象的数据报括搜索该空间对象的一时间范围、一可视范围与一使用者范围其中的一个,或其组合。
20.如权利要求16至19任一权利要求所述的应用***,其特征在于所述的空间对象为一文字、一图片、一影片与一声音其中的一个,或其组合。
CN201710287386.2A 2016-08-24 2017-04-27 适地性空间对象数据建立方法、显示方法与应用*** Pending CN107784060A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW105127122A TWI611307B (zh) 2016-08-24 2016-08-24 適地性空間物件資料建立方法、顯示方法與應用系統
TW105127122 2016-08-24

Publications (1)

Publication Number Publication Date
CN107784060A true CN107784060A (zh) 2018-03-09

Family

ID=59227515

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710287386.2A Pending CN107784060A (zh) 2016-08-24 2017-04-27 适地性空间对象数据建立方法、显示方法与应用***

Country Status (5)

Country Link
US (1) US20180061131A1 (zh)
EP (1) EP3287912A1 (zh)
JP (1) JP2018032381A (zh)
CN (1) CN107784060A (zh)
TW (1) TWI611307B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9965900B2 (en) 2016-09-01 2018-05-08 Avid Technology, Inc. Personalized video-based augmented reality

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080268876A1 (en) * 2007-04-24 2008-10-30 Natasha Gelfand Method, Device, Mobile Terminal, and Computer Program Product for a Point of Interest Based Scheme for Improving Mobile Visual Searching Functionalities
CN102204238A (zh) * 2008-09-02 2011-09-28 瑞士联邦理工大学,洛桑(Epfl) 便携式设备上的图像标注
US20120212507A1 (en) * 1997-09-05 2012-08-23 Martin Vetterli Automated annotation of a view
JP2014182479A (ja) * 2013-03-18 2014-09-29 Kddi Corp 姿勢によって拡張現実感の表示を制御する情報端末、システム、プログラム及び方法
JP2015090553A (ja) * 2013-11-05 2015-05-11 株式会社ソニー・コンピュータエンタテインメント 端末装置、付加情報管理装置、および付加情報管理方法
CN105183823A (zh) * 2015-08-28 2015-12-23 上海永为科技有限公司 一种虚拟对象和实景影像的互动展示***
JP2016053776A (ja) * 2014-09-03 2016-04-14 株式会社Screenホールディングス 広告表示システム、広告表示方法、及び広告表示プログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200725318A (en) * 2005-12-16 2007-07-01 Mitac Res Shanghai Ltd System and method of using a positioning coordinate as an image search reference
US9286624B2 (en) * 2009-09-10 2016-03-15 Google Inc. System and method of displaying annotations on geographic object surfaces
TW201137309A (en) * 2010-04-23 2011-11-01 Chunghwa Telecom Co Ltd Method for obtaining object location and information by photographing
JP5369066B2 (ja) * 2010-08-02 2013-12-18 日本電信電話株式会社 リコメンデーションシステム、発言端末、検索端末、リコメンデーション方法
US20130326018A1 (en) * 2012-05-31 2013-12-05 Jung Hee Ryu Method for Providing Augmented Reality Service, Server and Computer-Readable Recording Medium
US9524282B2 (en) * 2013-02-07 2016-12-20 Cherif Algreatly Data augmentation with real-time annotations
EP3004803B1 (en) * 2013-06-07 2021-05-05 Nokia Technologies Oy A method and apparatus for self-adaptively visualizing location based digital information
JP6171671B2 (ja) * 2013-07-24 2017-08-02 富士通株式会社 情報処理装置、位置指定方法および位置指定プログラム
TWI528197B (zh) * 2013-09-26 2016-04-01 財團法人資訊工業策進會 相片分群系統及相片分群方法與電腦可讀取記錄媒體
TWM480729U (zh) * 2014-03-05 2014-06-21 ji-zhong Lin 整合有電子設備並用於顯示2d擴增實境之擴增實境系統
TWM491897U (zh) * 2014-05-13 2014-12-11 Chi-Chung Lin 智慧社區擴增實境系統
KR20160015972A (ko) * 2014-08-01 2016-02-15 엘지전자 주식회사 웨어러블 디바이스 및 그 제어 방법
KR102276847B1 (ko) * 2014-09-23 2021-07-14 삼성전자주식회사 가상 오브젝트 제공 방법 및 그 전자 장치
TWM505017U (zh) * 2015-04-28 2015-07-11 Cathay United Bank 適地性訊息提供系統

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120212507A1 (en) * 1997-09-05 2012-08-23 Martin Vetterli Automated annotation of a view
US20080268876A1 (en) * 2007-04-24 2008-10-30 Natasha Gelfand Method, Device, Mobile Terminal, and Computer Program Product for a Point of Interest Based Scheme for Improving Mobile Visual Searching Functionalities
CN102204238A (zh) * 2008-09-02 2011-09-28 瑞士联邦理工大学,洛桑(Epfl) 便携式设备上的图像标注
JP2014182479A (ja) * 2013-03-18 2014-09-29 Kddi Corp 姿勢によって拡張現実感の表示を制御する情報端末、システム、プログラム及び方法
JP2015090553A (ja) * 2013-11-05 2015-05-11 株式会社ソニー・コンピュータエンタテインメント 端末装置、付加情報管理装置、および付加情報管理方法
JP2016053776A (ja) * 2014-09-03 2016-04-14 株式会社Screenホールディングス 広告表示システム、広告表示方法、及び広告表示プログラム
CN105183823A (zh) * 2015-08-28 2015-12-23 上海永为科技有限公司 一种虚拟对象和实景影像的互动展示***

Also Published As

Publication number Publication date
JP2018032381A (ja) 2018-03-01
TW201807598A (zh) 2018-03-01
US20180061131A1 (en) 2018-03-01
EP3287912A1 (en) 2018-02-28
TWI611307B (zh) 2018-01-11

Similar Documents

Publication Publication Date Title
CN108616563A (zh) 移动物件的虚拟信息建立方法、搜寻方法与应用***
CN106550182A (zh) 共享式无人机观景***
CN102496131A (zh) 酒店客房室外景观展示***及方法、数据生成***及方法
CN107870961A (zh) 空间物件搜寻排序方法、***与计算机可读取存储装置
US20140300637A1 (en) Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
CN107870962A (zh) 适地性空间物件远距管理方法与***
CN105338479A (zh) 基于场所的信息处理方法及装置
US10127667B2 (en) Image-based object location system and process
CN102542483A (zh) 房产位置展示***及方法、展示数据生成***及方法
CN101872243B (zh) 一种实现跟随现实空间方向的360°全景播放***及其方法
WO2014162044A1 (en) Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
CN102436621A (zh) 房产景观数据展示***及方法、数据生成***及方法
CN103562957B (zh) 信息提供装置、信息提供方法以及信息提供***
CN105023266A (zh) 增强现实实现方法、装置和终端设备
JPH11122638A (ja) 画像処理装置および画像処理方法ならびに画像処理プログラムが記録されたコンピュータ読み取り可能な情報記録媒体
CN108114471A (zh) Ar业务处理方法、装置、服务器及移动终端
CN108733272A (zh) 适地性空间物件可视范围管理方法与***
CN110199525A (zh) 用于选择场景以在增强现实界面中浏览历史记录的***和方法
JP2022507715A (ja) 測量方法、装置及びデバイス
CN103262530A (zh) 视频监视装置
CN108241726A (zh) 移动物件的虚拟信息远距管理方法与应用***
JP2003263656A (ja) 携帯端末での三次元簡易作成方法および装置と三次元簡易作成プログラムおよび該プログラムを記録した記録媒体
CN107784060A (zh) 适地性空间对象数据建立方法、显示方法与应用***
WO2021093703A1 (zh) 基于光通信装置的交互方法和***
US20230031587A1 (en) System and method of controlling image processing devices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180309