TWI524801B - 根據行動裝置所記錄之影像內容之資料存取 - Google Patents

根據行動裝置所記錄之影像內容之資料存取 Download PDF

Info

Publication number
TWI524801B
TWI524801B TW098114686A TW98114686A TWI524801B TW I524801 B TWI524801 B TW I524801B TW 098114686 A TW098114686 A TW 098114686A TW 98114686 A TW98114686 A TW 98114686A TW I524801 B TWI524801 B TW I524801B
Authority
TW
Taiwan
Prior art keywords
image
information
mobile device
location
data
Prior art date
Application number
TW098114686A
Other languages
English (en)
Other versions
TW201018298A (en
Inventor
阿蘭 雷曼紐加普雷
曼可倫 史納尼
Original Assignee
雅虎股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 雅虎股份有限公司 filed Critical 雅虎股份有限公司
Publication of TW201018298A publication Critical patent/TW201018298A/zh
Application granted granted Critical
Publication of TWI524801B publication Critical patent/TWI524801B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/535—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)
  • Telephonic Communication Services (AREA)

Description

根據行動裝置所記錄影像內容之資料存取
本發明係針對根據影像存取資訊之方法與裝置。更具體來說，其係利用多個具有類似情境關連性要素的影像(如附近地點)來判定與影像內容有關的資訊。
在現實生活中，要將資訊輸入手機或其他行動裝置並不是件容易的事。資訊的輸入一般牽涉到使用者要在小型按鍵裝置上打字將一小組字輸入搜尋視窗中。此情形在需要打字輸入全球資源定址器(uniform resource locators,URL)位址或其他特殊資料要用的特殊字元時會更為困難。與其使用打字輸入，一些行動裝置可讓使用者輸入語音命令。然而，其語音命令的數目與類型通常非常有限。要這類行動裝置從語音命令中解譯出特殊的字元亦非常困難。
再者，使用者通常對他們看得到的事物較感興趣，這些事物很難用語音命令或音訊輸入來傳達描述。現今許多行動裝置會具有數位相機，且其行動裝置的使用者不僅可以擷取影像，還可以下載影像、與/或在簡訊中傳送影像給另一運算裝置。這類相機通常比鍵盤裝置便宜，但相對地其影像解析度也不高，可能只有三百萬畫素以下。這類低解析度相機通常不適合用於物件辨識的應用中。
有鑒於上述需求，本發明提出了一種根據行動裝置所記錄影像內容之資料存取方法與裝置。本發明係針對使用影像資料與情境資料來判定與場景有關之資訊。其內容資訊可直接進行存取或回覆給使用者，作為搜尋詞或其他處理之輸入、或是用作其他用途。所擷取之影像資料、先前影像之分析資料、設定檔資料、以及其他從多個使用者端收集而來的資料等皆可用來判定所擷取影像的主題或是其使用者最可能想要的資訊。
在本發明一觀點中，影像資料可能會包含一或多個靠近一相同地點的影像。該些可能含有非文字形式或文字形式的資訊。而其情境資料可能含有影像所擷取的地點或與地點相關資訊、以及擷取影像所用之行動電話相關的使用者設定檔等資訊。
在本發明另一觀點中，影像可被分析來判定其直方分析圖以識別出其影像特徵。其影像亦可被分析來找出影像內字符之位置並加以識別，並將結果與其他使用者所作之影像分析進行比對評估，以判定該影像可能之內容。其情境資料亦可用來評估與判定的影像內容與/或所欲之影像相關資訊。
在本發明又一觀點中，判定或識別後的關鍵字、類別、或其他資訊等皆可提送至一資料搜尋系統以索詢搜尋結果，如特定識別後的網頁、電話目錄資訊、廣告、或其他搜尋結果，並可進一步地篩選、排序、分類、或處理。
本發明其他的細節將在下述實施範例中討論。
現在本發明將參照隨附圖式在下文中作更完整的描述，該些圖式係構成本發明之一部分，且以圖說方式來表示施行本發明的可能特定實施範例。然而，本發明可以許多不同形式體現，其不應被理解為是對此處所提實施例之限囿。文中所提供之實施例係可讓本發明揭露更為完善，並向該領域之熟習技藝人士充分表達本發明之範疇。除此之外，本發明可能以方法或裝置之方式體現。故此，本發明可以採取完全硬體實作之形式，或是採取結合了軟硬體觀點實作之形式。
綜觀本發明說明書與請求項全文，除非其上下文有清楚指出，否則下列用語將採與內文有明確關聯之意。儘管可能，文中所用「在一實施例中」一語所指稱者並非必定為相同的實施例。再者，儘管可能，文中所用「在另一實施例中」一語所指稱者並非必定為不同的實施例。是以下述本發明各種的實施例在不悖離本發明精神或範疇的情況下可以善加結合並施行。
另外，文中所用之「或」係為一含括性用詞，除非其上下文中有明確指出，否則文中「或」一詞等同於「與/或」一詞。同樣地，文中「基於」或「根據」一詞並不具排他性，除非上下文中有明確指出，否則其得以以其他未作描述之因素為基礎。另外，在整篇說明書中，「一」、「其」、及「此」等用詞在意義上包含了複數個指稱。而「在...中」則包含了「在其中」與「在其上」之意。
簡言之，本發明實施例係針對使用影像資料與情境資料來判定與場景有關之資訊。其內容資訊可直接進行存取或回覆給使用者，作為搜尋詞或其他處理之輸入、或是用作其他用途。所擷取之影像資料、先前影像之分析資料、設定檔資料、以及其他從多個使用者端收集而來的資料等皆可用來判定所擷取影像的主題或是其使用者最可能想要的資訊。不同於仰賴高解析度影像或複雜的影像處理技術，該與影像或地點相關的多種資料形式收集會用於社群式的識別應用中。
在本發明中，影像資料可能會包含一或多個靠近一相同地點的影像。該些影像可能為許多不同的使用者使用不同的相機或其他裝置所擷取。其影像可能含有非文字形式的資訊，如商標、地標等。此外，其影像可能含有文字資訊，如標誌或招牌等上的字串。而其情境資料可能會含有每個影像所擷取的地點、以及擷取影像所用之行動電話相關的使用者設定檔等資訊。另外，情境資料可含有地點相關之已知資訊，如商家、建築物、街名、或是一或多個使用者於該地點附近所進行動作之資訊等。發明中，影像可被分析來判定其直方分析圖，以識別出其影像特徵。其於影像解析度允許的情況下可以進行一些物件辨識的動作。其影像亦可被分析來找出影像內字符之位置並加以識別。該影像分析結果可與其他由相同使用者與/或其他使用者所作之影像分析進行比對評估，以判定該影像可能之內容。同樣地，情境資料亦可評估來判定或修訂可能的影像內容與/或所欲之影像相關資訊。在一實施例中，判定或識別後的關鍵字、類別、或其他資訊等皆可提送至一資料搜尋系統以索詢搜尋結果、來自特定識別後URL的網頁、電話目錄資訊、廣告、或其他搜尋結果等。此外，該結果還可進一步加以篩選、排序、分類、或處理。
本發明實施例會識別使用者所拍攝物件之含意，並使用該含意來請求更多的資訊。一般的影像評估係使用影像辨識演算法、嵌入碼、或條碼來完成。這類影像線索通常都不可靠，不僅影像品質差，且其影像辨識演算法本身並不能夠提供使用者所要的準確度水準。如果具備足夠的情境資訊，如基於已知物件之位置、先前的搜尋結果等，本發明將可快速判定影像之性質，如實施例中用以判定使用者所拍攝者是否為一近期動作影片或其他特定資訊的宣傳看板。本發明之實施例可示予使用者一自訂的顯示畫面，其表示出更多影像主題相關之資訊，如新上映的影片等。而搜尋結果中亦可能含有最近期顯示的地點與時間等其他資訊。
本發明實施例會盡可能地使用輔助資訊來分辨使用者欲在影像中找尋什麼。此等額外資訊於文中一般稱為情境或情境式資訊。該些情境一般包含了攝影的地點、影像拍攝的時間日期、其他使用者在此地點拍攝照片的機率、其他照片的內容(其中一些可能是使用高解析度相機拍攝)、使用者先前已找尋之資訊、不同使用者選到相同某類給定背景資訊的可能性、以及該地點附近物件的已知位置等。
情境資料可以有許多不同的使用方式。情境資料可能會用來協助搜尋使用者所拍攝照片中可能會呈現的物件。中央伺服器可從使用者端接收低畫質影像並使用LSH(Locality Sensitive Hashing)類的演算法來進行影像比對，以找出相同地點中相同物件較佳畫質之影像。在大部分的情形下，因為先前伺服器已接收過該地點較佳的影像，故該伺服器已對該較佳影像進行過分析。此較佳影像的先前分析所取得之資訊可能致使先前的使用者點選一結果鏈結，或做出另一些伺服器會追蹤的動作。故此，伺服器一般會具有較多關於影像主題等可能所需資訊之情境資訊。其情境資訊亦可能會以機率模型來編碼，可提供其他影像主題相關的情境資料。舉例言之，市區看到星巴克(Starbucks)店面的機率較高即為一種情境資料。而在另一例中，地點或其他情境資料可用來辨識特別的社群資訊，如語言文字等。舉例來說，中國字是美國境內少數區域最有可能看到的文字。根據使用者所處地點，伺服器便可將重心放在辨識該影像地區已知盛行語言中最有可能出現的字符。
如同情境資訊可以進行分配，分析影像之工作亦可在整個網路中分派。影像用的數位指紋可由一低複雜度的演算法來加以判定，其可利用如使用者行動裝置中低階的處理器即可進行計算。數位指紋與使用者地點會被送至一伺服器來確認影像是否以準備好為該伺服器所接收。假如該影像先前已為伺服器接收過，則該影像先前的分析資料會立刻回覆給使用者，使重新分析的成本與通訊費用降到最低。在網路資料交換期間，使用者行動裝置可對影像作初期的特徵萃取與壓縮動作以準備於必要時將其傳送至伺服器端作進一步的詳細分析。此流程可從簡單的影像比對到較為複雜的演算法計算、施行光學文字辨識(OCR)來判定影像中任何文字、或是要使用者輸入影像相關之資訊、乃至其他分析動作。本發明一些實施例會盡可能使用情境與影像資訊來限縮使用者資訊請求，並傳輸相關之內容。先前追蹤的使用者行為資訊亦可用來判定影像最有可能的內容，與/或使用者最想要的資訊。其分析動作可能僅需以一按鈕點擊動作即可起始，例如按下相機快門之動作。本發明其他的細節將在下述實施範例中討論。
運作環境說明
第一圖以圖示來說明本發明一實施例中可能的運作環境。然而，本發明並非需要圖中所有的組成元件才得以實行，而且在不悖離本發明精神或範疇的情況下，本發明元件可以進行排列與類型上的變動。
如圖中所示，系統100含有客戶端裝置102-104、網路105、及伺服器106等元件。網路105連結了伺服器106與每一客戶端裝置102-104並促成其間的通訊。
在本發明中，客戶端裝置102-104實際上可包含任何能夠在網路上(如網路105)接收與傳送訊息的運算裝置，其可自另一運算裝置(如一內容伺服器108)傳送或接收訊息。這類裝置可能包含有一般使用無線通訊媒介來進行連接之裝置，如手機、智慧型手機、傳呼器、對講機、射頻裝置、紅外線裝置、廣播、結合前述一或多個裝置的整合裝置或實質上任何的行動裝置等。同樣地，客戶端裝置102-104可為任何能夠使用有線或無線通訊媒介來進行連接的裝置，如個人數位助理(PDA)、口袋型電腦、可攜式電腦、及其他任何裝備來在有線與/或無線通訊媒介上進行通訊之裝置。這類裝置亦可能包含一般使用有線通訊媒介來進行連結的裝置，如個人電腦、多處理器系統、微處理器式或可編程式消費性電子裝置、以及網路電腦等。
客戶端裝置102-104中每個客戶端裝置可能會含有設定來傳送、接收、與顯示網頁的瀏覽器應用程式。瀏覽器應用程式可設定來接收或顯示圖形、文字、多媒體等，其實質上採用任何網路語言，包含(但未限定)標準通用標記語言(SMGL,Standard Generalized Markup Language)、超文字標記語言(HTML,HyperText Markup Language)、可延伸性標記語言(XML,Extensible Markup Language)、手持裝置標記語言(HDML,Handheld Device Markup Language)、無線標記語言(WML,Wireless Markup Language)、XML語法(XMLScript)、Java語法(JavaScript)等。客戶端裝置102-104更可包含一傳訊應用程式設定來自採用其他機制的另一運算裝置來傳送/與/或接收一訊息。該機制包含(但不限定)即時傳訊、電子郵件、簡訊服務、多媒體簡訊服務、或是多種網路聊天協定(如IRC、mIRC、與Jabber)等。
在實施例中，網路105係設定來將一運算裝置耦合至另一運算裝置以促成其間通訊。網路105能夠採用任何形式的電腦可讀取式媒體來將訊息從一電子裝置傳送到另一裝置。同時，網路105可能含有一無線介面與/或一有線介面，如網際網路、以及區域網路、廣域網路、或直接連結，如透過一USB埠、其他形式的電腦可讀取式媒體、或任何其間的組合。在包含那些建構在不同架構與協定下的區域網路互連組合中，路由器會作為區域網路間的連結，使訊息能從一端傳送至另一端。同時，區域網路中的通訊連結一般會含有雙絞線或同軸電纜等形式，如採用類比電話線、共用或專用的數位線路，包含T1、T2、T3、及T4等專線、3階數位訊號(DS-3)、光學載體(如OC-3、OC12、與OC48)、非同步式傳輸模式(ATM,Asynchronous Transfer Mode)、整合服務數位網路(ISDNs,Integrated Services Digital Networks)、數位用戶迴路(DSLs)、包含衛星連結的無線連結、或該領域熟習技藝者所知的通訊連結形式。再者，遠端電腦與其他相關的電子裝置可以藉由一數據機或暫時性的電話連結而遠端連結至區域網路(LANs)或無線網路(WANs)。在本發明中，網路105被理解為可使用多種的通訊協定與技術，包含傳輸控制協定/網際網路協定(TCP/IP,Transmission Control Protocol/Internet Protocol)、用戶資料信息協定(UDP,User Datagram Protocol)、無線應用程式協定(WAP,Wireless Application Protocol)、行動通訊全球系統(GSM,Gglobal System for Mobile Communications)、分碼多工存取(CDMA,Code Division Multiple Access)、分時多工存取(TDMA,Time Division Multiple Access)、整合封包無線服務(GPRS,General Packet Radio Service)、超寬頻(UWB,Ultra Wide Band)、國際電子電機工程師學會標準(如IEEE 802.16)、以及全球互通微波存取(WiMax,World Interoperability for microwave Access)等。本質上，網路105含有任何可讓資訊於客戶端裝置102-104與/或伺服器106之間流通的通訊方法。
上述通訊連結中用來發送資訊的媒體一般包含任何可為運算裝置存取的媒體。其電腦可讀取式媒體可能包含了電腦儲存媒體、有線與無線通訊媒體、或其中任何的組合。此外，電腦可讀取式媒體一般會以電腦可讀取式指令、資料結構、程式模組、及其他資料方式來體現。這類資料可透過調變訊號中的通訊媒介(如載波、資料訊號、或其他傳輸機制或媒介)來進行通訊。在本發明中，「調變資料訊號」與「載波訊號」包含具有一或多個自有特性的訊號，其可以這類方式加以改變以對訊號中的資訊、指令、資料等進行編碼。舉例而言，該通訊媒介包含無線媒介，其含有流體或空間可供聲波、射頻、紅外線、或其他無線訊號傳送，並包含有線媒介，如雙絞線、同軸電纜、光纖、波導、及其他有線媒介。
伺服器106可包含多個運算裝置或為一單一的運算裝置。伺服器106可提供影像分析服務，如判定直方分析圖、進行光學文字辨識、將影像與先前儲存的影像作比對、判定影像相關資訊、進行資料庫運作、進行其他資訊的搜尋、儲存影像相關資訊、及追蹤使用者行為等動作。伺服器106亦可提供內容與/或其他服務，如網站、線上日誌(如部落格)、照片、回顧、線上服務，如傳訊、搜尋、新聞、購物、與/或廣告等。伺服器106更可提供創設、修改、與管理網路資源(如網頁等)間關係等管理服務。簡言之，伺服器106可包含任何能夠連接網路105並為網路使用者(如客戶端裝置102-104的使用者)管理服務的計算裝置。可作為伺服器106的裝置包含含專用的伺服裝置、個人電腦、桌上型電腦、多處理器系統、微處理器式或可編程式消費性電子裝置、及網路電腦等。伺服器106與/或任何客戶端裝置102-104可在一或多台計算裝置上執行運作，如第二圖所描述之客戶端。
客戶端裝置說明
第二圖表示了根據本發明實施例一作為參考資料收集裝置的客戶端裝置200範例。在一實施例中，客戶端裝置200為一行動裝置，如行動電腦。行動裝置的另一例為PDA或手機等，其係安排來藉由一或多個無線通訊介面傳送與接收語音通訊與訊息(如簡訊)。通常行動電子裝置能夠藉由連接一或多個無線網路來進行個人通話、連結多個單一無線網路之節點、在一或多個頻道上與一或多個網路進行通訊，或是接入一或多個通訊時段中。一般而言，客戶端裝置200可包含任何行動式或固定式電子裝置。這類裝置包含手提電腦、掌上型電腦、個人數位助理、手持電腦、手機、智慧型手機、傳呼器、射頻裝置、紅外線裝置、結合前述一或多個裝置的整合裝置等。客戶端裝置200亦可包含其他電子裝置，如個人電腦、多處理器系統、微處理器式或可編程式消費性電子裝置、網路電腦、可攜式電腦等。
客戶端裝置200可能含有比第二圖所示更多或更少的組成元件。然而，其所示元件係足夠揭露並實施本發明。如圖中所示，客戶端裝置200含有一處理單元222，其藉由一匯流排224來與一大容量記憶體230通訊連結。
大容量記憶體230包含一隨機存取記憶體(RAM)232、唯讀記憶體(ROM)234、及其他儲存手段。大容量記憶體230以圖式來說明另一電腦儲存媒體之例，其用以儲存電腦可讀取式指令、資料結構、程式模組、或其它資料等資訊。大容量記憶體230會儲存基本輸出入系統(BIOS)240以控制客戶端裝置200的低階運作。大容量記憶體230亦會儲存一作業系統241以控制客戶端裝置200之運作。吾人希望這類元件可包含一般用途型作業系統，如Windows、UNIX、LINUX、或專用的行動通訊作業系統，如Windows MobileTM、Symbian作業系統等。作業系統可包含或作為與Java實體機器模組之間的介面，使其能夠藉由Java應用程式來控制硬體元件與/或作業系統之運作。
記憶體230更含有一或多個資料儲存單元242，其可被客戶端裝置200用來儲存程式244與/或其它資料。程式244可能包含電腦可執行程式，當其為客戶端裝置200所執行時可傳送、接收、演繹、與/或處理標記頁面，如HTML頁面、XML頁面、WAP頁面(有時指的是作為WAP卡)等。因此，程式244可能含有電腦可執行式指令的瀏覽器程式，其可在作業系統241控制下運行，致使或管理請求、接收、與演繹標記頁面與訊息(如HTTP、TCP/IP、簡訊服務、多媒體簡訊服務、即時傳訊、電子郵件、與/或其它訊息)、音訊、影訊、以及達成與其它客戶端裝置使用者之間的電信通訊連接。其它應用程式的例子還包括了日曆、聯絡管理、工作管理、轉碼器、資料庫程式、文書處理程式、表格程式、遊戲等等。
此外，大容量記憶體230會儲存一影像管理模組246、其可在作業系統241控制下作為一外部模組，如瀏覽器、網頁中的外掛程式(plug-in)、或經由其它設定等。影像管理模組246可進行初步或完整的資料處理，如影像資料、情境資訊、使用者的影像資料請求、或其它行動裝置所擷取或接收影像相關的資料。
客戶端裝置200亦可包含電源供應器226、一或多個無線介面250、音訊介面252、顯示器254、鍵盤256、照明器258、光學資料擷取模組259、輸出入介面260、以及選配的觸感介面(haptic interface)262與全球定位系統(GPS)接收器264等。電源供應器226會提供電力給客戶端裝置200。可充電式或不可充電式電池亦可用來提供電源。其電源亦可能由一外部電力源供應，如交流轉接器、或一通電的座充平台來補充其電池電力。
客戶端裝置200可以選擇性地與一基地台連接，或直接與其它客戶端裝置連接。無線介面250含有電路組來將客戶端裝置200耦合至一或多個無線網路，其於本發明中被認知為可使用一或多個通訊協定與技術，包含(但未限定)TCP/IP、UDP、GSM、CDMA、TDMA、SMS、GPRS、WAP、UWB、IEEE 802.16(WiMax)等協定與技術。
音訊介面252可安排來產生與/或接收聲音訊號，如人聲、音樂等。舉例言之，音訊介面252可耦合至一喇叭與麥克風(未圖示)來達成與其它裝置的電信通訊，並/或為一些動作產生聲音認知。顯示器254可為一液晶顯示器(LCD)、氣體電漿顯示器、發光二極體(LED)、或其它用於客戶端裝置的顯示器類型。顯示器254亦可含有一觸控式螢幕，其設定來接收一物體之輸入，如手寫的文字或數字等。
鍵盤256可包含任何安排來接收使用者輸入之輸入裝置。舉例言之，鍵盤256可能包含普通鍵盤或數字鍵盤等，亦可能包含與選擇及進行可變流程相關的指令鈕。照明器258可提供狀態指示與/或照明並可在一特定時間內作動或回應一事件。舉例言之，當照明器258作動時，它會使鍵盤上的按鈕發背光，並於客戶端裝置通電期間內持續。同時，照明器258可於特殊動作進行期間發出多種圖樣的按鈕背光，如撥打另一客戶端裝置。照明器258亦可使定位在行動裝置的透明或半透明殼體中的光源發光以回應動作。照明器258更可作為影像擷取用之閃光燈。資料擷取模組259，如相機，可含括在客戶端裝置200中。客戶端裝置200可取得影像、視訊、溫度、壓力、或其它資料。
客戶端裝置200亦包含與外部裝置通訊連結之輸出入介面260，如頭戴式套件、或其它第二圖中未示出之輸入或輸出裝置。輸出入介面260能利用一或多個通訊技術，如USB、紅外線、藍芽等。選配的觸感介面262係安排來提供觸覺回饋給客戶端裝置的使用者。舉例而言，在另一客戶端裝置使用者進行傳呼時，該觸感介面262可以特別的方式來震動客戶端裝置200。
選配的GPS收發器264可判定客戶端裝置200在地表上的實體座標，一般以經緯值為其輸出。GPS收發器264亦可採用其它地理定位機制，其包含(但不限定)三角測量、輔助型GPS(Assisted GPS)、增強觀測式時間差異(Enhanced-Observed Time Difference,EOTD)、胞識別碼(cell identifier,CI)、服務區識別碼(service area identifier,SAI)、增強式時間先行(Enhanced Timing Advance,ETA)、基地台子系統(BSS,base station subsystem)等，來進一步判定客戶端裝置200在地表上的實體位置。須瞭解視情形的不同下，GPS收發器264可能為客戶端裝置200判定誤差在毫米內的實體位置，而在其它例子中，其所判定的實體位置可能較不準確，如可能在公尺或更顯著尺度的誤差內。
網路裝置說明
第三圖表示了一根據本發明實施例之網路伺服器裝置。伺服器裝置300可能含有比所述者更多或更少的元件。然而，圖中所示元件已足夠揭露並說明該實施例，以施行本發明。舉例言之，伺服器裝置300可以代表分類伺服器106、內容伺服器108、或第一圖中另一客戶端伺服器。為舉例之故，本實施例中伺服器裝置300將描述成一伺服器裝置。
如圖所示，伺服器裝置300含有一運算單元322，其藉由一匯流排324與一大容量記憶體330通訊連結。圖中大容量記憶體330描繪成一種電腦可讀取式媒體類型，其稱為電腦儲存媒體。電腦儲存媒體可能含有揮發式、非揮發式、可移除式、不可移除式媒體，其可以任何方法或技術來施行以儲存資訊，如電腦可讀取式指令、資料結構、程式模組、或其它資料等。電腦儲存媒體其它的例子包含電子可抹除編程式唯讀記憶體(Electronic Erasable Programmable Memory,EEPROM)、快閃記憶體(flash)、或其它半導體記憶技術，或是CD-ROM、DVD等光學儲存媒介，或是磁匣、磁帶、磁碟等磁性儲存裝置，或其它可用來儲存所欲資訊與可為運算裝置存取之媒介。
大容量記憶體330會儲存基本輸出入系統(BIOS)340來控制伺服器裝置300的低階運作。大容量記憶體330亦可儲存一作業系統341來控制伺服器裝置300的運作。吾人希望這類元件可包含一般用途型作業系統，如Window,UNIX,LINUX,Solaris等版本。其作業系統亦可包含或作為與Java實體機器模組間的介面，使其能夠藉由Java應用程式來控制硬體元件與/或作業系統之運作。
大容量記憶體330更含有一或多個資料儲存單元342，其可為伺服器裝置300用來儲存程式344與/或其它資料。程式344可能含有電腦可執行式指令，其可為伺服器裝置300執行來起始一標記管理應用程式，如用來傳送、接收、與處理HTTP通訊的HTTP管理應用程式，或用來傳送、接收、與處理WAP通訊的WAP管理應用程式等。同樣地，程式344可能含有一安全插座層(SSL,secure socket layer)管理程式來處理安全性連結，如以安全的方式起始與外部應用程式之通訊連結。應用程式的其它例子包括了內容管理應用程式、訊息應用程式、排程器、日曆、網頁服務、轉碼器、資料庫程式、文字處理程式、與表格程式等。因此，程式344可處理圖片、音訊、影訊、或標記頁面，使其能夠與另一電子裝置及/或其它服務之使用者電信通訊。
另外，大容量記憶體330會儲存影像處理模組346。影像處理模組346可含有電腦可執行式指令，其可在作業系統341控制下進行影像分析、影像比對、判定內容資訊、存取地點相關資訊、評估使用者行為資料、判定搜尋詞、或進行其它影像有關之處理動作。在一實施例中，影像處理模組346一般會與客戶端裝置上的影像管理模組通訊連結。大容量記憶體330亦可含有一搜尋模組348，其可能為影像處理模組346之一部分，或是與之通訊連結。搜尋模組348可包含一般進行資料搜尋的搜尋引擎，如內容搜尋、搜尋通往網路資源之鏈結、及資料庫搜尋等。
伺服器裝置300亦可能含有一輸出入介面360以與輸入/輸出裝置通訊連結，如鍵盤、滑鼠、滾輪、搖桿、翹板開關、數字鍵盤、印表機、掃描器、及/或其它第三圖中末特別示出的輸入裝置。伺服器裝置300的使用者可使用輸入/輸出裝置來與一使用者介面互動，該使用者介面可能獨立於作業系統341、程式344、及/或其它模組之外，或是可與之整合。實施例中與使用者介面之互動亦包含了經由顯示器與影像顯示轉換器362呈現之視覺互動。
伺服器裝置300可含有一用於電腦可讀取式儲存媒體的可移除式媒體驅動器352與/或一永久媒體驅動器354。可移除式媒體驅動器352可包含一或多個光碟機、軟碟機、與/或磁帶機等。永久或可移除式儲存媒體可含有於任何資訊儲存方法或技術中施用的揮發性、非揮發性、可移除式、不可移除式媒體，如電腦可讀取式指令、資料結構、程式模組、或其它資料等。電腦儲存媒體之一例為光碟(CD-ROM)355、數位多媒體光碟(DVD)等光學儲存媒體，或是磁匣、磁帶、磁碟等磁性儲存裝置、隨機存取記憶體332(RAM)、唯讀記憶體334(ROM)、電子可抹除編程式唯讀記憶體(EEPROM)、快閃記憶體(flash)等記憶技術、或其它任何可用來儲存所欲資訊與可為運算裝置存取之媒介。經由網路通訊介面單元350，伺服器裝置300可與一廣域網路通訊連結，如網際網路、區域網路、有線電話網路、手機網路、或一些其它的通訊網路，如第一圖中的網路105。網路通訊介面單元350有時會被視為收發器、收發裝置、網路介面卡(network interface card,NIC)等裝置。
邏輯運作說明
第四圖說明了根據影像資料來處理資訊請求的流程圖範例。在一實施例中，資訊請求可為根據影像中所判定出之資料來請求其它資訊之搜尋請求。在步驟402中，一或多個資料服務會建立一或多個情境關連資料之資料庫，如地點相關資訊、使用者相關資訊、時間相關資訊、或其它指示一影像之情境或用來與影像產生關連之資料。情境相關資訊之一例為地理位置資料、廣告資訊、商家資訊、通訊節點資訊、天候資訊、交通資訊、或其它資訊等。發明中地理位置資料可能包含了GPS資料、郵遞區號、街名、住址、建築名稱、地標等。廣告資訊可能包含地點、內容，及其它關於看板、壁畫標誌、路道標誌、店面標誌等。廣告資訊亦可包含非商業性的招牌。商家資訊可包含商家名稱、地址、手機、商標、產品圖像、URL位置、電子郵件信箱、供貨、存貨、價格等資訊。通訊節點資訊則可包含手機基地台位置、wifi熱點位置、網路位置資訊、通訊能力資訊等。即時性資料亦可透過地點相關資訊之資料庫來更新暨維護。例如，資料服務可提供現在的天氣狀況、交通狀況、事件活動等即時資訊。
同樣地，在本實施例的步驟404中，資料服務會追蹤客戶端的線上行為。客戶端使用者行為一般會與該些行為的地點產生關聯。如經使用者允許，資料服務可以追縱訊息、進行的搜尋結果、選擇的URL位置、完成的購買等行為。資料服務亦可判定其它與線上行為有關的參數。舉例言之，資料服務可根據訊息交換判定一些使用者是否彼此間互相認識，或是判定客戶端使用者可能有的興趣等。資料服務亦可判定含括使用者社交網絡的間接關係。
在步驟406中，客戶端使用者會以客戶端行動裝置擷取影像資料。所擷取的影像資料一般會與一或多個情境相關的資料要素有關，如上述之地點與/或其它資料。例如，使用者可用手機拍下看板的照片。其影像與/或地點資料會與電子時戳(time stamp)、手機基地台位置、wifi網路節點位置、或其他內容產生關連。該看板可能含有商家名稱、產品標誌、電話號碼、URL位置、或其它內容等。客戶端裝置可進行進一步的本地端處理，或是可將影像與/或地點資料傳送至一伺服器進行處理。舉例言之，伺服器裝置可能能夠進行一些影像直方分析圖之分析、或影像指紋分析等。客戶端裝置可進行這類分析並將結果傳往伺服器端。然而，在許多例子中，客戶端裝置(如手機)處理影像的能力有限。這類裝置一般會傳送原始或壓縮過的影像資料與地點資料給伺服器再進行處理。
在一選擇性步驟408中，伺服器可接收一給擷取該影像之客戶端的客戶端識別碼，如電話號碼、行動裝置識別號、使用者識別號等。伺服器可使用客戶端識別碼來存取先前儲存與該客戶端識別碼相關的資訊，如先前提送之影像、先前提送之地點、客戶端裝置能力、使用者行為、與該客戶端識別碼相關的總和統計資訊等。伺服器、或客戶端裝置亦可接收其它與該影像地點相關的資訊。如上面所討論者，這類資訊可預先設立地點資料，或是可含有與該地點相關的即時資料。舉例言之，伺服器可存取或接收該影像擷取地點附近商家的資訊。這些商家資訊可識別該些商家及其離該影像擷取地點之距離。同樣地，伺服器可存取或接收其它與影像擷取位置相關的情境資料，如街名、郵遞區號、天候狀況、交通狀況等。
在步驟410中，伺服器或客戶端裝置會分析所擷取影像來判定其影像直方分析圖。影像直方分析圖一般會識別其顏色參數與其它影像特徵使該影像得以進行比對。在理想狀況下，透過比對對應影像畫素簡單的影像比對程序即可準確量測出所拍攝者是否為任何人以同一台相機在同一地點拍攝之相同物體。但一般而言這類簡單的量測對發明而言並不足夠。
在一簡單的例子中，兩影像可藉由計算影像中發現的色彩直方分析圖來進行相似度的比對。用以判定兩影像是否相似的尺度僅在於比較各不同顏色中畫素的比例。這類量度由於不受相機拍攝角度轉動、比例與變形所影響故一般而言相當有用。舉例言之，因為各公司廣告標誌都有獨特的色彩，故其很適合用來判定所看到的看板。但在所擷取影像中有數棟灰色石造建築物的場合下其判定則會顯得為無效。
對影像比對而言，較為複雜的作法一般會更為準確、健全，例如根據顯點(salient points)來判斷之作法。在此作法中，運算子會計算整幅影像以識別出影像中特別顯著或是不論在哪一方位皆較為突出的點。這些點通常為影像之特徵，如影像中的轉角處。一旦影像中的顯點被識別出來，它們會以任何數目的量度值(包括色彩、局部材質、及方位等)來加以特化。兩影像在其顯點高度相符的情況下一般會被判定為相似的，此時他們的對位將會一致。進一步比對細節的例子則有如下述文件中所描述之技術：「以局部比例不變特徵進行物體辨識」(“Object Recognition from Local Scale-Invariant Features”by David G. Lowe.)。
在決定步驟412中，伺服器可確認是否先前儲存的直方分析圖(或顯點等)與新接收影像之直方分析圖在預定的比對值內相符。在此例中，伺服器會從先前接收的影像中選出直方分析資料來與所擷取影像的直方分析結果比對。為限縮比對之數目，伺服器可根據情境相關要素(如所擷取影像地點預定的半徑區域內)選出其先前影像分析資料。在一實施例中，伺服器可選出一「最佳的」先前影像，或目前擷取影像某距離內具有最高解析度之影像。此外，伺服器可使用其它判律來篩選、排序、或選擇先前的直方分析資料。之中其它的判律可能包含所擷取影像某範圍內的直方分析圖特徵、多種資料庫中的影像解析度、與使用者識別碼或行動裝置識別碼特定組合有關聯之先前影像分析資料、在影像擷取地點處一定數目已知區塊內的先前影像分析資料等。
一旦選擇了先前影像分析資料，伺服器會將所選擇的資料與所擷取影像的影像分析結果作比較。就算其餘影像可能有不同的比例、打光、或其他影像參數，另一影像亦可能具有非常相似的影像直方分析圖。舉例而言，影像可能在不同距離處、在不同時間點擷取了一看板。另一影像可從不同距離、在不同時間點擷取一相同看板。兩影像的直方分析圖可進行比較以判定出他們所擷取之看板受否相同。或者，某影像之部分可能具有與另一影像部分非常相似的直方分析圖。其相似部分可被偵測出並加以比較。該相似部分可能會對應標誌或其它非文字性符號。發明中，每個直方分析圖都可作為一數位指紋來識別影像，其相同、或統計上在預定值範圍內的直方分析圖係可視作為等同者。這類比較可以幫助影像內容之識別。
假如使用者設定資料與所擷取影像及至少一先前影像有關聯，先前的使用者設定資料亦可選來與現在所擷取的影像進行比較。這樣可以幫助解決可能標誌的不確定性問題，或提供先前商家的互動資訊、或是提供其它關於所擷取影像額外的情境資訊。
一般而言，假如發現了相符結果，伺服器會存取上述或其它任何的描述性資訊、搜尋詞、或其它與先前影像有關之資訊、及/或用來與所擷取影像產生關連的情境關連性資料之資訊。在一實施例中，情境關連資料是為現在與先前影像所拍攝之位置資料。如步驟414所示，在實施例中，伺服器可進行搜尋、進行其它處理、與/或立即回覆影像內容資訊給客戶端裝置等動作，如先前儲存的影像相關資訊與/或先前儲存的位置相關資訊。影像內容資訊可以僅識別影像之內容，或是可包含與影像內容有關之資訊。在一些實施例中，伺服器可在此步驟結束其影像處理運作，或是可繼續進一步的處理，如所示般取得其它影像相關之資訊與/或地點相關之資訊。
與直方分析圖之評估類似，在步驟416中，伺服器或客戶端裝置可進行光學文字辨識分析(OCR)來識別影像內的字符。在此實施例中，伺服器可以光學方式辨識出現在所擷取場景影像中的字符，這類影像一般為照片而非簡單的黑白頁面，故使用業界中更相關的技術為較有效之作法，如那些用於影訊光學文字辨識之技術。發明中辨識處理係由兩步驟構成：偵測與辨識。偵測步驟一般會識別出可能含有統計表現之材質的影像區域，統計表現可能代表該區域內有文字或符號存在。舉例言之，西方字母有許多緊密的水平線與垂直線。一旦該可能文字區域被識別，圖形辨識方法就會被用來判定最有可能的文字。其中該辨識方法也許會具有文字模型來限縮可能的字符。光學文字辨識技術之例於「用於光學文字辨識的特徵萃取手段」(“Feature Extraction Approaches For Optical Character Recognition”by Roman Yampolskiy)一文中有詳盡的敘述。
在實施例決定步驟418中，伺服器會從先前所接收的影像中選擇光學文字辨識資料，以比對所擷取影像的光學辨識結果。與直方分析圖之分析類似，伺服器可根據情境關連性資料(如所擷取影像地點的預定半徑區域內)來選擇先前影像分析資料。在一實施例中，伺服器可選出一「最佳的」先前影像，或一目前所擷取影像某距離內具有最高解析度之影像。此外，伺服器可使用其它判律來篩選、排序、或選擇先前的光學辨識資料。實施例中其它的判律可能包含多種資料庫中的影像解析度、與光學辨識結果文字相似的所需最小文字數目、與某一組使用者識別碼或行動裝置識別碼相關的先前影像分析資料、影像擷取地點一定數目已知區塊內的先前影像分析資料。
一旦先前的光學辨識影像分析資料被選出，伺服器會將所選擇的影像與所擷取影像的分析結果作比對。辨識後的字符可被比較來判定相符的文字、URL位置、電話號碼等。其比對可基於一預定的比對閥值。舉例而言，其判定可能需要一定比例的字串相符才可歸結出所擷取影像與先前取得影像間有相符的比對結果存在。這些光學辨識比對可以獨立幫助影像內容之識別，或是可用於直方分析圖相關的比對應用中。
同樣與直方分析圖之分析類似，假如使用者設定資料與所擷取影像及至少一先前光學辨識影像有關連，其先前的使用者檔案資料亦會被選來比對目前所擷取的影像。此作法可幫助解決辨識後部分字符或字串或可能的商家產品標誌等不準確之問題，並提供先前的商家互動資訊、或提供其它所擷取影像相關額外的情境資訊。
一般而言，假如發現相符之結果，伺服器會存取任何上述或其它的描述性資訊、搜尋詞、或其它關於先前影像資料之資訊、及/或關於目前與先前影像所擷取地點之資訊。在一些實施例中，伺服器會進行搜尋、進行其它處理、並/或立即回覆影像內容資訊給客戶端裝置等動作，如先前儲存的影像相關資訊與/或先前儲存的位置相關資訊，如步驟420所示。在一些實施例中，伺服器會在此步驟結束其影像處理運作，或如所示般繼續進一步的處理，以取得其它影像相關之資訊與/地點相關之資訊、判定影像相關資訊與/或是客戶端使用者可能想要的地點資訊、或是進行搜尋或其它運作。
在此實施例步驟422中，伺服器會使用透過直方分析圖與光學辨識分析所取得之資訊來進行一或多個具有影像相關資訊與/或地點相關資訊之可選擇的或自動的運作。伺服器可結合經由所有資訊來源處收集而來資訊，如影像、地點、伺服器儲存的鄰近景點(POI,point of interest)、來自本使用者或其它使用者的已點選資料(click-through data)等。伺服器亦可作出決定來判斷是否有相衝突或模糊資訊存在。伺服器可存取資料服務、回覆鏈結、請求其它的使用者輸入值、或進行其它運作。在一實施例中，伺服器會進行搜尋動作，如同第五圖中所詳細描述者。
在步驟424中，伺服器會儲存地點資訊、直方分析圖資訊、光學辨識資訊、運作結果、或其它資料。所儲存的資訊一般會按所擷取影像進行編索動作，使得該所儲存資訊可被用來評估下一擷取影像。
第五圖說明一根據所擷取影像判定搜尋詞與結果的邏輯步驟。在一些實施例中，影像內容或使用者所要的資訊可藉由根據或在目前所擷取影像資料或類似影像資料中可能的搜尋詞來識別。該詞可能包含辨識後的字符、相符的字串、相符的直方分析圖特徵、手動先行核定的字詞、所擷取影像之地點等。所擷取影像的直方分析圖資料可作為一給其它直方分析資料庫或其它影像資料庫的搜尋輸入資料。一些實施例中主要會使用權重來判定電話號碼、URL位址、商家名稱、或其它根據或在目前所擷取影像中較為優先的字詞。而在其它實施例中則可能主要使用權重來判定科學術語或藝術術語如那些見於實驗室或美術館的用語。
如步驟502所示，在此根據影像資料判定可能搜尋詞的實施範例中，伺服器會使用情境影像相關的資料來判定更有可能的搜尋詞。使用者設定資料、個人或總和統計行為資料、裝置識別碼資料、或其它這類的資料皆可根據影像相關資料來進行搜尋。此情境資料亦可用來加權最終搜尋詞的判定。舉例言之，與所擷取資料相關的使用者設定資料可能指出該影像擷取行動裝置之使用者經常搜尋電影資訊，其靠近相同地點的先前影像亦可能與電影詞彙有關連。故識別後的字符與直方分析資料可能會對應一電影院看板、目前放映的電影列表等。故此，伺服器可判定搜尋字、片語、演員名稱、戲院標誌、或其它與電影有關的字詞。
所追蹤的地點資料亦可能會用來判定相對於該搜尋詞的機率圖形。地點資料一般會與影像特徵結合。地點估計一般包含了一或多個機率估計。舉例言之，估計可以指出一影像從某一方向或距離拍攝的機率。此作法通常會在該點的機率空間中形成一高斯凸起(Gaussian bump)分佈。在此凸起分佈範圍內伺服器一般會知道有一些物件存在，其機率可從先前影像與任何伺服器已知地理資訊估出。舉例而言，伺服器可從機率判定中知道所擷取影像地點附近有一銀行。同樣地，影像分類工作、或光學辨識亦可具有與其判定機制相關之機率。在發明中，所擷取影像主題之判定可藉由找出其後驗機率(posterior probability)估計中的波峰來加以改善。其可能為一已知位置機率估計值、所擷取影像附近已知相關區域的先前資訊值、及影像識別結果值的乘積函數。由於在實際情形中，照片擷取的場景或地點處總是會有新的建築或看板被設立，例如可能該區域近期內出現了一個新的零售中心，故伺服器可在其先前資訊值不會完全趨近於零的假設下來規化其計算結果。
根據先前影像的分析資料，先前影像一般會具有與每一先前影像有關的語義詞，其可用來搜尋比對與其他處理用途。舉例言之，與影像有關的詞彙可以識別一特定的入站頁面、服務、或其他網路資源之位置。其網路資源可由廣告商與商家等提供或贊助。此外，與影像有關之詞彙可提供通往一或多個搜尋結果頁面的管道。搜尋資料庫可能會限制在或包含那些可提供已登錄廣告商或商家的資料庫，該些資料庫可提供名稱、電話號碼、URL位址、電子郵件、地點、或其他關於廣告商或商家的看板、標誌、或其他可擷取在影像內的項目等。廣告或商家資料庫或其內容等可以根據其置價、頂級服務收費等條件來進行加權、篩選、排序等動作。該些動作後可取得其中間結果並用來精要其搜尋詞以進行進一步的精確搜尋。
發明中，伺服器會回覆與所擷取影像有關的搜尋詞。舉例言之，伺服器可能會回覆所擷取影像最有可能的主題，如商家名稱、電話號碼、URL位址等。伺服器可根據該回覆的搜尋詞自動取得資訊，或是送出相關字給擷取影像的行動裝置。行動裝置的使用者可決定是否要透過瀏覽器提送所接收之回覆字詞給一般的搜尋引擎進行搜尋。
在步驟504中，伺服器或另一搜尋引擎可基於所判定之搜尋詞或那些使用者所選擇之已判定搜尋詞來進行搜尋。在發明實施中會有一或多個搜尋迭代重複進行，且/或其搜尋範圍涵蓋多個資料庫。在一結果步驟506中，伺服器會回覆一WML頁面、XHTML頁面、文字頁面、簡訊、或其他可作為該先前影像索引之資訊。所回覆之頁面可能會被視為是一與影像中所擷取物件有關之首頁。伺服器可根據回覆該首頁之動作向該首頁的商家、廣告商、或其他贊助商索取服務費。此舉係可建構實務中以每次圖片費用(cost per picture)或每次拍攝費用(cost per camera click)為基礎之收益機制。
上述說明書、實例、與資料等提供了本發明製作與使用組成之完整描述。舉例言之，搜尋步驟或其他運作等可根據其唯一相符的直方分析資訊，或是僅根據相符的光學辨識資料來進行。至於其他實例，所擷取的音訊資料可以類似方式來進行評估以判定其搜尋詞或結果資訊。其比對閥值亦可隨目標地點附近其他額外影像的取得而進行調整。由於本發明許多實施例可在不悖離本發明精神與範疇下達成，本發明之權利將在下文所附的申請專利範圍中請求。
100．．．系統
102．．．客戶端裝置
103．．．客戶端裝置
104．．．客戶端裝置
105．．．網路
106．．．伺服器
200．．．客戶端裝置
222．．．處理單元
224．．．匯流排
226．．．電源供應器
230．．．記憶體
232．．．隨機存取記憶體
234．．．唯讀記憶體
241．．．作業系統
242．．．資訊儲存單元
244．．．程式
246．．．影像管理模組
250．．．無線介面
252．．．音訊介面
254．．．顯示器
256．．．鍵盤
258．．．照明器
259．．．資訊擷取模組
260．．．輸出入介面
262．．．觸感介面
264．．．全球定位系統接收器
300．．．伺服器裝置
322．．．運算單元
324．．．匯流排
330．．．記憶體
332．．．隨機存取記憶體
334．．．唯讀記憶體
340．．．基本輸出入系統
341．．．作業系統
342．．．資料儲存單元
344．．．程式
346．．．影像處理模組
348．．．搜尋模組
350．．．網路通訊介面單元
352．．．可移除式媒體驅動器
354．．．永久媒體驅動器
355．．．光碟
360．．．基本輸出入系統
362．．．影像顯示轉換器
402,404,406,408,410,412．．．步驟
414,416,418,420,422,424．．．步驟
502,504,506．．．步驟
參閱後續的圖式與描述將可更了解本發明的系統及方法。文中未詳列暨非限制性之實施例則請參考該後續圖式之描述。圖式中的組成元件並不一定符合比例，而係以強調的方式描繪出本發明的原理。在圖式中，相同的元件係於不同圖示中標出相同對應之部分。
第一圖說明了一可實施本發明之系統實施例圖示；
第二圖表示了本發明一行動裝置實施例之示意圖；
第三圖說明了一網路裝置實施例之示意圖；
第四圖說明了根據一擷取影像判定與處理影像相關資訊的邏輯運作流程圖；及
第五圖說明了根據一擷取影像判定搜尋詞與結果的邏輯運作流程圖。
402,404,406,408,410,412．．．步驟
414,416,418,420,422,424．．．步驟

Claims (20)

  1. 一種用於存取資訊的方法，包含：接收可代表一行動裝置所擷取之一影像的影像資料；接收可指示該影像為該行動裝置所擷取之一地點的地點資料；從該影像資料判定影像屬性資訊；判定該影像屬性資訊是否在預定的比對閥值內與先前取得的屬性資訊相符，該先前取得的屬性資訊係得自先前取得的影像資料，其代表了在離該地點一預定距離內以該行動裝置所擷取的一先前影像；假如該影像屬性資訊在預定的比對閥值內與該先前取得的影像資訊相符，則根據該地點資訊來存取影像內容資訊，其中該內容資訊可識別出與該先前取得影像資料與該地點有關聯之影像內容；從該影像內容資訊判定與所擷取影像有關的搜尋詞；及提供該搜尋詞至該行動裝置，該行動裝置利用該搜尋詞進行進一步的搜尋。
  2. 如申請專利範圍第1項所述之方法，其中該影像屬性資訊包含一影像的直方分析圖，而該先前取得的屬性資訊包含一先前判定的先前影像的直方分析圖。
  3. 如申請專利範圍第1項所述之方法，其中該影像屬性資訊包含一經由光學文字辨識從該影像判定出之字元，而該先前取得的屬性資訊包含一先前判定出的先 前影像之字元。
  4. 如申請專利範圍第1項所述之方法，更包含於該影像屬性資訊在預定的比對閥值內相符該先前取得的屬性資訊時根據該影像內容資訊來存取地點相關資訊，其中該地點相關資訊與該先前取得的影像資料與該地點有關聯。
  5. 如申請專利範圍第1項所述之方法，其中該影像內容資訊包含一商家資訊的識別碼。
  6. 如申請專利範圍第1項所述之方法，其中該先前取得的影像資料係以另一行動裝置取得。
  7. 如申請專利範圍第1項所述之方法，更包含：根據該搜尋詞進行另一資料搜尋，並提供搜尋結果至該行動裝置。
  8. 如申請專利範圍第1項所述之方法，更包含：接收一該行動裝置的行動裝置識別碼；存取與該行動裝置識別碼有關聯的設定資訊；及根據該設定資訊選出部分該影像內容資訊。
  9. 如申請專利範圍第8項所述之方法，其中該設定資訊包含與該行動裝置使用者有關的使用者行為資訊。
  10. 如申請專利範圍第1項所述之方法，更包含：判定該預定距離內該每一先前影像的優先等級；及根據一判定出之該先前影像之優先等級來選擇該先前取得的屬性資訊，該先前影像係由該先前取得的影像資料來代表。
  11. 如申請專利範圍第1項所述之方法，更包含回覆該影像內容資訊給該行動裝置。
  12. 一種持有指令的機器可讀取式媒介，該指令可使一電子裝置執行多種運作，其中包含申請專利範圍第1項所述之步驟。
  13. 一種用於存取資訊的伺服器，包含：一處理器；一與該處理器及一網路連結之通訊介面；及一與該處理器連結之記憶體，其儲存了可使該處理器進行複數個運作的資料與指令，其中包含：接收影像資料，該影像資料代表了與該網路連結之一行動裝置所擷取的一影像；接收地點資料，該地點資料指示出該影像為該行動裝置所擷取之地點；從該影像資料判定影像屬性資訊；判定該影像屬性資訊在預定的比對閥值內是否與先前取得的屬性資訊相符，該先前取得的屬性資訊係得自先前取得的影像資料，其代表了在離該地點一預定距離內由該行動裝置所擷取的一先前影像；假如該影像屬性資訊在預定比對閥值內與該先前取得的影像資訊相符，則根據該地點資料來存取影像內容資訊，其中該內容資訊可識別出與該先前取得影像資料與該地點有關聯之影像內容；從該影像內容資訊判定與所擷取影像有關的搜尋詞；及 提供該搜尋詞至該行動裝置，該行動裝置利用該搜尋詞進行進一步的搜尋。
  14. 如申請專利範圍第13項所述之伺服器，其中該影像屬性資訊包含至少一下列特徵：該影像之直方分析圖，而其中該先前取得的屬性資訊包含一先前判定出之該先前影像的直方分析圖；及一從該影像中經由光學文字辨識所判定出之字元，而其中該先前取得的屬性資訊包含一先前判定出之先前影像的字元。
  15. 如申請專利範圍第13項所述之伺服器，其中該指令更使得該處理器進行下列運作：根據該搜尋詞進行另一資料搜尋，並提供搜尋結果至該行動裝置。
  16. 如申請專利範圍第13項所述之伺服器，其中該指令更使得該處理器進行下列運作：接收該行動裝置的一行動裝置識別碼；存取與該行動裝置識別碼有關聯的設定資訊，其中該設定資訊包含與該行動裝置使用者有關的使用者行為資訊；及根據該設定資訊選出部分該影像內容資訊。
  17. 一種用於存取資訊之方法，包含：以一影像裝置擷取用於一行動裝置之一影像；判定該影像裝置之地點； 從該影像產生影像資料；從該影像資料判定影像屬性資料；透過一網路介面傳送該影像屬性資料至一資料伺服器，其中該影像屬性資訊係以一請求傳送以判定該影像屬性資訊在一預定的比對閥值內使否與先前取得的屬性資訊相符，該先前取得的屬性資訊係得自先前取得的影像資料，其代表了在離該地點一預定距離內以該行動裝置所擷取的一先前影像；假如該影像屬性資訊在預定比對閥值內與該先前取得的影像資訊相符，則根據該地點資訊來存取影像內容資訊，其中該內容資訊識別出與該先前取得影像資料與該地點有關聯之影像內容；從該影像內容資訊判定與所擷取影像有關的搜尋詞；及提供該搜尋詞至該行動裝置，該行動裝置利用該搜尋詞進行進一步的搜尋。
  18. 如申請專利範圍第17項所述之方法，更包含傳送一搜尋請求至一搜尋引擎，其中該搜尋請求包含至少部分該影像內容資訊。
  19. 一種用於提供存取資訊的網路裝置，包含：一處理器；一與該處理器及一網路連結之通訊介面；一與該處理器連結之影像處理元件；一與該處理器連結之地點偵測器；一與該處理器連結之輸出元件； 一與該處理器連結之記憶體，其儲存了可使該處理器進行複數個運作的資料與指令，其包含：使該影像處理元件擷取用於一行動裝置之一影像；使該定點偵測器判定該影像所擷取之地點；從該影像產生影像資料；從該影像資料判定影像屬性資訊；透過該通訊介面傳送影像屬性資訊至一資料伺服器，其中該影像屬性資訊在一請求中傳送以判定該影像屬性資訊在一預定的比對閥值內是否與先前取得的屬性資訊相符，該先前取得的屬性資訊係來自先前取得的影像資料，其代表了在離該地點一預定距離內由該行動裝置所擷取的一先前影像；假如該影像屬性資訊在預定比對閥值內與該先前取得的影像資訊相符，則根據該地點資訊接收該影像內容資訊，其中該內容資訊識別出與該先前取得影像資料與該地點有關聯之影像內容；從該影像內容資訊判定與所擷取影像有關的搜尋詞；及提供該搜尋詞至該行動裝置，該行動裝置利用該搜尋詞進行進一步的搜尋。
  20. 如申請專利範圍第19項所述之網路裝置，其中該網路裝置包含一行動裝置。
TW098114686A 2008-05-15 2009-05-04 根據行動裝置所記錄之影像內容之資料存取 TWI524801B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/121,259 US8406531B2 (en) 2008-05-15 2008-05-15 Data access based on content of image recorded by a mobile device

Publications (2)

Publication Number Publication Date
TW201018298A TW201018298A (en) 2010-05-01
TWI524801B true TWI524801B (zh) 2016-03-01

Family

ID=41316239

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098114686A TWI524801B (zh) 2008-05-15 2009-05-04 根據行動裝置所記錄之影像內容之資料存取

Country Status (7)

Country Link
US (4) US8406531B2 (zh)
JP (1) JP5457434B2 (zh)
KR (1) KR101190395B1 (zh)
CN (2) CN104239408B (zh)
HK (1) HK1202663A1 (zh)
TW (1) TWI524801B (zh)
WO (1) WO2009140028A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI755198B (zh) * 2020-12-11 2022-02-11 財團法人工業技術研究院 基於圖像的行為辨識方法及計算機可讀媒體

Families Citing this family (99)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8171237B2 (en) 2006-10-31 2012-05-01 Yahoo! Inc. Automatic association of reference data with primary process data based on time and shared identifier
FR2913510B1 (fr) * 2007-03-07 2009-07-03 Eastman Kodak Co Procede pour determiner automatiquement une probabilite de saisie d'images avec un terminal a partir de donnees contextuelles
US9753948B2 (en) * 2008-05-27 2017-09-05 Match.Com, L.L.C. Face search in personals
US8098894B2 (en) 2008-06-20 2012-01-17 Yahoo! Inc. Mobile imaging device as navigator
US20090327229A1 (en) * 2008-06-27 2009-12-31 Microsoft Corporation Automatic knowledge-based geographical organization of digital media
US8520979B2 (en) 2008-08-19 2013-08-27 Digimarc Corporation Methods and systems for content processing
US8363618B2 (en) * 2008-08-29 2013-01-29 Ciright Systems, Inc. Content distribution platform
US20100205628A1 (en) 2009-02-12 2010-08-12 Davis Bruce L Media processing methods and arrangements
US9324054B2 (en) * 2008-12-11 2016-04-26 Adobe Systems Incorporated Cross-platform document exchange using mobile devices
US8862500B1 (en) * 2009-02-17 2014-10-14 Amazon Technologies, Inc. Automated billboard tagging and selling
US8385591B1 (en) 2009-04-28 2013-02-26 Google Inc. System and method of using images to determine correspondence between locations
CN102461066B (zh) 2009-05-21 2015-09-09 数字标记公司 鉴别内容信号的方法
US20100333194A1 (en) * 2009-06-30 2010-12-30 Camillo Ricordi System, Method, and Apparatus for Capturing, Securing, Sharing, Retrieving, and Searching Data
US9135277B2 (en) * 2009-08-07 2015-09-15 Google Inc. Architecture for responding to a visual query
US8768313B2 (en) * 2009-08-17 2014-07-01 Digimarc Corporation Methods and systems for image or audio recognition processing
US9197736B2 (en) 2009-12-31 2015-11-24 Digimarc Corporation Intuitive computing methods and systems
EP2519934A4 (en) * 2009-12-31 2015-12-16 Digimarc Corp METHOD AND ARRANGEMENTS WITH SMARTPHONES WITH SENSORS
EP2348383B1 (en) * 2009-12-31 2017-07-12 Sony Computer Entertainment Europe Limited System and method of virtual interaction
US20110282860A1 (en) * 2010-05-16 2011-11-17 Access Business Group International Llc Data collection, tracking, and analysis for multiple media including impact analysis and influence tracking
TWI407130B (zh) * 2010-05-25 2013-09-01 Nat Univ Tsing Hua 即時顯示電器之使用狀態及用電量資訊之系統及方法
WO2011158336A1 (ja) * 2010-06-15 2011-12-22 株式会社ナビタイムジャパン ナビゲーションシステム、端末装置、ナビゲーションサーバ、ナビゲーション装置、ナビゲーション方法、および、プログラム
EP2583877B1 (en) * 2010-06-16 2018-06-06 Navitime Japan Co., Ltd. Navigation system, terminal device, navigation server, navigation method, and navigation program
KR20120028491A (ko) * 2010-09-15 2012-03-23 삼성전자주식회사 이미지 데이터 관리장치 및 방법
US20120109733A1 (en) * 2010-10-29 2012-05-03 Roper Colin J Method and system for providing dynamic marketing devices based on "real-time" data
US9380331B2 (en) * 2010-12-22 2016-06-28 Verizon Patent And Licensing Inc. Dynamic help content presentation methods and systems
KR101102896B1 (ko) * 2011-03-04 2012-01-09 (주)올라웍스 복수의 사용자가 동시에 콜렉션을 수행할 수 있도록 지원하기 위한 방법, 서버 및 컴퓨터 판독 가능한 기록 매체
US20150117796A1 (en) * 2011-03-28 2015-04-30 Google Inc. Method and system for prioritizing points of interest for display in a map
AU2012261814B2 (en) * 2011-06-03 2016-02-18 Apple Inc. Management of network-based digital data repository
US9201895B2 (en) 2011-06-03 2015-12-01 Apple Inc. Management of downloads from a network-based digital data repository based on network performance
US9239849B2 (en) * 2011-06-08 2016-01-19 Qualcomm Incorporated Mobile device access of location specific images from a remote database
US9152882B2 (en) * 2011-06-17 2015-10-06 Microsoft Technology Licensing, Llc. Location-aided recognition
WO2013013087A2 (en) * 2011-07-20 2013-01-24 The Regents Of The University Of California Efficient searching of stationary datasets
US9082035B2 (en) 2011-08-29 2015-07-14 Qualcomm Incorporated Camera OCR with context information
US9179278B2 (en) * 2011-09-01 2015-11-03 Qualcomm Incorporated Systems and methods involving augmented menu using mobile device
US9165017B2 (en) 2011-09-29 2015-10-20 Google Inc. Retrieving images
US9183546B2 (en) 2011-10-07 2015-11-10 Hewlett-Packard Development Company, L.P. Methods and systems for a reminder servicer using visual recognition
US9280545B2 (en) 2011-11-09 2016-03-08 Microsoft Technology Licensing, Llc Generating and updating event-based playback experiences
US9143601B2 (en) 2011-11-09 2015-09-22 Microsoft Technology Licensing, Llc Event-based media grouping, playback, and sharing
US9223902B1 (en) * 2011-11-29 2015-12-29 Amazon Technologies, Inc. Architectures for content identification
US20130145241A1 (en) 2011-12-04 2013-06-06 Ahmed Salama Automated augmentation of text, web and physical environments using multimedia content
CN103188334A (zh) * 2011-12-30 2013-07-03 宏碁股份有限公司 同步***及其方法
US20130187862A1 (en) * 2012-01-19 2013-07-25 Cheng-Shiun Jan Systems and methods for operation activation
GB2499385A (en) * 2012-02-09 2013-08-21 Nokia Corp Automated notification of images with changed appearance in common content
JP5557861B2 (ja) * 2012-02-13 2014-07-23 日本電信電話株式会社 有用情報提示システム及び有用情報提示システムの制御方法
JP2013164812A (ja) * 2012-02-13 2013-08-22 Nippon Telegr & Teleph Corp <Ntt> 有用情報提示システム及び有用情報提示システムの制御方法
JP6078953B2 (ja) * 2012-02-17 2017-02-15 オムロン株式会社 文字認識方法、およびこの方法を用いた文字認識装置およびプログラム
US8620021B2 (en) 2012-03-29 2013-12-31 Digimarc Corporation Image-related methods and arrangements
US8942921B1 (en) * 2012-04-24 2015-01-27 Google Inc. Displaying dynamic entertainment information on marquees in street-level imagery
TWM439206U (en) * 2012-04-27 2012-10-11 Richplay Technology Corp Service information platform device with image searching capability
US20130293580A1 (en) * 2012-05-01 2013-11-07 Zambala Lllp System and method for selecting targets in an augmented reality environment
US8843518B2 (en) * 2012-07-17 2014-09-23 Verizon Patent And Licensing Inc. Method and apparatus for establishing a connection with known individuals
US9288387B1 (en) * 2012-09-11 2016-03-15 Amazon Technologies, Inc. Content display controls based on environmental factors
US9124795B2 (en) * 2012-10-26 2015-09-01 Nokia Technologies Oy Method and apparatus for obtaining an image associated with a location of a mobile terminal
US10346877B1 (en) * 2012-12-03 2019-07-09 Maher Pedersoli Advertising and marketing platform
US9411801B2 (en) * 2012-12-21 2016-08-09 Abbyy Development Llc General dictionary for all languages
US20140240523A1 (en) * 2013-02-22 2014-08-28 T-Mobile Usa, Inc. Information delivery based on image data
US20140258358A1 (en) * 2013-03-11 2014-09-11 Htc Corporation Method of combining network data and mobile device using the same
US9208548B1 (en) * 2013-05-06 2015-12-08 Amazon Technologies, Inc. Automatic image enhancement
US20140365299A1 (en) 2013-06-07 2014-12-11 Open Tv, Inc. System and method for providing advertising consistency
US20150006360A1 (en) * 2013-06-28 2015-01-01 Google Inc. Threshold Confidence Levels for Extracted Card Data
US9342533B2 (en) 2013-07-02 2016-05-17 Open Text S.A. System and method for feature recognition and document searching based on feature recognition
US10140257B2 (en) 2013-08-02 2018-11-27 Symbol Technologies, Llc Method and apparatus for capturing and processing content from context sensitive documents on a mobile device
US10769362B2 (en) 2013-08-02 2020-09-08 Symbol Technologies, Llc Method and apparatus for capturing and extracting content from documents on a mobile device
US9036867B2 (en) * 2013-08-12 2015-05-19 Beeonics, Inc. Accurate positioning system using attributes
US9311338B2 (en) * 2013-08-26 2016-04-12 Adobe Systems Incorporated Method and apparatus for analyzing and associating behaviors to image content
US9554060B2 (en) 2014-01-30 2017-01-24 Google Inc. Zoom images with panoramic image capture
US9832353B2 (en) 2014-01-31 2017-11-28 Digimarc Corporation Methods for encoding, decoding and interpreting auxiliary data in media signals
KR101887002B1 (ko) 2014-02-10 2018-09-10 지니 게엠베하 이미지-특징-기반 인식을 위한 시스템들 및 방법들
US9311639B2 (en) 2014-02-11 2016-04-12 Digimarc Corporation Methods, apparatus and arrangements for device to device communication
US9905233B1 (en) 2014-08-07 2018-02-27 Digimarc Corporation Methods and apparatus for facilitating ambient content recognition using digital watermarks, and related arrangements
US10311329B2 (en) * 2015-01-30 2019-06-04 International Business Machines Corporation Social connection via real-time image comparison
US9836650B2 (en) 2015-02-09 2017-12-05 Empire Technology Development Llc Identification of a photographer based on an image
US10757216B1 (en) 2015-02-20 2020-08-25 Amazon Technologies, Inc. Group profiles for group item recommendations
US11363460B1 (en) 2015-03-03 2022-06-14 Amazon Technologies, Inc. Device-based identification for automated user detection
JP6309477B2 (ja) * 2015-03-24 2018-04-11 国立大学法人京都大学 ユーザ関心推定システムおよび情報配信システム
US9763026B2 (en) * 2015-06-10 2017-09-12 Motorola Solutions, Inc. Method of and server for communicating with a remote device in a machine to machine wireless communication network
GB2539461B (en) * 2015-06-16 2020-01-08 Canon Kk Image data encapsulation
US9948603B1 (en) * 2015-06-23 2018-04-17 Symantec Corporation System and method of constructing dynamic namespaces in the internet of things
US10373204B1 (en) * 2015-06-24 2019-08-06 Groupon, Inc. Mobile visual locator
US10157372B2 (en) * 2015-06-26 2018-12-18 Amazon Technologies, Inc. Detection and interpretation of visual indicators
CA3040856C (en) * 2015-10-21 2024-01-02 15 Seconds of Fame, Inc. Methods and apparatus for false positive minimization in facial recognition applications
US10546015B2 (en) 2015-12-01 2020-01-28 Facebook, Inc. Determining and utilizing contextual meaning of digital standardized image characters
CN105551044B (zh) * 2015-12-16 2018-10-19 北京京东尚科信息技术有限公司 一种图片对比方法和装置
KR102469963B1 (ko) * 2016-03-16 2022-11-24 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
US10366144B2 (en) 2016-04-01 2019-07-30 Ebay Inc. Analyzing and linking a set of images by identifying objects in each image to determine a primary image and a secondary image
US20170293938A1 (en) * 2016-04-08 2017-10-12 T-Mobile Usa, Inc. Interactive competitive advertising commentary
WO2017192678A1 (en) * 2016-05-05 2017-11-09 Wal-Mart Stores, Inc. Systems and methods for collecting and processing image data
US10996060B2 (en) 2016-08-26 2021-05-04 William Marsh Rice University Camera-based positioning system using learning
US10049310B2 (en) * 2016-08-30 2018-08-14 International Business Machines Corporation Image text analysis for identifying hidden text
US10606993B2 (en) * 2017-08-09 2020-03-31 Jumio Corporation Authentication using facial image comparison
US10607484B2 (en) 2017-12-28 2020-03-31 Intel Corporation Privacy-preserving distributed visual data processing
US11349753B2 (en) * 2017-12-28 2022-05-31 Intel Corporation Converged routing for distributed computing systems
US10778412B2 (en) 2017-12-28 2020-09-15 Intel Corporation Multi-domain convolutional neural network
US11216506B1 (en) * 2018-05-17 2022-01-04 Shutterstock, Inc. Image querying to surface undiscovered images
US20200026726A1 (en) * 2018-07-17 2020-01-23 Vidit, LLC Systems and methods for interactive searching
TWI684907B (zh) * 2018-11-28 2020-02-11 財團法人金屬工業研究發展中心 數位影像辨識方法、電子裝置、電腦程式產品
US11200892B1 (en) 2018-12-10 2021-12-14 Amazon Technologies, Inc. Speech-enabled augmented reality user interface
EP3791350A1 (en) * 2018-12-21 2021-03-17 Google LLC Brand penetration determination system using image semantic content
US11593951B2 (en) * 2020-02-25 2023-02-28 Qualcomm Incorporated Multi-device object tracking and localization

Family Cites Families (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5164992A (en) 1990-11-01 1992-11-17 Massachusetts Institute Of Technology Face recognition system
JPH11502344A (ja) 1995-03-20 1999-02-23 ロー テクノロジーズ 画像を識別するための装置及び方法
US5978773A (en) * 1995-06-20 1999-11-02 Neomedia Technologies, Inc. System and method for using an ordinary article of commerce to access a remote computer
EP0814611B1 (de) * 1996-06-17 2002-08-28 Siemens Aktiengesellschaft Kommunikationssystem und Verfahren zur Aufnahme und Verwaltung digitaler Bilder
JP3893647B2 (ja) 1996-09-30 2007-03-14 マツダ株式会社 ナビゲーション装置
US5938721A (en) * 1996-10-24 1999-08-17 Trimble Navigation Limited Position based personal digital assistant
US5933829A (en) * 1996-11-08 1999-08-03 Neomedia Technologies, Inc. Automatic access of electronic information through secure machine-readable codes on printed documents
US6044168A (en) 1996-11-25 2000-03-28 Texas Instruments Incorporated Model based faced coding and decoding using feature detection and eigenface coding
US6983478B1 (en) * 2000-02-01 2006-01-03 Bellsouth Intellectual Property Corporation Method and system for tracking network use
BR9809252A (pt) * 1997-05-09 2000-06-27 Neomedia Tech Inc Método e sistema para acessar recursos eletrônicos através dos dados que podem ser lidos por máquina em documentos inteligentes
US6091957A (en) * 1997-06-12 2000-07-18 Northern Telecom Limited System and method for providing a geographic location of a mobile telecommunications unit
JP2001521250A (ja) 1997-10-27 2001-11-06 マサチューセッツ・インスティチュート・オブ・テクノロジー 情報の検索および検索システム
AU3215000A (en) * 1999-02-01 2000-08-18 Barpoint.Com, Inc. Interactive system for investing products on a network
US6651053B1 (en) * 1999-02-01 2003-11-18 Barpoint.Com, Inc. Interactive system for investigating products on a network
CA2368556C (en) * 1999-04-05 2010-12-21 Neomedia Technologies, Inc. System and method of using machine-readable or human-readable linkage codes for accessing networked data resources
US20020072815A1 (en) * 2000-01-21 2002-06-13 Mcdonough William A. Portable information system and method for golf play enhancement, analysis, and scorekeeping
CA2298194A1 (en) 2000-02-07 2001-08-07 Profilium Inc. Method and system for delivering and targeting advertisements over wireless networks
US6766363B1 (en) * 2000-02-28 2004-07-20 Barpoint.Com, Inc. System and method of linking items in audio, visual, and printed media to related information stored on an electronic network using a mobile device
US6675165B1 (en) * 2000-02-28 2004-01-06 Barpoint.Com, Inc. Method for linking a billboard or signage to information on a global computer network through manual information input or a global positioning system
US6385541B1 (en) * 2000-02-29 2002-05-07 Brad Wayne Blumberg Global positioning-based real estate database access device and method
WO2001075629A1 (en) * 2000-03-31 2001-10-11 Neomedia Technologies, Inc. System for accessing internet via wireless device using linkage url bar-code
US6882313B1 (en) * 2000-06-21 2005-04-19 At Road, Inc. Dual platform location-relevant service
JP2002007432A (ja) * 2000-06-23 2002-01-11 Ntt Docomo Inc 情報検索システム
JP2002183186A (ja) 2000-12-18 2002-06-28 Yamaha Motor Co Ltd モバイル機を用いた情報交換システム
JP2002183742A (ja) * 2000-12-18 2002-06-28 Yamaha Motor Co Ltd 旅の電子アルバム作成方法および装置並びに電子アルバム作成用モバイルツール
US20020147029A1 (en) * 2001-04-09 2002-10-10 Chung-Wei Wu Mobile phone
US7535492B2 (en) * 2002-07-02 2009-05-19 Lightsurf Technologies, Inc. Imaging system providing automated fulfillment of image photofinishing based on location
US7133555B2 (en) * 2002-08-02 2006-11-07 Intel Corporation Image color matching scheme
US7180622B2 (en) * 2002-11-25 2007-02-20 Eastman Kodak Company Method and system for automatically forwarding an image product
KR100703444B1 (ko) 2003-06-03 2007-04-03 삼성전자주식회사 네비게이션 시스템에서 위치 정보에 관련된 영상의 다운로드 및 표시 장치 및 방법
GB2402536B (en) 2003-06-05 2008-04-02 Canon Kk Image processing
BRPI0411007A (pt) * 2003-06-06 2006-07-04 Neomedia Tech Inc acesso automático de conteúdo da internet com um telefone celular habilitado com cámera
KR100533033B1 (ko) * 2003-07-28 2005-12-02 엘지전자 주식회사 디지털 영상 처리 기술을 이용한 위치 추적 시스템 및 방법
US20050030588A1 (en) * 2003-08-06 2005-02-10 Curtis Reese Methods and apparatus utilizing embedded data layers
JP2005134352A (ja) 2003-10-31 2005-05-26 Sony Corp ナビゲーション装置
US7627152B2 (en) * 2003-11-26 2009-12-01 Ge Medical Systems Information Technologies, Inc. Image-based indicia obfuscation system and method
JP3944160B2 (ja) * 2003-12-25 2007-07-11 キヤノン株式会社 撮像装置、情報処理装置、それらの制御方法及びプログラム
JP4401767B2 (ja) * 2003-12-26 2010-01-20 京セラ株式会社 無線通信システムおよび携帯端末装置
US7872669B2 (en) * 2004-01-22 2011-01-18 Massachusetts Institute Of Technology Photo-based mobile deixis system and related techniques
KR100651508B1 (ko) 2004-01-30 2006-11-29 삼성전자주식회사 증강현실을 이용한 지역 정보 제공 방법 및 이를 위한지역 정보 서비스 시스템
US7751805B2 (en) * 2004-02-20 2010-07-06 Google Inc. Mobile image-based information retrieval system
US20070159522A1 (en) * 2004-02-20 2007-07-12 Harmut Neven Image-based contextual advertisement method and branded barcodes
US7565139B2 (en) * 2004-02-20 2009-07-21 Google Inc. Image-based search engine for mobile phones with camera
US8421872B2 (en) * 2004-02-20 2013-04-16 Google Inc. Image base inquiry system for search engines for mobile telephones with integrated camera
US7707218B2 (en) * 2004-04-16 2010-04-27 Mobot, Inc. Mobile query system and method based on visual cues
WO2006001129A1 (ja) * 2004-06-29 2006-01-05 Sony Corporation 情報処理装置および方法、プログラム、並びに情報処理システム
JP4400347B2 (ja) 2004-07-08 2010-01-20 株式会社デンソー ナビゲーション装置およびプログラム
JP2006059136A (ja) 2004-08-20 2006-03-02 Seiko Epson Corp ビューア装置及びそのプログラム
JP2006105640A (ja) 2004-10-01 2006-04-20 Hitachi Ltd ナビゲーション装置
WO2006043319A1 (ja) 2004-10-20 2006-04-27 Fujitsu Limited 端末及びサーバ
JP4632793B2 (ja) * 2005-01-12 2011-02-16 京セラ株式会社 ナビゲーション機能付き携帯型端末機
US20060164382A1 (en) 2005-01-25 2006-07-27 Technology Licensing Company, Inc. Image manipulation in response to a movement of a display
JP4630678B2 (ja) * 2005-01-28 2011-02-09 キヤノン株式会社 画像処理装置及びその制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体
US20060242565A1 (en) 2005-04-20 2006-10-26 Nokia Corporation System and method for handling absolute positioning in a small screen optimized layout
US7519200B2 (en) * 2005-05-09 2009-04-14 Like.Com System and method for enabling the use of captured images through recognition
US8732025B2 (en) * 2005-05-09 2014-05-20 Google Inc. System and method for enabling image recognition and searching of remote content on display
WO2006128947A1 (en) * 2005-05-30 2006-12-07 Nokia Corporation Method, associated device, system, and computer program product for data management
US7728869B2 (en) * 2005-06-14 2010-06-01 Lg Electronics Inc. Matching camera-photographed image with map data in portable terminal and travel route guidance method
US7577665B2 (en) * 2005-09-14 2009-08-18 Jumptap, Inc. User characteristic influenced search results
JP4687409B2 (ja) * 2005-11-11 2011-05-25 ソニー株式会社 撮像再生装置
US7523132B2 (en) * 2006-02-06 2009-04-21 Itaggit, Inc. Data tag creation from a physical item data record to be attached to a physical item
US20070244925A1 (en) * 2006-04-12 2007-10-18 Jean-Francois Albouze Intelligent image searching
US7813561B2 (en) * 2006-08-14 2010-10-12 Microsoft Corporation Automatic classification of objects within images
US20080201078A1 (en) * 2006-09-28 2008-08-21 Dudley Fitzpatrick Apparatuses, Methods and Systems for Determining and Announcing Proximity Between Trajectories
US7620026B2 (en) 2006-10-12 2009-11-17 At&T Intellectual Property I, L.P. Methods, systems, and computer program products for providing advertising and/or information services over mobile ad hoc cooperative networks using electronic billboards and related devices
US8171237B2 (en) * 2006-10-31 2012-05-01 Yahoo! Inc. Automatic association of reference data with primary process data based on time and shared identifier
US20100070173A1 (en) 2006-12-05 2010-03-18 Navitime Japan Co., Ltd. Navigation system, portable terminal device, and peripheral-image display method
CN101000623A (zh) * 2007-01-08 2007-07-18 深圳市宜搜科技发展有限公司 通过手机拍照进行图像识别搜索的方法及采用该方法的装置
US7751620B1 (en) * 2007-01-25 2010-07-06 Bitdefender IPR Management Ltd. Image spam filtering systems and methods
EP2147392A1 (en) * 2007-05-08 2010-01-27 Eidgenössische Technische Zürich Method and system for image-based information retrieval
US7920849B2 (en) * 2007-07-13 2011-04-05 Pop Adrian Method and system for providing advertisements/messages based on wireless data communication technology
US20090083232A1 (en) * 2007-09-24 2009-03-26 Taptu Ltd. Search results with search query suggestions
US8315423B1 (en) * 2007-12-28 2012-11-20 Google Inc. Providing information in an image-based information retrieval system
US7847729B2 (en) * 2008-01-28 2010-12-07 Research In Motion Limited GPS pre-acquisition for geotagging digital photos
US8166189B1 (en) * 2008-03-25 2012-04-24 Sprint Communications Company L.P. Click stream insertions
US20090278949A1 (en) * 2008-05-06 2009-11-12 Mcmahan David Michael Camera system and method for providing information on subjects displayed in a camera viewfinder
US8676001B2 (en) * 2008-05-12 2014-03-18 Google Inc. Automatic discovery of popular landmarks
US9753948B2 (en) 2008-05-27 2017-09-05 Match.Com, L.L.C. Face search in personals
US8724909B2 (en) * 2008-06-03 2014-05-13 Kooaba Ag Method and system for generating a pictorial reference database using geographical information
US8098894B2 (en) 2008-06-20 2012-01-17 Yahoo! Inc. Mobile imaging device as navigator

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI755198B (zh) * 2020-12-11 2022-02-11 財團法人工業技術研究院 基於圖像的行為辨識方法及計算機可讀媒體

Also Published As

Publication number Publication date
US20170024414A1 (en) 2017-01-26
KR20110015438A (ko) 2011-02-15
US9665596B2 (en) 2017-05-30
US8406531B2 (en) 2013-03-26
US9483499B2 (en) 2016-11-01
CN104239408B (zh) 2019-05-17
JP2011525002A (ja) 2011-09-08
US20170255650A1 (en) 2017-09-07
US11256739B2 (en) 2022-02-22
US20090285492A1 (en) 2009-11-19
WO2009140028A3 (en) 2010-01-28
KR101190395B1 (ko) 2012-10-16
WO2009140028A2 (en) 2009-11-19
JP5457434B2 (ja) 2014-04-02
TW201018298A (en) 2010-05-01
HK1202663A1 (zh) 2015-10-02
CN102017661B (zh) 2014-08-20
US20130223744A1 (en) 2013-08-29
CN104239408A (zh) 2014-12-24
CN102017661A (zh) 2011-04-13

Similar Documents

Publication Publication Date Title
TWI524801B (zh) 根據行動裝置所記錄之影像內容之資料存取
US11328008B2 (en) Query matching to media collections in a messaging system
US20200175054A1 (en) System and method for determining a location on multimedia content
US9020529B2 (en) Computer based location identification using images
CN102202173B (zh) 照片自动命名方法及其装置
CN103631851B (zh) 推荐好友的方法及其服务器和终端
US20170262471A1 (en) Method, apparatus and computer program product for providing standard real world to virtual world links
US20080317346A1 (en) Character and Object Recognition with a Mobile Photographic Device
CN109189879B (zh) 电子书籍显示方法及装置
US10482091B2 (en) Computerized system and method for high-quality and high-ranking digital content discovery
US20070159522A1 (en) Image-based contextual advertisement method and branded barcodes
US20150234891A1 (en) Method and system for providing code scanning result information
WO2016149918A1 (zh) 用户地理位置的确定
US20100130236A1 (en) Location assisted word completion
CN102402582A (zh) 提供与相关媒体项相关联的对象和个体之间的关联
WO2014032419A1 (zh) 一种基于图片获得咨询信息的方法和***
US20230146563A1 (en) Automated image processing and insight presentation
US20230267138A1 (en) Automatic electronic message content extraction method and apparatus
TWI528186B (zh) 經由音訊發布訊息的系統及方法
CN110178130B (zh) 一种生成相册标题的方法及设备