TWI554899B - 影像檢索方法及使用該影像檢索方法之行動通訊裝置、資料庫管理系統與電腦程式產品 - Google Patents

影像檢索方法及使用該影像檢索方法之行動通訊裝置、資料庫管理系統與電腦程式產品 Download PDF

Info

Publication number
TWI554899B
TWI554899B TW103127203A TW103127203A TWI554899B TW I554899 B TWI554899 B TW I554899B TW 103127203 A TW103127203 A TW 103127203A TW 103127203 A TW103127203 A TW 103127203A TW I554899 B TWI554899 B TW I554899B
Authority
TW
Taiwan
Prior art keywords
hash
image data
feature values
feature
hash code
Prior art date
Application number
TW103127203A
Other languages
English (en)
Other versions
TW201606532A (zh
Inventor
蕭人豪
Original Assignee
雅虎股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 雅虎股份有限公司 filed Critical 雅虎股份有限公司
Priority to TW103127203A priority Critical patent/TWI554899B/zh
Publication of TW201606532A publication Critical patent/TW201606532A/zh
Application granted granted Critical
Publication of TWI554899B publication Critical patent/TWI554899B/zh

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Description

影像檢索方法及使用該影像檢索方法之行動通訊裝置、資料庫管理系統與電腦程式產品
本發明是有關於一種影像檢索技術,特別是有關於一種可有效降低傳輸量之影像檢索方法及使用該影像檢索方法之行動通訊裝置、資料庫管理系統與電腦程式產品。
網際網路已出現巨大轉變而影響到人們的每日生活。例如,在今日的社會裡,行動計算裝置已變得日益普及。許多行動計算裝置,像是個人數位助理、智慧型手機等等,可運用於傳遞語音訊息、電子郵件、文字訊息等等,並在網際網路上進行資訊搜尋。不論在、捷運、公車、火車或甚至船艇上,人們皆可利用其行動裝置搜尋商店、餐廳、音樂、商務,或搜尋所擷取到的圖像資訊等等。
目前許多的行動裝置已經演變成為相當強大的圖像和視頻處理設備,並配備高解析度的照相鏡頭、彩色顯示器以及硬體加速圖形的功能。這些因素使得該等行動裝置具有新一代的應用,例如使用者可以利用照相鏡頭將所看到的物件照起來,並啟動一搜索查詢程序。也就是說,透過識別使用者所拍攝的照片,將可導引該使用者到一關聯的網路商店,以進行後續衍生的商業行為。此類的電子商務應用具有巨大的商業潛力。
然而,目前的移動視覺搜索系統僅使用行動裝置 作為擷取及顯示設備。現有的系統通常是發送壓縮格式的查詢圖像(如JPEG格式或PNG格式等等的圖像資料)到伺服器端,並且在伺服器端來應用所有步驟,如局部特徵提取和檢索等技術。在有限頻寬的基礎下,從行動裝置發送JPEG或PNG格式的圖像到伺服器常常需要使用者等待一定的時間,並再等待伺服器進行辨識及檢索等程序後,再回傳結果至該使用者,該些步驟又需使用者等待另一段的時間。換言之,這類的技術架構係相當的不實用,不甚符合現今使用者的需求。因此,針對這些及其他考量而完成本發明。
有鑑於上述習知技藝之問題,本發明之目的就是在提供一種影像檢索方法及使用該影像檢索方法之行動通訊裝置、資料庫管理系統與電腦程式產品,以期有效降低使用者端的資料傳輸量,進而增加使用者端的使用者經驗以及網路商店的產品點擊率和收入。
根據本發明之目的,提出一種一種影像檢索方法,用以檢索一遠端的一資料庫,該資料庫包含複數個影像資料,包含以下步驟:擷取該資料庫中每一該影像資料的複數個特徵值;基於該資料庫中每一該影像資料的複數個特徵值,產生複數個雜湊函數;產生至少一雜湊表,該雜湊表包含至少部份的該雜湊函數;在該遠端,根據該雜湊表的該雜湊函數,產生每一該影像資料的每一特徵值對應的雜湊碼;在一終端,獲取一查詢影像資料,並擷取該查詢影像資料的複數個特徵值;在該終端,根據該雜湊表的該雜湊函數,產生該查詢影像資料的每一特徵值對應的雜湊碼;從該終端,傳遞該查詢影像資料的複數個特徵值對應的雜湊碼至該遠端;在該遠端,比較該資料庫中該影像資料的複數個特徵值對應的雜湊碼與該查詢影像資料的複數個特徵值對應的雜湊碼,以獲得一影像檢索結果;以及從該遠端,傳遞該資料庫中關聯該影像檢 索結果的影像資料至該終端。
根據本發明之目的,再提出一種行動通訊裝置,包含:一影像擷取模組、一記憶體、一通訊模組以及至少一處理器,該記憶體儲存一程式碼,其中該程式碼指示該處理器執行以下步驟:控制該影像擷取模組以獲取一查詢影像資料;擷取該查詢影像資料的複數個特徵值;根據複數個雜湊函數,產生該查詢影像資料的每一特徵值對應的雜湊碼;驅動該通訊模組,並傳遞該查詢影像資料的複數個特徵值對應的雜湊碼至一遠端,其中該遠端根據該查詢影像資料的雜湊碼檢索一資料庫所包含的複數個影像資料;以及從該遠端,接收關聯該查詢影像資料的雜湊碼之該影像資料。
根據本發明之目的,另提出一種資料庫管理系統,包含:一資料庫,該資料庫包含複數個影像資料;以及,一伺服器,與一行動通訊裝置建立通訊連線,其中該伺服器執行以下步驟:擷取該資料庫中每一該影像資料的複數個特徵值;根據複數個雜湊函數,產生每一該影像資料的每一特徵值對應的雜湊碼;從該行動通訊裝置,接收一查詢影像資料的複數個雜湊碼,其中該查詢影像資料的雜湊碼是對應擷取自該查詢影像資料的一特徵值;比較該資料庫中該影像資料的複數個特徵值對應的雜湊碼與該查詢影像資料的複數個雜湊碼,以獲得一影像檢索結果;以及傳遞該資料庫中關聯該影像檢索結果的影像資料至該行動通訊裝置。
根據本發明之目的,又提出一種電腦程式產品,提供給具有一影像擷取模組的一行動通訊裝置下載安裝,使該行動通訊裝置取得至少一雜湊表與一程式碼,其中該雜湊表包含複數個雜湊函數,該行動通訊裝置執行該程式碼實現以下步驟:控制該影像擷取模組以獲取一查詢影像資料;擷取該查詢影像資料的複數個特徵值;根據複數個雜湊函數,產生該查詢影像資料的每一特徵值對應的雜湊碼;傳遞該查詢影像資料的複數個特徵值對應的雜湊碼至一遠端,其中該 遠端根據該查詢影像資料的雜湊碼檢索一資料庫所包含的複數個影像資料;以及從該遠端,接收與該查詢影像資料的雜湊碼有關聯的至少一該影像資料。
本發明前述各方面及其它方面依據下述的非限制性具體實施例詳細說明以及參照附隨的圖式將更趨於明瞭。
100‧‧‧系統
102~104‧‧‧行動客戶端裝置
105‧‧‧網路
106‧‧‧遠端資料庫管理系統
110‧‧‧無線網路
h31~h33、h41~h45、h51~h52、h61~h66、h71、h72、h81~h83‧‧‧雜湊函數
A、B、C、D、E、F、G、H、I、J‧‧‧雜湊桶
D51、D52、D61、D71、D72‧‧‧變異方向
91‧‧‧行動通訊裝置
92‧‧‧目標物
93‧‧‧查詢影像資料
a、b、c、d‧‧‧影像
21~256‧‧‧步驟
第一圖為一其中可實作本發明之環境的具體實施例系統圖式。
第二圖為描述本發明影像檢索方法之一實施方式的程序流程圖。
第三至第八圖為示例雜湊函數、雜湊碼等在區域特徵的實施方式。
第九圖為使用者透過行動通訊裝置的影像擷取模組對一目標物進行影像擷取之一示例。
第十A及十B圖為資料庫管理系統執行影像比對之示例。
第十一圖為一分析比較表。
本發明現將在下面參考形成其部分的附圖以更完全描述,且這些附圖係經由說明以顯示可實施本發明的特定示例性具體實施例。然而,本發明能夠以許多不同形式具體實施,且不應該構成對在此提出具體實施例的限制;而是,這些具體實施例提供是要對揭示內容徹底完全瞭解,並將本發明的範疇完全傳達給熟諳此項技術人士。除了其他特點以外,本發明可以方法或裝置具體實施。因此,本發明可採用整個硬體具體實施例、整個軟體具體實施例、或組合軟體和硬體態樣的具體實施例之形式。因此,下列詳細描述並非以 限制性採用。
在整個說明書及申請專利範圍中,除非內容清楚聲明,否則下列術語採用在此明確關聯的意義。如在此使用的敘述語「在一具體實施例中」,雖可以是指相同的具體實施例,但在此不必然是指相同的具體實施例。此外,如在此使用的敘述語「在另一具體實施例中」,雖然可以是指不同的具體實施例,但在此不必然是指不同的具體實施例。因此,如下所述,本發明的各種不同具體實施例可組合,不致脫離本發明的範疇或精神。
此外,如在此的使用,除非內容清楚聲明,否則敘述字「或」是一包容「或」,且等同於「及/或」。除非內容清楚聲明,否則敘述語「基於」是沒有排他性,且允許基於未描述的其他因素。此外,在說明書中,「一」和「該」的意義包括複數意義之參照。「之中」的意義包括「之中」及「之上」。
第一圖顯示其中可實作本發明之環境的具體實施例之各項組件。為實作本發明,並非所有組件皆為必要,同時可在該等組件之排置和類型方面加以變化而不致悖離本發明精神或範圍。即如所示,第一圖之系統100含有網路,此者可提供客戶端與伺服器裝置之間的通訊作業。一網路105可包含一或更多的區域網路(LAN)及/或廣域網路(WAN)。一無線網路110可包含LAN、WAN、電話網路等等。該系統100可包含終端使用的行動客戶端裝置102-104及一遠端的資料庫管理系統106。
一般說來,該等行動裝置102-104可包含幾乎任何能夠在一像是該網路105、該無線網路110等等之網路上接收且發送一訊息的可攜式計算裝置。該等行動裝置102-104亦可為經組態設定成可攜式的客戶端裝置而一般性敘述。因此,該等行動裝置102-104可包含幾乎任何能夠連接至另一計算裝置並接收資訊之可攜式計算裝置。此等裝置在實際上可 由眾多可攜式裝置所實施,像是行動電話、智慧型手機、顯示傳訊器、射頻(RF)裝置、紅外線(IR)裝置、個人數位助理(PDA)、手持式電腦、膝上型電腦、可穿戴電腦、平板電腦、合併前述裝置之一或更多者的整合式裝置等等。據此,該等行動裝置102-104就以功能性及特性而言通常是範圍非常廣泛。例如,一行動電話可具備一照相鏡頭以及LCD顯示器。此等行動裝置可包含一傳訊客戶端,此者讓使用者能夠發送並接收文字訊息、圖形、影像或其他內容。
該無線網路110係經組態設定以將該等行動裝置102-104及其組件耦接於該網路105。該無線網路110可包含可進一步疊置單立式專設網路等等之各種無線子網路的任一者,藉以對該等行動裝置102-104提供一基礎架構導向的連接。此等子網路可包含細胞式網路、網絡網路、無線LAN(WLAN)網路等等。
該網路105係經組態設定以將該資料庫管理系統106及其組件耦接於其他計算裝置,並透過該無線網路110而連至該等行動裝置102-104。該網路105可供運用任何形式的電腦可讀取媒體,藉以將資訊自一電子裝置傳遞至另一者。同時,除區域網路(LAN)、廣域網路(WAN)、直接連接,像是透過一通用序列匯流排(USB)連接埠、其他形式之電腦可讀取媒體或是任何組合以外,該網路105可包含網際網路。在一組互連LAN上,包含該等基於不同架構及協定者,可利用一路由器作為該等LAN之間的鏈結,藉以將訊息自一者發送至另一者。同時,在LAN之內的通訊鏈結通常包含雙絞線對或同軸電纜,而在網路之間的通訊鏈結則可運用類比電話線路、完全或部分的專屬數位線路,包含T1、T2、T3及T4、「整合式服務數位網路(ISDN)」、「數位用戶線路(DSL)」、包含衛星鏈結在內之無線鏈結,或是其他熟諳本項技藝之人士所眾知的通訊鏈結。此外,遠端電腦及其他相關電子裝置可透過一數據機和臨時電話鏈結以遠端地連接至LAN或 WAN。基本上,該網路105包含資訊可藉以在該資料庫管理系統106與其他計算裝置之間行進的任何通訊方法。
在一具體實施例中,該資料庫管理系統106可包含任何能夠連接至該網路105以利進行資料搜尋、過濾、排序及其他資料管理操作的計算裝置。該資料庫管理系統106亦可提供網路入口資訊及/或服務,包含在其准允之下提供內容並且對使用者的線上行為進行追蹤。該資料庫管理系統106可進一步提供社交網接資訊的累集與管理。可運作如該資料庫管理系統106的裝置包含個人電腦桌上型電腦、多重處理器系統、微處理器式或可程式化消費性電子裝置、網路PC、伺服器等等。
第一圖雖將該資料庫管理系統106繪示如一單一計算裝置,然本發明並不受限於此。例如,該遠端的資料庫管理系統106的一或更多功能可為跨於一或更多不同計算裝置而散置。例如,可由複數個計算裝置執行搜尋管理、搜尋結果、SMS訊息、「即時傳訊(IM)」會期、電子郵件訊息、複數個影像資料、聯絡人資訊共享、行為資訊收集、社交網接資訊累集及/或儲存等等作業而不致悖離本發明範圍或精神。
第二圖為一程序流程圖,其描述一實施例以實現本發明影像檢索方法的一示範例。如圖所示,本發明影像檢索方法之實施,至少可利用資料庫管理系統、行動通訊裝置及通訊網路/網際網路所完成。其中,該資料庫管理系統可包含:一資料庫,該資料庫包含複數個影像資料;以及,一伺服器,與多個行動通訊裝置建立通訊連線。而在一實施例中,行動通訊裝置可包含:一影像擷取模組、一記憶體、一通訊模組以及至少一處理器,該記憶體儲存一程式碼。而上述用以檢索一遠端的一資料庫之影像檢索方法,包含以下步驟。
在步驟21處,上述伺服器可擷取資料庫中每一該影像資料的複數個特徵值。也就是說,伺服器可根據全域 特徵擷取演算法或局部特徵擷取/區域特徵(Local Feature)演算法,計算取得該影像資料的複數個特徵值。在一較佳實施例中,伺服器可根據SIFT(Scale Invariant Feature Transform)演算法或SURF(Speeded-up Robust Features)演算法,計算取得每一該影像資料的複數個特徵值。前述演算法實施態樣僅為舉例而非限制,本發明於實際實施時,並不限於上述方式。
在步驟22處,伺服器可基於前述取得的複數個特徵值,產生複數個雜湊函數(Hash Function)。前述的雜湊函數可由下列方程式所實施:h(x)=sign(w T x-t)
其中,x為任一區域特徵,在SURF演算法之實施例中可為一128維向量。w可為一特徵空間之一投射向量。t可為一純量。
在步驟23處,伺服器可基於所產生之多個雜湊函數,產生至少一雜湊表。換言之,該至少一雜湊表可包含至少部份的該雜湊函數,或著該雜湊表可包含用以界定每一雜湊函數之參數。在步驟241處,伺服器可根據該雜湊表的該雜湊函數,產生每一該影像資料的每一特徵值對應的雜湊碼,並加以儲存管理。在一較佳實施例中,伺服器可基於一變化特徵雜湊(Variant Eigen Hash,VEH)方法,將代表一區域特徵之多個特徵值壓縮成M個位元的雜湊碼。也就是說,此處的雜湊碼可由複數個位元所組成,且在實際實施時,其可由不同數量的位元所組成。因此,下述多個實施例中,所使用之變化特徵雜湊方法可將該等特徵值壓縮成較低的位元數,進而提升後續資料傳輸的效率。
請一併參閱第三至六圖,以進一步補充說明上述步驟的實施。第三及第四圖所示例的為雜湊函數、雜湊碼等在一區域特徵的一實施方式。在下述的實施例中,區域特徵雖僅以二維較為簡易的方式表現,然而,在本發明所屬領域 中具有通常知識者應當明瞭,該簡易之二維呈現的實施態樣僅為舉例而非限制,區域特徵實可以多維方式呈現,在此先行敘明。
請參閱第三圖,根據該前述雜湊表的雜湊函數,可分割出複數個雜湊桶(hash bucket)(即區塊),並產生每一雜湊桶對應的雜湊碼;以及,關聯該雜湊桶內的每一特徵值可對應該雜湊桶所對應的雜湊碼。在本實施例中,雜湊函數h31、h32、h33可以一隨機方式將二維的區域特徵分成6個雜湊桶,如A、B、C、D、E、F,而落在各個雜湊桶的特徵點(資料)則依各雜湊桶之碼號進行編碼,且部分的特徵值可對應相同的雜湊碼。例如落在A雜湊桶的特徵點編為000,落在B雜湊桶的特徵點即編為010,落在C雜湊桶的特徵點即編為011,落在D雜湊桶的特徵點即編為100,落在E雜湊桶的特徵點即編為110,落在F雜湊桶的特徵點即編為111。依據上述規則,將可產生每一影像資料的每一特徵值對應的雜湊碼,進而加以儲存管理。而相較於第三圖,第四圖所示例的是在該區域特徵中應用了更多的雜湊函數,如h41~h45,以將該區域特徵分割成較多的雜湊桶,如此,每一雜湊桶將可包含較少的特徵點,進而進行該等特徵點之編碼。
請參閱第五圖,其係示例雜湊函數在一區域特徵之另一實施方式,本發明之資料庫管理系統,其伺服器執行產生複數個雜湊函數之步驟可包含:找出所有的影像資料的特徵值具有一最大變異方向,並基於所有的影像資料的特徵值在該最大變異方向上,產生該等雜湊函數。如圖所示,在本實施例中,伺服器可就資料庫儲存之每一個影像資料,找出其多個特徵值所具有一最大變異方向D51,並基於所有的影像資料的特徵值在該最大變異方向D51上,產生第一雜湊函數h51;並基於該第一雜湊函數h51與所有的特徵值的分布,在變異方向D52上產生第二雜湊函數h52。其中,在本實施例及下述的實施例中所提及的最大變異方向或變異方向,在實際實 施時,可使用是一種分析、簡化數據集之主成分分析(Principal components analysis,PCA)之方法。另外,本發明所屬領域中具有通常知識者應當明瞭,本實施例雖僅在該最大變異方向D51上示例該第一雜湊函數h51,其在該最大變異方向D51上所示例之雜湊函數的數量實施態樣僅為舉例而非限制,在此先行敘明。
此外,本發明之資料庫管理系統,其伺服器執行產生複數個雜湊函數之步驟可包含:找出所有的影像資料的特徵值具有一最大變異方向;基於所有的影像資料的特徵值在該最大變異方向上,產生一第一雜湊函數,且關聯該第一雜湊函數與所有的特徵值在該最大變異方向的分布,產生其他複數個雜湊函數;或著可包含:找出所有的影像資料的特徵值具有的複數個變異方向;根據每一變異方向的變異量,依序排列該等變異方向;以及,根據排序的每一變異方向,產生對應的該雜湊函數。請參閱第六及第七圖,其係示例雜湊函數、雜湊碼等在一區域特徵之另兩個實施方式,如圖所示,在第六圖所示之實施例中,伺服器可找出影像資料的特徵值具有一最大變異方向D61;基於所有的影像資料的特徵值在該最大變異方向D61上,產生一第一雜湊函數h61,且關聯該第一雜湊函數h61與所有的特徵值在該最大變異方向D61的分布,產生其他複數個雜湊函數h62~h66。而在第七圖所示之實施例中,伺服器可找出影像資料的特徵值具有的複數個變異方向D71、D72;根據每一變異方向的變異量,依序排列該等變異方向D71、D72;以及,根據排序的每一變異方向,產生對應的該雜湊函數h71、h72
請參閱第八圖,其係示例雜湊函數、雜湊碼等在一區域特徵之再一實施方式,本發明之資料庫管理系統,其伺服器執行產生複數個雜湊函數之步驟可包含:產生至少一雜湊函數;根據該至少一雜湊函數所分割的至少一雜湊桶中,計算該至少一雜湊桶內該等特徵值的數量是否超過一門檻值; 以及,當該至少一雜湊桶內該等特徵值的數量有超過該門檻值時,在該至少一雜湊桶內產生部分的雜湊函數。或著,該伺服器執行產生複數個雜湊函數之步驟可根據該至少一雜湊函數與該至少一雜湊桶內產生部分的雜湊函數,分割出複數個雜湊桶;產生每一雜湊桶對應的雜湊碼;以及,關聯該雜湊桶內的每一特徵值對應該雜湊桶所對應的雜湊碼,其中部分的特徵值對應的雜湊碼由不同數量的位元所組成。如圖所示,在本實施例中,伺服器可產生至少一雜湊函數h81、h82;根據該至少一雜湊函數h81、h82所分割的一雜湊桶G中,計算該雜湊桶G內該等特徵值的數量是否超過一門檻值;當雜湊桶G內該等特徵值的數量有超過該門檻值時,在該雜湊桶G內產生部分的雜湊函數h83。並且,在雜湊桶H、I、J中的特徵值對應的雜湊碼可由2個位元所組成;在雜湊桶G中的特徵值對應的雜湊碼可由3個位元所組成。如此,將可以有效率的對該等特徵值進行雜湊碼的編碼。
返參第二圖,在步驟251處,使用者可利用一行動通訊裝置下載安裝一電腦程式產品,或是所需的應用程式(如,APP),使該行動通訊裝置取得伺服器已產生之雜湊函數、雜湊表、雜湊碼及相關程式碼之資訊。在步驟252處,(請併參第九圖)使用者可透過行動通訊裝置91的影像擷取模組對一目標物92進行影像擷取的動作,以獲取一查詢影像資料93。在步驟253處,行動通訊裝置91中之處理器可擷取該查詢影像資料93的複數個特徵值;也就是說,行動通訊裝置91也可根據前述的區域特徵演算法(如:SIFT演算法或SURF演算法),計算取得該查詢影像資料的複數個特徵值。在步驟254處,行動通訊裝置91可根據所獲得之該些雜湊函數,產生該查詢影像資料93的每一特徵值對應的雜湊碼。其中,該查詢影像資料93的部分特徵值可如前述之方式來對應相同的雜湊碼,在此不再贅述。而後,在步驟255,行動通訊裝置91可驅動該通訊模組,並傳遞該查詢影像資料93的複數個特徵值 對應的雜湊碼至遠端的資料庫管理系統。
在步驟242處,遠端的資料庫管理系統可從行動通訊裝置91,接收該查詢影像資料93的該等雜湊碼。接著,在步驟243處,資料庫管理系統中的伺服器可比較資料庫中該影像資料的複數個特徵值對應的雜湊碼與該查詢影像資料93的複數個雜湊碼,以獲得一影像檢索結果。請一併參閱第十A及十B圖,其係資料庫管理系統執行影像比對之示例。本發明之資料庫管理系統於比較該影像資料的複數個特徵值對應的雜湊碼與該查詢影像資料的複數個特徵值對應的雜湊碼之步驟可包含:利用二元樹(Binary tree)搜尋法比對出包含該查詢影像資料的雜湊碼之該影像資料。如第十A圖所示,資料庫管理系統的資料庫可包含複數個影像資料,如影像a、b、c及d,影像a對應的雜湊碼為001、011、101,影像b對應的雜湊碼為000、001、111,影像c對應的雜湊碼為000、010、110,影像d對應的雜湊碼為000、100。而該查詢影像資料93的雜湊碼為001、011、110。因此,資料庫管理系統可利用二元樹搜尋法比對出該查詢影像資料93的雜湊碼與影像a對應的雜湊碼有較高的對應,在本實施例中為001、011,故資料庫管理系統可獲得影像a的檢索結果。第十B圖為一不同位元數的雜湊碼之一比對的實施例,該比對之流程方式係類同於前述之說明,在此不再贅述。
此外,資料庫管理系統可統計該查詢影像資料93具有相同的雜湊碼之數量;當資料庫中該其中之一影像資料的雜湊碼具有該相同的雜湊碼時,依據該相同的雜湊碼之數量來提升該其中之一影像資料列入該影像檢索結果的權重。
再返參第二圖,在步驟244處,資料庫管理系統可傳遞資料庫中關聯該影像檢索結果的影像資料至該行動通訊裝置91。而在步驟256處,行動通訊裝置91可接收關聯該查詢影像資料93的雜湊碼之該影像資料。
請參閱第十一圖,其係一分析比較表,用以說明本發明影像檢索技術所增進之效率。如圖所示,利用VEH方法所需傳遞的位元遠小於利用其他的方式(如,SURF方法或傳遞JPEG方法),即可達到相當高的影像辨識準確率。
最後,值得一提的是,在本發明所屬領域中具有通常知識者應當明瞭,前述特徵值之計算取得、最大變異方向之示例、雜湊碼的位元、以及資料庫管理系統之影像比對等等之實施態樣僅為例示而非限制,任何未脫離本發明影像檢索技術之精神與範疇,均應被包含於本發明之精神中,在此先行敘明。
綜上所述,本發明所提出之影像檢索方法及使用該影像檢索方法之行動通訊裝置、資料庫管理系統與電腦程式產品可有效降低使用者端的資料傳輸量,相較於其他方式,只需傳遞較少的位元數,即可達到相當高的影像辨識準確率。如此,將可進而增加使用者端的使用者經驗以及網路商店的產品點擊率和收入。
至此,本發明之影像檢索方法及使用該影像檢索方法之行動通訊裝置、資料庫管理系統與電腦程式產品的較佳實施例,已經由上述說明以及圖式加以說明。在本說明書中所揭露的所有特徵都可能與其他方法結合,本說明書中所揭露的每一個特徵都可能選擇性的以相同、相等或相似目的特徵所取代,因此,除了特別顯著的特徵之外,所有的本說明書所揭露的特徵僅是相等或相似特徵中的一個例子。經過本發明較佳實施例之描述後,熟悉此一技術領域人員應可瞭解到,本發明實為一新穎、進步且具產業實用性之發明,深具發展價值。本發明得由熟悉技藝之人任施匠思而為諸般修飾,然不脫如附申請範圍所欲保護者。
21~256‧‧‧步驟

Claims (35)

  1. 一種影像檢索方法,用以檢索一遠端的一資料庫,該資料庫包含複數個影像資料,包含以下步驟:擷取該資料庫中每一該影像資料的複數個特徵值;基於該資料庫中每一該影像資料的複數個特徵值,產生複數個雜湊函數;產生至少一雜湊表,該雜湊表包含至少部份的該雜湊函數;在該遠端,根據該雜湊表的該雜湊函數,產生每一該影像資料的每一特徵值對應的雜湊碼;在一終端,獲取一查詢影像資料,並擷取該查詢影像資料的複數個特徵值;在該終端,根據該雜湊表的該雜湊函數,產生該查詢影像資料的每一特徵值對應的雜湊碼;從該終端,傳遞該查詢影像資料的複數個特徵值對應的雜湊碼至該遠端;在該遠端,比較該資料庫中該影像資料的複數個特徵值對應的雜湊碼與該查詢影像資料的複數個特徵值對應的雜湊碼,以獲得一影像檢索結果;以及從該遠端,傳遞該資料庫中關聯該影像檢索結果的影像資料至該終端;其中該查詢影像資料的部分特徵值對應相同的雜湊碼。
  2. 如申請專利範圍第1項之影像檢索方法,其中該遠端為一伺服器,該終端為一行動通訊裝置,該伺服器與該行動通訊裝置之間具有一通訊網路。
  3. 如申請專利範圍第1項之影像檢索方法,其中該特徵值對應的雜湊碼由複數個位元所組成。
  4. 如申請專利範圍第3項之影像檢索方法,其中該部分的特徵值對應的雜湊碼由不同數量的位元所組成。
  5. 如申請專利範圍第1項之影像檢索方法,進一步包含以下步驟:根據影像區域特徵演算法,計算取得該影像資料與該查詢影像資料的複數個特徵值。
  6. 如申請專利範圍第1項之影像檢索方法,其中該產生複數個雜湊函數之步驟包含:找出所有的影像資料的特徵值具有的一最大變異方向;以及,基於所有的影像資料的特徵值在該最大變異方向上,產生複數個雜湊函數。
  7. 如申請專利範圍第1項之影像檢索方法,其中該產生複數個雜湊函數之步驟包含:找出所有的影像資料的特徵值具有的一最大變異方向;基於所有的影像資料的特徵值在該最大變異方向上,產生至少一第一雜湊函數;以及,關聯該至少一第一雜湊函數與所有的特徵值在該最大變異方向的分布,產生其他複數個雜湊函數。
  8. 如申請專利範圍第1項之影像檢索方法,其中該產生複數個雜湊函數之步驟包含:找出所有的影像資料的特徵值具有的複數個變異方向;根據每一變異方向的變異量,依序 排列該等變異方向;以及,根據排序的每一變異方向,產生對應的該雜湊函數。
  9. 如申請專利範圍第1項之影像檢索方法,其中該產生複數個雜湊函數之步驟包含:產生至少一雜湊函數;根據該至少一雜湊函數所分割的至少一雜湊桶(hash bucket)中,計算該至少一雜湊桶內該等特徵值的數量是否超過一門檻值;以及,當該至少一雜湊桶內該等特徵值的數量有超過該門檻值時,在該至少一雜湊桶內產生部分的雜湊函數。
  10. 如申請專利範圍第9項之影像檢索方法,進一步包含以下步驟:根據該至少一雜湊函數與該至少一雜湊桶內產生部分的雜湊函數,分割出複數個雜湊桶;產生每一雜湊桶對應的雜湊碼;以及,關聯該雜湊桶內的每一特徵值對應該雜湊桶所對應的雜湊碼,其中部分的特徵值對應的雜湊碼由不同數量的位元所組成。
  11. 如申請專利範圍第1項之影像檢索方法,其中該產生該查詢影像資料的每一特徵值對應的雜湊碼之步驟包含:根據該雜湊表的該雜湊函數,分割出複數個雜湊桶;產生每一雜湊桶對應的雜湊碼;以及,關聯該雜湊桶內的每一特徵值對應該雜湊桶所對應的雜湊碼。
  12. 如申請專利範圍第1項之影像檢索方法,進一步包含以下步驟:在該遠端,統計該查詢影像資料具有相同的雜湊碼之數量;當該資料庫中該其中之一影像資料的雜湊碼具有該相同的雜湊碼時,依據該相同的雜湊碼之數量來提升該其中之一影像資料列入該影像檢索結果的權重。
  13. 如申請專利範圍第1項之影像檢索方法,其中該比較該影像資料的複數個特徵值對應的雜湊碼與該查詢影像資料的複數個特徵值對應的雜湊碼之步驟包含:利用二元樹(Binary tree)搜尋法比對出包含該查詢影像資料的雜湊碼之該影像資料。
  14. 一種行動通訊裝置,包含:一影像擷取模組、一記憶體、一通訊模組以及至少一處理器,該記憶體儲存一程式碼,其中該程式碼指示該處理器執行以下步驟:控制該影像擷取模組以獲取一查詢影像資料;擷取該查詢影像資料的複數個特徵值;根據複數個雜湊函數,產生該查詢影像資料的每一特徵值對應的雜湊碼;驅動該通訊模組,並傳遞該查詢影像資料的複數個特徵值對應的雜湊碼至一遠端,其中該遠端根據該查詢影像資料的雜湊碼檢索一資料庫所包含的複數個影像資料;以及從該遠端,接收關聯該查詢影像資料的雜湊碼之該影像資料;其中該查詢影像資料的部分特徵值對應相同的雜湊碼。
  15. 如申請專利範圍第14項之行動通訊裝置,其中該特徵值對應的雜湊碼由複數個位元所組成。
  16. 如申請專利範圍第15項之行動通訊裝置,其中該部分的特徵值對應的雜湊碼由不同數量的位元所組成。
  17. 如申請專利範圍第14項之行動通訊裝置,其中該程式碼指示該處理器執行以下步驟:根據全域特徵擷取演算法或局部特徵擷取演算法,計算取得該查詢影像資料的複數個特徵值。
  18. 如申請專利範圍第14項之行動通訊裝置,其中在該遠端,擷取該資料庫中每一該影像資料的複數個特徵值,並根據該等雜湊函數,產生每一特徵值對應的雜湊碼;在該遠端,統計該查詢影像資料具有相同的雜湊碼之數量;以及當該資料庫中該其中之一影像資料的雜湊碼具有該相同的雜湊碼時,依據該相同的雜湊碼之數量來提升該其中之一影像資料提供給該行動通訊裝置的檢索影像之權重。
  19. 一種資料庫管理系統,包含:一資料庫,該資料庫包含複數個影像資料;以及,一伺服器,與一行動通訊裝置建立通訊連線,其中該伺服器執行以下步驟:擷取該資料庫中每一該影像資料的複數個特徵值;根據複數個雜湊函數,產生每一該影像資料的每一特徵值對應的雜湊碼;從該行動通訊裝置,接收一查詢影像資料的複數個雜湊碼,其中該查詢影像資料的雜湊碼是對應擷取自該查詢影像資料的一特徵值;比較該資料庫中該影像資料的複數個特徵值對應的雜湊碼與該查詢影像資料的複數個雜湊碼,以獲得一影像檢索結果;以及 傳遞該資料庫中關聯該影像檢索結果的影像資料至該行動通訊裝置;其中該查詢影像資料的部分特徵值對應相同的雜湊碼。
  20. 如申請專利範圍第19項之資料庫管理系統,其中該特徵值對應的雜湊碼由複數個位元所組成。
  21. 如申請專利範圍第20項之資料庫管理系統,其中該部分的特徵值對應的雜湊碼由不同數量的位元所組成。
  22. 如申請專利範圍第19項之資料庫管理系統,其中該伺服器擷取該資料庫中每一該影像資料的複數個特徵值,是根據全域特徵擷取演算法或局部特徵擷取演算法,計算取得該影像資料的複數個特徵值。
  23. 如申請專利範圍第19項之資料庫管理系統,其中該伺服器進一步執行產生複數個雜湊函數之步驟包含:找出所有的影像資料的特徵值具有一最大變異方向;以及,基於所有的影像資料的特徵值在該最大變異方向上,產生該等雜湊函數。
  24. 如申請專利範圍第19項之資料庫管理系統,其中該產生複數個雜湊函數之步驟包含:找出所有的影像資料的特徵值具有一最大變異方向;基於所有的影像資料的特徵值在該最大變異方向上,產生一第一雜湊函數;以及,關聯該第一雜湊函數與所有的特徵值在該最大變異方向的分布,產生其他複數個雜湊函數。
  25. 如申請專利範圍第19項之資料庫管理系統,其中該產生複數個雜湊函數之步驟包含:找出所有的影像資料的特徵值 具有的複數個變異方向;根據每一變異方向的變異量,依序排列該等變異方向;以及,根據排序的每一變異方向,產生對應的該雜湊函數。
  26. 如申請專利範圍第19項之資料庫管理系統,其中該伺服器進一步執行一步驟,以產生複數個雜湊函數,係包含:產生至少一雜湊函數;根據該至少一雜湊函數所分割的至少一雜湊桶(hash bucket)中,計算該至少一雜湊桶內該等特徵值的數量是否超過一門檻值;以及,當該至少一雜湊桶內該等特徵值的數量有超過該門檻值時,在該至少一雜湊桶內產生部分的雜湊函數。
  27. 如申請專利範圍第26項之資料庫管理系統,該伺服器進一步執行包含以下步驟:根據該至少一雜湊函數與該至少一雜湊桶內產生部分的雜湊函數,分割出複數個雜湊桶;產生每一雜湊桶對應的雜湊碼;以及,關聯該雜湊桶內的每一特徵值對應該雜湊桶所對應的雜湊碼,其中部分的特徵值對應的雜湊碼由不同數量的位元所組成。
  28. 如申請專利範圍第19項之資料庫管理系統,其中該行動通訊裝置執行一步驟,以產生該查詢影像資料的複數個雜湊碼,係包含:根據該等雜湊函數,分割出複數個雜湊桶;產生每一雜湊桶對應的雜湊碼;以及,關聯該雜湊桶內的每一特徵值對應該雜湊桶所對應的雜湊碼。
  29. 如申請專利範圍第19項之資料庫管理系統,其中該伺服器進一步執行包含以下步驟:統計該查詢影像資料具有相同的雜湊碼之數量;當該資料庫中該其中之一影像資料的雜 湊碼具有該相同的雜湊碼時,依據該相同的雜湊碼之數量來提升該其中之一影像資料傳遞至該行動通訊裝置的權重。
  30. 如申請專利範圍第19項之資料庫管理系統,其中該比較該影像資料的複數個特徵值對應的雜湊碼與該查詢影像資料的複數個特徵值對應的雜湊碼之步驟包含:利用二元樹搜尋法比對出包含該查詢影像資料的雜湊碼之該影像資料。
  31. 一種電腦程式產品,提供給具有一影像擷取模組的一行動通訊裝置下載安裝,使該行動通訊裝置取得至少一雜湊表與一程式碼,其中該雜湊表包含複數個雜湊函數,該行動通訊裝置執行該程式碼實現以下步驟:控制該影像擷取模組以獲取一查詢影像資料;擷取該查詢影像資料的複數個特徵值;根據複數個雜湊函數,產生該查詢影像資料的每一特徵值對應的雜湊碼;傳遞該查詢影像資料的複數個特徵值對應的雜湊碼至一遠端,其中該遠端根據該查詢影像資料的雜湊碼檢索一資料庫所包含的複數個影像資料;以及從該遠端,接收與該查詢影像資料的雜湊碼有關聯的至少一該影像資料;其中該查詢影像資料的部分特徵值對應相同的雜湊碼。
  32. 如申請專利範圍第31項之電腦程式產品,其中該特徵值對應的雜湊碼由複數個位元所組成。
  33. 如申請專利範圍第32項之電腦程式產品,其中該部分的特徵值對應的雜湊碼由不同數量的位元所組成。
  34. 如申請專利範圍第31項之電腦程式產品,其中該行動通訊裝置執行該程式碼進一步實現以下步驟:根據全域特徵擷取演算法或局部特徵擷取演算法,計算取得該查詢影像資料的複數個特徵值。
  35. 如申請專利範圍第31項之電腦程式產品,其中該雜湊表包含用以界定每一雜湊函數之參數。
TW103127203A 2014-08-08 2014-08-08 影像檢索方法及使用該影像檢索方法之行動通訊裝置、資料庫管理系統與電腦程式產品 TWI554899B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW103127203A TWI554899B (zh) 2014-08-08 2014-08-08 影像檢索方法及使用該影像檢索方法之行動通訊裝置、資料庫管理系統與電腦程式產品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW103127203A TWI554899B (zh) 2014-08-08 2014-08-08 影像檢索方法及使用該影像檢索方法之行動通訊裝置、資料庫管理系統與電腦程式產品

Publications (2)

Publication Number Publication Date
TW201606532A TW201606532A (zh) 2016-02-16
TWI554899B true TWI554899B (zh) 2016-10-21

Family

ID=55810059

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103127203A TWI554899B (zh) 2014-08-08 2014-08-08 影像檢索方法及使用該影像檢索方法之行動通訊裝置、資料庫管理系統與電腦程式產品

Country Status (1)

Country Link
TW (1) TWI554899B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW482962B (en) * 2000-01-15 2002-04-11 Topology Technology Inc Method of automatic extracting for key features in digital document
TW201310275A (zh) * 2011-05-27 2013-03-01 Sony Corp 資訊處理裝置、及資訊處理方法、以及程式
WO2013071981A1 (en) * 2011-11-18 2013-05-23 Metaio Gmbh Method of matching image features with reference features and integrated circuit therefor
US20130226895A1 (en) * 2012-02-29 2013-08-29 Broadcom Corporation System and method for multimedia stream data searching and retrieval

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW482962B (en) * 2000-01-15 2002-04-11 Topology Technology Inc Method of automatic extracting for key features in digital document
TW201310275A (zh) * 2011-05-27 2013-03-01 Sony Corp 資訊處理裝置、及資訊處理方法、以及程式
WO2013071981A1 (en) * 2011-11-18 2013-05-23 Metaio Gmbh Method of matching image features with reference features and integrated circuit therefor
US20130226895A1 (en) * 2012-02-29 2013-08-29 Broadcom Corporation System and method for multimedia stream data searching and retrieval

Also Published As

Publication number Publication date
TW201606532A (zh) 2016-02-16

Similar Documents

Publication Publication Date Title
US10102227B2 (en) Image-based faceted system and method
US10452712B2 (en) Mobile video search
US20140250457A1 (en) Video analysis system
EP2710518B1 (en) Scalable query for visual search
WO2019137185A1 (zh) 一种图片筛选方法及装置、存储介质、计算机设备
CN106575280B (zh) 用于分析用户关联图像以产生非用户生成标签以及利用该生成标签的***和方法
CN108536753B (zh) 重复信息的确定方法及相关装置
WO2014197216A1 (en) Photo and video search
EP2712453B1 (en) Image topological coding for visual search
US20200118033A1 (en) Method for approximate k-nearest-neighbor search on parallel hardware accelerators
TW201327203A (zh) 用於行動環境中之漸進式型樣匹配之方法及裝置
US20130016908A1 (en) System and Method for Compact Descriptor for Visual Search
CN106332556A (zh) 传输云端文件的方法、终端及云端服务器
TWI554899B (zh) 影像檢索方法及使用該影像檢索方法之行動通訊裝置、資料庫管理系統與電腦程式產品
CN109032683B (zh) 配置数据处理方法及装置
US20160105731A1 (en) Systems and methods for identifying and acquiring information regarding remotely displayed video content
CN107203578B (zh) 建立用户标识的关联的方法和装置
WO2019127659A1 (zh) 一种基于用户id识别有害视频的方法及其***
WO2024103649A1 (zh) 图像颜色识别方法、图像推荐方法及装置
CN111061731B (zh) 一种加密数据全文检索方法
Chatzistavros et al. Content‐based image retrieval over IEEE 802.11 b noisy wireless networks
CN114372085A (zh) 数据检索、数据处理方法、装置、设备及存储介质
CN114741502A (zh) 资源确定的方法和装置、电子设备和存储介质
Manger et al. Mobile object retrieval in server-based image databases