TW201931163A

TW201931163A - 影像搜尋方法、系統和索引建構方法和媒體

Info

Publication number: TW201931163A
Application number: TW107127415A
Authority: TW
Inventors: 劉瑞濤; 劉宇
Original assignee: 香港商阿里巴巴集團服務有限公司
Priority date: 2017-10-10
Filing date: 2018-08-07
Publication date: 2019-08-01
Also published as: US20190108280A1; CN110019867A; WO2019075117A1

Abstract

本說明書實施方式公開了一種影像搜尋方法、系統和索引建構方法和媒體，可以提升在影像搜尋過程中搜尋結果的準確度。

Description

影像搜尋方法、系統和索引建構方法和媒體

本說明書涉及電腦技術領域，特別涉及一種影像搜尋方法、系統和索引建構方法和媒體。

電腦技術隨著社會發展越來越普及。人們通過網際網路瀏覽各種頁面，以滿足不同的需求。　　在一些情況下，使用者會使用電子設備瀏覽影像。為了便於瀏覽，使用者可以輸入關鍵詞進行查詢。

本說明書實施方式提供一種影像搜尋方法、系統和索引建構方法和媒體。　　本說明書實施方式提供一種影像搜尋方法，包括：接收附帶有關鍵詞的查詢請求；根據所述查詢請求產生搜尋向量；其中，所述搜尋向量用於表徵所述關鍵詞；在同一個向量空間中，選擇與所述搜尋向量相匹配的影像向量，得到結果集；所述影像向量用於表徵影像和所述影像的文案。　　本說明書實施方式提供一種影像搜尋系統，包括：請求接收模組，用於接收附帶有關鍵詞的查詢請求；搜尋向量產生模組，用於根據所述查詢請求產生搜尋向量；其中，所述搜尋向量用於表徵所述關鍵詞；查詢模組，用於在同一個向量空間中，選擇與所述搜尋向量相匹配的影像向量，得到結果集；所述影像向量用於表徵影像和所述影像的文案。　　本說明書實施方式提供一種影像搜尋系統，包括：業務伺服器和搜尋引擎；所述業務伺服器用於接收客戶端提供的附帶有關鍵詞的查詢請求；根據所述查詢請求產生能表徵所述關鍵詞的搜尋向量，提供給所述搜尋引擎；將得到的結果集，回饋給所述客戶端；所述搜尋引擎用於在同一個向量空間中，選擇與所述搜尋向量相匹配的影像向量，得到結果集；將所述結果集回饋給所述業務伺服器；其中，所述影像向量用於表徵影像和所述影像的文案。　　本說明書實施方式提供一種索引建構方法，包括：獲取影像和所述影像對應的文案；根據所述影像和所述文案產生影像向量；所述影像向量用於表徵所述影像和所述文案；根據所述影像向量和所述影像的存取標識建構索引；其中，所述存取標識用於獲取對應的影像。　　本說明書實施方式提供一種影像管理系統，包括：影像獲取模組，用於獲取影像和所述影像對應的文案；影像向量產生模組，用於根據所述影像和所述文案產生影像向量；所述影像向量用於表徵所述影像和所述文案；索引建構模組，用於根據所述影像向量和所述影像的存取標識建構索引；其中，所述存取標識用於獲取對應的影像。　　本說明書實施方式提供一種電腦儲存媒體，所述電腦儲存媒體儲存有電腦程式，所述電腦程式被處理器執行時實現：獲取影像和所述影像對應的文案；根據所述影像和所述文案產生影像向量，所述影像向量用於表徵所述影像和所述文案；根據所述影像向量和所述影像的存取標識建構索引，其中，所述存取標識用於獲取對應的影像。　　本說明書實施方式提供一種影像搜尋方法，包括：向伺服器發出查詢請求；其中，所述查詢請求附帶有關鍵詞；以用於所述伺服器根據所述查詢請求產生搜尋向量，以及在同一個向量空間中，選擇與所述搜尋向量相匹配的影像向量，得到結果集；其中，所述影像向量用於表徵影像和所述影像的文案；接收所述伺服器回饋的結果集。　　本說明書實施方式提供一種影像搜尋方法，包括：接收查詢請求；根據所述查詢請求產生搜尋向量；選擇與所述搜尋向量相匹配的影像向量，得到結果集；所述影像向量用於表徵影像和所述影像的文案。　　由以上本說明書實施方式提供的技術方案可見，通過採用可以表徵影像和其文案的影像向量，使得在將關鍵詞的搜尋向量與影像向量進行匹配運算時，可以提升查詢得到的影像的準確度。進而，所述影像搜尋方法可以給使用者帶來更好的體驗。

為了使本技術領域的人員更好地理解本說明書中的技術方案，下面將結合本說明書實施方式中的附圖，對本說明書實施方式中的技術方案進行清楚、完整地描述，顯然，所描述的實施方式僅僅是本說明書一部分實施方式，而不是全部的實施方式。基於本說明書中的實施方式，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施方式，都應當屬於本說明書保護的範圍。　　請參閱圖1和圖5。本說明書實施方式提供一種影像搜尋系統。所述影像搜尋系統可以包括請求接收模組、搜尋向量產生模組、查詢模組、輸出模組。　　所述請求接收模組用於接收查詢請求。查詢請求可以附帶有關鍵詞。接收模組接收到查詢請求，可以表示需要向發出該查詢請求的客戶端，提供與所述關鍵詞相關的影像，或者提供用於獲取影像的資訊。請求接收模組可以基於網路通信協議接收查詢請求。具體的，例如，網路通信協議包括但不限於HTTP、TCP/IP等。　　在本實施方式中，關鍵詞可以為使用者在客戶端輸入的資訊，以用於搜尋使用者想要瀏覽的影像。關鍵詞本身可以為具有一定語義含義的字符串。具體的，例如，使用者想要購買拉杆箱，可以在客戶端中輸入關鍵詞“拉杆箱”。使用者可能還有進一步的要求，比如，使用者可能希望購買比較商務一些的拉杆箱。此時，使用者輸入的關鍵詞可能為“商務拉杆箱”。　　所述搜尋向量產生模組可以根據查詢請求產生搜尋向量。所述搜尋向量可以用於在所述查詢模組進行匹配運算。搜尋向量產生模組可以基於查詢請求的整體產生搜尋向量，也可以基於查詢請求附帶的關鍵詞產生搜尋向量。　　在本實施方式中，所述搜尋向量產生模組產生的搜尋向量處於指定向量空間。如此，通過指定搜尋向量的向量空間，進而可以使得根據查詢請求產生的搜尋向量，可以與查詢模組中的影像相量具有相同的向量空間，從而可以將二者進行匹配運算。當然，也可以為，搜尋向量產生模組產生搜尋向量之後，再將搜尋向量映射至指定向量空間。同理，在產生影像向量時，可以使影像向量處於指定向量空間，也可以為產生影像向量之後，將影像向量映射至指定向量空間。如此，實現搜尋向量和影像向量處於同一向量空間。　　在本實施方式中，所述搜尋向量產生模組可以根據深度學習演算法產生搜尋向量。深度學習演算法可以為神經網路演算法。具體的，例如，深度學習演算法可以採用循環神經網路（RNN，Recurrent Neural Networks）、長短期記憶網路（LSTM，Long Short-Term Memory）等。當然，具體實現搜尋向量產生模組的演算法並不限於上述列舉，所屬領域技術人員在本申請技術精髓啟示下，還可以做出其它變更或選擇，但只要其實現的功能和效果與本說明書相同或相似，均應涵蓋於本申請保護範圍內。　　所述查詢模組可以在同一個向量空間中，選擇與所述搜尋向量相匹配的影像向量，得到結果集。具體的，查詢模組將搜尋向量在索引中進行匹配運算，得出與搜尋向量相匹配的影像向量。進而可以根據影像向量與影像之間的對應關係，確定需要回饋給客戶端的影像。索引可以包括影像向量和影像向量所表示影像的存取標識。搜尋向量可以與影像向量進行匹配運算，以確定影像向量表示的影像是否符合關鍵詞的描述。存取標識可以表示影像的存取地址，或者，可以根據該存取標識確定影像。所述查詢模組進行匹配運算之後，可以輸出包括與所述搜尋向量相匹配的影像向量對應的存取標識的結果集。具體的，例如，存取標識可以是影像的URL（Uniform Resource Locator，統一資源定位符）。如此，在CDN（Content Delivery Network，內容分發網路）網路中，客戶端可以接收到影像的URL之後，存取URL以獲取影像。　　可以理解，所述結果集中也可以僅僅包括影像向量。如此，在將影像向量提供給客戶端之後，客戶端可以根據影像向量進一步獲取影像的存取標識，或者直接獲得影像的存取地址，如URL等，從而獲得影像。　　在本實施方式中，在同一個向量空間中，選擇與搜尋向量相匹配的影像向量。可以包括在產生搜尋向量和影像向量時，已經處於同一個向量空間中；還可以為，在搜尋向量和影像向量產生之後，將其中一個轉換至另一個的向量空間，實現二者處於同一個向量空間；還可以為，在搜尋向量和影像向量產生之後，將二者均轉換至同一個向量空間。本實施方式中，搜尋向量和影像向量處於同一個向量空間，如此使得二者可以進行匹配運算。　　在本實施方式中，影像向量可以表徵影像和所述影像的文案。如此，使得影像向量可以較為全面的表徵影像。使得，在將搜尋向量與影像向量進行匹配時，可以實現以下功能：影像本身展示的內容符合關鍵詞的內容時，會得出影像向量與搜尋向量符合指定關係；影像的文案符合關鍵詞的內容時，會得出影像向量與搜尋向量符合指定關係；影像和其文案均符合關鍵詞的內容時，會得出影像向量與搜尋向量符合指定關係。可見，通過影像向量表徵影像和其文案，可以使得查詢得到的結果更加全面準確。　　在一個實施方式中，影像向量可以表徵影像的影像內容特徵資訊和文案。即，影像向量可以基於影像內容特徵資訊和文案產生。如此，可以有利於提升查詢模組進行匹配運算的準確度。　　在本實施方式中，所述影像內容特徵資訊可以包括所述影像的內容標簽，所述對影像進行影像內容資訊識別處理，得到所述影像的影像內容特徵資訊可以包括如下步驟。　　1）將所述存量影像輸入影像內容打標模型，得到所述存量影像的影像內容標簽。　　2）將所述影像內容標簽作為所述存量影像的影像內容特徵資訊。　　具體的，這裡影像內容打標模型可以採用下述方式確定。　　1）採集包括影像內容標簽的影像集。　　2）利用卷積神經網路對所述影像集進行訓練，得到影像內容打標模型。　　在實際應用中，存在一些影像所對應的內容資訊是已知的，那麼對於一些已知內容資訊的影像可以預先對其進行影像內容資訊的標注，得到包括影像內容標簽的影像。相應的，可以預先採集大量包括影像的內容標簽的影像集，作為後續進行影像內容打標模型的訓練樣本。　　在一些實施方式中，可以將包括影像內容標簽的影像集輸入預先設置的卷積神經網路進行訓練；並調整卷積神經網路中各層的參數直至所述卷積神經網路的當前輸出影像內容標簽與預設影像內容標簽相匹配，將當前輸出影像內容標簽所對應的卷積神經網路作為影像內容打標模型。　　上述影像內容打標模型訓練過程中直接以大量包括影像內容標簽的影像集為訓練樣本，可以有效保證影像內容打標模型對影像的影像內容標簽的識別準確率。　　在本實施方式中，匹配運算可以包括但不限於：搜尋向量與影像向量的對位求和大於指定臨限值，可以認為二者相匹配；搜尋向量與影像向量之間的對位相減後求和，當得到的數值大於或者等於或者小於指定臨限值時，可以認為影像向量與搜尋向量相匹配；搜尋向量與影像向量做內積，即將對位乘積後整體求和，當得到的數值大於等於指定臨限值時，可以認為影像向量與搜尋向量相匹配。當然，還可以有其它演算法，所屬領域技術人員在本申請技術精髓啟示下，還可以有其它變更，但只要其實現的功能和效果與本說明書相同或相似，均應涵蓋於本申請保護範圍內。　　所述輸出模組可以將查詢模組得出的結果集，發送給發出查詢請求的客戶端。如此，客戶端可以根據得到的結果集中的存取標識進一步獲取影像。輸出模組可以基於網路通信協議向客戶端發送查詢模組的結果。具體的，例如，網路通信協議包括但不限於HTTP、TCP/IP等。　　當然，基於本說明書揭露的技術方案，所屬領域技術人員可能做出其它的變更。例如，本說明書描述的技術方案也可以應用於以“圖”搜“圖”的場景。在查詢請求中可以附帶有影像，進而可以根據所述影像產生搜尋向量。或者查詢請求中可以直接附帶有根據影像產生的搜尋向量。查詢模組可以將該搜尋向量與索引中的影像向量進行匹配運算。由於，影像向量可以表徵影像和文案，使得可以更多角度的匹配搜尋向量，從而使得到較多且較為準確的結果。　　本說明書實施方式還提供一種影像搜尋系統。所述影像搜尋系統可以包括業務伺服器和搜尋引擎。　　所述業務伺服器用於接收客戶端提供的附帶有關鍵詞的查詢請求；將所述關鍵詞或者能表徵所述關鍵詞的搜尋向量，提供給所述搜尋引擎；將得到的結果集，回饋給所述客戶端。　　在本實施方式中，業務伺服器可以為一個具有運算和網路交互功能的電子設備；也可以為運行於該電子設備中，為資料處理和網路交互提供支持的軟體。　　在本實施方式中，業務伺服器並不具體限定伺服器的數量。業務伺服器可以為一個伺服器，還可以為幾個伺服器，或者，若干伺服器形成的伺服器集群。　　在本實施方式中，業務伺服器可以為電子商務網站平臺的業務伺服器。如此，客戶端可以直接通過網路與業務伺服器進行通信。將關鍵詞發送給業務伺服器，以使業務伺服器可以直接將得到的結果集發送給該客戶端。　　在本實施方式中，業務伺服器可以包括前述請求接收模組和輸出模組。當然，業務伺服器還可以包括搜尋向量產生模組。　　在本實施方式中，客戶端可以為具有顯示、運算和網路存取功能的電子設備。具體的，例如，客戶端可以為桌上型電腦、平板電腦、筆記型電腦、智慧手機、數位助理、智慧可穿戴設備、導購終端、具有網路存取功能的電視機。或者，客戶端也可以為能夠運行於上述電子設備中的軟體。　　所述搜尋引擎可以根據業務伺服器提供的關鍵詞產生搜尋向量，或者接收業務伺服器提供的搜尋向量；將搜尋向量在索引中進行搜尋匹配，得到結果集；將所述結果集回饋給所述業務伺服器。所述結果集至少包括與所述搜尋向量相匹配的影像向量對應的存取標識。如此將結果集提供給客戶端之後，客戶端可以根據存取標識獲取相應的影像。或者，業務伺服器接收到結果集之後，可以根據存取標識將對應的影像發送給客戶端。　　在本實施方式中，所述搜尋引擎可以包括前述查詢模組。當然，所述搜尋向量產生模組也可以位於搜尋引擎中，而不設置在業務伺服器中。　　請參閱圖2和圖5。本說明書實施方式還提供一種影像管理系統。所述影像管理系統包括影像獲取模組、影像向量產生模組和索引建構模組。　　所述影像獲取模組可以獲取影像和所述影像對應的文案。所述文案可以包括所述影像的標題和/或在顯示時圍繞所述影像的文字。具體的，例如，所述影像獲取模組可以在網際網路上抓取圖片和其對應的文案。所述影像獲取模組也可以讀取網站平臺自身的影像和其文案。例如，京東網可以設置有影像的資料庫，和針對影像的文案，京東網的伺服器中可以運行有影像獲取模組讀取資料庫中的影像和文案。　　所述影像向量產生模組可以根據影像和所述影像的文案產生影像向量。影像的文案可以是影像的標題，或者在界面顯示影像時，圍繞影像的文字，或者，文案也可以為針對影像的內容進行標記的標簽。所述標簽可以通過電腦演算法識別產生，也可以為人工對影像打標簽。所述影像向量產生模組可以分別擷取影像的特徵，以及擷取文案的特徵，並根據擷取的特徵產生該影像向量。所述影像向量產生模組可以包括影像表徵單元、文字表徵單元和合成單元。　　在本實施方式中，影像表徵單元可以從影像中擷取特徵，產生影像表徵向量。影像表徵單元在產生影像表徵向量的過程中，可以從多個維度擷取影像的特徵。每個維度可以得到一個特徵值，從而將特徵值按照一定順序排列形成影像表徵向量。使得所述影像表徵向量用於表徵所述影像。具體的，例如，影像表徵單元可以基於不同的映射演算法或者卷積矩陣，對影像的像素矩陣進行不同維度的降維處理，進而得出每個維度的特徵值。　　在本實施方式中，文字表徵單元可以將關於影像的文案產生文字表徵向量。文字表徵單元可以將影像的標題和圍繞影像顯示的文字，整合在一起後，進行特徵擷取產生一個文字表徵向量。文字表徵單元也可以針對影像的文案進行分詞處理，得到若干詞語，針對每個詞語產生一個詞語表徵值。將得到的詞語表徵值，按照一定順序排列，形成文字表徵向量。當然，也可以通過神經網路等深度學習演算法，將影像的文案，或者針對文案進行分詞後得到的若干詞語作為輸入，通過深度學習演算法輸出文字表徵向量。如此，使得所述文字表徵向量用於表徵所述文案。　　在本實施方式中，所述合成單元可以將影像表徵向量和對應的文字表徵向量整合產生所述影像向量。影像表徵向量對應的文字表徵向量，可以為文字表徵向量用於表示影像表徵向量所表示影像的文字資訊。　　在本實施方式中，合成單元可以按照一定演算法，將影像表徵向量和文字表徵向量整合成一個影像向量。該演算法可以包括：影像表徵向量和文字表徵向量對位加權相加後，得到的一個向量作為影像向量；影像表徵向量和文字表徵向量對位相減，得到的一個向量作為影像向量。合成單元還可以為直接將影像表徵向量與文字表徵向量順次連接成一個向量作為影像向量。其中，影像表徵向量和文字表徵向量的先後順序可以根據具體需要進行設置。　　在本實施方式中，索引建構模組可以用於根據影像向量和影像的存取標識建構索引。索引中可以包括對應記錄的影像向量和其表徵的影像的存取標識。如此，所述索引可以提供給所述影像搜尋系統，所述搜尋引擎可以將搜尋向量在索引中與影像向量進行匹配運算，以及得到結果集。　　請參閱圖3。本說明書實施方式還提供一種影像搜尋過程的優化方法。提供用於查詢影像的關鍵詞，和已知與關鍵詞的匹配關係的影像集。所述影像集中包括影像，和針對影像的文案。　　在本實施方式中，所述匹配關係可以是搜尋向量與影像向量進行匹配運算得到的結論，可以包括相匹配和不相匹配。所述優化方法可以包括以下步驟。　　步驟S10：根據所述關鍵詞產生搜尋向量；所述搜尋向量用於表徵所述關鍵詞。　　在本實施方式中，作為關鍵詞的樣本的數量不限。可以相應于每個關鍵詞產生一個搜尋向量。也可以，相應於多個趨於相同語義的關鍵詞產生一個搜尋向量。　　步驟S12：根據所述影像集中的影像和文案產生影像向量。　　步驟S14：將所述搜尋向量與相匹配的影像的影像向量做內積得到第一評價值，將所述搜尋向量與不相匹配的影像的影像向量做內積得到第二評價值。　　步驟S16：利用設定數值與所述第一評價值做差的結果與所述第二評價值求和，將得到的數值與指定基準值比較取最大值；其中，所述最大值作為回饋值。　　在本實施方式中，所述回饋值可以是一次運算的結果，也可以為針對多個樣本進行運算後，得到的回饋值累加之後，作為最終的回饋值。　　步驟S18：以所述回饋值最小化為目標，根據所述回饋值執行優化的過程。　　在本實施方式中，所述回饋值越小，表示第一評價值相對較大，而第二評價值相對較小。如此可以表示，搜尋向量與相匹配的影像的影像向量的內積較大，而搜尋向量與不相匹配的影像的影像向量的內積較小。如此，可以使得影像搜尋過程中，較為容易區分與搜尋向量相匹配的影像和不相匹配的影像，如此提升了影像搜尋的準確度。　　請參閱圖4和圖9。在一個具體的場景示例中，使用者操作客戶端向業務伺服器發出查詢請求，該查詢請求可以附帶有關鍵詞“2017年新款防紫外線墨鏡”。　　在本場景示例中，業務伺服器接收到該關鍵詞“2017年新款防紫外線墨鏡”之後，可以針對該關鍵詞進行分詞處理。將該關鍵詞分詞為“2017年”、“新款”、“防”、“紫外線”、“墨鏡”等子關鍵詞。　　在本場景示例中，業務伺服器可以基於長短期記憶網路演算法將子關鍵詞作為輸入，產生搜尋向量。具體的，可以將子關鍵詞通過one-hot編碼轉為詞向量，將詞向量組作為長短期記憶網路的輸入。　　在本場景示例中，搜尋引擎接收到業務伺服器提供的搜尋向量之後，可以將搜尋向量在預先建構的索引中進行匹配運算。索引中對應記錄有影像向量和存取標識。影像向量為根據影像和其文案產生，使得影像向量可以表徵影像和其文案。影像向量和搜尋向量可以處於同一個向量空間，使得二者之間可以進行匹配運算。存取標識可以是影像的URL。　　在本場景示例中，影像向量可以包括第一段資料和第二段資料，其中第一段資料表征影像，所述第二段資料表征影像的文案。所述第一段資料和第二段資料可以均分別與搜尋向量處於同一個向量空間。如此，搜尋引擎可以將搜尋向量分別與影像向量的第一段資料和第二段資料進行匹配運算。　　在本場景示例中，舉例為搜尋向量為{1,0,3,2}，索引中的四個影像向量分別為{2,1,1,3:0,4,9,6}、{1,4,1,1:1,5,7,3}、{3,1,5,2:1,9,0,0}和{1,5,1,0:0,9,2,1}。匹配演算法可以採用做內積後，將得到的數值與指定臨限值比較，大於指定臨限值時，認為二者相匹配。例如，指定臨限值可以為10。將搜尋向量{1,0,3,2}與第一個影像向量的第一段資料{2,1,1,3}做內積得到數值為11，與第二段資料的內積為39。可以得出所述第一個影像向量的第一段資料和第二段資料，均與搜尋向量相匹配，認為所述第一個影像向量與搜尋向量相匹配，將所述第一個影像向量對應的存取標識放入本次搜尋的結果集。將搜尋向量分別與第二個影像向量的第一段資料和第二段資料進行匹配運算得出的數值分別為6和28。此時，由於搜尋向量與第二段資料的運算數值大於指定臨限值，將所述第二個影像向量對應的存取標識，放入所述結果集。將搜尋向量分別與第三個影像向量的第一段資料和第二段資料進行匹配運算得出的數值分別為22和1。此時，由於搜尋向量與第一段資料的運算數值大於指定臨限值，將所述第三個影像向量對應的存取標識，放入所述結果集。將搜尋向量分別與第四個影像向量的第一段資料和第二段資料進行匹配運算得出的數值分別為4和8。此時，由於搜尋向量與第一段資料和第二段資料的運算數值均小於指定臨限值，認為搜尋向量與所述第四個影像相量不相匹配。　　在本場景示例中，所述搜尋引擎完成影像搜尋之後，將所述結果集回饋給所述業務伺服器。業務伺服器可以根據結果集的存取標識，直接將相應的影像發送給客戶端，也可以直接將結果集發送給客戶端，以使客戶端可以根據結果集中的存取標識進一步獲取影像。　　請參閱圖10。在本場景示例中，客戶端接收到的結果集中包括影像的存取標識。客戶端分別向每個存取標識發出存取請求，從而獲得相應的影像並可以進行展示。客戶端在獲取影像時，也可以獲取影像的文案。如此在展示時，可以在顯示界面中，將影像和文案對應展示。　　請參閱圖6。本說明書實施方式還提供一種影像搜尋方法。所述影像搜尋方法可以包括以下步驟。　　步驟S20：接收附帶有關鍵詞的查詢請求。　　步驟S22：根據所述查詢請求產生搜尋向量；其中，所述搜尋向量用於表徵所述關鍵詞。　　步驟S24：在同一個向量空間中，選擇與所述搜尋向量相匹配的影像向量，得到結果集；所述影像向量用於表徵影像和所述影像的文案。　　在本實施方式中，通過採用可以表徵影像和其文案的影像向量，使得在選擇與搜尋向量相匹配的影像向量時，可以在將關鍵詞的搜尋向量與影像向量進行匹配運算時，可以提升查詢得到的影像的準確度。即，搜尋向量與影像向量之間相匹配時，可能的情況包括：影像的內容與關鍵詞的語義相關聯；或者，文案的內容與關鍵詞的語義相關聯；或者，影像的內容和文案的內容，均與關鍵詞的語義相關聯。由此可見，所述影像搜尋方法可以給使用者帶來更好的體驗。　　本實施方式可以參照其它實施方式對照解釋。　　請參閱圖7。在一個實施方式中，在產生所述搜尋向量的步驟中可以包括以下步驟。　　步驟S26：針對所述關鍵詞進行分詞處理，得到至少一個子關鍵詞。　　在本實施方式中，可以基於自然語言的語義對關鍵詞進行分詞。當所述關鍵詞中包括了多個自然詞匯時，可以將每個自然詞匯作為一個子關鍵詞。具體的，例如，所述關鍵詞可以為“有趣的兒童英文繪本”，可以被拆分為“有趣的”、“兒童”、“英文”和“繪本”等子關鍵詞。當然，當所述關鍵詞整體為一個自然詞匯時，可以不進行劃分。具體的，例如，所述關鍵詞可以為“公共汽車”。　　步驟S28：根據每個所述子關鍵詞產生詞語表徵值；每個所述詞語表徵值用於表徵對應的詞語。　　步驟S30：將所述詞語表徵值排列形成所述搜尋向量。　　在本實施方式中，可以採用神經網路演算法產生詞語表徵值。具體的，例如，可以根據基於循環神經網路演算法改進的長短期記憶網路演算法產生詞語表徵值。可以將每個子關鍵詞作為一個神經元的輸入，該神經元經過運算後輸出的資料為該子關鍵詞的詞語表徵值。同一層級的神經元，也可以存在上下游關係，即上游神經元根據輸入的子關鍵詞進行運算後，會對其相鄰的下游神經元輸出傳導值。如此，使得輸出的詞語表徵值可以兼顧子關鍵詞本身，以及子關鍵詞所在的關鍵詞的上下文語義。使得產生的搜尋向量可以較為準確的表徵所述關鍵詞。　　在本實施方式中，對詞語表徵值排列的方式可以包括：按照詞語表徵值產生的先後順序排序；按照詞語表徵值的數值大小排序。還可以為根據所述詞語表徵值所表徵的子關鍵詞處於所述關鍵詞中的順序，對所述詞語表徵值進行排序。如此，使得產生的搜尋向量可以較為準確的表示所述關鍵詞。　　在一個實施方式中，在進行匹配運算的步驟中可以包括以下至少之一。將所述搜尋向量與影像向量的對位求和，在求得數值大於或等於第一指定臨限值的情況下，認為所述影像向量與所述搜尋向量相匹配；或者，將所述搜尋向量與影像向量之間的對位相減後求和，在得到的數值小於第二指定臨限值的情況下，認為所述影像向量與所述搜尋向量相匹配；或者，將所述搜尋向量與影像向量做內積，當得到的數值大於或等於第三指定臨限值時，認為所述影像向量與所述搜尋向量相匹配。　　在本實施方式中，第一指定臨限值、第二指定臨限值和第三指定臨限值可以為根據實際需求，設定的常數。可以依照工作人員的經驗設置該常數，也可以根據程式的實際運行效果，進行統計得出。　　在一個實施方式中，所述影像向量包括第一資料段和第二資料段；所述第一資料段用於表徵影像，所述第二資料段用於表徵所述影像的文案；在進行匹配運算時，分別將所述搜尋向量與所述影像向量的第一資料段和所述第二資料段進行匹配運算；在所述搜尋向量與所述第一資料段、所述第二資料段中的一個相匹配時，認為所述搜尋向量與所述影像向量相匹配。　　在本實施方式中，所述第一資料段可以為影像表徵向量。所述第二資料段可以為文字表徵向量。如此，使得第一資料段可以用於表徵所述影像。所述第二資料段可以用於表徵影像的文案。　　在本實施方式中，所述第一資料段和所述第二資料段可以分別與所述搜尋向量處於同一向量空間中。如此，實現所述搜尋向量與所述影像向量處於同一向量空間。　　在本實施方式中，在進行匹配運算時，在第一資料段和第二資料段中至少一個與搜尋向量相匹配，即認為搜尋向量與影像向量匹配。如此可以實現：影像的內容與關鍵詞的語義相關聯，認為影像向量與搜尋向量相匹配；或者，文案的內容與關鍵詞的語義相關聯，認為影像向量與搜尋向量相匹配；或者，影像的內容和文案的內容，均與關鍵詞的語義相關聯，認為影像向量與搜尋向量相匹配。實現可以搜尋得到較多且較為準確的結果。　　請參閱圖8。本說明書實施方式提供一種索引建構方法，可以包括以下步驟。　　步驟S32：獲取影像和所述影像對應的文案。　　步驟S34：根據所述影像和所述文案產生影像向量；所述影像向量用於表徵所述影像和所述文案。　　步驟S36：根據所述影像向量和所述影像的存取標識建構索引；其中，所述存取標識用於獲取對應的影像。　　在本實施方式中，影像向量可以同時表徵所述影像和其文案。使得影像向量可以較為準確的表徵影像。進而，根據所述影像向量產生的索引，在與搜尋向量進行匹配運算時，可以得到較為準確的結果。　　本說明書實施方式還提供一種電腦儲存媒體，所述電腦儲存媒體儲存有電腦程式，所述電腦程式被處理器執行時實現：獲取影像和所述影像對應的文案；根據所述影像和所述文案產生影像向量，所述影像向量用於表徵所述影像和所述文案；根據所述影像向量和所述影像的存取標識建構索引，其中，所述存取標識用於獲取對應的影像。　　在本實施方式中，所述電腦儲存媒體包括但不限於隨機存取記憶體（Random Access Memory，RAM）、唯讀記憶體（Read-Only Memory，ROM）、緩存（Cache）、硬碟（Hard Disk Drive，HDD）或者記憶卡（Memory Card）。　　本實施方式中的術語以及實現的功能和效果，可以與其它實施方式對照解釋。　　請參閱圖11，本說明書實施方式還提供一種影像搜尋方法。所述方法可以包括以下步驟。　　步驟S40：向伺服器發出查詢請求；其中，所述查詢請求附帶有關鍵詞；以用於所述伺服器根據所述查詢請求產生搜尋向量，以及在同一個向量空間中，選擇與所述搜尋向量相匹配的影像向量，得到結果集；其中，所述影像向量用於表徵影像和所述影像的文案。　　步驟S42：接收所述伺服器回饋的結果集。　　在本實施方式中，客戶端接收到結果集中，可以包括有存取標識。客戶端可以根據存取標識獲取相應的影像。進而，可以在客戶端展示。具體的，例如，存取標識可以是影像的URL，客戶端向URL發起存取請求，從而獲得影像，進而可以進行展示。　　本實施方式中的術語以及實現的功能和效果，可以與其它實施方式對照解釋。　　請參閱圖12。本說明書實施方式提供一種影像搜尋方法，其可以包括以下步驟。　　步驟S44：接收查詢請求。　　步驟S46：根據所述查詢請求產生搜尋向量。　　在本實施方式中，查詢請求中可以附帶有關鍵詞，如此使得查詢請求可以具有一定的語義。當然，查詢請求中也可以不附帶關鍵詞，而通過針對查詢請求進行特殊的格式設定而表示一定的語義。　　在本實施方式中，基於查詢請求產生搜尋向量的方式可以包括：可以對查詢請求或者其附帶的關鍵詞進行分詞後，相應處理，形成搜尋向量；也可以為基於查詢請求中的關鍵詞的整體直接產生搜尋向量；還可以為基於整個查詢請求產生搜尋向量。　　步驟S48：選擇與所述搜尋向量相匹配的影像向量，得到結果集；所述影像向量用於表徵影像和所述影像的文案。　　在本實施方式中，可以將搜尋向量和影像向量映射到同一向量空間進行匹配運算；也可以通過運算演算法，直接將搜尋向量和影像向量進行匹配運算，而不映射至相同向量空間。具體的，例如，可以將搜尋向量或影像向量映射至指定空間的演算法與匹配演算法結合，直接進行運算，而不需要先行映射至指定空間，再匹配運算的方式。　　本實施方式中的術語以及實現的功能和效果，可以與其它實施方式對照解釋。　　請參閱圖13。在一個具體的場景示例中，使用者使用客戶端進行影像搜尋，實現可以為文案配圖。　　在本場景示例中，使用者可以使用客戶端輸入“床前明月光，疑是地上霜。舉頭望明月，低頭思故鄉。”。使用者需要為這個古詩配圖。客戶端將上述使用者輸入的古詩作為查詢請求附帶的關鍵詞，發送給業務伺服器。　　在本場景示例中，業務伺服器接收到查詢請求之後，得到關鍵詞“床前明月光，疑是地上霜。舉頭望明月，低頭思故鄉。”。可以將該關鍵詞整體作為輸入至神經網路演算法，得到可以表徵關鍵詞的搜尋向量。業務伺服器將搜尋向量提供給搜尋引擎進行進一步匹配運算。　　在本場景示例中，搜尋引擎將搜尋向量與索引中的影像向量進行匹配。所述影像向量可以表徵影像和影像的文案。經過匹配運算，如圖14a、圖14b、圖14c和圖14d所示的影像和文案的影像向量與搜尋向量相匹配。搜尋引擎可以將該影像向量對應的存取標識放入結果集，以提供給業務伺服器。　　在本場景示例中，業務伺服器可以將結果集提供給客戶端。請參閱圖15。客戶端根據存取標識進一步獲取相應的影像，並進行展示。進一步的，使用者可以通過操作客戶端選擇其中的一個或幾個影像，作為關鍵詞的配圖。　　本說明書中的各個實施方式均採用遞進的方式描述，各個實施方式之間相同相似的部分互相參見即可，每個實施方式重點說明的都是與其他實施方式的不同之處。　　本說明書實施方式中提及的伺服器，可以是具有一定運算處理能力的電子設備。其可以具有網路通信端子、處理器和記憶體等。當然，上述伺服器也可以是指運行於所述電子設備中的軟體。上述伺服器還可以為分布式伺服器，可以是具有多個處理器、記憶體、網路通信模組等協同運作的系統。　　在20世紀90年代，對於一個技術的改進可以很明顯地區分是硬體上的改進（例如，對二極體、電晶體、開關等電路結構的改進）還是軟體上的改進（對於方法流程的改進）。然而，隨著技術的發展，當今的很多方法流程的改進已經可以視為硬體電路結構的直接改進。設計人員幾乎都通過將改進的方法流程編程到硬體電路中來得到相應的硬體電路結構。因此，不能說一個方法流程的改進就不能用硬體實體模組來實現。例如，可編程邏輯裝置（Programmable Logic Device, PLD）（例如現場可編程門陣列（Field Programmable Gate Array，FPGA））就是這樣一種積體電路，其邏輯功能由使用者對裝置編程來確定。由設計人員自行編程來把一個數位系統“集成”在一片PLD 上，而不需要請晶片製造廠商來設計和製作專用的積體電路晶片2。而且，如今，取代手工地製作積體電路晶片，這種編程也多半改用 “邏輯編譯器（logic compiler）”軟體來實現，它與程式開發撰寫時所用的軟體編譯器相類似，而要編譯之前的原始碼也得用特定的編程語言來撰寫，此稱之為硬體描述語言（Hardware Description Language，HDL），而HDL 也並非僅有一種，而是有許多種，如ABEL（Advanced Boolean Expression Language）、AHDL（Altera Hardware Description Language）、Confluence、CUPL（Cornell University Programming Language）、HDCal、JHDL（Java Hardware Description Language）、Lava、Lola、MyHDL、PALASM、RHDL（Ruby Hardware Description Language）等，目前最普遍使用的是VHDL（Very-High-Speed Integrated Circuit Hardware Description Language ）與Verilog2。本領域技術人員也應該清楚，只需要將方法流程用上述幾種硬體描述語言稍作邏輯編程並編程到積體電路中，就可以很容易得到實現該邏輯方法流程的硬體電路。　　本領域技術人員也知道，除了以純電腦可讀程式代碼方式實現控制器以外，完全可以通過將方法步驟進行邏輯編程來使得控制器以邏輯閘、開關、特殊應用積體電路、可編程邏輯控制器和嵌入微控制器等的形式來實現相同功能。因此這種控制器可以被認為是一種硬體部件，而對其內包括的用於實現各種功能的裝置也可以視為硬體部件內的結構。或者甚至，可以將用於實現各種功能的裝置視為既可以是實現方法的軟體模組又可以是硬體部件內的結構。　　通過以上的實施方式的描述可知，本領域的技術人員可以清楚地瞭解到本說明書可借助軟體加必需的通用硬體平臺的方式來實現。基於這樣的理解，本說明書的技術方案本質上或者說對現有技術做出貢獻的部分可以以軟體產品的形式體現出來，該電腦軟體產品可以儲存在儲存媒體中，如ROM/RAM、磁碟、光碟等，包括若干指令用以使得一台電腦設備（可以是個人電腦，伺服器，或者網路設備等）執行本說明書各個實施方式或者實施方式的某些部分所述的方法。　　雖然通過實施方式描繪了本說明書，本領域普通技術人員知道，本說明書有許多變形和變化而不脫離本說明書的精神，希望所附的申請專利範圍包括這些變形和變化而不脫離本說明書的精神。

S10‧‧‧步驟

S12‧‧‧步驟

S14‧‧‧步驟

S16‧‧‧步驟

S18‧‧‧步驟

S20‧‧‧步驟

S22‧‧‧步驟

S24‧‧‧步驟

S26‧‧‧步驟

S28‧‧‧步驟

S30‧‧‧步驟

S32‧‧‧步驟

S34‧‧‧步驟

S36‧‧‧步驟

S40‧‧‧步驟

S42‧‧‧步驟

S44‧‧‧步驟

S46‧‧‧步驟

S48‧‧‧步驟

為了更清楚地說明本說明書實施方式或現有技術中的技術方案，下面將對實施方式或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本說明書中記載的一些實施方式，對於本領域普通技術人員來講，在不付出創造性勞動性的前提下，還可以根據這些附圖獲得其他的附圖。　　圖1為本說明書實施方式提供的一種影像搜尋系統的模組示意圖；　　圖2為本說明書實施方式提供的一種影像管理系統的模組示意圖；　　圖3為本說明書實施方式提供的一種影像搜尋過程的優化方法的流程圖；　　圖4為本說明書實施方式提供的一種影像搜尋系統的交互示意圖；　　圖5為本說明書實施方式提供的一種向量之間的關係的示意圖；　　圖6為本說明書實施方式提供的一種影像搜尋方法的流程圖；　　圖7為本說明書實施方式提供的一種影像搜尋方法的流程圖；　　圖8為本說明書實施方式提供的一種影像搜尋方法的流程圖；　　圖9為本說明書實施方式提供的一種影像搜尋界面的示意圖；　　圖10為本說明書實施方式提供的一種影像搜尋界面的示意圖；　　圖11為本說明書實施方式提供的一種影像搜尋方法的流程圖；　　圖12為本說明書實施方式提供的一種影像搜尋方法的流程圖；　　圖13為本說明書實施方式提供的一種影像搜尋界面的示意圖；　　圖14a為本說明書實施方式提供的一種影像和文案的示意圖；　　圖14b為本說明書實施方式提供的一種影像和文案的示意圖；　　圖14c為本說明書實施方式提供的一種影像和文案的示意圖；　　圖14d為本說明書實施方式提供的一種影像和文案的示意圖；　　圖15為本說明書實施方式提供的一種影像搜尋界面的示意圖。

Claims

一種影像搜尋方法，其特徵在於，包括：　　接收附帶有關鍵詞的查詢請求；　　根據所述查詢請求產生搜尋向量；其中，所述搜尋向量用於表徵所述關鍵詞；　　在同一個向量空間中，選擇與所述搜尋向量相匹配的影像向量，得到結果集；所述影像向量用於表徵影像和所述影像的文案。
根據請求項1所述的方法，其中，提供包括所述影像向量和存取標識的索引，所述存取標識用於存取所述影像向量表徵的影像；　　在選擇影像向量的步驟中包括：在所述索引的影像向量與所述搜尋向量進行匹配運算，得到所述結果集；所述結果集至少包括與所述搜尋向量相匹配的影像向量對應的存取標識。
根據請求項1所述的方法，其中，在產生搜尋向量的步驟中包括：根據所述關鍵詞產生所述搜尋向量。
根據請求項3所述的方法，其中，在產生所述搜尋向量的步驟中包括：　　針對所述關鍵詞進行分詞處理，得到至少一個子關鍵詞；　　根據每個所述子關鍵詞產生詞語表徵值；每個所述詞語表徵值用於表徵對應的詞語；　　將所述詞語表徵值排列形成所述搜尋向量。
根據請求項4所述的方法，其中，在形成所述搜尋向量的步驟中包括：根據所述詞語表徵值所表徵的子關鍵詞處於所述關鍵詞中的順序，對所述詞語表徵值進行排序。
根據請求項1所述的方法，其中，在選擇影像向量的步驟中包括：　　將所述搜尋向量與影像向量的對位求和，在求得數值大於或等於第一指定臨限值的情況下，認為所述影像向量與所述搜尋向量相匹配；或者，　　將所述搜尋向量與影像向量之間的對位相減後求和，在得到的數值小於第二指定臨限值的情況下，認為所述影像向量與所述搜尋向量相匹配；或者，　　將所述搜尋向量與影像向量做內積，當得到的數值大於或等於第三指定臨限值時，認為所述影像向量與所述搜尋向量相匹配。
根據請求項1所述的方法，其中，所述影像向量包括第一資料段和第二資料段；所述第一資料段用於表徵影像，所述第二資料段用於表徵所述影像的文案；　　在進行匹配運算的步驟中包括：分別將所述搜尋向量與所述影像向量的第一資料段和所述第二資料段進行匹配運算；在所述搜尋向量與所述第一資料段、所述第二資料段中的一個相匹配時，認為所述搜尋向量與所述影像向量相匹配。
根據請求項1所述的方法，其中，所述方法還包括：將所述結果集發送給提供所述查詢請求的客戶端，以用於所述客戶端展示被選擇的影像向量所表徵的影像。
一種影像搜尋系統，其特徵在於，包括：　　請求接收模組，用於接收附帶有關鍵詞的查詢請求；　　搜尋向量產生模組，用於根據所述查詢請求產生搜尋向量；其中，所述搜尋向量用於表徵所述關鍵詞；　　查詢模組，用於在同一個向量空間中，選擇與所述搜尋向量相匹配的影像向量，得到結果集；所述影像向量用於表徵影像和所述影像的文案。
根據請求項9所述的系統，其中，還包括：　　輸出模組，用於將所述結果集發送給發出所述查詢請求的客戶端。
一種影像搜尋系統，其特徵在於，包括：業務伺服器和搜尋引擎；　　所述業務伺服器用於接收客戶端提供的附帶有關鍵詞的查詢請求；根據所述查詢請求產生能表徵所述關鍵詞的搜尋向量，提供給所述搜尋引擎；將得到的結果集，回饋給所述客戶端；　　所述搜尋引擎用於在同一個向量空間中，選擇與所述搜尋向量相匹配的影像向量，得到結果集；將所述結果集回饋給所述業務伺服器；其中，所述影像向量用於表徵影像和所述影像的文案。
一種索引建構方法，其特徵在於，包括：　　獲取影像和所述影像的文案；　　根據所述影像和所述文案產生影像向量；所述影像向量用於表徵所述影像和所述文案；　　根據所述影像向量和所述影像的存取標識建構索引；其中，所述存取標識用於獲取對應的影像。
根據請求項12所述的方法，其中，在產生影像向量的步驟中包括：　　根據所述影像產生影像表徵向量；所述影像表徵向量用於表徵所述影像；　　根據所述文案產生文字表徵向量；所述文字表徵向量用於表徵所述文案；　　將所述影像表徵向量和所述文字表徵向量整合得到所述影像向量。
一種影像管理系統，其特徵在於，包括：　　影像獲取模組，用於獲取影像和所述影像的文案；　　影像向量產生模組，用於根據所述影像和所述文案產生影像向量；所述影像向量用於表徵所述影像和所述文案；　　索引建構模組，用於根據所述影像向量和所述影像的存取標識建構索引；其中，所述存取標識用於獲取對應的影像。
一種電腦儲存媒體，其特徵在於，所述電腦儲存媒體儲存有電腦程式，所述電腦程式被處理器執行時實現：獲取影像和所述影像的文案；根據所述影像和所述文案產生影像向量，所述影像向量用於表徵所述影像和所述文案；根據所述影像向量和所述影像的存取標識建構索引，其中，所述存取標識用於獲取對應的影像。
一種影像搜尋方法，其特徵在於，包括：　　向伺服器發出查詢請求；其中，所述查詢請求附帶有關鍵詞；以用於所述伺服器根據所述查詢請求產生搜尋向量，以及在同一個向量空間中，選擇與所述搜尋向量相匹配的影像向量，得到結果集；其中，所述影像向量用於表徵影像和所述影像的文案；　　接收所述伺服器回饋的結果集。
一種影像搜尋方法，其特徵在於，包括：　　接收查詢請求；　　根據所述查詢請求產生搜尋向量；　　選擇與所述搜尋向量相匹配的影像向量，得到結果集；所述影像向量用於表徵影像和所述影像的文案。