TWI571762B - 即時影像雲端系統及其管理方法 - Google Patents

Description

即時影像雲端系統及其管理方法

本發明係關於一種即時影像雲端系統及其管理方法；具體而言，本發明係關於一種即時影像雲端系統，具可即時顯示、處理、分析高解析(或低解析)影像之即時影像雲端系統及其管理方法。

多年來醫學病理部對於設備的更新較慢，通常使用傳統的光學病理顯微鏡，不但容易造成人工判斷上誤差、資料無法妥善管理儲存，更有空間上放置的問題。近年來隨著數位病理影像的推動，快速且客觀的數位病理分析，並大量減少空間上的需求。近年來隨著數位病理的推動，切片影像數位化已成為一項發展的趨勢，然而雲端高解析病理影像分享，卻因為技術上的瓶頸，使得使用上容易產生等待或系統緩慢等問題，除此之外，亦缺乏智慧組織辨識、比對分析的技術，來協助醫學專家從事臨床診斷或者研究分析。

本發明之一目的在於提供一種即時影像雲端系統及其管理方法，可藉由降低所需要傳輸的影像容量以提高資料傳輸速度及降低資料傳輸之等待時間。

本發明之另一目的在於提供一種即時高解析影像雲端系統 及其管理方法，可降低影像分析及影像處理之傳輸容量並能高速平行化處理資料，以提升影像即時顯示、分析及影像處理之速度。

本發明提供一種即時影像雲端系統，包含：至少一前端裝置，產生一指令資訊及一關注區域資訊；以及一後端系統，耦接於該前端裝置，具有儲存複數個病歷資料及複數個原病理影像，且每個原病理影像具有複數個解析度圖層，每個解析度圖層具有複數個圖磚區，該後端系統可提供病歷資料及其巨量高解析或低解析度病理影像給前端裝置，以致使該前端裝置顯示該病歷資料及其高解析或低解析度病理影像，其中高解析度病理影像具有複數個解析度圖層，每個圖層具有複數個圖像磚塊區，且個別解析度病理影像之每個圖像磚塊區，分別對應不同解析度病理影像之複數個圖磚區的不同部份之組合；其中，該後端系統根據該指令資訊選擇性提供給該前端裝置該關注區域資訊所對應之該複數個圖磚區之組合，或針對該關注區域資訊所對應之該複數個圖磚區之組合進行影像處理。

本發明提供一種即時影像雲端系統之管理方法，其中該即時影像雲端系統包含至少一前端裝置、至少一後端資料庫以及一後端系統，該管理方法包含以下步驟：以該後端系統自該前端裝置其中之一接收一關注區域資訊(ROI)，其中該關注區域資訊為一指定解析度影像的一部分區域；根據該關注區域資訊以該後端系統於一原病理影像中，判斷對應該關注區域資訊之該 部分區域的位置，及該部分區域在該影像儲存的圖層和相關的複數個圖磚區；以及以該後端系統自該前端裝置接收一指令資訊，並根據該指令資訊選擇性傳輸一複數個圖磚並結合圖磚影像至該前端裝置，或針對該複數個圖磚區之影像進行高速平行化運算影像分析處理。

一種即時影像顯示、分享、處理、分析巨量高解析或低解析影像于雲端網路(包含私有網路、局部網路、公有網路)之雲端系統及其管理方法，該系統包含：至少一前端裝置，產生一指令資訊及一關注區域資訊；至少一後端資料庫，儲存複數個物件資料(如病歷診斷資料)及每份資料相關的複數個巨量高解析或低解析影像資料，如巨量高解析病理切片影像；每個病理影像具有多解析圖層結構，每個圖層含有複數個圖磚區，每個圖磚區為局部影像儲存單位；該後端系統可即時提供病歷資料及其高解析度病理影像給前端裝置，以致使該前端裝置顯示該病歷資料及其高解析度病理影像，其中前端可進行影像處理指令，指示後端即時提供影像處理後的高解析病理影像多層次影像圖磚設計結構，使得能快速擷取局部影像不需耗用大量記憶體，並且能簡單融合於高速平行連算架構。後端系統根據指令資訊選擇性提供該關注區域資訊所對應之複數個圖磚區之組 合給前端裝置，或針對該關注區域資訊所對應之複數個圖磚區之組合進行影像處理。在高速平行運算時，圖磚區的資料可進行獨立擷取並處理，可獨力傳送至單一運算核心，進行平行高速多核心運算。

圖1顯示本發明之即時影像雲端系統100之一較佳實施例。如圖1所示，即時影像雲端系統100包含至少一前端裝置10、一後端系統20以及至少一後端資料庫30。在本實施例中，每個前端裝置10及後端資料庫30係耦接於後端系統20。在一較佳實施例中，前端裝置10可包含桌上型電腦、筆記型電腦、智慧手機以及平板電腦。其中，前端裝置10具有一使用者介面11，用於輸入使用者的指令及顯示資料。前端裝置10較佳是透過網路與後端系統20耦接，如網際網路。然而，在其他不同實例中，前端裝置10亦可藉由區域網路之無線或有線方式與後端系統20耦接。在一較佳實施例中，本發明之即時影像雲端系統100是用於醫學影像的顯示、分享、分析及處理之即時影像雲端系統。藉由本發明之即時影像雲端系統100，使用者經身分驗證後(透過帳號密碼保護)，可快速方便的透過網路觀察、診斷、分析、處理醫學病歷資料或進行病理影像(如醫學切片影像)之分析及影像處理，且本發明之即時影像雲端系統可降低影像之顯示、分析及處理所需的時間。

如圖1所示，後端系統20包含至少一處理器21及至少一主記憶體22。其中，主記憶體22中存有至少一作業系統23、至少一應用程式24以及至少一資料庫管理系統25。在一較佳 實例中，後端系統20為一種伺服器，且可包含一個或複數個伺服器。在本實例中，後端系統20可為Apache HTTP伺服器，但不以此為限，其中作業系統23執行Apache的作業系統，以提供給前端裝置10各種web網路服務。應用程式24可包含執行PHP、JavaScript、FLASH網頁之服務的應用程式。然而，在其他不同實施例中，後端系統20可為其他種伺服器，如微軟的ASP網頁服務伺服器。

如圖1所示，在本實施例中，資料庫管理系統25為另一種應用程式，用於當作應用程式24應用後端資料庫30之介面。後端資料庫30可包含一個或多個實體的儲存裝置。在本實施例中，不管後端資料庫30有多少實體的儲存裝置，在軟體方面上，後端資料庫30可係以SQL或MySQL的資料庫呈現，但不以此為限。在本實例，後端資料庫30之MySQL資料庫可與後端系統20之Apache網頁伺服器及PHP、JavaScript、FLASH搭配使用，以致使後端系統20可提供前端裝置10網頁服務以及後端資料庫30所儲存的資料。然而，在其他不同實例中，若後端系統20不是使用Apache時，後端資料庫30亦可以其他形式呈現，如微軟的Access資料庫、SQL資料庫、Qracle資料庫等。

圖2為即時高解析影像雲端系統100之功能簡介的示意圖。如圖2所示，當前端裝置10透過網路連接至後端系統20時，前端裝置10可以一使用者帳號或一管理者帳號登入後端系統20中。當前端裝置10登入後端系統20後，前端裝置10的使用者可藉由前端裝置10的介面進行操作，如請求後端系 統20提供後端資料庫30所儲存之資料。如圖1及圖2所示，當前端裝置10登入後端系統20後，前端裝置10的使用者會先進入後端系統20的第一層(Layer 1)。根據使用者所輸入的使用者名稱(User ID)、密碼及/或其他相關的登入資訊，即時影像雲端系統100可選擇性讓使用者通過第一層並與一第二層(Layer 2)連接。在一較佳實施例中，第二層包含一文字與數字資料庫(如電子診斷病歷資料庫)以及一高解析影像資料庫(如高解析病理切片影像資料庫)，其中高解析影像資料庫可為高解析多媒體影像資料庫。換言之，第一層和第二層組成為圖1的後端資料庫30，且第一層為整合資料庫之資料目錄資料庫。如圖2所示，第二層為後端資料庫30中所儲存的資料。舉例而言，如圖2所示，文字與數字資料庫如電子病歷資料庫中可包含各種不同的資訊，如姓名、年齡、病歷識別號碼、身高、體重、癌症識別號碼、診斷日期、診斷或治療器官、癌症種類、癌症識別號碼、診斷結果(良性或惡性)以及各種與病人相關的診斷或治療結果之文字及/或數字等資訊。舉例而言，高解析(病理)影像資料庫則是儲存關於病人的歷史高解析切片影像。

在一較佳實施例中，當前端裝置10是以使用者帳號登入後端系統20時，前端裝置10僅能請求後端系統20提供該使用者帳號權限所及的病歷資料及病理影像切片資料。然而，當前端裝置10是以管理者帳號登入後端系統20時，後端系統20會提供給前端裝置10上傳資料、從後端資料庫30中刪除資料以及下載資料的權限。在本實施例中，管理者帳號的權限可讓 前端裝置10對後端資料庫30的任何資料進行更新或修正。

圖3為圖1及圖2之另一示意圖。如圖3所示，使用者介面層是呈現於前端裝置10中。在使用者介面層中，使用者可藉由使用查詢介面來與後端系統20進行通訊。具體而言，如圖3所示，由於前端裝置10較佳是透過網路與後端系統20連接，藉由查詢介面與前端裝置10之通訊管理模組通訊協調，使用者可藉由前端裝置10之通訊管理模組與後端系統20之通訊管理模組通訊連接。在本實施例中，通訊管理模組較佳為網路介面卡等網路通訊介面，且係利用HTTP(hypertext transfer protocol)之網路通訊協議呈現。在本實施例中，前端裝置10是藉由一瀏覽器與後端系統20進行網路通訊協議之通訊連接。前端裝置10之瀏覽器可包含opera瀏覽器、*** chrome瀏覽器、微軟的Internet Explorer、蘋果電腦公司的Safari等瀏覽器。然而，在其他不同實施例中，前端裝置10中可安裝相對於後端系統20之應用程式介面(Application Programming Interface、API)。在此情況下，前端裝置10可在查詢介面及通訊管理模組之間進一步包含一MySQL資料庫介面，以提供前端裝置10可直接將使用者的資料查詢指令轉換為MySQL格式，並傳送至後端系統20進行處理。此方式的優點在於，可降低後端系統20的負擔而提高後端系統20對前端裝置10的反應。舉例而言，若使用者是藉由前端裝置10，以管理者帳號登入後端系統20，當使用者要上傳新的影像至後端系統20時，前端裝置10可預先將該資料，透過MySQL介面，向後端系統20直接下指令儲存該影像至後端資料庫30中的一特定 位置。

如圖3所示，使用者介面層會與物件關連式資料庫介面層(Object Relational Database Interface Layer)通訊連接。在本實施例中，物件關連式資料庫介面層為後端系統20及後端資料庫30之MySQL資料庫結構。如圖3所示，物件關連式資料庫介面層包含一查詢處理器、一抽象資料介面以及一目錄管理模組。當前端裝置10包含MySQL介面時，前端裝置10所傳輸給後端系統20的MySQL格式之指令將會抵達後端系統20之MySQL介面，並且藉由查詢處理器處理該指令。根據該處理結果，後端系統20將會自後端資料庫30進行資料之增加、更改、擷取、或刪除。然而，若前端裝置10不包含MySQL介面時(亦即，是藉由瀏覽器登入後端系統20)，前端裝置10之指令將會先抵達到抽象資料介面，並藉其分析及判斷，再傳一指令至查詢處理器的查詢管理模組。

在圖3中，物件儲存層(Object storage layer)代表後端資料庫30之實體的儲存裝置。在本實施例中，後端資料庫30包含一緩衝/儲存管理模組，用於緩衝及管理資料庫之資料的傳送及儲存。如圖3所示，緩衝/儲存管理模組是連接於至少一原影像資料庫及一其他儲存裝置。原影像資料庫可包含複數個儲存伺服器，且是用來儲存病理影像資料之原始檔案。該其他儲存裝置可包含如陣列式磁碟的儲存裝置或任何其他的儲存裝置。

如圖3所示之文字和數字查詢，影像資料庫具有搜索功能，分別為一般搜尋和進階搜尋。電子病歷資料庫中之一般搜尋，可選擇單項病人資料(如姓名或年齡)進行各項搜尋，而進階 搜尋則可輸入多項病人資料(如姓名及年齡)進行符合多項目之搜尋，並找到符合之病人資訊。病理切片資料之一般搜尋，可選擇單項病理切片資料(如器官或癌症)進行各項搜尋，而進階搜尋則可輸入多項病人資料(如器官及癌症)進行符合多項目之搜尋，並找到符合之病理切片資訊。如圖三所示之影像查詢，使用者輸入一影像，自動偵測新影像特徵，輸入查詢介面，找到符合影像特徵的多筆切片影像資料。

圖4顯示即時(高解析)影像雲端系統100所提供的單一高解析病理切片影像檔案之檔案結構含有不同解析度的一實施例。如圖4所示，金字塔的第0圖層(底層)為後端資料庫30所儲存的原病理(切片)影像32的最高倍數解析度之影像內容。在本實施例中，在即時影像雲端系統100中原病理影像32之解析度最高，並且原病理影像32被分為複數個圖磚區(tiles)35。在一較佳實施例中，在此金字塔結構中每往上一層時，影像的解析度會降低(亦即，影像維度會縮小)。在本實施例中，當使用者藉由前端裝置10登入後端系統20並請求病理資料時，後端系統20將會預設地傳送原病理影像之最高圖層圖磚區資訊至前端裝置10，做為快顯。具體而言，以圖4為例，在本實施例中第3層之圖層為金字塔結構的最高圖層。前端裝置10首次登入後端系統20並請求病理資料時，後端系統20會將第3圖層之整個圖層影像之內容傳送至前端裝置10。前端裝置10將會接收並整合顯示該整個圖層影像於前端裝置10的使用者介面(如螢幕)。藉由此方式，由於後端系統20不是傳送第1層之最高解析度的原病理影像至前端系統10，即 時影像雲端系統100可減少資料的傳輸量，並且同時可使前端裝置10節省下載及影像顯示處理之時間。換言之，前端裝置10及後端系統20之負擔可以被減少。在本實施例中，預設的最高圖層病理影像為第3圖層。但是，需說明的是，雖然圖4只顯示四層(第0-3圖層)，在其他不同實施例中，即時影像雲端系統100之影像解析度金字塔結構可包含更多或更少層。換言之，在最高圖層病理影像及最低圖層病理影像(第0圖層)之間可包含多個不同解析度的影像圖層。在此需說明的是，在同一個病理影像金字塔中，每一圖層的影像內容與其他圖層相似，唯一不同的在於他們的解析度不同。

當前端裝置10快取顯示預設最高圖層之影像(最低解析度病理之第0圖層)時，使用者可藉由前端裝置10的使用者介面，在所顯示的最高圖層之影像上點選一關注區域ROI(region of interest)。在本實施例中，關注區域ROI所包含的範圍及大小可由使用者定義。舉例而言，使用者可在使用者介面所顯示的最高層之影像上畫出一方塊形的關注區域ROI範圍。此範圍代表使用者欲觀測的區域。前端裝置10根據使用者所指定關注區域ROI之位置產生一影像定位指令。影像定位指令是用於告知後端系統20使用者所選定關注區域ROI之相關訊息，如範圍大小、圖層中的相對位置及關注區域ROI之範圍形狀等相關資訊。

在點選或畫出關注區域ROI並產生影像定位指令後，使用者可指示前端裝置10依據所指定的關注區域ROI來顯示該關注區域ROI之其他較高解析度的影像。具體而言，前端裝置 10是根據所指定的關注區域ROI以及目前前端裝置10所顯示的病理影像圖層來產生一指令資訊給後端系統20。在本實施例中，使用者可選擇不同程度的解析度，如第0、1或2圖層的解析度。根據此選擇，後端系統20將會根據指令資訊所指到的圖層及關注區域ROI在該指到圖層上的相對位置換算出該指到圖層中涵蓋部分該關注區域ROI之圖磚區位置，並會自後端資料庫30擷取該層的相關的複數個圖磚區之較高解析病理影像給前端裝置10。舉例而言，若前端裝置10目前顯示預設的最低解析度病理影像(圖4的第3層)，當前端裝置10向後端系統20下影像定位指令給後端系統20並且使用者有選擇一較高解析度層(金字塔之較低圖層)時，後端系統20將會傳送原病理影像32之該較高解析度層(如第2圖層)中對應關注區域ROI之相對位置的團磚影像給前端裝置10。換言之，如圖4所示，當前端裝置10在較高層時(如第3層)，使用者可指定關注區域ROI之範圍並選擇一較低層的高解析度圖層(第2、1或0圖層)，以使後端系統20可將所選擇圖層中對應所指定的關注區域ROI之圖磚區(35、34或33)傳輸至前端裝置10。舉例而言，使用者可選擇第1層，而後端系統20相對的會將該些複數個對應指定的關注區域ROI之圖磚區34自後端資料庫30擷取並傳輸至前端裝置10。

在另一實施例中，前端裝置20可讓使用者選擇性啟動一影像分析處理模式，以致使前端裝置20產生並傳輸包含一影像分析處理指令之指令資訊至後端系統20。當後端系統20自前端裝置10接收關注區域ROI、使用者所指定的圖層以及該影 像分析處理指令時，後端系統20將會根據選取之關注區域ROI，排程優先處理顯示在位於關注區域ROI之該指定的圖層之圖磚區影像內容資訊，於後端系統20接著排程處理鄰近的圖磚區資訊和上下圖層的圖磚區內容，做為前端裝置10的可預取資料(pre-fetch data)，以達到即時影像顯示處理分析之功能；此外，個別圖磚區在後端處理時，可進行高速同步平行運算。舉例而言，假設前端裝置10所顯示之影像為圖4中第1層之關注區域ROI所對應之複數圖磚區34，在啟用影像分析處理模式的情況下，後端系統20會優先處理鄰近該些圖磚區34之關注區域ROI外的圖磚區34以及第2層及第0層相對關注區域ROI之該些複數個圖磚區33及35，並做為預取資料提供給前端裝置10。藉由此方式，在前端裝置10顯示對應關注區域ROI之圖磚區34影像的情況下，使用者可在前端裝置10所顯示的影像上進行拖拉動作指令(drag instruction)，以指示使前端裝置10顯示往拖拉動作方向且鄰近目前顯示關注區域ROI區域外的圖磚區34。由於後端系統20已事先處理該些鄰近的圖磚區34並做為預取資料已傳送至前端裝置10，當使用者使出該拖拉動作時，前端裝置10可即時的顯示該預取資料。然而，若使用者是選取上或下一圖層個解析度，前端裝置10則是會顯示後端裝置20事先處理好並做為預取資料的圖磚區33或35。藉由此方式，可減少即時影像雲端系統100在前端裝置10等待顯示影像的時間(lag、wait time)。在高速平行運算時，圖磚區資料可進行獨立擷取並處理，可獨立傳送至單一運算核心，進行平行高速多核心運算。

圖5A顯示原高解析病理影像32之各像素P(pixel)及關注區域ROI之間的關係。原病理影像32之複數個像素P若被組態或組合於複數個行列A中時(如圖5A所示，每行像素P被分為一行列A)，當使用者指定關注區域ROI時，關注區域ROI所覆蓋的區域將會跨複數個行列A。在傳輸影像資料至前端裝置10時，由於原病理影像32之像素P被分配成行列A，後端系統20必須將關注區域ROI所覆蓋的所有行列A之像素P傳輸至前端裝置10。這種方法會浪費很多時間及資源在傳輸及處理關注區域ROI未覆蓋的像素P(但同樣是有覆蓋到的行列A)。因此，如圖5B所示，本案之高解析影像之各個圖層儲存結構採用磚塊形之組合，每個磚塊區B可包含NxM之像素P，其中N及M為正整數。舉例而言，如圖5B所示，每個磚塊區B可包含5x5之像素P之組合。並且，如圖5B所示，當關注區域ROI所覆蓋之區域重疊於複數個磚塊區B時(如圖5B之四個磚塊區B)，後端系統20可只針對此四個磚塊區B進行影像處理、分析、或分享給前端裝置10。在一較佳實施例中，每個高解析影像檔案含有多個不同解析度的圖層，每一層解析度病理影像之圖磚區之形狀為方塊形。然而，在其他不同實例中，亦可採用其他形狀及大小來組合像素P。此外，每一層之磚塊區的形狀亦可依設計需求改為不同形狀。

圖5C示意每一層解析度病理影像之解析度及所增加的資料量之比對。如圖5C所示，假設一最高解析度影像32(第0層)之影像尺寸為1200000x80000像素，且其影像之資料容量為29GB。然後，若第一層之影像尺寸為30000x2000像素，則 容量為1.8GB，以此類推。以本實施例來說，只增加小於6.5%的資料量，卻能使系統快速擷取、傳輸、顯示、分析、處理所需要的特定解析度的(特定圖層的)關注區域ROI影像資訊(相關的複數個圖磚區資訊)；明顯可減少前端裝置10所需處理的影像資料容量及下載時間，並提高即時影像雲端系統100之速度、使用性及便利性。

圖6至圖9為本案發明即時影像雲端系統之管理方法的流程圖。在本實例中，即時影像雲端系統之管理方法包含以下步驟：如圖6所示，步驟S40包含以後端系統20自前端裝置10接收關注區域資訊。在本實施例中，使用者可藉由前端裝置10之使用者介面選取或畫出欲關注的關注區域。前端裝置10根據此關注區域產生關注區域資訊。具體而言，在一實施例中，當使用者以前端裝置10登入後端系統20之後，在使用者查詢病歷資料及其相關的原病理影像時，後端系統20會預設地先將該原病理影像之金字塔結構中的最高圖層(最低解析度之病理影像)傳輸至前端裝置10。此時，前端裝置10的使用者可在使用者介面上所顯示的該最低解析度病理影像上圈選或畫出欲關注的關注區域ROI。前端裝置10並且會根據此關注區域ROI產生關注區域資訊。

步驟S42包含根據關注區域資訊，以後端系統20從金字塔結構的複數個圖層中選定一圖層為指定圖層，並於指定圖層中判定相對的關注區域之位置。具體而言，前端裝置10會告知後端系統20使用者目前在觀賞的病理影像圖層。舉例而言， 若前端裝置10目前所顯示的病理影像為金字塔結構中的中間的圖層(中解析度之病理影像)，關注區域資訊內會包含此資訊，以利於後端系統20可將該圖層設定為指定圖層。在選定該指定圖層後，後端系統20將會在指定圖層中判定關注區域的相對位置。如圖4所示，若指定圖層為第1圖層的話，後端系統20將會根據使用者在最高圖層(亦即，第3圖層之最低解析度病理影像)所圈選之關注區域ROI，在指定圖層第1圖層中判定相對的關注區域位置。原病理影像中判斷對應該關注區域資訊之高解析影像檔案中的圖層ID與所覆蓋(圈選包括)的複數個圖磚區。當後端系統20接收到關注區域資訊後，後端系統20會先判斷關注區域資訊於高解析影像檔案中的圖層位置和相關圖磚區位置座標。

步驟S44包含以後端系統20自前端裝置10接收指令資訊，並根據該指令資訊選擇性傳輸關注區域ROI在指定圖層中所圈選包括到的複數個圖磚區之組合至前端裝置10。以上述例子而言，如圖4所示，後端系統20將會在判斷指定圖層中的關注區域後，換算關注區域在指定圖層中所圈選且至少部分覆蓋或包括到的相關圖磚區34影像組成一組合，並傳送該組合至前端裝置10。藉由此方式，前端裝置10可顯示該組合之影像於使用者介面上。

圖7為圖6步驟S44中，指令資訊包含影像定位指令時的流程圖。如圖7所示，步驟S48包含以後端系統20自後端資料庫30中擷取該組合。具體而言，在步驟S44中，在後端系統20判斷該組合後，後端系統20將會把該組合儲存於後端資 料庫30中。在此之後，後端系統20可自由的隨時自後端資料庫30擷取此組合之資料。在步驟S49中，當指令資訊中包含影像定位指令時，後端系統20即據傳輸該組合之複數個圖磚區至前端裝置10。舉例而言，以圖4為例，若指定圖層為第1圖層，當後端系統20接收到包含影像定位指令之指令資訊時，後端系統20將會把第1圖層中關注區域所圈選包括之複數個圖磚區34之組合傳送至前端裝置10。

圖8為圖6步驟S44之指令資訊包含影像分析處理指令時的流程圖。如圖8所示，在步驟S50中，當指令資訊中包含影像分析處理指令時，後端系統20將於金字塔結構中在所指定圖層的上層及下層圖層的各別對應關注區域ROI所圈選包括到的複數圖磚區之組合，以及鄰近於指定圖層中關注區域ROI所圈選包括到的組合的複數個圖磚區。具體而言，以圖4中第1圖層為指定圖層為例，當後端系統20自前端裝置10接收包含影像分析處理指令之指令資訊時，後端系統20將會先判定相對指定圖層第1圖層之下層的第0圖層上的關注區域位置，以及相對上層的第2圖層上的關注區域位置，並將鄰近該兩個關注區域所圈選包括到的複數個圖磚區之組合儲存於後端資料庫30中。換言之，如圖4所示，後端系統20將會把第0圖層中關注區域ROI所完全或部分覆蓋到的複數個圖磚區35之組合以及第2圖層中關注區域ROI所覆蓋到的複數個圖磚區33之組合傳送至前端裝置10，以做為pre-fetch資料給前端裝置10顯示。此外，後端裝置20亦可判定鄰近指定圖層第1圖層中關注區域ROI所對照到的複數個圖磚區34之組合的複數 個圖磚區之位置，並儲存於後端資料庫30中。藉由此方式，本發明可節省影像處理之時間及所使用之資原，並可更快的將分析結果傳達給前端裝置10。

步驟S51包含以後端系統20自前端裝置10接收一拖拉動作指令(drag instruction)。在本實施例中，使用者可在前端裝置10所顯示的病理影像上使出拖動的指示，如往右邊的方向拖動前端裝置10所顯示的病理影像。根據此拖動指示，前端裝置10將會產生拖拉動作指令，並傳送至後端系統20。在本實施例中，使用者可進行病理影像之拖動動作來移動顯示畫面的位置。然而，在其他不同實施例中，使用者可藉由其他方式指示前端裝置10更換目前顯示的病理影像之解析度。

步驟S52包含根據拖拉動作指令，以後端系統20選擇性傳輸至前端裝置10該指定圖層的上下圖層各別對應的關注區域ROI所圈選包括到的複數圖磚區之組合，或鄰近於指定圖層中之關注區域ROI內之組合的複數個圖磚區。具體而言，根據步驟S51所判斷出的各該些複數圖磚區之組合及鄰近指定圖層之組合外的複數個圖磚區，後端系統20可將其選擇性的傳輸至前端裝置10來做為前端裝置10的pre-fetch資料。舉例而言，若使用者在前端裝置10所顯示之指定圖層之病理影像上使出拖動動作，後端系統20將會把鄰近指定圖層之關注區域外，向該拖動動作之方向的複數圖磚區傳輸至前端裝置10。在其他實施例中，後端系統20亦可先將所有鄰近指定圖層之關注區域外的複數圖磚區先傳輸至前端裝置10。在此情況下，當使用者使出該拖動動作時，由於前端裝置10已經有所有鄰 近該關注區域外的圖磚區，前端裝置10可即時的顯示位於向該拖動動作之方向的鄰近圖磚區給使用者。在另一個實施例中，使用者亦可更換顯示的解析度。具體而言，當使用者選取關注區域ROI並指示要增加或減少病理影像的解析度時，後端系統20可將步驟S51中所事先判斷並處理好的上層或下層之圖層的(複數圖磚區)之組合傳送至前端裝置10顯示。

圖9為本發明之管理方法的最後步驟S53之流程圖。如圖9所示，步驟S53包含以前端裝置10接收並顯示該組合之複數個圖磚區之影像。具體而言，前端裝置10將會於其的使用者介面上顯示後端系統20所傳輸給前端裝置10的圖磚區之組合。舉例而言，如圖4所示，若後端系統20將第0圖層中關注區域ROI所含蓋的複數圖磚區35之組合傳送至前端裝置10，前端裝置10在接收到該組合時，將會把該組合顯示於使用者介面上。藉由此方式，後端系統20可減少資料的傳輸量，並且前端裝置10所需要顯示的影像資料也可被減少，以達成能即時顯示、處理及分析病理影像之功能。

本發明觀點已配合作為範例之特定實例加以說明，但是這些範例可有其他選替、修改及變化。因此，於此所提出的實例為例示性而非限制性。在不悖離申請專利範圍之範疇下可有其他改變。

A‧‧‧行列

B‧‧‧磚塊區

P‧‧‧像素

ROI‧‧‧關注區域

10‧‧‧前端裝置

11‧‧‧使用者介面

20‧‧‧後端系統

21‧‧‧處理器

22‧‧‧主記憶體

23‧‧‧作業系統

24‧‧‧應用程式

25‧‧‧資料庫管理系統

30‧‧‧後端資料庫

32‧‧‧原病理(切片)影像

33/34/35‧‧‧圖磚區

100‧‧‧即時影像雲端系統

201‧‧‧X光影像

202‧‧‧病理影像

圖1為即時影像雲端系統之實體結構之一實例的示意圖；圖2為即時影像雲端系統之另一實例的示意圖；圖3為即時影像雲端系統之另一實例的示意圖；圖4為低解析度病理影像、中級解析度病理影像及原病理影像之一實例的示意圖；圖5A顯示影像之畫素被組態於複數個行列，以及關注區域與該些行列之關係的示意圖；圖5B為圖磚區及關注區域之一實例的示意圖；圖5C顯示原病理影像、多重解析度病理影像以及影像容量的相對關係之示意圖；以及圖6-9顯示即時影像雲端系統之管理方法的流程圖。

10‧‧‧前端裝置

11‧‧‧使用者介面

20‧‧‧後端系統

21‧‧‧處理器

22‧‧‧主記憶體

23‧‧‧作業系統

24‧‧‧應用程式

25‧‧‧資料庫管理系統

30‧‧‧後端資料庫

100‧‧‧即時影像雲端系統

Claims (14)

1. 一種即時影像雲端系統，包含：至少一前端裝置，產生一指令資訊及一關注區域資訊；以及一後端系統，耦接於該前端裝置，該後端系統至少有一原影像，其中該原影像具有對應的複數個不同解析度之影像，並且每個影像及該原影像各別由複數個圖磚區所組成；其中，該關注區域資訊分別對應各該影像及該原影像內之一關注區域，該後端系統根據該指令資訊及該關注區域資訊選擇性提供該原影像或該複數個影像其中之一內的該關注區域所圈選包括到之該複數圖磚區之一組合至該前端裝置，該圖磚區為方塊形，該複數個圖磚區之組合是由相對該關注區域資訊之該關注區域內的複數相鄰之該圖磚區所形成。
2. 如請求項1所述之即時影像雲端系統，其中該原影像及該複數個影像係以解析度大小之順序形成具有複數個圖層之一金字塔結構，且該原影像為最高解析度並是該金字塔結構之最低層的圖層。
3. 如請求項2所述之即時影像雲端系統，其中該些圖層中包含至少一中解析度或低解析度之影像，該後端系統根據該指令資訊及該關注區域資訊判定該些圖層其中之一為一指定圖層，並選擇性提供至該前端裝置該指定圖層之對應該關注區域的該複數圖磚區、該指定圖層的上及下層之圖層的各別對應的關注區域之該複數圖磚區的組合、或鄰近該指定圖層之關注區域的該複數圖磚區之組合的複數個圖磚區。
4. 如請求項1所述之即時影像雲端系統，其中該原影像及該複數個影像為病理影像。
5. 如請求項1所述之即時影像雲端系統，其中該前端裝置包含桌上型電腦、筆記型電腦、智慧手機以及平板電腦。
6. 如請求項1所述之即時影像雲端系統，其中該前端裝置進一步包含一使用者介面，用以顯示該原影像像、該複數個影像 其中之一、部分該原影像或部分該複數個影像其中之一。
7. 如請求項1所述之即時影像雲端系統，其中該前端裝置是藉由網際網路與該後端系統耦接。
8. 如請求項1所述之即時影像雲端系統，進一步包含至少一後端資料庫；其中，該至少一後端資料庫儲存該複數個影像、該原影像以及複數個病歷資料。
9. 一種即時影像雲端系統之管理方法，其中該即時影像雲端系統包含至少一前端裝置以及一後端系統，該後端系統具有至少一原影像及對應該原影像之複數個不同解析度之影像，且該原影象及該些影像各別由複數個圖磚區組成，該原影像及該複數個影像係以解析度大小之順序形成具有複數個圖層之一金字塔結構，且該原影像為最高解析度並是該金字塔結構之最低層的圖層，該管理方法包含以下步驟：(A)以該後端系統自該前端裝置接收一關注區域資訊；(B)根據該關注區域資訊，以該後端系統從該金字塔結構的該複數個圖層其中之一選定為一指定圖層，並於該指定圖層中判定一關注區域的位置；以及(C)以該後端系統自該前端裝置接收一指令資訊，並根據該指令資訊選擇性傳輸該關注區域在該指定圖層中所圈選包括到的複數個圖磚區之一組合至該前端裝置，其中該圖磚區為方塊形，該複數個圖磚區之組合是由相對該關注區域資訊之該關注區域內的複數相鄰之該圖磚區所形成。
10. 如請求項9所述之管理方法，其中該指令資訊包含一影像定位指令；在步驟(C)中，當該指令資訊中包含該影像定位指令時，該後端系統即據傳輸該組合至該前端裝置。
11. 如請求項10所述之管理方法，其中該後端系統包含一後端資料庫，該後端資料庫儲存該原影像及該些影像；在傳輸該組合至該前端裝置前，進一步包含：以該後端系統自該後端資料庫中擷取該組合。
12. 如請求項10所述之管理方法，進一步包含：以該前端裝置 接收並顯示該組合之複數個圖磚區之影像。
13. 如請求項9所述之管理方法，其中該指令資訊包含一影像分析處理指令；在步驟(C)中，當該指令資訊中包含該影像分析處理指令時，該後端系統於該金字塔結構中判斷該指定圖層的上及下層之圖層的各別對應的關注區域所圈選包括之複數圖磚區的組合以及鄰近該指定圖層中之該關注區域的該複數圖磚區之組合的複數個圖磚區。
14. 如請求項13所述之管理方法，進一步包含：以該後端系統自該前端裝置接收一拖拉動作指令；以及根據該拖拉動作指令，以該後端系統選擇性傳輸至該前端裝置該指定圖層的上及下層之圖層的各別對應的關注區域所圈選包括之複數圖磚區的組合、或該鄰近該指定圖層中之該關注區域的該複數圖磚區之組合的複數個圖磚區。