TWI524258B - 電子書顯示調整系統及方法 - Google Patents

Description

電子書顯示調整系統及方法

本發明涉及一種數位內容顯示系統及方法，尤其是關於一種電子書顯示調整系統及方法。

電子書裝置是指集儲存和顯示文字、圖片、聲音、影像等數位化內容的出版物於一體的掌上型閱讀器。目前，用戶在使用電子書裝置的過程中，為了更清楚地觀察所閱讀內容，需要將電子書裝置靠近用戶臉部，或是透過手動操作閱讀器提供的顯示控制按鈕（例如放大、縮小按鈕）以調整閱讀內容的顯示比例。此外，若用戶需要閱讀其他部分的內容，也需要手動調整。

鑒於以上內容，有必要提供一種電子書顯示調整系統及方法，可以根據用戶臉部與電子書裝置的相對位置及距離自動調整閱讀內容的顯示比例及顯示部分。

一種電子書顯示調整系統，該系統包括參數設置模組、3D人臉偵測模組、判斷模組及顯示調整模組。參數設置模組用於接收設置的顯示調整參數，包括當用戶閱讀電子書檔案時，用戶臉部與電子書裝置的標準距離、最短距離以及電子書檔案的最大顯示倍率，當用戶臉部與電子書裝置的距離等於標準距離時，電子書檔案以原始尺寸顯示，當用戶臉部與電子書裝置的距離等於最短距離時，電子書檔案以最大顯示倍率顯示。參數設置模組還用於接收設置的用戶臉部與電子書裝置的距離在所述最短距離及標準距離之間變化時，電子書檔案的縮放規則。3D人臉偵測模組用於採用3D人臉偵測技術持續偵測TOF攝像機拍攝電子書裝置前方得到的場景場景影像中的3D人臉區域，根據Z方向景深資訊確定用戶臉部與電子書裝置的當前距離。判斷模組用於判斷該當前距離是否小於所述標準距離。顯示調整模組，用於當當前距離大於或等於所述標準距離時，將電子書檔案以原始尺寸顯示於顯示螢幕，當前距離小於或等於所述最短距離，將電子書檔案以原始尺寸乘以最大倍率顯示於顯示螢幕，及當前距離大於所述最短距離且小於所述標準距離，根據當前距離及縮放規則調整電子書檔案的顯示倍率。判斷模組還用於判斷3D人臉區域在場景影像中的位置是否發生變化。顯示調整模組，還用於當3D人臉區域在場景影像中的位置發生變化時，根據3D人臉區域在場景影像中的移動方向、移動距離及移動關聯調整電子書檔案當前顯示部分在顯示螢幕上的移動方向及移動距離。

一種電子書顯示調整方法。該方法包括：（A）接收設置的顯示調整參數，包括當用戶閱讀電子書檔案時，用戶臉部與電子書裝置的標準距離、最短距離以及電子書檔案的最大顯示倍率；（B）接收設置的用戶臉部與電子書裝置的距離在所述最短距離及標準距離之間變化時，電子書檔案的縮放規則；（C）利用安裝於電子書裝置的時間飛行TOF攝像機持續對電子書裝置前方的場景進行拍攝得到場景影像及Z方向景深資訊；（D）採用3D人臉偵測技術持續偵測場景影像中的3D人臉區域，根據Z方向景深資訊確定用戶臉部與電子書裝置的當前距離；（E）判斷該當前距離是否小於所述標準距離；（F）若當前距離大於或等於所述標準距離，則將電子書檔案以原始尺寸顯示於顯示螢幕，若該當前距離小於或等於所述最短距離，則將電子書檔案以原始尺寸乘以最大倍率顯示於顯示螢幕，若當前距離大於所述最短距離且小於所述標準距離，則根據當前距離及縮放規則調整電子書檔案的顯示倍率；（G）判斷3D人臉區域在場景影像中的位置是否發生變化；及（H）若3D人臉區域在場景影像中的位置發生變化，則根據3D人臉區域在場景影像中的移動方向、移動距離及移動關聯調整電子書檔案當前顯示部分在顯示螢幕上的移動方向及移動距離。

相較於習知技術，本發明提供的電子書顯示調整系統及方法可以根據用戶臉部與電子書裝置的相對位置及距離自動調整閱讀內容的顯示比例及顯示部分。

參閱圖1所示，是本發明電子書顯示調整系統20較佳實施方式之應用環境圖。該電子書顯示調整系統20應用於電子書裝置100。該電子書裝置100還包括時間飛行（Time of Flight，TOF）攝像機10、儲存器30、處理器40及顯示螢幕50。

在本實施例中，TOF攝像機10安裝於顯示螢幕50的正上方（如圖5所示）。該TOF攝像機10可以獲取場景影像（如圖6所示）中被拍攝物體Z方向的景深資訊。所述被拍攝物體Z方向的景深資訊是指被拍攝物體各點與TOF攝像機10的鏡頭的距離資訊。由於TOF攝像機10在拍攝目標物時，將發射一定波長的訊號，當訊號遇到目標物時即會反射至TOF攝像機10的鏡頭，根據訊號發射與接收之間的時間差即可計算出目標物上各點與鏡頭之間的距離資訊，因此該TOF攝像機10可得到場景影像中被拍攝物體各點與TOF攝像機10的鏡頭之間的距離資訊。

儲存器30儲存透過網路下載的大量電子書檔案供用戶選擇閱讀，並儲存TOF攝像機10拍攝得到的場景影像。顯示螢幕50顯示用戶選擇的電子書檔案，例如書籍或圖片。

參閱圖2所示，該電子書顯示調整系統20包括參數設置模組21、計算模組22、三維（three-dimensional，3D）人臉偵測模組23、判斷模組24及顯示調整模組25（具體介紹請參閱圖3）。利用這些功能模組，該電子書顯示調整系統20偵測場景影像中的3D人臉區域，根據3D人臉區域的影像資料確定用戶閱讀過程中臉部與電子書裝置100的距離變化，根據距離變化自動調整用戶閱讀內容的顯示比例，並根據3D人臉區域在場景影像中的位置變化自動調整用戶閱讀內容的顯示部分。本實施例所述的模組是一種能夠被處理器40所執行並且能夠完成固定功能的電腦程式段，其儲存在儲存器30中。

參閱圖3所示，是本發明電子書顯示調整方法較佳實施方式之流程圖。

步驟S301，參數設置模組21接收設置的顯示調整參數，包括當用戶閱讀電子書檔案時，用戶臉部與電子書裝置100的標準距離、最短距離以及電子書檔案的最大顯示倍率。在本實施例中，當用戶臉部與電子書裝置100的距離大於或等於標準距離時，電子書檔案以原始尺寸顯示。當用戶臉部與電子書裝置100的距離小於或等於最短距離時，電子書檔案以所述最大顯示倍率顯示。例如，所述最大顯示倍率可以設置為“×5”，表示在原始尺寸的基礎上放大5倍顯示。

用戶臉部與電子書裝置100的距離可以根據TOF攝像機10拍攝得到的用戶人臉影像Z方向的景深資訊確定。例如，用戶臉部與電子書裝置100的距離可以設置為用戶臉部各點與TOF攝像機10的鏡頭之間的所有距離值的平均值，也可以設置為用戶臉部特殊位置（例如雙眼所在水平線）與TOF攝像機10的鏡頭之間的距離值。

所述標準距離及最短距離可以為一個具體的距離值，也可以為一個距離值範圍。例如，標準距離可以為30厘米，也可以為28厘米~33厘米的範圍，最短距離可以為6厘米，也可以為5厘米~7厘米厘米的範圍。

參閱圖4所示，本發明電子書顯示調整系統20提供兩種模式，即默認模式和用戶自定義模式。當用戶選擇默認模式時，上述參數，例如標準距離、最短距離以及電子書檔案的最大顯示倍率，是由電子書顯示調整系統20的提供方（例如設計人員）設置的預設值。當用戶選擇用戶自定義模式時，用戶可以根據個人需求（例如閱讀習慣）借助TOF攝像機10及電子書顯示調整系統20的其他功能模組完成上述參數設置。例如，啟動自定義設置所述標準距離時，用戶將電子書裝置100置於用戶臉部前方的適當位置，TOF攝像機10拍攝得到用戶的3D人臉影像，3D人臉偵測模組23根據該3D人臉影像中各點與TOF攝像機10的鏡頭之間的距離資訊確定所述標準距離。

例如，假設拍攝得到單張3D人臉影像，則參數設置模組21以3D人臉影像中各點與TOF攝像機10的鏡頭之間的所有距離值的平均值為標準距離，或者取用戶臉部特殊位置（例如雙眼所在水平線）與TOF攝像機10的鏡頭之間的距離值為標準距離。假設拍攝得到多張（例如10）3D人臉影像，則參數設置模組21根據每張3D人臉影像得到一個粗略的標準距離（計算方法參閱單張3D人臉影像），再根據所有粗略的標準距離的平均值得到標準距離，或者根據所有粗略的標準距離組成的值域得到標準距離值。最短距離的設置與標準距離的設置類似。

步驟S302，參數設置模組21接收用戶設置的用戶臉部與電子書裝置100的距離在所述最短距離及標準距離之間變化時，電子書檔案的縮放規則。例如，用戶可以設置用戶臉部與電子書裝置100的距離在所述最短距離及標準距離之間每次向電子書裝置100拉近2厘米，電子書檔案的顯示比例增加0.2倍，每次向電子書裝置100拉遠2厘米，電子書檔案的顯示比例縮小0.2倍。

用戶也可以不設置所述縮放規則，默認由參數設置模組21獲取計算模組22計算得到的縮放規則。計算模組22根據用戶臉部與電子書裝置100相距所述標準距離及最短距離時對應的倍率關係計算得到該縮放規則。例如，假設用戶臉部與電子書裝置100相距的標準距離為Ds=28厘米，對應1倍倍率，用戶臉部與電子書裝置100相距的最短距離Dl=8厘米，對應5倍倍率，則縮放比例R= (28-8)厘米/5倍=4厘米/倍，即所述縮放規則為：用戶臉部與電子書裝置100的距離在所述最短距離8厘米及標準距離28厘米之間每次向電子書裝置100拉近4厘米，電子書檔案的顯示比例增加1倍，每次向電子書裝置100拉遠4厘米，電子書檔案的顯示比例縮小1倍。

步驟S303，利用TOF攝像機10持續對電子書裝置100前方的場景進行拍攝得到場景影像及Z方向景深資訊。

步驟S304，3D人臉偵測模組23採用3D人臉偵測技術持續偵測場景影像中的3D人臉區域，根據Z方向景深資訊確定用戶臉部與電子書裝置100的當前距離。如上文所述，該當前距離可以為用戶臉部各點與TOF攝像機10的鏡頭之間的所有距離值的平均值，也可以為用戶臉部特殊位置（例如雙眼所在水平線）與TOF攝像機10的鏡頭之間的距離值。

本發明所述的3D人臉偵測技術是一種習知技術，其實作方式為先搜集大量各式不同的3D人臉影像資料，從而建立完善的3D人臉樣本，以此3D人臉樣本作為判斷場景影像是否包含3D人臉區域的比對依據。例如，3D人臉偵測模組23分析一張搜集到的3D人臉影像的200個特徵點，得到各特徵點至TOF攝像機10鏡頭的距離資料並轉換為像素値，例如鼻尖至鏡頭的Z方向的距離為61厘米被轉換為像素値255，眉心至鏡頭的Z方向的距離為59厘米被轉換為像素値253，等等。3D人臉偵測模組23將該200個特徵點的像素値儲存至該3D人臉影像的特徵矩陣。假設搜集到的3D人臉影像一共有10張，3D人臉偵測模組23依此方法計算得到其他9張3D人臉影像的特徵矩陣，將得到的10個特徵矩陣依據雙眼的像素値進行對齊後，對該10個特徵矩陣中相同特徵點的像素値進行統計，得到各特徵點的像素値的容許範圍建立3D人臉樣本。例如，該10個特徵矩陣中鼻尖的像素値範圍為[251，255]，眉心的像素値範圍為[250，254]。

步驟S305，判斷模組24判斷該當前距離是否小於所述標準距離。若當前距離大於或等於所述標準距離，則進入步驟S306，顯示調整模組25將電子書檔案以原始尺寸顯示於顯示螢幕50。參閱圖7（I）所示，用戶選擇閱讀的電子書檔案為圖片A，若當前距離大於或等於所述標準距離，圖片A以原始尺寸在顯示螢幕50上完整顯示。之後，進入步驟S310。若當前距離小於所述標準距離，則執行步驟S307。

步驟S307，判斷模組24判斷該當前距離是否大於所述最短距離。若該當前距離小於或等於所述最短距離，則進入步驟S308，顯示調整模組25將電子書檔案以原始尺寸乘以最大倍率顯示於顯示螢幕50。參閱圖7（III）所示，若當前距離小於或等於所述最大距離，圖片A在原始尺寸的基礎上放大5倍後在顯示螢幕50上顯示，由於顯示螢幕50顯示範圍的限制，放大後的圖片A只能部分顯示在顯示螢幕50上。之後，進入步驟S310。若判斷模組24判斷該當前距離大於所述最短距離，則執行步驟S309。

步驟S309，顯示調整模組25根據當前距離及縮放規則調整電子書檔案的顯示倍率。如上文所述，假設最短距離為8厘米，標準距離為28厘米，縮放規則R=(28-8)厘米/5倍=4厘米/倍，最大倍率為5倍，當前距離為24厘米，則調整後的電子書檔案的顯示倍率=（24-8）厘米/R=4倍，則顯示調整模組25將電子書檔案，例如圖片A在原始尺寸的基礎上放大4倍後在顯示螢幕50上顯示（參閱圖7（II）所示）。

步驟S310，判斷模組24判斷3D人臉區域在場景影像中的位置是否發生變化。如未發生變化，則返回步驟S303，若發生變化，則執行步驟S311。

步驟S311，顯示調整模組25根據3D人臉區域在場景影像中的移動方向、移動距離及移動關聯調整電子書檔案在顯示螢幕50上的移動方向及移動距離。所述移動關聯包括檔當前顯示部分與3D人臉區域在場景影像中的移動方向的關聯（例如方向相反），以及3D人臉區域中心點在場景影像中的移動距離與檔當前顯示部分在顯示螢幕50上移動距離的關聯。所述移動距離的關聯可以設置為人臉區域中心點在場景影像中移動第一距離（例如0.1厘米）對應檔當前顯示部分在顯示螢幕50上移動第二距離（例如0.5厘米）。所述移動距離的關聯也可以根據場景影像的大小、顯示螢幕50的顯示範圍大小的比例關係計算得到，例如假設場景影像的大小為W1×H1，顯示螢幕50的顯示範圍大小為W2×H2，則所述關聯為X2/X1=W2/W1，Y2/Y1=D2×H2/H1，其中X1、Y1表示3D人臉區域中心點在場景影像中X軸、Y軸方向的移動距離，X2、Y2表示3D人臉區域中心點在場景影像中Y、Y軸軸方向的移動距離。

最後應說明的是，以上實施方式僅用以說明本發明的技術方案而非限制，儘管參照較佳實施方式對本發明進行了詳細說明，本領域的普通技術人員應當理解，可以對本發明的技術方案進行修改或等同替換，而不脫離本發明技術方案的精神和範圍。

100．．．電子書裝置

10．．．TOF攝像機

20．．．電子書顯示調整系統

30．．．儲存器

40．．．處理器

50．．．顯示螢幕

21．．．參數設置模組

22．．．計算模組

23．．．3D人臉偵測模組

24．．．判斷模組

25．．．顯示調整模組

圖1係本發明電子書顯示調整系統較佳實施方式之應用環境圖。

圖2係本發明電子書顯示調整系統較佳實施方式之功能模組圖。

圖3係本發明電子書顯示調整方法較佳實施方式之流程圖。

圖4係本發明電子書顯示調整系統調整顯示參數之示意圖。

圖5及圖6係利用TOF攝像機拍攝場景影像之示意圖。

圖7係根據場景影像中3D人臉區域的變化調整電子書檔案顯示倍率之示意圖。

100．．．電子書裝置

10．．．TOF攝像機

20．．．電子書顯示調整系統

30．．．儲存器

40．．．處理器

50．．．顯示螢幕

Claims (10)

1. 一種電子書顯示調整方法，該方法包括：
   接收設置的顯示調整參數，包括當用戶閱讀電子書檔案時，用戶臉部與電子書裝置的標準距離、最短距離以及電子書檔案的最大顯示倍率；
   接收設置的用戶臉部與電子書裝置的距離在所述最短距離及標準距離之間變化時，電子書檔案的縮放規則；
   利用安裝於電子書裝置的時間飛行TOF攝像機持續對電子書裝置前方的場景進行拍攝得到場景影像及Z方向景深資訊；
   採用3D人臉偵測技術持續偵測場景影像中的3D人臉區域，根據Z方向景深資訊確定用戶臉部與電子書裝置的當前距離；
   判斷該當前距離是否小於所述標準距離；
   若當前距離大於或等於所述標準距離，則將電子書檔案以原始尺寸顯示於顯示螢幕，若該當前距離小於或等於所述最短距離，則將電子書檔案以原始尺寸乘以最大倍率顯示於顯示螢幕，若當前距離大於所述最短距離且小於所述標準距離，則根據當前距離及縮放規則調整電子書檔案的顯示倍率；
   判斷3D人臉區域在場景影像中的位置是否發生變化；及
   若3D人臉區域在場景影像中的位置發生變化，則根據3D人臉區域在場景影像中的移動方向、移動距離及移動關聯調整電子書檔案當前顯示部分在顯示螢幕上的移動方向及移動距離。
2. 如申請專利範圍第1項所述之電子書顯示調整方法，其中，所述設置規則由電子書裝置的用戶設置，或者根據用戶臉部與電子書裝置相距所述標準距離及最短距離時對應的倍率關係計算得到。
3. 如申請專利範圍第1項所述之電子書顯示調整方法，其中，所述3D人臉偵測技術是透過預先搜集大量3D人臉影像資料建立3D人臉樣本，以此3D人臉樣本作為判斷場景影像是否包含3D人臉區域的比較依據。
4. 如申請專利範圍第1項所述之電子書顯示調整方法，其中，所述移動關聯包括3D人臉區域在場景影像中的移動方向與電子書檔案當前顯示部分在顯示螢幕上的移動方向的關聯，以及3D人臉區域中心點在場景影像中的移動距離與電子書檔案當前顯示部分在顯示螢幕上移動距離的關聯。
5. 如申請專利範圍第4項所述之電子書顯示調整方法，其中，所述移動距離的關聯設置為3D人臉區域中心點在場景影像中移動第一距離對應電子書檔案當前顯示部分在顯示螢幕上移動第二距離，或者根據場景影像的大小、顯示螢幕的顯示範圍大小的比例關係計算得到。
6. 一種電子書顯示調整系統，該系統包括：
   參數設置模組，用於接收設置的顯示調整參數，包括當用戶閱讀電子書檔案時，用戶臉部與電子書裝置的標準距離、最短距離以及電子書檔案的最大顯示倍率；
   參數設置模組，還用於接收設置的用戶臉部與電子書裝置的距離在所述最短距離及標準距離之間變化時，電子書檔案的縮放規則；
   3D人臉偵測模組，用於採用3D人臉偵測技術持續偵測TOF攝像機拍攝電子書裝置前方得到的場景場景影像中的3D人臉區域，根據Z方向景深資訊確定用戶臉部與電子書裝置的當前距離；
   判斷模組，用於判斷該當前距離是否小於所述標準距離；
   顯示調整模組，用於當前距離大於或等於所述標準距離時，將電子書檔案以原始尺寸顯示於顯示螢幕，當前距離小於或等於所述最短距離，將電子書檔案以原始尺寸乘以最大倍率顯示於顯示螢幕，及當前距離大於所述最短距離且小於所述標準距離，根據當前距離及縮放規則調整電子書檔案的顯示倍率；
   判斷模組，還用於判斷3D人臉區域在場景影像中的位置是否發生變化；及
   顯示調整模組，還用於當3D人臉區域在場景影像中的位置發生變化時，根據3D人臉區域在場景影像中的移動方向、移動距離及移動關聯調整電子書檔案當前顯示部分在顯示螢幕上的移動方向及移動距離。
7. 如申請專利範圍第6項所述之電子書顯示調整系統，其中，所述設置規則由電子書裝置的用戶設置，或者根據用 戶臉部與電子書裝置相距所述標準距離及最短距離時對應的倍率關係計算得到。
8. 如申請專利範圍第6項所述之電子書顯示調整系統，其中，所述3D人臉偵測技術是透過預先搜集大量3D人臉影像資料建立3D人臉樣本，以此3D人臉樣本作為判斷場景影像是否包含3D人臉區域的比較依據。
9. 如申請專利範圍第6項所述之電子書顯示調整系統，其中，所述移動關聯包括3D人臉區域在場景影像中的移動方向與電子書檔案當前顯示部分在顯示螢幕上的移動方向的關聯，以及3D人臉區域中心點在場景影像中的移動距離與電子書檔案當前顯示部分在顯示螢幕上移動距離的關聯。
10. 如申請專利範圍第9項所述之電子書顯示調整系統，其中，所述移動距離的關聯設置為3D人臉區域中心點在場景影像中移動第一距離對應電子書檔案當前顯示部分在顯示螢幕上移動第二距離，或者根據場景影像的大小、顯示螢幕的顯示範圍大小的比例關係計算得到。