TWI489320B

TWI489320B - 電子文件標記方法及裝置

Info

Publication number: TWI489320B
Application number: TW102138755A
Authority: TW
Inventors: Chia Chun Tsou; Po Tsung Lin; Chia Wen Kao
Original assignee: Utechzone Co Ltd
Priority date: 2013-10-25
Filing date: 2013-10-25
Publication date: 2015-06-21
Also published as: CN104571488A; US20150116201A1; JP2015084221A; TW201516755A; US9207762B2; CN104571488B

Description

電子文件標記方法及裝置

本發明是有關於一種瀏覽電子文件的方法及裝置，且特別是有關於一種電子文件標記方法及裝置。

隨著資訊的數位化，愈來愈多傳統資訊介面被電子產品所取代。例如，數位相框和數位相機取代了傳統的相片和底片，而例如個人數位助理(Personal Digital Assistant，PDA)、智慧型手機、閱讀器等的電子產品，則成為了新一代的文件閱讀平台。使用者可以藉由在同一台攜帶型電子產品中存放多個電子書等電子文件，改善了傳統攜帶紙本書擊的不便性。並且，透過攜帶型電子產品可隨時來觀看其中的電子書。

而目前亦對應發展出幾種針對電子書的控制方法。例如，美國專利號US 7429108提出一種利用眼球追蹤技術(gaze-tracking applications)的電子閱讀記錄器，能幫助使用者尋找上次閱讀的段落。

本發明提供一種電子文件標記方法及裝置，藉由點頭動作或眨眼動作，並隨著眼球的移動軌跡在電子文件上進行標記。

本發明的電子文件標記方法，包括：於顯示單元顯示電子文件；透過取像單元來擷取使用者的影像序列；對影像序列執行眼動追蹤程序、點頭偵測程序與眨眼偵測程序，其中藉由眼動追蹤程序追蹤使用者的眼球的移動軌跡，並藉由點頭偵測程序與眨眼偵測程序來偵測使用者是否產生第一特定動作或第二特定動作；在偵測到使用者產生第一特定動作時，藉由眼動追蹤程序取得使用者當下的視線落在電子文件的第一位置；執行標記動作，以自第一位置開始並隨著眼球的移動軌跡而在電子文件上進行標記；在偵測到使用者產生第二特定動作時，藉由眼動追蹤程序取得使用者當下的視線落在電子文件的第二位置；以及於第二位置結束標記動作。

本發明的電子文件標記裝置，包括：顯示單元、取像單元、儲存單元以及處理單元。顯示單元用以顯示電子文件。取像單元用以擷取使用者的影像序列。儲存單元用以儲存電子文件與影像序列。處理單元耦接至顯示單元、取像單元以及儲存單元，其用以執行眼動追蹤模組、點頭偵測模組與眨眼偵測模組來分析影像序列。透過眼動追蹤模組來追蹤使用者的眼球的移動軌跡，並透過點頭偵測模組與眨眼偵測模組來偵測使用者是否產生第一特定動作或第二特定動作。在偵測到使用者產生第一特定動作時，眼動追蹤模組取得使用者當下的視線落在電子文件的第一位置，並且處理單元啟動標記模組來執行標記動作，而自第一位置開始並隨著眼球的移動軌跡而在電子文件上進行標記。在偵測到使用者產生第二特定動作時，眼動追蹤模組取得使用者當下的視線落在電子文件的第二位置，並且標記模組於第二位置結束標記動作。

在本發明的一實施例中，上述裝置更包括：校正模組。校正模組依序接收多個校正影像，其中上述校正影像分別為使用者觀看顯示單元的多個校正點所獲得。並且，校正模組依據各校正影像中的眼部區域的兩個亮點位置，獲得基準校正參數，其中上述兩個亮點位置是在取像單元擷取各校正影像時所形成。進而，校正模組基於上述校正影像而藉由透視轉換法來產生座標轉換矩陣，其中座標轉換矩陣是用以將眼部區域的座標位置轉換為顯示單元的座標位置。

在本發明的一實施例中，上述眼動追蹤模組偵測影像序列中的目前影像的該眼部區域，以獲得在目前影像中的瞳孔位置；依據目前影像的眼部區域的兩個亮點位置，獲得比對校正參數；依據基準校正參數與比對校正參數，獲得動態補正參數；依據目前影像中的上述兩個亮點位置其中之一、瞳孔位置以及動態補正參數，計算眼球移動座標；利用座標轉換矩陣，轉換眼球移動座標為對應於顯示單元的視線落點座標；以及記錄視線落點座標。

在本發明的一實施例中，上述第一特定動作與第二特定動作各自包括點頭動作與眨眼動作至少其中之一，而第二特定動作與第一特定作動為相同或不相同。上述標記動作包括調整亮度、添加底線及添加底色至少其中之一。

在本發明的一實施例中，上述電子文件包括多個片段，而標記模組可依據各片段的觀看頻率，對各片段執行對應的標記動作。

基於上述，藉由點頭動作或眨眼動作，並隨著眼球的移動軌跡在電子文件上進行標記。據此，利用眼動追蹤，使用者不需手動即可進行對應的操作，相當便利。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

100‧‧‧電子文件標記裝置

110‧‧‧取像單元

120‧‧‧顯示單元

130‧‧‧儲存單元

140‧‧‧處理單元

201‧‧‧眼動追蹤模組

202‧‧‧點頭偵測模組

203‧‧‧眨眼偵測模組

204‧‧‧標記模組

205‧‧‧校正模組

410‧‧‧眼部物件

601‧‧‧第一位置

602‧‧‧第二位置

610‧‧‧電子文件

620‧‧‧標記範圍

G1、G2‧‧‧亮點位置

S505~S545‧‧‧電子文件標記方法各步驟

圖1是依照本發明一實施例的電子文件標記裝置的方塊圖。

圖2是依照本發明一實施例的儲存單元的方塊圖。

圖3是依照本發明一實施例的眼部區域的示意圖。

圖4是依照本發明一實施例的眼部物件的示意圖。

圖5是依照本發明一實施例的電子文件標記方法的流程圖。

圖6是依照本發明一實施例的電子文件標記裝置的示意圖。

圖1是依照本發明一實施例的電子文件標記裝置的方塊圖。請參照圖1，電子文件標記裝置100包括取像單元110、顯示單元120、儲存單元130以及處理單元140。其中，處理單元140耦接至取像單元110、顯示單元120及儲存單元130。

取像單元110例如為攝影機或照相機，其具有電荷耦合元件(Charge coupled device，CCD)鏡頭、互補式金氧半電晶體(Complementary metal oxide semiconductor transistors，CMOS)鏡頭、或紅外線鏡頭。取像單元110用以擷取使用者的影像序列。

顯示單元120例如為液晶顯示器(Liquid-Crystal Display，LCD)、電漿顯示器、真空螢光顯示器、發光二極體(Light-Emitting Diode，LED)顯示器、場發射顯示器(Field Emission Display，FED)及/或其他合適種類的顯示器，在此並不限制其種類。

儲存單元130例如是任意型式的固定式或可移動式隨機存取記憶體(Random Access Memory，RAM)、唯讀記憶體(Read-Only Memory，ROM)、快閃記憶體(Flash memory)、硬碟或其他類似裝置或這些裝置的組合。儲存單元130中包括了多份電子文件，並且可暫存由取像單元110所擷取的影像序列。

處理單元140例如是中央處理單元(Central Processing Unit，CPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor，DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits，ASIC)、可程式化邏輯裝置(Programmable Logic Device，PLD)或其他類似裝置或這些裝置的組合。

上述電子文件標記裝置100例如為智慧型手機、閱讀器、平板電腦、個人電腦等電子裝置。取像單元110(例如，前置相機)例如設置於顯示單元120(例如為觸控螢幕)側，藉此當顯示單元120中顯示有電子文件時，可藉由取像單元110來擷取正在觀看電子文件之使用者的影像序列。之後，由處理單元140對所擷取的影像序列執行眼動追蹤程序、點頭偵測程序與眨眼偵測程序。

舉例來說，儲存單元130中包括有用來對電子文件進行標記的電腦程式產品。此電腦程式產品基本上是由多數個程式碼片段所組成的(例如建立組織圖程式碼片段、簽核表單程式碼片段、設定程式碼片段、以及部署程式碼片段)，並且這些程式碼片段在載入如電子文件標記裝置100等的電子裝置中並執行之後，即可實現對電子文件進行標記的功能。

圖2是依照本發明一實施例的儲存單元的方塊圖。請參照圖2，儲存單元130包括眼動追蹤模組201、點頭偵測模組202、眨眼偵測模組203、標記模組204以及校正模組205。上述各模組例如是由電腦程式語言所撰寫的程式碼片段，且上述程式碼片段包括多個指令，藉由處理單元140來執行上述程式碼片段，進而來實現對電子文件進行標記的功能。而在其他實施例中，上述各模組亦可以是由一個或多個電晶體或邏輯閘等組合而成的硬體，且耦接至處理單元140，由處理單元140來驅動執行。

眼動追蹤模組201用以對影像序列執行眼動追蹤程序，以追蹤使用者的眼球的移動軌跡。校正模組205用以在進行眼動追蹤程序之前，進行校正程序。例如，在進行眼球位置的偵測之前，可透過校正模組205依序接收多個校正影像，而利用這些校正影像來獲得座標轉換矩陣。在此，上述校正影像分別為使用者觀看顯示單元120的多個校正點所獲得。例如，以顯示單元120左上、右上、左下、右下4個點作為校正點。在進行校正程序時，在顯示單元120中提示使用者觀看上述4個校正點，藉此獲得4張校正影像。而校正模組205依據每一張校正影像中的眼部區域的兩個亮點位置，來獲得基準校正參數。

圖3是依照本發明一實施例的眼部區域的示意圖。在圖3中包括兩個亮點位置G1、G2。上述兩個亮點位置G1、G2的形成是由於取像單元110中所設置的發光模組在眼球上所造成的反光。藉由每一張校正影像中的兩個亮點位置G1、G2的亮點位置，來獲得基準校正參數。校正參數例如基於亮點位置G1、G2的一向量。之後，校正模組205基於校正影像而藉由透視轉換(perspective transformation)法來產生座標轉換矩陣，此座標轉換矩陣是用以將眼部區域的座標位置轉換為顯示單元120的座標位置。

眼動追蹤模組201偵測影像序列中的目前影像的眼部區域，以獲得在目前影像中的瞳孔位置及兩個亮點位置(底下稱為亮點位置G1'、G2')。並且，眼動追蹤模組201依據目前影像的亮點位置G1'、G2'，獲得比對校正參數，藉此進一步依據基準校正參數(C1)與比對校正參數(C2)，來獲得動態補正參數(C3)。例如，動態補正參數為基準校正參數與比對校正參數的比率，即，C3=C2/C1。之後，眼動追蹤模組201再依據目前影像中的亮點位置G1'(或亮點位置G2')、瞳孔位置(例如以瞳孔中心的座標來進行計算)以及動態補正參數，計算眼球移動座標。例如，眼球移動座標為(X',Y')。而眼動追蹤模組201利用座標轉換矩陣，轉換眼球移動座標(X',Y')為對應於顯示單元120的視線落點座標(例如，視線落點座標為(Xs,Ys))，之後，記錄視線落點座標(Xs,Ys)。據此，藉由所記錄的多個視線落點座標而可獲得眼球的移動軌跡。

點頭偵測模組202用以對影像序列執行點頭偵測程序，以偵測使用者是否產生點頭動作。眨眼偵測模組203用以對影像序列執行眨眼偵測程序，以偵測使用者是否產生眨眼動作。而搭配點頭偵測模組202與眨眼偵測模組203可偵測使用者是否產生第一特定動作或第二特定動作。上述第一特定動作包括眨眼動作與點頭動作兩者或者為兩者的其中之一。

例如，點頭偵測模組202在影像中偵測臉部的鼻孔區域，而獲得鼻孔位置資訊，並且由前後兩張(或兩張以上)影像的鼻孔位置資訊來判斷是否產生點頭動作。另外，眨眼偵測模組203在影像中偵測眼部物件，如，可基於鼻孔區域來向上尋找眼部物件。在獲得眼部物件之後，眨眼偵測模組203基於眼部物件的尺寸來判斷使用者是否閉眼。

例如，圖4是依照本發明一實施例的眼部物件的示意圖。圖4所示為閉眼狀態。例如，針對眼部區域的影像進行去雜點、邊緣銳利化、二值化處理、再次邊緣銳利化等處理後而獲得如圖4所示的眼部物件410。若眼部物件410的高度小於高度門檻值(例如，高度門檻值的範圍界於5~7個像素)，且眼部物件410的寬度大於寬度門檻值(例如，寬度門檻值的範圍界於60~80個像素)時，判定眼部物件410為閉眼狀態。若不符合上述條件，則一律判定為張眼狀態。藉此，眨眼偵測模組203可偵測使用者是否產生眨眼動作。

標記模組204用以執行標記動作。標記動作例如為調整亮度、添加底線或添加底色等等。標記模組204在被啟動之後，會隨著眼球的移動軌跡來執行標記動作。

以上即搭配上述電子文件標記裝置100來說明電子文件標記方法的詳細步驟。

圖5是依照本發明一實施例的電子文件標記方法的流程圖。在步驟S505中，於顯示單元120顯示電子文件，如圖6所示。圖6是依照本發明一實施例的電子文件標記裝置的示意圖。在本實施例中，電子文件標記裝置100為平板電腦，取像單元110設置於顯示單元120側。在顯示單元120上顯示有電子文件610。

接著，在步驟S510中，透過取像單元110來擷取使用者的影像序列。即，透過取像單元110來拍攝正在觀看電子文件610的使用者的影像。之後，在步驟S515中，對影像序列執行眼動追蹤程序、點頭偵測程序與眨眼偵測程序。即，透過眼動追蹤模組201、點頭偵測模組202與眨眼偵測模組203分別來分析影像序列，而藉由眼動追蹤程序追蹤使用者的眼球的移動軌跡，並藉由點頭偵測模組202與眨眼偵測模組203來偵測使用者是否產生第一特定動作或第二特定動作。

在此，第一特定動作例如為在兩秒內依序執行點頭動作一次與快速眨眼動作兩次，而第二特定動作例如為在兩秒內依序執行眨眼動作一次與點頭動作一次。然，上述僅為舉例說明，並不以此為限。此外，亦可將第一特定動作與第二特定動作設定為相同的動作，並不侷限其為不同的動作。

接著，在步驟S520，處理單元140判斷是否產生第一特定動作。若尚未產生第一特定動作，則不執行後續動作；若產生第一特定動作，則執行步驟S525。

在步驟S525中，透過眼動追蹤模組201取得使用者當下的視線落在電子文件610的第一位置601。也就是說，第一位置601為在使用者執行第一特定動作時的視線落點。接著，在步驟S530中，處理單元140啟動標記模組204來執行標記動作，而自第一位置601開始並隨著眼球的移動軌跡而在電子文件610上進行標記，如圖6以斜線所示的標記範圍620。

之後，在步驟S535中，處理單元140判斷是否產生第二特定動作。若尚未產生第二特定動作，則不執行後續動作，繼續透過標記模組204隨著眼球的移動軌跡而在電子文件610上進行標記動作；若產生第二特定動作，則執行步驟S540。

在步驟S540中，透過眼動追蹤模組201取得使用者當下的視線落在電子文件610的第二位置602。即，第二位置602為在使用者執行第二特定動作時的視線落點。最後，在步驟S545中，標記模組204於第二位置602結束標記動作。如圖6所示，標記範圍620由第一位置601開始直至第二位置602為止。

例如，使用者在閱讀完某段感興趣的內容時，可將其視線移至感興趣內容的起始點，而對著取像單元110在兩秒內依序執行點頭動作一次與快速眨眼動作兩次(第一特定動作)，使得電子文件標記裝置100來致能標記動作。接著，使用者移動視線來瀏覽感興趣內容，並在瀏覽至到結束點時在兩秒內依序執行眨眼動作一次與點頭動作一次(第二特定動作)，使得電子文件標記裝置100來結束標記動作。據此，便完成了感興趣內容的標記。

而在其他實施例中，倘若第一特定動作與第二特定動作相同，例如皆為快速執行眨眼動作兩次，則以第一次偵測到的快速眨眼動作兩次為第一特定動作，第二次偵測到的快速眨眼動作兩次為第二特定動作。

另外，可將電子文件610的內容劃分為多個片段(例如根據章節或段落進行分段)，並且在使用者瀏覽電子文件610時，記錄下每一個片段的觀看頻率，進而依據各片段的觀看頻率，對各片段執行對應的標記動作。舉例來說，若片段的觀看頻率超過第一預設頻率(3次)時，將片段的底色設為黃色。若片段的觀看頻率超過第二預設頻率(5次)時，將片段的底色設為藍色。在此僅為舉例說明，應用方式並不侷限於此。

綜上所述，藉由點頭動作或眨眼動作，並利用眼動追蹤而隨著眼球的移動軌跡自動在電子文件上進行標記，使用者不需手動即可進行對應的操作，並且可針對其感興趣的段落來進行重點標記，在輔助閱讀方面提升了其便利性。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

S505~S545‧‧‧電子文件標記方法各步驟

Claims

一種電子文件標記方法，包括：於一顯示單元顯示一電子文件；透過一取像單元來擷取一使用者的一影像序列；對該影像序列執行一眼動追蹤程序、一點頭偵測程序與一眨眼偵測程序，其中藉由該眼動追蹤程序追蹤該使用者的一眼球的一移動軌跡，並藉由該點頭偵測程序與該眨眼偵測程序來偵測該使用者是否產生一第一特定動作或一第二特定動作；在偵測到該使用者產生該第一特定動作時，藉由該眼動追蹤程序取得該使用者當下的視線落在該電子文件的一第一位置；執行一標記動作，以自該第一位置開始並隨著該眼球的移動軌跡而在該電子文件上進行標記；在偵測到該使用者產生一第二特定動作時，藉由該眼動追蹤程序取得該使用者當下的視線落在該電子文件的一第二位置；以及於該第二位置結束該標記動作。
如申請專利範圍第1項所述的方法，其中該眼動追蹤程序包括一校正程序，而該校正程序包括：依序接收多個校正影像，其中該些校正影像分別為該使用者觀看該顯示單元的多個校正點所獲得；依據每一該些校正影像中的一眼部區域的兩個亮點位置，獲得一基準校正參數，其中上述兩個亮點位置是在該取像單元擷取每一該些校正影像時所形成；以及基於該些校正影像而藉由一透視轉換法(perspective transformation)來產生一座標轉換矩陣，其中該座標轉換矩陣是用以將該眼部區域的座標位置轉換為該顯示單元的座標位置。
如申請專利範圍第2項所述的方法，其中追蹤該使用者的該眼球的該移動軌跡的步驟包括：偵測該影像序列中的一目前影像的該眼部區域，以獲得在該目前影像中的一瞳孔位置；依據該目前影像的該眼部區域的兩個亮點位置，獲得一比對校正參數；依據該基準校正參數與該比對校正參數，獲得一動態補正參數；依據該目前影像中的上述兩個亮點位置其中之一、該瞳孔位置以及該動態補正參數，計算一眼球移動座標；利用該座標轉換矩陣，轉換該眼球移動座標為對應於該顯示單元的一視線落點座標；以及記錄該視線落點座標。
如申請專利範圍第1項所述的方法，其中該第一特定動作包括至少一個點頭動作或至少一個眨眼動作，該第二特定動作包括至少一個該點頭動作或至少一個該眨眼動作。
如申請專利範圍第1項所述的方法，其中該標記動作包括調整亮度、添加底線及添加底色至少其中之一。
如申請專利範圍第1項所述的方法，其中該電子文件包括多個片段，該方法更包括：依據每一該些片段的一觀看頻率，對每一該些片段執行對應的該標記動作。
一種電子文件標記裝置，包括：一顯示單元，顯示一電子文件；一取像單元，擷取一使用者的一影像序列；一儲存單元，儲存該電子文件與該影像序列；以及一處理單元，耦接至該顯示單元、該取像單元以及該儲存單元，且執行一眼動追蹤模組、一點頭偵測模組與一眨眼偵測模組來分析該影像序列，其中透過該眼動追蹤模組追蹤該使用者的一眼球的一移動軌跡，並透過該點頭偵測模組與該眨眼偵測模組來偵測該使用者是否產生一第一特定動作或一第二特定動作；其中，在偵測到該使用者產生該第一特定動作時，該眼動追蹤模組取得該使用者當下的視線落在該電子文件的一第一位置，並且該處理單元啟動一標記模組來執行一標記動作，而自該第一位置開始並隨著該眼球的移動軌跡而在該電子文件上進行標記；在偵測到該使用者產生一第二特定動作時，該眼動追蹤模組取得該使用者當下的視線落在該電子文件的一第二位置，並且該標記模組於該第二位置結束該標記動作。
如申請專利範圍第7項所述的裝置，更包括：一校正模組，依序接收多個校正影像，其中該些校正影像分別為該使用者觀看該顯示單元的多個校正點所獲得，並依據每一該些校正影像中的一眼部區域的兩個亮點位置，獲得一基準校正參數，其中上述兩個亮點位置是在該取像單元擷取每一該些校正影像時所形成，進而基於該些校正影像而藉由一透視轉換法(perspective transformation)來產生一座標轉換矩陣，其中該座標轉換矩陣是用以將該眼部區域的座標位置轉換為該顯示單元的座標位置。
如申請專利範圍第7項所述的裝置，其中該眼動追蹤模組偵測該影像序列中的一目前影像的該眼部區域，以獲得在該目前影像中的一瞳孔位置；依據該目前影像的該眼部區域的兩個亮點位置，獲得一比對校正參數；依據該基準校正參數與該比對校正參數，獲得一動態補正參數；依據該目前影像中的上述兩個亮點位置其中之一、該瞳孔位置以及該動態補正參數，計算一眼球移動座標；利用該座標轉換矩陣，轉換該眼球移動座標為對應於該顯示單元的一視線落點座標；以及記錄該視線落點座標。
如申請專利範圍第7項所述的裝置，其中該第一特定動作包括至少一個點頭動作或至少一個眨眼動作，該第二特定動作包括至少一個該點頭動作或至少一個該眨眼動作。
如申請專利範圍第7項所述的裝置，其中該標記動作包括調整亮度、添加底線及添加底色至少其中之一。
如申請專利範圍第7項所述的裝置，其中該電子文件包括多個片段，而該標記模組依據每一該些片段的一觀看頻率，對每一該些片段執行對應的該標記動作。