TW202320016A

TW202320016A - 資訊顯示方法及其資訊顯示系統與處理裝置

Info

Publication number: TW202320016A
Application number: TW111130006A
Authority: TW
Inventors: 蘇育萱; 蔡宇翔; 戴宏明; 徐雅柔; 林凱舜
Original assignee: 財團法人工業技術研究院
Priority date: 2021-11-10
Filing date: 2022-08-10
Publication date: 2023-05-16
Also published as: TWI818665B; TW202319906A; TWI832459B; TW202320412A; TWI832465B

Abstract

一種資訊顯示方法及其資訊顯示系統與處理裝置，此系統包括可透光的多個顯示器與多個處理裝置。處理裝置經由閘道器而彼此連接與通訊。第一處理裝置是根據使用者的位置資訊而從處理裝置選擇出來，第一處理裝置根據使用者的位置資訊與姿態資訊決定使用者的視線資訊。相異於第一處理裝置的第二處理裝置計算目標物的目標物座標。第一處理裝置根據使用者的視線資訊而從處理裝置選擇出第三處理裝置，第三處理裝置根據使用者座標與目標物座標決定虛擬物件的顯示位置資訊，並控制顯示器其中之一根據顯示位置資訊顯示虛擬物件。

Description

資訊顯示方法及其資訊顯示系統與處理裝置

本發明是有關於一種資訊顯示技術。

隨著影像處理技術與空間定位技術的發展，透明顯示器的應用已逐漸受到重視。此類的技術可讓顯示器搭配實體物件，再輔以虛擬物件，並且依照使用者的需求來產生互動式的體驗，可使資訊以更為直觀的方式呈現。

再者，關聯於實體物件的虛擬物件可顯示於透明顯示器的特定位置上，讓使用者可透過透明顯示器同時觀看到實體物件與疊加於實體物件上或一側的虛擬物件。舉例而言，透過於觀景台上設置透明顯示器，觀賞者可同時觀看景觀以及透明顯示器提供的景觀資訊。然而，於一些大型應用場景中，可能需要透過多台透明顯示器的組合來提供虛實融合的資訊顯示服務，且實體物件與使用者的數量也更多。於是，若使用單一中心運算裝置來負責所有運算任務，將可能因為運算量過於龐大或其他因素而發生計算延遲的問題，導致無法提供即時的虛實融合顯示服務給觀賞者。

本揭露提供一種資訊顯示方法及其資訊顯示系統與處理裝置，其可根據使用者位置與使用者的視線資訊來分配運算任務給經選擇的處理裝置。

在本揭露的一範例實施例中，上述的資訊顯示系統包括可透光的多個顯示器、多個感知資訊擷取裝置以及多個處理裝置。感知資訊擷取裝置用以擷取使用者的位置資訊與姿態資訊以及擷取目標物的位置資訊。處理裝置分別對應於顯示器，且經由多個閘道器而彼此連接與通訊。第一處理裝置是根據使用者的位置資訊而從處理裝置選擇出來，且第一處理裝置根據感知資訊擷取裝置所提供之使用者的位置資訊與姿態資訊決定使用者的視線資訊。相異於第一處理裝置的第二處理裝置根據感知資訊擷取裝置所提供之目標物的位置資訊進行座標轉換而計算目標物的目標物座標。第一處理裝置根據使用者的視線資訊而從處理裝置選擇出第三處理裝置。第三處理裝置根據使用者座標與目標物座標決定虛擬物件的顯示位置資訊，並控制顯示器其中之一者根據虛擬物件的顯示位置資訊顯示虛擬物件。

在本揭露的一範例實施例中，上述的資訊顯示方法適用於具有可透光的多個顯示器、多個感知資訊擷取裝置以及多個處理裝置的資訊顯示系統，並且包括下列步驟。利用感知資訊擷取裝置擷取使用者的位置資訊與姿態資訊以及目標物的位置資訊。根據使用者的位置資訊而從處理裝置選擇第一處理裝置。透過第一處理裝置根據感知資訊擷取裝置所提供之使用者的位置資訊與姿態資訊決定使用者的視線資訊。透過相異於第一處理裝置的第二處理裝置根據感知資訊擷取裝置所提供之目標物的位置資訊進行座標轉換而計算目標物的一目標物座標。根據使用者的視線資訊而從處理裝置選擇出第三處理裝置。透過第三處理裝置根據使用者座標與目標物座標決定虛擬物件的顯示位置資訊，並控制顯示器其中之一者根據虛擬物件的顯示位置資訊顯示虛擬物件。

本揭露一範例實施例提出一種處理裝置，其連接於可透光的顯示器以及感知資訊擷取裝置，並經由多個閘道器連接至多個其他處理裝置。感知資訊擷取裝置用以擷取使用者的位置資訊與姿態資訊，處理裝置包括記憶體與處理器。記憶體用以儲存資料，而處理器經配置以執行下列步驟。透過感知資訊擷取裝置判定處理裝置與使用者之間的距離小於各個其他處理裝置與使用者之間的距離。根據感知資訊擷取裝置所提供的使用者的位置資訊與姿態資訊決定使用者的視線資訊。根據使用者的視線資訊選擇多個處理裝置其中之一者，並經由閘道器傳輸使用者的視線資訊至多個處理裝置其中之一者。其中，多個處理裝置其中之一者根據視線資訊、使用者座標與目標物座標決定虛擬物件的顯示位置資訊，並控制顯示器或連接於多個其他處理裝置的另一顯示器可根據虛擬物件的顯示位置資訊顯示虛擬物件。

為讓本揭露能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

本揭露的部份範例實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些範例實施例只是本揭露的一部份，並未揭示所有本揭露的可實施方式。更確切的說，這些範例實施例僅為本揭露的專利申請範圍中的方法以及系統的範例。

圖1A是根據本揭露一範例實施例所繪示的資訊顯示系統的方塊圖。首先圖1A先介紹系統中的各個構件以及配置關係，詳細功能將配合後續範例實施例的流程圖一併揭露。

請參照圖1A，本範例實施例中的資訊顯示系統10可包括多個顯示器110_1、110_2、110_3、…、110_N、多個感知資訊擷取裝置120_1、120_2、120_3、…、120_N，以及多個處理裝置130_1、130_2、130_3、…、130_N。處理裝置130_1～130_N可以是以無線、有線或電性地分別連接於顯示器110_1～110_N與感知資訊擷取裝置120_1～120_N。須說明的是，於圖1A的範例中是以一個處理裝置連接至一個顯示器與一個感知資訊擷取裝置為範例進行說明，像是處理裝置130_1連接顯示器110_1與感知資訊擷取裝置120_1，但本揭露並不限制於此。於其他範例中，一個處理裝置可連接至多個感知資訊擷取裝置或多個顯示器。

顯示器110_1～110_N可用以顯示資訊，其可包括是由單個或多個顯示裝置組合而成，顯示裝置可例如是液晶顯示器（Liquid crystal display，LCD）、場色序（Field sequential color）液晶顯示器、發光二極體（Light emitting diode，LED）顯示器、電濕潤顯示器等穿透式可透光顯示器，或者是投影式可透光顯示器。

感知資訊擷取裝置120_1～120_N可用以擷取使用者的位置資訊與姿態資訊。感知資訊擷取裝置120_1～120_N包括用以擷取使用者資訊的感測裝置。於一些實施例中，感知資訊擷取裝置120_1～120_N可包括至少一個影像感測器或者包括至少一個影像感測器搭配至少一個深度感測器，以朝向位於顯示器110_1～110_N前側的使用者擷取影像資料，從而對使用者進行影像辨識與定位。前述影像感測器可為可見光感測器或非可見光感測器如紅外線感測器等。此外，感知資訊擷取裝置120_1～120_N也可以包括光學***來對使用者進行光學空間定位。於一些實施例中，感知資訊擷取裝置120_1～120_N還可透過各類人體姿態辨識技術來辨識使用者的四肢、軀幹與頭部所呈現的姿態。像是，感知資訊擷取裝置120_1～120_N可根據影像資料辨識人體骨架與人體特徵點等等，從而識別出使用者的姿態。只要是可以定位出使用者所在位置資訊以及辨識使用者的姿態資訊的裝置或其組合，皆屬於感知資訊擷取裝置120_1～120_N的範疇。

另一方面，感知資訊擷取裝置120_1～120_N可用以擷取實體場景中目標物的位置資訊。感知資訊擷取裝置120_1～120_N包括用以擷取目標物資訊的感測裝置。於一些實施例中，感知資訊擷取裝置120_1～120_N可包括至少一個影像感測器或者包括至少一個影像感測器搭配至少一個深度感測器，以朝向位於顯示器110_1～110_N後側的目標物擷取影像資料，從而對目標物進行影像辨識與定位。前述影像感測器可為可見光感測器或非可見光感測器如紅外線感測器等。只要是可以定位出目標物所在位置資訊的裝置或其組合，皆屬於感知資訊擷取裝置120_1～120_N的範疇。

於本揭露實施例中，上述的影像感測器可用以擷取影像並且包括具有透鏡以及感光元件的攝像鏡頭。上述的深度感測器可用以偵測深度資訊，其可以利用主動式深度感測技術以及被動式深度感測技術來實現。主動式深度感測技術可藉由主動發出光源、紅外線、超音波、雷射等作為訊號搭配時差測距技術來計算深度資訊。被動式深度感測技術可以藉由兩個影像感測器以不同視角擷取其前方的兩張影像，以利用兩張影像的視差來計算深度資訊。

於一些實施例中，感知資訊擷取裝置120_1～120_N可以透過各自的通訊介面以有線或是無線的方式傳輸資訊至處理裝置130_1～130_N。處理裝置130_1～130_N為具有運算能力的計算機裝置。處理裝置130_1～130_N可佈署於資訊顯示系統10所屬的場域之中，其可以是分別內建於顯示器110_1～110_N或分別連接顯示器110_1～110_N的計算機裝置。處理裝置130_1～130_N分別對應於顯示器110_1～110_N，並可用以控制與其相連接的顯示器110_1～110_N。例如，處理裝置130_1可用以控制顯示器110_1進行顯示並顯示內容。

舉例而言，圖1B是根據本揭露一範例實施例所繪示的資訊顯示系統的示意圖。為了方便且清楚說明，圖1B以3個顯示器110_1～110_3以及3個感知資訊擷取裝置120_1～120_3為範例進行說明，但本揭露不限制於此。請參照圖1B，使用者U1與目標物Obj1分別位於顯示器110_1～110_3的前側與後側。於本範例中，使用者U1可透過顯示器110_2觀看包含有目標物Obj1的虛擬物件Vf1的實體場景。虛擬物件Vf1可視為基於目標物Obj1而擴增的擴增實境內容。

須特別說明的是，處理裝置130_1～130_N經由多個閘道器G1、G2、…、Gk而彼此連接與通訊。每一個閘道器G1～Gk支援無線傳輸協定或有線傳輸協定，其可與附近的閘道器或處理裝置130_1～130_N建立鏈結。本揭露對於無線傳輸協定與有線傳輸協定的種類並不限制，可以是WiFi標準、ZigBee標準、行動通訊標準或乙太網路標準等等。於一些實施例中，閘道器G1～Gk可形成一網路拓樸N1。然而，本揭露對於閘道器G1～Gk的數量與網路拓樸的樣式並不限定。每一個處理裝置130_1～130_N將可與閘道器G1～Gk其中至少一者相連。透過閘道器G1～Gk之間的鏈結，處理裝置130_1～130_N可透過閘道器G1～Gk來進行資訊傳輸與相互通訊。

須特別說明的是，透過設置多個處理裝置130_1～130_N與閘道器G1～Gk的鏈結，基於使用者U1之位置資訊與姿態資訊以及目標物Obj1的位置資訊來顯示虛擬物件Vf1所需的計算任務可分散給一部份的處理裝置130_1～130_N來進行。藉此，可透過分散式處理架構來提昇計算效率，以避免虛擬物件的延遲顯示。

圖2是根據本揭露一範例實施例所繪示的資訊顯示方法的流程圖，請同時參照圖1A、圖1B以及圖2，而圖2的方法流程可由圖1A與圖1B的資訊顯示系統10來實現。

於步驟S210，利用感知資訊擷取裝置120_1～120_N擷取使用者U1的位置資訊與姿態資訊以及目標物Obj1的位置資訊。如同前述，感知資訊擷取裝置120_1～120_N例如是可針對使用者U1以及目標物Obj1的所在位置進行定位的影像感測器、深度感測器或其組合。

於步驟S220，根據使用者U1的位置資訊而從處理裝置130_1～130_N挑選第一處理裝置。於一些實施例中，第一處理裝置為處理裝置130_1～130_N中與使用者U1的位置資訊距離最近的一者。亦即，第一處理裝置與使用者U1之間的距離小於各個其他處理裝置與使用者U1之間的距離。詳細而言，感知資訊擷取裝置120_1～120_N其中至少一可以定位出使用者U1的位置資訊。並且，在處理裝置130_1～130_N已經固定設置於資訊顯示系統10所屬場域中的情況下，處理裝置130_1～130_N的位置資訊是已知的。因此，處理裝置130_1～130_N其中至少一可根據使用者U1的位置資訊以及各個處理裝置130_1～130_N的已知位置資訊而獲取各個處理裝置130_1～130_N與使用者U1之間的距離。藉此，多個處理裝置之中與使用者U1的位置資訊距離最近的第一處理裝置將可被挑選出來。可知的，反應於使用者U1的動態移動，最靠近使用者U1的第一處理裝置可能對應改變。

於步驟S230，透過第一處理裝置根據感知資訊擷取裝置120_1～120_N所提供之使用者U1的位置資訊與姿態資訊決定使用者的視線資訊E1。具體而言，在挑選第一處理裝置之後，第一處理裝置可直接從與其相連的感知資訊擷取裝置120_1～120_N其中之一獲取使用者的位置資訊與姿態資訊，或者從閘道器G1～Gk獲取使用者的位置資訊與姿態資訊。於是，第一處理裝置可根據使用者U1的位置資訊與姿態資訊來辨識出視線資訊E1，視線資訊E1包括視線向量。

於步驟S240，透過相異於第一處理裝置的第二處理裝置根據感知資訊擷取裝置120_1～120_N所提供之目標物Obj1的位置資訊進行座標轉換而計算目標物Obj1的目標物座標。換言之，第二處理裝置將對感知資訊擷取裝置120_1～120_N其中至少一所提供的目標物Obj1的位置資訊（例如是相機座標或影像座標）進行座標轉換，而獲取三維顯示座標系下的目標物座標。

於步驟S250，透過第一處理裝置根據使用者U1的視線資訊E1而從處理裝置130_1～130_N挑選出第三處理裝置。詳細而言，在第一處理裝置獲取使用者U1的視線資訊E1之後，第一處理裝置根據使用者U1的視線資訊E1識別顯示器110_1～110_N其中之一者，以根據顯示器110_1～110_N其中之一者從處理裝置130_1～130_N選擇出對應的第三處理裝置。於一些實施例中，第一處理裝置可根據使用者U1的位置資訊計算對應於顯示器110_1～110_N其中之一者的視線角度範圍。反應於使用者U1的視線資訊落在視線角度範圍內，第一處理裝置自顯示器110_1～110_3識別顯示器110_1～110_N其中之所述一者。以圖1B為例，第一處理裝置可根據使用者U1的位置資訊計算對應於顯示器110_2的視線角度範圍。由於使用者U1的視線資訊落在顯示器110_2的視線角度範圍內，因而可判定使用者U1的視線位置落在顯示器110_2上。

也就是說，第一處理裝置可根據使用者U1的視線資訊E1來識別使用者所注視的顯示器。由於顯示器110_1～110_N會分別受控制於對應的處理裝置130_1～130_N，因此第一處理裝置可將使用者所注視的顯示器對應的處理裝置選擇為第三處理裝置。須說明的是，第一處理裝置可相同或相異於第三處理裝置。更具體而言，在顯示器110_1～110_N可平行並排且處理裝置130_1～130_N分別設置於鄰近對應的顯示器110_1～110_N的情境中，當使用者注視正前方的顯示器時，最靠近使用者U1的第一處理裝置會相同於使用者U1所注視的第三處理裝置；當使用者注視左右兩側的顯示器時，最靠近使用者U1的第一處理裝置會相異於使用者U1所注視的第三處理裝置。

於一些實施例中，第三處理裝置根據感知資訊擷取裝置120_1～120_N所提供之使用者U1的位置資訊進行座標轉換而計算使用者的使用者座標。換言之，第三處理裝置將對感知資訊擷取裝置120_1～120_N其中至少一所提供的使用者U1的位置資訊（例如是相機座標或影像座標）進行座標轉換，而獲取三維顯示座標系下的使用者座標。

於步驟S260，透過第三處理裝置根據使用者座標與目標物座標決定虛擬物件Vf1的顯示位置資訊，並控制顯示器110_1～110_N其中之一者根據虛擬物件Vf1的顯示位置資訊顯示虛擬物件Vf1。於一些實施例中，第二處理裝置可經由閘道器G1～Gk傳輸目標物Obj1的目標物座標至第三處理裝置。相似的，若第一處理裝置相異於第三處理裝置，第一處理裝置亦可經由閘道器G1～Gk傳輸使用者U1的視線資訊E1至第三處理裝置。基此，第三處理裝置可根據使用者座標、視線資訊E1與目標物座標決定虛擬物件Vf1的顯示位置資訊。具體來說，顯示位置資訊可視為使用者觀看目標物Obj1時視線投射於顯示平面上的落點或區域。基於各式需求或不同應用，第三處理裝置可根據顯示位置資訊決定虛擬物件Vf1的實際顯示位置，以讓使用者U1可看到顯示於目標物Obj1附近的虛擬物件Vf1或看到疊加顯示於目標物Obj1上的虛擬物件Vf1。

由此可知，透過閘道器G1～Gk鏈結多個處理裝置130_1～130_N，本揭露可將顯示虛擬物件Vf1所需的計算量分配給多個處理裝置來負責，從而大幅提昇計算效率，以避免虛擬物件的顯示延遲。

以下將搭配顯示系統100列舉實施例以說明本揭露根據視線資訊決定第三處理裝置以及單使用者與多使用者的實施方式。為了方便且清楚說明，後續實施例將以3個處理裝置130_1～130_3分別連接3個顯示器110_1～110_3以及3個感知資訊擷取裝置120_1～120_3為範例進行說明，但本揭露不限制於此。處理裝置130_1～130_3可分別設置相鄰於對應的顯示器110_1～110_3。

圖3A是根據本揭露一範例實施例所繪示的資訊顯示系統的應用情境的示意圖。圖3B是根據本揭露一範例實施例所繪示的資訊顯示方法的流程圖。請同時參照圖3A與圖3B。於本實施例中，使用者U1位於顯示器110_2的前方，並且注視位於使用者U1正前方的顯示器110_2。

感知資訊擷取裝置120_2可擷取使用者U1的位置資訊與姿態資訊（步驟S302），並將使用者U1的位置資訊與姿態資訊傳輸至例如處理裝置130_2。反應於接收使用者U1的位置資訊，處理裝置130_2可計算各個處理裝置130_1～130_3與使用者U1的位置資訊之間的距離。並且，處理裝置130_2可根據各個處理裝置130_1～130_3與使用者U1的位置資訊之間的距離選擇第一處理裝置（步驟S304）。於此，第一處理裝置是處理裝置130_1～130_3中與使用者U1的位置資訊距離最近的一者。於本範例中，假設處理裝置130_2為最靠近使用者U1的第一處理裝置。亦即，於一實施例中，處理裝置130_2可透過感知資訊擷取裝置120_2判定處理裝置130_2與使用者U1之間的距離小於各個其他處理裝置130_1、130_3與使用者U1之間的距離。

接著，處理裝置130_2可根據使用者U1的位置資訊與姿態資訊來辨識使用者U1的視線資訊E1（步驟S306）。更詳細來說，處理裝置130_2被挑選來計算使用者U1的視線資訊E1，並判斷使用者U1的視線資訊E1落在那一個顯示器上。於本範例中，處理裝置130_2可根據使用者U1的視線資訊E1判定使用者U1的視線資訊E1落在顯示器110_2之上，並根據視線資訊E1所投射的顯示器110_2而選擇第三處理裝置（步驟S308）。於本範例中，用以控制顯示器110_2的處理裝置130_2為第三處理裝置。亦即，本範例之第一處理裝置與第三處理裝置是相同的並且皆為處理裝置130_2。於是，處理裝置130_2根據感知資訊擷取裝置120_2所提供之使用者U1的位置資訊進行座標轉換而計算使用者的使用者座標（步驟S310）。

另一方面，感知資訊擷取裝置120_1～120_3可擷取目標物Obj1的位置資訊（步驟S312）。由於處理裝置130_2已經被挑選作為第一處理裝置，因此處理裝置130_1或處理裝置130_3可被選擇作為第二處理裝置（步驟S314）。以下將以處理裝置130_3為第二處理裝置為例繼續進行說明。處理裝置130_3可接收目標物Obj1的位置資訊與其他相關資訊，以進一步處理與目標物Obj1相關的目標物辨識（步驟S316）。接著，處理裝置130_3根據感知資訊擷取裝120_1～120_3所提供之目標物Obj1的位置資訊進行座標轉換而計算目標物Obj1的目標物座標（步驟S318），以將使用者U1的位置資訊與目標物Obj1的位置資訊都轉換至相同的座標系統下。處理裝置130_3可經由閘道器G1～Gk其中至少一將目標物Obj1的目標物座標傳輸至作為第三處理裝置的處理裝置130_2（步驟S320）。

最後，處理裝置130_2根據使用者座標與目標物座標決定虛擬物件Vf1的顯示位置資訊（步驟S322），並控制顯示器110_2根據虛擬物件的顯示位置資訊顯示虛擬物件（步驟S324）。藉此，處理裝置130_2可以顯示位置資訊為參考基準來顯示虛擬物件Vf1。

圖4A是根據本揭露一範例實施例所繪示的資訊顯示系統的應用情境的示意圖。圖4B是根據本揭露一範例實施例所繪示的資訊顯示方法的流程圖。請同時參照圖4A與圖4B。於本實施例中，使用者U1位於顯示器110_3的前方，並且注視位於使用者U1左側的顯示器110_1。

感知資訊擷取裝置120_3可擷取使用者U1的位置資訊與姿態資訊（步驟S402），並將使用者U1的位置資訊與姿態資訊傳輸至例如處理裝置130_3。處理裝置130_3可根據各個處理裝置130_1～130_3與使用者U1的位置資訊之間的距離選擇第一處理裝置（步驟S404）。於本範例中，第一處理裝置是處理裝置130_1～130_3中與使用者U1的位置資訊距離最近的處理裝置130_3。接著，作為第一處理裝置的處理裝置130_3可根據使用者U1的位置資訊與姿態資訊來辨識使用者U1的視線資訊E2（步驟S406）。於本範例中，處理裝置130_3可根據使用者U1的視線資訊E2判定使用者U1的視線資訊E2落在顯示器110_1之上，並根據視線資訊E2所投射的顯示器110_1而選擇第三處理裝置（步驟S408）。於本範例中，用以控制顯示器110_1的處理裝置130_1為第三處理裝置。亦即，本範例之第一處理裝置與第三處理裝置是相異的。處理裝置130_3可經由閘道器G1～Gk其中至少一將使用者U1的視線資訊E2傳輸至作為第三處理裝置的處理裝置130_1（步驟S410）。

另一方面，感知資訊擷取裝置120_1～120_3可擷取目標物Obj2的位置資訊（步驟S412）。由於處理裝置130_3已經被挑選作為第一處理裝置且處理裝置130_1已經被挑選作為第三處理裝置，因此處理裝置130_2可被選擇作為第二處理裝置（步驟S414）。處理裝置130_2可接收目標物Obj2的位置資訊與其他相關資訊，以進一步處理與目標物Obj2相關的目標物辨識（步驟S416）。接著，處理裝置130_2根據感知資訊擷取裝120_1～120_3所提供之目標物Obj2的位置資訊進行座標轉換而計算目標物Obj2的目標物座標（步驟S418）。處理裝置130_2可經由閘道器G1～Gk其中至少一將目標物Obj2的目標物座標傳輸至作為第三處理裝置的處理裝置130_1（步驟S420）。

處理裝置130_1可透過閘道器G1～Gk或直接從感知資訊擷取裝置120_1接收使用者U1的位置資訊。於是，處理裝置130_1根據使用者U1的位置資訊進行座標轉換而計算使用者的使用者座標（步驟S422）。處理裝置130_1根據使用者座標、目標物座標以及視線資訊E2決定虛擬物件Vf2的顯示位置資訊（步驟S424），並控制顯示器110_1根據虛擬物件Vf2的顯示位置資訊顯示虛擬物件Vf2（步驟S426）。於本範例中，處理裝置130_3（即第一處理裝置）可分析使用者U1的視線資訊E2。處理裝置130_2（即第二處理裝置）可處理目標物Obj2的物件辨識與座標轉換。處理裝置130_1（即第三處理裝置）根據使用者座標與目標物座標來決定虛擬物件Vf2的顯示位置資訊。

於一些實施例中，第一處理裝置可根據使用者U1的位置資訊計算對應於某一個顯示器的視線角度範圍。反應於使用者U1的視線資訊落在該視線角度範圍內，第一處理裝置可自顯示器110_1～110_3識別出使用者U1所注視的顯示器。

詳細而言，圖5A與圖5B為根據本揭露實施例所繪示的估測視線位置的示意圖。請參照圖5A與圖5B，顯示器110_2的寬度為dw。透過於顯示器110_2前方設置已知位置的基準點P1～P4，處理裝置130_2可根據感知資訊擷取裝置120_2所擷取之影像上基準點P1～P4的像素位置來估測出使用者U1距離顯示器110_2之左邊界的橫向偏移距離X。基準點P1～P4可以為任何標示物，本揭露對此不限制。

更詳細而言，基準點P1～P2的深度資訊為D1，基準點P3～P4的深度資訊為D2。基準點P1之X軸像素座標D1 _R減去基準點P2之X軸像素座標D1 _L的相減結果比上深度資訊D1的比例會相等於X軸像素座標Du _R減去X軸像素座標Du _L的相減結果比上深度資訊D的比例。同理，基準點P3之X軸像素座標D2 _R減去基準點P4之X軸像素座標D2 _L的相減結果比上深度資訊D2的比例會相等於X軸像素座標Du _R減去X軸像素座標Du _L的相減結果比上深度資訊D的比例。基此，在X軸像素座標Du _R以及X軸像素座標Du _L可經由計算而得知的情況下，透過例如內插計算與基於使用者的深度資訊D以及寬度dw可得知使用者U1距離顯示器110_2之左邊界的橫向偏移距離X。

如此一來，基於橫向偏移距離X、深度資訊D以及正切函數可計算出視線角度範圍θ。如圖5B所示，若使用者U1的視線資訊E3未落在視線角度範圍θ之內，代表使用者U1注視左側的顯示器110_1。反之，若使用者U1的視線資訊落在視線角度範圍θ之內，代表使用者U1注視顯示器110_2。

圖6A是根據本揭露一範例實施例所繪示的資訊顯示系統的應用情境的示意圖。圖6B是根據本揭露一範例實施例所繪示的資訊顯示方法的流程圖。請同時參照圖6A與圖6B。於本實施例中，使用者U1位於顯示器110_2的前方，並且從注視位於使用者U1正前方的顯示器110_2轉換為注視位於使用者U1左側的顯示器110_1。

感知資訊擷取裝置120_2可擷取使用者U1的位置資訊與姿態資訊（步驟S602），並將使用者U1的位置資訊與姿態資訊傳輸至例如處理裝置130_2。處理裝置130_2可根據各個處理裝置130_1～130_3與使用者U1的位置資訊之間的距離選擇第一處理裝置（步驟S604）。於本範例中，第一處理裝置可以是處理裝置130_1～130_3中與使用者U1的位置資訊距離最近的處理裝置130_2。接著，作為第一處理裝置的處理裝置130_2可根據使用者U1的位置資訊與姿態資訊來辨識使用者U1的視線資訊E1（步驟S606）。於本範例中，處理裝置130_2可根據使用者U1的視線資訊E1判定使用者U1的視線資訊E1落在顯示器110_2之上，並根據視線資訊E1所投射的顯示器110_1而選擇第三處理裝置（步驟S608）。於本範例中，在使用者U1的視線資訊發生變化之前，用以控制顯示器110_2的處理裝置130_2同樣為第三處理裝置。於是，處理裝置130_2計算使用者的使用者座標（步驟S610）。處理裝置130_2決定虛擬物件Vf1的顯示位置資訊（步驟S612）。處理裝置130_2控制顯示器110_2顯示虛擬物件Vf1（步驟S614）。步驟S602～步驟S614的詳細操作細節已於前述實施例詳細說明，於此不再贅述。

須特別注意的是，反應於使用者U1的轉身或轉頭，處理裝置130_2偵測使用者U1的視線資訊的變化（步驟S616）。於本範例中，使用者的視線資訊E1變化為視線資訊E3。在使用者U1的視線資訊發生變化之後，處理裝置130_2判斷使用者U1的視線資訊E3是否依然落在顯示器110_1～110_3其中之一者（即顯示器110_2）的所述視線角度範圍內（步驟S618）。反應於使用者U1的視線資訊E3未落在顯示器110_2的視線角度範圍內（步驟S618判斷為否），處理裝置130_2根據使用者的視線資訊E3識別顯示器110_1～110_3其中之另一者（即顯示器110_1），以根據顯示器110_1～110_3其中之另一者（即顯示器110_1）從處理裝置130_1～130_3選擇出另一第三處理裝置（步驟S620）。於本範例中，在使用者U1的視線資訊發生變化之後，用以控制顯示器110_1的處理裝置130_1被識別另一第三處理裝置。於是，處理裝置130_2將視線資訊E3傳輸給後續負責顯示控制的處理裝置130_1（步驟S622）。

另一方面，感知資訊擷取裝置120_1～120_3可擷取目標物Obj1、Obj2的位置資訊（步驟S624）。由於處理裝置130_2已經被挑選作為第一處理裝置，因此處理裝置130_3可被選擇作為第二處理裝置（步驟S626）。處理裝置130_3可接收目標物Obj1、Obj2的位置資訊與其他相關資訊，以進一步處理與目標物Obj1、Obj2相關的目標物辨識（步驟S628）。接著，處理裝置130_3根據感知資訊擷取裝120_1～120_3所提供之目標物Obj1、Obj2的位置資訊進行座標轉換而計算目標物Obj1、Obj2的目標物座標（步驟S630）。處理裝置130_3可經由閘道器G1～Gk其中至少一將目標物Obj1、Obj2的目標物座標傳輸至作為第三處理裝置的處理裝置130_1以及處理裝置130_2（步驟S632）。

相似於前述操作原理，處理裝置130_1根據使用者U1的位置資訊進行座標轉換而計算使用者的使用者座標（步驟S634）。處理裝置130_1根據使用者座標、目標物座標以及視線資訊E3決定虛擬物件Vf2的顯示位置資訊（步驟S636），並控制顯示器110_1根據虛擬物件Vf2的顯示位置資訊顯示虛擬物件Vf2（步驟S638）。於本範例中，用以負責顯示控制的第三處理裝置將反應於視線變化而從處理裝置130_2切換為130_1。

圖7是根據本揭露一範例實施例所繪示的資訊顯示系統的應用情境的示意圖。請參照圖7，當使用者的人數超過一人時，處理裝置130_1～130_3其中之二可作為計算視線資訊E2、E4的第一處理裝置。於圖7的範例中，由於感知資訊擷取裝置120_1偵測到使用者U2，因此與使用者U2距離最近的處理裝置130_1將被選擇來作為計算使用者U2之視線資訊E4的第一處理裝置。另一方面，由於感知資訊擷取裝置120_1偵測到使用者U1，與使用者U1距離最近的處理裝置130_3將被選擇來作為計算使用者U1之視線資訊E2的第一處理裝置。此外，根據使用者U1與U2的視線資訊E2、E4投射於顯示器110_1、110_2上的視線位置，處理裝置130_1與130_2可分別用來計算虛擬物件Obj1、Obj2的顯示位置資訊。

圖8A是根據本揭露一範例實施例所繪示的資訊顯示系統的應用情境的示意圖。圖8B是根據本揭露一範例實施例所繪示的資訊顯示方法的流程圖。請同時參照圖8A與圖8B。於本實施例中，使用者U1與多位其他使用者U3、U4位於顯示器110_3的前方，並且使用者U1與多位其他使用者U3、U4都注視位於左側的顯示器110_1。

感知資訊擷取裝置120_3可擷取使用者U1與多位其他使用者U3、U4的位置資訊與姿態資訊（步驟S802），並將使用者U1與多位其他使用者U3、U4的位置資訊與姿態資訊傳輸至例如處理裝置130_3。於本實施例中，處理裝置130_3可根據各個處理裝置130_1～130_3與使用者U1與多位其他使用者U3、U4的位置資訊之間的距離選擇第一處理裝置（步驟S804）。具體而言，處理裝置130_3可計算出處理裝置130_1～130_3與使用者U1之間的距離。相似的，處理裝置130_3可計算出處理裝置130_1～130_3分別與多位其他使用者U3、U4之間的距離。處理裝置130_3可從上述所有距離中找到最小距離，並選擇關聯於該最小距離的處理裝置作為第一處理裝置。於本範例中，使用者U1與處理裝置130_3之間相距一最小距離，因此處理裝置130_3被選擇作為第一處理裝置。

接著，作為第一處理裝置的處理裝置130_3可根據使用者U1與多位其他使用者U3、U4的位置資訊與姿態資訊來辨識使用者U1與多位其他使用者U3、U4的視線資訊E3、E5、E6（步驟S806）。

處理裝置130_3判斷感知資訊擷取裝置120_1～120_3其中一者（即感知資訊擷取裝置120_3）是否同時偵測到使用者U1與多位其他使用者U3、U4（步驟S808）。反應於感知資訊擷取裝置120_3同時偵測到使用者U1與其他使用者U3、U4（步驟S808判斷為是），處理裝置130_3根據使用者U1的視線資訊E3與其他使用者U3、U4的視線資訊E5、E6計算得出一共同視線方向（步驟S810），並根據共同視線方向從處理裝置130_1～130_3選擇出第三處理裝置以及顯示器110_1～110_3其中之一者（步驟S812）。於一些實施例中，處理裝置130_3可計算使用者U1的視線資訊E3與其他使用者U3、U4的視線資訊E5、E6於各軸方向上的分量的平均值，以獲取共同視線方向。

須說明的是，於一些實施例中，在計算一共同視線方向之前，處理裝置130_3還可判斷使用者U1的視線資訊E3與其他使用者U3、U4的視線資訊E5、E6之間的視線方向差異是否符合預設條件。具體而言，處理裝置130_3可判定使用者U1的視線向量分別與其他使用者U3、U4的視線向量之間的角度差距是否小於門檻值。若是，可判定使用者U1的視線資訊E3與其他使用者U3、U4的視線資訊E5、E6之間的視線方向差異符合一預設條件，代表使用者U1與其他使用者U3、U4注視相似的位置。

此外，於本範例中，由於共同視線方向落在顯示器110_1之上，因此處理裝置130_3根據共同視線方向所投射的顯示器110_1而選擇第三處理裝置。於本範例中，用以控制顯示器110_1的處理裝置130_1為第三處理裝置。處理裝置130_3可經由閘道器G1～Gk其中至少一將共同視線方向傳輸至作為第三處理裝置的處理裝置130_1（步驟S814）。

另一方面，感知資訊擷取裝置120_1～120_3可擷取目標物Obj2的位置資訊（步驟S816）。由於處理裝置130_3已經被挑選作為第一處理裝置且處理裝置130_1已經被挑選作為第三處理裝置，因此處理裝置130_2可被選擇作為第二處理裝置（步驟S818）。處理裝置130_2可接收目標物Obj2的位置資訊與其他相關資訊，以進一步處理與目標物Obj2相關的目標物辨識（步驟S820）。接著，處理裝置130_2根據感知資訊擷取裝置120_1～120_3所提供之目標物Obj2的位置資訊進行座標轉換而計算目標物Obj2的目標物座標（步驟S822）。處理裝置130_2可經由閘道器G1～Gk其中至少一將目標物Obj2的目標物座標傳輸至作為第三處理裝置的處理裝置130_1（步驟S824）。

處理裝置130_1可透過閘道器G1～Gk或直接從感知資訊擷取裝置120_1接收使用者U1的位置資訊。於是，處理裝置130_1根據使用者U1的位置資訊進行座標轉換而計算使用者的使用者座標（步驟S826）。處理裝置130_1根據使用者座標、目標物座標以及共同視線方向決定虛擬物件Vf2的顯示位置資訊（步驟S828），並控制顯示器110_1根據虛擬物件Vf2的顯示位置資訊顯示虛擬物件Vf2（步驟S830）。

圖9是根據本揭露一實施例所繪示的處理裝置的方塊圖。處理裝置900可為前述實施例的處理裝置130_1～130_N。請參照圖9，處理裝置900可包括記憶體901、處理器902以及傳輸元件903。記憶體901可以例如是任意型式的固定式或可移動式隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）、硬碟或其他類似裝置、積體電路或其組合。處理器902可以例如是中央處理單元（central processing unit，CPU）、應用處理器（application processor，AP），或是其他可程式化之一般用途或特殊用途的微處理器（microprocessor）、數位訊號處理器（digital signal processor，DSP）、影像訊號處理器（image signal processor，ISP）、圖形處理器（graphics processing unit，GPU）或其他類似裝置、積體電路或其組合。傳輸元件903是支援有線/無線傳輸協定的通訊裝置，例如是收發器與天線的組合。處理器902可執行記憶體901所紀錄的指令、程式碼或軟體模組而實現本揭露的資訊顯示方法。

本揭露的範例實施例所提出的資訊顯示方法及其處理裝置與資訊顯示系統，可根據使用者的位置與視線來對多個處理裝置進行運算分配，從而提高計算效率來避免虛實融合顯示服務的延遲顯示。藉此，虛擬物件可即時地且順暢地進行顯示，大幅提升使用者的觀看體驗。

雖然本揭露已以範例實施例揭露如上，然其並非用以限定本揭露，任何所屬技術領域中具有通常知識者，在不脫離本揭露的精神和範圍內，當可作些許的更動與潤飾，故本揭露的保護範圍當視後附的申請專利範圍及其均等範圍所界定者為準。

10:資訊顯示系統 110_1～110_N:顯示器 120_1～120_N:感知資訊擷取裝置 130_1～130_N:處理裝置 G1～Gk:閘道器 N1:網路拓樸 Vf1, Vf2:虛擬物件 RF1:參考顯示物件框 U1, U2, U3, U4:使用者 Obj1, Obj2:目標物 E1, E2, E3, E4, E5, E6:視線資訊 P1～P4:基準點 901:記憶體 902:處理器 903:傳輸元件 S210～S260、S302～S324、S402～S426、S602～S638、S802～S830:步驟

附圖包含於本文中以便於進一步理解本揭露，且併入於本說明書中並構成本說明書的一部分。附圖說明本揭露的實施例，並與描述一起用以解釋本揭露的原理。圖1A是根據本揭露一範例實施例所繪示的資訊顯示系統的方塊圖。圖1B是根據本揭露一範例實施例所繪示的資訊顯示系統的示意圖。圖2是根據本揭露一範例實施例所繪示的資訊顯示方法的流程圖。圖3A是根據本揭露一範例實施例所繪示的資訊顯示系統的應用情境的示意圖。圖3B是根據本揭露一範例實施例所繪示的資訊顯示方法的流程圖。圖4A是根據本揭露一範例實施例所繪示的資訊顯示系統的應用情境的示意圖。圖4B是根據本揭露一範例實施例所繪示的資訊顯示方法的流程圖。圖5A與圖5B是根據本揭露實施例所繪示的估測視線位置的示意圖。圖6A是根據本揭露一範例實施例所繪示的資訊顯示系統的應用情境的示意圖。圖6B是根據本揭露一範例實施例所繪示的資訊顯示方法的流程圖。圖7是根據本揭露一範例實施例所繪示的資訊顯示系統的應用情境的示意圖。圖8A是根據本揭露一範例實施例所繪示的資訊顯示系統的應用情境的示意圖。圖8B是根據本揭露一範例實施例所繪示的資訊顯示方法的流程圖。圖9是根據本揭露一實施例所繪示的處理裝置的方塊圖。

S210~S260:步驟

Claims

一種資訊顯示系統，包括：可透光的多個顯示器；多個感知資訊擷取裝置，用以擷取一使用者的位置資訊與姿態資訊以及擷取一目標物的位置資訊；多個處理裝置，分別對應於所述顯示器，且經由多個閘道器而彼此連接與通訊，其中，一第一處理裝置是根據所述使用者的位置資訊而從所述處理裝置選擇出來，所述第一處理裝置根據所述感知資訊擷取裝置所提供的所述使用者的位置資訊與姿態資訊決定所述使用者的視線資訊，其中，相異於所述第一處理裝置的一第二處理裝置根據所述第二感知資訊擷取裝置所提供的所述目標物的位置資訊進行座標轉換而計算所述目標物的一目標物座標，其中，所述第一處理裝置根據所述使用者的視線資訊而從所述處理裝置選擇出一第三處理裝置，所述第三處理裝置根據一使用者座標與所述目標物座標決定一虛擬物件的顯示位置資訊，並控制所述顯示器其中之一者根據所述虛擬物件的所述顯示位置資訊顯示所述虛擬物件。
如請求項1所述的資訊顯示系統，其中所述第一處理裝置為所述處理裝置中與所述使用者的位置資訊距離最近的一者。
如請求項1所述的資訊顯示系統，其中所述第一處理裝置相同或相異於所述第三處理裝置，而所述第三處理裝置根據所述感知資訊擷取裝置所提供的所述使用者的位置資訊進行座標轉換而計算所述使用者的所述使用者座標。
如請求項1所述的資訊顯示系統，其中所述第二處理裝置經由所述閘道器傳輸所述目標物的所述目標物座標至所述第三處理裝置。
如請求項1所述的資訊顯示系統，其中所述第一處理裝置根據所述使用者的視線資訊識別所述顯示器其中之所述一者，以根據所述顯示器其中之所述一者從所述處理裝置選擇出所述第三處理裝置。
如請求項5所述的資訊顯示系統，其中所述第一處理裝置根據所述使用者的位置資訊計算對應於所述顯示器其中之所述一者的一視線角度範圍，反應於所述使用者的視線資訊落在所述視線角度範圍內，所述第一處理裝置自所述顯示器識別所述顯示器其中之所述一者。
如請求項5所述的資訊顯示系統，其中反應於所述使用者的視線資訊的變化，所述第一處理裝置判斷所述使用者的視線資訊是否依然落在所述顯示器其中之所述一者的所述視線角度範圍內；以及反應於所述使用者的視線資訊未落在所述顯示器其中之所述一者的所述視線角度範圍內，所述第一處理裝置根據所述使用者的視線資訊識別所述顯示器其中之另一者，以根據所述顯示器其中之所述另一者從所述處理裝置選擇出另一第三處理裝置。
如請求項1所述的資訊顯示系統，其中所述第一處理裝置判斷所述感知資訊擷取裝置其中一者是否同時偵測到所述使用者與多個其他使用者，反應於所述感知資訊擷取裝置其中所述一者同時偵測到所述使用者與所述其他使用者，所述第一處理裝置根據所述使用者的視線資訊與所述其他使用者的視線資訊計算一共同視線方向，並根據所述共同視線方向從所述處理裝置選擇出所述第三處理裝置以及所述顯示器其中之所述一者。
如請求項8所述的資訊顯示系統，其中所述使用者的視線資訊與所述其他使用者的視線資訊之間的視線方向差異符合一預設條件。
一種資訊顯示方法，適用於包括可透光的多個顯示器、多個感知資訊擷取裝置以及多個處理裝置的資訊顯示系統，而所述方法包括：利用所述感知資訊擷取裝置擷取一使用者的位置資訊與姿態資訊以及一目標物的位置資訊；根據所述使用者的位置資訊而從所述處理裝置選擇一第一處理裝置；透過所述第一處理裝置根據所述感知資訊擷取裝置所提供的所述使用者的位置資訊與姿態資訊決定所述使用者的視線資訊；透過相異於所述第一處理裝置的一第二處理裝置根據所述感知資訊擷取裝置所提供的所述目標物的位置資訊進行座標轉換而計算所述目標物的一目標物座標；根據所述使用者的視線資訊而從所述處理裝置選擇出一第三處理裝置；以及透過所述第三處理裝置根據一使用者座標與所述目標物座標決定一虛擬物件的顯示位置資訊，並控制所述顯示器其中之一者根據所述虛擬物件的所述顯示位置資訊顯示所述虛擬物件。
如請求項10所述的資訊顯示方法，其中根據所述使用者的位置資訊而從所述處理裝置選擇所述第一處理裝置的步驟包括：從所述處理裝置之中選擇與所述使用者的位置資訊距離最近的所述第一處理裝置。
如請求項10所述的資訊顯示方法，其中所述第一處理裝置相同或相異於所述第三處理裝置，且所述方法更包括：透過所述第三處理裝置根據所述感知資訊擷取裝置所提供的所述使用者的位置資訊進行座標轉換而計算所述使用者的所述使用者座標。
如請求項10所述的資訊顯示方法，其中所述方法更包括：透過所述第二處理裝置經由所述閘道器傳輸所述目標物的所述目標物座標至所述第三處理裝置。
如請求項10所述的資訊顯示方法，其中根據所述使用者的視線資訊而從所述處理裝置選擇出所述第三處理裝置的步驟包括：透過所述第一處理裝置根據所述使用者的視線資訊識別所述顯示器其中之所述一者；以及根據所述顯示器其中之所述一者從所述處理裝置選擇出所述第三處理裝置。
如請求項14所述的資訊顯示方法，其中透過所述第一處理裝置根據所述使用者的視線資訊識別所述顯示器其中之所述一者的步驟包括：透過所述第一處理裝置根據所述使用者的位置資訊計算對應於所述顯示器其中之所述一者的一視線角度範圍；以及反應於所述使用者的視線資訊落在所述視線角度範圍內，透過所述第一處理裝置自所述顯示器識別所述顯示器其中之所述一者。
如請求項14所述的資訊顯示方法，所述方法更包括：反應於所述使用者的視線資訊的變化，透過所述第一處理裝置判斷所述使用者的視線資訊是否依然落在所述顯示器其中之所述一者的所述視線角度範圍內；以及反應於所述使用者的視線資訊未落在所述顯示器其中之所述一者的所述視線角度範圍內，透過所述第一處理裝置根據所述使用者的視線資訊識別所述顯示器其中之另一者，以根據所述顯示器其中之所述另一者從所述處理裝置選擇出另一第三處理裝置。
如請求項10所述的資訊顯示方法，所述方法更包括：透過所述第一處理裝置判斷所述感知資訊擷取裝置其中一者是否同時偵測到所述使用者與多個其他使用者；反應於所述感知資訊擷取裝置其中所述一者同時偵測到所述使用者與所述其他使用者，透過所述第一處理裝置根據所述使用者的視線資訊與所述其他使用者的視線資訊計算一共同視線方向，其中根據所述使用者的視線資訊而從所述處理裝置選擇出所述第三處理裝置的步驟包括：根據所述共同視線方向從所述處理裝置選擇出所述第三處理裝置以及所述顯示器其中之所述一者。
如請求項10所述的資訊顯示方法，其中所述使用者的視線資訊與所述其他使用者的視線資訊之間的視線方向差異符合一預設條件。
一種處理裝置，連接於可透光的一顯示器以及一感知資訊擷取裝置，並經由多個閘道器連接至多個其他處理裝置，其中所述感知資訊擷取裝置用以擷取一使用者的位置資訊與姿態資訊，所述處理裝置包括：記憶體，用以儲存資料；以及處理器，連接所述記憶體並經配置：透過所述感知資訊擷取裝置判定所述處理裝置與所述使用者之間的距離小於各所述多個其他處理裝置與所述使用者之間的距離；根據所述感知資訊擷取裝置所提供的所述使用者的位置資訊與姿態資訊決定所述使用者的視線資訊；以及根據所述使用者的視線資訊選擇所述多個處理裝置其中之一者，並經由所述閘道器傳輸所述使用者的視線資訊至所述多個處理裝置其中之一者，其中所述多個處理裝置其中之一者根據所述視線資訊、一使用者座標與一目標物座標決定一虛擬物件的顯示位置資訊，並控制該顯示器或連接於該些其他處理裝置的另一顯示器根據所述虛擬物件的所述顯示位置資訊顯示所述虛擬物件。