TWI832459B - Method, processing device, and display system for information display - Google Patents
Method, processing device, and display system for information display Download PDFInfo
- Publication number
- TWI832459B TWI832459B TW111137134A TW111137134A TWI832459B TW I832459 B TWI832459 B TW I832459B TW 111137134 A TW111137134 A TW 111137134A TW 111137134 A TW111137134 A TW 111137134A TW I832459 B TWI832459 B TW I832459B
- Authority
- TW
- Taiwan
- Prior art keywords
- display
- light
- user
- information
- transmissive display
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 140
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000001953 sensory effect Effects 0.000 claims description 17
- 230000004927 fusion Effects 0.000 claims description 15
- 230000004044 response Effects 0.000 claims description 14
- 230000008859 change Effects 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 238000005520 cutting process Methods 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 3
- 230000036544 posture Effects 0.000 description 33
- 238000010586 diagram Methods 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005672 electromagnetic field Effects 0.000 description 1
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Position Input By Displaying (AREA)
- Details Of Aerials (AREA)
- Aerials With Secondary Devices (AREA)
- Alarm Systems (AREA)
Abstract
Description
本揭露是有關於一種資訊顯示技術。This disclosure relates to an information display technology.
隨著影像處理技術與空間定位技術的發展，透明顯示器的應用已逐漸受到重視。此類的技術可讓顯示器搭配實體物件，再輔以虛擬相關資訊，並且依照使用者的需求來產生互動式的體驗，可使資訊以更為直觀的方式呈現。With the development of image processing technology and spatial positioning technology, the application of transparent displays has gradually attracted attention. This type of technology allows the display to be matched with physical objects, supplemented by virtual related information, and generate an interactive experience according to the user's needs, allowing the information to be presented in a more intuitive way.
再者，關聯於實體物件的虛擬物件可顯示於透明顯示器的特定位置上，讓使用者可透過透明顯示器同時觀看到實體物件與疊加於實體物件上或一側的虛擬物件。舉例而言，透過於觀景台上設置透明顯示器，觀賞者可同時觀看景觀以及透明顯示器提供的景觀資訊。然而，於一些大型應用場景中，可能需要透過多台透明顯示器的組合來提供虛實融合的資訊顯示服務。因此，如何控制多台透明顯示器提供符合各式應用情境需求的虛實融合資訊顯示服務實為一個重要的課題。Furthermore, virtual objects associated with physical objects can be displayed at specific positions on the transparent display, allowing users to simultaneously view the physical objects and the virtual objects superimposed on or on one side of the physical objects through the transparent display. For example, by setting up a transparent display on an observation deck, viewers can view the landscape and the landscape information provided by the transparent display at the same time. However, in some large-scale application scenarios, it may be necessary to provide virtual and real information display services through a combination of multiple transparent displays. Therefore, how to control multiple transparent displays to provide virtual and real integrated information display services that meet the needs of various application scenarios is an important issue.
本揭露提供一種資訊顯示方法及其處理裝置與資訊顯示系統。The present disclosure provides an information display method, a processing device thereof, and an information display system.
在本揭露的一範例實施例中，上述的資訊顯示系統包括多個可透光顯示器、多個感知資訊擷取裝置以及處理裝置。這些可透光顯示器包括第一可透光顯示器與第二可透光顯示器，且第一可透光顯示器相鄰設置於第二可透光顯示器。感知資訊擷取裝置用以擷取至少一使用者的位置資訊與姿態資訊以及用以擷取至少一目標物的位置資訊。處理裝置連接於可透光顯示器以及感知資訊擷取裝置，經配置以：判斷位於第一可透光顯示器與第二可透光顯示器前方的使用者人數；根據使用者人數、至少一使用者的位置資訊與姿態資訊以及至少一目標物的位置資訊，決定關聯於至少一使用者的至少一虛擬物件的顯示位置資訊，並根據顯示位置資訊控制第一可透光顯示器與第二可透光顯示器其中至少一者顯示對應於至少一目標物的至少一虛擬物件。In an exemplary embodiment of the present disclosure, the above-mentioned information display system includes a plurality of light-transmissive displays, a plurality of sensory information acquisition devices and a processing device. These light-transmissive displays include a first light-transmissive display and a second light-transmissive display, and the first light-transmissive display is disposed adjacent to the second light-transmissive display. The sensing information acquisition device is used to acquire position information and posture information of at least one user and to acquire position information of at least one target object. The processing device is connected to the light-transmissive display and the perceptual information acquisition device, and is configured to: determine the number of users located in front of the first light-transmissive display and the second light-transmissible display; based on the number of users, at least one user's The position information and posture information and the position information of at least one target object are used to determine the display position information of at least one virtual object associated with at least one user, and the first light-transmissive display and the second light-transmissive display are controlled according to the display position information. At least one of them displays at least one virtual object corresponding to at least one target object.
在本揭露的一範例實施例中，上述的資訊顯示方法適用於包括多個可透光顯示器、多個感知資訊擷取裝置以及處理裝置的資訊顯示系統。可透光顯示器包括第一可透光顯示器與第二可透光顯示器，且第一可透光顯示器相鄰設置於第二可透光顯示器。所述方法包括下列步驟：利用感知資訊擷取裝置擷取至少一使用者的位置資訊與姿態資訊；利用感知資訊擷取裝置擷取至少一目標物的位置資訊；判斷位於第一可透光顯示器與第二可透光顯示器前方的使用者人數；根據使用者人數、至少一使用者的位置資訊與姿態資訊以及至少一目標物的位置資訊，決定關聯於至少一使用者的至少一虛擬物件的顯示位置資訊，並根據顯示位置資訊控制第一可透光顯示器與第二可透光顯示器其中至少一者顯示對應於至少一目標物的至少一虛擬物件。In an exemplary embodiment of the present disclosure, the above information display method is applicable to an information display system including a plurality of light-transmissive displays, a plurality of sensory information acquisition devices and a processing device. The light-transmissive display includes a first light-transmissive display and a second light-transmissive display, and the first light-transmissive display is disposed adjacent to the second light-transmissive display. The method includes the following steps: using a perceptual information acquisition device to acquire position information and posture information of at least one user; using the perceptual information acquisition device to acquire position information of at least one target object; determining whether the first light-transmissive display is located and the number of users in front of the second light-transmissible display; determining the number of at least one virtual object associated with at least one user based on the number of users, position information and posture information of at least one user, and position information of at least one target object. Display position information, and control at least one of the first light-transmissive display and the second light-transmissible display to display at least one virtual object corresponding to at least one target object according to the displayed position information.
在本揭露的一範例實施例中，上述的處理裝置連接於多個可透光顯示器與多個感知資訊擷取裝置。該處理裝置包括記憶體與連接記憶體的處理器。記憶體用以儲存資料，而處理器經配置以執行下列步驟：自感知資訊擷取裝置取得至少一使用者的位置資訊與姿態資訊；自感知資訊擷取裝置取得至少一目標物的位置資訊；判斷位於第一可透光顯示器與第二可透光顯示器前方的使用者人數；根據使用者人數、至少一使用者的位置資訊與姿態資訊以及至少一目標物的位置資訊，決定關聯於至少一使用者的至少一虛擬物件的顯示位置資訊，並根據顯示位置資訊控制第一可透光顯示器與第二可透光顯示器其中至少一者顯示對應於目標物的至少一虛擬物件。In an exemplary embodiment of the present disclosure, the above-mentioned processing device is connected to a plurality of light-transmissive displays and a plurality of sensory information acquisition devices. The processing device includes a memory and a processor connected to the memory. The memory is used to store data, and the processor is configured to perform the following steps: obtain the position information and posture information of at least one user from the sensing information acquisition device; obtain the position information of at least one target object from the sensing information acquisition device; Determine the number of users located in front of the first light-transmissible display and the second light-transmissible display; determine the number of users associated with at least one target based on the number of users, the position information and posture information of at least one user, and the position information of at least one target object. Display position information of at least one virtual object of the user, and control at least one of the first light-transmissive display and the second light-transmissible display to display at least one virtual object corresponding to the target object according to the display position information.
為讓本揭露能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。In order to make the present disclosure more obvious and understandable, embodiments are given below and described in detail with reference to the attached drawings.
本揭露的部份範例實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些範例實施例只是本揭露的一部份，並未揭示所有本揭露的可實施方式。更確切的說，這些範例實施例僅為本揭露的專利申請範圍中的方法、裝置以及系統的範例。Some exemplary embodiments of the present disclosure will be described in detail below with reference to the accompanying drawings. The component symbols cited in the following description will be regarded as the same or similar components when the same component symbols appear in different drawings. These exemplary embodiments are only part of the disclosure and do not disclose all possible implementations of the disclosure. Rather, these exemplary embodiments are only examples of methods, devices, and systems within the scope of the patent application of the present disclosure.
圖1A是根據本揭露一範例實施例的資訊顯示系統的方塊圖。首先圖1A先介紹系統中的各個構件以及配置關係，詳細功能將配合後續範例實施例的流程圖一併揭露。FIG. 1A is a block diagram of an information display system according to an exemplary embodiment of the present disclosure. First, Figure 1A first introduces the various components and configuration relationships in the system. Detailed functions will be disclosed together with the flow charts of subsequent exemplary embodiments.
請參照圖1A，本範例實施例中的資訊顯示系統10可包括多個可透光顯示器110_1、110_2、110_3、…、110_N、多個感知資訊擷取裝置120_1、120_2、120_3、…、120_N以及處理裝置130。處理裝置130可以是以無線、有線或電性連接可透光顯示器110_1～110_N與感知資訊擷取裝置120_1～120_N。Referring to FIG. 1A , the
可透光顯示器110_1～110_N可用以顯示資訊，其可包括是由單個或多個顯示裝置組合而成，顯示裝置可例如是液晶顯示器(Liquid crystal display，LCD)、場色序(Field sequential color)液晶顯示器、發光二極體(Light emitting diode，LED)顯示器、電濕潤顯示器等穿透式可透光顯示器，或者是投影式可透光顯示器。須說明的是，這些可透光顯示器110_1～110_N可以共平面或不共面的方式而相鄰設置。於一些實施例中，可透光顯示器110_1～110_N可設置為一移動載具(例如纜車、汽車、遊覽車、船隻或飛機等等)的多個窗屏，以讓使用者可於搭乘移動載具的過程中觀看外部場景物件與由可透光顯示器110_1～110_N所顯示的虛擬物件。The light-transmissive displays 110_1 to 110_N may be used to display information, which may be composed of a single or multiple display devices. The display device may be, for example, a liquid crystal display (LCD) or a field sequential color display. Transmissive light-transmissive displays such as liquid crystal displays, light emitting diode (LED) displays, electrowetting displays, or projection-type light-transmissive displays. It should be noted that these light-transmissive displays 110_1 to 110_N can be arranged adjacently in a coplanar or non-coplanar manner. In some embodiments, the light-transmissive displays 110_1 to 110_N can be configured as multiple window screens of a mobile vehicle (such as a cable car, a car, a tour bus, a ship or an airplane, etc.), so that the user can travel on the mobile vehicle. During the process of viewing external scene objects and virtual objects displayed by the light-transmissive displays 110_1˜110_N.
感知資訊擷取裝置120_1～120_N可用以擷取使用者的位置資訊與姿態資訊。感知資訊擷取裝置120_1～120_N包括用以擷取使用者資訊的感測裝置。於一些實施例中，感知資訊擷取裝置120_1～120_N可包括至少一個影像感測器或者包括至少一個影像感測器搭配至少一個深度感測器或電磁感測裝置，以朝向位於可透光顯示器110_1～110_N之前側的使用者擷取影像資料，從而對使用者進行影像辨識與定位。前述影像感測器可為可見光感測器或非可見光感測器如紅外線感測器等。此外，感知資訊擷取裝置120_1～120_N也可以包括光學***/電磁感測裝置來對使用者進行光學/電磁場的空間定位。於一些實施例中，感知資訊擷取裝置120_1～120_N還可透過各類人體姿態辨識技術來辨識使用者的四肢、軀幹及/或頭部所呈現的姿態。像是，感知資訊擷取裝置120_1～120_N可根據影像資料辨識人體骨架與人體特徵點等等，從而識別出使用者的姿態。只要是可以定位出使用者所在位置資訊以及辨識使用者的姿態資訊的裝置或其組合，皆屬於感知資訊擷取裝置120_1～120_N的範疇。The sensing information acquisition devices 120_1˜120_N can be used to acquire the user's position information and posture information. The sensing information capturing devices 120_1˜120_N include sensing devices used to capture user information. In some embodiments, the perceptual information capturing devices 120_1 to 120_N may include at least one image sensor or at least one image sensor coupled with at least one depth sensor or electromagnetic sensing device to face the light-transmissive display. The user on the front side of 110_1~110_N captures image data to perform image recognition and positioning of the user. The aforementioned image sensor may be a visible light sensor or a non-visible light sensor such as an infrared sensor. In addition, the sensing information acquisition devices 120_1 to 120_N may also include optical positioners/electromagnetic sensing devices to perform optical/electromagnetic field spatial positioning on the user. In some embodiments, the perceptual information acquisition devices 120_1˜120_N can also identify the postures of the user's limbs, torso and/or head through various human posture recognition technologies. For example, the perceptual information acquisition devices 120_1 to 120_N can identify the human skeleton, human body feature points, etc. based on the image data, thereby identifying the user's posture. As long as it is a device or a combination thereof that can locate the user's location information and identify the user's posture information, it belongs to the category of perceptual information acquisition devices 120_1 to 120_N.
另一方面，感知資訊擷取裝置120_1～120_N可用以擷取實體場景中目標物的位置資訊。感知資訊擷取裝置120_1～120_N包括用以擷取目標物資訊的感測裝置。於一些實施例中，感知資訊擷取裝置120_1～120_N可包括至少一個影像感測器或者包括至少一個影像感測器搭配至少一個深度感測器，以朝向於顯示器110_1～110_N之後側(相對於使用者的另一側)的目標物擷取影像資料，從而對目標物進行影像辨識定位。前述影像感測器可為可見光感測器或非可見光感測器如紅外線感測器等。抑或是，藉由電場或磁場感應變化以進行對空間物體偵測與定位。只要是可以定位出目標物所在位置資訊的裝置或其組合，皆屬於感知資訊擷取裝置120_1～120_N的範疇。On the other hand, the sensing information acquisition devices 120_1˜120_N can be used to acquire position information of target objects in the physical scene. The sensing information acquisition devices 120_1˜120_N include sensing devices used to acquire target object information. In some embodiments, the perceptual information capturing devices 120_1 to 120_N may include at least one image sensor or at least one image sensor and at least one depth sensor to face the rear side of the displays 110_1 to 110_N (relative to The target object on the other side of the user captures image data to perform image recognition and positioning of the target object. The aforementioned image sensor may be a visible light sensor or a non-visible light sensor such as an infrared sensor. Or, the detection and positioning of space objects can be carried out by inducing changes in electric or magnetic fields. As long as it is a device or a combination thereof that can locate the location information of the target object, it belongs to the category of sensing information acquisition devices 120_1 to 120_N.
於本揭露實施例中，上述的影像感測器可用以擷取影像並可包括具有透鏡以及感光元件的攝像鏡頭。上述的深度感測器可用以偵測深度資訊，其可以利用主動式深度感測技術或被動式深度感測技術來實現。主動式深度感測技術可藉由主動發出光源、紅外線、超音波、雷射等作為訊號搭配時差測距技術來計算深度資訊。被動式深度感測技術可以藉由兩個影像感測器以不同視角擷取其前方的兩張影像，以利用兩張影像的視差來計算深度資訊。In the embodiment of the present disclosure, the above-mentioned image sensor may be used to capture images and may include a camera lens having a lens and a photosensitive element. The above-mentioned depth sensor can be used to detect depth information, which can be implemented using active depth sensing technology or passive depth sensing technology. Active depth sensing technology can calculate depth information by actively emitting light sources, infrared, ultrasound, laser, etc. as signals together with time-lag ranging technology. Passive depth sensing technology can use two image sensors to capture two images in front of them from different viewing angles to calculate depth information using the parallax of the two images.
於一些實施例中，感知資訊擷取裝置120_1～120_N還可包括用以感測實體場景的場景資訊的感測器。像是，感知資訊擷取裝置120_1～120_N可包括全球定位系統(GPS)裝置、電子羅盤、電磁感應裝置或重力感測器等，以提供其上設置有可透光顯示器110_1～110_N的移動載具的GPS資訊、方位資訊與傾斜資訊等等給處理裝置130。In some embodiments, the sensing information capturing devices 120_1˜120_N may also include sensors for sensing scene information of the physical scene. For example, the sensory information acquisition devices 120_1 to 120_N may include a global positioning system (GPS) device, an electronic compass, an electromagnetic induction device or a gravity sensor, etc., to provide a mobile carrier with a light-transmissive display 110_1 to 110_N. The GPS information, orientation information, tilt information, etc. of the vehicle are provided to the
於一些實施例中，感知資訊擷取裝置120_1～120_N可以透過各自的通訊介面以有線或是無線的方式傳輸資訊至處理裝置130。於一些實施例中，感知資訊擷取裝置120_1～120_N具有處理器與記憶體，並具有可根據影像資料進行物件辨識與物件追蹤的計算能力。In some embodiments, the sensing information capturing devices 120_1 to 120_N can transmit information to the
處理裝置130用以控制資訊顯示系統10的作動。於一些實施例中，處理裝置130可以是一或多台計算機裝置的組合，本揭露對此不限制。當處理裝置130實施為多台計算機裝置，這些計算機裝置可以經由多個閘道裝置而彼此連接與通訊，前述閘道器支援無線傳輸協定或有線傳輸協定，本揭露對此不限制。The
於一些實施例中，處理裝置130包括記憶體131以及處理器132。記憶體131可以例如是任意型式的固定式或可移動式隨機存取記憶體(random access memory，RAM)、唯讀記憶體(read-only memory，ROM)、快閃記憶體(flash memory)、硬碟或其他類似裝置、積體電路或其組合。處理器142可以例如是中央處理單元(central processing unit，CPU)、應用處理器(application processor，AP)，或是其他可程式化之一般用途或特殊用途的微處理器(microprocessor)、數位訊號處理器(digital signal processor，DSP)、影像訊號處理器(image signal processor，ISP)、圖形處理器(graphics processing unit，GPU)或其他類似裝置、積體電路或其組合。以下範例實施例中將搭配資訊顯示系統10的各元件來說明處理裝置130執行資訊顯示方法流程的細節。In some embodiments, the
圖1B是根據本揭露一範例實施例的資訊顯示系統的示意圖。為了方便且清楚說明，圖1B以3個可透光顯示器110_1～110_3以及3個感知資訊擷取裝置120_1～120_3為範例進行說明，但本揭露不限制於此。請參照圖1B，可透光顯示器110_1相鄰設置於可透光顯示器110_2，且可透光顯示器110_2相鄰設置於可透光顯示器110_3。使用者U1與目標物Obj1分別位於可透光顯示器110_1～110_3的前側與後側。FIG. 1B is a schematic diagram of an information display system according to an exemplary embodiment of the present disclosure. For convenience and clear explanation, FIG. 1B uses three light-transmissive displays 110_1 to 110_3 and three sensing information acquisition devices 120_1 to 120_3 as an example for illustration, but the present disclosure is not limited thereto. Please refer to FIG. 1B , the light-transmissive display 110_1 is arranged adjacent to the light-transmissive display 110_2, and the light-transmissive display 110_2 is arranged adjacent to the light-transmissive display 110_3. The user U1 and the target Obj1 are respectively located on the front side and the back side of the light-transmissive displays 110_1˜110_3.
於圖1B的範例中，基於使用者U1的視線資訊與位置資訊，使用者U1可透過可透光顯示器110_3觀看疊加有目標物Obj1的虛擬物件Vf1的實體場景。虛擬物件Vf1可視為基於目標物Obj1而擴增的擴增實境內容。也就是說，處理裝置130可根據使用者U1的位置資訊與姿態資訊以及目標物Obj1的位置資訊來決定虛擬物件Vf1於可透光顯示器110_3上的顯示位置資訊。藉此，處理裝置130可根據顯示位置資訊控制可透光顯示器110_3顯示對應於目標物Obj1的虛擬物件Vf1，以讓使用者U1可透過可透光顯示器110_3看到位於目標物Obj1附近的虛擬物件Vf1。In the example of FIG. 1B , based on the line of sight information and position information of the user U1, the user U1 can view the physical scene of the virtual object Vf1 superimposed with the target object Obj1 through the light-transmissive display 110_3. The virtual object Vf1 can be regarded as augmented reality content amplified based on the target object Obj1. That is to say, the
然而，圖1B僅為示範性說明，使用者人數可不限於一位。於一些實施例中，使用者人數可以多於1，且處理裝置130可根據使用者人數來決定虛擬物件的顯示方式。此外，須說明的是，於一些實施例中，處理裝置130可利用一台以上的可透光顯示器110_1～110_3來顯示虛擬物件供一或多位使用者觀賞，以實現跨屏顯示功能。However, FIG. 1B is only an exemplary illustration, and the number of users may not be limited to one. In some embodiments, the number of users may be more than 1, and the
圖2是根據本揭露一範例實施例的資訊顯示方法的流程圖。請同時參照圖1A以及圖2，而圖2的方法流程可由圖1A的資訊顯示系統10來實現。FIG. 2 is a flowchart of an information display method according to an exemplary embodiment of the present disclosure. Please refer to FIG. 1A and FIG. 2 at the same time, and the method flow of FIG. 2 can be implemented by the
於步驟S210，處理裝置130利用感知資訊擷取裝置120_1～120_N擷取至少一使用者的位置資訊與姿態資訊。於步驟S220，處理裝置130利用感知資訊擷取裝置120_1～120_N擷取至少一目標物的位置資訊。如同前述，感知資訊擷取裝置120_1～120_N例如是可針對至少一使用者以及至少一目標物的所在位置進行定位的影像感測器、深度感測器或其組合。In step S210, the
於步驟S230，處理裝置130判斷位於第一可透光顯示器與第二可透光顯示器前方的使用者人數，其中第一可透光顯示器與第二可透光顯示器彼此相鄰設置。以圖1B為例，處理裝置130可分別判斷相鄰的可透光顯示器110_1與可透光顯示器110_2前方的使用者人數。或者，處理裝置130可分別判斷相鄰的可透光顯示器110_2與可透光顯示器110_3前方的使用者人數。又或者，處理裝置130可分別判斷相鄰的可透光顯示器110_1～110_3前方的使用者人數。處理裝置130可透過感知資訊擷取裝置120_1～120_3所擷取的影像資料來分別判斷各個可透光顯示器110_1～110_3前方的使用者人數。基於相鄰的可透光顯示器前方的使用者人數，處理裝置130可決定是單人觀看情境或多人觀看情境。In step S230, the
於步驟S240，處理裝置130根據使用者人數、至少一使用者的位置資訊與姿態資訊以及至少一目標物的位置資訊，決定關聯於至少一使用者的至少一虛擬物件的顯示位置資訊。具體而言，於一些實施例中，處理裝置130可根據相鄰的多台可透光顯示器前方的使用者人數來決定各使用者分別經由各可透光顯示器觀看虛擬物件的權限，以進一步將虛擬物件該顯示於適合的可透光顯示器上。In step S240, the
於一些實施例中，當相鄰的多台可透光顯示器前方的使用者人數等於1，單一使用者可具有經由多台可透光顯示器觀看虛擬物件的權限。於一些實施例中，當相鄰的多台可透光顯示器前方的使用者人數大於1，處理裝置130可決定這些使用者共享多台可透光顯示器，讓多個使用者可同時具有經由多台可透光顯示器觀看虛擬物件的權限。或者，於一些實施例中，當相鄰的多台可透光顯示器前方的使用者人數大於1，處理裝置130可決定這些使用者不共享多台可透光顯示器，讓各個使用者可只具有經由最靠近的一台可透光顯示器觀看虛擬物件的權限。In some embodiments, when the number of users in front of multiple adjacent light-transmissive displays is equal to 1, a single user may have permission to view virtual objects through multiple light-transmissive displays. In some embodiments, when the number of users in front of multiple adjacent light-transmissive displays is greater than 1, the
於一些實施例中，當某一使用者具有可經由多台可透光顯示器觀看虛擬物件的權限時，處理裝置130可拼接部份的感知資訊擷取裝置120_1～120_N所擷取的使用者影像。處理裝置130可根據上述拼接影像來定位該使用者，並根據該使用者的位置資訊與姿態資訊以及目標物的位置資訊進行座標轉換，以進而計算出該使用者所觀看之目標物的虛擬物件於一或多台可透光顯示器上的顯示位置資訊。於一些實施例中，處理裝置130可根據可透光顯示器110_1～110_N的尺寸與解析度獲取顯示位置資訊，而顯示位置資訊包括顯示器110_1～110_N的畫素座標系統下的畫素座標。In some embodiments, when a user has the authority to view virtual objects through multiple light-transmissive displays, the
於步驟S250，處理裝置130根據顯示位置資訊控制第一可透光顯示器與第二可透光顯示器其中至少一者顯示對應於至少一目標物的至少一虛擬物件。於一些實施例中，處理裝置130可同時透過第一可透光顯示器與第二可透光顯示器來顯示單一個虛擬物件，或者處理裝置130可先後透過第一可透光顯示器與第二可透光顯示器來顯示單一個虛擬物件。在上述各種情況下，該虛擬物件的顯示位置資訊可包括對應於第一可透光顯示器的顯示位置資訊與對應於第二可透光顯示器的顯示位置資訊。In step S250, the
以下將搭配資訊顯示系統10列舉實施例以說明本揭露不同應用情境中的實施方式。The following will enumerate embodiments with the
圖3A與圖3B是根據本揭露一範例實施例資訊顯示方法的流程圖。圖3C與圖3D是根據本揭露一範例實施例資訊顯示系統的應用情境的示意圖。請同時參照圖3A、圖3B、圖3C與圖3D。為了方便且清楚說明，圖3A至圖3D的實施例將以3個可透光顯示器110_1～110_3以及3個感知資訊擷取裝置120_1～120_3為範例進行說明，但本揭露不限制於此。3A and 3B are flowcharts of an information display method according to an exemplary embodiment of the present disclosure. 3C and 3D are schematic diagrams of an application scenario of an information display system according to an exemplary embodiment of the present disclosure. Please refer to Figure 3A, Figure 3B, Figure 3C and Figure 3D at the same time. For convenience and clear explanation, the embodiments of FIGS. 3A to 3D will be described using three light-transmissive displays 110_1 to 110_3 and three sensory information acquisition devices 120_1 to 120_3 as examples, but the present disclosure is not limited thereto.
感知資訊擷取裝置120_2可擷取使用者U1的位置資訊與姿態資訊(步驟S302)，並將使用者U1的位置資訊與姿態資訊傳輸至處理裝置130。感知資訊擷取裝置120_1～120_3中一或多者可擷取目標物Obj1的位置資訊(步驟S304)，並將目標物Obj1的位置資訊傳輸至處理裝置130。The sensing information acquisition device 120_2 can acquire the position information and posture information of the user U1 (step S302), and transmit the position information and posture information of the user U1 to the
處理裝置130判斷相鄰的可透光顯示器110_2(即第一可透光顯示器)與可透光顯示器110_3(即第二可透光顯示器)前方的使用者人數是否等於1(步驟S306)。當使用者人數等於1，處理裝置130根據至少一使用者U1的姿態資訊決定至少一使用者U1關聯於可透光顯示器110_2與可透光顯示器110_3(步驟S308)。詳細而言，若步驟S306判斷為是，代表使用者U1具有使用多台可透光顯示器的權限。於是，處理裝置130可依據至少一使用者U1的姿態資訊決定至少一使用者U1的觀看視野或視線資訊，以根據至少一使用者U1的觀看視野或視線資訊選擇至少一使用者U1目前較可能觀看的可透光顯示器110_2與可透光顯示器110_3。此外，當使用者人數大於1，於本實施例中，處理裝置130可決定各使用者使用多個可透光顯示器110_1～120_3其中之一者(步驟S316)，亦即各個使用者僅具有使用單一可透光顯示器的權限。The
接著，處理裝置130根據至少一使用者U1的位置資訊與姿態資訊以及至少一目標物Obj1的位置資訊，決定至少一虛擬物件Vf1於可透光顯示器110_2與可透光顯示器110_3的一拼接顯示平面上的融合位置資訊(步驟S310)。更詳細而言，在使用者人數等於1的情況下，處理裝置130可拼接感知資擷取裝置110_2以及感知資擷取裝置110_3所擷取的多張使用者影像(步驟S3101)。接著，處理裝置130可根據拼接影像來計算使用者U1的使用者座標(步驟S3102)。此外，在使用者人數大於1的情況下，處理裝置130可根據感知資擷取裝置110_1～110_3擷取的使用者影像來各別計算各使用者的使用者座標(步驟S3106)。以圖3C為例，使用者U2的使用者座標是根據感知資擷取裝置110_1所擷取之使用者影像而產生。Next, the
另一方面，處理裝置130可計算目標物Obj1相對於感知資訊擷取裝置120_3的相對方位(步驟S3103)。於一些實施例中，根據感知資訊擷取裝置120_3所拍攝目標物影像與目標物Obj1的GPS位置資訊，處理裝置130可識別目標物Obj1相對於感知資訊擷取裝置120_3的相對方位。舉例而言，目標物Obj1可為安裝有自動識別系統（Automatic Identification System，AIS）的移動載具，例如安裝有AIS的船舶。目標物Obj1的自動識別系統可提供目標物Obj1的GPS位置資訊、載具識別碼或其他資訊給同樣安裝有AIS的其他移動載具，即設置有資訊顯示系統100的移動載具，以使處理裝置130可獲取目標物Obj1的GPS位置資訊。或者，目標物Obj1可為陸地上的建築物。處理裝置130可根據地圖圖資獲取目標物Obj1的GPS位置資訊。於是，根據資訊顯示系統100的所在位置與目標物Obj1的GPS位置資訊，處理裝置130可計算出資訊顯示系統100的所在位置與目標物Obj1之間的距離與相對方向，以識別目標物Obj1相對於感知資訊擷取裝置120_3的相對方位。或者，於一些實施例中，處理裝置130可根據感知資訊擷取裝置120_3所拍攝的目標物影像進行物件辨識，在根據物件辨識結果所對應的預設尺寸與目標物影像上目標物Obj1的像素資料來估計目標物Obj1對於感知資訊擷取裝置120_3之間的距離與相對方位。On the other hand, the
接著，處理裝置130可根據目標物Obj1的相對方位來計算目標物Obj1的目標物座標(步驟S3104)。處理裝置130可基於視線資訊建立使用者座標與目標物座標之間的連線，以根據使用者座標與目標物座標之間的連線相交於可透光顯示器110_2與可透光顯示器110_3的拼接顯示平面的交點位置來獲取融合位置資訊(步驟S3105)。Next, the
然後，處理裝置130可根據可透光顯示器110_2的顯示範圍、可透光顯示器110_3的顯示範圍以及融合位置資訊，決定至少一虛擬物件Vf1於可透光顯示器110_2與可透光顯示器110_3其中至少一者上的顯示位置資訊(步驟S312)。更詳細而言，根據可透光顯示器110_2的顯示範圍、可透光顯示器110_3的顯示範圍，以及基於拼接顯示平面的計算而產生的融合位置資訊，處理裝置130可判斷虛擬物件Vf1該顯示於那一台可透光顯示器上或分別由兩台顯示器來同時顯示部份的虛擬物件。Then, the
於是，處理裝置130根據可透光顯示器110_2的顯示範圍、可透光顯示器110_3的顯示範圍以及融合位置資訊，判斷至少一虛擬物件Vf1是否同時位於可透光顯示器110_2的顯示範圍與可透光顯示器110_3的顯示範圍之內(步驟S3121)。Therefore, the
若步驟S3121判斷為否，於圖3C的範例中，反應於至少一虛擬物件Vf1位於可透光顯示器110_3的顯示範圍之內，處理裝置130將基於融合位置資訊計算虛擬物件於可透光顯示器110_3上的顯示位置資訊(步驟S3122)，以獲取虛擬物件Vf1於可透光顯示器110_3上的畫素座標。If the determination in step S3121 is negative, in the example of FIG. 3C , in response to at least one virtual object Vf1 being located within the display range of the light-transmissive display 110_3 , the
另一方面，若步驟S3121判斷為是，於圖3D的範例中，反應於至少一虛擬物件Vf1同時位於可透光顯示器110_2的顯示範圍與可透光顯示器110_3的顯示範圍之內，處理裝置130將至少一虛擬物件Vf1切割為對應於可透光顯示器110_2的第一子虛擬物件Vf1_1以及對應於可透光顯示器110_3的第二子虛擬物件Vf1_2(步驟S3123)。也就是說，當虛擬物件位於可透光顯示器110_2與可透光顯示器110_3的拼接交界處，處理裝置130可控制可透光顯示器110_2與可透光顯示器110_3分別顯示虛擬物件Vf1的一部分。接著，基於融合位置資訊計算第一子虛擬物件Vf1_1於可透光顯示器110_2上的第一顯示位置資訊，並基於融合位置資訊計算第二子虛擬物件Vf1_2於可透光顯示器110_3上的第二顯示位置資訊(步驟S3124)。也就是說，處理裝置130可將第一子虛擬物件Vf1_1於拼接顯示平面上的空間位置座標轉換為可透光顯示器110_2上的畫素座標，並將第二子虛擬物件Vf1_2於拼接顯示平面上的空間位置座標轉換為可透光顯示器110_3上的畫素座標。On the other hand, if step S3121 determines yes, in the example of FIG. 3D , in response to at least one virtual object Vf1 being simultaneously located within the display range of the light-transmissive display 110_2 and the display range of the light-transmissive display 110_3 , the
之後，處理裝置130可根據顯示位置資訊控制可透光顯示器110_2與可透光顯示器110_3其中至少一者顯示對應於至少一目標物Obj1的至少一虛擬物件Vf1(步驟S314)。如圖3C所示，可透光顯示器110_3將為使用者U1顯示對應於目標物Obj1的虛擬物件Vf1。如圖3D所示，可透光顯示器110_2與可透光顯示器110_3將分別為使用者U1顯示對應於目標物Obj1的虛擬物件Vf1的一部分。Afterwards, the
須說明的是，當虛擬物件中的同一字元被切割而於不同可透光顯示器中被顯示，容易因為字元破損而造成閱讀上的困難。因此，於一些實施例中，在處理虛擬物件的切割程序時候，處理裝置130可更進一步調整虛擬物件的顯示位置，以確保經切割而獲取的子虛擬物件不會具有不完整的字元。It should be noted that when the same character in a virtual object is cut and displayed on different light-transmissive displays, it is easy to cause reading difficulties due to character damage. Therefore, in some embodiments, when processing the cutting process of the virtual object, the
舉例而言，圖4是根據本揭露一範例實施例的平移虛擬物件的示意圖。請參照圖4，於一些實施例中，虛擬物件Vf2可包括多個字元。在獲取虛擬物件Vf2於拼接顯示平面PL1上的融合位置資訊之後，處理裝置130可判斷至少一虛擬物件Vf2的字元C1是否同時位於第一可透光顯示器的顯示範圍Z1與第二可透光顯示器的顯示範圍Z2之內。反應於至少一虛擬物件Vf2的字元C1同時位於第一可透光顯示器的顯示範圍Z1與第二可透光顯示器的顯示範圍Z2之內，處理裝置130基於字元C1計算一平移量Δd1，並根據平移量Δd1平移至少一虛擬物件Vf2。如圖4所示，虛擬物件Vf2可向左平移Δd1。於是，處理裝置130可將平移後的至少一虛擬物Vf2件沿顯示邊界L1切割為對應於第一可透光顯示器的第一子虛擬物件Vf2_1以及對應於第二可透光顯示器的第二子虛擬物件Vf2_2。如此一來，字元C1就可完整地由第一可透光顯示器來顯示，而不會有破損的情況發生。For example, FIG. 4 is a schematic diagram of translating a virtual object according to an exemplary embodiment of the present disclosure. Referring to FIG. 4 , in some embodiments, the virtual object Vf2 may include multiple characters. After obtaining the fusion position information of the virtual object Vf2 on the splicing display plane PL1, the
圖5A與圖5B是根據本揭露一範例實施例資訊顯示方法的流程圖。圖5C是根據本揭露一範例實施例資訊顯示系統的應用情境的示意圖。請同時參照圖5A、圖5B與圖5C。為了方便且清楚說明，圖5A至圖5C的實施例將以3個可透光顯示器110_1～110_3以及3個感知資訊擷取裝置120_1～120_3為範例進行說明，但本揭露不限制於此。5A and 5B are flowcharts of an information display method according to an exemplary embodiment of the present disclosure. FIG. 5C is a schematic diagram of an application scenario of an information display system according to an exemplary embodiment of the present disclosure. Please refer to Figure 5A, Figure 5B and Figure 5C at the same time. For convenience and clear explanation, the embodiments of FIGS. 5A to 5C will be described using three light-transmissive displays 110_1 to 110_3 and three sensing information acquisition devices 120_1 to 120_3 as an example, but the present disclosure is not limited thereto.
感知資訊擷取裝置120_1與感知資訊擷取裝置120_2分別擷取使用者U3與使用者U4的位置資訊與姿態資訊(步驟S502)，並將使用者U3與使用者U4的位置資訊與姿態資訊傳輸至處理裝置130。感知資訊擷取裝置120_1～120_3其中一或多者可擷取目標物Obj2的位置資訊(步驟S504)，並將目標物Obj2的位置資訊傳輸至處理裝置130。The perceptual information acquisition device 120_1 and the perceptual information acquisition device 120_2 respectively acquire the position information and attitude information of the user U3 and the user U4 (step S502), and transmit the position information and attitude information of the user U3 and the user U4. to the
處理裝置130判斷相鄰的可透光顯示器110_1(即第一可透光顯示器)與可透光顯示器110_2(即第二可透光顯示器)前方的使用者人數是否等於1(步驟S506)。雖然未繪示於圖5C，但基於前述實施例可知，當可透光顯示器110_1與可透光顯示器110_2前方的使用者人數等於1，處理裝置130根據該使用者的姿態資訊決定該使用者所關聯於可透光顯示器110_1與可透光顯示器110_2(步驟S508)。The
當可透光顯示器110_1與可透光顯示器110_2前方的使用者人數大於1，於圖5C的實施範例中，處理裝置130可根據多使用者U3、U4的姿態資訊決定各使用者U3、U4關聯於可透光顯示器110_1與可透光顯示器110_2(步驟S516)。亦即，多使用者U3、U4可共享可透光顯示器110_1與可透光顯示器110_2。詳細而言，當可透光顯示器110_1與可透光顯示器110_2前方的使用者人數大於1，處理裝置130可決定將使用者U3(即第一使用者)關聯於可透光顯示器110_1以及可透光顯示器110_2，並決定將使用者U4(即第二使用者)關聯於可透光顯示器110_1以及可透光顯示器110_2。When the number of users in front of the light-transmissive display 110_1 and the light-transmissive display 110_2 is greater than 1, in the implementation example of FIG. 5C , the
接著，處理裝置130根據至少一使用者U3、U4的位置資訊與姿態資訊以及至少一目標物Obj2的位置資訊，決定至少一虛擬物件Vf5於可透光顯示器110_1與可透光顯示器110_2的一拼接顯示平面上的融合位置資訊(步驟S510)。Next, the
詳細而言，步驟S5101～步驟S5105的詳細操作可參照前述實施例，於此不贅述。須注意的是，在多位使用者U3、U4共享相鄰的可透光顯示器110_1、120_2的情況下，處理裝置130將拼接感知資訊擷取裝置120_1與感知資訊擷取裝置120_2分別擷取的多張使用者影像(步驟S5106)。接著，處理裝置130將根據拼接影像來計算使用者U3、U4的視線資訊(步驟S5107)。處理裝置130判斷使用者U3、U4的視線資訊是否相交於一共同可透光顯示器(步驟S5108)。In detail, the detailed operations of steps S5101 to S5105 can be referred to the foregoing embodiments, and will not be described again here. It should be noted that when multiple users U3 and U4 share adjacent light-transmissive displays 110_1 and 120_2, the
反應於使用者U3的視線資訊與使用者U4的視線資訊皆相交於共同可透光顯示器(即可透光顯示器110_1)，處理裝置130基於拼接影像決定至少一虛擬物件Vf5於共同可透光顯示器上的顯示位置資訊。拼接影像包括具有使用者U3的第一使用者影像以及具有使用者U4的第二使用者影像。更詳細而言，若步驟S5108判斷為是，處理裝置130將依據拼接影像計算使用者U3、U4的使用者座標(步驟S5102)。此外，若步驟S5108判斷為否，處理裝置130將依據未拼接的使用者影像分別計算使用者U3、U4的使用者座標(步驟S5109)。最後，處理裝置130可決定至少一虛擬物件Vf5於拼接顯示平面上的融合位置資訊(步驟S5105)。In response to the line of sight information of user U3 and the line of sight information of user U4 intersecting on the common light-transmissive display (that is, the light-transmissive display 110_1), the
然後，處理裝置130可根據可透光顯示器110_1的顯示範圍、可透光顯示器110_2的顯示範圍以及融合位置資訊，決定至少一虛擬物件Vf5於可透光顯示器110_1與可透光顯示器110_2其中至少一者上的顯示位置資訊(步驟S512)。之後，處理裝置130根據顯示位置資訊控制可透光顯示器110_1與可透光顯示器110_2其中至少一者顯示對應於至少一目標物Obj2的至少一虛擬物件Vf5(步驟S514)。Then, the
如圖5C所示，當判斷使用者U3、U4觀看同一目標物Obj2時，處理裝置130可顯示關聯於使用者U3、U4且對應目標物Obj2的虛擬物件Vf5於可透光顯示器110_1上。此外，處理裝置130可根據使用者U3、U4各自的視線落點P1、P2來標示分別對應於使用者U3、U4的資訊指示線G1、G2。資訊指示線G2將橫跨可透光顯示器110_1與可透光顯示器110_2。然而，於其他實施例中，處理裝置130也可對應目標物Obj2的兩個虛擬物件分別顯示於可透光顯示器110_1與可透光顯示器110_2上。As shown in FIG. 5C , when it is determined that users U3 and U4 are viewing the same target Obj2, the
於一些實施例中，處理裝置130可追蹤使用者的移動狀態。由於處理裝置130可基於使用者的追蹤結果不斷地更新虛擬物件的顯示位置資訊，因此虛擬物件可反應於使用者的移動而對應移動，以達到虛擬物件跟隨使用者移動的視覺效果。舉例而言，當使用者從第一可透光顯示器前方移動至第二可透光顯示器，對應同一目標物的相同虛擬物件也可從第一可透光顯示器上移動至第二可透光顯示器上。以下將列舉一實施例以說明。In some embodiments, the
圖6A是根據本揭露一範例實施例的資訊顯示方法的流程圖。圖6B是根據本揭露一範例實施例的資訊顯示系統的應用情境的示意圖。為了方便且清楚說明，圖6與圖6B的實施例將以3個可透光顯示器110_1～110_3以及3個感知資訊擷取裝置120_1～120_3為範例進行說明，但本揭露不限制於此。FIG. 6A is a flowchart of an information display method according to an exemplary embodiment of the present disclosure. FIG. 6B is a schematic diagram of an application scenario of an information display system according to an exemplary embodiment of the present disclosure. For convenience and clear explanation, the embodiments of FIG. 6 and FIG. 6B will be described using three light-transmissive displays 110_1 to 110_3 and three sensing information acquisition devices 120_1 to 120_3 as an example, but the present disclosure is not limited thereto.
須先說明的是，於圖6B的範例中，使用者U6將從可透光顯示器110_1前方移動至可透光顯示器110_2前方。It should be noted that in the example of FIG. 6B , the user U6 will move from the front of the light-transmissive display 110_1 to the front of the light-transmissive display 110_2.
請同時參照圖6A與圖6B。感知資訊擷取裝置120_1可擷取使用者U6的位置資訊與姿態資訊(步驟S602)，並將使用者U6的位置資訊與姿態資訊傳輸至處理裝置130。感知資訊擷取裝置120_1～120_3中一或多者可擷取目標物Obj3的位置資訊(步驟S604)，並將目標物Obj3的位置資訊傳輸至處理裝置130。處理裝置130判斷位於可透光顯示器110_1與可透光顯示器110_2前方的使用者人數(步驟S606)。處理裝置130根據使用者人數、至少一使用者U6的位置資訊與姿態資訊以及至少一目標物Obj3的位置資訊，決定關聯於至少一使用者U6的至少一虛擬物件Vf6的顯示位置資訊(步驟S608)。步驟S602～S608的詳細實施方式可參照前述實施例，於此不贅述。須特別說明的是，圖6B的範例中，處理裝置130可先根據虛擬物件Vf6的顯示位置資訊而控制可透光顯示器110_1顯示對應於至少一目標物Obj3的至少一虛擬物件Vf6 (步驟S610)。Please refer to Figure 6A and Figure 6B at the same time. The sensing information acquisition device 120_1 can acquire the position information and posture information of the user U6 (step S602), and transmit the position information and posture information of the user U6 to the
之後，處理裝置130將根據感知資訊擷取裝置120_1所擷取的使用者影像來定位與追蹤使用者U6(步驟S612)。並且，使用者U6可被處理裝置130賦予一特定使用者ID，以利追蹤使用者。於使用者U6的移動過程中，處理裝置130可根據使用者U6的位置資訊與姿態資訊來計算使用者U6的視野變化(步驟S614)，且處理裝置130將根據視線偏移判斷至少一目標物Obj3是否落在使用者U6觀看可透光顯示器110_1的視野範圍內(步驟S616)。換言之，處理裝置130將根據使用者U6的視野變化來判斷使用者U6是否還可以透過可透光顯示器110_1來看到目標物Obj3。Afterwards, the
若步驟S616判斷為是，處理裝置130將根據使用者U6當前的位置資訊與姿態資訊以及目標物Obj3的位置資訊來更新虛擬物件於可透光顯示器110_1上的顯示位置資訊(步驟S620)。否則，若步驟S616判斷為否，反應於至少一目標物Obj3未落在使用者U6觀看可透光顯示器110_1的視野範圍內，處理裝置130根據使用者U6的位置資訊與姿態資訊以及至少一目標物Obj3的位置資訊決定虛擬物件Vf6於可透光顯示器110_2上的顯示位置資訊 (步驟S618)。之後，處理裝置130可根據顯示位置資訊控制可透光顯示器110_1或可透光顯示器110_2顯示對應於至少一目標物的至少一虛擬物件(步驟S622)。If the determination in step S616 is yes, the
如圖6B所示，使用者U6將從可透光顯示器110_1前方移動至可透光顯示器110_2前方。當使用者U6逐漸遠離可透光顯示器110_1，使用者U6將無法透過可透光顯示器110_1看到目標物Obj3。於是，目標物Obj3的虛擬物件Vf6可切換為由可透光顯示器110_2來顯示。藉此，目標物Obj3的虛擬物件可隨著使用者移動而對應移動，以達到虛擬物件跟隨使用者移動的視覺效果。As shown in FIG. 6B , the user U6 will move from the front of the light-transmissive display 110_1 to the front of the light-transmissive display 110_2. When the user U6 gradually moves away from the light-transmissive display 110_1, the user U6 will not be able to see the target Obj3 through the light-transmissive display 110_1. Therefore, the virtual object Vf6 of the target Obj3 can be switched to be displayed by the light-transmissive display 110_2. Thereby, the virtual object of the target Obj3 can move correspondingly as the user moves, so as to achieve the visual effect of the virtual object following the movement of the user.
須特別說明的是，於一些情境中，可能存在另一使用者U7原本就經由可透光顯示器110_2觀看目標物Obj3。因此，於一些實施例中，反應於至少一目標物Obj3未落在使用者U6觀看可透光顯示器110_1的視野範圍內，處理裝置130可根據使用者U6的位置資訊與姿態資訊、使用者U7的位置資訊與姿態資訊以及目標物的位置資訊Obj3決定虛擬物件Vf6於可透光顯示器110_2上的顯示位置資訊。亦即，當要將目標物Obj3的虛擬物件切換至可透光顯示器110_2來顯示時，處理裝置130可一起考量使用者U6與使用者U7的位置資訊與姿態資訊來決定虛擬物件Vf6於可透光顯示器110_2上的顯示位置。It should be noted that in some situations, there may be another user U7 who originally viewed the target Obj3 through the light-transmissive display 110_2. Therefore, in some embodiments, in response to the fact that at least one target Obj3 does not fall within the field of view of the user U6 viewing the light-transmissive display 110_1, the
此外，前述實施例中的多個可透光顯示器都是共面設置。然而，於一些實施例中，這些可透光顯示器可以非共面設置。舉例而言，當第一可透光顯示器與第二可透光顯示器分別為纜車上面向不同方位的觀景窗時，第一可透光顯示器的顯示平面與第二可透光顯示器的顯示平面之間可具有一夾角。以下將列舉實施例以說明此應用情境的實施方式。In addition, the plurality of light-transmissive displays in the aforementioned embodiments are arranged coplanarly. However, in some embodiments, these light-transmissive displays may be arranged non-coplanarly. For example, when the first light-transmitting display and the second light-transmitting display are viewing windows facing different directions on the cable car, the display plane of the first light-transmitting display and the display plane of the second light-transmitting display There can be an included angle between them. Examples will be listed below to illustrate the implementation of this application scenario.
圖7A、圖7B是根據本揭露一範例實施例的資訊顯示方法的流程圖。圖7C是根據本揭露一範例實施例的資訊顯示系統的應用情境的示意圖。請同時參照圖7A、圖7B圖7C。7A and 7B are flowcharts of an information display method according to an exemplary embodiment of the present disclosure. FIG. 7C is a schematic diagram of an application scenario of the information display system according to an exemplary embodiment of the present disclosure. Please refer to Figure 7A, Figure 7B and Figure 7C at the same time.
如圖7C所示，可透光顯示器110_1的顯示平面與可透光顯示器110_2的顯示平面之間可具有一夾角。感知資訊擷取裝置110_1、110_2可擷取使用者U8的位置資訊與姿態資訊(步驟S702)，並將使用者U8的位置資訊與姿態資訊傳輸至處理裝置130。感知資訊擷取裝置120_1～120_3中一或多者可擷取目標物的位置資訊(步驟S704)，並將目標物的位置資訊傳輸至處理裝置130。As shown in FIG. 7C , there may be an included angle between the display plane of the light-transmissive display 110_1 and the display plane of the light-transmissive display 110_2. The sensing information acquisition devices 110_1 and 110_2 can acquire the position information and attitude information of the user U8 (step S702), and transmit the position information and attitude information of the user U8 to the
處理裝置130判斷相鄰的可透光顯示器110_1(即第一可透光顯示器)與可透光顯示器110_2(即第二可透光顯示器)前方的使用者人數是否等於1(步驟S706)。當使用者人數等於1，處理裝置130根據至少一使用者U8的姿態資訊決定至少一使用者U8關聯於可透光顯示器110_1與可透光顯示器110_2(步驟S708)。此外，當使用者人數大於1，於本實施例中，處理裝置130可決定各使用者使用多個可透光顯示器110_1～110_3其中之一者(步驟S716)，亦即各個使用者僅具有使用單一可透光顯示器的權限。The
接著，處理裝置130根據一使用者U8的位置資訊與姿態資訊以及目標物的位置資訊，決定關聯於至少一使用者U8的至少一虛擬物件的顯示位置資訊(步驟S710)。更詳細而言，在使用者人數大於1的情況下，處理裝置130可根據感知資擷取裝置110_1～110_3擷取的使用者影像來各別計算各使用者的使用者座標(步驟S7107)。Next, the
此外，在使用者人數等於1的情況下，處理裝置130可辨識使用者U8的頭部轉向(步驟S7101)，且處理裝置130可根據使用者U8的頭部轉向選擇可透光顯示器110_1以及使用者影像(步驟S7102)。具體而言，雖然使用者U8具有經由可透光顯示器110_1與可透光顯示器110_2觀看虛擬物件的權限，但處理裝置130可根據使用者U8的頭部轉向來決定使用可透光顯示器110_1顯示虛擬物件給使用者U8觀看。此外，處理裝置130可選擇感知資訊擷取裝置120_1所擷取的使用者影像來計算使用者座標(步驟S7106)。於其他實施例中，處理裝置130還可進一步辨識使用者U8的視線方向，以根據使用者U8的視線方向選擇可透光顯示器110_1以及使用者影像。In addition, when the number of users is equal to 1, the
另一方面，處理裝置130可計算目標物的相對方位(步驟S7103)。接著，處理裝置130可根據目標物的相對方位來計算目標物的目標物座標(步驟S7104)。然後，處理裝置130可根據使用者座標與目標物座標來獲取融合位置資訊(步驟S7105)。然後，處理裝置130可根據可透光顯示器110_1的顯示範圍、可透光顯示器110_2的顯示範圍以及融合位置資訊，決定至少一虛擬物件於可透光顯示器110_1與可透光顯示器110_2其中至少一者上的顯示位置資訊(步驟S712)。之後，處理裝置130根據顯示位置資訊控制可透光顯示器110_1與可透光顯示器110_2其中至少一者顯示對應於至少一目標物的至少一虛擬物件(步驟S714)。On the other hand, the
本揭露的範例實施例所提出的資訊顯示方法及其處理裝置與資訊顯示系統，可基於相鄰的可透光顯示器前方的使用者人數來判定是單人觀看情境或多人觀看情境。當操作於單人觀看情境，可根據多台可透光顯示器來提供跨屏顯示功能。當操作於多人觀看情境，可根據不同應用情境來利用多台可透光顯示器提供跨屏幕顯示功能。本揭露實施例可即時地依據使用者位置與目標物位置，計算虛擬物件的顯示位置資訊。藉此，虛擬物件可即時地跟隨目標物或使用者來進行跨顯示器顯示，進而提升使用者的觀看體驗。除此之外，本揭露實施例可避免虛擬物件內的字元破損而於不同可透光顯示器中被顯示的情況發生，提昇虛擬物件的觀看舒適度。The information display method, its processing device, and the information display system proposed in the exemplary embodiments of the present disclosure can determine whether it is a single-person viewing situation or a multi-person viewing situation based on the number of users in front of adjacent light-transmissive displays. When operating in a single-person viewing situation, the multi-screen display function can be provided through multiple light-transmissive displays. When operating in a multi-person viewing situation, multiple light-transmissive displays can be used to provide cross-screen display functions according to different application situations. The disclosed embodiment can calculate the display position information of virtual objects in real time based on the user's position and the target object's position. In this way, virtual objects can be displayed across monitors in real time following the target object or the user, thereby enhancing the user's viewing experience. In addition, the embodiments of the present disclosure can prevent characters in virtual objects from being damaged and displayed on different light-transmissive displays, thereby improving the viewing comfort of virtual objects.
雖然本揭露已以範例實施例揭露如上，然其並非用以限定本揭露，任何所屬技術領域中具有通常知識者，在不脫離本揭露的精神和範圍內，當可作些許的更動與潤飾，故本揭露的保護範圍當視後附的申請專利範圍及其均等範圍所界定者為準。Although the disclosure has been disclosed above in the form of exemplary embodiments, this is not intended to limit the disclosure. Anyone with ordinary knowledge in the relevant technical field may make slight changes and modifications without departing from the spirit and scope of the disclosure. Therefore, the protection scope of this disclosure shall be determined by the appended patent application scope and its equivalent scope.
100:資訊顯示系統 110_1～110_N:可透光顯示器 120_1～120_N:感知資訊擷取裝置 130:處理裝置 131:記憶體 132:處理器 Vf1, Vf2, Vf5, Vf6:虛擬物件 Vf1_1, Vf1_2, Vf2_1, Vf2_2:子虛擬物件 U1, U2, U3, U4, U6, U7, U8:使用者 Obj1, Obj2, Obj3:目標物 C1:字元 Z1, Z2:顯示範圍 PL1:拼接顯示平面 P1, P2:視線落點 G1, G2:資訊指示線 S210～S250, S302～S316, S3101～S3106, S3121～S3124, S502～S516, S5101～S5109, S602～S622, S702～S716, S7101～S7107:步驟 100:Information display system 110_1～110_N: Translucent display 120_1～120_N: Perceptual information acquisition device 130: Processing device 131:Memory 132: Processor Vf1, Vf2, Vf5, Vf6: virtual objects Vf1_1, Vf1_2, Vf2_1, Vf2_2: child virtual objects U1, U2, U3, U4, U6, U7, U8: User Obj1, Obj2, Obj3: target object C1:Character Z1, Z2: display range PL1: splicing display plane P1, P2: sight point G1, G2: Information indicator line S210～S250, S302～S316, S3101～S3106, S3121～S3124, S502～S516, S5101～S5109, S602～S622, S702～S716, S7101～S7107: Steps
圖1A是根據本揭露一範例實施例的資訊顯示系統的方塊圖。 圖1B是根據本揭露一範例實施例的資訊顯示系統的示意圖。 圖2是根據本揭露一範例實施例的資訊顯示方法的流程圖。 圖3A與圖3B是根據本揭露一範例實施例的資訊顯示方法的流程圖。 圖3C與圖3D是根據本揭露一範例實施例的資訊顯示系統的應用情境的示意圖。 圖4是根據本揭露一範例實施例的平移虛擬物件的示意圖。 圖5A與圖5B是根據本揭露一範例實施例的資訊顯示方法的流程圖。 圖5C是根據本揭露一範例實施例的資訊顯示系統的應用情境的示意圖。 圖6A是根據本揭露一範例實施例的資訊顯示方法的流程圖。 圖6B是根據本揭露一範例實施例的資訊顯示系統的應用情境的示意圖。 圖7A與圖7B是根據本揭露一範例實施例的資訊顯示方法的流程圖。 圖7C是根據本揭露一範例實施例的資訊顯示系統的應用情境的示意圖。 FIG. 1A is a block diagram of an information display system according to an exemplary embodiment of the present disclosure. FIG. 1B is a schematic diagram of an information display system according to an exemplary embodiment of the present disclosure. FIG. 2 is a flowchart of an information display method according to an exemplary embodiment of the present disclosure. 3A and 3B are flowcharts of an information display method according to an exemplary embodiment of the present disclosure. 3C and 3D are schematic diagrams of an application scenario of an information display system according to an exemplary embodiment of the present disclosure. FIG. 4 is a schematic diagram of translating a virtual object according to an exemplary embodiment of the present disclosure. 5A and 5B are flowcharts of an information display method according to an exemplary embodiment of the present disclosure. FIG. 5C is a schematic diagram of an application scenario of an information display system according to an exemplary embodiment of the present disclosure. FIG. 6A is a flowchart of an information display method according to an exemplary embodiment of the present disclosure. FIG. 6B is a schematic diagram of an application scenario of an information display system according to an exemplary embodiment of the present disclosure. 7A and 7B are flowcharts of an information display method according to an exemplary embodiment of the present disclosure. FIG. 7C is a schematic diagram of an application scenario of the information display system according to an exemplary embodiment of the present disclosure.
S210~S250:步驟 S210~S250: steps
Claims (17)
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211376755.2A CN116107527A (en) | 2021-11-10 | 2022-11-04 | Information display method, processing device and information display system |
| US17/984,220 US20230162459A1 (en) | 2021-11-10 | 2022-11-09 | Method, processing device, and display system for information display |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202163278071P | 2021-11-10 | 2021-11-10 | |
| US63/278,071 | 2021-11-10 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202319906A TW202319906A (en) | 2023-05-16 |
| TWI832459B true TWI832459B (en) | 2024-02-11 |
Family
ID=87379014
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW111130006A TWI818665B (en) | 2021-11-10 | 2022-08-10 | Method, processing device, and display system for information display |
| TW111137134A TWI832459B (en) | 2021-11-10 | 2022-09-30 | Method, processing device, and display system for information display |
| TW111137587A TWI832465B (en) | 2021-11-10 | 2022-10-03 | Light-transmitting antenna |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW111130006A TWI818665B (en) | 2021-11-10 | 2022-08-10 | Method, processing device, and display system for information display |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW111137587A TWI832465B (en) | 2021-11-10 | 2022-10-03 | Light-transmitting antenna |
Country Status (1)
| Country | Link |
|---|---|
| TW (3) | TWI818665B (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105528065A (en) * | 2014-10-16 | 2016-04-27 | 迪士尼企业公司 | Displaying custom positioned overlays to a viewer |
| US20170322633A1 (en) * | 2013-05-14 | 2017-11-09 | Empire Technology Development Llc | Detection of user gestures |
| US10074346B2 (en) * | 2011-07-06 | 2018-09-11 | Sony Corporation | Display control apparatus and method to control a transparent display |
| TW202015430A (en) * | 2018-07-31 | 2020-04-16 | 日商尼康股份有限公司 | Display control system, display control method, and display control program |
| TW202017368A (en) * | 2018-10-29 | 2020-05-01 | 品臻聯合系統股份有限公司 | A smart glasses, a smart glasses system, and a method for using the smart glasses |
| TWI734024B (en) * | 2018-08-28 | 2021-07-21 | 財團法人工業技術研究院 | Direction determination system and direction determination method |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001185938A (en) * | 1999-12-27 | 2001-07-06 | Mitsubishi Electric Corp | Two-frequency common antenna, multifrequency common antenna, and two-frequency and multifrequency common array antenna |
| JP4881858B2 (en) * | 2005-04-01 | 2012-02-22 | 日本写真印刷株式会社 | Transparent antenna for vehicle and glass for vehicle with antenna |
| CN203039108U (en) * | 2013-01-16 | 2013-07-03 | 东莞理工学院 | Broadband UHF printing dipole antenna |
| US9898868B2 (en) * | 2014-11-06 | 2018-02-20 | Seiko Epson Corporation | Display device, method of controlling the same, and program |
| CN106296805B (en) * | 2016-06-06 | 2019-02-26 | 厦门铭微科技有限公司 | A kind of augmented reality human body positioning navigation method and device based on Real-time Feedback |
| TW201814320A (en) * | 2016-10-03 | 2018-04-16 | 申雲洪 | Zoom optical system for calculating coordinates of target object and method for sharing information of object capable of calculating the coordinate of an object, retrieving information of the object according to the coordinate, and sharing the information with other electronic devices |
| EP3692593B1 (en) * | 2017-10-05 | 2023-05-10 | Eastman Kodak Company | Transparent antenna |
| TWI804671B (en) * | 2019-08-28 | 2023-06-11 | 財團法人工業技術研究院 | Interaction display method and interaction display system |
| TWI793390B (en) * | 2019-12-25 | 2023-02-21 | 財團法人工業技術研究院 | Method, processing device, and display system for information display |
| CN113437504B (en) * | 2021-06-21 | 2023-08-01 | 中国科学院重庆绿色智能技术研究院 | Transparent antenna preparation method based on film lithography process and transparent antenna |
-
2022
- 2022-08-10 TW TW111130006A patent/TWI818665B/en active
- 2022-09-30 TW TW111137134A patent/TWI832459B/en active
- 2022-10-03 TW TW111137587A patent/TWI832465B/en active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10074346B2 (en) * | 2011-07-06 | 2018-09-11 | Sony Corporation | Display control apparatus and method to control a transparent display |
| US20170322633A1 (en) * | 2013-05-14 | 2017-11-09 | Empire Technology Development Llc | Detection of user gestures |
| CN105528065A (en) * | 2014-10-16 | 2016-04-27 | 迪士尼企业公司 | Displaying custom positioned overlays to a viewer |
| TW202015430A (en) * | 2018-07-31 | 2020-04-16 | 日商尼康股份有限公司 | Display control system, display control method, and display control program |
| TWI734024B (en) * | 2018-08-28 | 2021-07-21 | 財團法人工業技術研究院 | Direction determination system and direction determination method |
| TW202017368A (en) * | 2018-10-29 | 2020-05-01 | 品臻聯合系統股份有限公司 | A smart glasses, a smart glasses system, and a method for using the smart glasses |
Also Published As
| Publication number | Publication date |
|---|---|
| TWI818665B (en) | 2023-10-11 |
| TW202319906A (en) | 2023-05-16 |
| TW202320016A (en) | 2023-05-16 |
| TW202320412A (en) | 2023-05-16 |
| TWI832465B (en) | 2024-02-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5055516B2 (en) | System and method for displaying device maintenance and operation instructions using augmented reality | |
| US10146334B2 (en) | Passive optical and inertial tracking in slim form-factor | |
| EP3165939B1 (en) | Dynamically created and updated indoor positioning map | |
| US20170193679A1 (en) | Information processing apparatus and information processing method | |
| EP3596588B1 (en) | Gradual transitioning between two-dimensional and three-dimensional augmented reality images | |
| CN110168615B (en) | Information processing apparatus, information processing method, and storage medium | |
| JP2005268847A (en) | Image generating apparatus, image generating method, and image generating program | |
| US10634918B2 (en) | Internal edge verification | |
| EP3128413A1 (en) | Sharing mediated reality content | |
| US11568555B2 (en) | Dense depth computations aided by sparse feature matching | |
| US11294456B2 (en) | Perspective or gaze based visual identification and location system | |
| CN110895676B (en) | dynamic object tracking | |
| CN114514744B (en) | Multidimensional rendering | |
| JP7501044B2 (en) | DISPLAY SYSTEM, INFORMATION PROCESSING DEVICE, AND DISPLAY CONTROL METHOD FOR DISPLAY SYSTEM | |
| TWI832459B (en) | Method, processing device, and display system for information display | |
| CN112558008B (en) | Navigation method, system, equipment and medium based on optical communication device | |
| CN113923437B (en) | Information display method, processing device and display system thereof | |
| US20230162459A1 (en) | Method, processing device, and display system for information display | |
| TWI832657B (en) | Method, processing device, and display system for information display | |
| CN110726407A (en) | Positioning monitoring method and device | |
| CN112053444B (en) | Method for superposing virtual objects based on optical communication device and corresponding electronic equipment | |
| US20230244305A1 (en) | Active interactive navigation system and active interactive navigation method | |
| CN112053451B (en) | Method for superposing virtual objects based on optical communication device and corresponding electronic equipment | |
| US20230298345A1 (en) | Wearable device, information processing system, and information processing method | |
| US20230300314A1 (en) | Information processing apparatus, information processing system, and information processing method |