KR20240074487A - control method for power saving of XR devices by use of local dimming - Google Patents
control method for power saving of XR devices by use of local dimming Download PDFInfo
- Publication number
- KR20240074487A KR20240074487A KR1020220156609A KR20220156609A KR20240074487A KR 20240074487 A KR20240074487 A KR 20240074487A KR 1020220156609 A KR1020220156609 A KR 1020220156609A KR 20220156609 A KR20220156609 A KR 20220156609A KR 20240074487 A KR20240074487 A KR 20240074487A
- Authority
- KR
- South Korea
- Prior art keywords
- area
- local dimming
- power saving
- view
- display screen
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 23
- 230000002093 peripheral effect Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 16
- 238000013461 design Methods 0.000 abstract description 4
- 230000003190 augmentative effect Effects 0.000 description 8
- 238000010191 image analysis Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 241000009328 Perro Species 0.000 description 1
- 241000270666 Testudines Species 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013403 standard screening design Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
- G09G3/3406—Control of illumination source
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
- G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/0233—Improving the luminance or brightness uniformity across the screen
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
- G09G2330/02—Details of power systems and of start or stop of display operation
- G09G2330/021—Power management, e.g. power saving
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
- G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Liquid Crystal Display Device Control (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
본 발명은 일반적으로 XR 디바이스의 전력 소비를 저감하기 위한 절전 제어 기술에 관한 것이다. 특히, 본 발명은 XR 디바이스에 대해 XR 콘텐츠의 특성을 반영하여 로컬디밍 기반으로 뷰 화면 밝기를 선택적으로 제어함으로써 전력 소비를 저감하고 기능 안전성을 개선하는 로컬디밍 기반의 XR 디바이스 절전 제어 기술에 관한 것이다. 본 발명에 따르면 XR 디바이스의 전력 소비를 낮춤으로써 XR 디바이스의 동작 시간과 디스플레이 부품의 수명을 연장할 수 있을 뿐만 아니라 XR 디바이스의 무게, 부피, 디자인, 사용성을 개선할 수 있는 장점이 있다. The present invention generally relates to power saving control technology for reducing power consumption of XR devices. In particular, the present invention relates to a local dimming-based XR device power saving control technology that reduces power consumption and improves functional safety by selectively controlling the view screen brightness based on local dimming by reflecting the characteristics of XR content for the XR device. . According to the present invention, by lowering the power consumption of the XR device, the operating time of the XR device and the lifespan of the display components can be extended, as well as the weight, volume, design, and usability of the XR device can be improved.
Description
본 발명은 일반적으로 XR 디바이스의 전력 소비를 저감하기 위한 절전 제어 기술에 관한 것이다. The present invention generally relates to power saving control technology for reducing power consumption of XR devices.
특히, 본 발명은 XR 디바이스에 대해 XR 콘텐츠의 특성을 반영하여 로컬디밍 기반으로 뷰(view) 화면 밝기를 선택적으로 제어함으로써 전력 소비를 저감하고 기능 안전성을 개선하는 로컬디밍 기반의 XR 디바이스 절전 제어 기술에 관한 것이다. In particular, the present invention is a local dimming-based XR device power saving control technology that reduces power consumption and improves functional safety by selectively controlling the view screen brightness based on local dimming by reflecting the characteristics of XR content for XR devices. It's about.
최근들어 정보통신기술(ICT) 분야에서는 확장현실(XR; eXtended Reality) 기술에 대한 관심이 높다. 확장현실(XR)은 일반적으로 가상현실(VR), 증강현실(AR), 혼합현실(MR)을 총칭하는 용어이다. 가상현실(VR; Virtual Reality)은 컴퓨터그래픽(CG)으로 가상의 세계를 생성하여 표시하는 기술이고, 증강현실(AR; Augmented Reality)은 현실 세계의 영상에 컴퓨터그래픽 콘텐츠를 추가하여 표시하는 기술이고, 혼합현실(MR; Mixed Reality)은 현실 세계의 영상에 컴퓨터그래픽 콘텐츠를 독립적으로 결합 또는 믹싱하는 기술이다. 이러한 확장현실(XR; eXtended Reality) 기술은 게임, 콘서트, 실습교육, 대테러 작전, 화재 진압훈련 등 활용도가 높다.Recently, there has been a lot of interest in extended reality (XR; eXtended Reality) technology in the information and communication technology (ICT) field. Extended reality (XR) is a general term that generally refers to virtual reality (VR), augmented reality (AR), and mixed reality (MR). Virtual reality (VR) is a technology that creates and displays a virtual world using computer graphics (CG), and augmented reality (AR) is a technology that adds computer graphics content to images of the real world and displays them. , Mixed Reality (MR; Mixed Reality) is a technology that independently combines or mixes computer graphics content with images of the real world. This extended reality (XR; eXtended Reality) technology is widely used in games, concerts, hands-on training, counter-terrorism operations, and fire suppression training.
확장현실을 구현하기 위해서는 현실세계를 촬영한 영상을 분석하여 그 촬영영상에 어떠한 객체(objects, 사물)가 포함되어 있는지 인식해야 한다. 즉, 먼저 촬영영상에 객체가 포함되어 있다는 사실을 식별해야 하고, 다음으로는 그 식별된 객체가 어떠한 사물인지(예: 사람, 자동차, 개, 고양이, 거북이 등) 인식해야 한다. In order to implement extended reality, it is necessary to analyze images captured in the real world and recognize what objects (things) are included in the captured images. That is, first, it must be identified that the captured image contains an object, and then it must be recognized what kind of object the identified object is (e.g., person, car, dog, cat, turtle, etc.).
일반적으로 이러한 과정은 컴퓨터 비전(computer vision) 기반으로 복잡한 영상 분석을 통해 이루어진다. 컴퓨터 비전 기술은 카메라 촬영영상을 실시간으로 분석해야 하기 때문에 데이터 처리량이 많을 수밖에 없다. Typically, this process is accomplished through complex image analysis based on computer vision. Because computer vision technology requires analyzing camera footage in real time, the amount of data processing is bound to be high.
XR 디바이스는 통상적으로는 헤드마운트(head-mount) 방식으로 착용하는데 그에 따라 무게, 부피, 디자인, 사용성의 측면에서 상당한 제약이 있다. 이러한 XR 디바이스에서 객체인식을 수행한다면 엄청난 고성능을 구현해야 하기 때문에 상당한 어려움이 있다. 특히, 고성능 데이터 처리를 수행함에 따른 전력 소비의 측면에서 기술적 과제가 있다. XR 디바이스는 배터리를 내장하는 것이 일반적인데 배터리 용량이 커지면 무게, 부피, 디자인, 사용성 측면에서 나쁜 영향을 주게 된다. 그에 따라 소형 배터리를 장착할 수 있도록 XR 디바이스의 전력 소비를 낮출 필요가 있다. XR devices are typically worn in a head-mounted manner, which has significant limitations in terms of weight, volume, design, and usability. Performing object recognition on these XR devices poses significant challenges because it requires extremely high performance. In particular, there are technical challenges in terms of power consumption when performing high-performance data processing. It is common for XR devices to have a built-in battery, but as the battery capacity increases, it has a negative impact in terms of weight, volume, design, and usability. Accordingly, there is a need to lower the power consumption of XR devices so that small batteries can be installed.
본 발명의 목적은 일반적으로 XR 디바이스의 전력 소비를 저감하기 위한 절전 제어 기술을 제공하는 것이다. The purpose of the present invention is to provide a power saving control technology for reducing power consumption of XR devices in general.
특히, 본 발명의 목적은 XR 디바이스에 대해 XR 콘텐츠의 특성을 반영하여 로컬디밍 기반으로 뷰 화면 밝기를 선택적으로 제어함으로써 전력 소비를 저감하고 기능 안전성을 개선하는 로컬디밍 기반의 XR 디바이스 절전 제어 기술을 제공하는 것이다. In particular, the purpose of the present invention is to provide a local dimming-based XR device power saving control technology that reduces power consumption and improves functional safety by selectively controlling the view screen brightness based on local dimming by reflecting the characteristics of XR content for XR devices. It is provided.
본 발명의 해결 과제는 이 사항에 제한되지 않으며 본 명세서의 기재로부터 다른 해결 과제가 이해될 수 있다. The problem to be solved by the present invention is not limited to this matter, and other problems to be solved can be understood from the description in this specification.
상기의 목적을 달성하기 위하여 본 발명은 XR 디바이스에서 XR 콘텐츠를 재생할 때에 로컬디밍을 적용하여 XR 디바이스의 전력 소비를 저감하기 위한 로컬디밍 기반의 XR 디바이스 절전 제어 방법을 제시한다. In order to achieve the above object, the present invention proposes a local dimming-based XR device power saving control method to reduce power consumption of the XR device by applying local dimming when playing XR content on the XR device.
본 발명에 따른 로컬디밍 기반의 XR 디바이스 절전 제어 방법은, XR 디바이스에서 XR 콘텐츠를 재생하는 제 1 단계: 뷰 중앙 영역에서 그 재생 중인 XR 콘텐츠에 의한 메이저 영상블록을 식별하는 제 2 단계; 뷰 주변 영역에서 그 재생 중인 XR 콘텐츠에 의한 메이저 영상블록을 식별하는 제 3 단계; 위 식별된 메이저 영상블록에 대해 휘도를 상대적으로 더 높게 설정하도록 XR 디바이스의 표시 화면을 로컬디밍 제어하는 제 4 단계;를 포함하여 구성될 수 있다. The local dimming-based XR device power saving control method according to the present invention includes a first step of playing XR content in an XR device: a second step of identifying a major video block by the XR content being played in the center area of the view; A third step of identifying a major video block by the XR content being played in the view surrounding area; A fourth step of controlling local dimming of the display screen of the XR device to set the luminance relatively higher for the major video block identified above.
본 발명에서 제 2 단계는, XR 디바이스의 표시 화면에서 뷰 중앙 영역을 식별하는 단계; 뷰 중앙 영역에서 XR 콘텐츠가 재생 중인 영역을 메이저 영상블록으로 설정하는 단계; 뷰 중앙 영역에서 XR 디바이스의 표시 화면에서 미리 설정된 제 1 임계치 이상의 움직임이 검출된 영역을 메이저 영상블록으로 설정하는 단계; 뷰 중앙 영역에서 XR 디바이스의 표시 화면에서 미리 설정된 제 2 임계치 이상의 명도를 갖는 영역을 메이저 영상블록으로 설정하는 단계;를 포함하여 구성될 수 있다. The second step in the present invention includes identifying a central view area on the display screen of the XR device; Setting the area where XR content is being played in the view center area as a major video block; Setting an area in the view center area where movement greater than a preset first threshold is detected on the display screen of the XR device as a major image block; It may be configured to include; setting an area in the view center area having a brightness higher than a preset second threshold on the display screen of the XR device as a major image block.
본 발명에서 제 3 단계는, XR 디바이스의 표시 화면에서 뷰 주변 영역을 식별하는 단계; 뷰 주변 영역에서 XR 디바이스의 표시 화면에서 미리 설정된 제 3 임계치 이상의 움직임이 검출된 영역을 메이저 영상블록으로 설정하는 단계; 뷰 주변 영역에서 XR 디바이스의 표시 화면에서 미리 설정된 제 4 임계치 이상의 명도를 갖는 영역을 메이저 영상블록으로 설정하는 단계;를 포함하여 구성될 수 있다.The third step in the present invention includes identifying a view surrounding area on the display screen of the XR device; Setting an area in the view surrounding area where movement greater than a preset third threshold is detected on the display screen of the XR device as a major image block; It may be configured to include; setting an area with a brightness higher than a preset fourth threshold on the display screen of the XR device in the view peripheral area as a major image block.
본 발명에 따른 로컬디밍 기반의 XR 디바이스 절전 제어 방법은, XR 디바이스의 주변 조도에 대응하여 XR 디바이스의 화면 밝기를 디밍 제어하는 제 5 단계;를 더 포함하여 구성될 수 있다. The local dimming-based XR device power saving control method according to the present invention may further include a fifth step of controlling the screen brightness of the XR device by dimming in response to the surrounding illumination of the XR device.
한편, 본 발명에 따른 컴퓨터프로그램은 컴퓨터에 이상과 같은 로컬디밍 기반의 XR 디바이스 절전 제어 방법을 실행시키기 위하여 비휘발성 저장매체에 저장된 것이다.Meanwhile, the computer program according to the present invention is stored in a non-volatile storage medium in order to execute the above local dimming-based XR device power saving control method on the computer.
본 발명에 따르면 XR 디바이스의 전력 소비를 낮춤으로써 XR 디바이스의 동작 시간과 디스플레이 부품의 수명을 연장할 수 있을 뿐만 아니라 XR 디바이스의 무게, 부피, 디자인, 사용성을 개선할 수 있는 장점이 있다. According to the present invention, by lowering the power consumption of the XR device, the operating time of the XR device and the lifespan of the display components can be extended, as well as the weight, volume, design, and usability of the XR device can be improved.
[도 1]은 본 발명에 따른 로컬디밍 기반의 XR 디바이스 절전 제어 프로세스의 순서도.
[도 2]는 본 발명에서 뷰 중앙 영역에서 메이저 영상블록을 식별하는 과정의 순서도.
[도 3]은 본 발명에서 뷰 주변 영역에서 메이저 영상블록을 식별하는 과정의 순서도.
[도 4]는 본 발명에 따라 XR 표시 화면에 로컬 디밍을 적용한 예시도. [Figure 1] is a flowchart of the local dimming-based XR device power saving control process according to the present invention.
[Figure 2] is a flowchart of the process of identifying a major image block in the central area of the view in the present invention.
[Figure 3] is a flowchart of the process of identifying a major video block in the area surrounding the view in the present invention.
[Figure 4] is an example of local dimming applied to the XR display screen according to the present invention.
이하에서는 도면을 참조하여 본 발명을 상세하게 설명한다. Hereinafter, the present invention will be described in detail with reference to the drawings.
본 발명을 설명함에 있어서 종래기술과 중복되는 부분에 대해서는 자세한 설명을 생략할 수 있다. In describing the present invention, detailed description of parts that overlap with the prior art may be omitted.
[도 1]은 본 발명에 따른 로컬디밍 기반의 XR 디바이스 절전 제어 프로세스의 순서도이다. [Figure 1] is a flowchart of the local dimming-based XR device power saving control process according to the present invention.
본 발명은 XR 디바이스에서 XR 콘텐츠를 재생할 때에 로컬디밍을 적용하여 XR 디바이스의 전력 소비를 저감하는 기술이다. The present invention is a technology that reduces power consumption of an XR device by applying local dimming when playing XR content on the XR device.
일반적으로 로컬 디밍(local dimming)은 디스플레이 패널의 백라이트(backlight)를 다수의 영역으로 구분하고 영상에 연계하여 휘도를 조절하는 기술이다. 영상 프레임 내에 어두운 부분과 밝은 부분이 있을 때, 영상에서 어두운 영역은 백라이트를 어둡게 하거나 아예 끄고 밝은 영역은 백라이트를 밝게 켜주는 것이다. 디스플레이 패널에 풀어레이(full-array) LED 백라이트, 미니 LED 디스플레이, OLED 등이 적용됨에 따라 로컬디밍이 가능해졌다. 이러한 로컬디밍을 통해 딥블랙(deep black) 또는 리얼블랙(real black)을 구현할 수 있으므로 콘트라스트(contrast)가 개선된다. In general, local dimming is a technology that divides the backlight of a display panel into multiple areas and adjusts luminance in connection with the image. When there are dark and bright parts within an image frame, the backlight is darkened or turned off completely in the dark areas of the image, and the backlight is brightly turned on in the bright areas. Local dimming became possible as full-array LED backlight, mini LED display, and OLED were applied to the display panel. Through this local dimming, deep black or real black can be achieved, thereby improving contrast.
이하에서 본 발명에 따른 로컬디밍 기반의 XR 디바이스 절전 제어 프로세스를 구체적으로 살펴본다. Below, we will look at the local dimming-based XR device power saving control process according to the present invention in detail.
단계 (S110) : 먼저, XR 디바이스에서 XR 콘텐츠를 재생한다. Step (S110): First, play XR content on the XR device.
증강현실(AR)의 경우를 예로 들면, 사용자가 헤드마운트 디바이스를 머리에 쓰고 AR 모드로 작동을 시켰을 때에, 사용자 앞에 실제로 놓여진 현실세계가 XR 디바이스의 카메라로 촬영되어 화면에 표시되거나 혹은 반투명 전면커버를 통해 사용자가 볼 수 있는 상황이 만들어지며, 그 위에서 XR 콘텐츠가 증강현실 기술에 의해 합성 재생된다. For example, in the case of augmented reality (AR), when a user puts a head-mounted device on his head and operates it in AR mode, the real world actually placed in front of the user is captured by the camera of the XR device and displayed on the screen or through a translucent front cover. A situation is created that the user can view, and XR content is synthesized and played on top of it using augmented reality technology.
단계 (S120, S130) : 다음으로, XR 디바이스는 뷰 중앙 영역과 뷰 주변 영역에서 그 재생 중인 XR 콘텐츠에 의한 메이저 영상블록을 식별한다(S120, S130). Steps (S120, S130): Next, the XR device identifies a major video block by the XR content being played in the view center area and the view peripheral area (S120, S130).
본 발명에서는 XR 디바이스의 표시 화면(뷰 화면)에서 메이저 영상블록(major image blocks)과 마이너 영상블록(minor image blocks)을 구분하고, 이를 이용하여 디밍제어를 수행한다. In the present invention, major image blocks and minor image blocks are distinguished on the display screen (view screen) of the XR device, and dimming control is performed using these.
뷰 중앙 영역에서 메이저 영상블록을 식별하는 과정은 [도 2]를 참조하여 후술하고, 뷰 주변 영역에서 메이저 영상블록을 식별하는 과정은 [도 3]을 참조하여 후술한다. The process of identifying a major image block in the view center area will be described later with reference to [FIG. 2], and the process of identifying a major image block in the view peripheral area will be described later with reference to [FIG. 3].
단계 (S140) : 다음으로, XR 디바이스는 앞의 (S120, S130)에서 식별된 메이저 영상블록에 대해 휘도를 상대적으로 더 높게 설정하도록 XR 디바이스의 표시 화면을 로컬디밍 제어한다. Step (S140): Next, the XR device controls local dimming of the display screen of the XR device to set the luminance relatively higher for the major video block identified in (S120, S130).
개념적으로는 XR 디바이스의 표시 화면에서 주요 부분(메이저 영상블록)은 밝게 표시하고 덜중요한 부분(마이너 영상블록)은 어둡게 표시한다. 바람직하게는 마이너 영상블록에 대해서는 광원을 아예 오프(off)시킴으로써 전력 소비를 크게 절감한다. Conceptually, on the display screen of an XR device, major parts (major video blocks) are displayed brightly and less important parts (minor video blocks) are displayed darkly. Preferably, power consumption is greatly reduced by turning off the light source for minor image blocks.
단계 (S150) : 또한, XR 디바이스는 주변 조도에 대응하여 XR 디바이스의 화면 밝기를 디밍 제어할 수 있다. 예를 들면, XR 디바이스의 주변이 어두운 경우에는 XR 디바이스의 화면 밝기를 어둡게 설정할 수 있으며, 이를 통해 XR 디바이스의 전력 소비를 추가로 저감할 수 있다. Step (S150): Additionally, the XR device may dim the screen brightness of the XR device in response to the surrounding illumination. For example, if the surroundings of the XR device are dark, the screen brightness of the XR device can be set dark, which can further reduce the power consumption of the XR device.
[도 2]는 본 발명에서 뷰 중앙 영역에서 메이저 영상블록을 식별하는 과정의 순서도이다. [Figure 2] is a flowchart of the process of identifying a major video block in the central area of the view in the present invention.
먼저, XR 디바이스의 표시 화면에서 뷰 중앙 영역을 식별한다(S210). 일 실시예로서 XR 디바이스의 표시 화면에서 뷰 중앙 영역의 부분은 미리 설정되어 있다. First, the view center area is identified on the display screen of the XR device (S210). In one embodiment, the central view area on the display screen of the XR device is preset.
다음으로, XR 디바이스는 뷰 중앙 영역에서 XR 콘텐츠가 재생 중인 영역은 메이저 영상블록으로 설정한다(S220). XR 디바이스는 사용자가 머리에 쓴 상태에서 사용하므로 뷰 중앙 영역은 사용자가 현재 중요하게 바라보고 있는 지점일 가능성이 높다. 따라서, 뷰 중앙 영역에 무언가 XR 콘텐츠가 재생되고 있다면 메이저 영상블록으로 설정한다. Next, the XR device sets the area where XR content is being played in the center area of the view as a major video block (S220). Since the XR device is used while the user is wearing it on the head, the central area of view is likely to be the point the user is currently looking at. Therefore, if some XR content is playing in the central area of the view, set it as a major video block.
다음으로, XR 디바이스는 뷰 중앙 영역에서 XR 디바이스의 표시 화면에서 미리 설정된 제 1 임계치 이상의 움직임이 검출된 영역을 메이저 영상블록으로 설정한다(S230). 증강현실 모드인 경우를 예로 들면, 사용자 앞의 현실세계에서 무언가 실질적인 움직임이 있다면 그 표시 부분은 메이저 영상블록으로 설정한다. 움직임 검출은 영상 분석을 통해서 달성할 수도 있고, 영상 파싱을 통해 얻어지는 움직임 벡터에 기초하여 달성할 수도 있다. Next, the XR device sets the area in the view center area where movement greater than a preset first threshold is detected on the display screen of the XR device as a major image block (S230). For example, in the case of augmented reality mode, if there is actual movement in the real world in front of the user, the display portion is set to a major video block. Motion detection may be achieved through image analysis, or may be achieved based on motion vectors obtained through image parsing.
다음으로, XR 디바이스는 뷰 중앙 영역에서 XR 디바이스의 표시 화면에서 미리 설정된 제 2 임계치 이상의 명도를 갖는 영역, 즉 일정 수준 이상으로 밝은 부분을 메이저 영상블록으로 설정한다(S240). 증강현실 모드인 경우를 예로 들면, 사용자 앞의 현실세계에서 무언가 밝은 물체가 있다면 그 표시 부분은 메이저 영상블록으로 설정한다. Next, the XR device sets an area in the view center area with a brightness higher than a preset second threshold on the display screen of the XR device, that is, a portion brighter than a certain level, as a major image block (S240). For example, in the case of augmented reality mode, if there is a bright object in the real world in front of the user, the display part is set as a major image block.
이때, 제 1 및 제 2 임계치는 콘텐츠에 따라 상이하게 설정할 수도 있고, 사용자의 조작에 의해 조정할 수도 있다. At this time, the first and second thresholds may be set differently depending on the content, or may be adjusted through user manipulation.
[도 3]은 본 발명에서 뷰 주변 영역에서 메이저 영상블록을 식별하는 과정의 순서도이다. [Figure 3] is a flow chart of the process of identifying a major video block in the area surrounding the view in the present invention.
먼저, XR 디바이스의 표시 화면에서 뷰 주변 영역을 식별한다(S310). 일 실시예로서 XR 디바이스의 표시 화면에서 뷰 주변 영역의 부분은 미리 설정되어 있다. First, the area around the view is identified on the display screen of the XR device (S310). In one embodiment, a portion of the view peripheral area on the display screen of the XR device is preset.
다음으로, XR 디바이스는 뷰 주변 영역에서 XR 디바이스의 표시 화면에서 미리 설정된 제 3 임계치 이상의 움직임이 검출된 영역을 메이저 영상블록으로 설정한다(S320). 증강현실 모드인 경우를 예로 들면, 사용자 앞의 현실세계 또는 XR 콘텐츠에서 무언가 실질적인 움직임이 있다면 그 부분은 메이저 영상블록으로 설정한다. 움직임 검출은 영상 분석을 통해서 달성할 수도 있고, 영상 파싱을 통해 얻어지는 움직임 벡터에 기초하여 달성할 수도 있다. Next, the XR device sets the area in the view surrounding area where movement greater than a preset third threshold is detected on the display screen of the XR device as a major image block (S320). For example, in the case of augmented reality mode, if there is actual movement in the real world or XR content in front of the user, that part is set as a major video block. Motion detection may be achieved through image analysis, or may be achieved based on motion vectors obtained through image parsing.
다음으로, XR 디바이스는 뷰 주변 영역에서 XR 디바이스의 표시 화면에서 미리 설정된 제 4 임계치 이상의 명도를 갖는 영역을 메이저 영상블록으로 설정한다(S330). 증강현실 모드인 경우를 예로 들면, 사용자 앞의 현실세계 또는 XR 콘텐츠에서 무언가 밝은 물체가 있다면 그 표시 부분은 메이저 영상블록으로 설정한다. Next, the XR device sets an area in the view peripheral area with a brightness higher than a preset fourth threshold on the display screen of the XR device as a major image block (S330). For example, in the case of augmented reality mode, if there is a bright object in the real world or XR content in front of the user, the display part is set as a major video block.
이때, 제 3 및 제 4 임계치는 콘텐츠에 따라 상이하게 설정할 수도 있고, 사용자의 조작에 의해 조정할 수도 있다. At this time, the third and fourth thresholds may be set differently depending on the content, or may be adjusted through user manipulation.
[도 4]는 본 발명에 따라 XR 표시 화면에 로컬 디밍을 적용한 예시도이다. [Figure 4] is an example of local dimming applied to the XR display screen according to the present invention.
[도 4]에서 사각형 부분은 휘도가 상대적으로 더 높게 설정되는 영역이고, 나머지 부분은 휘도가 상대적으로 더 낮게 설정되거나 바람직하게는 아예 광원이 꺼진 영역이다. 이를 통해 XR 디바이스의 전력 소비를 저감하고 명암비를 높일 수 있다. In [Figure 4], the rectangular portion is an area where the luminance is set to be relatively high, and the remaining portion is an area where the luminance is set to be relatively low or, preferably, the light source is completely turned off. This can reduce the power consumption of XR devices and increase contrast ratio.
한편, 본 발명은 컴퓨터가 읽을 수 있는 비휘발성 기록매체에 컴퓨터가 읽을 수 있는 코드의 형태로 구현되는 것이 가능하다. 이러한 비휘발성 기록매체로는 다양한 형태의 스토리지 장치가 존재하는데 예컨대 하드디스크, SSD, CD-ROM, NAS, 자기테이프, 웹디스크, 클라우드 디스크 등이 있다. 또한, 본 발명은 네트워크로 연결된 다수의 스토리지 장치에 코드가 분산 저장되고 실행되는 형태로도 구현될 수 있다. 또한, 본 발명은 하드웨어와 결합되어 특정의 절차를 실행시키기 위하여 매체에 저장된 컴퓨터프로그램의 형태로 구현될 수도 있다. Meanwhile, the present invention can be implemented in the form of computer-readable code on a computer-readable non-volatile recording medium. These non-volatile recording media include various types of storage devices, such as hard disks, SSDs, CD-ROMs, NAS, magnetic tapes, web disks, and cloud disks. Additionally, the present invention can be implemented in a form in which code is distributed and stored and executed in a plurality of storage devices connected through a network. Additionally, the present invention may be implemented in the form of a computer program stored on a medium in order to execute a specific procedure in combination with hardware.
Claims (5)
XR 디바이스에서 XR 콘텐츠를 재생하는 제 1 단계:
뷰 중앙 영역에서 상기 재생 중인 XR 콘텐츠에 의한 메이저 영상블록을 식별하는 제 2 단계;
뷰 주변 영역에서 상기 재생 중인 XR 콘텐츠에 의한 메이저 영상블록을 식별하는 제 3 단계;
상기 식별된 메이저 영상블록에 대해 휘도를 상대적으로 더 높게 설정하도록 상기 XR 디바이스의 표시 화면을 로컬디밍 제어하는 제 4 단계;
를 포함하여 구성되는 로컬디밍 기반의 XR 디바이스 절전 제어 방법.
A local dimming-based XR device power saving control method for reducing power consumption of the XR device by applying local dimming when playing XR content on the XR device,
Step 1 to play XR content on your XR device:
A second step of identifying a major video block by the XR content being played in the view center area;
A third step of identifying a major video block by the XR content being played in a view peripheral area;
A fourth step of controlling local dimming of the display screen of the XR device to set luminance relatively higher for the identified major video block;
Local dimming-based XR device power saving control method comprising:
상기 제 2 단계는,
상기 XR 디바이스의 표시 화면에서 뷰 중앙 영역을 식별하는 단계;
상기 뷰 중앙 영역에서 XR 콘텐츠가 재생 중인 영역을 메이저 영상블록으로 설정하는 단계;
상기 뷰 중앙 영역에서 상기 XR 디바이스의 표시 화면에서 미리 설정된 제 1 임계치 이상의 움직임이 검출된 영역을 메이저 영상블록으로 설정하는 단계;
상기 뷰 중앙 영역에서 상기 XR 디바이스의 표시 화면에서 미리 설정된 제 2 임계치 이상의 명도를 갖는 영역을 메이저 영상블록으로 설정하는 단계;
를 포함하여 구성되는 것을 특징으로 하는 로컬디밍 기반의 XR 디바이스 절전 제어 방법.
In claim 1,
The second step is,
identifying a central view area on the display screen of the XR device;
Setting the area where XR content is being played in the view center area as a major video block;
setting an area in the view center area in which movement greater than a preset first threshold value is detected on the display screen of the XR device as a major image block;
setting an area in the view center area having a brightness higher than a preset second threshold on the display screen of the XR device as a major image block;
Local dimming-based XR device power saving control method comprising:
상기 제 3 단계는,
상기 XR 디바이스의 표시 화면에서 뷰 주변 영역을 식별하는 단계;
상기 뷰 주변 영역에서 상기 XR 디바이스의 표시 화면에서 미리 설정된 제 3 임계치 이상의 움직임이 검출된 영역을 메이저 영상블록으로 설정하는 단계;
상기 뷰 주변 영역에서 상기 XR 디바이스의 표시 화면에서 미리 설정된 제 4 임계치 이상의 명도를 갖는 영역을 메이저 영상블록으로 설정하는 단계;
를 포함하여 구성되는 것을 특징으로 하는 로컬디밍 기반의 XR 디바이스 절전 제어 방법.
In claim 2,
The third step is,
identifying a view peripheral area on a display screen of the XR device;
Setting an area in the view peripheral area where movement exceeding a preset third threshold is detected on the display screen of the XR device as a major image block;
setting an area in the view peripheral area having a brightness higher than a preset fourth threshold on the display screen of the XR device as a major image block;
A local dimming-based XR device power saving control method comprising:
상기 XR 디바이스의 주변 조도에 대응하여 상기 XR 디바이스의 화면 밝기를 디밍 제어하는 제 5 단계;
를 더 포함하여 구성되는 로컬디밍 기반의 XR 디바이스 절전 제어 방법.
In claim 3,
A fifth step of dimming and controlling the screen brightness of the XR device in response to the surrounding illumination of the XR device;
A local dimming-based XR device power saving control method further comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220156609A KR20240074487A (en) | 2022-11-21 | 2022-11-21 | control method for power saving of XR devices by use of local dimming |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220156609A KR20240074487A (en) | 2022-11-21 | 2022-11-21 | control method for power saving of XR devices by use of local dimming |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240074487A true KR20240074487A (en) | 2024-05-28 |
Family
ID=91277226
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220156609A KR20240074487A (en) | 2022-11-21 | 2022-11-21 | control method for power saving of XR devices by use of local dimming |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20240074487A (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101588901B1 (en) | 2009-11-24 | 2016-02-12 | 엘지디스플레이 주식회사 | Liquid crystal display and local dimming control method of thereof |
| KR20210080986A (en) | 2019-12-23 | 2021-07-01 | 주식회사 실리콘웍스 | Image data processing apparatus and display device for controlling local dimming |
| KR102370445B1 (en) | 2016-03-04 | 2022-03-03 | 매직 립, 인코포레이티드 | Reduced Current Drain in AR/VR Display Systems |
| KR20220116576A (en) | 2008-12-19 | 2022-08-23 | 가부시키가이샤 한도오따이 에네루기 켄큐쇼 | Head mounted display device |
-
2022
- 2022-11-21 KR KR1020220156609A patent/KR20240074487A/en unknown
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220116576A (en) | 2008-12-19 | 2022-08-23 | 가부시키가이샤 한도오따이 에네루기 켄큐쇼 | Head mounted display device |
| KR101588901B1 (en) | 2009-11-24 | 2016-02-12 | 엘지디스플레이 주식회사 | Liquid crystal display and local dimming control method of thereof |
| KR102370445B1 (en) | 2016-03-04 | 2022-03-03 | 매직 립, 인코포레이티드 | Reduced Current Drain in AR/VR Display Systems |
| KR20210080986A (en) | 2019-12-23 | 2021-07-01 | 주식회사 실리콘웍스 | Image data processing apparatus and display device for controlling local dimming |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9727996B2 (en) | Modifying virtual object display properties to increase power performance of augmented reality devices | |
| US7614011B2 (en) | Apparatus and method for display power saving | |
| KR101958870B1 (en) | Display control method and apparatus for power saving | |
| US10810773B2 (en) | Headset display control based upon a user's pupil state | |
| CA2786454C (en) | Enhancement of images for display on liquid crystal displays | |
| US20130248691A1 (en) | Methods and Systems for Sensing Ambient Light | |
| CN110168616A (en) | Superposition contrast control in augmented reality display | |
| US11120771B2 (en) | Frame-rate based illumination control at display device | |
| Wee et al. | Adaptive display power management for OLED displays | |
| US20150269907A1 (en) | Adjustment of display intensity | |
| US10277943B2 (en) | Selective rendering of sparse peripheral displays based on user movements | |
| US9633607B1 (en) | Adaptive RGBW conversion | |
| US20140198084A1 (en) | Method and system for display brightness and color optimization | |
| US20180261166A1 (en) | Transitioning between mixed, augmented, and/or virtual reality display modes | |
| CN110447053B (en) | Selective rendering of sparse peripheral display based on elemental saliency | |
| US10360704B2 (en) | Techniques for providing dynamic multi-layer rendering in graphics processing | |
| US9870752B2 (en) | Display dimming in response to user | |
| KR20240074487A (en) | control method for power saving of XR devices by use of local dimming | |
| US20200402445A1 (en) | Software Based Partial Display Dimming | |
| US11423621B1 (en) | Adaptive rendering in artificial reality environments | |
| CN113542499A (en) | Intelligent light sensing method and structure of mobile phone and mobile phone | |
| WO2020125049A1 (en) | Image processing method employing backlight adjustment, smart television, and storage medium | |
| CN117765275A (en) | On-head detection based on analog proximity sensor using IR camera | |
| Hoffman et al. | 81‐2: Visual Quality of Global Dimming Backlight with High Contrast Liquid Crystal Panel for High Dynamic Range Displays | |
| CN115145384A (en) | Display method and electronic device |