KR20230003218A - Multifocal image generating device, head-up display device, related method, and device - Google Patents
Multifocal image generating device, head-up display device, related method, and device Download PDFInfo
- Publication number
- KR20230003218A KR20230003218A KR1020227042117A KR20227042117A KR20230003218A KR 20230003218 A KR20230003218 A KR 20230003218A KR 1020227042117 A KR1020227042117 A KR 1020227042117A KR 20227042117 A KR20227042117 A KR 20227042117A KR 20230003218 A KR20230003218 A KR 20230003218A
- Authority
- KR
- South Korea
- Prior art keywords
- focal length
- image generating
- focal
- length adjuster
- imaging
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000003384 imaging method Methods 0.000 claims abstract description 115
- 230000003287 optical effect Effects 0.000 claims abstract description 9
- 238000009826 distribution Methods 0.000 claims description 24
- 239000011521 glass Substances 0.000 claims description 5
- 230000001678 irradiating effect Effects 0.000 claims description 2
- 239000003086 colorant Substances 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 20
- 239000004973 liquid crystal related substance Substances 0.000 description 5
- 239000005357 flat glass Substances 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 230000010287 polarization Effects 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
- B60K35/23—Head-up displays [HUD]
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/40—Optical focusing aids
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- B60K2370/1529—
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0185—Displaying image at variable distance
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Instrument Panels (AREA)
- Liquid Crystal (AREA)
Abstract
다초점 화상 생성 장치, 헤드-업 디스플레이 장치, 관련 방법 및 디바이스가 제공된다. 다초점 화상 생성 장치는 화상 생성 유닛, 광 분열기(203), 및 초점 길이 조정기(204)를 포함한다. 화상 생성 유닛은 다초점 화상 생성 장치의 제1 초점 평면을 생성하도록 구성된다. 광 분열기(203)는, 화상 생성 유닛에 대해 광 분열을 수행하도록, 그리고 광 분열을 통해 획득되는 광 빔을 초점 길이 조정기(204)의 표면 상에 조사하도록 구성된다. 초점 길이 조정기(204)는 초점 길이 조정기(204)의 표면 상에 조사되는 광 빔에 대해 초점 길이 조정을 수행하여, 다초점 화상 생성 장치의 제2 초점 평면을 생성하도록 구성된다. 초점 길이 조정기(204)를 사용하여 초점 길이가 유연하게 조정되어, 임의의 초점 길이의 지속적인 조정가능성이 구현될 수 있고, 임의의 수량의 초점 평면들(또는 촬상 평면들) 및 임의의 위치에 있는 초점 평면이 구현될 수 있다.A multifocal image generating device, a head-up display device, and related methods and devices are provided. The multifocal image generating device includes an image generating unit, an optical splitter 203, and a focal length adjuster 204. The image generating unit is configured to generate a first focal plane of the multifocal image generating device. The optical splitter 203 is configured to perform light splitting on the image generating unit, and to irradiate a light beam obtained through light splitting onto the surface of the focal length adjuster 204 . The focal length adjuster 204 is configured to perform focal length adjustment on the light beam irradiated onto the surface of the focal length adjuster 204 to generate a second focal plane of the multifocal image generating device. The focal length can be flexibly adjusted using the focal length adjuster 204, so that continuous adjustability of any focal length can be realized, with any number of focal planes (or imaging planes) and at any location. A focal plane may be implemented.
Description
본 출원은 2020년 5월 15일자로 중국 특허청에 출원되고 발명의 명칭이 "MULTI-FOCAL PICTURE GENERATION APPARATUS, HEAD-UP DISPLAY APPARATUS, RELATED METHOD, AND DEVICE"인 중국 특허 출원 제202010413996.4호에 대한 우선권을 주장하며, 그 전체가 본 명세서에 참조로 원용된다.Priority to Chinese Patent Application No. 202010413996.4 filed with the Chinese Intellectual Property Office on May 15, 2020 and entitled "MULTI-FOCAL PICTURE GENERATION APPARATUS, HEAD-UP DISPLAY APPARATUS, RELATED METHOD, AND DEVICE" claim, which is incorporated herein by reference in its entirety.
<기술 분야><Technical fields>
본 출원은 화상 디스플레이 기술들의 분야에, 특히, 다초점 화상 생성 장치, 헤드-업 디스플레이 장치, 및 관련 방법에 관련된다.This application relates to the field of image display technologies, in particular, a multifocal image generating device, a head-up display device, and a related method.
병렬 디스플레이 시스템이라고 또한 지칭되는, 헤드-업 디스플레이(Head-up display, HUD)는 운전자-중심 다기능 대시보드이다. 헤드-업 디스플레이는, 운전자의 전방에 있는 유리창 상에, 시간 당 속도 및 내비게이션과 같은, 중요한 주행 정보를 투사하기 위해 사용되어, 운전자는, 머리를 내리거나 또는 돌리지 않고, 시간 당 속도 및 내비게이션과 같은, 중요한 주행 정보를 가능한 많이 볼 수 있다. 도 1은 HUD의 디스플레이 인터페이스의 개략도이다. 도 1에 도시되는 바와 같이, HUD 상에 디스플레이되는 화상은 시간 당 속도 "4 km/h" 및 내비게이션 "20 m 우회전 화살표"와 같은 정보를 포함한다.A head-up display (HUD), also referred to as a side-by-side display system, is a driver-centric multifunction dashboard. A head-up display is used to project important driving information, such as hourly speed and navigation, onto the windshield in front of the driver, so that the driver can view the hourly speed and navigation and navigation information without lowering or turning his head. You can view as much of the same, important driving information as possible. 1 is a schematic diagram of a display interface of a HUD. As shown in Fig. 1, the image displayed on the HUD includes information such as an hourly speed "4 km/h" and a navigation "20 m right turn arrow".
그러나, 공통 HUD 상에 디스플레이되는 화상과 실제 도로 상의 객체는 동일한 초점 평면 상에 있지 않기 때문에, 운전자의 시야는, 눈의 초점을 조정하기 위해, 도로 상의 객체와 HUD의 촬상 평면 사이에서 왔다갔다 전환할 필요가 있다. 현재의 HUD는 머리 내림 문제를 해결하지만, 빈번한 초점 조정은 시각적 피로를 또한 야기하여, 사용자 경험을 저하시킨다. 증강 현실(Augmented reality, AR)에 진정으로 기초하는 HUD를 구현하기 위해서는, 화상 생성 장치의 다초점 평면 촬상의 기술적 문제를 해결할 필요가 있다.However, since the images displayed on the common HUD and the actual road objects are not on the same focal plane, the driver's field of view switches back and forth between the objects on the road and the imaging plane of the HUD to adjust the focus of the eyes. Needs to be. Current HUDs solve the head-down problem, but frequent focus adjustments also cause visual fatigue, degrading the user experience. In order to truly implement a HUD based on augmented reality (AR), it is necessary to solve a technical problem of multi-focal plane imaging of an image generating device.
본 출원은, 주로 화상 생성 장치의 다초점 평면 촬상의 기술적 문제를 해결하고, 임의의 초점 길이의 지속적인 조정가능성을 구현하기 위한, 다초점 화상 생성 장치, 헤드-업 디스플레이 장치, 및 관련 방법을 제공한다.The present application mainly provides a multifocal image generating device, a head-up display device, and a related method for solving the technical problem of multifocal plane imaging of the image generating device and realizing continuous adjustability of an arbitrary focal length. do.
제1 양태에 따르면, 본 출원은 다초점 화상 생성 장치를 제공한다. 이러한 장치는 화상 생성 유닛, 광 분열기, 및 초점 길이 조정기를 포함한다. 화상 생성 유닛은 다초점 화상 생성 장치의 제1 초점 평면을 생성하도록 구성되고; 광 분열기는, 화상 생성 유닛에 대해 광 분열을 수행하도록, 그리고 광 분열을 통해 획득되는 광 빔을 초점 길이 조정기의 표면 상에 조사하도록 구성되고; 초점 길이 조정기는 초점 길이 조정기의 표면 상에 조사되는 광 빔에 대해 초점 길이 조정을 수행하여, 다초점 화상 생성 장치의 제2 초점 평면을 생성하도록 구성된다.According to a first aspect, the present application provides a multifocal image generating device. This device includes an image generating unit, an optical splitter, and a focal length adjuster. the image generating unit is configured to generate a first focal plane of the multifocal image generating device; The optical splitter is configured to perform light splitting on the image generating unit and to irradiate a light beam obtained through the light splitting onto the surface of the focal length adjuster; The focal length adjuster is configured to perform focal length adjustment on a light beam irradiated onto a surface of the focal length adjuster to generate a second focal plane of the multifocal image generating device.
본 출원의 기술적 해결책에서는, 초점 길이 조정기를 사용하여 초점 길이 위치가 유연하게 조정되어, 임의의 초점 길이의 지속적인 조정가능성이 구현될 수 있고, 임의의 수량의 초점 평면들(또는 촬상 평면들) 및 임의의 위치에 있는 초점 평면이 구현될 수 있다.In the technical solution of the present application, the focal length position is flexibly adjusted using the focal length adjuster, so that continuous adjustability of any focal length can be realized, and any number of focal planes (or imaging planes) and A focal plane at an arbitrary location can be implemented.
가능한 구현에서, 초점 길이 조정기 상에 상이한 위상 정보가 로딩되어, 다초점 화상 생성 장치가 복수의 제2 초점 평면들을 생성하는 것을 가능하게 하고, 상이한 위상 정보는 상이한 제2 초점 평면들에 대응한다.In a possible implementation, different phase information is loaded on the focal length adjuster to enable the multifocal image generating device to generate a plurality of second focal planes, and the different phase information corresponds to the different second focal planes.
본 출원의 기술적 해결책에서는, 초점 길이 조정기 상에 위상 정보가 로딩되어 초점 길이를 조정하여, 초점 평면 수량 및 위치를 제어하고, 그렇게 함으로써 비교적 높은 유연성을 달성한다.In the technical solution of the present application, phase information is loaded on the focal length adjuster to adjust the focal length to control the focal plane quantity and position, thereby achieving relatively high flexibility.
가능한 구현에서, 초점 길이 조정기는 복수의 촬상 영역들을 포함하고, 상이한 촬상 영역들은 상이한 제2 초점 평면들에 대응한다. 초점 길이 조정기의 촬상 영역은 소프트웨어를 사용하여 분할될 수 있고, 임의의 경계 형상을 지원하고, 높은 유연성을 갖는다.In a possible implementation, the focal length adjuster includes a plurality of imaging areas, and different imaging areas correspond to different second focal planes. The imaging area of the focal length adjuster can be segmented using software, supports arbitrary boundary shapes, and has high flexibility.
가능한 구현에서, 상이한 위상 정보가 상이한 촬상 영역들에서 로딩된다. 상이한 위상 정보는 상이한 촬상 영역들에서 로딩되어, 상이한 초점 평면들 상의 화상들이 상이한 영역들에서 디스플레이될 수 있다.In a possible implementation, different phase information is loaded in different imaging areas. Different phase information can be loaded in different imaging areas, so that images on different focal planes can be displayed in different areas.
가능한 구현에서, 화상 생성 유닛은 광원을 포함하고, 광 분열기는 광원에 의해 생성되는 광 빔을 분열하도록 구성된다. 화상 생성 유닛의 광 경로에 기초하여 업그레이드 및 변경이 수행될 수 있어, 구현이 용이하다.In a possible implementation, the image generating unit includes a light source, and the light splitter is configured to split a light beam generated by the light source. Upgrades and changes can be performed based on the light path of the image generating unit, so implementation is easy.
가능한 구현에서, 제2 초점 평면이 2개의 초점 평면들을 포함할 때, 하나의 제2 초점 평면의 위치는 고정되고, 다른 제2 초점 평면의 위치는 조정가능하다. 제2 초점 평면이 복수의 초점 평면들을 포함할 때, 어느 하나 이상의 초점 평면의 위치가 랜덤하게 조정되어, 조정가능한 이중초점 평면 또는 다초점 평면을 구성할 수 있다.In a possible implementation, when the second focal plane includes two focal planes, the position of one second focal plane is fixed and the position of the other second focal plane is adjustable. When the second focal plane includes a plurality of focal planes, positions of any one or more focal planes may be randomly adjusted to form an adjustable bifocal plane or multifocal plane.
가능한 구현에서, 초점 길이 조정기 상에 로딩되는 위상 정보는 Fresnel 렌즈의 위상 분포 또는 Zernike 렌즈의 위상 분포를 포함한다. Fresnel 렌즈 또는 Zernike 렌즈의 것인 그리고 초점 길이 조정기 상에 로딩되는 위상 분포 패턴을 변경하는 것에 의해 등가 렌즈 초점 길이가 변경되어, 다초점 화상 생성 장치를 제어하여 복수의 연속적인 초점 평면들을 생성할 수 있다.In a possible implementation, the phase information loaded onto the focal length adjuster includes a phase distribution of a Fresnel lens or a phase distribution of a Zernike lens. The equivalent lens focal length is changed by changing the phase distribution pattern, which is that of a Fresnel lens or Zernike lens and loaded onto a focal length adjuster, to control the multifocal image generating device to generate a plurality of successive focal planes. there is.
가능한 구현에서, 초점 길이 조정기는 공간 광 변조기이다. 공간 광 변조기는 위상-타입 공간 광 변조기일 수 있고, 액정 또는 마이크로전자기계 시스템들에 기초하여 구현될 수 있다.In a possible implementation, the focal length adjuster is a spatial light modulator. The spatial light modulator may be a phase-type spatial light modulator and may be implemented based on liquid crystals or microelectromechanical systems.
제2 양태에 따르면, 본 출원은 다초점 화상 생성 방법을 제공한다. 이러한 방법은 다초점 화상 생성 장치에 적용될 수 있고, 다초점 화상 생성 장치는 화상 생성 유닛, 광 분열기, 및 초점 길이 조정기를 포함한다. 이러한 방법은, 화상 생성 유닛을 사용하여 제1 초점 평면을 생성하는 단계; 광 분열기를 사용하여 화상 생성 유닛에 대해 광 분열을 수행하는 단계, 및 광 분열을 통해 획득되는 광 빔을 초점 길이 조정기의 표면 상에 조사하는 단계; 및 초점 길이 조정기를 사용하여 초점 길이 조정기의 표면 상에 조사되는 광 빔에 대해 초점 길이 조정을 수행하여, 제2 초점 평면을 생성하는 단계를 포함한다.According to a second aspect, the present application provides a multifocal image generating method. This method can be applied to a multifocal image generating device, which includes an image generating unit, an optical splitter, and a focal length adjuster. The method includes generating a first focal plane using an image generating unit; performing light splitting on the image generating unit using a light splitter, and irradiating a light beam obtained through light splitting onto a surface of the focal length adjuster; and performing focal length adjustment on a light beam irradiated onto a surface of the focal length adjuster using a focal length adjuster, thereby generating a second focal plane.
본 출원의 기술적 해결책에서는, 초점 길이 조정기를 사용하여 초점 길이 위치가 유연하게 조정되어, 임의의 초점 길이의 지속적인 조정가능성이 구현될 수 있고, 임의의 수량의 초점 평면들(또는 촬상 평면들) 및 임의의 위치에 있는 초점 평면이 구현될 수 있다.In the technical solution of the present application, the focal length position is flexibly adjusted using the focal length adjuster, so that continuous adjustability of any focal length can be realized, and any number of focal planes (or imaging planes) and A focal plane at an arbitrary location can be implemented.
가능한 구현에서, 초점 길이 조정기의 표면 상에 조사되는 광 빔에 대해 초점 길이 조정을 수행하여, 제2 초점 평면을 생성하는 단계는, 초점 길이 조정기 상에 상이한 위상 정보를 로딩하여, 복수의 제2 초점 평면들을 생성하는 단계를 포함하고, 상이한 위상 정보는 상이한 제2 초점 평면들에 대응한다.In a possible implementation, performing focal length adjustment on a light beam projected onto a surface of the focal length adjuster to generate a second focal plane may include loading different phase information onto the focal length adjuster to generate a plurality of second focal length adjustments. generating focal planes, wherein different phase information corresponds to different second focal planes.
본 출원의 기술적 해결책에서는, 초점 길이 조정기 상에 위상 정보가 로딩되어 초점 길이를 조정하여, 초점 평면 수량 및 위치를 제어하고, 그렇게 함으로써 비교적 높은 유연성을 달성한다.In the technical solution of the present application, phase information is loaded on the focal length adjuster to adjust the focal length to control the focal plane quantity and position, thereby achieving relatively high flexibility.
가능한 구현에서, 이러한 방법은, 초점 길이 조정기를 복수의 촬상 영역들로 분할하는 단계를 포함하고, 상이한 촬상 영역들은 상이한 제2 초점 평면들에 대응한다. 초점 길이 조정기의 촬상 영역은 소프트웨어를 사용하여 분할될 수 있고, 임의의 경계 형상을 지원하고, 높은 유연성을 갖는다.In a possible implementation, the method includes dividing the focal length adjuster into a plurality of imaging regions, with different imaging regions corresponding to different second focal planes. The imaging area of the focal length adjuster can be segmented using software, supports arbitrary boundary shapes, and has high flexibility.
가능한 구현에서, 이러한 방법은 추가로, 상이한 촬상 영역들에서 상이한 위상 정보를 로딩하는 단계를 포함한다. 상이한 위상 정보는 상이한 촬상 영역들에서 로딩되어, 상이한 초점 평면들 상의 화상들이 상이한 영역들에서 디스플레이될 수 있다.In a possible implementation, this method further includes loading different phase information in different imaging areas. Different phase information can be loaded in different imaging areas, so that images on different focal planes can be displayed in different areas.
가능한 구현에서, 화상 생성 유닛은 광원을 포함하고, 광원에 의해 생성되는 광 빔은 광 분열기를 사용하여 분열된다. 화상 생성 유닛의 광 경로에 기초하여 업그레이드 및 변경이 수행될 수 있어, 구현이 용이하다.In a possible implementation, the image generating unit includes a light source, and a light beam generated by the light source is split using a light splitter. Upgrades and changes can be performed based on the light path of the image generating unit, so implementation is easy.
가능한 구현에서, 제2 초점 평면이 2개의 초점 평면들을 포함할 때, 이러한 방법은, 하나의 제2 초점 평면의 위치를 고정하는 단계, 및 다른 제2 초점 평면의 위치를 조정하는 단계를 포함한다. 제2 초점 평면이 복수의 초점 평면들을 포함할 때, 어느 하나 이상의 초점 평면의 위치가 랜덤하게 조정되어, 조정가능한 이중초점 평면 또는 다초점 평면을 구성할 수 있다.In a possible implementation, when the second focal plane includes two focal planes, the method includes fixing the position of one second focal plane and adjusting the position of the other second focal plane. . When the second focal plane includes a plurality of focal planes, positions of any one or more focal planes may be randomly adjusted to form an adjustable bifocal plane or multifocal plane.
가능한 구현에서, 초점 길이 조정기 상에 로딩되는 위상 정보는 Fresnel 렌즈의 위상 분포 또는 Zernike 렌즈의 위상 분포를 포함한다. Fresnel 렌즈 또는 Zernike 렌즈의 것인 그리고 초점 길이 조정기 상에 로딩되는 위상 분포 패턴을 변경하는 것에 의해 등가 렌즈 초점 길이가 변경되어, 다초점 화상 생성 장치를 제어하여 복수의 연속적인 초점 평면들을 생성할 수 있다.In a possible implementation, the phase information loaded onto the focal length adjuster includes a phase distribution of a Fresnel lens or a phase distribution of a Zernike lens. The equivalent lens focal length is changed by changing the phase distribution pattern, which is that of a Fresnel lens or Zernike lens and loaded onto a focal length adjuster, to control the multifocal image generating device to generate a plurality of successive focal planes. there is.
가능한 구현에서, 초점 길이 조정기는 공간 광 변조기이다. 공간 광 변조기는 위상-타입 공간 광 변조기일 수 있고, 액정 또는 마이크로전자기계 시스템들에 기초하여 구현될 수 있다.In a possible implementation, the focal length adjuster is a spatial light modulator. The spatial light modulator may be a phase-type spatial light modulator and may be implemented based on liquid crystals or microelectromechanical systems.
제3 양태에 따르면, 본 출원은 헤드-업 디스플레이 장치를 제공한다. 헤드-업 디스플레이 장치는 제1 양태 또는 제1 양태의 가능한 구현들 중 어느 하나에 따른 다초점 화상 생성 장치 및 촬상 소자를 포함한다. 다초점 화상 생성 장치는 복수의 제1 화상들을 생성하도록 구성되고, 다초점 화상 생성 장치는 복수의 초점 평면들을 갖고, 상이한 초점 평면들은 복수의 제1 화상들에서의 상이한 화상들에 대응한다. 촬상 소자는 복수의 제1 화상에 대해 촬상을 수행하여, 인간의 눈에 의해 수신하기 위한, 제2 화상을 생성하도록 구성된다.According to a third aspect, the present application provides a head-up display device. A head-up display device includes a multifocal image generating device and an imaging device according to any one of the first aspect or possible implementations of the first aspect. The multi-focal image generating device is configured to generate a plurality of first images, the multi-focal image generating device has a plurality of focal planes, and different focal planes correspond to different images in the plurality of first images. The imaging element is configured to perform imaging on a plurality of first images to generate a second image, to be received by the human eye.
헤드-업 디스플레이 장치에 적용되는 것 외에도, 본 출원의 기술적 해결책은, 평판 유리 디스플레이 또는 프로젝터와 같은, 디스플레이 장치에 적용될 수 있다. 다초점 화상 유닛을 사용하여 지속적으로 조정가능한 초점 평면들이 생성되어, 상이한 촬상 평면들 상에 상이한 정보가 제시될 수 있고, 그렇게 함으로써 사용자 경험을 개선한다.Besides being applied to head-up display devices, the technical solution of the present application can also be applied to display devices, such as flat glass displays or projectors. Continuously adjustable focal planes can be created using a multifocal imaging unit so that different information can be presented on different imaging planes, thereby improving the user experience.
제4 양태에 따르면, 본 출원은 주행 디바이스를 제공하고, 이는, 조작자 캐빈, 조작자 캐빈에 장착되는 유리창, 및 제3 양태에 따른 헤드-업 디스플레이 장치를 포함한다. 헤드-업 디스플레이 장치는 조작자 캐빈에 장착되고, 유리창은 헤드-업 디스플레이 장치에 의해 생성되는 제2 화상에 대해 반사 촬상을 수행한다.According to a fourth aspect, the present application provides a traveling device, which includes an operator's cabin, a glass window mounted in the operator's cabin, and a head-up display device according to the third aspect. The head-up display device is mounted in an operator's cabin, and a glass window performs reflection imaging on a second image produced by the head-up display device.
본 출원의 기술적 해결책은 차량-내 헤드-업 디스플레이의 다초점 평면 촬상의 기술적 문제를 해결할 수 있어서, 사용자가 주행 프로세스에서 초점을 빈번하게 조정할 필요가 없고, 그렇게 함으로써 사용자 경험을 개선한다.The technical solution of the present application can solve the technical problem of multi-focal plane imaging of an in-vehicle head-up display, so that the user does not need to adjust the focus frequently in the driving process, thereby improving the user experience.
도 1은 HUD의 디스플레이 인터페이스의 개략도이다.
도 2는 본 출원에 따른 다초점 화상 생성 장치의 구조의 개략도이다.
도 3a 내지 도 3c는 본 출원에 따른 3개의 다초점 화상 생성 장치들의 구조들의 개략도들이다.
도 4a는 본 출원에 따른 다초점 평면 화상 생성 장치의 구조의 개략도이다.
도 4b는 본 출원에 따른 다른 다초점 평면 화상 생성 장치의 구조의 개략도이다.
도 5a 및 도 5b는 본 출원에 따른 Fresnel 렌즈들의 위상 분포의 도면들이다.
도 6a 및 도 6b는 본 출원에 따른 이중초점 평면 촬상의 개략도들이다.
도 7a 내지 도 7d는 본 출원에 따른 공간 광 변조기의 4개의 촬상 영역 분할 방식들의 개략도들이다.
도 8은 본 출원에 따른 촬상 평면 영역 분할 방식의 개략도이다.
도 9는 본 출원에 따른 HUD의 구조의 개략도이다.1 is a schematic diagram of a display interface of a HUD.
2 is a schematic diagram of the structure of a multifocal image generating device according to the present application.
3A to 3C are schematic diagrams of structures of three multifocal image generating devices according to the present application.
4A is a schematic diagram of the structure of a multi-focal plane image generating device according to the present application.
4B is a schematic diagram of the structure of another multi-focal plane image generating device according to the present application.
5A and 5B are diagrams of phase distributions of Fresnel lenses according to the present application.
6A and 6B are schematic diagrams of bifocal planar imaging according to the present application.
7A to 7D are schematic diagrams of four imaging area division schemes of the spatial light modulator according to the present application.
8 is a schematic diagram of an imaging plane area division scheme according to the present application.
9 is a schematic diagram of the structure of a HUD according to the present application.
본 출원의 실시예들은 다초점 화상 생성 장치, 헤드-업 디스플레이 장치, 및 관련 방법에 관련된다. 다음은 첨부 도면들을 참조하여 상세한 설명들을 제공한다.Embodiments of the present application relate to a multifocal image generating device, a head-up display device, and a related method. The following provides detailed descriptions with reference to the accompanying drawings.
도 2는 본 출원에 따른 다초점 화상 생성 장치의 구조의 개략도이다. 도 2에 도시되는 바와 같이, 다초점 촬상 장치는 광원(201), 촬상 소자(202), 광 분열기(203), 및 초점 길이 조정기(204)를 포함한다. 광원(201)은 화상 신호로 광 빔을 생성하도록 구성된다. 촬상 소자(202)는 렌즈, 렌즈 그룹 등을 포함할 수 있고, 광원(201)에 의해 생성되는 광 빔에 대해 촬상을 수행하여, 다초점 화상 생성 장치의 초점 평면 1을 생성할 수 있다. 광 분열기(203)는 광원(201)으로부터 광 빔의 일부를 분열해 내고, 초점 길이 조정기(204)를 사용하여 분열된 광 빔에 대해 초점 길이 조정이 수행되어, 다초점 화상 생성 장치는 상이한 초점 평면들(초점 평면 2, 초점 평면 3, ..., 및 초점 평면 N)을 갖고, 복수의 초점 평면들은 지속적으로 조정가능하다. 초점 길이 조정기(204)는 공간 광 변조기(Spatial light modulator, SLM)일 수 있다. 임의의 위상 분포의 홀로그래픽 위상 이미지가 SLM 상에 로딩되어, 초점 평면 위치가 변경될 수 있다. 또한, SLM의 광 필드 진폭, 편광 상태 등을 변경하는 것에 의해 초점 평면 위치가 대안적으로 변경될 수 있다. 본 출원에서의 다초점 화상 생성 장치에 따르면, 광 경로에서 촬상 소자의 물리적 위치를 변경하지 않고 임의의 초점 길이의 지속적인 조정가능성이 구현되어, 지속적으로 가변적인 촬상 평면들을 생성할 수 있다. 본 출원에서의 "초점 평면(focal plane)" 및 "촬상 평면(imaging plane)"은 동일한 공간 위치, 다시 말해서, 광 빔 촬상 위치를 표시할 수 있다. SLM의 초점 길이가 변할 때, 초점 평면 또는 촬상 평면이 따라서 변한다.2 is a schematic diagram of the structure of a multifocal image generating device according to the present application. As shown in FIG. 2 , the multifocal imaging device includes a
도 3a 내지 도 3c는 본 출원에 따른 3개의 다초점 화상 생성 장치들의 구조들의 개략도들이다. 도 3a에 도시되는 바와 같이, 도 2에서의 예에 기초하여, 광원은 단색 광원(301)일 수 있고, 촬상 소자는 렌즈 또는 렌즈 그룹(302)일 수 있으며, 초점 길이 조정기는 위상-타입 공간 광 변조기(304)일 수 있다. 렌즈 또는 렌즈 그룹(302)은 단색 광원(301)에 의해 생성되는 광 빔에 대해 촬상을 수행하여, 초점 평면 1을 생성한다. 위상-타입 공간 광 변조기(304)는 광 분열기(303)에 의해 광원으로부터 분열되는 광 빔에 대해 초점 길이 조정을 수행하여, 복수의 연속적인 초점 평면들(초점 평면 2, 초점 평면 3, ..., 및 초점 평면 N)을 생성한다.3A to 3C are schematic diagrams of structures of three multifocal image generating devices according to the present application. As shown in FIG. 3A, based on the example in FIG. 2, the light source may be a monochromatic
도 3b에 도시되는 바와 같이, 도 3a와의 차이는 광원이 R, G 및 B 3색 광원(301)일 수 있다는 점에 있다. 초점 길이 조정기가 단일 위상-타입 공간 광 변조기(304)이면, 위상-타입 공간 광 변조기(304)는 R, G 및 B 3색 광원(301)과의 시간 분할 다중화를 수행할 수 있다. 예를 들어, 위상-타입 공간 광 변조기(304)는 1 초에 R 광원에 대해 초점 길이 조정을 수행하고, 2 초에 G 광원에 대해 초점 길이 조정을 수행하고, 3 초에 B 광원에 대해 초점 길이 조정을 수행한다. 위상-타입 공간 광 변조기(304)는 R, G 및 B 단색 광원들 중 어느 하나에 대해 동일한 순간에 초점 길이 조정을 수행하여, 복수의 연속적인 초점 평면들(초점 평면 2, 초점 평면 3, ..., 및 초점 평면 N)을 생성한다.As shown in FIG. 3B, the difference from FIG. 3A is that the light source may be a three-
도 3c에 도시되는 바와 같이, 도 3a와의 차이는 광원이 R, G 및 B 3색 광원(301)일 수 있다는 점에 있다. 초점 길이 조정기들이 3개의 위상-타입 공간 광 변조기들(304)이면, 각각의 위상-타입 공간 광 변조기(304)는 R, G 및 B 광원들 중 하나에 대해 초점 길이 조정을 수행할 수 있다. 위상-타입 공간 광 변조기 1은 R 광원에 대해 초점 길이 조정을 수행하고, 위상-타입 공간 광 변조기 2는 G 광원에 대해 초점 길이 조정을 수행하고, 위상-타입 공간 광 변조기 3은 B 광원에 대해 초점 길이 조정을 수행한다. R, G 및 B 광원들에 의해 방출되는 광 빔들이 위상-타입 공간 광 변조기들(304)에 의해 처리된 후, 처리된 광 빔들은 빔 조합기(305)를 사용하여 조합되어, 복수의 연속적인 초점 평면들(초점 평면 2, 초점 평면 3, ..., 및 초점 평면 N)을 생성할 수 있다.As shown in FIG. 3C, the difference from FIG. 3A is that the light source may be a three-
본 출원의 실시예들에서, 변경 및 업그레이드는 화상 생성 유닛(picture generation unit, PGU)의 광 경로에 기초하여 구현될 수 있어, 구현이 용이하다. 공간 광 변조기는 초점 길이를 조정하여 초점 평면 수량 및 위치를 제어하고, 그렇게 함으로써 비교적 높은 유연성을 달성한다.In embodiments of the present application, changes and upgrades can be implemented based on an optical path of a picture generation unit (PGU), which is easy to implement. The spatial light modulator controls the focal plane quantity and position by adjusting the focal length, thereby achieving relatively high flexibility.
도 4a는 본 출원에 따른 다초점 평면 화상 생성 장치의 구조의 개략도이다. 도 4a에 도시되는 바와 같이, 다초점 평면 화상 생성 장치는 PGU 모듈(410), 공간 광 변조기(420), 및 광 분열기(430)를 포함할 수 있다. 선택적으로, 다초점 화상 생성 장치의 상이한 초점 평면들 상에 촬상 스크린(440) 및 촬상 스크린(450)이 배치될 수 있다. 예를 들어, 촬상 스크린(440)은 초점 평면 1 상에 위치되고, 촬상 스크린(450)은 초점 평면 2 상에 위치된다. PGU 모듈(410)은 진폭 촬상 유닛(411) 및 촬상 소자(412)를 포함할 수 있다. 진폭 촬상 유닛(411)은 단색 광원 또는 다색 광원을 포함할 수 있다. 예를 들어, 도 4a는 R, G 및 B 3색 광원을 도시한다. 촬상 소자(412)는 렌즈 또는 렌즈 그룹을 포함할 수 있다. 공간 광 변조기(420)는 마이크로전자기계 시스템들(Microelectromechanical systems, MEMSs)에 기초하여 또는 액정에 기초하여 구현될 수 있다. 예를 들어, 실리콘 상의 액정(liquid crystal on silicon, LCoS)이 액정에 기초하여 구현되는 공간 광 변조기이다. 광 경로 상에서, 촬상 소자(412)는 진폭 촬상 유닛(411)에 의해 생성되는 광 빔에 대해 촬상을 수행하여, 촬상 스크린(440) 상에 화상을 형성하도록 구성된다. 다른 광 경로 상에서, 광 분열기(430)는 R, G, 및 B 광원들 중 어느 하나 이상에 대해 광 분열을 수행한다. 도 4a는 G 광원에 대해 광 분열이 수행되는 것을 도시한다. 또한, R, G 및 B 3색 광원에 대해 시간 분할 다중화 방식으로 광 분열이 수행될 수 있다. 선택적으로, 광 분열기(430)에 의해 분열되는 광 빔의 확산 손실을 감소시키기 위해, 광 분열기(430)에 의해 분열되는 광 빔은 촬상 소자(460)를 사용하여 시준되고, 다음으로 공간 광 변조기(420)의 표면 상에 조사될 수 있다. 대안적으로, 공간 광 변조기의 표면 상에 입사되는 광 빔의 편광 상태를 공간 광 변조기의 정렬 층 방향과 정렬하기 위해, 공간 광 변조기(420)의 전방에 편광기(도면에 도시되지 않음)가 배치될 수 있다. 촬상 소자(460)는 렌즈 또는 렌즈 그룹일 수 있다. 공간 광 변조기(420)는 투과성 또는 반사성일 수 있고, 공간 광 변조기(420)의 표면 상에 위상 분포가 로딩되어, 광 빔들을 수렴하는 등가 렌즈 기능을 구현하고, 그렇게 함으로써 촬상 스크린(450) 상에 화상을 형성한다. 촬상 스크린(450)의 위치는, 촬상 스크린(450)의 위치가 랜덤하게 조정될 수 있도록, 공간 광 변조기(420)의 등가 렌즈 초점 길이를 조정하는 것에 의해 변경될 수 있다. 촬상 스크린(450)은 확산기, 스크린, 백색 종이 등을 사용하여 구현될 수 있다. 촬상 스크린(450)은 초점 평면(또는 촬상 평면) 상에 배치되고, 초점 평면 상에서 화상을 수신하도록 구성된다.4A is a schematic diagram of the structure of a multi-focal plane image generating device according to the present application. As shown in FIG. 4A , the apparatus for generating a multi-focal plane image may include a
도 4b는 본 출원에 따른 다른 다초점 평면 화상 생성 장치의 구조의 개략도이다. 도 4b에 도시되는 바와 같이, 도 4a와의 차이는 촬상 스크린(470)이 공간 광 변조기(420) 뒤에 추가된다는 점에 있다. 촬상 스크린(450) 및 촬상 스크린(470)은 2개의 독립적인 요소들일 수 있거나 또는 함께 통합될 수 있지만, 상이한 공간 위치들에 위치된다. 촬상 스크린(450)과 유사하게, 촬상 스크린(470)의 위치는 공간 광 변조기(420)의 등가 렌즈 초점 길이를 조정하는 것에 의해 또한 조정될 수 있다.4B is a schematic diagram of the structure of another multi-focal plane image generating device according to the present application. As shown in FIG. 4B, the difference from FIG. 4A is that an
본 출원의 이러한 실시예에서, 초점 길이 위치는 공간 광 변조기를 사용하여 유연하게 조정되어, 임의의 초점 길이의 지속적인 조정가능성이 구현될 수 있고, 임의의 수량의 초점 평면들(또는 촬상 평면들) 및 임의의 위치에 있는 초점 평면이 구현될 수 있다.In this embodiment of the present application, the focal length position is flexibly adjusted using a spatial light modulator, so that continuous adjustability of any focal length can be realized, and any number of focal planes (or imaging planes) and a focal plane at an arbitrary position can be implemented.
다음은, 구체적인 예들을 참조하여, 공간 광 변조기에 의해 촬상 스크린의 위치를 조정하는 원리를 설명한다. 도 5a 및 도 5b는 본 출원에 따른 Fresnel 렌즈들의 위상 분포의 도면들이다. 상이한 초점 길이들의 2개의 Fresnel 렌즈들의 것인 그리고 도 5a 및 도 5b에 도시되는 위상 분포가 공간 광 변조기의 표면 상에 개별적으로 로딩될 때, 2개의 상이한 초점 평면들이 형성될 수 있다, 즉, 촬상 스크린의 위치가 2개의 상이한 초점 평면들로 조정될 수 있다. Fresnel 렌즈의 위상 분포는 공간 광 변조기의 표면 상에 로딩되어 광 필드를 제어한다. 이러한 것은 렌즈 기능과 동등하다. Fresnel 위상의 m번째 링의 반경은 rm=(2mfλ)1/2이고, 여기서 λ는 입사광의 파장이고, f는 m번째 링의 위상에서의 등가 렌즈 초점 길이이다. 초점 평면 및 촬상 스크린의 위치들을 조정하기 위해, 상이한 초점 길이들의 렌즈들의 기능들이 구현될 수 있도록, 상이한 위상 분포가 공간 광 변조기 상에 로딩된다는 점을 알 수 있다.Next, referring to specific examples, the principle of adjusting the position of the imaging screen by means of the spatial light modulator will be explained. 5A and 5B are diagrams of phase distributions of Fresnel lenses according to the present application. When the phase distributions of two Fresnel lenses of different focal lengths and shown in Figs. 5a and 5b are separately loaded onto the surface of the spatial light modulator, two different focal planes can be formed, i. The position of the screen can be adjusted to two different focal planes. The phase distribution of the Fresnel lens is loaded onto the surface of the spatial light modulator to control the light field. These are equivalent to lens functions. The radius of the mth ring of the Fresnel phase is rm=(2mfλ)1/2, where λ is the wavelength of the incident light and f is the equivalent lens focal length at the phase of the mth ring. It can be seen that different phase distributions are loaded onto the spatial light modulator, so that functions of lenses of different focal lengths can be implemented, in order to adjust the positions of the focal plane and imaging screen.
도 6a 및 도 6b는 본 출원에 따른 이중초점 평면 촬상의 개략도들이다. 실제 적용에서, 하나의 초점 평면이 고정될 수 있고, Fresnel 렌즈의 초점 길이는 조정가능한 이중초점 평면을 구성하기 위해 랜덤하게 조정될 수 있다. 도 6a는 상이한 초점 평면들 상의 글자 A 및 글자 B에 대해 생성되는 화상들을 도시하고, 글자 A는 글자 B보다 또렷하게 보인다. 이러한 경우에, 글자 A 및 글자 B 양자 모두를 또렷하게 관찰하기 위해, 글자 A 및 글자 B는 상이한 촬상 스크린들(예를 들어, 촬상 스크린(450) 및 촬상 스크린(470)) 상에 개별적으로 촬상될 수 있다. 도 6b는 동일한 초점 평면 상의 글자 A 및 글자 B의 화상들을 도시하고, 글자 A의 선명함 해상도는 글자 B의 것과 대략 동일하다. 이러한 경우에, 글자 A 및 글자 B 양자 모두는 동일한 촬상 스크린(예를 들어, 촬상 스크린(450)) 상에서 또렷하게 관찰될 수 있다.6A and 6B are schematic diagrams of bifocal planar imaging according to the present application. In practical applications, one focal plane can be fixed, and the focal length of a Fresnel lens can be adjusted randomly to construct an adjustable bifocal plane. 6A shows the images created for letter A and letter B on different focal planes, with letter A appearing sharper than letter B. In this case, in order to clearly observe both the letter A and the letter B, the letter A and the letter B are separately imaged on different imaging screens (e.g.,
공간 광 변조기의 표면은 촬상 영역들로 추가로 분할될 수 있고, 상이한 위상 분포가 상이한 촬상 영역들에서 로딩되어, 상이한 초점 평면들을 형성한다. 도 7a 내지 도 7d는 본 출원에 따른 공간 광 변조기의 4개의 촬상 영역 분할 방식들의 개략도들이다. 공간 광 변조기의 촬상 영역은 소프트웨어 구성 방식으로 임의의 수량, 임의의 형상, 및 임의의 초점 길이의 복수의 촬상 영역들로 분할될 수 있다. 촬상 영역 수량, 형상, 및 초점 길이는 자동차 주행 프로세스에서의 환경 인자(예를 들어, 자동차, 보행자, 또는 도로 조건)에 기초하여 결정될 수 있어서, 상이한 정보가 상이한 초점 평면들 상에 촬상된다. 도 7a에 도시되는 바와 같이, 공간 변조기의 표면은 2개의 직사각형 영역들로 분할된다. 도 7b에 도시되는 바와 같이, 공간 광 변조기의 표면은 3개의 직사각형 영역들로 분할된다. 도 7c에 도시되는 바와 같이, 공간 광 변조기의 표면은 2개의 불규칙한 영역들로 분할된다. 도 7d에 도시되는 바와 같이, 공간 광 변조기의 표면은 3개의 불규칙한 영역들로 분할된다. 도 7a 내지 도 7d에 도시되는 분할 방식들 외에도, 공간 광 변조기의 표면은 대안적으로 N개의 촬상 영역들로 분할될 수 있으며, 이러한 촬상 영역은 정사각형, 부채꼴, 삼각형, 원형, 다각형 등이다. 0 내지 255의 그레이스케일의 패턴(0 내지 2π의 위상 깊이에 대응함)이 공간 광 변조기의 표면 상에 로딩되고, 상이한 초점 길이의 렌즈의 위상 분포가 각각의 촬상 영역에서 로딩될 수 있다. 예를 들어, Zernike 렌즈의 위상 분포 또는 Fresnel 렌즈의 위상 분포가 공간 광 변조기의 각각의 촬상 영역에서 로딩되고, 이러한 위상 분포는, Zernike 기능 또는 Fresnel 렌즈 기능과 같은, 홀로그래픽 촬상 기능을 사용하여 구현될 수 있다. 상이한 초점 평면들이 상이한 영역들에서 생성되고, 각각의 초점 평면 상에 형성되는 화상은 2D 화상일 수 있다. 공간 광 변조기의 영역은 소프트웨어를 사용하여 분할될 수 있고, 임의의 경계 형상을 지원하고, 높은 유연성을 갖는다.The surface of the spatial light modulator can be further divided into imaging areas, and different phase distributions are loaded in the different imaging areas, forming different focal planes. 7A to 7D are schematic diagrams of four imaging area division schemes of the spatial light modulator according to the present application. The imaging area of the spatial light modulator can be divided into a plurality of imaging areas of arbitrary quantity, arbitrary shape, and arbitrary focal length in a software configuration manner. The imaging area quantity, shape, and focal length can be determined based on environmental factors (eg, cars, pedestrians, or road conditions) in an automobile driving process, so that different information is imaged on different focal planes. As shown in Fig. 7a, the surface of the spatial modulator is divided into two rectangular regions. As shown in Fig. 7B, the surface of the spatial light modulator is divided into three rectangular regions. As shown in Fig. 7c, the surface of the spatial light modulator is divided into two irregular regions. As shown in Fig. 7d, the surface of the spatial light modulator is divided into three irregular regions. Besides the division manners shown in Figs. 7A to 7D, the surface of the spatial light modulator may alternatively be divided into N imaging regions, which are square, sector, triangular, circular, polygonal or the like. Grayscale patterns of 0 to 255 (corresponding to phase depths of 0 to 2π) are loaded on the surface of the spatial light modulator, and phase distributions of lenses of different focal lengths can be loaded in each imaging area. For example, a phase distribution of a Zernike lens or a phase distribution of a Fresnel lens is loaded in each imaging area of the spatial light modulator, and these phase distributions are implemented using a holographic imaging function, such as a Zernike function or a Fresnel lens function. It can be. Different focal planes are created in different areas, and the image formed on each focal plane may be a 2D image. The area of the spatial light modulator can be segmented using software, supports arbitrary boundary shapes, and has high flexibility.
도 8은 본 출원에 따른 촬상 평면 영역 분할 방식의 개략도이다. 도 8에 도시되는 바와 같이, 인간의 눈 전방의 공간 위치가 복수의 촬상 평면 영역들로 분할될 수 있고, 상이한 촬상 평면 영역들이 상이한 공간 위치들에 위치될 수 있다. 공간 광 변조기의 표면 영역이 도 7a 내지 도 7d에 도시되는 것들과 유사한 방식으로 분할되고, 상이한 위상 분포가 상이한 영역들에서 로딩되어, 상이한 촬상 평면들(또는 초점 평면들)을 생성한다. 예를 들어, 대시보드(801) 및 대시보드(802)가 인간의 눈 전방의 30 cm 내지 40 cm의 위치에서 촬상되고, 내비게이션 정보(803)가 인간의 눈 전방의 2 m 내지 3 m의 위치에서 촬상되고, 맵(804)이 인간의 눈 전방의 3 m 내지 5 m의 위치에서 촬상되고, 프롬프트 정보(예를 들어, 날씨 또는 주변 건물)(805)가 인간의 눈 전방의 5 m 내지 10 m의 위치에서 촬상된다. 공간 광 변조기의 표면 상에서 영역 분할이 수행되고, 상이한 위상 분포가 상이한 영역들에서 로딩되어, 상이한 초점 평면들 상의 화상들이 상이한 영역들에서 디스플레이된다.8 is a schematic diagram of an imaging plane area division scheme according to the present application. As shown in Fig. 8, a spatial position in front of the human eye may be divided into a plurality of imaging plane regions, and different imaging plane regions may be located at different spatial positions. The surface area of the spatial light modulator is divided in a manner similar to those shown in Figs. 7A-7D, and different phase distributions are loaded in different regions, creating different imaging planes (or focal planes). For example, the
본 출원의 이러한 실시예에서, 상이한 위상 정보가 공간 광 변조기 상에 영역 분할 방식으로 로딩되어, 초점 평면 수량 및 위치를 제어하고, 그렇게 함으로써 비교적 높은 유연성을 달성한다. 따라서, 임의의 수량의 초점 평면들(또는 촬상 평면들) 및 임의의 위치에 있는 초점 평면이 구현된다.In this embodiment of the present application, different phase information is loaded on the spatial light modulator in a region division manner to control the focal plane quantity and position, thereby achieving relatively high flexibility. Thus, any number of focal planes (or imaging planes) and focal planes at arbitrary locations are implemented.
본 출원의 실시예들에서의 도면에서의 다초점 촬상 장치는, HUD, 프로젝터, 또는 평판 유리 디스플레이와 같은, 디스플레이 디바이스에 적용될 수 있다. HUD가 설명을 위한 예로서 사용된다. 도 9는 본 출원에 따른 HUD의 구조의 개략도이다. 도 9에 도시되는 바와 같이, HUD는 전술한 실시예들 중 어느 하나에서의 다초점 화상 생성 장치(901) 및 촬상 스크린(902)을 포함할 수 있다. 다초점 화상 생성 장치(901)는 복수의 초점 평면들을 갖고, 복수의 화상들을 생성하도록 구성된다. 상이한 화상들이 상이한 초점 평면들 상에 형성된다. 촬상 스크린(902)은 확산기, 스크린, 백색 종이 등을 포함할 수 있다. 촬상 스크린(902)은 초점 평면 상에 배치되고, 상이한 초점 평면들 상에 있는 그리고 화상 생성 장치(901)에 의해 생성되는 화상들을 수신하도록 구성된다. 하나의 촬상 스크린을 사용하여 상이한 초점 평면들 상의 화상들이 수신될 수 있거나, 또는 복수의 촬상 스크린들(하나의 촬상 스크린은 하나의 초점 평면에 대응함)을 사용하여 복수의 초점 평면들 상의 화상들이 각각 수신될 수 있다. 선택적으로, 광 경로 폴딩 미러 또는 반사기와 같은, 광 요소가 촬상 스크린(902) 뒤에 배치될 수 있고, 촬상 스크린 상의 촬상 평면들에 의해 반사되는 광 빔들을, 유리창(903) 상에, 투사하도록 구성되어, 유리창 상에 형성되는 가상 화상들(또는 화상들)(904 및 905)이 인간의 눈(906)에 의해 수신된다. 다초점 화상 생성 장치(901)의 초점 길이는 지속적으로 조정가능하여, 상이한 촬상 평면들이 동일한 촬상 스크린의 상이한 위치들에 또는 상이한 위치들에 있는 복수의 촬상 스크린들 상에 생성되고, 마지막으로 인간의 눈은 상이한 거리들에 있는 화상들을 관찰한다.The multifocal imaging device in the drawing in the embodiments of the present application may be applied to a display device, such as a HUD, a projector, or a flat glass display. A HUD is used as an example for explanation. 9 is a schematic diagram of the structure of a HUD according to the present application. As shown in FIG. 9 , the HUD may include the multifocal
본 출원에서 제공되는 HUD는, 자동차, 버스, 또는 비행기와 같은, 주행 디바이스에 적용될 수 있거나, 또는 복수의 타입들의 AR 디스플레이 시나리오들에 적용될 수 있다. HUD가 주행 디바이스에 적용될 때, HUD는 주행 디바이스의 조작자 캐빈에 장착될 수 있고, HUD에 의해 생성되는 화상은 주행 디바이스의 유리창을 사용하여 인간의 눈에 반사된다.The HUD provided in this application may be applied to a driving device, such as a car, bus, or airplane, or may be applied to multiple types of AR display scenarios. When the HUD is applied to a driving device, the HUD can be mounted in an operator's cabin of the driving device, and an image produced by the HUD is reflected to human eyes using a windshield of the driving device.
본 출원의 이러한 실시예에서의 다초점 화상 장치는 HUD에 적용되어, HUD의 초점 길이가 지속적으로 조정가능하고, 상이한 정보가 상이한 촬상 평면들 상에 제시될 수 있다. 따라서, 사용자는 주행 프로세스에서 초점을 빈번하게 조정할 필요가 없고, 그렇게 함으로써 사용자 경험을 개선한다.The multifocal imaging device in this embodiment of the present application is applied to a HUD, so that the focal length of the HUD is continuously adjustable, and different information can be presented on different imaging planes. Thus, the user does not need to frequently adjust the focus in the driving process, thereby improving the user experience.
본 명세서의 설명들에서, 구체적인 특징들, 구조들, 재료들, 또는 특성들이 실시예들 또는 예들 중 어느 하나 이상에서 적절한 방식으로 조합될 수 있다.In the descriptions herein, specific features, structures, materials, or characteristics may be combined in any suitable manner in any one or more of the embodiments or examples.
전술한 설명은 단지 본 발명의 구체적인 구현들일 뿐이고, 본 발명의 보호 범위를 제한하려고 의도되는 것은 아니다. 본 발명에서 개시되는 기술적 범위 내의 해당 분야에서의 기술자에 의해 용이하게 도출되는 임의의 변형 또는 대체는 본 발명의 보호 범위 내에 속한다. 따라서, 본 발명의 보호 범위는 청구항들의 보호 범위에 따라야 한다.The foregoing descriptions are only specific implementations of the present invention, and are not intended to limit the protection scope of the present invention. Any variation or replacement easily figured out by a person skilled in the art within the technical scope disclosed in the present invention falls within the protection scope of the present invention. Therefore, the protection scope of the present invention shall be subject to the protection scope of the claims.
Claims (27)
상기 화상 생성 유닛은 상기 화상 생성 장치의 제1 초점 평면을 생성하도록 구성되고;
상기 광 분열기는, 상기 화상 생성 유닛에 대해 광 분열을 수행하도록, 그리고 광 분열을 통해 획득되는 광 빔을 상기 초점 길이 조정기의 표면 상에 조사하도록 구성되고;
상기 초점 길이 조정기는 상기 초점 길이 조정기의 표면 상에 조사되는 광 빔에 대해 초점 길이 조정을 수행하도록 구성되는 화상 생성 장치.An image generating device comprising an image generating unit, an optical splitter, and a focal length adjuster;
the image generating unit is configured to generate a first focal plane of the image generating device;
the light splitter is configured to perform light split on the image generating unit, and irradiate a light beam obtained through light split on a surface of the focal length adjuster;
wherein the focal length adjuster is configured to perform focal length adjustment on a light beam irradiated onto a surface of the focal length adjuster.
화상 생성 유닛을 사용하여 제1 초점 평면을 생성하는 단계;
광 분열기를 사용하여 상기 화상 생성 유닛에 대해 광 분열을 수행하는 단계, 및 광 분열을 통해 획득되는 광 빔을 초점 길이 조정기의 표면 상에 조사하는 단계; 및
상기 초점 길이 조정기를 사용하여 상기 초점 길이 조정기의 표면 상에 조사되는 광 빔에 대해 초점 길이 조정을 수행하는 단계를 포함하는 방법.As an image generating method,
generating a first focal plane using an image generating unit;
performing light splitting on the image generating unit using a light splitter, and irradiating a light beam obtained through light splitting onto a surface of a focal length adjuster; and
and performing a focal length adjustment on a light beam projected onto a surface of the focal length adjuster using the focal length adjuster.
상기 초점 길이 조정기 상에 상이한 위상 정보가 로딩되어, 복수의 제2 초점 평면들을 생성하는 것을 포함하고, 상기 상이한 위상 정보는 상이한 제2 초점 평면들에 대응하는 방법.15. The method of claim 14, wherein the second focal plane of the image generating device is created using the focal length adjuster,
and loading different phase information onto the focal length adjuster to generate a plurality of second focal planes, the different phase information corresponding to the different second focal planes.
상기 초점 길이 조정기를 복수의 촬상 영역들로 분할하는 단계를 포함하고, 상이한 촬상 영역들은 상이한 제2 초점 평면들에 대응하는 방법.The method of claim 15 or 16, wherein the method,
Dividing the focal length adjuster into a plurality of imaging regions, wherein different imaging regions correspond to different second focal planes.
상기 상이한 촬상 영역들에서 상이한 위상 정보를 로딩하는 단계를 포함하는 방법.18. The method of claim 17, wherein the method further comprises:
and loading different phase information in the different imaging areas.
하나의 제2 초점 평면의 위치를 고정하는 단계, 및 다른 제2 초점 평면의 위치를 조정하는 단계를 포함하는 방법.20. The method of any one of claims 14 to 19, wherein when the second focal plane comprises two focal planes, the method comprises:
A method comprising fixing a position of one second focal plane and adjusting a position of another second focal plane.
상기 화상 생성 장치는 제1 화상을 생성하도록 구성되고;
상기 촬상 소자는 상기 제1 화상에 대해 촬상을 수행하여 제2 화상을 생성하도록 구성되는 디스플레이 장치.A display device comprising the image generating device according to any one of claims 1 to 12 and an imaging device;
the image generating device is configured to generate a first image;
wherein the imaging element is configured to perform imaging on the first image to generate a second image.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010413996.4 | 2020-05-15 | ||
CN202010413996.4A CN113671699A (en) | 2020-05-15 | 2020-05-15 | Multi-focus image generation device, head-up display device, and related method and equipment |
PCT/CN2021/081944 WO2021227657A1 (en) | 2020-05-15 | 2021-03-20 | Multi-focus image generating apparatus, head-up display apparatus, related method, and device |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20230003218A true KR20230003218A (en) | 2023-01-05 |
Family
ID=78526333
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020227042117A KR20230003218A (en) | 2020-05-15 | 2021-03-20 | Multifocal image generating device, head-up display device, related method, and device |
Country Status (6)
Country | Link |
---|---|
US (1) | US20230074131A1 (en) |
EP (1) | EP4134728A4 (en) |
JP (1) | JP7490820B2 (en) |
KR (1) | KR20230003218A (en) |
CN (3) | CN113671699A (en) |
WO (1) | WO2021227657A1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113671699A (en) * | 2020-05-15 | 2021-11-19 | 华为技术有限公司 | Multi-focus image generation device, head-up display device, and related method and equipment |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013032087A (en) * | 2011-08-01 | 2013-02-14 | Denso Corp | Vehicle head-up display |
CN103376551B (en) * | 2012-04-23 | 2017-04-19 | 北京蚁视昂维科技有限公司 | Small-hole-projection-type near-eye display |
US9164281B2 (en) | 2013-03-15 | 2015-10-20 | Honda Motor Co., Ltd. | Volumetric heads-up display with dynamic focal plane |
US10215583B2 (en) * | 2013-03-15 | 2019-02-26 | Honda Motor Co., Ltd. | Multi-level navigation monitoring and control |
CN106471417B (en) | 2014-06-13 | 2019-03-12 | 三菱电机株式会社 | The head-mounted display of virtual image display apparatus and vehicle |
CN105785569A (en) * | 2014-12-25 | 2016-07-20 | 比亚迪股份有限公司 | On-board head-up display system |
CN104932104B (en) * | 2015-06-03 | 2017-08-04 | 青岛歌尔声学科技有限公司 | A kind of variable-focus optical system and head-up-display system |
JP6516642B2 (en) * | 2015-09-17 | 2019-05-22 | アルパイン株式会社 | Electronic device, image display method and image display program |
CN108139584B (en) * | 2015-10-15 | 2020-08-28 | 麦克赛尔株式会社 | Information display device |
CN105607393A (en) * | 2015-12-24 | 2016-05-25 | 中国人民解放军装甲兵工程学院 | Variable-focus projection display system applying phase-type spatial light modulator |
US9946070B2 (en) * | 2016-03-08 | 2018-04-17 | Sharp Kabushiki Kaisha | Automotive head up display |
JP6409015B2 (en) * | 2016-03-29 | 2018-10-17 | 矢崎総業株式会社 | Projection display device for vehicle |
US10055867B2 (en) * | 2016-04-25 | 2018-08-21 | Qualcomm Incorporated | Accelerated light field display |
CN107329256B (en) * | 2016-04-28 | 2022-04-05 | 江苏慧光电子科技有限公司 | Display device and control method thereof |
US10591738B2 (en) * | 2016-05-11 | 2020-03-17 | Wayray Ag | Heads-up display with variable focal plane |
KR20180025130A (en) * | 2016-08-31 | 2018-03-08 | 재단법인 구미전자정보기술원 | Variable focal length adjustment Head-up display system |
GB2557227A (en) * | 2016-11-30 | 2018-06-20 | Jaguar Land Rover Ltd | Multi-depth display apparatus |
CN106526867B (en) * | 2017-01-22 | 2018-10-30 | 网易(杭州)网络有限公司 | Display control method, device and the head-mounted display apparatus of image frame |
US20190116344A1 (en) | 2017-10-17 | 2019-04-18 | Visteon Global Technologies, Inc. | Multiple image plane head-up display |
CN207366832U (en) * | 2017-10-27 | 2018-05-15 | 惠州市华阳多媒体电子有限公司 | A kind of augmented reality head up display bifocal path structure |
CN207752239U (en) * | 2017-12-25 | 2018-08-21 | 宁波均胜科技有限公司 | A kind of vehicle-mounted augmented reality head-up-display system |
CN108399903B (en) * | 2018-03-27 | 2020-11-27 | 京东方科技集团股份有限公司 | Method and device for adjusting imaging position and head-up display system |
CN114326117A (en) * | 2020-05-15 | 2022-04-12 | 华为技术有限公司 | Multi-focus image generation device, head-up display device, and related method and equipment |
CN113671699A (en) * | 2020-05-15 | 2021-11-19 | 华为技术有限公司 | Multi-focus image generation device, head-up display device, and related method and equipment |
-
2020
- 2020-05-15 CN CN202010413996.4A patent/CN113671699A/en active Pending
- 2020-05-15 CN CN202111510959.6A patent/CN114326118A/en active Pending
-
2021
- 2021-03-20 EP EP21804786.8A patent/EP4134728A4/en active Pending
- 2021-03-20 WO PCT/CN2021/081944 patent/WO2021227657A1/en unknown
- 2021-03-20 JP JP2022569190A patent/JP7490820B2/en active Active
- 2021-03-20 KR KR1020227042117A patent/KR20230003218A/en unknown
- 2021-03-20 CN CN202180021145.8A patent/CN115298595A/en active Pending
-
2022
- 2022-11-14 US US18/055,011 patent/US20230074131A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2021227657A1 (en) | 2021-11-18 |
JP7490820B2 (en) | 2024-05-27 |
US20230074131A1 (en) | 2023-03-09 |
EP4134728A4 (en) | 2023-10-11 |
EP4134728A1 (en) | 2023-02-15 |
CN114326118A (en) | 2022-04-12 |
CN115298595A (en) | 2022-11-04 |
JP2023525839A (en) | 2023-06-19 |
CN113671699A (en) | 2021-11-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6271006B2 (en) | Virtual image display device | |
EP3245550B1 (en) | Dual head-up display apparatus | |
US20230073664A1 (en) | Multi-focal-plane image generation apparatus, head-up display apparatus, related method, and device | |
US20190116344A1 (en) | Multiple image plane head-up display | |
JPH07270711A (en) | Information display device | |
US11561396B2 (en) | Head-up display device and transportation device | |
US10642035B2 (en) | Laser projection arrangement and process for the generation of virtual images | |
US20230074131A1 (en) | Multi-Focal Picture Generation Apparatus, Head-Up Display Apparatus, Related Method, and Device | |
CN114428406A (en) | Head-up display system and image display method based on head-up display system | |
US11360303B2 (en) | Head up display system and display method of head up display system | |
CN114326353A (en) | Holographic projector including size correction and alignment of light beams having different wavelengths of light | |
JP7293259B2 (en) | Optical waveguide for display devices | |
WO2016103869A1 (en) | Image processing device | |
KR101610275B1 (en) | Hud system having adjustable focus function | |
JP2016126122A (en) | Hologram display device | |
WO2016136060A1 (en) | Projection optical system and image projection device having same | |
JP7111071B2 (en) | head-up display device | |
US20230324708A1 (en) | Image projection device and vehicle information display device | |
JP7111070B2 (en) | head-up display device | |
EP4336244A1 (en) | Optical system, illumination system, and display system | |
KR101917511B1 (en) | Picture generation unit and head-up display device including thereof | |
CN118276324A (en) | Image generation device, head-up display system and image display method |