WO2021194177A1 - 디스플레이 제어 장치 - Google Patents

디스플레이 제어 장치 Download PDF

Info

Publication number
WO2021194177A1
WO2021194177A1 PCT/KR2021/003473 KR2021003473W WO2021194177A1 WO 2021194177 A1 WO2021194177 A1 WO 2021194177A1 KR 2021003473 W KR2021003473 W KR 2021003473W WO 2021194177 A1 WO2021194177 A1 WO 2021194177A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
vehicle
processor
output
preset input
Prior art date
Application number
PCT/KR2021/003473
Other languages
English (en)
French (fr)
Inventor
전성배
한백
이도현
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US17/906,341 priority Critical patent/US20230146403A1/en
Priority to KR1020227024218A priority patent/KR20220156805A/ko
Publication of WO2021194177A1 publication Critical patent/WO2021194177A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/25—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the sides of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/393—Arrangements for updating the contents of the bit-mapped memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/92—Driver displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0492—Change of orientation of the displayed image, e.g. upside-down, mirrored
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Definitions

  • the present invention relates to a display control device for controlling a display provided in a vehicle.
  • a vehicle is a device capable of moving in a direction desired by a user on board.
  • a typical example is a car.
  • ADAS advanced driver assistance system
  • autonomous Vehicle autonomous Vehicle
  • ADAS Advanced Driving Assist System
  • Another object of the present invention is to provide a display control apparatus capable of intuitively manipulating a plurality of displays provided in a vehicle.
  • a display control apparatus includes an interface unit for performing data communication with a display provided in the vehicle, and a processor for controlling the display provided in the vehicle through the interface unit, , the processor receives information on a preset input applied to at least one display among a plurality of displays provided in the vehicle, and in response to the preset input, performs an operation corresponding to the preset input Controlling the plurality of displays.
  • the processor performs an operation corresponding to the preset input based on location information on which the plurality of displays are provided.
  • the preset input includes an input that starts at one point and is applied in one direction and then released at another point
  • the processor is configured to: and controlling the plurality of displays to perform an operation corresponding to the preset input based on at least one of the one direction to which the preset input is applied.
  • the processor when the preset input is applied to the at least one display, switches screens of other displays located in a direction in which the preset input is applied, based on the location information of the plurality of displays characterized in that
  • the first display in a state in which first screen information is being output to a first display among the plurality of displays and second screen information is being output to a second display different from the first display, the first display outputting the first screen information being output to the first display to the second display positioned in the first direction with respect to the first display based on the reception of the swipe input applied in the first direction to the It is characterized in that the second display is controlled.
  • substantially the same screen is output to the first display and the second display based on the reception of the swipe input.
  • the processor when a swipe input applied to the first display or the second display in a second direction opposite to the first direction is received, the processor is configured to display first screen information being output to the second display is restored to the second screen information.
  • the processor when the preset input is applied to the at least one display, the processor is configured to display a screen of another display located in a direction opposite to a direction to which the preset input is applied, based on the location information of the plurality of displays. It is characterized by converting
  • first screen information in a state in which first screen information is being output to a first display among the plurality of displays and second screen information is being output to another second display positioned in a first direction of the first display, , when a swipe input is received on the first display in a second direction opposite to the first direction, the second screen information being output to the second display is output to the first display. It is characterized by controlling the display.
  • the processor is, when a swipe input applied to the first display or the second display in a first direction opposite to the second direction is received, the second screen being output to the first display It is characterized in that the information is restored to the first screen information.
  • the processor is configured to determine a display for changing a screen based on a direction in which the preset input is applied and a position of the display to which the preset input is applied.
  • the processor switches the screen of the other display when the preset input is applied to a display in one direction and another display exists in one direction of the display. .
  • the screen of the display is switched do.
  • the processor when at least two displays exist in a direction opposite to a direction to which the preset input is applied, the processor is configured to display screen information being output to the at least two displays in the display to which the preset input is applied It is characterized by outputting
  • the screen information being output to the at least two or more displays is output by being superimposed on the screen information being output to the display to which the preset input is applied.
  • the interface unit is configured to receive images from a plurality of cameras provided in the vehicle, and the processor includes different cameras based on a direction in which the preset input is applied to a display provided in the vehicle. It is characterized in that the image is received from the display and output to the display to which the preset input is applied.
  • the processor when a preset input in a first direction is applied to the display, the processor receives an image from a first camera installed in a position opposite to the first direction among the plurality of cameras and outputs it to the display And, when a preset input in a second direction different from the first direction is applied to the display, receiving an image from a second camera installed in a position opposite to the second direction among the plurality of cameras and outputting the image to the display characterized in that
  • the processor when a preset input of a first type is received, converts the screen being output on the display to an image transmitted from the camera, and receives a preset input of a second type different from the first type When received, the image transmitted from the camera is overlapped and outputted on a partial area of the display.
  • the processor when a preset input of a third type different from the first and second types is received, the processor reduces the screen being output on the display and superimposes the reduced screen on the image transmitted from the camera It is characterized in that it is output.
  • the processor may output the reduced screen to different positions based on a direction in which the third type of preset input is applied.
  • the present invention can provide a user interface capable of controlling a plurality of displays provided in a vehicle in an optimized method.
  • the present invention can provide an optimized UI/UX capable of intuitively performing screen sharing/mirroring between a plurality of displays provided in a vehicle.
  • the present invention can provide a new display system with improved compatibility to facilitate screen sharing between a plurality of displays even if the OS is different between the plurality of displays.
  • FIG. 1 is a view showing the exterior of a vehicle according to an embodiment of the present invention.
  • FIG. 2 is a view of a vehicle according to an embodiment of the present invention viewed from various angles from the outside.
  • 3 to 4 are views illustrating the interior of a vehicle according to an embodiment of the present invention.
  • 5 to 6 are diagrams referenced to describe an object according to an embodiment of the present invention.
  • FIG. 7 is a block diagram referenced for explaining a vehicle according to an embodiment of the present invention.
  • FIG. 8 is a conceptual diagram for explaining a display control apparatus according to an embodiment of the present invention.
  • FIG. 9 is a conceptual diagram illustrating a plurality of displays provided in a vehicle controlled by the display control apparatus of the present invention.
  • FIG. 10 is a flowchart illustrating a representative control method of the present invention.
  • 11 and 12 are conceptual diagrams for explaining an operating environment of the display control apparatus of the present invention.
  • 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24 and 25 are a display control method according to various embodiments of the present disclosure. It is a conceptual diagram to explain.
  • the vehicle described in this specification may be a concept including an automobile and a motorcycle.
  • the vehicle will be mainly described with respect to the vehicle.
  • the vehicle described herein may be a concept including both an internal combustion engine vehicle having an engine as a power source, a hybrid vehicle having an engine and an electric motor as a power source, and an electric vehicle having an electric motor as a power source.
  • the left side of the vehicle means the left side in the driving direction of the vehicle
  • the right side of the vehicle means the right side in the driving direction of the vehicle
  • FIG. 1 is a view showing the exterior of a vehicle according to an embodiment of the present invention.
  • FIG. 2 is a view of a vehicle according to an embodiment of the present invention viewed from various angles from the outside.
  • 3 to 4 are views illustrating the interior of a vehicle according to an embodiment of the present invention.
  • 5 to 6 are diagrams referenced to describe an object according to an embodiment of the present invention.
  • FIG. 7 is a block diagram referenced for explaining a vehicle according to an embodiment of the present invention.
  • the vehicle 100 may include wheels rotated by a power source and a steering input device 510 for controlling the traveling direction of the vehicle 100 .
  • the vehicle 100 may be an autonomous driving vehicle.
  • the vehicle 100 may be switched to an autonomous driving mode or a manual mode based on a user input.
  • the vehicle 100 may be switched from the manual mode to the autonomous driving mode or from the autonomous driving mode to the manual mode based on a user input received through the user interface device 200 .
  • the vehicle 100 may be switched to an autonomous driving mode or a manual mode based on driving situation information.
  • the driving situation information may be generated based on object information provided by the object detection apparatus 300 .
  • the vehicle 100 may be switched from the manual mode to the autonomous driving mode or from the autonomous driving mode to the manual mode based on the driving situation information generated by the object detection apparatus 300 .
  • the vehicle 100 may be switched from the manual mode to the autonomous driving mode or from the autonomous driving mode to the manual mode based on driving situation information received through the communication device 400 .
  • the vehicle 100 may be switched from the manual mode to the autonomous driving mode or from the autonomous driving mode to the manual mode based on information, data, and signals provided from an external device.
  • the autonomous driving vehicle 100 may be operated based on the driving system 700 .
  • the autonomous vehicle 100 may be driven based on information, data, or signals generated by the driving system 710 , the taking-out system 740 , and the parking system 750 .
  • the autonomous driving vehicle 100 may receive a user input for driving through the driving manipulation device 500 . Based on a user input received through the driving manipulation device 500 , the vehicle 100 may be driven.
  • the overall length refers to the length from the front part to the rear part of the vehicle 100
  • the width refers to the width of the vehicle 100
  • the height refers to the length from the lower part of the wheel to the roof.
  • the overall length direction (L) is the standard direction for measuring the overall length of the vehicle 100
  • the full width direction (W) is the standard direction for measuring the overall width of the vehicle 100
  • the total height direction (H) is the vehicle (100) may mean a direction that is a reference for measuring the total height.
  • the vehicle 100 includes a user interface device 200 , an object detection device 300 , a communication device 400 , a driving manipulation device 500 , a vehicle driving device 600 , and a driving system. 700 , a navigation system 770 , a sensing unit 120 , an interface unit 130 , a memory 140 , a control unit 170 , and a power supply unit 190 .
  • the vehicle 100 may further include other components in addition to the components described herein, or may not include some of the components described herein.
  • the user interface device 200 is a device for communication between the vehicle 100 and a user.
  • the user interface device 200 may receive a user input and provide information generated in the vehicle 100 to the user.
  • the vehicle 100 may implement User Interfaces (UIs) or User Experiences (UXs) through the user interface device 200 .
  • UIs User Interfaces
  • UXs User Experiences
  • the user interface device 200 may include an input unit 210 , an internal camera 220 , a biometric sensor 230 , an output unit 250 , and a processor 270 .
  • the user interface device 200 may further include other components in addition to the described components, or may not include some of the described components.
  • the input unit 200 is for receiving information from the user, and the data collected by the input unit 120 may be analyzed by the processor 270 and processed as a user's control command.
  • the input unit 200 may be disposed inside the vehicle.
  • the input unit 200 may include one region of a steering wheel, one region of an instrument panel, one region of a seat, one region of each pillar, and a door.
  • One area of the (door), one area of the center console, one area of the head lining (head lining), one area of the sun visor, one area of the windshield (windshield) or the window (window) It may be disposed in one area or the like.
  • the input unit 200 may include a voice input unit 211 , a gesture input unit 212 , a touch input unit 213 , and a mechanical input unit 214 .
  • the voice input unit 211 may convert the user's voice input into an electrical signal.
  • the converted electrical signal may be provided to the processor 270 or the controller 170 .
  • the voice input unit 211 may include one or more microphones.
  • the gesture input unit 212 may convert the user's gesture input into an electrical signal.
  • the converted electrical signal may be provided to the processor 270 or the controller 170 .
  • the gesture input unit 212 may include at least one of an infrared sensor and an image sensor for detecting a user's gesture input.
  • the gesture input unit 212 may detect a user's 3D gesture input.
  • the gesture input unit 212 may include a light output unit that outputs a plurality of infrared lights or a plurality of image sensors.
  • the gesture input unit 212 may detect the user's 3D gesture input through a time of flight (TOF) method, a structured light method, or a disparity method.
  • TOF time of flight
  • the touch input unit 213 may convert a user's touch input into an electrical signal.
  • the converted electrical signal may be provided to the processor 270 or the controller 170 .
  • the touch input unit 213 may include a touch sensor for sensing a user's touch input.
  • the touch input unit 213 may be integrally formed with the display 251 to implement a touch screen.
  • a touch screen may provide both an input interface and an output interface between the vehicle 100 and the user.
  • the mechanical input unit 214 may include at least one of a button, a dome switch, a jog wheel, and a jog switch.
  • the electrical signal generated by the mechanical input unit 214 may be provided to the processor 270 or the control unit 170 .
  • the mechanical input unit 214 may be disposed on a steering wheel, a center fascia, a center console, a cockpick module, a door, and the like.
  • the internal camera 220 may acquire an image inside the vehicle.
  • the processor 270 may detect the user's state based on the image inside the vehicle.
  • the processor 270 may acquire the user's gaze information from the image inside the vehicle.
  • the processor 270 may detect the user's gesture from the image inside the vehicle.
  • the biometric sensor 230 may obtain biometric information of the user.
  • the biometric sensor 230 may include a sensor capable of obtaining the user's biometric information, and may obtain the user's fingerprint information, heart rate information, and the like, using the sensor.
  • the biometric information may be used for user authentication.
  • the output unit 250 is for generating an output related to visual, auditory or tactile sense.
  • the output unit 250 may include at least one of a display 251 , a sound output unit 252 , and a haptic output unit 253 .
  • the display 251 may display graphic objects corresponding to various pieces of information.
  • the display 251 includes a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), and a flexible display.
  • LCD liquid crystal display
  • TFT LCD thin film transistor-liquid crystal display
  • OLED organic light-emitting diode
  • a flexible display e.g., a three-dimensional display (3D display)
  • e-ink display may include at least one of an e-ink display (e-ink display).
  • the display 251 may form a layer structure with the touch input unit 213 or be integrally formed to implement a touch screen.
  • the display 251 may be implemented as a head up display (HUD).
  • the display 251 may include a projection module to output information through an image projected on the windshield or window.
  • the display 251 may include a transparent display.
  • the transparent display may be attached to a windshield or window.
  • the transparent display may display a predetermined screen while having predetermined transparency.
  • Transparent display in order to have transparency, transparent display is transparent TFEL (Thin Film Elecroluminescent), transparent OLED (Organic Light-Emitting Diode), transparent LCD (Liquid Crystal Display), transmissive transparent display, transparent LED (Light Emitting Diode) display may include at least one of The transparency of the transparent display can be adjusted.
  • the user interface device 200 may include a plurality of displays 251a to 251g.
  • the display 251 includes one area of the steering wheel, one area 521a, 251b, and 251e of the instrument panel, one area 251d of the seat, one area 251f of each pillar, and one area 251g of the door. ), one area of the center console, one area of the head lining, one area of the sun visor, or one area 251c of the windshield and one area 251h of the window.
  • the sound output unit 252 converts an electrical signal provided from the processor 270 or the control unit 170 into an audio signal and outputs the converted signal. To this end, the sound output unit 252 may include one or more speakers.
  • the haptic output unit 253 generates a tactile output.
  • the haptic output unit 253 may vibrate the steering wheel, the seat belt, and the seats 110FL, 110FR, 110RL, and 110RR so that the user can recognize the output.
  • the processor 270 may control the overall operation of each unit of the user interface device 200 .
  • the user interface apparatus 200 may include a plurality of processors 270 or may not include the processors 270 .
  • the user interface device 200 may be operated under the control of a processor or the controller 170 of another device in the vehicle 100 .
  • the user interface device 200 may be referred to as a vehicle display device.
  • the user interface device 200 may be operated under the control of the controller 170 .
  • the object detecting apparatus 300 is an apparatus for detecting an object located outside the vehicle 100 .
  • the object may be various objects related to the operation of the vehicle 100 .
  • the object O includes a lane OB10, another vehicle OB11, a pedestrian OB12, a two-wheeled vehicle OB13, traffic signals OB14, OB15, light, road, structure, This may include speed bumps, features, animals, and the like.
  • the lane OB10 may be a driving lane, a lane next to the driving lane, or a lane in which vehicles facing each other travel.
  • the lane OB10 may be a concept including left and right lines forming a lane.
  • the other vehicle OB11 may be a vehicle running in the vicinity of the vehicle 100 .
  • the other vehicle may be a vehicle located within a predetermined distance from the vehicle 100 .
  • the other vehicle OB11 may be a vehicle preceding or following the vehicle 100 .
  • the pedestrian OB12 may be a person located in the vicinity of the vehicle 100 .
  • the pedestrian OB12 may be a person located within a predetermined distance from the vehicle 100 .
  • the pedestrian OB12 may be a person located on a sidewalk or a roadway.
  • the two-wheeled vehicle OB12 may refer to a vehicle positioned around the vehicle 100 and moving using two wheels.
  • the two-wheeled vehicle OB12 may be a vehicle having two wheels positioned within a predetermined distance from the vehicle 100 .
  • the two-wheeled vehicle OB13 may be a motorcycle or a bicycle located on a sidewalk or roadway.
  • the traffic signal may include a traffic light OB15, a traffic sign OB14, and a pattern or text drawn on a road surface.
  • the light may be light generated from a lamp provided in another vehicle.
  • the light can be the light generated from the street lamp.
  • the light may be sunlight.
  • the road may include a road surface, a curve, an uphill slope, a downhill slope, and the like.
  • the structure may be an object located around a road and fixed to the ground.
  • the structure may include a street light, a street tree, a building, a power pole, a traffic light, and a bridge.
  • Features may include mountains, hills, and the like.
  • the object may be classified into a moving object and a fixed object.
  • the moving object may be a concept including other vehicles and pedestrians.
  • the fixed object may be a concept including a traffic signal, a road, and a structure.
  • the object detecting apparatus 300 may include a camera 310 , a radar 320 , a lidar 330 , an ultrasonic sensor 340 , an infrared sensor 350 , and a processor 370 .
  • the object detecting apparatus 300 may further include other components in addition to the described components, or may not include some of the described components.
  • the camera 310 may be located at an appropriate place outside the vehicle in order to acquire an image outside the vehicle.
  • the camera 310 may be a mono camera, a stereo camera 310a, an AVM (Around View Monitoring) camera 310b, or a 360 degree camera.
  • the camera 310 may be disposed adjacent to the front windshield in the interior of the vehicle to acquire an image of the front of the vehicle.
  • the camera 310 may be disposed around the front bumper or the radiator grill.
  • the camera 310 may be disposed adjacent to the rear glass in the interior of the vehicle in order to acquire an image of the rear of the vehicle.
  • the camera 310 may be disposed around a rear bumper, a trunk, or a tailgate.
  • the camera 310 may be disposed adjacent to at least one of the side windows in the interior of the vehicle in order to acquire an image of the side of the vehicle.
  • the camera 310 may be disposed around a side mirror, a fender, or a door.
  • the camera 310 may provide the acquired image to the processor 370 .
  • the radar 320 may include an electromagnetic wave transmitter and a receiver.
  • the radar 320 may be implemented in a pulse radar method or a continuous wave radar method in view of a radio wave emission principle.
  • the radar 320 may be implemented in a frequency modulated continuous wave (FMCW) method or a frequency shift keyong (FSK) method according to a signal waveform among continuous wave radar methods.
  • FMCW frequency modulated continuous wave
  • FSK frequency shift keyong
  • the radar 320 detects an object based on an electromagnetic wave, a time of flight (TOF) method or a phase-shift method, and a position of the detected object, a distance from the detected object, and a relative speed. can be detected.
  • TOF time of flight
  • the radar 320 may be disposed at an appropriate location outside the vehicle to detect an object located in front, rear or side of the vehicle.
  • the lidar 330 may include a laser transmitter and a receiver.
  • the lidar 330 may be implemented in a time of flight (TOF) method or a phase-shift method.
  • TOF time of flight
  • the lidar 330 may be implemented as a driven or non-driven type.
  • the lidar 330 When implemented as a driving type, the lidar 330 is rotated by a motor and may detect an object around the vehicle 100 .
  • the lidar 330 may detect an object located within a predetermined range with respect to the vehicle 100 by light steering.
  • the vehicle 100 may include a plurality of non-driven lidars 330 .
  • the lidar 330 detects an object based on a time of flight (TOF) method or a phase-shift method as a laser light medium, and determines the position of the detected object, the distance from the detected object, and Relative speed can be detected.
  • TOF time of flight
  • phase-shift method as a laser light medium
  • the lidar 330 may be disposed at an appropriate location outside the vehicle to detect an object located in the front, rear, or side of the vehicle.
  • the ultrasonic sensor 340 may include an ultrasonic transmitter and a receiver.
  • the ultrasound sensor 340 may detect an object based on ultrasound, and detect a position of the detected object, a distance from the detected object, and a relative speed.
  • the ultrasonic sensor 340 may be disposed at an appropriate location outside the vehicle to detect an object located in the front, rear, or side of the vehicle.
  • the infrared sensor 350 may include an infrared transmitter and a receiver.
  • the infrared sensor 340 may detect an object based on infrared light, and detect a position of the detected object, a distance from the detected object, and a relative speed.
  • the infrared sensor 350 may be disposed at an appropriate location outside the vehicle to detect an object located in front, rear, or side of the vehicle.
  • the processor 370 may control the overall operation of each unit of the object detection apparatus 300 .
  • the processor 370 may detect and track the object based on the acquired image.
  • the processor 370 may perform operations such as calculating a distance to an object and calculating a relative speed with respect to an object through an image processing algorithm.
  • the processor 370 may detect and track the object based on the reflected electromagnetic wave that is reflected by the object and returns.
  • the processor 370 may perform operations such as calculating a distance to an object and calculating a relative speed with respect to the object based on the electromagnetic wave.
  • the processor 370 may detect and track the object based on the reflected laser light from which the transmitted laser is reflected by the object and returned.
  • the processor 370 may perform operations such as calculating a distance to an object and calculating a relative speed with respect to the object based on the laser light.
  • the processor 370 may detect and track the object based on the reflected ultrasound reflected back by the transmitted ultrasound.
  • the processor 370 may perform operations such as calculating a distance to an object and calculating a relative speed with respect to the object based on the ultrasound.
  • the processor 370 may detect and track the object based on the reflected infrared light reflected back by the transmitted infrared light.
  • the processor 370 may perform operations such as calculating a distance to an object and calculating a relative speed with respect to the object based on the infrared light.
  • the object detecting apparatus 300 may include a plurality of processors 370 or may not include the processors 370 .
  • each of the camera 310 , the radar 320 , the lidar 330 , the ultrasonic sensor 340 , and the infrared sensor 350 may individually include a processor.
  • the object detection apparatus 300 may be operated under the control of the processor or the controller 170 of the apparatus in the vehicle 100 .
  • the object detecting apparatus 400 may be operated under the control of the controller 170 .
  • the communication apparatus 400 is an apparatus for performing communication with an external device.
  • the external device may be another vehicle, a mobile terminal, or a server.
  • the communication device 400 may include at least one of a transmit antenna, a receive antenna, a radio frequency (RF) circuit capable of implementing various communication protocols, and an RF element to perform communication.
  • RF radio frequency
  • the communication device 400 may include a short-range communication unit 410 , a location information unit 420 , a V2X communication unit 430 , an optical communication unit 440 , a broadcast transceiver 450 , and a processor 470 .
  • the communication device 400 may further include other components in addition to the described components, or may not include some of the described components.
  • the short-range communication unit 410 is a unit for short-range communication.
  • Short-range communication unit 410 Bluetooth (BluetoothTM), RFID (Radio Frequency Identification), infrared communication (Infrared Data Association; IrDA), UWB (Ultra Wideband), ZigBee, NFC (Near Field Communication), Wi-Fi (Wireless) -Fidelity), Wi-Fi Direct, and wireless USB (Wireless Universal Serial Bus) technology may be used to support short-distance communication.
  • the short-range communication unit 410 may form wireless area networks to perform short-range communication between the vehicle 100 and at least one external device.
  • the location information unit 420 is a unit for obtaining location information of the vehicle 100 .
  • the location information unit 420 may include a Global Positioning System (GPS) module or a Differential Global Positioning System (DGPS) module.
  • GPS Global Positioning System
  • DGPS Differential Global Positioning System
  • the V2X communication unit 430 is a unit for performing wireless communication with a server (V2I: Vehicle to Infra), another vehicle (V2V: Vehicle to Vehicle), or a pedestrian (V2P: Vehicle to Pedestrian).
  • the V2X communication unit 430 may include an RF circuit capable of implementing protocols for communication with infrastructure (V2I), vehicle-to-vehicle communication (V2V), and communication with pedestrians (V2P).
  • the optical communication unit 440 is a unit for performing communication with an external device via light.
  • the optical communication unit 440 may include an optical transmitter that converts an electrical signal into an optical signal and transmits the optical signal, and an optical receiver that converts the received optical signal into an electrical signal.
  • the light transmitter may be formed to be integrated with a lamp included in the vehicle 100 .
  • the broadcast transceiver 450 is a unit for receiving a broadcast signal from an external broadcast management server or transmitting a broadcast signal to the broadcast management server through a broadcast channel.
  • the broadcast channel may include a satellite channel and a terrestrial channel.
  • the broadcast signal may include a TV broadcast signal, a radio broadcast signal, and a data broadcast signal.
  • the processor 470 may control the overall operation of each unit of the communication device 400 .
  • the communication device 400 may include a plurality of processors 470 or may not include the processors 470 .
  • the communication device 400 may be operated under the control of a processor or controller 170 of another device in the vehicle 100 .
  • the communication device 400 may implement a vehicle display device together with the user interface device 200 .
  • the vehicle display device may be referred to as a telematics device or an AVN (Audio Video Navigation) device.
  • the communication device 400 may be operated under the control of the controller 170 .
  • the driving operation device 500 is a device that receives a user input for driving.
  • the vehicle 100 may be driven based on a signal provided by the driving manipulation device 500 .
  • the driving manipulation device 500 may include a steering input device 510 , an acceleration input device 530 , and a brake input device 570 .
  • the steering input device 510 may receive a driving direction input of the vehicle 100 from a user.
  • the steering input device 510 is preferably formed in a wheel shape to enable steering input by rotation.
  • the steering input device may be formed in the form of a touch screen, a touch pad, or a button.
  • the acceleration input device 530 may receive an input for acceleration of the vehicle 100 from a user.
  • the brake input device 570 may receive an input for decelerating the vehicle 100 from a user.
  • the acceleration input device 530 and the brake input device 570 are preferably formed in the form of pedals. According to an embodiment, the acceleration input device or the brake input device may be formed in the form of a touch screen, a touch pad, or a button.
  • the driving operation device 500 may be operated under the control of the controller 170 .
  • the vehicle driving device 600 is a device that electrically controls driving of various devices in the vehicle 100 .
  • the vehicle driving unit 600 may include a power train driving unit 610 , a chassis driving unit 620 , a door/window driving unit 630 , a safety device driving unit 640 , a lamp driving unit 650 , and an air conditioning driving unit 660 .
  • a power train driving unit 610 may be included in the vehicle driving unit 600 .
  • a chassis driving unit 620 may be included in the vehicle driving unit 600 .
  • a door/window driving unit 630 may include a safety device driving unit 640 , a lamp driving unit 650 , and an air conditioning driving unit 660 .
  • the vehicle driving apparatus 600 may further include other components in addition to the described components, or may not include some of the described components.
  • the vehicle driving apparatus 600 may include a processor. Each unit of the vehicle driving apparatus 600 may each individually include a processor.
  • the power train driver 610 may control the operation of the power train device.
  • the power train driving unit 610 may include a power source driving unit 611 and a transmission driving unit 612 .
  • the power source driving unit 611 may control the power source of the vehicle 100 .
  • the power source driving unit 610 may perform electronic control of the engine. Thereby, the output torque of an engine, etc. can be controlled.
  • the power source driving unit 611 may adjust the engine output torque according to the control of the control unit 170 .
  • the power source driving unit 610 may control the motor.
  • the power source driving unit 610 may adjust the rotation speed and torque of the motor according to the control of the control unit 170 .
  • the transmission driving unit 612 may control the transmission.
  • the transmission driving unit 612 may adjust the state of the transmission.
  • the transmission driving unit 612 may adjust the transmission state to forward (D), reverse (R), neutral (N), or park (P).
  • the transmission driving unit 612 may adjust the engagement state of the gear in the forward (D) state.
  • the chassis driving unit 620 may control the operation of the chassis device.
  • the chassis driving unit 620 may include a steering driving unit 621 , a brake driving unit 622 , and a suspension driving unit 623 .
  • the steering driving unit 621 may perform electronic control of a steering apparatus in the vehicle 100 .
  • the steering driving unit 621 may change the traveling direction of the vehicle.
  • the brake driving unit 622 may perform electronic control of a brake apparatus in the vehicle 100 .
  • the speed of the vehicle 100 may be reduced by controlling the operation of a brake disposed on the wheel.
  • the brake driving unit 622 may individually control each of the plurality of brakes.
  • the brake driving unit 622 may differently control the braking force applied to the plurality of wheels.
  • the suspension driving unit 623 may electronically control a suspension apparatus in the vehicle 100 . For example, when there is a curve in the road surface, the suspension driving unit 623 may control the suspension device to reduce vibration of the vehicle 100 .
  • the suspension driving unit 623 may individually control each of the plurality of suspensions.
  • the door/window driving unit 630 may perform electronic control of a door apparatus or a window apparatus in the vehicle 100 .
  • the door/window driving unit 630 may include a door driving unit 631 and a window driving unit 632 .
  • the door driving unit 631 may control the door device.
  • the door driving unit 631 may control opening and closing of a plurality of doors included in the vehicle 100 .
  • the door driving unit 631 may control opening or closing of a trunk or a tail gate.
  • the door driving unit 631 may control opening or closing of a sunroof.
  • the window driving unit 632 may perform electronic control of a window apparatus. Opening or closing of a plurality of windows included in the vehicle 100 may be controlled.
  • the safety device driving unit 640 may perform electronic control of various safety apparatuses in the vehicle 100 .
  • the safety device driving unit 640 may include an airbag driving unit 641 , a seat belt driving unit 642 , and a pedestrian protection device driving unit 643 .
  • the airbag driving unit 641 may perform electronic control of an airbag apparatus in the vehicle 100 .
  • the airbag driver 641 may control the airbag to be deployed when a danger is detected.
  • the seat belt driving unit 642 may perform electronic control of a seat belt appartus in the vehicle 100 .
  • the seat belt driving unit 642 may control the occupant to be fixed to the seats 110FL, 110FR, 110RL, and 110RR using the seat belt when a danger is sensed.
  • the pedestrian protection device driving unit 643 may perform electronic control for the hood lift and the pedestrian airbag. For example, when detecting a collision with a pedestrian, the pedestrian protection device driving unit 643 may control to lift up the hood and deploy the pedestrian airbag.
  • the lamp driver 650 may electronically control various lamp apparatuses in the vehicle 100 .
  • the air conditioning driving unit 660 may perform electronic control of an air conditioner (air cinditioner) in the vehicle 100 . For example, when the temperature inside the vehicle is high, the air conditioning driving unit 660 may control the air conditioner to operate to supply cool air to the interior of the vehicle.
  • air conditioner air cinditioner
  • the vehicle driving apparatus 600 may include a processor. Each unit of the vehicle driving apparatus 600 may each individually include a processor.
  • the vehicle driving apparatus 600 may be operated under the control of the controller 170 .
  • the operation system 700 is a system for controlling various operations of the vehicle 100 .
  • the driving system 700 may be operated in an autonomous driving mode.
  • the driving system 700 may include a driving system 710 , a car taking-out system 740 , and a parking system 750 .
  • the navigation system 700 may further include other components in addition to the described components, or may not include some of the described components.
  • the driving system 700 may include a processor.
  • Each unit of the navigation system 700 may each individually include a processor.
  • the operating system 700 when the operating system 700 is implemented in software, it may be a sub-concept of the control unit 170 .
  • the driving system 700 may control at least one of the user interface device 200 , the object detection device 300 , the communication device 400 , the vehicle driving device 600 , and the control unit 170 . It may be a concept that includes
  • the driving system 710 may perform driving of the vehicle 100 .
  • the driving system 710 may receive navigation information from the navigation system 770 and provide a control signal to the vehicle driving device 600 to drive the vehicle 100 .
  • the driving system 710 may receive object information from the object detecting apparatus 300 , and provide a control signal to the vehicle driving apparatus 600 to drive the vehicle 100 .
  • the driving system 710 may receive a signal from an external device through the communication device 400 and provide a control signal to the vehicle driving apparatus 600 to drive the vehicle 100 .
  • the un-parking system 740 may perform un-parking of the vehicle 100 .
  • the un-parking system 740 may receive navigation information from the navigation system 770 and provide a control signal to the vehicle driving apparatus 600 to un-park the vehicle 100 .
  • the un-parking system 740 may receive the object information from the object detection apparatus 300 and provide a control signal to the vehicle driving apparatus 600 to un-park the vehicle 100 .
  • the un-parking system 740 may receive a signal from an external device through the communication device 400 and provide a control signal to the vehicle driving apparatus 600 to un-park the vehicle 100 .
  • the parking system 750 may perform parking of the vehicle 100 .
  • the parking system 750 may receive navigation information from the navigation system 770 and provide a control signal to the vehicle driving device 600 to park the vehicle 100 .
  • the parking system 750 may receive object information from the object detection apparatus 300 , and may provide a control signal to the vehicle driving apparatus 600 to park the vehicle 100 .
  • the parking system 750 may receive a signal from an external device through the communication device 400 and provide a control signal to the vehicle driving apparatus 600 to park the vehicle 100 .
  • the navigation system 770 may provide navigation information.
  • the navigation information may include at least one of map information, set destination information, route information according to the destination setting, information on various objects on a route, lane information, and current location information of the vehicle.
  • the navigation system 770 may include a memory and a processor.
  • the memory may store navigation information.
  • the processor may control the operation of the navigation system 770 .
  • the navigation system 770 may receive information from an external device through the communication device 400 and update pre-stored information.
  • the navigation system 770 may be classified into sub-components of the user interface device 200 .
  • the sensing unit 120 may sense the state of the vehicle.
  • the sensing unit 120 may include a posture sensor (eg, a yaw sensor, a roll sensor, a pitch sensor), a collision sensor, a wheel sensor, a speed sensor, and an inclination. sensor, weight sensor, heading sensor, yaw sensor, gyro sensor, position module, vehicle forward/reverse sensor, battery sensor, fuel sensor, tire sensor, steering wheel It may include a steering sensor by rotation, a vehicle internal temperature sensor, a vehicle internal humidity sensor, an ultrasonic sensor, an illuminance sensor, an accelerator pedal position sensor, a brake pedal position sensor, and the like.
  • the sensing unit 120 may include vehicle posture information, vehicle collision information, vehicle direction information, vehicle location information (GPS information), vehicle angle information, vehicle speed information, vehicle acceleration information, vehicle tilt information, vehicle forward/reverse information, and a battery. Acquires sensing signals for information, fuel information, tire information, vehicle lamp information, vehicle interior temperature information, vehicle interior humidity information, steering wheel rotation angle, exterior illumination of the vehicle, pressure applied to the accelerator pedal, and pressure applied to the brake pedal can do.
  • the sensing unit 120 in addition, an accelerator pedal sensor, a pressure sensor, an engine speed sensor, an air flow sensor (AFS), an intake air temperature sensor (ATS), a water temperature sensor (WTS), a throttle position sensor (TPS), a TDC sensor, a crank angle sensor (CAS), and the like.
  • AFS air flow sensor
  • ATS intake air temperature sensor
  • WTS water temperature sensor
  • TPS throttle position sensor
  • TDC crank angle sensor
  • CAS crank angle sensor
  • the interface unit 130 may serve as a passage with various types of external devices connected to the vehicle 100 .
  • the interface unit 130 may have a port connectable to the mobile terminal, and may connect to the mobile terminal through the port. In this case, the interface unit 130 may exchange data with the mobile terminal.
  • the interface unit 130 may serve as a passage for supplying electrical energy to the connected mobile terminal.
  • the interface unit 130 may provide the electric energy supplied from the power supply unit 190 to the mobile terminal.
  • the memory 140 is electrically connected to the control unit 170 .
  • the memory 140 may store basic data for the unit, control data for operation control of the unit, and input/output data.
  • the memory 140 may be various storage devices such as ROM, RAM, EPROM, flash drive, hard drive, etc. in terms of hardware.
  • the memory 140 may store various data for the overall operation of the vehicle 100 , such as a program for processing or controlling the controller 170 .
  • the memory 140 may be formed integrally with the control unit 170 or may be implemented as a sub-component of the control unit 170 .
  • the controller 170 may control the overall operation of each unit in the vehicle 100 .
  • the control unit 170 may be referred to as an Electronic Control Unit (ECU).
  • ECU Electronic Control Unit
  • the power supply unit 190 may supply power required for operation of each component under the control of the control unit 170 .
  • the power supply unit 190 may receive power from a battery inside the vehicle.
  • processors and control unit 170 include one or more processors and control unit 170, ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs ( field programmable gate arrays), processors, controllers, micro-controllers, microprocessors, and other electrical units for performing functions.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • processors controllers, micro-controllers, microprocessors, and other electrical units for performing functions.
  • the vehicle 100 related to the present invention may include a display control device 800 .
  • the display control apparatus 800 may control at least one of the components described with reference to FIG. 7 . From this point of view, the display control device 800 may be the control unit 170 .
  • the present invention is not limited thereto, and the display control apparatus 800 may be a separate configuration independent of the control unit 170 .
  • the display control device 800 may be provided in a part of the vehicle 100 .
  • the display control device 800 described in this specification may include all types of devices capable of controlling a vehicle, and may be, for example, a mobile terminal or an independent module (or device, component).
  • the display control device 800 and the vehicle 100 may be communicatively connected through wired/wireless communication.
  • the display control apparatus 800 may control the vehicle 100 in various ways in a communication-connected state.
  • the processor 830 described herein may be a controller of the mobile terminal.
  • the display control apparatus 800 will be described as a separate component independent of the control unit 170 .
  • the functions (operations) and control methods described for the display control apparatus 800 in this specification may be performed by the control unit 170 of the vehicle. That is, all contents described in relation to the display control apparatus 800 may be analogously applied to the control unit 170 in the same/similar manner.
  • the display control apparatus 800 described in this specification may include some of the components described with reference to FIG. 7 and various components provided in the vehicle.
  • the components described with reference to FIG. 7 and various components provided in the vehicle will be described with separate names and reference numerals.
  • FIG. 8 is a conceptual diagram for explaining a display control apparatus according to an embodiment of the present invention.
  • the display control apparatus 800 related to the present invention may control the display 251 provided in the vehicle.
  • the display control apparatus 800 may be connected to the vehicle to perform wired/wireless communication in order to control the components provided in the vehicle and/or the display 251 provided in the vehicle described with reference to FIG. 7 .
  • the display control apparatus 800 may include an interface unit 810 (or a communication unit (not shown)) that performs data communication with a display provided in the vehicle.
  • the interface unit 810 serves as a passage with various types of external devices connected to the vehicle 100 .
  • Such an interface unit 810 a wired / wireless headset port (port), an external charger port (port), a wired / wireless data port (port), a memory card (memory card) port, connecting a device equipped with an identification module It may include at least one of a port, an audio input/output (I/O) port, a video input/output (I/O) port, and an earphone port.
  • the display control device 800 may perform appropriate control related to the connected component. .
  • the interface unit 810 of the display control device 800 may be connected to the interface unit 130 provided in the vehicle.
  • the interface unit 130 may serve as a passage with various types of external devices connected to the vehicle 100 .
  • the interface unit 130 may include a port connectable to the display control apparatus 800 , and may be connected to the display control apparatus 800 through the port. In this case, the interface unit 130 may exchange data with the display control device 800 .
  • the interface unit 130 may serve as a passage for supplying electrical energy to the connected display control device 800 .
  • the interface unit 130 may provide the electrical energy supplied from the power supply unit 190 to the display control device. .
  • the display control apparatus 800 may further include a communication unit (not shown) configured to transmit and receive data through wired/wireless communication with the display of the vehicle.
  • the communication unit may analogously apply the contents of the above-described communication device 400 in the same/similar manner.
  • the communication unit (not shown) may be communicatively connected to the communication device 400 provided in the vehicle to perform communication to transmit/receive data to and from the display 251 provided in the vehicle.
  • the display control device 800 and the vehicle 100 may be connected to enable wireless communication (or wired communication) through a communication unit.
  • the display control device 800 and the vehicle are wirelessly connected to enable mutual wireless communication according to a user's request, or, if previously connected to enable wireless communication, based on the entry of the display control device into the vehicle interior , can be wirelessly connected to enable mutual wireless communication.
  • the display control apparatus 800 may control the display 251 of the vehicle through the communication unit.
  • the display control apparatus 800 may transmit a control signal for controlling the display 251 to the vehicle 100 through the communication unit.
  • the vehicle 100 may perform a function/operation/control corresponding to the control signal.
  • the vehicle 100 may control the display control device 800 .
  • the vehicle 100 may transmit a control signal for controlling the display control apparatus 800 to the display control apparatus 800 .
  • the display control apparatus 800 may perform a function/operation/control corresponding to the control signal transmitted from the vehicle 100 .
  • the communication unit may communicate with an external device (eg, a server, a cloud server (or cloud), the Internet, etc.) existing outside the vehicle.
  • the communication unit may perform communication with another vehicle.
  • the processor 830 may control the display 251 provided in the vehicle 100 through the interface unit 810 (or the communication unit).
  • the processor 830 may receive information about a preset input applied to at least one display among a plurality of displays provided in the vehicle.
  • the processor 830 may control a plurality of displays to perform an operation corresponding to the preset input.
  • FIG. 9 is a conceptual diagram illustrating a plurality of displays provided in a vehicle controlled by the display control apparatus of the present invention.
  • the display control apparatus 800 of the present invention may control a plurality of displays provided in a vehicle.
  • the plurality of displays may include a head unit display (first display 910), rear-seat entertainment system (RSE) 1 (second display 920), RSE 2 (third display 930), and the like.
  • RSE rear-seat entertainment system
  • RSE 2 third display 930
  • the display provided in the vehicle may include a transparent display.
  • the transparent display may be attached to a windshield or window.
  • the display provided in the vehicle includes one area of the steering wheel, one area 251a, 251b, and 251e of the instrument panel, one area 251d of the seat, one area 251f of each pillar, and one area of the door ( 251g), one region of the center console, one region of the head lining, one region of the sun visor, or one region 251c of the windshield and one region 251h of the window.
  • the display may include a cluster, a center information display (CID), a navigation device, and a head-up display (HUD).
  • CID center information display
  • HUD head-up display
  • the display may implement a touch screen by forming a layer structure with the touch sensor or being integrally formed.
  • This touch screen functions as the input unit 210 that provides an input interface between the vehicle 100 (or the display control device 800 ) and the user, and at the same time, the vehicle 100 (or the display control device 800 ). It can provide an output interface between the user and the user.
  • FIG. 10 is a flowchart illustrating a representative control method of the present invention.
  • the processor 830 of the display control apparatus 800 of the present invention may receive information about a preset input applied to at least one display among a plurality of displays provided in the vehicle (S1010).
  • the processor 830 may control the plurality of displays to perform an operation corresponding to the preset input ( S1020 ).
  • the present invention in a multi-display environment in which a vehicle is equipped with a plurality of displays, it is possible to divide and output portions of a screen to be displayed on each of the plurality of displays and to attach several displays to configure a single large completed virtual display. .
  • the present invention can provide an environment in which various types of sharing or collaboration can be performed by using a mirroring or sharing function.
  • the display control apparatus of the present invention may include a multi-display manager.
  • the multi-display manager may store location information on the physical location of each of the plurality of displays.
  • the location information on the physical location of each of the plurality of displays is set by the user when the display control device is mounted on the vehicle or stored in advance when the vehicle is manufactured, and the display device information is stored in the vehicle when the display control device is connected to the vehicle. can be received from
  • the display control device may include a gesture-based user interface.
  • the gesture-based user interface may detect a user input (gesture) applied to at least one of a plurality of displays.
  • the display control apparatus may include a display determiner.
  • the display determining unit determines which device to output the screen and audio to, based on the device to which the user gesture is currently input, based on the location information of the multi-display manager, and a display (source, source) providing an image and a provided image You can pass the display (destination, destination) that outputs to multiple display buffer handlers.
  • the multiple display buffer processor may be included in the display control device.
  • the multi-display buffer processor receives a display (destination, destination) for sharing or mirroring a display (source) to which a user's gesture is input and an image and audio to be used, and receives the screen of the source display and
  • a sharing or mirroring function may be implemented by copying the audio buffer to the screen and audio buffer of the destination display in real time, or replacing the buffer of the destination display with the buffer of the source display.
  • multiple display managers in the system store location information (device configuration information) for the physical location of each display, and based on this, in contrast to the direction of user gestures, intuitively share/share the screen can be mirrored.
  • the multi-display manager of the display control apparatus 800 of the present invention stores and manages a relative position (location information or device configuration information) of the display unit, and a location where the display is installed in the vehicle multi-display environment (for example, , front/rear seats, left/middle/right)).
  • the gesture-based user interface may track a start/movement/end point of a user input (gesture) and determine the direction of the gesture.
  • the direction of the gesture may be recognized by tracking a touch start point, a movement path, and a touch end point.
  • a camera 820 for recognizing an object may be additionally provided, and the movement direction of the object (eg, a user's hand) recognized through the camera 820 . You can track the direction of the gesture.
  • the direction division of the gesture may be simply divided into 4 directions front/rear/left/right, or may be recognized as 8 directions division divided into front/back/left/right/front-left/front-right/rear-left/back-right.
  • the display determiner may determine the device for recognizing the gesture as the source display (or the source device), and determine the destination display (or the destination device) based on the direction of the gesture.
  • the display determiner may determine the source display and the destination display in various ways according to the display to which the gesture is applied, the installation position of the display, and the direction of the gesture, which will be described later.
  • the display determiner may determine a source display providing a screen/sound and a destination display outputting a screen/sound provided from the source display, and output the ID of the source display and the ID of the destination display.
  • the display buffer processor receives the ID of the source display and the ID of the destination display output from the display determining unit as inputs, and periodically copies the output buffer of the source display to the buffer of the destination display, or converts the destination display ID buffer address to the source display ID By changing the buffer address, it is possible to output the image output from the source display to the destination display in the same way.
  • the multi-display manager, gesture-based user interface, display determiner, and display buffer processor described above may be implemented by the processor 830 of the display control apparatus of the present invention.
  • the multiple display manager, the gesture-based user interface, the display determiner, and the display buffer processor may be implemented as software components, or each may be implemented as an independent module.
  • the processor 830 analogously applies the operation/function/control method performed by the multiple display manager, the gesture-based user interface, the display determiner, and the display buffer processor in the same/similar manner.
  • 11 and 12 are conceptual diagrams for explaining an operating environment of the display control apparatus of the present invention.
  • the plurality of displays provided in the vehicle of the present invention may be controlled by one operating system (OS) (eg, one Android OS) on one SoC (System on Chip).
  • OS operating system
  • SoC System on Chip
  • the plurality of displays provided in the vehicle of the present invention may be driven by different OSs (for example, the first display may be a Linux OS, and the second and third displays may be driven by an Android OS). .
  • a hypervisor may be provided on one SoC to perform compatibility between different OSs.
  • the display control apparatus may perform data transmission/reception and sharing/mirroring functions between different OSs through a hypervisor, even if displays provided in the vehicle are driven in different OSs.
  • the display control apparatus of the present invention may be formed to control a plurality of displays on one SoC, and system control software (SW) for this may be installed.
  • SW system control software
  • the first display 910 may be installed, for example, at a position operable by the driver, and may be driven by applications (games, games, etc.) navigation, map, video, web, etc.) can all be driven.
  • Each of the plurality of displays of the present invention may include a buffer for loading and storing the screen information to be output from each display in advance from a memory or an external server in order to reproduce it without buffering.
  • the display control device controls a buffer associated with each display, resizes the screen information being output from the source display in the buffer, and outputs it on the destination display
  • the resized screen information may be loaded into the buffer of the destination display.
  • the display control apparatus may load the resized screen information into a buffer of the destination display and output the resized screen information to the destination display.
  • the control SW Operating System installed in the display control device is 1) requested Access the Display Video Buffer of the Display Device (Access Controller), 2) Resize the Display Video Buffer Contents of the Requested Display Device (Buffer Resizer), 3) The Display Device that requested the Resized Video Buffer Contents of the Requested Display Device It can be reflected in a specific area of the Video Buffer of (Video Buffer Modifier), and 4) periodically updated to enable real-time monitoring of the screen being output from the requested display on the requested display device.
  • the control SW Operating System
  • the present invention puts a video buffer for each display, independently outputs the screen driven by each display device to the video buffer, and utilizes each display device as an independent device, but the user uses the screen of another display device.
  • the system control SW Oleating System
  • the system control SW activates the following functions in addition to the existing display buffer management, 1) accesses the video buffer of the requested display device (Access Controller), 2) Resize the contents of the video buffer of the requested display device (Buffer Resizer), 3) reflect the resized contents of the video buffer of the requested display device in a specific area of the video buffer of the requested display device (Video Buffer Modifier) , 4)
  • the screen being executed on the requested device can be monitored in real time by the requested display device by periodically updating it.
  • the display control apparatus of the present invention may include system control software, a display access control unit, a buffer resizer, and a video buffer modifier.
  • the display access controller 1) allocates a video buffer for each display when the user does not request a monitoring function using the PIP function, and outputs the screen of the app running on each display in real time. 2) When a user requests a monitoring function using the PIP function, the user can have the right to access the video buffer of the requested display.
  • the buffer resizer may perform a function of resizing the contents of the video buffer of a specific display to a small size according to the request of the display access control unit.
  • the video buffer modifier may perform a function of synthesizing the resized requested contents provided by the buffer resizer in the video buffer of the requesting device.
  • the system control S/W accesses the video buffer of the requested device through the display access controller, and buffers the contents of the video buffer of the corresponding display.
  • the requested display device can monitor the screen driven by the requested display in real time.
  • a screen monitoring request using the corresponding PIP function may be restricted to a user having a specific authority.
  • the parent can monitor the screen output from the display device used by the child in real time (for the purpose of blocking the use of inappropriate services or contents), and in a vehicle environment, the driver can You can monitor the screen being output.
  • the system control software, display access control unit, buffer resizer, and video buffer modifier described above may be implemented by the processor 830 of the display control apparatus of the present invention.
  • the display control apparatus of the present invention intuitively and effectively shares and/or mirrors a screen on a plurality of displays provided in the vehicle. Let's take a look at it in more detail with reference.
  • 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24 and 25 are a display control method according to various embodiments of the present disclosure. It is a conceptual diagram to explain.
  • the display control apparatus of the present invention may control the display 251 provided in the vehicle through the interface unit 810 (or the communication unit) (hereinafter, three displays 910, 920, and 930 will be used as an example).
  • the processor 830 may receive information about a preset input applied to at least one display among a plurality of displays provided in the vehicle from the display unit or the controller 170 provided in the vehicle.
  • the information about the preset input may include information related to the user input input by the user into the display, such as what kind of user input (gesture) it is, the starting point and ending point of the user input, and the direction in which the user input is applied. have.
  • the processor 830 may determine that the user input has been applied to at least one of a plurality of displays provided in the vehicle.
  • the processor 830 may control the plurality of displays to perform an operation corresponding to the preset input in response to the preset input.
  • the processor 830 may perform an operation corresponding to a preset input based on location information where a plurality of displays are provided (installed).
  • the first display 910 is installed at an operable position on the front seat of the vehicle, the second display 920 is on the left side of the rear seat, and the third display 930 is on the right side of the rear seat. It can be installed in an operable position in
  • the installation positions of the first to third displays are included in the location information provided with the plurality of displays, and the location information (or the device configuration information described above) may be generated/determined or changed by a user setting. have.
  • the location information may be pre-stored in the vehicle when the vehicle is manufactured or when a plurality of displays are installed in the vehicle, and may be transmitted from the vehicle to the display control device at the request of the display control device. have.
  • the preset input may include various types of user input.
  • the preset type of user input is a touch input applied to the display 251 or applied to a user interface device (eg, a button provided on a steering wheel, a jog dial, a knob, etc.) associated with each display. It may include user input and the like.
  • a user interface device eg, a button provided on a steering wheel, a jog dial, a knob, etc.
  • the preset type of user input may include various types of touch.
  • the various types of touch include a short (or tap) touch, a long touch, a double touch, a multi touch, a drag touch, flick touch, pinch-in touch, pinch-out touch, swype touch, hovering touch, force touch, etc. may be included. .
  • a short (or tap) touch is a touch released within a certain period of time after a touch object (eg, a finger or a stylus pen) is in contact with the display 251 (after a touch is applied).
  • a touch object eg, a finger or a stylus pen
  • the short (or tap) touch may be a touch in which a touch object comes into contact with the display 251 for a short time, such as a single click of a mouse.
  • the long touch may be a touch maintained for a predetermined time or longer after the touch object comes into contact with the display 251 .
  • the long touch may be a touch in which the touch is maintained for a predetermined time or longer after a touch is applied to the display 251 by the touch object. More specifically, the long touch may be a touch released after the touch is maintained at a point on the touch screen for a predetermined time or more.
  • the long touch may be understood as a touch corresponding to a touch and hold operation of maintaining a contact state of a touch object on the display 251 for a predetermined time or longer.
  • a double touch may be a touch in which the short touch is continuously applied at least twice within a predetermined time on the display 251 .
  • the predetermined time described in the short touch, long touch, and double touch may be determined by a user setting.
  • a multi-touch may be a touch applied to at least two contact points on the display 251 at substantially the same time.
  • a contact starting at a first point of the display 251 is continuously applied along one direction on the display 251 , and then the contact is released at a second point different from the first point. It could be a touch.
  • the drag touch may be a touch that is released at a point different from the one point after a touch applied to a point of the display 251 by the touch object is continuously extended while being maintained on the display 251. have.
  • the drag touch may refer to a touch continuously extending from the touch after a touch is applied to a point of the display 251 .
  • a flick touch may be a touch to which the drag touch is applied within a predetermined time.
  • the flick touch may be a touch in which a touch object to which the drag touch is applied within a predetermined time is released from the display 251 .
  • the flick touch may be understood as a drag touch applied at a speed greater than or equal to a preset speed.
  • the swype touch may be a drag touch applied in a straight line.
  • a pinch-in touch may be a touch extending in a direction in which at least one of a first and a second touch applied to two different points (two spaced apart points) on the display 251 approaches each other.
  • the pinch-in touch may be a touch implemented by an operation of narrowing the distance between each of the fingers while a finger is in contact with each of two points spaced apart on the display 251 .
  • a pinch-out touch may be a touch in which at least one of the first and second touches applied to two different points (two spaced apart points) on the display 251 extends in a direction away from each other.
  • the pinch-out touch may be a touch corresponding to an operation of spreading (separating) each of the fingers while the finger is in contact with each of two points spaced apart on the display 251 .
  • a hovering touch is a touch that corresponds to an operation of the touch object in a space away from the display 251 without the touch object being in contact with the display 251, and may be, for example, a proximity touch. have.
  • the hovering touch may be a touch corresponding to an operation in which the touch object is maintained for a predetermined time or longer at a point spaced apart from the display 251 .
  • the force touch refers to a touch in which the touch object touches the display 251 by a predetermined pressure or more.
  • the preset input may include a user gesture applied in a state in which the display is not directly touched, and the user gesture may be analogously applied to the various touch methods described above in the same/similar manner.
  • the display control apparatus may recognize the user gesture through a camera installed around (or overlapping with) each display.
  • the preset input may include an input that starts at one point and is applied in one direction and then released at another point.
  • the preset input may be implemented as a directional drag input, a flick input, a swipe input, and the like.
  • the preset input may be recognized as a sharing request gesture when screen sharing is not performed, and may be recognized as a sharing release request gesture when screen sharing is performed.
  • the processor 830 is configured to perform an operation corresponding to the preset input based on at least one of the positions of the plurality of displays, the display to which the preset input is applied, and the one direction to which the preset input is applied.
  • a plurality of displays can be controlled.
  • the processor 830 may switch screens of other displays located in the direction in which the preset input is applied, based on the location information of the plurality of displays. have.
  • different screens may be output on the plurality of displays 910 , 920 , and 930 .
  • first screen information B is being output to a first display 920
  • second screen information c is being output to a second display 930 different from the first display.
  • the processor 830 Based on the reception of a swipe input applied to the first display 920 in a first direction (eg, right), the processor 830 is configured to, as shown in (c) of FIG. 13 , the second The second display 930 may be controlled to output the first screen information B being output to the first display to the second display 930 located in the first direction (right) with respect to the first display. have.
  • the screen being output to the first display 920 is shared with the second display 930 on the right side of the first display 920 ( copy, mirror).
  • substantially the same screen B may be output to the first display 920 and the second display 930 based on the reception of the swipe input.
  • the source of substantially output screen information may be the same, and accordingly, screen information output to the first and second displays is may be substantially the same.
  • the first display 920 corresponding to the source display moves in a second direction (left) opposite to the first direction (right).
  • a swipe input applied is received, or as shown in FIG. 13(e), in a second direction (left) opposite to the first direction (right) on the second display 930 corresponding to the destination display.
  • the first screen information (B) being output on the second display 930 may be restored (switched) to the second screen information (c) being output before sharing.
  • the display control apparatus 800 of the present invention when a preset input is applied to at least one display, based on the location information of the plurality of displays, the screen of another display located in a direction opposite to the direction in which the preset input is applied can be switched
  • the first screen information C is being output to the first display 930 among the plurality of displays, and the first direction (eg, left) of the first display is displayed.
  • the second screen information B may be being output on the other second display 920 located at .
  • the processor 830 inputs a swipe input to the first display 930 in a second direction (right) opposite to the first direction (left). Based on this received, the first display 930 may be controlled so that the second screen information B being output to the second display 920 is output to the first display 930 .
  • the processor 830 displays the first display 930 or the second display 920 in a first direction opposite to the second direction (right).
  • the second screen information (B) being output on the first display (930) may be restored to the first screen information (C).
  • a display to which a preset input is applied becomes a destination display, and a display located in a direction opposite to the direction to which a preset input is applied becomes a source display.
  • the display to which the preset input is applied and the display that change the screen according to the direction in which the preset input is applied may be set differently.
  • the processor 830 may determine a display to change screens based on a direction to which a preset input is applied and a position of a display to which a preset input is applied.
  • the processor 830 may switch the screen of the other display when a preset input is applied to a display in one direction and another display exists in one direction of the display.
  • the processor 830 sets the display to which the preset input is applied as the source display, Another display existing in one direction may be set as a destination display for performing screen change. (corresponding to FIGS. 13 and 16)
  • the processor 830 may switch the screen of the display. (corresponding to FIGS. 14 and 15)
  • a preset input is applied to a certain display 920 in one direction (eg, a left direction)
  • another display 920 in one direction (left) When a display does not exist, the display 920 is set as the destination display, and the other display 930 existing in the direction opposite to the one direction (left) of the display is set as the source display.
  • the processor 830 when a preset input is applied to a certain display 920 in one direction (left), the certain display 920 ), when the other display does not exist in the one direction, the screen information C being output to the display 930 opposite to the one direction may be output to the display 920 .
  • This may be understood as an operation in which one display pulls and shares the screen C of another display.
  • the processor 830 when a preset input is applied to the one display 930 or the other display 920 in a direction opposite to the one direction (for example, a right direction), release the sharing function, The screen of the other display 920 may be restored (switched) to the original screen (B).
  • the content of determining the display to change the screen may be analogously applied.
  • the processor 830 when a preset input is applied to a certain display 910 in one direction (for example, the rear side), the processor 830 performs another display 920 located in the one direction. It is possible to output the screen information (A) being output to any of the display 910 in the above.
  • the processor 830 the predetermined input in the direction opposite to the one direction which display 910 or the other display 920 (source display) or destination display), the screen being shared on the other display 920 may be switched to the original screen (B).
  • the processor 830 applies a preset input to a certain display 910 in one direction (eg, a rear direction), and a plurality of When the displays 920 and 930 are present, all of the plurality of displays 920 and 930 may be converted to the screen information A being output to the one display 910 .
  • the processor ( 830 may switch (share) all of the plurality of displays to a screen being output to any display.
  • a preset input in one direction is applied to a certain display 920, any of the
  • a screen is shared from another display 910 located in a direction (front) opposite to the one direction, and the display is being output to the other display 910 .
  • the screen information A may be output to any of the displays 920 .
  • the processor 830 transmits the input to the one display 920 .
  • the screen being output can be restored to the original screen (B).
  • FIG. 19 the contents of FIG. 18 can be analogously applied in the same/similar manner.
  • a preset input in one direction is applied to a certain display 930, any of the above
  • a screen is shared from another display 910 located in a direction (front) opposite to the one direction, and the screen is being output to the other display 910 .
  • the screen information A may be output to any of the displays 930 .
  • the processor 830 If a separate display (not shown) exists on the right side of the other display 910 and on the front side of the one display 930 , the processor 830 generates an output screen of the separate display (not shown). may be shared and output to any of the displays 930 .
  • the display 930 may receive the screen of another display 910 existing in the opposite direction. have.
  • the processor 830 when there are at least two displays in the opposite direction (rear) to the direction (front) to which a preset input is applied,
  • the screen information B and C being output to the at least two displays 920 and 930 may be output to the display 910 to which the preset input is applied.
  • the screen information B and C being output to the at least two displays is the screen information A being output to the display 910 to which the preset input is applied. ) can be overlaid on the output.
  • the processor 830 writes the one display 910 or the at least two displays in a direction opposite to the one direction (eg, the rear side).
  • the sharing function may be released and the display 910 may be controlled so that the screen information B and C being output to the at least two displays that are being output to the display disappears.
  • the display control apparatus of the present invention may communicate with a plurality of cameras provided in a vehicle, and may output an image received through the cameras in a method optimized for a display.
  • the interface unit 810 (or communication unit) provided in the display control apparatus of the present invention may be configured to receive images from a plurality of cameras (Cameras A, B, C, D) provided in the vehicle.
  • the processor 830 receives images from different cameras based on a direction in which a preset input (eg, a directional swipe, drag, or flick input) is applied to a display provided in the vehicle and receives a preset It can output to the display to which the input is applied.
  • a preset input eg, a directional swipe, drag, or flick input
  • the processor 830 when a preset input in the first direction (right) is applied to the display, the same as shown in (b) of FIG. Similarly, an image 2200b may be received from a first camera (Camera B) installed at a position (left) opposite to the first direction among the plurality of cameras and outputted to the display.
  • a first camera Camera B
  • the processor 830 when a preset input in a second direction (left) different from the first direction (right) is applied to the display, in FIG. 22 (c) As shown in , an image 2200c may be received from a second camera (Camera C) installed in a position (right) opposite to the second direction (left) among the plurality of cameras and outputted to the display.
  • a second camera Camera C
  • a position opposite to the first direction may mean a position pointing in a direction opposite to the first direction.
  • the position opposite to the first direction may be expressed as a position corresponding to the first direction, and the position corresponding to the first direction is, for example, if the position is right in the first direction, it means the left side with respect to the vehicle. can do.
  • a position opposite to the second direction may mean a position pointing in a direction opposite to the second direction.
  • the position opposite to the second direction may be expressed as a position corresponding to the second direction, and the position corresponding to the second direction, for example, if it is left in the second direction, means right with respect to the vehicle. can do.
  • the processor 830 moves in a direction (left) opposite to the first direction (right) while the image 2200b received through the camera is being output to the display.
  • a preset input is applied, as shown in (d) of FIG. 21 , image transmission from the camera B may be stopped, and screen information 2100 that was originally being output may be output to the display.
  • the processor 830 in a state in which the image 2200c received through the camera is being output to the display, the processor 830 is configured in a direction opposite to the second direction (left) (right). ), as shown in (d) of FIG. 22 , image transmission from the camera C may be stopped, and screen information 2100 that was originally being output may be output to the display.
  • the processor 830 when the first type of preset input is received, as shown in FIGS. 21 and 22 (a) and (b), the screen 2100 on display is transmitted to the camera. You can convert to video.
  • the processor 830 receives an image 2200b transmitted from the camera to a partial area of the display as shown in (b) of FIG. 22 . can be nested and printed.
  • the processor 830 may differently set (determine) a partial region of the display on which the image transmitted from the camera is output based on the direction applied to the second type preset input.
  • the processor 830 may be configured to display a direction opposite to the first direction (eg, the left side) of the display.
  • An image 2200b received from a camera B existing in a position opposite to the first direction may be output in a partial region existing in the .
  • the processor 830 may set the display in a direction opposite to the second direction (eg, the left).
  • the image 2200c received from the camera C existing at a position opposite to the second direction may be output in a partial region existing on the right side.
  • the processor 830 reduces the screen 2100 being output on the display as shown in FIG. 24 and transmits it from the camera.
  • the reduced screen 2100 may be superimposed on the reduced image 2200b and output.
  • the processor 830 may output the reduced screen to different positions based on the direction in which the third type of preset input is applied. Also, the processor 830 may receive different images from different cameras based on the direction in which the third type of preset input is applied.
  • a direction to which a third type of preset input is applied is a first direction (eg, right)
  • a camera existing in a position opposite to the first direction The first image 2200b may be received from B) and outputted to the display unit, and the screen 2100 that was previously being output may be reduced and output on the display at a position opposite to the first direction (left side).
  • a direction to which a third type of preset input is applied is a second direction (eg, left)
  • a camera existing in a position opposite to the second direction The second image 2200C may be received from C) and output to the display unit, and the previously output screen 2100 may be reduced and output on the display at a position opposite to the first direction (right side).
  • the present invention can provide a user interface capable of controlling a plurality of displays provided in a vehicle in an optimized method.
  • the present invention can provide an optimized UI/UX capable of intuitively performing screen sharing/mirroring between a plurality of displays provided in a vehicle.
  • the present invention can provide a new display system with improved compatibility to facilitate screen sharing between a plurality of displays even if the OS is different between the plurality of displays.
  • the display control apparatus 800 described above may be included in the vehicle 100 .
  • the operation or control method of the display control apparatus 800 described above may be analogously applied to the operation or control method of the vehicle 100 (or the control unit 170 ) in the same/similar manner.
  • a more specific embodiment may be substituted for the above-described content, or analogously applied in the same/similar manner.
  • Each of the above steps may be performed not only by the display control device 800 , but also by the controller 170 provided in the vehicle 100 .
  • all functions, configurations, or control methods performed by the vehicle control device 800 described above may be performed by the controller 170 provided in the vehicle 100 . That is, all the control methods described in this specification may be applied to a control method of a vehicle or a control method of a control device.
  • the display control apparatus 800 described above may be a mobile terminal.
  • all functions, configurations, or control methods performed by the display control apparatus 800 may be performed by the control unit of the mobile terminal.
  • all of the control methods described in this specification may be analogously applied to the control method of the mobile terminal in the same/similar manner.
  • the present invention described above can be implemented as computer-readable code on a medium in which a program is recorded.
  • the computer-readable medium includes all kinds of recording devices in which data readable by a computer system is stored. Examples of computer-readable media include Hard Disk Drive (HDD), Solid State Disk (SSD), Silicon Disk Drive (SDD), ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc. There is also a carrier wave (eg, transmission over the Internet) that is implemented in the form of.
  • the computer may include a processor or a control unit. Accordingly, the above detailed description should not be construed as restrictive in all respects but as exemplary. The scope of the present invention should be determined by a reasonable interpretation of the appended claims, and all modifications within the equivalent scope of the present invention are included in the scope of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 디스플레이 제어 장치에 관한 것이다. 본 발명의 일 실시 예에 따른 디스플레이 제어 장치는, 차량에 구비된 디스플레이와 데이터 통신을 수행하는 인터페이스부 및 상기 인터페이스부를 통해 상기 차량에 구비된 디스플레이를 제어하는 프로세서를 포함하고, 상기 프로세서는, 상기 차량에 구비된 복수의 디스플레이 중 적어도 하나의 디스플레이에 가해지는 기 설정된 입력에 대한 정보를 수신하고, 상기 기 설정된 입력에 응답하여, 상기 기 설정된 입력에 대응되는 동작이 수행되도록 상기 복수의 디스플레이를 제어하는 것을 특징으로 한다.

Description

디스플레이 제어 장치
본 발명은 차량에 구비된 디스플레이를 제어하는 것이 디스플레이 제어 장치에 관한 것이다.
차량은 탑승하는 사용자가 원하는 방향으로 이동시키는 것이 가능한 장치이다. 대표적으로 자동차를 예를 들 수 있다.
한편, 차량을 이용하는 사용자의 편의를 위해, 각 종 센서와 전자 장치 등이 구비되고 있는 추세이다. 특히, 사용자의 운전 편의를 위해 차량 운전자 보조 시스템(ADAS : Advanced Driver Assistance System)에 대한 연구가 활발하게 이루어지고 있다. 나아가, 자율 주행 자동차(Autonomous Vehicle)에 대한 개발이 활발하게 이루어 지고 있다.
한편, 최근에는 ADAS(Advanced Driving Assist System)에 대한 개발이 활발히 이루어짐에 따라, 차량 운행에 있어서 사용자 편의와 안전을 극대화할 수 있는 기술 개발의 필요성이 대두되고 있다.
또한, 최근에는 차량을 자율주행시키기 위한 다양한 기술 개발이 활발히 진행되고 있다.
자율주행 기술 개발이 진행됨에 따라, 차량 내부에 구비된 디스플레이에도 많은 변화가 있다. 예를 들어, 종래에는 클러스터, CID 등 한정된 디스플레이만 존재하던 반면, 최근에는, 다양한 모양, 크기 및 개수의 디스플레이가 장착되고 있으며, 차량 탑승자는 이러한 디스플레이를 활용하여 차량 내부에서 다양한 정보를 시청하거나 조작하거나 제공받고 있다.
차량 내부의 디스플레이의 개수가 많아짐에 따라, 디스플레이를 효율적으로 관리 및 조작하기 위한 사용자 니즈가 발생되고 있다.
본 발명의 일 목적은, 차량에 구비된 디스플레이를 최적화된 방법으로 제어하는 것이 가능한 디스플레이 제어 장치를 제공하는데 있다.
본 발명의 다른 일 목적은, 차량에 구비된 복수의 디스플레이를 직관적으로 조작하는 것이 가능한 디스플레이 제어 장치를 제공하는데 있다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 달성하기 위하여, 본 발명의 실시예에 따른 디스플레이 제어 장치는, 차량에 구비된 디스플레이와 데이터 통신을 수행하는 인터페이스부 및 상기 인터페이스부를 통해 상기 차량에 구비된 디스플레이를 제어하는 프로세서를 포함하고, 상기 프로세서는, 상기 차량에 구비된 복수의 디스플레이 중 적어도 하나의 디스플레이에 가해지는 기 설정된 입력에 대한 정보를 수신하고, 상기 기 설정된 입력에 응답하여, 상기 기 설정된 입력에 대응되는 동작이 수행되도록 상기 복수의 디스플레이를 제어하는 것을 특징으로 한다.
실시 예에 있어서, 상기 프로세서는, 상기 복수의 디스플레이가 구비된 위치 정보에 근거하여, 상기 기 설정된 입력에 대응되는 동작을 수행하는 것을 특징으로 한다.
실시 예에 있어서, 상기 기 설정된 입력은, 일 지점에서 시작하여 어느 일 방향으로 가해진 후 다른 지점에서 해제되는 입력을 포함하고, 상기 프로세서는, 상기 복수의 디스플레이의 위치, 상기 기 설정된 입력이 가해진 디스플레이 및 상기 기 설정된 입력이 가해진 상기 어느 일 방향 중 적어도 하나에 근거하여, 상기 기 설정된 입력에 대응되는 동작을 수행하도록 상기 복수의 디스플레이를 제어하는 것을 특징으로 한다.
실시 예에 있어서, 상기 프로세서는, 상기 기 설정된 입력이 상기 적어도 하나의 디스플레이에 가해지면, 상기 복수의 디스플레이의 위치 정보에 근거하여, 상기 기 설정된 입력이 가해진 방향에 위치한 다른 디스플레이의 화면을 전환하는 것을 특징으로 한다.
실시 예에 있어서, 상기 프로세서는, 상기 복수의 디스플레이 중 제1 디스플레이에는 제1 화면 정보가 출력중이고, 상기 제1 디스플레이와 다른 제2 디스플레이에는 제2 화면 정보가 출력중인 상태에서, 상기 제1 디스플레이에 제1 방향으로 가해지는 스와이프 입력이 수신되는 것에 근거하여, 상기 제1 디스플레이를 기준으로 상기 제1 방향에 위치한 제2 디스플레이에, 상기 제1 디스플레이에 출력중인 제1 화면 정보를 출력하도록 상기 제2 디스플레이를 제어하는 것을 특징으로 한다.
실시 예에 있어서, 상기 제1 디스플레이 및 상기 제2 디스플레이에는, 상기 스와이프 입력이 수신되는 것에 근거하여, 실질적으로 동일한 화면이 출력되는 것을 특징으로 한다.
실시 예에 있어서, 상기 프로세서는, 상기 제1 디스플레이 또는 상기 제2 디스플레이에 상기 제1 방향과 반대되는 제2 방향으로 가해지는 스와이프 입력이 수신되면, 상기 제2 디스플레이에 출력중인 제1 화면 정보를 상기 제2 화면 정보로 복원하는 것을 특징으로 한다.
실시 예에 있어서, 상기 프로세서는, 상기 기 설정된 입력이 상기 적어도 하나의 디스플레이에 가해지면, 상기 복수의 디스플레이의 위치 정보에 근거하여, 상기 기 설정된 입력이 가해진 방향의 반대 방향에 위치한 다른 디스플레이의 화면을 전환하는 것을 특징으로 한다.
실시 예에 있어서, 상기 프로세서는, 상기 복수의 디스플레이 중 제1 디스플레이에는 제1 화면 정보가 출력중이고, 상기 제1 디스플레이의 제1 방향에 위치한 다른 제2 디스플레이에는 제2 화면 정보가 출력중인 상태에서, 상기 제1 디스플레이에 상기 제1 방향과 반대되는 제2 방향으로 스와이프 입력이 수신되는 것에 근거하여, 상기 제2 디스플레이에 출력중인 상기 제2 화면 정보가 상기 제1 디스플레이에 출력되도록 상기 제1 디스플레이를 제어하는 것을 특징으로 한다.
실시 예에 있어서, 상기 프로세서는, 상기 제1 디스플레이 또는 상기 제2 디스플레이에 상기 제2 방향과 반대되는 제1 방향으로 가해지는 스와이프 입력이 수신되면, 상기 제1 디스플레이에 출력중인 상기 제2 화면 정보를 상기 제1 화면 정보로 복원하는 것을 특징으로 한다.
실시 예에 있어서, 상기 프로세서는, 상기 기 설정된 입력이 가해진 방향 및 상기 기 설정된 입력이 가해진 디스플레이의 위치에 근거하여, 화면 전환하는 디스플레이를 결정하는 것을 특징으로 한다.
실시 예에 있어서, 상기 프로세서는, 상기 기 설정된 입력이 일 방향으로 어느 디스플레이에 가해졌을 때, 상기 어느 디스플레이의 일 방향에 다른 디스플레이가 존재하는 경우, 상기 다른 디스플레이의 화면을 전환하는 것을 특징으로 한다.
실시 예에 있어서, 상기 프로세서는, 상기 기 설정된 입력이 일 방향으로 어느 디스플레이에 가해졌을 때, 상기 어느 디스플레이의 일 방향에 다른 디스플레이가 미존재하는 경우, 상기 어느 디스플레이의 화면을 전환하는 것을 특징으로 한다.
실시 예에 있어서, 상기 프로세서는, 상기 기 설정된 입력이 가해진 방향의 반대 방향에 적어도 두 개 이상의 디스플레이가 존재하는 경우, 상기 기 설정된 입력이 가해진 디스플레이에, 상기 적어도 두 개 이상의 디스플레이에 출력중인 화면 정보를 출력하는 것을 특징으로 한다.
실시 예에 있어서, 상기 적어도 두 개 이상의 디스플레이에 출력중인 화면 정보는, 상기 기 설정된 입력이 가해진 디스플레이에 출력중인 화면 정보에 중첩되어 출력되는 것을 특징으로 한다.
실시 예에 있어서, 상기 인터페이스부는, 차량에 구비된 복수의 카메라로부터 영상을 수신하도록 형성되고, 상기 프로세서는, 상기 차량에 구비된 디스플레이에 상기 기 설정된 입력이 가해지는 방향에 근거하여, 서로 다른 카메라로부터 영상을 수신하여 상기 기 설정된 입력이 가해진 디스플레이에 출력하는 것을 특징으로 한다.
실시 예에 있어서, 상기 프로세서는, 상기 디스플레이에 제1 방향의 기 설정된 입력이 가해지면, 상기 복수의 카메라 중 상기 제1 방향에 반대되는 위치에 설치된 제1 카메라로부터 영상을 수신하여 상기 디스플레이에 출력하고, 상기 디스플레이에 상기 제1 방향과 다른 제2 방향의 기 설정된 입력이 가해지면, 상기 복수의 카메라 중 상기 제2 방향에 반대되는 위치에 설치된 제2 카메라로부터 영상을 수신하여 상기 디스플레이에 출력하는 것을 특징으로 한다.
실시 예에 있어서, 상기 프로세서는, 제1 종류의 기 설정된 입력이 수신되면, 상기 디스플레이에 출력중인 화면을 카메라에서 전송된 영상으로 전환하고, 상기 제1 종류와 다른 제2 종류의 기 설정된 입력이 수신되면, 상기 디스플레이의 일부 영역에, 카메라에서 전송된 영상을 중첩하여 출력하는 것을 특징으로 한다.
실시 예에 있어서, 상기 프로세서는, 상기 제1 및 제2 종류와 다른 제3 종류의 기 설정된 입력이 수신되면, 상기 디스플레이에 출력중이던 화면을 축소하고, 카메라에서 전송된 영상에 축소된 화면을 중첩하여 출력하는 것을 특징으로 한다.
실시 예에 있어서, 상기 프로세서는, 상기 제3 종류의 기 설정된 입력이 가해진 방향에 근거하여, 상기 축소된 화면을 서로 다른 위치에 출력시키는 것을 특징으로 한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 실시예에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.
첫째, 본 발명은 차량에 구비된 복수의 디스플레이를 최적화된 방법으로 제어할 수 있는 사용자 인터페이스를 제공할 수 있다.
둘째, 본 발명은 차량에 구비된 복수의 디스플레이 사이에 화면 공유/미러링을 직관적으로 수행할 수 있는 최적화된 UI/UX를 제공할 수 있다.
셋째, 본 발명은 복수의 디스플레이 사이에 OS가 달라도 이들 사이에 화면 공유가 수월하기 이루어지도록 호환성이 향상된 새로운 디스플레이 시스템을 제공할 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 차량의 외관을 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 차량을 외부의 다양한 각도에서 본 도면이다.
도 3 내지 도 4는 본 발명의 실시예에 따른 차량의 내부를 도시한 도면이다.
도 5 내지 도 6은 본 발명의 실시예에 따른 오브젝트를 설명하는데 참조되는 도면이다.
도 7은 본 발명의 실시예에 따른 차량을 설명하는데 참조되는 블럭도이다.
도 8은 본 발명의 실시예에 따른 디스플레이 제어 장치를 설명하기 위한 개념도이다.
도 9는 본 발명의 디스플레이 제어 장치가 제어하는 차량에 구비된 복수의 디스플레이를 나타낸 개념도이다.
도 10은 본 발명의 대표적인 제어 방법을 설명하기 위한 흐름도이다.
도 11 및 도 12는 본 발명의 디스플레이 제어 장치의 동작 환경을 설명하기 위한 개념도이다.
도 13, 도 14, 도 15, 도 16, 도 17, 도 18, 도 19, 도 20, 도 21, 도 22, 도 23, 도 24 및 도 25는 본 발명의 다양한 실시 예에 따른 디스플레이 제어 방법을 설명하기 위한 개념도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서 기술되는 차량은, 자동차, 오토바이를 포함하는 개념일 수 있다. 이하에서는, 차량에 대해 자동차를 위주로 기술한다.
본 명세서에서 기술되는 차량은, 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량등을 모두 포함하는 개념일 수 있다.
이하의 설명에서 차량의 좌측은 차량의 주행 방향의 좌측을 의미하고, 차량의 우측은 차량의 주행 방향의 우측을 의미한다.
도 1은 본 발명의 실시예에 따른 차량의 외관을 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 차량을 외부의 다양한 각도에서 본 도면이다.
도 3 내지 도 4는 본 발명의 실시예에 따른 차량의 내부를 도시한 도면이다.
도 5 내지 도 6은 본 발명의 실시예에 따른 오브젝트를 설명하는데 참조되는 도면이다.
도 7은 본 발명의 실시예에 따른 차량을 설명하는데 참조되는 블럭도이다.
도 1 내지 도 7을 참조하면, 차량(100)은 동력원에 의해 회전하는 바퀴, 차량(100)의 진행 방향을 조절하기 위한 조향 입력 장치(510)를 포함할 수 있다.
차량(100)은 자율 주행 차량일 수 있다.
차량(100)은, 사용자 입력에 기초하여, 자율 주행 모드 또는 메뉴얼 모드로 전환될 수 있다.
예를 들면, 차량(100)은, 사용자 인터페이스 장치(200)를 통해, 수신되는 사용자 입력에 기초하여, 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다.
차량(100)은, 주행 상황 정보에 기초하여, 자율 주행 모드 또는 메뉴얼 모드로 전환될 수 있다. 주행 상황 정보는, 오브젝트 검출 장치(300)에서 제공된 오브젝트 정보에 기초하여 생성될 수 있다.
예를 들면, 차량(100)은, 오브젝트 검출 장치(300)에서 생성되는 주행 상황 정보에 기초하여, 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다.
예를 들면, 차량(100)은, 통신 장치(400)를 통해 수신되는 주행 상황 정보에 기초하여, 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다.
차량(100)은, 외부 디바이스에서 제공되는 정보, 데이터, 신호에 기초하여 메뉴얼 모드에서 자율 주행 모드로 전환되거나, 자율 주행 모드에서 메뉴얼 모드로 전환될 수 있다.
차량(100)이 자율 주행 모드로 운행되는 경우, 자율 주행 차량(100)은, 운행 시스템(700)에 기초하여 운행될 수 있다.
예를 들면, 자율 주행 차량(100)은, 주행 시스템(710), 출차 시스템(740), 주차 시스템(750)에서 생성되는 정보, 데이터 또는 신호에 기초하여 운행될 수 있다.
차량(100)이 메뉴얼 모드로 운행되는 경우, 자율 주행 차량(100)은, 운전 조작 장치(500)를 통해 운전을 위한 사용자 입력을 수신할 수 있다. 운전 조작 장치(500)를 통해 수신되는 사용자 입력에 기초하여, 차량(100)은 운행될 수 있다.
전장(overall length)은 차량(100)의 앞부분에서 뒷부분까지의 길이, 전폭(width)은 차량(100)의 너비, 전고(height)는 바퀴 하부에서 루프까지의 길이를 의미한다. 이하의 설명에서, 전장 방향(L)은 차량(100)의 전장 측정의 기준이 되는 방향, 전폭 방향(W)은 차량(100)의 전폭 측정의 기준이 되는 방향, 전고 방향(H)은 차량(100)의 전고 측정의 기준이 되는 방향을 의미할 수 있다.
도 7에 예시된 바와 같이, 차량(100)은, 사용자 인터페이스 장치(200), 오브젝트 검출 장치(300), 통신 장치(400), 운전 조작 장치(500), 차량 구동 장치(600), 운행 시스템(700), 내비게이션 시스템(770), 센싱부(120), 인터페이스부(130), 메모리(140), 제어부(170) 및 전원 공급부(190)를 포함할 수 있다.
실시예에 따라, 차량(100)은, 본 명세서에서 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
사용자 인터페이스 장치(200)는, 차량(100)과 사용자와의 소통을 위한 장치이다. 사용자 인터페이스 장치(200)는, 사용자 입력을 수신하고, 사용자에게 차량(100)에서 생성된 정보를 제공할 수 있다. 차량(100)은, 사용자 인터페이스 장치(200)를 통해, UI(User Interfaces) 또는 UX(User Experience)를 구현할 수 있다.
사용자 인터페이스 장치(200)는, 입력부(210), 내부 카메라(220), 생체 감지부(230), 출력부(250) 및 프로세서(270)를 포함할 수 있다.
실시예에 따라, 사용자 인터페이스 장치(200)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수도 있다.
입력부(200)는, 사용자로부터 정보를 입력받기 위한 것으로, 입력부(120)에서 수집한 데이터는, 프로세서(270)에 의해 분석되어, 사용자의 제어 명령으로 처리될 수 있다.
입력부(200)는, 차량 내부에 배치될 수 있다. 예를 들면, 입력부(200)는, 스티어링 휠(steering wheel)의 일 영역, 인스투루먼트 패널(instrument panel)의 일 영역, 시트(seat)의 일 영역, 각 필러(pillar)의 일 영역, 도어(door)의 일 영역, 센타 콘솔(center console)의 일 영역, 헤드 라이닝(head lining)의 일 영역, 썬바이저(sun visor)의 일 영역, 윈드 쉴드(windshield)의 일 영역 또는 윈도우(window)의 일 영역 등에 배치될 수 있다.
입력부(200)는, 음성 입력부(211), 제스쳐 입력부(212), 터치 입력부(213) 및 기계식 입력부(214)를 포함할 수 있다.
음성 입력부(211)는, 사용자의 음성 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는, 프로세서(270) 또는 제어부(170)에 제공될 수 있다.
음성 입력부(211)는, 하나 이상의 마이크로 폰을 포함할 수 있다.
제스쳐 입력부(212)는, 사용자의 제스쳐 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는, 프로세서(270) 또는 제어부(170)에 제공될 수 있다.
제스쳐 입력부(212)는, 사용자의 제스쳐 입력을 감지하기 위한 적외선 센서 및 이미지 센서 중 적어도 어느 하나를 포함할 수 있다.
실시예에 따라, 제스쳐 입력부(212)는, 사용자의 3차원 제스쳐 입력을 감지할 수 있다. 이를 위해, 제스쳐 입력부(212)는, 복수의 적외선 광을 출력하는 광출력부 또는 복수의 이미지 센서를 포함할 수 있다.
제스쳐 입력부(212)는, TOF(Time of Flight) 방식, 구조광(Structured light) 방식 또는 디스패러티(Disparity) 방식을 통해 사용자의 3차원 제스쳐 입력을 감지할 수 있다.
터치 입력부(213)는, 사용자의 터치 입력을 전기적 신호로 전환할 수 있다. 전환된 전기적 신호는 프로세서(270) 또는 제어부(170)에 제공될 수 있다.
터치 입력부(213)는, 사용자의 터치 입력을 감지하기 위한 터치 센서를 포함할 수 있다.
실시예에 따라, 터치 입력부(213)는 디스플레이(251)와 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한, 터치 스크린은, 차량(100)과 사용자 사이의 입력 인터페이스 및 출력 인터페이스를 함께 제공할 수 있다.
기계식 입력부(214)는, 버튼, 돔 스위치(dome switch), 조그 휠 및 조그 스위치 중 적어도 어느 하나를 포함할 수 있다. 기계식 입력부(214)에 의해 생성된 전기적 신호는, 프로세서(270) 또는 제어부(170)에 제공될 수 있다.
기계식 입력부(214)는, 스티어링 휠, 센테 페시아, 센타 콘솔, 칵픽 모듈, 도어 등에 배치될 수 있다.
내부 카메라(220)는, 차량 내부 영상을 획득할 수 있다. 프로세서(270)는, 차량 내부 영상을 기초로, 사용자의 상태를 감지할 수 있다. 프로세서(270)는, 차량 내부 영상에서 사용자의 시선 정보를 획득할 수 있다. 프로세서(270)는, 차량 내부 영상에서 사용자의 제스쳐를 감지할 수 있다.
생체 감지부(230)는, 사용자의 생체 정보를 획득할 수 있다. 생체 감지부(230)는, 사용자의 생체 정보를 획득할 수 있는 센서를 포함하고, 센서를 이용하여, 사용자의 지문 정보, 심박동 정보 등을 획득할 수 있다. 생체 정보는 사용자 인증을 위해 이용될 수 있다.
출력부(250)는, 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것이다.
출력부(250)는, 디스플레이(251), 음향 출력부(252) 및 햅틱 출력부(253) 중 적어도 어느 하나를 포함할 수 있다.
디스플레이(251)는, 다양한 정보에 대응되는 그래픽 객체를 표시할 수 있다.
디스플레이(251)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.
디스플레이(251)는 터치 입력부(213)와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다.
디스플레이(251)는 HUD(Head Up Display)로 구현될 수 있다. 디스플레이(251)가 HUD로 구현되는 경우, 디스플레이(251)는 투사 모듈을 구비하여 윈드 쉴드 또는 윈도우에 투사되는 이미지를 통해 정보를 출력할 수 있다.
디스플레이(251)는, 투명 디스플레이를 포함할 수 있다. 투명 디스플레이는 윈드 쉴드 또는 윈도우에 부착될 수 있다.
투명 디스플레이는 소정의 투명도를 가지면서, 소정의 화면을 표시할 수 있다. 투명 디스플레이는, 투명도를 가지기 위해, 투명 디스플레이는 투명 TFEL(Thin Film Elecroluminescent), 투명 OLED(Organic Light-Emitting Diode), 투명 LCD(Liquid Crystal Display), 투과형 투명디스플레이, 투명 LED(Light Emitting Diode) 디스플레이 중 적어도 하나를 포함할 수 있다. 투명 디스플레이의 투명도는 조절될 수 있다.
한편, 사용자 인터페이스 장치(200)는, 복수의 디스플레이(251a 내지 251g)를 포함할 수 있다.
디스플레이(251)는, 스티어링 휠의 일 영역, 인스투루먼트 패널의 일 영역(521a, 251b, 251e), 시트의 일 영역(251d), 각 필러의 일 영역(251f), 도어의 일 영역(251g), 센타 콘솔의 일 영역, 헤드 라이닝의 일 영역, 썬바이저의 일 영역에 배치되거나, 윈드 쉴드의 일영역(251c), 윈도우의 일영역(251h)에 구현될 수 있다.
음향 출력부(252)는, 프로세서(270) 또는 제어부(170)로부터 제공되는 전기 신호를 오디오 신호로 변환하여 출력한다. 이를 위해, 음향 출력부(252)는, 하나 이상의 스피커를 포함할 수 있다.
햅틱 출력부(253)는, 촉각적인 출력을 발생시킨다. 예를 들면, 햅틱 출력부(253)는, 스티어링 휠, 안전 벨트, 시트(110FL, 110FR, 110RL, 110RR)를 진동시켜, 사용자가 출력을 인지할 수 있게 동작할 수 있다.
프로세서(270)는, 사용자 인터페이스 장치(200)의 각 유닛의 전반적인 동작을 제어할 수 있다.
실시예에 따라, 사용자 인터페이스 장치(200)는, 복수의 프로세서(270)를 포함하거나, 프로세서(270)를 포함하지 않을 수도 있다.
사용자 인터페이스 장치(200)에 프로세서(270)가 포함되지 않는 경우, 사용자 인터페이스 장치(200)는, 차량(100)내 다른 장치의 프로세서 또는 제어부(170)의 제어에 따라, 동작될 수 있다.
한편, 사용자 인터페이스 장치(200)는, 차량용 디스플레이 장치로 명명될 수 있다.
사용자 인터페이스 장치(200)는, 제어부(170)의 제어에 따라 동작될 수 있다.
오브젝트 검출 장치(300)는, 차량(100) 외부에 위치하는 오브젝트를 검출하기 위한 장치이다.
오브젝트는, 차량(100)의 운행과 관련된 다양한 물체들일 수 있다.
도 5 내지 도 6을 참조하면, 오브젝트(O)는, 차선(OB10), 타 차량(OB11), 보행자(OB12), 이륜차(OB13), 교통 신호(OB14, OB15), 빛, 도로, 구조물, 과속 방지턱, 지형물, 동물 등을 포함할 수 있다.
차선(Lane)(OB10)은, 주행 차선, 주행 차선의 옆 차선, 대향되는 차량이 주행하는 차선일 수 있다. 차선(Lane)(OB10)은, 차선(Lane)을 형성하는 좌우측 선(Line)을 포함하는 개념일 수 있다.
타 차량(OB11)은, 차량(100)의 주변에서 주행 중인 차량일 수 있다. 타 차량은, 차량(100)으로부터 소정 거리 이내에 위치하는 차량일 수 있다. 예를 들면, 타 차량(OB11)은, 차량(100)보다 선행 또는 후행하는 차량일 수 있다.
보행자(OB12)는, 차량(100)의 주변에 위치한 사람일 수 있다. 보행자(OB12)는, 차량(100)으로부터 소정 거리 이내에 위치하는 사람일 수 있다. 예를 들면, 보행자(OB12)는, 인도 또는 차도상에 위치하는 사람일 수 있다.
이륜차(OB12)는, 차량(100)의 주변에 위치하고, 2개의 바퀴를 이용해 움직이는 탈것을 의미할 수 있다. 이륜차(OB12)는, 차량(100)으로부터 소정 거리 이내에 위치하는 2개의 바퀴를 가지는 탈 것일 수 있다. 예를 들면, 이륜차(OB13)는, 인도 또는 차도상에 위치하는 오토바이 또는 자전거일 수 있다.
교통 신호는, 교통 신호등(OB15), 교통 표지판(OB14), 도로면에 그려진 문양 또는 텍스트를 포함할 수 있다.
빛은, 타 차량에 구비된 램프에서 생성된 빛일 수 있다. 빛은, 가로등에서 생성된 빛을 수 있다. 빛은 태양광일 수 있다.
도로는, 도로면, 커브, 오르막, 내리막 등의 경사 등을 포함할 수 있다.
구조물은, 도로 주변에 위치하고, 지면에 고정된 물체일 수 있다. 예를 들면, 구조물은, 가로등, 가로수, 건물, 전봇대, 신호등, 다리를 포함할 수 있다.
지형물은, 산, 언덕, 등을 포함할 수 있다.
한편, 오브젝트는, 이동 오브젝트와 고정 오브젝트로 분류될 수 있다. 예를 들면, 이동 오브젝트는, 타 차량, 보행자를 포함하는 개념일 수 있다. 예를 들면, 고정 오브젝트는, 교통 신호, 도로, 구조물을 포함하는 개념일 수 있다.
오브젝트 검출 장치(300)는, 카메라(310), 레이다(320), 라이다(330), 초음파 센서(340), 적외선 센서(350) 및 프로세서(370)를 포함할 수 있다.
실시예에 따라, 오브젝트 검출 장치(300)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
카메라(310)는, 차량 외부 영상을 획득하기 위해, 차량의 외부의 적절한 곳에 위치할 수 있다. 카메라(310)는, 모노 카메라, 스테레오 카메라(310a), AVM(Around View Monitoring) 카메라(310b) 또는 360도 카메라일 수 있다.
예를 들면, 카메라(310)는, 차량 전방의 영상을 획득하기 위해, 차량의 실내에서, 프런트 윈드 쉴드에 근접하게 배치될 수 있다. 또는, 카메라(310)는, 프런트 범퍼 또는 라디에이터 그릴 주변에 배치될 수 있다.
예를 들면, 카메라(310)는, 차량 후방의 영상을 획득하기 위해, 차량의 실내에서, 리어 글라스에 근접하게 배치될 수 있다. 또는, 카메라(310)는, 리어 범퍼, 트렁크 또는 테일 게이트 주변에 배치될 수 있다.
예를 들면, 카메라(310)는, 차량 측방의 영상을 획득하기 위해, 차량의 실내에서 사이드 윈도우 중 적어도 어느 하나에 근접하게 배치될 수 있다. 또는, 카메라(310)는, 사이드 미러, 휀더 또는 도어 주변에 배치될 수 있다.
카메라(310)는, 획득된 영상을 프로세서(370)에 제공할 수 있다.
레이다(320)는, 전자파 송신부, 수신부를 포함할 수 있다. 레이더(320)는 전파 발사 원리상 펄스 레이더(Pulse Radar) 방식 또는 연속파 레이더(Continuous Wave Radar) 방식으로 구현될 수 있다. 레이더(320)는 연속파 레이더 방식 중에서 신호 파형에 따라 FMCW(Frequency Modulated Continuous Wave)방식 또는 FSK(Frequency Shift Keyong) 방식으로 구현될 수 있다.
레이더(320)는 전자파를 매개로, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식에 기초하여, 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
레이더(320)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
라이다(330)는, 레이저 송신부, 수신부를 포함할 수 있다. 라이다(330)는, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식으로 구현될 수 있다.
라이다(330)는, 구동식 또는 비구동식으로 구현될 수 있다.
구동식으로 구현되는 경우, 라이다(330)는, 모터에 의해 회전되며, 차량(100) 주변의 오브젝트를 검출할 수 있다.
비구동식으로 구현되는 경우, 라이다(330)는, 광 스티어링에 의해, 차량(100)을 기준으로 소정 범위 내에 위치하는 오브젝트를 검출할 수 있다. 차량(100)은 복수의 비구동식 라이다(330)를 포함할 수 있다.
라이다(330)는, 레이저 광 매개로, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식에 기초하여, 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
라이다(330)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
초음파 센서(340)는, 초음파 송신부, 수신부를 포함할 수 있다. 초음파 센서(340)은, 초음파를 기초로 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
초음파 센서(340)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
적외선 센서(350)는, 적외선 송신부, 수신부를 포함할 수 있다. 적외선 센서(340)는, 적외선 광을 기초로 오브젝트를 검출하고, 검출된 오브젝트의 위치, 검출된 오브젝트와의 거리 및 상대 속도를 검출할 수 있다.
적외선 센서(350)는, 차량의 전방, 후방 또는 측방에 위치하는 오브젝트를 감지하기 위해 차량의 외부의 적절한 위치에 배치될 수 있다.
프로세서(370)는, 오브젝트 검출 장치(300)의 각 유닛의 전반적인 동작을 제어할 수 있다.
프로세서(370)는, 획득된 영상에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 영상 처리 알고리즘을 통해, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출등의 동작을 수행할 수 있다.
프로세서(370)는, 송신된 전자파가 오브젝트에 반사되어 되돌아오는 반사 전자파에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 전자파에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
프로세서(370)는, 송신된 레이저가 오브젝트에 반사되어 되돌아오는 반사 레이저 광에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 레이저 광에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
프로세서(370)는, 송신된 초음파가 오브젝트에 반사되어 되돌아오는 반사 초음파에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 초음파에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
프로세서(370)는, 송신된 적외선 광이 오브젝트에 반사되어 되돌아오는 반사 적외선 광에 기초하여, 오브젝트를 검출하고, 트래킹할 수 있다. 프로세서(370)는, 적외선 광에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다.
실시예에 따라, 오브젝트 검출 장치(300)는, 복수의 프로세서(370)를 포함하거나, 프로세서(370)를 포함하지 않을 수도 있다. 예를 들면, 카메라(310), 레이다(320), 라이다(330), 초음파 센서(340) 및 적외선 센서(350) 각각은 개별적으로 프로세서를 포함할 수 있다.
오브젝트 검출 장치(300)에 프로세서(370)가 포함되지 않는 경우, 오브젝트 검출 장치(300)는, 차량(100)내 장치의 프로세서 또는 제어부(170)의 제어에 따라, 동작될 수 있다.
오브젝트 검출 장치(400)는, 제어부(170)의 제어에 따라 동작될 수 있다.
통신 장치(400)는, 외부 디바이스와 통신을 수행하기 위한 장치이다. 여기서, 외부 디바이스는, 타 차량, 이동 단말기 또는 서버일 수 있다.
통신 장치(400)는, 통신을 수행하기 위해 송신 안테나, 수신 안테나, 각종 통신 프로토콜이 구현 가능한 RF(Radio Frequency) 회로 및 RF 소자 중 적어도 어느 하나를 포함할 수 있다.
통신 장치(400)는, 근거리 통신부(410), 위치 정보부(420), V2X 통신부(430), 광통신부(440), 방송 송수신부(450) 및 프로세서(470)를 포함할 수 있다.
실시예에 따라, 통신 장치(400)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
근거리 통신부(410)는, 근거리 통신(Short range communication)을 위한 유닛이다. 근거리 통신부(410)는, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.
근거리 통신부(410)는, 근거리 무선 통신망(Wireless Area Networks)을 형성하여, 차량(100)과 적어도 하나의 외부 디바이스 사이의 근거리 통신을 수행할 수 있다.
위치 정보부(420)는, 차량(100)의 위치 정보를 획득하기 위한 유닛이다. 예를 들면, 위치 정보부(420)는, GPS(Global Positioning System) 모듈 또는 DGPS(Differential Global Positioning System) 모듈을 포함할 수 있다.
V2X 통신부(430)는, 서버(V2I : Vehicle to Infra), 타 차량(V2V : Vehicle to Vehicle) 또는 보행자(V2P : Vehicle to Pedestrian)와의 무선 통신 수행을 위한 유닛이다. V2X 통신부(430)는, 인프라와의 통신(V2I), 차량간 통신(V2V), 보행자와의 통신(V2P) 프로토콜이 구현 가능한 RF 회로를 포함할 수 있다.
광통신부(440)는, 광을 매개로 외부 디바이스와 통신을 수행하기 위한 유닛이다. 광통신부(440)는, 전기 신호를 광 신호로 전환하여 외부에 발신하는 광발신부 및 수신된 광 신호를 전기 신호로 전환하는 광수신부를 포함할 수 있다.
실시예에 따라, 광발신부는, 차량(100)에 포함된 램프와 일체화되게 형성될 수 있다.
방송 송수신부(450)는, 방송 채널을 통해, 외부의 방송 관리 서버로부터 방송 신호를 수신하거나, 방송 관리 서버에 방송 신호를 송출하기 위한 유닛이다. 방송 채널은, 위성 채널, 지상파 채널을 포함할 수 있다. 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 수 있다.
프로세서(470)는, 통신 장치(400)의 각 유닛의 전반적인 동작을 제어할 수 있다.
실시예에 따라, 통신 장치(400)는, 복수의 프로세서(470)를 포함하거나, 프로세서(470)를 포함하지 않을 수도 있다.
통신 장치(400)에 프로세서(470)가 포함되지 않는 경우, 통신 장치(400)는, 차량(100)내 다른 장치의 프로세서 또는 제어부(170)의 제어에 따라, 동작될 수 있다.
한편, 통신 장치(400)는, 사용자 인터페이스 장치(200)와 함께 차량용 디스플레이 장치를 구현할 수 있다. 이경우, 차량용 디스플레이 장치는, 텔레 매틱스(telematics) 장치 또는 AVN(Audio Video Navigation) 장치로 명명될 수 있다.
통신 장치(400)는, 제어부(170)의 제어에 따라 동작될 수 있다.
운전 조작 장치(500)는, 운전을 위한 사용자 입력을 수신하는 장치이다.
메뉴얼 모드인 경우, 차량(100)은, 운전 조작 장치(500)에 의해 제공되는 신호에 기초하여 운행될 수 있다.
운전 조작 장치(500)는, 조향 입력 장치(510), 가속 입력 장치(530) 및 브레이크 입력 장치(570)를 포함할 수 있다.
조향 입력 장치(510)는, 사용자로부터 차량(100)의 진행 방향 입력을 수신할 수 있다. 조향 입력 장치(510)는, 회전에 의해 조향 입력이 가능하도록 휠 형태로 형성되는 것이 바람직하다. 실시예에 따라, 조향 입력 장치는, 터치 스크린, 터치 패드 또는 버튼 형태로 형성될 수도 있다.
가속 입력 장치(530)는, 사용자로부터 차량(100)의 가속을 위한 입력을 수신할 수 있다. 브레이크 입력 장치(570)는, 사용자로부터 차량(100)의 감속을 위한 입력을 수신할 수 있다. 가속 입력 장치(530) 및 브레이크 입력 장치(570)는, 페달 형태로 형성되는 것이 바람직하다. 실시예에 따라, 가속 입력 장치 또는 브레이크 입력 장치는, 터치 스크린, 터치 패드 또는 버튼 형태로 형성될 수도 있다.
운전 조작 장치(500)는, 제어부(170)의 제어에 따라 동작될 수 있다.
차량 구동 장치(600)는, 차량(100)내 각종 장치의 구동을 전기적으로 제어하는 장치이다.
차량 구동 장치(600)는, 파워 트레인 구동부(610), 샤시 구동부(620), 도어/윈도우 구동부(630), 안전 장치 구동부(640), 램프 구동부(650) 및 공조 구동부(660)를 포함할 수 있다.
실시예에 따라, 차량 구동 장치(600)는, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
한편, 차량 구동 장치(600)는 프로세서를 포함할 수 있다. 차량 구동 장치(600)의 각 유닛은, 각각 개별적으로 프로세서를 포함할 수 있다.
파워 트레인 구동부(610)는, 파워 트레인 장치의 동작을 제어할 수 있다.
파워 트레인 구동부(610)는, 동력원 구동부(611) 및 변속기 구동부(612)를 포함할 수 있다.
동력원 구동부(611)는, 차량(100)의 동력원에 대한 제어를 수행할 수 있다.
예를 들면, 화석 연료 기반의 엔진이 동력원인 경우, 동력원 구동부(610)는, 엔진에 대한 전자식 제어를 수행할 수 있다. 이에 의해, 엔진의 출력 토크 등을 제어할 수 있다. 동력원 구동부(611)는, 제어부(170)의 제어에 따라, 엔진 출력 토크를 조정할 수 있다.
예를 들면, 전기 에너지 기반의 모터가 동력원인 경우, 동력원 구동부(610)는, 모터에 대한 제어를 수행할 수 있다. 동력원 구동부(610)는, 제어부(170)의 제어에 따라, 모터의 회전 속도, 토크 등을 조정할 수 있다.
변속기 구동부(612)는, 변속기에 대한 제어를 수행할 수 있다.
변속기 구동부(612)는, 변속기의 상태를 조정할 수 있다. 변속기 구동부(612)는, 변속기의 상태를, 전진(D), 후진(R), 중립(N) 또는 주차(P)로 조정할 수 있다.
한편, 엔진이 동력원인 경우, 변속기 구동부(612)는, 전진(D) 상태에서, 기어의 물림 상태를 조정할 수 있다.
샤시 구동부(620)는, 샤시 장치의 동작을 제어할 수 있다.
샤시 구동부(620)는, 조향 구동부(621), 브레이크 구동부(622) 및 서스펜션 구동부(623)를 포함할 수 있다.
조향 구동부(621)는, 차량(100) 내의 조향 장치(steering apparatus)에 대한 전자식 제어를 수행할 수 있다. 조향 구동부(621)는, 차량의 진행 방향을 변경할 수 있다.
브레이크 구동부(622)는, 차량(100) 내의 브레이크 장치(brake apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 바퀴에 배치되는 브레이크의 동작을 제어하여, 차량(100)의 속도를 줄일 수 있다.
한편, 브레이크 구동부(622)는, 복수의 브레이크 각각을 개별적으로 제어할 수 있다. 브레이크 구동부(622)는, 복수의 휠에 걸리는 제동력을 서로 다르게 제어할 수 있다.
서스펜션 구동부(623)는, 차량(100) 내의 서스펜션 장치(suspension apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 서스펜션 구동부(623)는 도로면에 굴곡이 있는 경우, 서스펜션 장치를 제어하여, 차량(100)의 진동이 저감되도록 제어할 수 있다.
한편, 서스펜션 구동부(623)는, 복수의 서스펜션 각각을 개별적으로 제어할 수 있다.
도어/윈도우 구동부(630)는, 차량(100) 내의 도어 장치(door apparatus) 또는 윈도우 장치(window apparatus)에 대한 전자식 제어를 수행할 수 있다.
도어/윈도우 구동부(630)는, 도어 구동부(631) 및 윈도우 구동부(632)를 포함할 수 있다.
도어 구동부(631)는, 도어 장치에 대한 제어를 수행할 수 있다. 도어 구동부(631)는, 차량(100)에 포함되는 복수의 도어의 개방, 폐쇄를 제어할 수 있다. 도어 구동부(631)는, 트렁크(trunk) 또는 테일 게이트(tail gate)의 개방 또는 폐쇄를 제어할 수 있다. 도어 구동부(631)는, 썬루프(sunroof)의 개방 또는 폐쇄를 제어할 수 있다.
윈도우 구동부(632)는, 윈도우 장치(window apparatus)에 대한 전자식 제어를 수행할 수 있다. 차량(100)에 포함되는 복수의 윈도우의 개방 또는 폐쇄를 제어할 수 있다.
안전 장치 구동부(640)는, 차량(100) 내의 각종 안전 장치(safety apparatus)에 대한 전자식 제어를 수행할 수 있다.
안전 장치 구동부(640)는, 에어백 구동부(641), 시트벨트 구동부(642) 및 보행자 보호 장치 구동부(643)를 포함할 수 있다.
에어백 구동부(641)는, 차량(100) 내의 에어백 장치(airbag apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 에어백 구동부(641)는, 위험 감지시, 에어백이 전개되도록 제어할 수 있다.
시트벨트 구동부(642)는, 차량(100) 내의 시트벨트 장치(seatbelt appartus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 시트벨트 구동부(642)는, 위험 감지시, 시트 밸트를 이용해 탑승객이 시트(110FL, 110FR, 110RL, 110RR)에 고정되도록 제어할 수 있다.
보행자 보호 장치 구동부(643)는, 후드 리프트 및 보행자 에어백에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 보행자 보호 장치 구동부(643)는, 보행자와의 충돌 감지시, 후드 리프트 업 및 보행자 에어백 전개되도록 제어할 수 있다.
램프 구동부(650)는, 차량(100) 내의 각종 램프 장치(lamp apparatus)에 대한 전자식 제어를 수행할 수 있다.
공조 구동부(660)는, 차량(100) 내의 공조 장치(air cinditioner)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 공조 구동부(660)는, 차량 내부의 온도가 높은 경우, 공조 장치가 동작하여, 냉기가 차량 내부로 공급되도록 제어할 수 있다.
차량 구동 장치(600)는, 프로세서를 포함할 수 있다. 차량 구동 장치(600)의 각 유닛은, 각각 개별적으로 프로세서를 포함할 수 있다.
차량 구동 장치(600)는, 제어부(170)의 제어에 따라 동작될 수 있다.
운행 시스템(700)은, 차량(100)의 각종 운행을 제어하는 시스템이다. 운행 시스템(700)은, 자율 주행 모드에서 동작될 수 있다.
운행 시스템(700)은, 주행 시스템(710), 출차 시스템(740) 및 주차 시스템(750)을 포함할 수 있다.
실시예에 따라, 운행 시스템(700)은, 설명되는 구성 요소외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
한편, 운행 시스템(700)은, 프로세서를 포함할 수 있다. 운행 시스템(700)의 각 유닛은, 각각 개별적으로 프로세서를 포함할 수 있다.
한편, 실시예에 따라, 운행 시스템(700)이 소프트웨어적으로 구현되는 경우, 제어부(170)의 하위 개념일 수도 있다.
한편, 실시예에 따라, 운행 시스템(700)은, 사용자 인터페이스 장치(200), 오브젝트 검출 장치(300), 통신 장치(400), 차량 구동 장치(600) 및 제어부(170) 중 적어도 어느 하나를 포함하는 개념일 수 있다.
주행 시스템(710)은, 차량(100)의 주행을 수행할 수 있다.
주행 시스템(710)은, 내비게이션 시스템(770)으로부터 내비게이션 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주행을 수행할 수 있다.
주행 시스템(710)은, 오브젝트 검출 장치(300)로부터 오브젝트 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주행을 수행할 수 있다.
주행 시스템(710)은, 통신 장치(400)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주행을 수행할 수 있다.
출차 시스템(740)은, 차량(100)의 출차를 수행할 수 있다.
출차 시스템(740)은, 내비게이션 시스템(770)으로부터 내비게이션 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 출차를 수행할 수 있다.
출차 시스템(740)은, 오브젝트 검출 장치(300)로부터 오브젝트 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 출차를 수행할 수 있다.
출차 시스템(740)은, 통신 장치(400)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 출차를 수행할 수 있다.
주차 시스템(750)은, 차량(100)의 주차를 수행할 수 있다.
주차 시스템(750)은, 내비게이션 시스템(770)으로부터 내비게이션 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주차를 수행할 수 있다.
주차 시스템(750)은, 오브젝트 검출 장치(300)로부터 오브젝트 정보를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주차를 수행할 수 있다.
주차 시스템(750)은, 통신 장치(400)를 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 장치(600)에 제어 신호를 제공하여, 차량(100)의 주차를 수행할 수 있다.
내비게이션 시스템(770)은, 내비게이션 정보를 제공할 수 있다. 내비게이션 정보는, 맵(map) 정보, 설정된 목적지 정보, 상기 목적지 설정 따른 경로 정보, 경로 상의 다양한 오브젝트에 대한 정보, 차선 정보 및 차량의 현재 위치 정보 중 적어도 어느 하나를 포함할 수 있다.
내비게이션 시스템(770)은, 메모리, 프로세서를 포함할 수 있다. 메모리는 내비게이션 정보를 저장할 수 있다. 프로세서는 내비게이션 시스템(770)의 동작을 제어할 수 있다.
실시예에 따라, 내비게이션 시스템(770)은, 통신 장치(400)를 통해, 외부 디바이스로부터 정보를 수신하여, 기 저장된 정보를 업데이트 할 수 있다.
실시예에 따라, 내비게이션 시스템(770)은, 사용자 인터페이스 장치(200)의 하위 구성 요소로 분류될 수도 있다.
센싱부(120)는, 차량의 상태를 센싱할 수 있다. 센싱부(120)는, 자세 센서(예를 들면, 요 센서(yaw sensor), 롤 센서(roll sensor), 피치 센서(pitch sensor)), 충돌 센서, 휠 센서(wheel sensor), 속도 센서, 경사 센서, 중량 감지 센서, 헤딩 센서(heading sensor), 요 센서(yaw sensor), 자이로 센서(gyro sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서, 초음파 센서, 조도 센서, 가속 페달 포지션 센서, 브레이크 페달 포지션 센서, 등을 포함할 수 있다.
센싱부(120)는, 차량 자세 정보, 차량 충돌 정보, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보, 스티어링 휠 회전 각도, 차량 외부 조도, 가속 페달에 가해지는 압력, 브레이크 페달에 가해지는 압력 등에 대한 센싱 신호를 획득할 수 있다.
센싱부(120)는, 그 외, 가속페달센서, 압력센서, 엔진 회전 속도 센서(engine speed sensor), 공기 유량 센서(AFS), 흡기 온도 센서(ATS), 수온 센서(WTS), 스로틀 위치 센서(TPS), TDC 센서, 크랭크각 센서(CAS), 등을 더 포함할 수 있다.
인터페이스부(130)는, 차량(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행할 수 있다. 예를 들면, 인터페이스부(130)는 이동 단말기와 연결 가능한 포트를 구비할 수 있고, 상기 포트를 통해, 이동 단말기와 연결할 수 있다. 이경우, 인터페이스부(130)는 이동 단말기와 데이터를 교환할 수 있다.
한편, 인터페이스부(130)는 연결된 이동 단말기에 전기 에너지를 공급하는 통로 역할을 수행할 수 있다. 이동 단말기가 인터페이스부(130)에 전기적으로 연결되는 경우, 제어부(170)의 제어에 따라, 인터페이스부(130)는 전원 공급부(190)에서 공급되는 전기 에너지를 이동 단말기에 제공할 수 있다.
메모리(140)는, 제어부(170)와 전기적으로 연결된다. 메모리(140)는 유닛에 대한 기본데이터, 유닛의 동작제어를 위한 제어데이터, 입출력되는 데이터를 저장할 수 있다. 메모리(140)는, 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있다. 메모리(140)는 제어부(170)의 처리 또는 제어를 위한 프로그램 등, 차량(100) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다.
실시예에 따라, 메모리(140)는, 제어부(170)와 일체형으로 형성되거나, 제어부(170)의 하위 구성 요소로 구현될 수 있다.
제어부(170)는, 차량(100) 내의 각 유닛의 전반적인 동작을 제어할 수 있다. 제어부(170)는 ECU(Electronic Contol Unit)로 명명될 수 있다.
전원 공급부(190)는, 제어부(170)의 제어에 따라, 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다. 특히, 전원 공급부(190)는, 차량 내부의 배터리 등으로부터 전원을 공급받을 수 있다.
차량(100)에 포함되는, 하나 이상의 프로세서 및 제어부(170)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
한편, 본 발명과 관련된 차량(100)은 디스플레이 제어 장치(800)를 포함할 수 있다.
디스플레이 제어 장치(800)는, 도 7에서 설명한 구성요소들 중 적어도 하나를 제어하는 것이 가능하다. 이러한 관점에서 봤을 때, 상기 디스플레이 제어 장치(800)는 제어부(170)일 수 있다.
이에 한정되지 않고, 디스플레이 제어 장치(800)는, 제어부(170)와 독립된 별도의 구성일 수 있다. 디스플레이 제어 장치(800)가 제어부(170)와 독립된 구성요소로 구현되는 경우, 상기 디스플레이 제어 장치(800)는 차량(100)의 일부분에 구비될 수 있다.
한편, 본 명세서에서 설명하는 디스플레이 제어 장치(800)는, 차량을 제어하는 것이 가능한 모든 종류의 기기를 포함할 수 있으며, 일 예로, 이동 단말기 또는 독립된 모듈(또는 장치, 구성품)일 수 있다. 디스플레이 제어 장치(800)와 차량(100)은 유/무선 통신을 통해 통신 가능하도록 연결될 수 있다. 또한, 디스플레이 제어 장치(800)는 통신 연결된 상태에서 다양한 방식으로 차량(100)을 제어할 수 있다.
디스플레이 제어 장치(800)가 이동 단말기인 경우, 본 명세서에서 설명하는 프로세서(830)는, 이동 단말기의 제어부일 수 있다.
이하에서는, 설명의 편의를 위해 디스플레이 제어 장치(800)를 제어부(170)와 독립된 별도의 구성인 것으로 설명하기로 한다. 본 명세서에서 디스플레이 제어 장치(800)에 대하여 설명하는 기능(동작) 및 제어방법은, 차량의 제어부(170)에 의해 수행될 수 있다. 즉, 디스플레이 제어 장치(800)와 관련하여 설명한 모든 내용은, 제어부(170)에도 동일/유사하게 유추적용될 수 있다.
또한, 본 명세서에서 설명하는 디스플레이 제어 장치(800)는, 도 7에서 설명한 구성요소 및 차량에 구비되는 다양한 구성요소들 중 일부분이 포함될 수 있다. 본 명세서에서는, 설명의 편의를 위해, 도 7에서 설명한 구성요소 및 차량에 구비되는 다양한 구성요소들을 별도의 명칭과 도면부호를 부여하여 설명하기로 한다.
이하에서는, 첨부된 도면을 참조하여 본 발명의 일 실시 예에 따른 디스플레이 제어 장치(800)에 포함되는 구성요소들에 대하여 보다 구체적으로 살펴보기로 한다.
도 8은 본 발명의 실시예에 따른 디스플레이 제어 장치를 설명하기 위한 개념도이다.
본 발명과 관련된 디스플레이 제어 장치(800)는, 차량에 구비된 디스플레이(251)를 제어할 수 있다.
디스플레이 제어 장치(800)는, 도 7에서 설명한 차량에 구비된 구성요소 및/또는 차량에 구비된 디스플레이(251)를 제어하기 위해, 유/무선 통신을 수행하도록 차량과 연결될 수 있다.
이를 위해, 디스플레이 제어 장치(800)는, 차량에 구비된 디스플레이와 데이터 통신을 수행하는 인터페이스부(810)(또는 통신부(미도시))를 포함할 수 있다.
인터페이스부(810)는 차량(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행한다. 이러한 인터페이스부(810)는, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 중 적어도 하나를 포함할 수 있다. 디스플레이 제어 장치(800)에서는, 상기 인터페이스부(810)에 차량에 포함된 구성요소(예를 들어, 디스플레이(251))가 연결되는 것에 대응하여, 연결된 구성요소와 관련된 적절할 제어를 수행할 수 있다.
일 예로, 상기 디스플레이 제어 장치(800)의 인터페이스부(810)는, 차량에 구비된 인터페이스부(130)와 연결될 수 있다.
인터페이스부(130)는, 차량(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행할 수 있다. 예를 들면, 인터페이스부(130)는 디스플레이 제어 장치(800)와 연결 가능한 포트를 구비할 수 있고, 상기 포트를 통해, 디스플레이 제어 장치(800)와 연결할 수 있다. 이경우, 인터페이스부(130)는 디스플레이 제어 장치(800)와 데이터를 교환할 수 있다.
한편, 인터페이스부(130)는 연결된 디스플레이 제어 장치(800)에 전기 에너지를 공급하는 통로 역할을 수행할 수 있다. 디스플레이 제어 장치가 인터페이스부(130)에 전기적으로 연결되는 경우, 제어부(170)의 제어에 따라, 인터페이스부(130)는 전원 공급부(190)에서 공급되는 전기 에너지를 디스플레이 제어 장치에 제공할 수 있다.
도시되진 않았지만, 디스플레이 제어 장치(800)는, 차량의 디스플레이와 유/무선 통신을 통해 데이터를 송수신하도록 형성되는 통신부(미도시)를 더 포함할 수 있다.
상기 통신부(미도시)는, 앞서 설명한 통신 장치(400)의 내용을 동일/유사하게 유추적용할 수 있다.
상기 통신부(미도시)는, 차량에 구비된 통신 장치(400)와 통신 연결되어, 차량에 구비된 디스플레이(251)와 데이터를 송수신하도록 통신을 수행할 수 있다.
일 예로, 디스플레이 제어 장치(800)와 차량(100)은, 통신부를 통해 무선 통신(또는 유선 통신)이 가능하도록 연결될 수 있다. 상기 디스플레이 제어 장치(800)와 차량은, 사용자 요청에 의해 상호 무선 통신이 가능하도록 무선 연결되거나, 이전에 무선 통신이 가능하도록 연결된 적이 있으면, 상기 디스플레이 제어 장치가 상기 차량 내부로 진입하는 것에 근거하여, 상호 무선 통신이 가능하도록 무선 연결될 수 있다.
디스플레이 제어 장치(800)는, 통신부를 통해 차량의 디스플레이(251)를 제어할 수 있다.
구체적으로, 디스플레이 제어 장치(800)는 통신부를 통해 디스플레이(251)를 제어하기 위한 제어신호를 차량(100)으로 전송할 수 있다. 차량(100)은 상기 제어신호가 수신되면, 상기 제어신호에 대응하는 기능/동작/제어를 수행할 수 있다.
반대로, 본 발명은 차량(100)이 디스플레이 제어 장치(800)를 제어하는 것이 가능할 수 있다. 구체적으로, 차량(100)은, 디스플레이 제어 장치(800)로 디스플레이 제어 장치(800)를 제어하기 위한 제어신호를 전송할 수 있다. 이에 응답하여, 디스플레이 제어 장치(800)는, 차량(100)으로부터 전송된 제어신호에 대응되는 기능/동작/제어를 수행할 수 있다.
또한, 통신부(미도시)는, 차량 외부에 존재하는 외부 장치(예를 들어, 서버, 클라우드 서버(또는, 클라우드), 인터넷 등)와 통신을 수행할 수 있다. 또한, 통신부는, 타차량과 통신을 수행할 수 있다.
프로세서(830)는, 인터페이스부(810)(또는 통신부)를 통해 차량(100)에 구비된 디스플레이(251)를 제어할 수 있다.
프로세서(830)는, 차량에 구비된 복수의 디스플레이 중 적어도 하나의 디스플레이에 가해지는 기 설정된 입력에 대한 정보를 수신할 수 있다.
또한, 프로세서(830)는, 기 설정된 입력에 응답하여, 상기 기 설정된 입력에 대응되는 동작이 수행되도록 복수의 디스플레이를 제어할 수 있다.
도 9는 본 발명의 디스플레이 제어 장치가 제어하는 차량에 구비된 복수의 디스플레이를 나타낸 개념도이다.
도 9를 참조하면, 본 발명의 디스플레이 제어 장치(800)는, 차량에 구비된 복수의 디스플레이를 제어할 수 있다.
상기 복수의 디스플레이는, 헤드 유닛 디스플레이(제1 디스플레이(910)), RSE(Rear-Seat Entertainment system) 1(제2 디스플레이(920)), RSE 2(제3 디스플레이(930)) 등을 포함할 수 있다.
또한, 차량에 구비된 디스플레이는, 투명 디스플레이를 포함할 수 있다. 투명 디스플레이는 윈드 쉴드 또는 윈도우에 부착될 수 있다.
차량에 구비된 디스플레이는, 스티어링 휠의 일 영역, 인스투루먼트 패널의 일 영역(251a, 251b, 251e), 시트의 일 영역(251d), 각 필러의 일 영역(251f), 도어의 일 영역(251g), 센타 콘솔의 일 영역, 헤드 라이닝의 일 영역, 썬바이저의 일 영역에 배치되거나, 윈드 쉴드의 일영역(251c), 윈도우의 일영역(251h)에 구현될 수 있다.
또한, 상기 디스플레이는, 클러스터(Cluster), CID(Center Information Display), 네비게이션 장치 및 HUD(Head-Up Display) 등을 포함할 수 있다.
디스플레이는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 차량(100)(또는 디스플레이 제어 장치(800))과 사용자 사이의 입력 인터페이스를 제공하는 입력부(210)로써 기능함과 동시에, 차량(100)(또는 디스플레이 제어 장치(800))과 사용자 사이의 출력 인터페이스를 제공할 수 있다.
도 10은 본 발명의 대표적인 제어 방법을 설명하기 위한 흐름도이다.
본 발명의 디스플레이 제어 장치(800)의 프로세서(830)는, 차량에 구비된 복수의 디스플레이 중 적어도 하나의 디스플레이 가해지는 기 설정된 입력에 대한 정보를 수신할 수 있다(S1010).
이후, 프로세서(830)는, 상기 기 설정된 입력에 응답하여, 상기 기 설정된 입력에 대응되는 동작이 수행되도록 상기 복수의 디스플레이를 제어할 수 있다(S1020).
본 발명은, 차량에 복수의 디스플레이가 구비된 멀티 디스플레이 환경에서, 여러 개의 디스플레이 각각에 표시하려는 화면의 부분들을 분할하여 출력하고 디스플레이를 여러 개 붙여서 하나의 큰 완성된 가상의 디스플레이를 구성할 수 있다.
또한, 본 발명은, 멀티 디스플레이 환경에서, 미러링(Mirroring) 또는 공유(쉐어링, Sharing) 기능을 이용하여 작은 화면을 큰 디스플레이에 출력하거나, 각기 다른 화면을 가지고 다중 작업(Multi-Tasking)을 수행할 수 있다.
특히 이 중에서, 본 발명은 미러링 또는 공유 기능을 이용하면, 다양한 형태의 공유 또는 협업을 수행할 수 있는 환경을 제공하는 것이 가능하다
멀티 디스플레이 환경에서, 본 발명의 디스플레이 제어 장치는, 다중 디스플레이 관리자를 포함할 수 있다.
구체적으로, 다중 디스플레이 관리자는, 복수의 디스플레이 각각의 물리적인 위치에 대한 위치 정보를 저장할 수 있다. 복수의 디스플레이 각각의 물리적인 위치에 대한 위치 정보는, 차량에 디스플레이 제어 장치가 장착될 때 사용자에 의해 설정되거나, 차량이 제조될 당시 기 저장된 디스플레이 장치 정보를, 디스플레이 제어 장치가 차량에 연결될 때 차량으로부터 수신될 수 있다.
디스플레이 제어 장치는, 제스처 기반 사용자 인터페이스를 포함할 수 있다. 상기 제스처 기반 사용자 인터페이스는, 복수의 디스플레이 중 적어도 하나에 가해지는 사용자 입력(제스처)를 감지할 수 있다.
디스플레이 제어 장치는, 디스플레이 결정부를 포함할 수 있다.
디스플레이 결정부는, 다중 디스플레이 관리자의 위치 정보에 근거하여, 현재 사용자 제스처가 입력된 디바이스를 기준으로, 어느 디바이스에 화면 및 오디오를 출력할지를 결정하고, 영상을 제공하는 디스플레이(소스, source)와 제공된 영상을 출력하는 디스플레이(목적지, destination)를 다중 디스플레이 버퍼 처리기에 전달할 수 있다.
다중 디스플레이 버퍼 처리기는, 디스플레이 제어 장치에 포함될 수 있다.
다중 디스플레이 버퍼 처리기는, 사용자의 제스처가 입력된 디스플레이(소스)와 사용하는 영상 및 오디오를, 공유(sharing) 또는 미러링(mirroring)하기 위한 디스플레이(목적지, destination)를 입력받아, 소스 디스플레이의 화면 및 오디오 버퍼를, 목적지 디스플레이의 화면 및 오디오 버퍼로 실시간 복사하거나, 목적지 디스플레이의 버퍼를, 소스 디스플레이의 버퍼로 대체하여 공유 또는 미러링 기능을 구현할 수 있다.
종래의 다중 디스플레이 환경에서는, 디스플레이 간 화면 및 오디오를 공유/미러링하기 위해서는, 1) 연결 가능한 디스플레이를 검색하고 등록하는 단계와, 2) 미러링 또는 공유할 디스플레이를 선택하는 단계가 필수적으로 수행되어야 했으며, 대부분의 사용자 인터페이스는 리스트(List) 형태로 제공되어, 사용자로부터 연결을 원하는 디스플레이의 식별자를 선택받아야 하는 과정을 수반하였다.
그러나, 본 발명은, 시스템 내의 다중 디스플레이 관리자가 각각의 디스플레이의 물리적인 위치에 대한 위치 정보(디바이스 configuration 정보)를 저장하고, 이를 기반으로, 사용자 제스처의 방향성과 대조하여, 직관적으로 화면을 공유/미러링할 수 있다.
이를 위해, 본 발명의 디스플레이 제어 장치(800)의 다중 디스플레이 관리자는, 디스플레이부의 상대적인 위치(위치 정보 또는 디바이스 configuration 정보)를 저장하고 관리하며, 차량용 멀티 디스플레이 환경에서 디스플레이가 설치되는 위치(예를 들어, 전석/후석 여부, 왼쪽/가운데/오른쪽 여부)에 대한 정보를 포함할 수 있다.
제스처 기반 사용자 인터페이스는, 사용자 입력(제스처)의 시작/이동/종료 시점을 추적하고, 제스처의 방향을 결정할 수 있다.
예를 들어, 제스처가 터치 방식인 경우, 터치 시작지점, 이동경로, 터치 종료지점을 추적하여, 제스처의 방향을 인식할 수 있다.
다른 예로, 제스처가 공간 제스처 방식인 경우, 사물을 인식하기 위한 카메라(820)가 추가로 구비될 수 있으며, 상기 카메라(820)를 통해 인식된 사물(예를 들어, 사용자의 손)의 이동 방향을 추적하여 제스처의 방향을 인식할 수 있다.
제스처의 방향 구분은 간단하게 전/후/좌/우 4방향으로 구분될 수도 있고, 전/후/좌/우/전좌/전우/후좌/후우로 구분되는 8방향 구분으로 인식될 수도 있다.
디스플레이 결정부는, 제스처를 인식하는 장비를 소스 디스플레이(또는 소스 디바이스)로 결정하고, 제스처의 방향에 근거하여 목적지 디스플레이(또는 목적지 디바이스)를 결정할 수 있다.
디스플레이 결정부는, 소스 디스플레이와 목적지 디스플레이를, 제스처가 가해진 디스플레이, 상기 디스플레이의 설치 위치 및 제스처의 방향에 따라 다양하게 결정할 수 있으며, 이는 뒤에서 후술하기로 한다.
디스플레이 결정부는, 화면/소리를 제공하는 소스 디스플레이와, 소스 디스플레이에서 제공되는 화면/소리를 출력하는 목적지 디스플레이를 결정하고, 소스 디스플레이의 ID와 목적지 디스플레이의 ID를 출력할 수 있다.
디스플레이 버퍼 처리기는, 디스플레이 결정부에서 출력된 소스 디스플레이의 ID와 목적지 디스플레이의 ID를 입력으로 하여, 소스 디스플레이의 출력 버퍼를 주기적으로 목적지 디스플레이의 버퍼에 복사하거나, 목적지 디스플레이 ID 버퍼 주소를 소스 디스플레이 ID 버퍼 주소로 변경하여, 소스 디스플레이에서 출력되는 영상 출력이 목적지 디스플레이에 동일하게 출력될 수 있도록 할 수 있다.
위에서 설명한 다중 디스플레이 관리자, 제스처 기반 사용자 인터페이스, 디스플레이 결정부 및 디스플레이 버퍼 처리기는, 본 발명의 디스플레이 제어 장치의 프로세서(830)에 의해 구현될 수 있다.
상기 다중 디스플레이 관리자, 제스처 기반 사용자 인터페이스, 디스플레이 결정부 및 디스플레이 버퍼 처리기는, 소프트웨어적으로 컴포넌트화되어 구현될 수도 있고, 각각이 독립된 모듈로 구현될 수도 있다.
본 명세서에서는, 설명의 편의를 위해, 다중 디스플레이 관리자, 제스처 기반 사용자 인터페이스, 디스플레이 결정부 및 디스플레이 버퍼 처리기가 수행하는 동작/기능/제어방법을, 프로세서(830)가 동일/유사하게 유추적용하는 것으로 설명하기로 한다.
도 11 및 도 12는 본 발명의 디스플레이 제어 장치의 동작 환경을 설명하기 위한 개념도이다.
도 11을 참조하면, 본 발명의 차량에 구비된 복수의 디스플레이는, 하나의 SoC(System on Chip) 상에서 하나의 OS(Operating system)(예를 들어, 하나의 안드로이드 OS)에 의해 제어될 수 있다.
또한, 본 발명의 차량에 구비된 복수의 디스플레이는, 각각 다른 OS에 의해 구동될 수 있으며(예를 들어, 제1 디스플레이는 리눅스 OS, 제2 및 제3 디스플레이는 안드로이드 OS)에서 구동될 수 있다.
이 때, 도 11에 도시된 것과 같이, 본 발명의 디스플레이 제어 장치는, 하나의 SoC 상에, 서로 다른 OS 사이의 호환을 수행하도록 하이퍼바이져(hypervisor)가 구비될 수 있다. 디스플레이 제어 장치는, 차량에 구비된 디스플레이가 서로 다른 OS에서 구동되더라도, 하이퍼바이져를 통해 서로 다른 OS사이의 데이터 송수신, 공유/미러링 기능을 수행할 수 있다.
도 12를 참조하면, 본 발명의 디스플레이 제어 장치는, 하나의 SoC 상에서 복수의 디스플레이를 제어하는 것이 가능하도록 형성될 수 있으며, 이를 위한 시스템 제어 소프트웨어(SW)가 설치될 수 있다.
본 발명의 차량에 구비된 복수의 디스플레이 중 제1 디스플레이(910)는, 일 예로, 운전자가 조작 가능한 위치에 설치될 수 있으며, 복수의 디스플레이(910, 920, 930)에서 구동 가능한 애플리케이션(게임, 네비게이션, 지도, 영상, 웹 등)이 모두 구동될 수 있다.
본 발명의 복수의 디스플레이 각각은, 각 디스플레이에서 출력될 화면 정보를 버퍼링 없이 재생하기 위해, 사전에 메모리 또는 외부 서버로부터 로딩하여 저장하는 버퍼가 각각 구비될 수 있다.
디스플레이 제어 장치는, 사용자 입력(제스처)에 의해 디스플레이 간 화면 공유 또는 미러링 기능이 요청되면, 각 디스플레이에 연계된 버퍼를 제어하여, 소스 디스플레이에서 출력중인 화면 정보를 버퍼에서 리사이징하여, 목적지 디스플레이에서 출력하도록 리사이징(resizing)된 화면 정보를 목적지 디스플레이의 버퍼로 로딩할 수 있다.
이후, 디스플레이 제어 장치는, 리사이징된 화면 정보를 목적지 디스플레이의 버퍼에 로딩한 후, 목적지 디스플레이에 출력시킬 수 있다.
다른 표현으로, 사용자가 특정 Display 장치에서 (요청 Display) 다른 Display 장치의 (피요청 Display) 화면을 PIP로 요청하면, 디스플레이 제어 장치에 설치된 제어 SW (운영체계, Operating System)는, 1) 피요청 Display 장치의 Display Video Buffer를 접근하여 (Access Controller), 2) 피요청 Display 장치의 Display Video Buffer의 Contents를 Resize하고 (Buffer Resizer), 3) Resize된 피요청 Display 장치의 Video Buffer Contents를 요청한 Display 장치의 Video Buffer의 특정 영역에 반영하고 (Video Buffer Modifier), 4) 주기적으로 업데이트를 하여 피요청 Display에서 출력되고 있는 화면을 요청한 Display 장치에서 실시간 모니터링할 수 있게 할 수 있다.
이를 통해, 본 발명은 각각의 Display별 Video Buffer를 두고, 각각의 Display 장치에서 구동되는 화면을 독립적으로 Video Buffer에 출력하여 각각의 Display 장치를 독립적인 Device처럼 활용하되, 사용자가 다른 Display 장치의 화면을 PIP 형태로 모니터링하고자 하는 요청을 하면, 시스템 제어 SW (Operating System)는 기존의 Display Buffer 관리에 다음의 기능을 추가 활성화하여, 1) 피요청 Display 장치의 Video Buffer를 접근하여 (Access Controller), 2) 피요청 Display 장치의 Video Buffer의 Contents를 Resize하고 (Buffer Resizer), 3) Resize된 피요청 Display 장치의 Video Buffer의 Contents를 요청 Display 장치의 Video Buffer의 특정 영역에 반영하고 (Video Buffer Modifier), 4) 주기적으로 업데이트를 하여 피요청 디바이스에서 실행되고 있는 화면을 요청한 Display 장치에서 실시간 모니터링하게 할 수 있다.
즉, 본 발명의 디스플레이 제어 장치는, 시스템 제어 소프트웨어, 디스플레이 액세스 제어부, 버퍼 리사이져 및 비디오 버퍼 모디파이어를 포함할 수 있다.
디스플레이 액세스 제어부(Display Access Controller)는, 1) 사용자가 PIP 기능을 이용한 모니터링 기능을 요청하지 않은 경우에는 각각의 Display별로 Video Buffer를 할당하여, 각각의 Display에서 구동되는 앱의 화면을 실시간으로 출력할 수 있게 하고, 2) 사용자가 PIP 기능을 이용한 모니터링 기능을 요청한 경우에 피요청 Display의 Video Buffer에 접근하는 권한을 가질 수 있다.
버퍼 리사이져(Buffer Resizer)는, 상기 디스플레이 액세스 제어부의 요청에 따라 특정 Display의 Video Buffer의 내용을 작은 Size로 Resize하는 기능을 수행할 수 있다.
비디오 버퍼 모디파이어(Video Buffer Modifier)는, 요청 Device의 Video Buffer에 상기 Buffer Resizer가 제공하는 Resize된 피요청 Contents를 합성하는 기능을 수행할 수 있다.
본 발명은, 사용자가 특정 Display장치에서 PIP기능을 이용한 모니터링 기능을 요청한 경우, 시스템 제어 S/W는 Display Access Controller를 통해 피요청 Device의 Video Buffer를 접근하여, 해당 Display의 Video Buffer의 Contents를 Buffer Resizer를 이용하여 축소하고, Video Buffer Modifier를 이용하여 Resize된 피요청 Display의 화면을 요청 Display용 Video Buffer에 합성하여 요청한 Display 장치에서는 피요청 Display에서 구동되는 화면을 실시간으로 모니터링할 수 있다.
또한, 본 발명에서, 해당 PIP기능을 이용한 화면 모니터링 요청은 특정 권한을 가지는 사용자로 제한할 수 있다.
일 실시 예에 따른 본 발명에 따르면, 부모는 자녀가 사용하고 있는 Display장치에서 출력되는 화면을실시간으로 모니터링할 수 있으며(부적절한 서비스나 콘텐츠 사용을 차단하기 위한 목적), 차량용 환경에서는 운전자가 뒷좌석에서 출력되고 있는 화면을 모니터링 할 수 있다.
위에서 설명한 시스템 제어 소프트웨어, 디스플레이 액세스 제어부, 버퍼 리사이져 및 비디오 버퍼 모디파이어는, 본 발명의 디스플레이 제어 장치의 프로세서(830)에 의해 구현될 수 있다.
이하에서는, 첨부된 도면을 참조하여, 본 발명의 디스플레이 제어 장치가, 차량에 구비된 복수의 디스플레이에서 직관적이고 효과적으로 화면을 공유(sharing) 및/또는 미러링(Mirroring)하는 방법에 대하여 첨부된 도면을 참조하여 보다 구체적으로 살펴보기로 한다.
도 13, 도 14, 도 15, 도 16, 도 17, 도 18, 도 19, 도 20, 도 21, 도 22, 도 23, 도 24 및 도 25는 본 발명의 다양한 실시 예에 따른 디스플레이 제어 방법을 설명하기 위한 개념도이다.
본 발명의 디스플레이 제어 장치는, 인터페이스부(810)(또는 통신부)를 통해 차량에 구비된 디스플레이(251, 이하 910, 920, 930 3개의 디스플레이로 예를 들기로 함)를 제어할 수 있다.
이 때, 프로세서(830)는, 차량에 구비된 복수의 디스플레이 중 적어도 하나의 디스플레이에 가해지는 기 설정된 입력에 대한 정보를 차량에 구비된 디스플레이부 또는 제어부(170)로부터 수신할 수 있다.
상기 기 설정된 입력에 대한 정보는, 어떤 종류의 사용자 입력(제스처)인지, 사용자 입력이 시작된 지점 및 종료된 지점, 사용자 입력이 가해진 방향 등 사용자가 디스플레이에 입력한 사용자 입력과 관련된 정보를 포함할 수 있다.
프로세서(830)는, 상기 기 설정된 입력에 대한 정보가 수신되면, 차량에 구비된 복수의 디스플레이 중 적어도 하나에 사용자 입력이 가해졌다고 판단할 수 있다.
프로세서(830)는, 상기 기 설정된 입력에 응답하여, 상기 기 설정된 입력에 대응되는 동작이 수행되도록, 상기 복수의 디스플레이를 제어할 수 있다.
프로세서(830)는, 복수의 디스플레이가 구비된(설치된) 위치 정보에 근거하여, 기 설정된 입력에 대응되는 동작을 수행할 수 있다.
예를 들어, 제1 디스플레이(910)는, 차량의 전방 시트에서 조작 가능한 위치에 설치되고, 제2 디스플레이(920)는, 후방 시트의 좌측편, 제3 디스플레이(930)는 후방 시트의 우측편에서 조작 가능한 위치에 설치될 수 있다.
이러한 제1 내지 제3 디스플레이의 설치 위치는, 상기 복수의 디스플레이가 구비된 위치 정보에 포함되며, 상기 위치 정보(또는, 앞서 설명한 디바이스 configuration 정보)는, 사용자 설정에 의해 생성/결정되거나 가변될 수 있다.
또한, 상기 위치 정보는, 차량이 제조될 당시 또는 복수의 디스플레이가 차량에 설치될 때 위치 정보가 차량에 기 저장되어 있을 수 있으며, 디스플레이 제어 장치의 요청에 의해 차량에서 디스플레이 제어 장치로 전송될 수도 있다.
상기 기 설정된 입력은, 다양한 종류의 사용자 입력을 포함할 수 있다.
여기서, 상기 기 설정된 방식의 사용자 입력은, 디스플레이(251)에 가해지는 터치 입력 또는 각 디스플레이에 연계된 사용자 인터페이스 장치(예를 들어, 스티어링휠에 구비된 버튼, 조그 다이얼, 노브 등)에 가해지는 사용자 입력 등을 포함할 수 있다.
상기 기 설정된 방식의 사용자 입력은, 다양한 방식의 터치를 포함할 수 있다. 예를 들어, 상기 다양한 방식의 터치에는, 숏(또는 탭) 터치(short touch), 롱 터치(long touch), 더블 터치(double touch), 멀티 터치(multi touch), 드래그 터치(drag touch), 플리크 터치(flick touch), 핀치-인 터치(pinch-in touch), 핀치-아웃 터치(pinch-out 터치), 스와이프(swype) 터치, 호버링(hovering) 터치, 포스 터치 등이 포함될 수 있다.
이하에서는, 상기 다양한 방식의 터치에 대하여 보다 구체적으로 살펴본다.
숏(또는 탭) 터치(short touch)는 디스플레이(251)에 터치 대상체(예를 들어, 손가락 또는 스타일러스 펜(stylus pen) 등)가 접촉된 후(터치가 가해진 후) 일정시간 이내에 해제되는 터치일 수 있다. 예를 들어, 상기 숏(또는 탭) 터치(short touch)는 마우스의 싱글 클릭과 같이, 짧은 시간 동안 터치 대상체가 상기 디스플레이(251)에 접촉되는 터치일 수 있다.
롱 터치(long touch)는 디스플레이(251)에 터치 대상체가 접촉된 후 일정시간 이상 유지되는 터치일 수 있다. 예를 들어, 상기 롱 터치는, 터치 대상체에 의해 디스플레이(251)에 터치가 가해진 후 상기 터치가 일정시간 이상 유지되는 터치일 수 있다. 보다 구체적으로, 상기 롱 터치는, 상기 터치가 터치 스크린 상의 일 지점에서 일정시간 이상 유지된 후 해제되는 터치일 수 있다. 또한, 상기 롱 터치는 상기 디스플레이(251) 상에 일정시간 이상 터치 대상체의 접촉상태를 유지하는 터치 앤 홀드(touch and hold) 동작에 대응되는 터치로 이해될 수도 있다.
더블 터치(double touch)는, 디스플레이(251) 상에 상기 숏 터치가 일정 시간 이내에 연속적으로 적어도 두 번 가해지는 터치일 수 있다.
상기 숏 터치, 롱 터치 및 더블 터치에서 설명한 일정시간은 사용자 설정에 의해 결정될 수 있다.
멀티 터치(multi touch)는 디스플레이(251) 상에 실질적으로 동일한 시점에 적어도 두 개의 접촉지점에 인가되는 터치일 수 있다.
드래그 터치(drag touch)는 상기 디스플레이(251)의 제1 지점에서 시작되는 접촉이 상기 디스플레이(251) 상에서 일 방향을 따라 연속적으로 인가되다가 상기 제1 지점과 다른 제2 지점에서 그 접촉이 해제되는 터치일 수 있다.
구체적으로, 상기 드래그 터치는, 터치 대상체에 의해 디스플레이(251)의 일 지점에 가해진 터치가 상기 디스플레이(251) 상에서 유지된 상태로 연속하여 연장된 후 상기 일 지점과 다른 지점에서 해제되는 터치일 수 있다.
또한, 상기 드래그 터치는 디스플레이(251)의 일 지점에 터치가 가해진 후 상기 터치로부터 연속적으로 연장되는 터치를 의미할 수도 있다.
플리크 터치(flick touch)는 일정시간 이내에 상기 드래그 터치가 가해지는 터치일 수 있다. 구체적으로, 상기 플리크 터치는 일정시간 안에 상기 드래그 터치를 가하는 터치 대상체가 디스플레이(251)으로부터 해제되는 터치일 수 있다. 다른 말로, 상기 플리크 터치는 기 설정된 속도 이상의 속도로 가해지는 드래그 터치로 이해될 수 있다.
스와이프(swype) 터치는 일직선으로 가해지는 드래그 터치일 수 있다.
핀치-인 터치(pinch-in touch)는 디스플레이(251) 상에 서로 다른 두 지점(이격된 두 지점)에 가해진 제1 및 제2 터치 중 적어도 하나가 서로 가까워지는 방향으로 연장되는 터치일 수 있다. 예를 들어, 상기 핀치-인 터치는, 디스플레이(251) 상에 이격된 두 지점 각각에 손가락을 접촉한 상태에서, 상기 손가락 각각의 간격을 좁히는 동작에 의해 구현되는 터치일 수 있다.
핀치-아웃 터치(pinch-out 터치)는 디스플레이(251) 상에 서로 다른 두 지점(이격된 두 지점)에 가해진 제1 및 제2 터치 중 적어도 하나가 서로 멀어지는 방향으로 연장되는 터치일 수 있다. 예를 들어, 상기 핀치-아웃 터치는, 디스플레이(251) 상에 이격된 두 지점 각각에 손가락을 접촉한 상태에서, 상기 손가락 각각을 벌리는(멀어지게 하는) 동작에 대응하는 터치일 수 있다.
호버링(hovering) 터치는 터치 대상체가 디스플레이(251)에 접촉되지 않으면서, 상기 디스플레이(251)으로부터 떨어진 공간에서의 터치 대상체의 동작에 대응하는 터치로, 일 예로, 근접 터치(proximity touch)일 수 있다. 예를 들어, 상기 호버링 터치는, 상기 터치 대상체가 디스플레이(251)에 이격된 일 지점에서 일정시간 이상 유지되는 동작에 대응하는 터치일 수 있다.
포스(force) 터치는, 터치 대상체가 디스플레이(251)를 일정압력 이상으로 터치하는 터치를 의미한다.
또한, 위에서 설명한 다양한 방식의 터치는, 사용자 인터페이스 장치에 가해지는 사용자 입력에 동일/유사하게 유추적용될 수 있다.
또한, 기 설정된 입력은, 디스플레이에 직접적으로 터치되지 않은 상태에서 가해지는 사용자 제스처를 포함할 수 있으며, 상기 사용자 제스처는, 앞서 설명한 다양한 터치 방식을 동일/유사하게 유추적용할 수 있다.
디스플레이로부터 소정 간격 이격된 공간에서 이루어지는 사용자 제스처로 사용자 입력이 가해지는 경우, 디스플레이 제어 장치는, 각 디스플레이 주변에(또는 중첩되어) 설치된 카메라를 통해 상기 사용자 제스처를 인식할 수 있다.
상기 기 설정된 입력은, 일 지점에서 시작하여 어느 일 방향으로 가해진 후 다른 지점에서 해제되는 입력을 포함할 수 있다. 일 예로, 상기 기 설정된 입력은, 방향성을 가지는 드래그 입력, 플리크 입력, 스와이프 입력 등으로 구현될 수 있다.
상기 기 설정된 입력은, 화면 공유가 이루어지지 않은 시점에는 공유 요청 제스처로 인식되고, 화면 공유가 이루어진 상태에서는, 공유 해제 요청 제스처로 인식될 수 있다.
프로세서(830)는, 상기 복수의 디스플레이의 위치, 상기 기 설정된 입력이 가해진 디스플레이 및 상기 기 설정된 입력이 가해진 상기 어느 일 방향 중 적어도 하나에 근거하여, 상기 기 설정된 입력에 대응되는 동작을 수행하도록 상기 복수의 디스플레이를 제어할 수 있다.
여기서, 프로세서(830)는, 상기 기 설정된 입력이 상기 적어도 하나의 디스플레이에 가해지면, 상기 복수의 디스플레이의 위치 정보에 근거하여, 상기 기 설정된 입력이 가해진 방향에 위치한 다른 디스플레이의 화면을 전환할 수 있다.
예를 들어, 도 13의 (a)에 도시된 것과 같이, 복수의 디스플레이(910, 920, 930)에는 각각 다른 화면이 출력중일 수 있다.
예를 들어, 복수의 디스플레이 중 제1 디스플레이(920)에는 제1 화면 정보(B)가 출력중이고, 상기 제1 디스플레이와 다른 제2 디스플레이(930)에는 제2 화면 정보(c)가 출력중인 상태일 수 있다.
프로세서(830)는 상기 제1 디스플레이(920)에 제1 방향(예를 들어, 오른쪽)으로 가해지는 스와이프 입력이 수신되는 것에 근거하여, 도 13의 (c)에 도시된 것과 같이, 상기 제1 디스플레이를 기준으로 상기 제1 방향(오른쪽)에 위치한 제2 디스플레이(930)에, 상기 제1 디스플레이에 출력중인 제1 화면 정보(B)를 출력하도록 상기 제2 디스플레이(930)를 제어할 수 있다.
즉, 제1 디스플레이(920)에 오른쪽으로 가해지는 스와이프 입력이 가해지면, 제1 디스플레이(920)의 오른쪽에 있는 제2 디스플레이(930)에 제1 디스플레이(920)에 출력중인 화면을 공유(복사, 미러링)할 수 있다.
이에 따라, 상기 제1 디스플레이(920) 및 상기 제2 디스플레이(930)에는, 상기 스와이프 입력이 수신되는 것에 근거하여, 실질적으로 동일한 화면(B)이 출력될 수 있다.
만약, 상기 제1 및 제2 디스플레이의 제조사나 화면 크기, 화질 등이 다르더라도, 실질적으로 출력되는 화면정보의 소스는 동일할 수 있으며, 이에 따라, 제1 및 제2 디스플레이에 출력되는 화면 정보는 실질적으로 동일할 수 있다.
이후, 도 13의 (d)에 도시된 것과 같이, 화면이 공유중인 상태에서, 소스 디스플레이에 해당하는 제1 디스플레이(920)에 상기 제1 방향(오른쪽)과 반대되는 제2 방향(왼쪽)으로 가해지는 스와이프 입력이 수신되거나, 도 13의 (e)에 도시된 것과 같이, 목적지 디스플레이에 해당하는 제2 디스플레이(930)에 상기 제1 방향(오른쪽)과 반대되는 제2 방향(왼쪽)으로 가해지는 스와이프 입력이 수신되면, 제2 디스플레이(930)에 출력중인 제1 화면 정보(B)를, 공유 전에 출력중이던 제2 화면 정보(c)로 복원(전환)할 수 있다.
한편, 본 발명의 디스플레이 제어 장치(800)는, 기 설정된 입력이 적어도 하나의 디스플레이에 가해지면, 복수의 디스플레이의 위치 정보에 근거하여, 기 설정된 입력이 가해진 방향의 반대 방향에 위치한 다른 디스플레이의 화면을 전환할 수 있다.
도 14의 (a)에 도시된 것과 같이, 상기 복수의 디스플레이 중 제1 디스플레이(930)에는 제1 화면 정보(C)가 출력중이고, 상기 제1 디스플레이의 제1 방향(예를 들어, 왼쪽)에 위치한 다른 제2 디스플레이(920)에는 제2 화면 정보(B)가 출력중인 상태일 수 있다.
프로세서(830)는, 도 14의 (b) 및 (c)에 도시된 것과 같이, 상기 제1 디스플레이(930)에 상기 제1 방향(왼쪽)과 반대되는 제2 방향(오른쪽)으로 스와이프 입력이 수신되는 것에 근거하여, 상기 제2 디스플레이(920)에 출력중인 상기 제2 화면 정보(B)가 상기 제1 디스플레이(930)에 출력되도록 상기 제1 디스플레이(930)를 제어할 수 있다.
이후, 도 14의 (d) 및 (e)에 도시된 것과 같이, 프로세서(830)는, 제1 디스플레이(930) 또는 제2 디스플레이(920)에 상기 제2 방향(오른쪽)과 반대되는 제1 방향(왼쪽)으로 가해지는 스와이프 입력이 수신되면, 상기 제1 디스플레이(930)에 출력중인 상기 제2 화면 정보(B)를 상기 제1 화면 정보(C)로 복원할 수 있다.
도 13과는 다르게, 도 14에서는, 기 설정된 입력이 가해진 디스플레이가 목적지 디스플레이가 되고, 기 설정된 입력이 가해진 방향의 반대 방향에 위치한 디스플레이가 소스 디스플레이가 된다.
이는, 기 설정된 입력이 가해진 디스플레이와, 기 설정된 입력이 가해진 방향에 따라 화면 전환을 하는 디스플레이(즉, 소스 디스플레이와 목적지 디스플레이)가 다르게 설정될 수 있다는 것을 의미한다.
구체적으로, 프로세서(830)는, 기 설정된 입력이 가해진 방향 및 기 설정된 입력이 가해진 디스플레이의 위치에 근거하여, 화면 전환하는 디스플레이를 결정할 수 있다.
프로세서(830)는, 기 설정된 입력이 일 방향으로 어느 디스플레이에 가해졌을 때, 상기 어느 디스플레이의 일 방향에 다른 디스플레이가 존재하는 경우, 상기 다른 디스플레이의 화면을 전환할 수 있다.
즉, 프로세서(830)는, 기 설정된 입력이 일 방향으로 어느 디스플레이에 가해졌을 때, 상기 어느 디스플레이의 일 방향에 다른 디스플레이가 존재하는 경우, 기 설정된 입력이 가해진 디스플레이를 소스 디스플레이로 설정하고, 상기 일 방향에 존재하는 다른 디스플레이를, 화면 전환을 수행하는 목적지 디스플레이로 설정할 수 있다. (도 13 및 도 16에 해당)
반면, 프로세서(830)는, 기 설정된 입력이 일 방향으로 어느 디스플레이에 가해졌을 때, 상기 어느 디스플레이의 일 방향에 다른 디스플레이가 미존재하는 경우, 상기 어느 디스플레이의 화면을 전환할 수 있다. (도 14 및 도 15에 해당)
예를 들어, 도 15에 도시된 것과 같이, 어느 디스플레이(920)에 기 설정된 입력이 일 방향(예를 들어, 왼쪽 방향)으로 가해진 경우, 상기 어느 디스플레이(920)의 일 방향(왼쪽)에 다른 디스플레이가 미존재하는 경우, 상기 어느 디스플레이(920)를 목적지 디스플레이로 설정하고, 상기 어느 디스플레이의 일 방향(왼쪽)과 반대되는 방향(오른쪽)에 존재하는 상기 다른 디스플레이(930)를 소스 디스플레이로 설정할 수 있다.
이에 따라, 도 15의 (b) 및 (c)에 도시된 것과 같이, 프로세서(830)는, 어느 디스플레이(920)에 기 설정된 입력이 일 방향(왼쪽)으로 가해졌을 때, 상기 어느 디스플레이(920)를 기준으로 상기 일 방향에 다른 디스플레이가 미존재하면, 상기 일 방향과 반대되는 디스플레이(930)에 출력중인 화면 정보(C)를 상기 어느 디스플레이(920)에 출력할 수 있다.
이는, 상기 어느 디스플레이가 다른 디스플레이의 화면(C)을 당겨와서 공유하는 동작으로 이해될 수 있다.
이후, 상기 어느 디스플레이 및 다른 디스플레이에 상기 일 방향과 반대되는 방향(오른쪽)으로 기 설정된 입력이 수신되면, 상기 공유 기능을 해제하고, 상기 어느 디스플레이(920)의 화면을 원래 화면(B)으로 복원할 수 있다.
도 16의 경우, 앞서 설명한 것과 같이, 프로세서(830)는, 상기 기 설정된 입력이 일 방향으로 어느 디스플레이에 가해졌을 때, 상기 어느 디스플레이의 일 방향에 다른 디스플레이가 존재하는 경우, 상기 다른 디스플레이의 화면을 전환할 수 있다.
예를 들어, 도 16의 (b) 및 (c)에 도시된 것과 같이, 기 설정된 입력이 일 방향(예를 들어, 왼쪽 방향)으로 어느 디스플레이(930)에 가해졌을 때, 상기 어느 디스플레이(930)의 일 방향(예를 들어, 왼쪽 방향)에 다른 디스플레이(920)가 존재하는 경우, 상기 다른 디스플레이를 목적지 디스플레이로 설정하고, 상기 어느 디스플레이를 소스 디스플레이로 설정하며, 상기 다른 디스플레이의 화면을 상기 어느 디스플레이의 화면(C)으로 전환할 수 있다.
이후, 프로세서(830)는, 상기 어느 디스플레이(930) 또는 다른 디스플레이(920)에 상기 일 방향과 반대되는 방향(예를 들어, 오른쪽 방향)으로 기 설정된 입력이 가해지면, 공유 기능을 해제하고, 다른 디스플레이(920)의 화면을 원래 화면(B)으로 복원(전환)할 수 있다.
앞서 설명한 도 13 및 도 14의 경우에도, 기 설정된 입력이 가해진 방향 및 상기 기 설정된 입력이 가해진 디스플레이의 위치에 근거하여, 화면 전환하는 디스플레이를 결정하는 내용은 동일/유사하게 유추적용될 수 있다.
한편, 앞서 설명한 내용은, 앞 뒤 디스플레이 간에도 동일/유사하게 유추적용될 수 있다.
도 17의 (b)에 도시된 것과 같이, 프로세서(830)는, 어느 디스플레이(910)에 기 설정된 입력이 일 방향(예를 들어 후면)으로 가해지면, 상기 일 방향에 위치한 다른 디스플레이(920)에 상기 어느 디스플레이(910)에 출력중인 화면 정보(A)를 출력할 수 있다.
이는, 어느 디스플레이(910)에 출력중인 화면 정보를, 기 설정된 입력이 가해진 방향에 존재하는 다른 디스플레이(920)에 공유하는 것으로 이해될 수 있다.
이후, 도 17의 (d) 및 (e)에 도시된 것과 같이, 프로세서(830)는, 상기 일 방향과 반대되는 방향으로 기 설정된 입력이 어느 디스플레이(910) 또는 다른 디스플레이(920)(소스 디스플레이 또는 목적지 디스플레이)에 가해지면, 상기 다른 디스플레이(920)에 공유중인 화면을 원래 화면(B)으로 전환할 수 있다.
도시되진 않았지면, 프로세서(830)는, 어느 디스플레이(910)에 기 설정된 입력이 일 방향(예를 들어, 후면 방향)으로 기 설정된 입력이 가해지고, 상기 어느 디스플레이을 기준으로 상기 일 방향에 복수의 디스플레이(920, 930)가 존재하는 경우, 상기 복수의 디스플레이(920, 930) 모두를 상기 어느 디스플레이(910)에 출력중인 화면 정보(A)로 전환할 수도 있다.
이 경우, 도 17에 도시된 기 설정된 입력과는 다른 종류의 입력(예를 들어, 도 17의 경우, 한 손가락인 반면, 해당 실시 예에서는, 두 손가락의 드래그 터치)이 가해지는 경우, 프로세서(830)는 복수의 디스플레이를 모두 어느 디스플레이에 출력중인 화면으로 전환(공유)할 수도 있다.
또한, 도 18의 (b) 및 (c)에 도시된 것과 같이, 프로세서(830)는, 어느 디스플레이(920)에 일 방향(예를 들어, 후면 방향)의 기 설정된 입력이 가해지고, 상기 어느 디스플레이(920)를 기준으로 일 방향에 다른 디스플레이가 미존재하는 경우, 상기 일 방향에 반대되는 방향(전면)에 위치한 다른 디스플레이(910)로부터 화면을 공유받아, 상기 다른 디스플레이(910)에 출력중인 화면 정보(A)를 상기 어느 디스플레이(920)에 출력할 수 있다.
이후, 프로세서(830)는, 화면이 공유중인 상태에서, 상기 어느 디스플레이(920) 또는 다른 디스플레이(910)에 상기 일 방향과 반대되는 방향으로 기 설정된 입력이 수신되면, 상기 어느 디스플레이(920)에 출력중인 화면을 원래 화면(B)으로 복원할 수 있다.
도 19의 경우에도, 도 18의 내용을 동일/유사하게 유추적용할 수 있다.
또한, 도 19의 (b) 및 (c)에 도시된 것과 같이, 프로세서(830)는, 어느 디스플레이(930)에 일 방향(예를 들어, 후면 방향)의 기 설정된 입력이 가해지고, 상기 어느 디스플레이(930)를 기준으로 일 방향에 다른 디스플레이가 미존재하는 경우, 상기 일 방향에 반대되는 방향(전면)에 위치한 다른 디스플레이(910)로부터 화면을 공유받아, 상기 다른 디스플레이(910)에 출력중인 화면 정보(A)를 상기 어느 디스플레이(930)에 출력할 수 있다.
만일, 상기 다른 디스플레이(910)의 우측면과, 상기 어느 디스플레이(930)의 전면에 별도의 디스플레이(미도시)가 존재하는 경우, 프로세서(830)는, 상기 별도의 디스플레이(미도시)의 출력 화면을, 상기 어느 디스플레이(930)에 공유하여 출력할 수도 있다.
반면, 상기 기 설정된 입력이 가해진 디스플레이를 기준으로 상기 기 설정된 입력이 가해진 방향에 다른 디스플레이가 없는 경우, 상기 어느 디스플레이(930)는, 반대 방향에 존재하는 다른 디스플레이(910)의 화면을 공유받을 수 있다.
한편, 프로세서(830)는, 도 20의 (b) 및 (c)에 도시된 것과 같이, 기 설정된 입력이 가해진 방향(전면)의 반대 방향(후면)에 적어도 두 개 이상의 디스플레이가 존재하는 경우, 상기 기 설정된 입력이 가해진 디스플레이(910)에, 상기 적어도 두 개 이상의 디스플레이(920, 930)에 출력중인 화면 정보(B, C)를 출력할 수 있다.
이 경우, 도 20의 (c)에 도시된 것과 같이, 상기 적어도 두 개 이상의 디스플레이에 출력중인 화면정보(B,C)는, 상기 기 설정된 입력이 가해진 디스플레이(910)에 출력중인 화면 정보(A)에 중첩되어 출력될 수 있다.
반면, 도 20의 (d)에 도시된 것과 같이, 프로세서(830)는, 상기 어느 디스플레이(910) 또는 상기 적어도 두 개 이상의 디스플레이에 상기 일 방향과 반대되는 방향(예를 들어, 후면)으로 기 설정된 입력이 가해지면, 공유 기능을 해제하고, 상기 어느 디스플레이에 출력중인 상기 적어도 두 개 이상의 디스플레이에 출력중인 화면 정보(B, C)가 사라지도록 상기 어느 디스플레이(910)를 제어할 수 있다.
한편 본 발명의 디스플레이 제어 장치는, 차량에 구비된 복수의 카메라와 통신을 수행할 수 있으며, 상기 카메라를 통해 수신되는 영상을 디스플레이에 최적화된 방법으로 출력할 수 있다.
본 발명의 디스플레이 제어 장치에 구비도니 인터페이스부(810)(또는 통신부)는, 차량에 구비된 복수의 카메라(Camera A, B, C, D)로부터 영상을 수신하도록 형성될 수 있다.
프로세서(830)는, 차량에 구비된 디스플레이에 기 설정된 입력(예를 들어, 방향성을 가지는 스와이프, 드래그, 플리크 입력)이 가해지는 방향에 근거하여, 서로 다른 카메라로부터 영상을 수신하여 기 설정된 입력이 가해진 디스플레이에 출력할 수 있다.
도 21을 참조하면, 프로세서(830)는, 도 21의 (a)에 도시된 것과 같이, 디스플레이에 제1 방향(오른쪽)의 기 설정된 입력이 가해지면, 도 21의 (b)에 도시된 것과 같이, 상기 복수의 카메라 중 상기 제1 방향에 반대되는 위치(왼쪽)에 설치된 제1 카메라(Camera B)로부터 영상(2200b)을 수신하여 상기 디스플레이에 출력할 수 있다.
프로세서(830)는, 도 22의 (a)에 도시된 것과 같이, 상기 디스플레이에 상기 제1 방향(오른쪽)과 다른 제2 방향(왼쪽)의 기 설정된 입력이 가해지면, 도 22의 (c)에 도시된 것과 같이, 상기 복수의 카메라 중 상기 제2 방향(왼쪽)에 반대되는 위치(오른쪽)에 설치된 제2 카메라(Camera C)로부터 영상(2200c)을 수신하여 상기 디스플레이에 출력할 수 있다.
제1 방향의 반대되는 위치는, 제1 방향에 반대되는 방향을 가리치는 위치를 의미할 수 있다. 또한, 제1 방향에 반대되는 위치는, 제1 방향에 대응되는 위치로 표현될 수도 있으며, 제1 방향에 대응되는 위치는, 일 예로, 제1 방향에 오른쪽이면, 차량을 기준으로 왼쪽을 의미할 수 있다.
제2 방향의 반대되는 위치는, 제2 방향에 반대되는 방향을 가리치는 위치를 의미할 수 있다. 또한, 제2 방향에 반대되는 위치는, 제2 방향에 대응되는 위치로 표현될 수도 있으며, 제2 방향에 대응되는 위치는, 일 예로, 제2 방향에 왼쪽이면, 차량을 기준으로 오른쪽을 의미할 수 있다.
프로세서(830)는, 도 21의 (c)에 도시된 것과 같이, 카메라를 통해 수신되는 영상(2200b)이 디스플레이에 출력중인 상태에서, 상기 제1 방향(오른쪽)과 반대되는 방향(왼쪽)으로 기 설정된 입력이 가해지면, 도 21의 (d)에 도시된 것과 같이, 카메라(Camera B)로부터 영상 전송을 중단하고, 원래 출력중이던 화면 정보(2100)를 디스플레이에 출력할 수 있다.
마찬가지로, 프로세서(830)는, 도 22의 (c)에 도시된 것과 같이, 카메라를 통해 수신되는 영상(2200c)이 디스플레이에 출력중인 상태에서, 상기 제2 방향(왼쪽)과 반대되는 방향(오른쪽)으로 기 설정된 입력이 가해지면, 도 22의 (d)에 도시된 것과 같이, 카메라(Camera C)로부터 영상 전송을 중단하고, 원래 출력중이던 화면 정보(2100)를 디스플레이에 출력할 수 있다.
한편, 프로세서(830)는, 제1 종류의 기 설정된 입력이 수신되면, 도 21 및 도 22의 (a) 및 (b)에 도시된 것과 같이, 디스플레이 출력중인 화면(2100)을 카메라에 전송된 영상으로 전환할 수 있다.
반면, 프로세서(830)는, 상기 제1 종류와 다른 제2 종류의 기 설정된 입력이 수신되면, 도 22의 (b)에 도시된 것과 같이, 디스플레이의 일부 영역에 카메라에서 전송된 영상(2200b)을 중첩하여 출력할 수 있다.
이 때, 프로세서(830)는, 도시되진 않았지만, 제2 종류의 기 설정된 입력에 가해진 방향에 근거하여, 카메라에서 전송된 영상이 출력되는 디스플레이의 일부 영역을 다르게 설정(결정)할 수 있다.
예를 들어, 프로세서(830)는, 제2 종류의 기 설정된 입력이 가해진 방향이 제1 방향(예를 들어 오른쪽)이면, 상기 디스플레이의 상기 제1 방향에 반대되는 방향(예를 들어 왼쪽편)에 존재하는 일부 영역에 상기 제1 방향에 반대되는 위치에 존재하는 카메라(camera B)로부터 수신되는 영상(2200b)을 출력할 수 있다.
다른 예로, 프로세서(830)는, 제2 종류의 기 설정된 입력이 가해진 방향이 상기 제1 방향과 다른 제2 방향(예를 들어 왼쪽)이면, 상기 디스플레이의 상기 제2 방향과 반대되는 방향(예를 들어, 오른 편)에 존재하는 일부 영역에 상기 제2 방향에 반대되는 위치에 존재하는 카메라(Camera C)로부터 수신되는 영상(2200c)을 출력할 수 있다.
반면, 프로세서(830)는, 제1 및 제2 종류와 다른 제3 종류의 기 설정된 입력이 수신되면, 도 24에 도시된 것과 같이, 디스플레이에 출력중이던 화면(2100)을 축소하고, 카메라에서 전송된 영상(2200b)에 축소된 화면(2100)을 중첩하여 출력할 수 있다.
이 때, 프로세서(830)는, 제3 종류의 기 설정된 입력이 가해진 방향에 근거하여, 축소된 화면을 서로 다른 위치에 출력시킬 수 있다. 또한, 프로세서(830)는, 제3 종류의 기 설정된 입력이 가해진 방향에 근거하여, 서로 다른 카메라로부터 다른 영상을 수신할 수 있다.
예를 들어, 도 24에 도시된 것과 같이, 제3 종류의 기 설정된 입력이 가해진 방향이 제1 방향(예를 들어, 오른쪽)인 경우, 상기 제1 방향과 반대되는 위치에 존재하는 카메라(Camera B)로부터 제1 영상(2200b)을 수신하여 디스플레이부에 출력하고, 기 출력중이던 화면(2100)을 디스플레이에서 상기 제1 방향과 반대되는 위치(왼쪽편)에 축소하여 출력할 수 있다.
예를 들어, 도 25에 도시된 것과 같이, 제3 종류의 기 설정된 입력이 가해진 방향이 제2 방향(예를 들어, 왼쪽)인 경우, 상기 제2 방향과 반대되는 위치에 존재하는 카메라(Camera C)로부터 제2 영상(2200C)을 수신하여 디스플레이부에 출력하고, 기 출력중이던 화면(2100)을 디스플레이에서 상기 제1 방향과 반대되는 위치(오른편)에 축소하여 출력할 수 있다.
본 발명의 실시예에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.
첫째, 본 발명은 차량에 구비된 복수의 디스플레이를 최적화된 방법으로 제어할 수 있는 사용자 인터페이스를 제공할 수 있다.
둘째, 본 발명은 차량에 구비된 복수의 디스플레이 사이에 화면 공유/미러링을 직관적으로 수행할 수 있는 최적화된 UI/UX를 제공할 수 있다.
셋째, 본 발명은 복수의 디스플레이 사이에 OS가 달라도 이들 사이에 화면 공유가 수월하기 이루어지도록 호환성이 향상된 새로운 디스플레이 시스템을 제공할 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
이상에서 설명한 디스플레이 제어 장치(800)는, 차량(100)에 포함될 수 있다.
또한, 위에서 설명한 디스플레이 제어 장치(800)의 동작 또는 제어방법은, 차량(100)(또는 제어부(170))의 동작 또는 제어방법으로 동일/유사하게 유추적용될 수 있다.
보다 구체적인 실시 예는, 앞서 설명한 내용으로 갈음하거나, 동일/유사하게 유추적용될 수 있다.
위와 같은 각 단계는, 디스플레이 제어 장치(800)뿐만 아니라, 차량(100)에 구비된 제어부(170)에 의해 수행될 수 있다.
또한, 위에서 살펴본 차량제어장치(800)가 수행하는 모든 기능, 구성 또는 제어방법들은, 차량(100)에 구비된 제어부(170)에 의해 수행될 수 있다. 즉, 본 명세서에서 설명하는 모든 제어방법은, 차량의 제어방법에 적용될 수도 있고, 제어 장치의 제어방법에 적용될 수도 있다.
나아가, 위에서 살펴본 디스플레이 제어 장치(800)는 이동 단말기일 수 있다. 이 경우, 상기 디스플레이 제어 장치(800)가 수행하는 모든 기능, 구성 또는 제어방법들은, 이동 단말기의 제어부에 의해 수행될 수 있다. 또한, 본 명세서에서 설명하는 모든 제어방법들은, 이동 단말기의 제어방법에 동일/유사하게 유추적용될 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 프로세서 또는 제어부를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (20)

  1. 차량에 구비된 디스플레이와 데이터 통신을 수행하는 인터페이스부; 및
    상기 인터페이스부를 통해 상기 차량에 구비된 디스플레이를 제어하는 프로세서를 포함하고,
    상기 프로세서는,
    상기 차량에 구비된 복수의 디스플레이 중 적어도 하나의 디스플레이에 가해지는 기 설정된 입력에 대한 정보를 수신하고,
    상기 기 설정된 입력에 응답하여, 상기 기 설정된 입력에 대응되는 동작이 수행되도록 상기 복수의 디스플레이를 제어하는 것을 특징으로 하는 디스플레이 제어 장치.
  2. 제 1 항에 있어서,
    상기 프로세서는,
    상기 복수의 디스플레이가 구비된 위치 정보에 근거하여, 상기 기 설정된 입력에 대응되는 동작을 수행하는 것을 특징으로 하는 디스플레이 제어 장치.
  3. 제 2 항에 있어서,
    상기 기 설정된 입력은, 일 지점에서 시작하여 어느 일 방향으로 가해진 후 다른 지점에서 해제되는 입력을 포함하고,
    상기 프로세서는,
    상기 복수의 디스플레이의 위치, 상기 기 설정된 입력이 가해진 디스플레이 및 상기 기 설정된 입력이 가해진 상기 어느 일 방향 중 적어도 하나에 근거하여, 상기 기 설정된 입력에 대응되는 동작을 수행하도록 상기 복수의 디스플레이를 제어하는 것을 특징으로 하는 디스플레이 제어 장치.
  4. 제 1 항에 있어서,
    상기 프로세서는,
    상기 기 설정된 입력이 상기 적어도 하나의 디스플레이에 가해지면, 상기 복수의 디스플레이의 위치 정보에 근거하여, 상기 기 설정된 입력이 가해진 방향에 위치한 다른 디스플레이의 화면을 전환하는 것을 특징으로 하는 디스플레이 제어 장치.
  5. 제 4 항에 있어서,
    상기 프로세서는,
    상기 복수의 디스플레이 중 제1 디스플레이에는 제1 화면 정보가 출력중이고, 상기 제1 디스플레이와 다른 제2 디스플레이에는 제2 화면 정보가 출력중인 상태에서,
    상기 제1 디스플레이에 제1 방향으로 가해지는 스와이프 입력이 수신되는 것에 근거하여, 상기 제1 디스플레이를 기준으로 상기 제1 방향에 위치한 제2 디스플레이에, 상기 제1 디스플레이에 출력중인 제1 화면 정보를 출력하도록 상기 제2 디스플레이를 제어하는 것을 특징으로 하는 디스플레이 제어 장치.
  6. 제 5 항에 있어서,
    상기 제1 디스플레이 및 상기 제2 디스플레이에는, 상기 스와이프 입력이 수신되는 것에 근거하여, 실질적으로 동일한 화면이 출력되는 것을 특징으로 하는 디스플레이 제어 장치.
  7. 제 5 항에 있어서,
    상기 프로세서는,
    상기 제1 디스플레이 또는 상기 제2 디스플레이에 상기 제1 방향과 반대되는 제2 방향으로 가해지는 스와이프 입력이 수신되면, 상기 제2 디스플레이에 출력중인 제1 화면 정보를 상기 제2 화면 정보로 복원하는 것을 특징으로 하는 디스플레이 제어 장치.
  8. 제 1 항에 있어서,
    상기 프로세서는,
    상기 기 설정된 입력이 상기 적어도 하나의 디스플레이에 가해지면, 상기 복수의 디스플레이의 위치 정보에 근거하여, 상기 기 설정된 입력이 가해진 방향의 반대 방향에 위치한 다른 디스플레이의 화면을 전환하는 것을 특징으로 하는 디스플레이 제어 장치.
  9. 제 8 항에 있어서,
    상기 프로세서는,
    상기 복수의 디스플레이 중 제1 디스플레이에는 제1 화면 정보가 출력중이고, 상기 제1 디스플레이의 제1 방향에 위치한 다른 제2 디스플레이에는 제2 화면 정보가 출력중인 상태에서,
    상기 제1 디스플레이에 상기 제1 방향과 반대되는 제2 방향으로 스와이프 입력이 수신되는 것에 근거하여, 상기 제2 디스플레이에 출력중인 상기 제2 화면 정보가 상기 제1 디스플레이에 출력되도록 상기 제1 디스플레이를 제어하는 것을 특징으로 하는 디스플레이 제어 장치.
  10. 제 9 항에 있어서,
    상기 프로세서는,
    상기 제1 디스플레이 또는 상기 제2 디스플레이에 상기 제2 방향과 반대되는 제1 방향으로 가해지는 스와이프 입력이 수신되면, 상기 제1 디스플레이에 출력중인 상기 제2 화면 정보를 상기 제1 화면 정보로 복원하는 것을 특징으로 하는 디스플레이 제어 장치.
  11. 제 1 항에 있어서,
    상기 프로세서는,
    상기 기 설정된 입력이 가해진 방향 및 상기 기 설정된 입력이 가해진 디스플레이의 위치에 근거하여, 화면 전환하는 디스플레이를 결정하는 것을 특징으로 하는 디스플레이 제어 장치.
  12. 제 11 항에 있어서,
    상기 프로세서는,
    상기 기 설정된 입력이 일 방향으로 어느 디스플레이에 가해졌을 때, 상기 어느 디스플레이의 일 방향에 다른 디스플레이가 존재하는 경우, 상기 다른 디스플레이의 화면을 전환하는 것을 특징으로 하는 디스플레이 제어 장치.
  13. 제 11 항에 있어서,
    상기 프로세서는,
    상기 기 설정된 입력이 일 방향으로 어느 디스플레이에 가해졌을 때, 상기 어느 디스플레이의 일 방향에 다른 디스플레이가 미존재하는 경우, 상기 어느 디스플레이의 화면을 전환하는 것을 특징으로 하는 디스플레이 제어 장치.
  14. 제 1 항에 있어서,
    상기 프로세서는,
    상기 기 설정된 입력이 가해진 방향의 반대 방향에 적어도 두 개 이상의 디스플레이가 존재하는 경우, 상기 기 설정된 입력이 가해진 디스플레이에, 상기 적어도 두 개 이상의 디스플레이에 출력중인 화면 정보를 출력하는 것을 특징으로 하는 디스플레이 제어 장치.
  15. 제 14 항에 있어서,
    상기 적어도 두 개 이상의 디스플레이에 출력중인 화면 정보는, 상기 기 설정된 입력이 가해진 디스플레이에 출력중인 화면 정보에 중첩되어 출력되는 것을 특징으로 하는 디스플레이 제어 장치.
  16. 제 1 항에 있어서,
    상기 인터페이스부는, 차량에 구비된 복수의 카메라로부터 영상을 수신하도록 형성되고,
    상기 프로세서는,
    상기 차량에 구비된 디스플레이에 상기 기 설정된 입력이 가해지는 방향에 근거하여, 서로 다른 카메라로부터 영상을 수신하여 상기 기 설정된 입력이 가해진 디스플레이에 출력하는 것을 특징으로 하는 디스플레이 제어 장치.
  17. 제 16 항에 있어서,
    상기 프로세서는,
    상기 디스플레이에 제1 방향의 기 설정된 입력이 가해지면, 상기 복수의 카메라 중 상기 제1 방향에 반대되는 위치에 설치된 제1 카메라로부터 영상을 수신하여 상기 디스플레이에 출력하고,
    상기 디스플레이에 상기 제1 방향과 다른 제2 방향의 기 설정된 입력이 가해지면, 상기 복수의 카메라 중 상기 제2 방향에 반대되는 위치에 설치된 제2 카메라로부터 영상을 수신하여 상기 디스플레이에 출력하는 것을 특징으로 하는 디스플레이 제어 장치.
  18. 제 16 항에 있어서,
    상기 프로세서는,
    제1 종류의 기 설정된 입력이 수신되면, 상기 디스플레이에 출력중인 화면을 카메라에서 전송된 영상으로 전환하고,
    상기 제1 종류와 다른 제2 종류의 기 설정된 입력이 수신되면, 상기 디스플레이의 일부 영역에, 카메라에서 전송된 영상을 중첩하여 출력하는 것을 특징으로 하는 디스플레이 제어 장치.
  19. 제 18 항에 있어서,
    상기 프로세서는,
    상기 제1 및 제2 종류와 다른 제3 종류의 기 설정된 입력이 수신되면, 상기 디스플레이에 출력중이던 화면을 축소하고, 카메라에서 전송된 영상에 축소된 화면을 중첩하여 출력하는 것을 특징으로 하는 디스플레이 제어 장치.
  20. 제 19 항에 있어서,
    상기 프로세서는,
    상기 제3 종류의 기 설정된 입력이 가해진 방향에 근거하여, 상기 축소된 화면을 서로 다른 위치에 출력시키는 것을 특징으로 하는 디스플레이 제어 장치.
PCT/KR2021/003473 2020-03-23 2021-03-22 디스플레이 제어 장치 WO2021194177A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/906,341 US20230146403A1 (en) 2020-03-23 2021-03-22 Display control device
KR1020227024218A KR20220156805A (ko) 2020-03-23 2021-03-22 디스플레이 제어 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202062993618P 2020-03-23 2020-03-23
US62/993,618 2020-03-23

Publications (1)

Publication Number Publication Date
WO2021194177A1 true WO2021194177A1 (ko) 2021-09-30

Family

ID=77892395

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/003473 WO2021194177A1 (ko) 2020-03-23 2021-03-22 디스플레이 제어 장치

Country Status (3)

Country Link
US (1) US20230146403A1 (ko)
KR (1) KR20220156805A (ko)
WO (1) WO2021194177A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150072074A (ko) * 2013-12-19 2015-06-29 현대자동차주식회사 차량 제스처 인식 시스템 및 그 제어 방법
KR20160140033A (ko) * 2015-05-29 2016-12-07 한국단자공업 주식회사 차량용 투명 디스플레이 장치
KR20170007980A (ko) * 2015-07-13 2017-01-23 엘지전자 주식회사 이동 단말기 및 그 제어방법
US20170166056A1 (en) * 2015-12-11 2017-06-15 Ford Global Technologies, Llc In-vehicle component control user interface
JP2018195134A (ja) * 2017-05-18 2018-12-06 カルソニックカンセイ株式会社 車載用情報処理システム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8984566B2 (en) * 2013-01-07 2015-03-17 Jet Optoelectronics Co., Ltd. Video entertainment system
US9513702B2 (en) * 2013-07-15 2016-12-06 Lg Electronics Inc. Mobile terminal for vehicular display system with gaze detection
JP6507169B2 (ja) * 2014-01-06 2019-04-24 ジョンソン コントロールズ テクノロジー カンパニーＪｏｈｎｓｏｎ Ｃｏｎｔｒｏｌｓ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏｍｐａｎｙ 複数のユーザインターフェース動作ドメインを有する車両
WO2016102376A1 (de) * 2014-12-22 2016-06-30 Volkswagen Ag Fortbewegungsmittel, anwenderschnittstelle und verfahren zur übergreifenden anzeige eines anzeigeinhaltes auf zwei anzeigeeinrichtungen
GB2535544B (en) * 2015-02-23 2018-10-03 Jaguar Land Rover Ltd Display control apparatus and method
KR101977092B1 (ko) * 2017-12-11 2019-08-28 엘지전자 주식회사 차량에 구비된 차량 제어 장치 및 차량의 제어방법
US10894476B2 (en) * 2018-11-06 2021-01-19 Honda Motor Co., Ltd. Display system in a vehicle and a method for control thereof
JP7340940B2 (ja) * 2019-03-07 2023-09-08 本田技研工業株式会社 エージェント装置、エージェント装置の制御方法、およびプログラム
KR20210000466A (ko) * 2019-06-25 2021-01-05 현대모비스 주식회사 차량 내 제스처 입력을 이용한 제어 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150072074A (ko) * 2013-12-19 2015-06-29 현대자동차주식회사 차량 제스처 인식 시스템 및 그 제어 방법
KR20160140033A (ko) * 2015-05-29 2016-12-07 한국단자공업 주식회사 차량용 투명 디스플레이 장치
KR20170007980A (ko) * 2015-07-13 2017-01-23 엘지전자 주식회사 이동 단말기 및 그 제어방법
US20170166056A1 (en) * 2015-12-11 2017-06-15 Ford Global Technologies, Llc In-vehicle component control user interface
JP2018195134A (ja) * 2017-05-18 2018-12-06 カルソニックカンセイ株式会社 車載用情報処理システム

Also Published As

Publication number Publication date
KR20220156805A (ko) 2022-11-28
US20230146403A1 (en) 2023-05-11

Similar Documents

Publication Publication Date Title
WO2017138702A1 (ko) 차량용 사용자 인터페이스 장치 및 차량
WO2019098434A1 (ko) 차량에 구비된 차량 제어 장치 및 차량의 제어방법
WO2018088615A1 (ko) 차량 주행 제어 장치 및 방법
WO2018044098A1 (en) Vehicle user interface apparatus and vehicle
WO2018056536A1 (ko) 계기판 디스플레이 및 그것을 포함하는 차량
WO2018208006A1 (en) User interface apparatus for vehicle and vehicle
WO2018135811A1 (en) User interface apparatus for vehicle and vehicle
WO2019132078A1 (ko) 차량에 구비된 디스플레이 장치
WO2018230768A1 (ko) 차량에 구비된 차량 제어 장치 및 차량의 제어방법
WO2018079919A1 (ko) 자율 주행 차량 및 자율 주행 차량의 동작 방법
WO2018088614A1 (ko) 차량용 사용자 인터페이스 장치 및 차량
WO2018186709A1 (ko) 차량용 헤드 업 디스플레이 장치
WO2022154299A1 (ko) 디지털 사이니지 플랫폼 제공 장치와 동작방법, 및 이를 포함하는 시스템
WO2021045256A1 (ko) 경로 제공 장치 및 그것의 경로 제공 방법
WO2017155199A1 (ko) 차량에 구비된 차량 제어 장치 및 차량의 제어방법
WO2020149427A1 (ko) 경로 제공 장치 및 그것의 경로 제공 방법
WO2019054719A1 (ko) 차량 운전 보조 장치 및 차량
WO2020080566A1 (ko) 전자 제어 장치 및 통신 장치
WO2018093192A1 (ko) 차량용 레이더 장치 및 차량
WO2018097424A1 (ko) 차량용 통신 장치 및 차량
WO2020149431A1 (ko) 경로 제공 장치 및 그것의 제어 방법
WO2021025216A1 (ko) 경로 제공 장치 및 그것의 경로 제공 방법
WO2018236012A1 (ko) 입출력 장치
WO2021141145A1 (ko) 영상 출력 장치 및 그것의 제어 방법
WO2021025214A1 (ko) 경로 제공 장치 및 그것의 경로 제공 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21775420

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21775420

Country of ref document: EP

Kind code of ref document: A1