KR101491169B1 - Device and method for controlling AVN of vehicle - Google Patents

Device and method for controlling AVN of vehicle Download PDF

Info

Publication number
KR101491169B1
KR101491169B1 KR20090039575A KR20090039575A KR101491169B1 KR 101491169 B1 KR101491169 B1 KR 101491169B1 KR 20090039575 A KR20090039575 A KR 20090039575A KR 20090039575 A KR20090039575 A KR 20090039575A KR 101491169 B1 KR101491169 B1 KR 101491169B1
Authority
KR
South Korea
Prior art keywords
driver
finger
line
sight
display
Prior art date
Application number
KR20090039575A
Other languages
Korean (ko)
Other versions
KR20100120767A (en
Inventor
코세이 이시이
Original Assignee
현대자동차일본기술연구소
현대자동차주식회사
기아자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차일본기술연구소, 현대자동차주식회사, 기아자동차주식회사 filed Critical 현대자동차일본기술연구소
Priority to KR20090039575A priority Critical patent/KR101491169B1/en
Publication of KR20100120767A publication Critical patent/KR20100120767A/en
Application granted granted Critical
Publication of KR101491169B1 publication Critical patent/KR101491169B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 차량의 탑재기기 조작 장치 및 그 제어 방법에 관한 것으로서, 더욱 상세하게는 차량의 탑재기기를 조작하는 손가락이 표시부의 전체 화면중 운전자 가 조작을 원하는 메뉴 위치에 합성 표시되도록 함으로써, 표시부의 화면 전체를 손가락이 가리는 현상을 방지하여 표시부에 대한 운전자의 시인성을 향상시킬 수 있도록 한 차량의 탑재기기 조작 장치 및 그 제어 방법에 관한 것이다.The present invention relates to an on-board device operating apparatus and a control method thereof, and more particularly, to a system and method for operating an in-vehicle apparatus, The present invention relates to an on-board device operating apparatus and a control method thereof for preventing a phenomenon in which a finger covers the entire screen, thereby improving the visibility of the driver to the display unit.

이를 위해, 본 발명은 차량용 탑재기기의 정보를 표시하는 표시부와; 손가락을 올려놓는 터치패널 및 손가락 화상을 촬영하는 촬상부로 이루어진 조작부와; 운전자의 시선을 검출하는 시선검출부와; 상기 시선검출부의 신호를 받아서, 운전자의 시선이 표시부의 어느 한 곳에 임계시간 이상 머무른 것으로 판정되면, 상기 표시부의 화면을 복수개로 분할 표시하는 동시에 운전자 시선이 머문 분할화면내에 손가락 화상을 합성 표시하는 표시 제어부; 로 구성된 것을 특징으로 하는 차량의 탑재기기 조작 장치를 제공한다.To this end, the present invention comprises a display unit for displaying information of a vehicle-mounted device; An operation unit including a touch panel for placing a finger and an imaging unit for photographing a finger image; A line of sight detection unit for detecting a line of sight of the driver; A display for displaying a plurality of screens of the display section and for displaying a composite image of a finger image in a split screen on which the driver's line of sight stays, when the driver's line of sight is judged to have stayed at a certain position on the display section for more than the threshold time A control unit; And a control unit for controlling the on-board device of the vehicle.

차량, 탑재기기, 표시부, 조작부, 표시제어부, 분할화면, 손가락 화상 Vehicle, onboard device, display unit, operation unit, display control unit, split screen, finger image

Description

차량의 탑재기기 조작 장치 및 그 제어 방법{Device and method for controlling AVN of vehicle}Technical Field [0001] The present invention relates to a device and a method for controlling an on-

본 발명은 차량의 탑재기기 조작 장치 및 그 제어 방법에 관한 것으로서, 더욱 상세하게는 차량의 탑재기기를 조작하는 손가락이 표시부의 전체 화면중 운전자 가 조작을 원하는 메뉴 위치에 합성 표시되도록 함으로써, 표시부의 화면 전체를 손가락이 가리는 현상을 방지하여 표시부에 대한 운전자의 시인성을 향상시킬 수 있도록 한 차량의 탑재기기 조작 장치 및 그 제어 방법에 관한 것이다.The present invention relates to an on-board device operating apparatus and a control method thereof, and more particularly, to a system and method for operating an in-vehicle apparatus, The present invention relates to an on-board device operating apparatus and a control method thereof for preventing a phenomenon in which a finger covers the entire screen, thereby improving the visibility of the driver to the display unit.

차량의 실내에는 에어컨, 네비게이션, 오디오 등과 같은 탑재기기를 조작할 수 있는 표시부(예를 들어, 터치 스크린) 등이 갖추어져 있으며, 이 표시부에 디스플레이되는 각종 기능을 조작하는 방법은 직접 표시부 표면을 터치하여 조작하거나 조그셔틀과 같은 조작수단을 이용하여 조작하는 방법 등이 있다.The interior of the vehicle is equipped with a display unit (e.g., a touch screen) capable of operating onboard equipment such as an air conditioner, navigation system, audio, etc. In order to operate various functions displayed on the display unit, Or a method of operating by using operation means such as a jog shuttle.

또한, 종래 기술로서 일본특허 공개번호 2007-156950에는 첨부한 도 10에 도시된 바와 같이, 콘솔 부위에 마련된 조작부(20)에 손을 올려 놓은 상태에서 손가 락을 움직여 조작을 실시하게 되는데, 이때 조작중인 손가락을 조작부(20)의 촬상부(22)에서 촬영하는 동시에 그 손가락 화상을 조작 메뉴를 표시하는 표시부(10)에 합성 표시하여 운전자가 상기 표시부(10)에 표시되는 손가락 화상을 보면서 표시부상의 조작 메뉴를 조작할 수 있도록 함으로써, 운전자의 시선 이동이 적고, 조작에 대한 부하를 경감할 수 있는 차량용 표시수단 조작장치가 개시되어 있다.In addition, as a conventional technique, Japanese Patent Application Laid-Open No. 2007-156950 discloses an operation by moving a fingertip while holding a hand on an operating portion 20 provided on a console portion, as shown in Fig. 10 attached. The finger is photographed by the imaging section 22 of the operating section 20 and the finger image is superimposed on the display section 10 for displaying the operation menu so that the driver can see the finger image displayed on the display section 10, Which is capable of operating the operation menu of the vehicle, so that the driver's sight line movement is small and the load on the operation can be reduced.

그러나, 종래의 표시수단 조작장치는 다음과 같은 문제점이 있다.However, the conventional display means operating apparatus has the following problems.

조작부를 조작하고 있는 손가락 화상이 표시부에 합성 표시되지만, 손가락 화상이 표시부의 전체 화면에 걸쳐 합성 표시됨에 따라 오히려 표시부상의 정보 등을 가리게 되어, 정보를 확인하기 위한 운전자 시인성이 떨어지는 문제점이 있다.The finger image in which the operation section is operated is synthesized and displayed on the display section. However, since the finger image is synthesized and displayed over the entire screen of the display section, the information on the display section is covered and the driver's visibility for confirming the information is deteriorated.

예를 들어, 표시부에 네비게이션 지도 화면이 표시되고 있는 상태에서, 표시부(10)에 손가락 화상이 합성 표시되는 범위가 크기 때문에, 첨부한 도 11에 도시된 바와 같이 손가락 화상이 지도 화면을 오히려 가리게 되고, 결국 지도를 보려고 하는 운전자의 시인성이 현저하게 저하되는 문제점이 있다.For example, in a state in which the navigation map screen is displayed on the display unit, since the range in which the finger images are combined and displayed on the display unit 10 is large, the finger image is rather concealed on the map screen The visibility of the driver who tries to view the map is remarkably deteriorated.

또한, 표시부에 표시되는 조작메뉴의 버튼은 대부분 모서리쪽에 모여있기 때문에 표시부에 손가락 화상이 크게 표시되면, 조작메뉴의 버튼을 섬세하게 조작하지 못하여 조작성이 떨어지는 단점이 있고, 그 만큼 조작 시간도 증가하는 단점 또한 있다.In addition, since the buttons of the operation menu displayed on the display unit are mostly gathered on the edge, if the finger image is displayed on the display unit in a large size, the buttons of the operation menu can not be operated finely and the operability is deteriorated. There are also disadvantages.

또한, 실제 손가락 크기에 비하여, 표시부에 손가락 화상이 더 크게 확대 표시됨에 따라, 표시부에 표시되는 손가락 화상의 리얼(Real)감 및 감성 품질이 떨어지는 단점이 있다.In addition, as the finger image is enlarged and displayed on the display unit larger than the actual finger size, there is a disadvantage that the real feeling and the sensibility of the finger image displayed on the display unit deteriorate.

본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 안출한 것으로서, 운전자의 시선이 표시부를 향하는 것으로 감지됨과 함께 표시부의 표시 영역을 복수개로 분할 표시하고, 분할된 영역들중 운전자 시선이 집중되는 분할 영역에 조작부에 올려져 촬영된 손가락 화상이 합성 표시되도록 함으로써, 손가락 화상이 표시부의 전체 화면을 가리지 않아 표시부의 표시 정보를 볼 수 있는 운전자의 시인성을 향상시킬 수 있고, 운전자가 조작하고자 하는 메뉴항목 위치에 맞추어 손가락 화상이 표시되어 조작성을 향상시킬 수 있도록 한 차량의 탑재기기 조작 장치 및 그 제어 방법을 제공하는데 그 목적이 있다.SUMMARY OF THE INVENTION The present invention has been made in order to solve the above-mentioned problems, and it is an object of the present invention to provide an image display apparatus, The user can visually recognize the display information of the display portion. Therefore, it is possible to improve the visibility of the menu items to be operated by the driver And an object of the present invention is to provide an on-board device operation device and a control method thereof that can improve the operability by displaying a finger image in accordance with the position.

상기한 목적을 달성하기 위한 본 발명의 일 구현예는 차량용 탑재기기의 정보를 표시하는 표시부와; 손가락을 올려놓는 터치패널 및 손가락 화상을 촬영하는 촬상부로 이루어진 조작부와; 운전자의 시선을 검출하는 시선검출부와; 상기 시선검출부의 신호를 받아서, 운전자의 시선이 표시부의 어느 한 곳에 임계시간 이상 머무른 것으로 판정되면, 상기 표시부의 화면을 복수개로 분할 표시하는 동시에 운전자 시선이 머문 분할화면내에 손가락 화상을 합성 표시하는 표시 제어부; 로 구성된 것을 특징으로 하는 차량의 탑재기기 조작 장치를 제공한다.According to an aspect of the present invention, there is provided an information processing apparatus comprising: a display unit for displaying information on a vehicle-mounted device; An operation unit including a touch panel for placing a finger and an imaging unit for photographing a finger image; A line of sight detection unit for detecting a line of sight of the driver; A display for displaying a plurality of screens of the display section and for displaying a composite image of a finger image in a split screen on which the driver's line of sight stays, when the driver's line of sight is judged to have stayed at a certain position on the display section for more than the threshold time A control unit; And a control unit for controlling the on-board device of the vehicle.

상기한 목적을 달성하기 위한 본 발명의 다른 구현예는 조작부의 터치패널에 올려진 손가락을 촬영하는 제1단계와; 상기 터치패널에 올려진 손가락이 운전자의 손가락인지를 판정하는 제2단계와; 운전자의 시선을 검출하되, 운전자의 시선이 표시부내의 분할될 영역중 어느 곳을 일정시간 이상 주시하고 있는지를 판정하는 제3단계와; 상기 표시부의 전체화면을 복수개로 분할 표시하되, 표시부내의 분할영역들중 운전자 시선이 집중된 하나의 분할영역내에 촬영된 손가락 화상을 합성 표시하는 제4단계; 로 진행되는 것을 특징으로 하는 차량의 탑재기기 조작 장치 제어 방법을 제공한다.According to another aspect of the present invention, there is provided a touch panel including: a first step of photographing a finger placed on a touch panel of an operation unit; A second step of determining whether the finger placed on the touch panel is a driver's finger; A third step of detecting a line of sight of the driver, and determining which of the areas to be divided in the display unit is being watched for a predetermined period of time or longer; A fourth step of dividing the entire screen of the display unit into a plurality of display areas, and synthesizing and displaying the finger images photographed in one divided area in which the driver's line of sight is concentrated among the divided areas within the display unit; The control method of the on-board device operating device of the vehicle.

바람직하게는, 상기 제2단계에서, 촬상된 손가락의 길이나 굵기를 미리 촬영되어 저장된 운전자의 손가락과 비교하여, 운전자의 손가락이 맞는지를 판정하는 것을 특징으로 한다.Preferably, in the second step, the length or thickness of the picked-up finger is compared with the finger of the driver, which is photographed and stored in advance, to determine whether the finger of the driver is right.

더욱 바람직하게는, 상기 제2단계에서, 조작부에 설치되는 다이얼식 변환 스위치를 시선 검출이 가능한 운전자 사용 위치로 돌리거나, 시선이 검출되지 않는 동승객의 사용 위치로 돌려서 운전자의 손가락이 맞는지를 판정하는 것을 특징으로 한다.More preferably, in the second step, the dial-type change-over switch provided on the operating portion is turned to the driver's use position capable of detecting the sight, or rotated to the use position of the passenger whose sight line is not detected, .

또한, 운전자의 시선이 일정시간 머무르게 되는 표시부내의 시선 검출영역은 표시부의 분할영역 크기보다 작게 설정되는 것을 특징으로 한다.Further, the visual line detection area in the display unit in which the driver ' s line of sight stays for a certain period of time is set to be smaller than the size of the divided area of the display unit.

또한, 상기 표시부의 화면은 GUI(Graphic User Interface)를 이용하여 조작 가능한 영역과 조작 불가능 영역으로 분리 설정되는 것을 특징으로 한다.In addition, the screen of the display unit is divided into an operable area and an inoperable area using a GUI (Graphic User Interface).

상기한 과제 해결 수단을 통하여, 본 발명은 다음과 같은 효과를 제공한다.Through the above-mentioned means for solving the problems, the present invention provides the following effects.

본 발명에 따르면, 조작부에서 촬영되어 표시부에 합성 표시되는 손가락 화상이 표시부의 전체화면에 합성 표시되지 않고, 운전자 시선 위치에 따라 분할되는 표시부의 분할화면에만 합성 표시되도록 함으로써, 손가락 화상이 표시부의 전체 화면을 가리지 않아 표시부의 표시 정보를 용이하게 볼 수 있는 운전자의 시인성 향상을 도모할 수 있다.According to the present invention, a finger image photographed at the operation unit and synthesized and displayed on the display unit is synthesized not only on the entire screen of the display unit but also on the divided screen of the display unit divided according to the driver's sight line position, It is possible to improve the visibility of the driver who can easily see the display information of the display portion because the screen is not covered.

또한, 운전자가 조작하고자 하는 메뉴항목 위치에 맞추어 손가락 화상이 표시되므로, 해당 메뉴버튼을 간편하게 조작하면서도 그 조작시간을 단축할 수 있고, 조작에 의한 운전 부하 경감을 기대할 수 있다.In addition, since the finger image is displayed in accordance with the position of the menu item to be operated by the driver, the operation time can be shortened while the corresponding menu button is easily operated, and the operation load can be reduced by the operation.

이하, 본 발명의 바람직한 실시예를 첨부도면을 참조로 상세하게 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

첨부한 도 1은 본 발명에 따른 차량의 탑재기기 조작 장치를 나타내는 개략도이고, 도 2는 본 발명에 따른 차량의 탑재기기 조작 장치의 구성을 나타내는 블럭도이다.FIG. 1 is a schematic view showing an on-board device operating apparatus of a vehicle according to the present invention, and FIG. 2 is a block diagram showing a configuration of a on-board device operating apparatus of a vehicle according to the present invention.

도 1에 도시된 바와 같이, 표시부(10)가 센터 페시아 패널쪽에 설치되고, 조작부(20)가 콘솔쪽에 설치되며, 운전자의 시선을 검출하는 시선검출부(30)가 조향을 위한 스티어링 휠 또는 컬럼에 설치된다.1, the display unit 10 is installed on the side of the center fascia panel, the operation unit 20 is installed on the console side, and the line of sight detection unit 30 for detecting the driver's line of sight is provided on the steering wheel or column Respectively.

상기 조작부(20)는 손가락을 올려 놓을 수 있는 터치패널(24)과, 이 터치패널(24)의 아래쪽에 배치되어 손가락을 촬영하는 촬상부(22)로 구성되며, 이때 상기 촬상부(22)에는 여러가지 환경에서도 손가락을 확실히 촬영하기 위해 별도의 IR조명이 설치된다.The operation unit 20 includes a touch panel 24 on which a finger can be placed and an imaging unit 22 disposed below the touch panel 24 to photograph a finger. Is equipped with a separate IR light to clearly capture fingers in various environments.

또는, 상기 조작부(20)는 첨부한 도 10과 같이, 손가락을 넣을 수 있는 움푹 파인 곳내에 터치패널(24)을 설치하고, 그 대향면에 촬상부(22)가 배치되며, 터치패널(24)과 촬상부(22) 사이에 투명판(26)을 개입시킨 형태의 것도 적용 가능하다.Alternatively, as shown in Fig. 10, the operation unit 20 may be provided with a touch panel 24 in a recessed place where fingers can be inserted, an imaging unit 22 disposed on the opposed surface thereof, and a touch panel 24 ) And the image sensing unit 22 may be interposed between the transparent plate 26 and the image sensing unit 22.

상기 조작부(20)의 터치패널(24)을 조작자의 손가락으로 누를 때, 손가락으로 눌려지는 터치패널(24)의 좌표 정보가 표시제어부(40)에 전송되고, 상기 촬상부(22)에서 촬영된 화상정보도 화상제어부(60)로 전송된다.The coordinate information of the touch panel 24 pressed by the finger is transmitted to the display control section 40 when the operator touches the touch panel 24 of the operation section 20 with the finger of the operator, The image information is also transferred to the image control unit 60. [

이때, 상기 촬상부(22)에서 촬영된 화상에는 손가락 이외에 실내 배경(차량의 실내 천정면, 변속기어 레버 등) 등이 함께 촬영되기 때문에 상기 화상제어부(60)에서 손가락만을 추출하는 화상 처리를 실시하게 된다.At this time, since an indoor background (an indoor ceiling surface of a vehicle, a transmission gear lever, etc.) other than a finger is photographed together with the image photographed by the image pickup section 22, image processing for extracting only fingers is performed in the image control section 60 .

한편, 상기 시선검출부(30)는 운전자의 시선을 검출하기 쉬운 스티어링 휠 또는 칼럼 등에 설치되며, 운전자의 졸음 감지 시스템 또는 곁눈질 감지 시스템에 사용되는 센서 또는 카메라를 활용할 수 있다.On the other hand, the visual-line detecting unit 30 may be a sensor or a camera, which is installed on a steering wheel or a column, which is easy to detect the driver's gaze,

또한, 상기 표시제어부(40)는 차량의 탑재기기(에어컨, 네비게이션, 오디오 등)에 대한 제어와, 운전자 시선 판정 제어와, 손가락 화상을 중첩시키는 제어 등을 하게 된다.In addition, the display control unit 40 controls the on-board device (air conditioner, navigation, audio, etc.) of the vehicle, the driver's visual line determination control, and the control to superimpose the finger images.

따라서, 상기 표시제어부(40)에 손가락으로 눌려지는 터치패널(24)의 좌표 정보와, 추출된 손가락 화상과, 시선검출부에서 검출된 운전자의 시선 정보가 입력되면, 손가락 화상과 탑재기기 조작화면(예를 들어, 네비게이션 지도 화면)을 합성하여 표시부(10)에 합성 표시 명령을 내리게 된다.Therefore, when coordinate information of the touch panel 24 pressed by the finger on the display control unit 40, the extracted finger image, and the sight line information of the driver detected by the line-of-sight detecting unit are inputted, For example, a navigation map screen), and issues a composite display command to the display unit 10.

또한, 상기 표시제어부(40)는 시선검출부(30)로부터의 운전자의 시선 정보를 기반으로, 표시부(10)의 전체 화면을 복수개로 분할 표시하고, 상기 조작부로부터 보내지는 터치패널(24)의 좌표 신호를 계산하여 표시부(10)내에 합성표시되는 손가락 화상의 조작 움직임을 제어하게 된다.The display control unit 40 divides the entire screen of the display unit 10 into a plurality of screens and displays the coordinates of the touch panel 24 sent from the operation unit on the basis of the sight line information of the driver from the sight line detecting unit 30. [ And controls the manipulated movement of the finger image synthesized and displayed in the display unit 10.

보다 상세하게는, 상기 표시제어부(40)의 합성 표시 명령후, 상기 표시부(10)는 차량 탑재기기(에어컨, 네비게이션, 오디오 등)의 메뉴 및 해당정보를 표시하는 동시에 운전자의 시선 정보에 따라 표시영역을 복수개의 영역으로 분할 표시하며, 이때 조작부(20)의 촬상부(22)에서 촬영된 손가락 화상을 분할된 표시영역에 합성 표시한다.More specifically, after the composite display command of the display control unit 40, the display unit 10 displays menus and corresponding information of the vehicle-mounted device (air conditioner, navigation, audio, etc.) And the finger image photographed by the imaging section 22 of the operation section 20 is synthesized and displayed on the divided display area.

즉, 상기 시선검출부(30)에 검출된 운전자 시선 정보가 표시부내의 복수개로 분할된 표시영역중 하나에 시선이 주시되는 것을 검출되면, 첨부한 도 4에 도시된 바와 같이 운전자 시선이 집중되는 표시영역내에 손가락 화상이 합성 표시된다.That is, when it is detected that the driver's sight line information detected by the visual-line detecting unit 30 is directed to one of the display regions divided into a plurality of display regions within the display unit, A finger image is displayed in a synthesized manner in the area.

이렇게 상기 표시부(10)의 전체 면적중 운전자의 시선이 집중되는 표시영역에만 손가락 화상이 합성 표시됨에 따라, 손가락 화상이 표시부의 전체 화면을 가리지 않아 표시부의 표시 정보(예를 들어, 네비게이션의 지도 정보)를 볼 수 있는 운전자의 시인성을 향상시킬 수 있고, 또한 운전자 시선이 집중되는 표시영역내에 운전자가 조작하고자 하는 메뉴 버튼들이 손가락 화상과 함께 존재하게 되므로, 메 뉴 버튼을 신속하면서도 명확하게 조작할 수 있다.As the finger images are synthesized and displayed only in the display area where the driver's line of sight is concentrated in the entire area of the display unit 10, the finger image does not cover the entire screen of the display unit and the display information of the display unit (for example, And the menu buttons desired to be operated by the driver are present together with the finger image in the display area where the driver's line of sight is concentrated. Therefore, the user can quickly and clearly operate the menu button have.

여기서, 상기한 구성으로 이루어진 본 발명의 차량의 탑재기기 조작 장치에 대한 제어 방법을 보다 상세하게 설명하면 다음과 같다.Hereinafter, the control method for the on-board device operating apparatus of the present invention having the above-described configuration will be described in more detail.

첨부한 도 3은 본 발명의 차량의 탑재기기 조작 장치에 대한 제어 방법을 설명하는 순서도이다.Fig. 3 is a flow chart for explaining a control method for the on-board device operating apparatus of the present invention.

먼저, 조작부(20)의 터치패널(24)에 올려진 손가락이 촬영되고 있는지를 판정하고, 터치패널상에 올려진 것이 손가락이 아닌 경우에는 손가락 합성 표시 과정을 진행하지 않는다(Step1).First, it is determined whether or not a finger placed on the touch panel 24 of the operation unit 20 is being photographed. If the finger is not on the touch panel, the finger combination display process is not performed (Step 1).

다음으로, 조작부(20)의 터치패널(24)에 올려진 손가락이 운전자의 손가락인지를 판정하며(Step2), 이 판정 제어는 표시제어부(40)에서 실시하게 되며, 촬상된 손가락의 길이나 굵기 등의 특징을 미리 촬영되어 입력된 손가락의 특징과 비교하여 판별하는 손가락 외관 검사법을 통해 진행할 수 있다.Next, it is judged whether or not the finger put on the touch panel 24 of the operation unit 20 is the driver's finger (Step 2). The judgment control is performed by the display control unit 40, and the length and the thickness And the like are compared with the features of the input finger to determine the characteristics of the input finger.

또는 첨부한 도 9에 도시된 바와 같이 조작부(20)에 손을 두었을 때 엄지의 위치에 배열되는 다이얼식 변환 스위치(50)의 조작으로 운전자인지 아닌지를 판정하는 방법도 사용 가능하다.Or a method of determining whether or not the driver is the driver by operating the dial type conversion switch 50 arranged at the position of the thumb when the user touches the operating portion 20 as shown in Fig.

즉, 상기 다이얼식 변환 스위치(50)를 시선 검출이 가능한 운전자 사용 위치로 돌리거나, 시선이 검출되지 않는 동승객의 사용 위치로 돌려 놓아서, 운전자인지 아닌지를 판정할 수 있다.That is, it is possible to determine whether the driver is the driver by turning the dial-type change-over switch 50 to the driver-use position enabling the sight line detection, or returning the driver to the use position of the passenger who does not detect the sight line.

다음으로, 운전자의 시선을 검출한다(Step3).Next, the driver's gaze is detected (Step 3).

운전자의 시선이 표시부내의 분할될 영역중 어느 곳을 주시하고 있는지를 판 정하되, 이때 운전자의 시선이 표시부(10)의 분할될 영역중 한 곳을 일정시간 머물고 있으면 주시한 것으로 판정한다(Step4).It is determined that the driver's line of sight is looking at one of the areas to be divided in the display section. If the driver's line of sight stays at one of the areas to be divided in the display section 10 for a predetermined period of time, .

보다 상세하게는, 운전자의 시선 검출 영역에 대한 주시 판정 흐름을 나타내는 도 7의 순서도에서 보듯이, 시선의 주시 판정 조건으로서 표시부의 시선 검출영역내에 시선의 진입이 검출되면, 시선이 일점에 정류되는 시간(T1)을 판정하여 시간(T1) 이상이면 손가락 화상을 시선 검출영역내에 합성 표시한다.More specifically, as shown in the flowchart of FIG. 7 showing the flow of the viewing determination for the driver's sight line detection area, when the entry of the line of sight into the sight line detection area of the display unit is detected as the viewing determination condition of the line of sight, If the time T1 is determined, the finger image is synthesized and displayed in the visual line detection area.

반면, 시선이 일점에 머물지 않는 경우에는 시선 검출영역내에 시선이 정류되는 시간의 총합(T2)을 판정하여, 총합(T2) 이상이면 손가락 화상을 시선 검출영역내에 합성 표시한다.On the other hand, if the sight line does not stay at a certain point, the total sum (T2) of the time during which the line of sight is rectified in the line-of-sight detection area is determined.

이때, 시선이 정류되는 시간의 총합(T2)은 시선 검출영역내에 시선이 침입하고 있는 총시간을 말하며, T1＜T2이 되도록 설정된다.At this time, the total time (T2) of the time at which the visual line is rectified is the total time during which the eye enters the visual line detection area, and is set so that T1 < T2.

이렇게, 시선을 검출한 영역, 즉 표시부(10)내의 분할영역들중 시선이 집중되는 하나의 분할영역내에 손가락 화상이 중첩 표시된다(Step5).In this way, the finger image is superimposed and displayed in one divided area in which the line of sight is concentrated among the divided areas in the area where the line of sight is detected, that is, the display area 10 (Step 5).

따라서, 상기 표시부(10)의 표시영역이 첨부한 도 5에서 보는 바와 같이, 제1내지 제4분할영역 즉, 제1내지 제4조작영역으로 분할되면서 운전자의 시선이 집중되는 분할영역내에 손가락 화상이 표시되면, 조작부의 터치패널상의 손가락을 움직여서 해당 분할영역내의 메뉴 버튼 등의 조작을 신속하면서 정확하게 실시할 수 있다.5, the display area of the display unit 10 is divided into the first to fourth divided areas, that is, the first to fourth operation areas, The operation of a menu button or the like in the corresponding divided area can be performed quickly and accurately by moving a finger on the touch panel of the operation unit.

특히, 첨부한 도 6에 도시된 바와 같이 상기 표시부(10)의 각 분할영역(메뉴버튼을 조작할 수 있는 조작영역이기도 함)의 경계선 부근을 따라 시선이 옴겨가는 경우 손가락 화상이 운전지 의지와 관계없이 다른 분할영역으로 전환되는 것을 방지하기 위하여, 시선 검출영역을 분할영역의 크기보다 작게 설정하는 것이 바람직하고, 시선 검출영역으로부터 시선이 빗나가도 다른 시선 검출영역에 시선의 주시가 검출되지 않는 한 손가락 화상은 다른 분할영역으로 전환 표시되지 않는다.6, when a line of sight is drawn along the boundary line of each of the divided areas (also the operation area in which the menu button can be operated) of the display unit 10 as shown in Fig. 6, It is preferable to set the visual line detection area to be smaller than the size of the divided area in order to prevent switching to another divided area irrespective of whether the visual line is deviated from the visual line detection area The finger image is not switched to another divided area.

계속해서, 조작부(20)의 터치패널(24)로부터 손이 떨어지지 않고 손가락이 계속 촬영되면(Step6), 상기한 단계3(Step3) 내지 단계6(Step6)을 반복적으로 진행하게 된다.Subsequently, when the finger is continuously photographed without the hands being dropped from the touch panel 24 of the operation unit 20 (Step 6), the above-mentioned Step 3 (Step 3) to Step 6 (Step 6) are repeatedly performed.

상기한 단계2(Step2)에서, 조작자가 운전자가 아닌 동승객으로 판정되면, 손가락 화상이 표시부(10)의 초기 위치에 표시되고(Step7), 표시부의 초기 위치는 표시부(10)내에 분할된 영역의 어느쪽이든으로 임의로 설정할 수 있으며(Step8), 이때 운전자의 시선 검출은 실시하지 않고 동승객은 수동 조작을 통해 탑재기기를 조작할 수 있다.The finger image is displayed at the initial position of the display unit 10 (Step 7), and the initial position of the display unit is displayed in the divided area in the display unit 10 (Step 8). At this time, the passenger can operate the on-board device by manual operation without performing the sight detection of the driver.

또한, 첨부한 도 5에 도시된 바와 같이, 운전자가 오조작없이 조작을 실시할 수 있는 조작부(20)의 분해능을 6×6의 영역으로 설정하고, 표시부(10)를 4개의 분할영역으로 분할되는 것으로 정할 경우, 6×6×4의 분해능으로 조작을 실시할 수 있고, 이에 표시부상의 조작 메뉴 버튼의 사이즈를 소형화시키는 동시에 한 화면내에 조작 메뉴 버튼수를 늘릴 수 있다.5, the resolving power of the operating unit 20, which allows the driver to perform an operation without erroneous operation, is set to a 6 x 6 area, and the display unit 10 is divided into four divided areas The operation can be performed with a resolution of 6 x 6 x 4 so that the size of the operation menu button on the display can be reduced and the number of operation menu buttons can be increased within one screen.

한편, 다른 실시예로서 첨부한 도 8에 도시된 바와 같이 상기 표시부(10)의 화면을 GUI(Graphic User Interface)를 이용하여 조작 가능한 영역과 조작 불가능 영역으로 분리 설계하여, 조작 불가능 영역에 시선이 주시되는 것으로 검출되어도, 손가락 화상의 표시 및 조작 영역의 이동을 실시하지 않도록 함으로써, 불필요한 손가락 화상의 합성 표시를 막아서 조작 화면의 정보를 잘 볼 수 있는 시인성을 한층 더 향상시킬 수 있다.In another embodiment, as shown in FIG. 8, the screen of the display unit 10 may be divided into an operable area and a non-operable area by using a GUI (Graphic User Interface) The display of the finger image and the movement of the operation area are not performed, thereby preventing the unnecessary display of the finger images, thereby making it possible to further enhance the visibility of viewing the information on the operation screen.

도 1은 본 발명에 따른 차량의 탑재기기 조작 장치를 나타내는 개략도, BRIEF DESCRIPTION OF THE DRAWINGS Fig. 1 is a schematic view showing an on-board device operating apparatus of a vehicle according to the present invention,

도 2는 본 발명에 따른 차량의 탑재기기 조작 장치의 구성을 나타내는 블럭도,2 is a block diagram showing a configuration of an on-board device operating apparatus of a vehicle according to the present invention,

도 3은 본 발명에 따른 차량의 탑재기기 조작 장치의 제어 방법을 설명하는 순서도,3 is a flow chart for explaining a control method of an on-board device operating apparatus of a vehicle according to the present invention,

도 4는 본 발명에 따른 차량의 탑재기기 조작 장치에 의거, 표시부가 분할 표시되고, 분할된 영역내에 손가락 화상이 합성되는 것을 보여주는 개략도,Fig. 4 is a schematic view showing that the display unit is dividedly displayed based on the on-board device operating device of the present invention, and a finger image is synthesized in the divided area; Fig.

도 5는 본 발명에 따른 차량의 탑재기기 조작 장치의 조작부 및 표시부의 분해능을 설명하는 개략도,Fig. 5 is a schematic view for explaining the resolving power of the operating portion and the display portion of the on-board device operating device of the vehicle according to the present invention,

도 6은 본 발명에 따른 차량의 탑재기기 조작 장치의 표시부에 대한 시선검출영역과 분할영역 크기를 비교한 개략도,FIG. 6 is a schematic view comparing a line-of-sight detection area and a size of a divided area with respect to a display unit of the on-board device operating device of a vehicle according to the present invention,

도 7은 본 발명에 따른 차량의 탑재기기 조작 장치의 표시부에 운전자 시선이 집중되는 시간을 고려한 손가락 합성 판정 결과를 설명하는 순서도,Fig. 7 is a flowchart for explaining a finger combination determination result in consideration of the time during which the driver's line of sight converges on the display unit of the on-board device operating device of the present invention,

도 8은 본 발명에 따른 차량의 탑재기기 조작 장치의 표시부를 비조작영역과 조작가능영역을 분할하는 것을 설명하는 개략도,8 is a schematic view for explaining the division of the display unit of the on-board device operating device of the vehicle according to the present invention between the non-operating area and the operable area,

도 9는 본 발명에 따른 차량의 탑재기기 조작 장치에 채택 가능한 조작부를 설명하는 개략도,Fig. 9 is a schematic view for explaining an operating portion that can be adopted in the on-board device operating device of the present invention,

도 10 및 도 11은 종래의 탑재기기 조작장치 및 그 단점을 설명하는 개략도.Fig. 10 and Fig. 11 are schematic views for explaining a conventional on-board device operating apparatus and its drawbacks; Fig.

<도면의 주요 부분에 대한 부호의 설명>Description of the Related Art

10 : 표시부 20 : 조작부10: display section 20:

22 : 촬상부 24 : 터치패널22: imaging section 24: touch panel

30 : 시선검출부 40 : 표시제어부30: line of sight detection unit 40:

50 : 다이얼식 변환 스위치50: Dial type conversion switch

Claims (6)

차량용 탑재기기의 정보를 표시하는 표시부와;A display unit for displaying information of a vehicle-mounted device; 손가락을 올려놓는 터치패널 및 손가락 화상을 촬영하는 촬상부로 이루어진 조작부와;An operation unit including a touch panel for placing a finger and an imaging unit for photographing a finger image; 운전자의 시선을 검출하는 시선검출부와;A line of sight detection unit for detecting a line of sight of the driver; 상기 시선검출부의 신호를 받아서, 운전자의 시선이 표시부의 어느 한 곳에 임계시간 이상 머무른 것으로 판정되면, 상기 표시부의 화면을 복수개로 분할 표시하는 동시에 운전자 시선이 머문 분할화면내에 손가락 화상을 합성 표시하는 표시 제어부;A display for displaying a plurality of screens of the display unit and for displaying a composite image of a finger image in a divided screen in which the driver's line of sight stays on when it is determined that the driver's line of sight stays longer than a predetermined time on the display unit A control unit; 로 구성된 것을 특징으로 하는 차량의 탑재기기 조작 장치.And a control unit for controlling the on-vehicle device. 조작부의 터치패널에 올려진 손가락을 촬영하는 단계와;Photographing a finger placed on a touch panel of an operation unit; 상기 터치패널에 올려진 손가락이 운전자의 손가락인지를 판정하는 단계와;Determining whether the finger placed on the touch panel is the driver's finger; 운전자의 시선을 검출하되, 운전자의 시선이 표시부내의 분할될 영역중 어느 곳을 일정시간 이상 주시하고 있는지를 판정하는 단계와;The method comprising the steps of: detecting a line of sight of a driver, the line of sight of the driver being monitored for a certain period of time in the area to be divided in the display; 상기 표시부의 전체화면을 복수개로 분할 표시하되, 표시부내의 분할영역들중 운전자 시선이 집중된 하나의 분할영역내에 촬영된 손가락 화상을 합성 표시하는 단계;Synthesizing and displaying a finger image photographed in one divided region in which the driver's gaze is concentrated among the divided regions within the display unit by dividing the entire screen of the display unit; 로 진행되는 것을 특징으로 하는 차량의 탑재기기 조작 장치 제어 방법.To the vehicle-mounted-device-operating-device control device. 청구항 2에 있어서, 상기 터치패널에 올려진 손가락이 운전자의 손가락인지를 판정하는 단계에 있어서, 상기 조작부에서 촬상된 손가락의 길이나 굵기를 미리 촬영되어 저장된 운전자의 손가락과 비교하여, 운전자의 손가락이 맞는지를 판정하는 것을 특징으로 하는 차량의 탑재기기 조작 장치 제어 방법.The method according to claim 2, wherein, in the step of determining whether the finger placed on the touch panel is the driver's finger, the length or thickness of the finger picked up by the operation unit is compared with the finger of the driver, Whether or not the vehicle is on the road. 청구항 2에 있어서, 상기 터치패널에 올려진 손가락이 운전자의 손가락인지를 판정하는 단계에 있어서, 상기 조작부에 설치되는 다이얼식 변환 스위치를 시선 검출이 가능한 운전자 사용 위치로 돌리거나, 시선이 검출되지 않는 동승객의 사용 위치로 돌려서 운전자의 손가락이 맞는지를 판정하는 것을 특징으로 하는 차량의 탑재기기 조작 장치 제어 방법.The method according to claim 2, wherein, in the step of determining whether the finger placed on the touch panel is a finger of the driver, the dial type change switch provided on the operation unit is turned to a driver use position capable of detecting the line of sight, And when it is determined that the finger of the driver is in the wrong position, the driver is turned to the use position of the passenger. 청구항 2에 있어서, The method of claim 2, 운전자의 시선이 일정시간 머무르게 되는 표시부내의 시선 검출영역은 표시부의 분할영역 크기보다 작게 설정되는 것을 특징으로 하는 차량의 탑재기기 조작 장치 제어 방법.Wherein the visual line detection area in the display unit where the driver &apos; s line of sight stays for a predetermined time is set to be smaller than the size of the divided area of the display unit. 청구항 2에 있어서,The method of claim 2, 상기 표시부의 화면은 GUI(Graphic User Interface)를 이용하여 조작 가능한 영역과 조작 불가능 영역으로 분리 설정되는 것을 특징으로 하는 차량의 탑재기기 조작 장치 제어 방법.Wherein the screen of the display unit is divided into an operable area and a non-operable area by using a GUI (Graphic User Interface).
KR20090039575A 2009-05-07 2009-05-07 Device and method for controlling AVN of vehicle KR101491169B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20090039575A KR101491169B1 (en) 2009-05-07 2009-05-07 Device and method for controlling AVN of vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20090039575A KR101491169B1 (en) 2009-05-07 2009-05-07 Device and method for controlling AVN of vehicle

Publications (2)

Publication Number Publication Date
KR20100120767A KR20100120767A (en) 2010-11-17
KR101491169B1 true KR101491169B1 (en) 2015-02-06

Family

ID=43406209

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20090039575A KR101491169B1 (en) 2009-05-07 2009-05-07 Device and method for controlling AVN of vehicle

Country Status (1)

Country Link
KR (1) KR101491169B1 (en)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101241729B1 (en) 2010-11-23 2013-03-11 현대자동차주식회사 A system providing handling interface for a handling apparatus
KR101280568B1 (en) * 2011-04-06 2013-07-02 주식회사 마린디지텍 Remote maneuvering apparatus for propelling and controlling a ship
JP5413448B2 (en) * 2011-12-23 2014-02-12 株式会社デンソー Display system, display device, and operation device
US20130234959A1 (en) 2012-03-06 2013-09-12 Industry-University Cooperation Foundation Hanyang University System and method for linking and controlling terminals
KR101519290B1 (en) * 2014-04-09 2015-05-11 현대자동차주식회사 Method for Controlling HUD for Vehicle
KR101677648B1 (en) * 2014-12-22 2016-11-18 엘지전자 주식회사 Vehicle control apparatus and method thereof
KR20160089619A (en) 2015-01-20 2016-07-28 현대자동차주식회사 Input apparatus and vehicle comprising the same
JP7192570B2 (en) * 2019-02-27 2022-12-20 株式会社Ｊｖｃケンウッド Recording/playback device, recording/playback method and program

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007030754A (en) 2005-07-28 2007-02-08 Aisin Seiki Co Ltd On-vehicle display control device
JP2007237986A (en) 2006-03-09 2007-09-20 Toyota Motor Corp Vehicular input device
JP2008210359A (en) 2007-01-30 2008-09-11 Toyota Motor Corp Operation device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007030754A (en) 2005-07-28 2007-02-08 Aisin Seiki Co Ltd On-vehicle display control device
JP2007237986A (en) 2006-03-09 2007-09-20 Toyota Motor Corp Vehicular input device
JP2008210359A (en) 2007-01-30 2008-09-11 Toyota Motor Corp Operation device

Also Published As

Publication number Publication date
KR20100120767A (en) 2010-11-17

Similar Documents

Publication Publication Date Title
KR101491169B1 (en) Device and method for controlling AVN of vehicle
KR101071777B1 (en) Handling device for vehicle
US9489500B2 (en) Manipulation apparatus
US20150367859A1 (en) Input device for a motor vehicle
US20110063425A1 (en) Vehicle Operator Control Input Assistance
JP5029470B2 (en) Prompter type operation device
JP2010184600A (en) Onboard gesture switch device
US9446712B2 (en) Motor vehicle comprising an electronic rear-view mirror
CN107852481B (en) Image display control device
JP5382313B2 (en) Vehicle operation input device
US20180239441A1 (en) Operation system
JP4670914B2 (en) Vehicle control device
JP2009129251A (en) Operation input apparatus
JP2009116586A (en) Touch-type operational inputting device
JP2006264615A (en) Display device for vehicle
JP5201480B2 (en) Vehicle control device
WO2014103217A1 (en) Operation device and operation detection method
JP4753752B2 (en) In-vehicle electronic device and menu providing method
KR20170105093A (en) Positioning of non-vehicle objects in the vehicle
JP4850995B2 (en) Touch operation input device
JP2018103646A (en) Vehicular information display device and vehicular information display program
JP6265839B2 (en) INPUT DISPLAY DEVICE, ELECTRONIC DEVICE, ICON DISPLAY METHOD, AND DISPLAY PROGRAM
KR101470027B1 (en) Operating apparatus for a vehicle
WO2014087604A1 (en) Operation device and operation teaching method for operation device
JP2019079097A (en) Gesture input apparatus

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180130

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190130

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20191219

Year of fee payment: 6