KR101339005B1 - 차량용 모니터 장치 및 이의 제어 방법 - Google Patents
차량용 모니터 장치 및 이의 제어 방법 Download PDFInfo
- Publication number
- KR101339005B1 KR101339005B1 KR1020120145137A KR20120145137A KR101339005B1 KR 101339005 B1 KR101339005 B1 KR 101339005B1 KR 1020120145137 A KR1020120145137 A KR 1020120145137A KR 20120145137 A KR20120145137 A KR 20120145137A KR 101339005 B1 KR101339005 B1 KR 101339005B1
- Authority
- KR
- South Korea
- Prior art keywords
- unit
- input
- signal
- communication
- vehicle
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/14—Handling requests for interconnection or transfer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 차량용 모니터 장치 및 이의 제어 방법에 관한 것으로, 화면을 표시하고, 사용자의 입력을 제공받는 터치 디스플레이부와, 차량에 장착된 기기와 통신하고 제어하는 입출력 제어보드부와, 차량 내부 기기와 통신하고 제어하는 트립 제어부와, 상기 트립 제어부 및 입출력 제어 보드부와 통신하는 기기 중 적어도 하나의 기기의 입력을 선택하는 입력 선택부와, 상기 입력 선택부에 의해 선택된 입력 신호를 분석하고, 이를 터치 디스플레이부에 영상을 표시할 수 있도록 영상 신호로 변환하고, 터치 디스플레이부의 사용자 터치에 의한 입력 신호를 해당 기기의 제어 신호로 변환하는 신호 변환부 및 상기 각 부의 동작을 제어하고, 차량의 상태에 따라 터치 디스플레이부로 제공되는 각 기기의 제어 화면을 제어하는 제어부를 포함하는 차량용 모니터 장치 및 이의 제어 방법을 제공한다.
Description
본 발명은 차량용 모니터 장치 및 이의 제어 방법에 관한 것으로, 차량의 내부 디지털 기기는 물론 외부 전자 기기와의 통신 및 영상을 통한 제어를 통해 해당 기기를 간편하게 제어 및 구동 조작할 수 있는 차량용 모니터 장치 및 이의 제어 방법에 관한 것이다.
최근들어, 차량 내부의 전자 기기가 다양해짐으로 인해 이들을 제어하는 방법 또한 매우 다양하다. 이와 같은, 전자 기기는 독립된 모듈 형태로 제작되어 각각의 기능을 수행한다.
종래의 전자 기기는 차량의 안전 운행 지원, 내부 및 외부의 위험 감지 그리고 차량 내부 장치의 오류 검출등과 같은 다양한 작업을 실시하기 때문에 조작 및 제어 방식이 상이하고 복잡한 단점이 있다. 이로인해 운전자가 모든 전자 기기를 직접 제어하는 것이 힘든 문제가 있었다.
본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로서, 차량 내부 외부의 다양한 전자 기기와 영상 통신이 가능하고, 터치 타입의 입력을 통해 쉽고 간편하게 제어할 수 있는 차량용 모니터 장치 및 이의 제어 방법을 제공한다.
본 발명에 따른 화면을 표시하고, 사용자의 입력을 제공받는 터치 디스플레이부와, 차량에 장착된 기기와 통신하고 제어하는 입출력 제어보드부와, 차량 내부 기기와 통신하고 제어하는 트립 제어부와, 상기 트립 제어부 및 입출력 제어 보드부와 통신하는 기기 중 적어도 하나의 기기의 입력을 선택하는 입력 선택부와, 상기 입력 선택부에 의해 선택된 입력 신호를 분석하고, 이를 터치 디스플레이부에 영상을 표시할 수 있도록 영상 신호로 변환하고, 터치 디스플레이부의 사용자 터치에 의한 입력 신호를 해당 기기의 제어 신호로 변환하는 신호 변환부 및 상기 각 부의 동작을 제어하고, 차량의 상태에 따라 터치 디스플레이부로 제공되는 각 기기의 제어 화면을 제어하는 제어부를 포함하는 차량용 모니터 장치를 제공한다.
상기 입출력 제어보드부는 CVBS 통신을 수행하는 전자기기와의 접속하는 CVBS 통신부와, 외부 스마트폰과의 HML/HDMI 통신을 수행하기 위한 MHL/HDMI 통신부와, RGB 케이블을 통해 영상 정보를 제공하는 기기와의 통신을 담당하는 RGB 통신부와, DVI 케이블을 통해 영상 정보를 제공하는 기기와 통신하는 DVI 통신부와, 전자 기기와의 오디오 통신을 담당하는 오디오 통신부와, 외부 무선 통신기기의 무선 통신에 대응하는 무선 통신부와, 상기 각 통신부에 연결된 전자 기기에 전원을 공급하는 전원 인가부를 포함하는 것을 특징으로 한다.
상기 CVBS 통신부는 차량에 장착된 카메라(전방 및 후방 카메라 포함)와 통신하는 제 1 CVBS 통신부와, AVM 시스템과 통신을 수행하는 제 2 CVBS 통신부를 포함하는 것을 특징으로 한다.
상기 트립 제어부는 차량점검을 위한 내부 시스템 및 센서와 점검 장치들과 통신을 수행하는 OBD 통신부와, 캔통신을 통해 진단기의 각종 센서의 입력 및 액츄에이터의 출력값을 제공 받는 K-Line 통신부와, 외부 칩셋과의 통신을 수행하는 GPIO 통신부와, 차량에 장착된 네비게이션과 통신을 위한 것으로, 네비게이션으로 부터 수집된 정보를 제공받고, 네비게이션 제어를 위한 신호를 제공하는 네비게이션 통신부와, 상기 터치 디스플레이부에 의해 터치된 좌표값을 제공받는 터치 신호 통신부와, 외부 메모리(SD 카드 포함)와 접속되어 해당 메모리에 정보를 저장하거나, 메모리에 저장된 정보를 읽어드리는 외장 메모리 통신부와, 차량 내부에 장착된 트립 컴퓨터와의 통신을 수행하는 트립 통신부 및 차량 진단을 위한 USB 통신을 수행하는 진단 USB 통신부를 포함하는 것을 특징으로 한다.
상기 입력 선택부는 상기 트립 제어부 및 입출력 제어 보드부를 통해 입력된 전자 기기의 입력 신호 중 적어도 하나의 신호를 선택하여 전송하는 것으로, 스위치 또는 먹스가 사용되는 것을 특징으로 한다.
상기 신호 변환부는 상기 입출력 제어 보드부 및 트립 제어부를 통해 입력된 신호를 영상 이미지 형태로 변환하고, 이를 터치 디스플레이부에 제공하여 사용자가 이미지 형태로 해당 신호를 확인할 수 있도록 하되, 상기 입출력 제어 보드부 및 트립 제어부를 통해 제공된 영상 신호들을 상기 터치 디스플레이부에 표시할 수 있는 형태의 영상으로 변환하는 영상 포맷 변환부와, 입력 신호에 대응하는 이미지 테이블을 포함하고, 상기 입출력 제어 보드부 및 트립 제어부를 통해 입력되는 신호가 상기 제어부에 의해 분석된 결과를 해당 이미지 테이블에 추가 또는 변경하여 상기 터치 디스플레이부를 통해 영상화된 정보로 사용자에게 제공하는 텍스트 변환부 및 스마트 폰과의 외부 기기의 영상 정보 및 기타 제어 정보를 상기 터치 디스플레이부에 미러링하는 미러링부를 포함하는 것을 특징으로 한다.
상기 제어부는 상기 입출력 제어 보드부 및 트립 제어부를 통해 제공된 신호를 분석하고, 분석된 신호 결과에 따라 해당 신호의 유효 여부를 판단하고, 이에 따라 유효 범위를 벗어 나는 경우에는 별도의 알림 및 제한 신호를 생성하는 것을 특징으로 한다.
상기 제어부는 상기 터치 디스플레이부의 표시 구간을 2개 이상의 구간으로 분리하고, 이 구간마다 각기 다른 입력 신호에 해당하는 이미지를 표시하는 것을 특징으로 한다.
또한, 본 발명에 따른 차량의 내외부 전자 기기와 접속된 차량용 모니터 장치의 제어 방법에 있어서, 모니터 장치에 연결된 기기를 선택하기 위한 초기 선택 화면이 표시되는 단계와, 화면 선택을 통해 연결된 기기 중 적어도 하나의 기기가 선택되는 단계와, 선택된 해당 기기로부터 제공된 정보를 이미지 형태의 영상으로 화면에 표시하는 단계와, 상기 화면을 터치하는 경우, 해당 터치 좌표의 정보와 영상 또는 이미지 정보를 비교하여 터치 좌표 영역에 기기 제어를 위한 정보가 있는지 파악하는 단계 및 제어 정보가 있는 경우, 해당 제어 신호를 선택된 기기에 제공하는 단계를 포함하는 것을 특징으로 하는 차량용 모니터 장치의 제어 방법을 제공한다.
상기 선택된 해당 기기로부터 제공된 정보를 이미지 형태의 영상으로 화면에 표시하는 단계는, 상기 제공된 정보가 동영상 관련 정보인 경우, 해당 동영상과, 동영상을 촬영한 기기 정보와, 해당 기기의 동작을 제어할 수 있는 제어 정보가 함께 터치 디스플레이부에 표시되고, 제공된 정보가 동영상 이외의 정보일 경우에는 현 화면에 보이는 이미지에 해당하는 기기에 대한 설명 정보와, 해당 기기의 현재 상태 정보와, 해당 기기의 동작을 제어하기 위한 정보 및 기기의 정상 동작 유무 정보가 표시되는 것을 특징으로 한다.
이와 같이 하여 본 발명은 트립 제어부와 입출력 제어보드부를 통해 취득한 정보와 연동된 다양한 디지털 기기간 통신 및 영상이미지를 일반적 터치 타입 모니터를 통해 표출 할 수 있다. 또한, 연동된 기기(스마트 폰, 패드 그밖의 정보기기)에서 보여지는 모니터상의 화면을 터치를 통해 쉽고 간편하게 제어, 구동, 조작이 가능할 수 있다.
도 1은 본 발명의 일 실시예에 따른 차량용 모니터 장치의 블록도.
도 2는 일 실시예에 따른 입출력 제어보드부의 블록도.
도 3은 일 실시예에 따른 트립 제어부의 블록도.
도 4는 일 실시예에 따른 신호 변환부의 블록도.
도 5 내지 도 7은 일 실시예에 따른 차량용 모니터 장치의 제어 및 동작을 설명하기 위한 도면.
도 8은 본 발명의 일 실시예에 따른 차량용 모니터 장치의 제어 방법을 설명하기 위한 흐름도.
도 2는 일 실시예에 따른 입출력 제어보드부의 블록도.
도 3은 일 실시예에 따른 트립 제어부의 블록도.
도 4는 일 실시예에 따른 신호 변환부의 블록도.
도 5 내지 도 7은 일 실시예에 따른 차량용 모니터 장치의 제어 및 동작을 설명하기 위한 도면.
도 8은 본 발명의 일 실시예에 따른 차량용 모니터 장치의 제어 방법을 설명하기 위한 흐름도.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 더욱 상세히 설명하기로 한다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 도면상에서 동일 부호는 동일한 요소를 지칭한다.
본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다. 따라서, 본 명세서를 통해 설명되는 각 구성부들의 존재 여부는 기능적으로 해석 되어야 할 것이다. 이러한 이유로 본 발명의 차량용 모니터 장치 및 이의 제어 방법의 구성부들의 구성은 본 발명의 목적을 달성할 수 있는 한도 내에서 상이해질 수 있음을 명확히 밝혀둔다.
도 1은 본 발명의 일 실시예에 따른 차량용 모니터 장치의 블록도이다. 도 2는 일 실시예에 따른 입출력 제어보드부의 블록도이고, 도 3은 일 실시예에 따른 트립 제어부의 블록도이고, 도 4는 일 실시예에 따른 신호 변환부의 블록도이다. 도 5 내지 도 7은 일 실시예에 따른 차량용 모니터 장치의 제어 및 동작을 설명하기 위한 도면이다.
도 1 내지 도 7에 도시된바와 같이 본 실시예에 따른 차량용 모니터 장치는 화면을 표시하고, 사용자의 입력을 제공받는 터치 디스플레이부(100)와, 차량에 장착된 기기와 통신하고 제어하는 입출력 제어보드부(200)와, 차량 내부 기기와 통신하고 제어하는 트립 제어부(300)와, 트립 제어부(300) 및 입출력 제어 보드부(200)와 통신하는 기기 중 적어도 하나의 기기의 입력을 선택하는 입력 선택부(400)와, 상기 트립 제어부(300) 및 입출력 제어보드부(200)를 통해 입력된 입력 신호를 저장하는 신호 저장부(500)와, 상기 입력 선택부(400)에 의해 선택된 입력 신호를 분석하고, 이를 터치 디스플레이부(100)에 영상을 표시할 수 있도록 영상 신호로 변환하고, 터치 디스플레이부(100)의 사용자 터치에 의한 입력 신호를 해당 기기의 제어 신호로 변환하는 신호 변환부(600)와, 상기 각 부의 동작을 제어하고, 차량의 상태에 따라 터치 디스플레이부(100)로 제공되는 각 기기의 제어 화면을 제어하는 제어부(700)를 포함한다.
이와 같은 본 실시예의 스마트 모니터 장치를 통해 차량 내부의 모든 기기의 상태를 영상 이미지로 사용자가 확인할 수 있고, 사용자는 해당 기기의 조작을 위한 명령은 화면의 터치만으로 통해 수행할 수 있게 되어 사용자의 편의성을 향상시키고, 각각의 기기 조작을 위한 별도의 조작판이 필요하지 않게 되는 장점이 있다.
터치 디스플레이부(100)는 영상을 표시하는 영상 표시부(110)와 터치 입력을 제공받는 터치부(120)를 구비한다. 본 실시예에서는 각 터치부(120)의 좌표와 영상 표시부의 영상 좌표가 1:1로 매칭된다. 이를 통해 사용자가 터치하는 영역의 영상 정보에 해당하는 값이 선택될 수 있다.
입출력 제어보드부(200)는 CVBS 통신부(210), MHL/HDMI 통신부(220), RGB 통신부(230), DVI 통신부(240), 오디오 통신부(250), 무선 통신부(260), 전원 인가부(270)를 포함하고, 이를 통해 다양한 통신 방법을 갖는 전자 기기와의 접속이 가능하다.
CVBS 통신부(210)는 CVBS 통신을 수행하는 전자기기와의 접속을 위한 것으로 이에 해당하는 접속 커넥터를 구비한다.
CVBS 통신부(210)를 통해 차량에 장착된 카메라(전방 및 후방 카메라 포함)와의 통신이 가능할 뿐만 아니라 AVM 시스템과의 통신이 가능하다. 이를 통해 차량 외부의 영상 이미지를 확인할 수 있고, 차량 위치 나 상황정보를 사용자 또는 외부에 제공할 수 있다.
본 실시예에서는 카메라와의 통신을 위한 제 1 CVBS 통신부와 AVM 시스템과의 통신을 위한 제 2 CVBS 통신부를 각기 구비하는 것이 가능하다.
MHL/HDMI 통신부(220)는 외부 스마트폰과의 HML/HDMI 통신을 수행하기 위한 것으로 이에 해당하는 접속 커넥터를 구비한다. MHL/HDMI 통신부(220)를 통해 외부 기기인 스마트폰과의 통신이 가능하고, 스마트폰의 영상을 미러링을 통해 터치 디스플레이부에 표시할 수도 있다. 즉, 스마트 기기와 터치디스플레이간의 동기화가 가능하다.
RGB 통신부(230)는 RGB 케이블을 통해 영상 정보를 제공하는 기기와의 통신을 담당한다. RGB 통신부(230)는 DMB 영상이나 Divx 영상을 제공받고, 이와 같은 영상을 제공하는 기기의 제어를 위한 신호를 전송할 수 있다.
DVI 통신부(240)는 DVI 케이블을 통해 영상 정보를 제공하는 기기와의 통신을 담당한다.
오디오 통신부(250)는 전자 기기와의 오디오 통신을 담당한다. 오디오 통신부(250) 또한 별도의 오디오 접속 커넥터를 구비한다. 오디오 통신부(250)를 통해 오디오 신호만을 제공하는 기기와 접속되거나 다른 통신부를 통해 접속된 기기의 오디오 신호를 제공 받을 수 있다.
무선 통신부(260)는 외부 무선 통신기기와의 통신을 담당하는 것으로, 다양한 형태의 무선 통신에 대응할 수 있는 다양한 모듈로 구성되는 것이 효과적이다. 예를 들어, 블루투스, 적외선 통신, RF 통신, 와이파이등의 통신이 가능하다.
전원 인가부(270)는 상기 각 통신부에 연결된 전자 기기에 전원을 공급한다. 이때, 공급되는 전원은 해당 전자기기의 사용 전원으로 차량내부의 전원인 DC전원을 제공한다. 따라서, 전원 인가부(270)는 다양한 레벨의 전압과 전류를 제어하여 해당 기기의 동작 전원에 맞는 전원을 제공하는 것이 바람직하다.
트립 제어부(300)는 OBD 통신부(310), K-Line 통신부(320), GPIO 통신부(330), 네비게이션 통신부(340), 터치 신호 통신부(350), 외장 메모리 통신부(360), 트립 통신부(370) 및 진단 USB 통신부(380)를 구비한다.
OBD 통신부(310)는 차량점검을 위한 내부 시스템 및 센서와 점검 장치들과의 통신을 위한 것으로, 이에 해당하는 접속 커넥터를 구비한다. 이와 같은 OBD 통신부(310)를 통해 차량의 상태 이상을 알 수 있다.
K-line 통신부(320)는 캔통신을 통해 진단기의 각종 센서의 입력 및 액츄에이터의 출력값을 제공받을 수 있다. K-line 통신부(320)를 통해 캔 통신을 통해 차량 내부 기기와의 통신이 가능할 수 있다.
GPIO 통신부(330)는 외부 칩셋과의 통신을 위한 것으로 이에 해당하는 접속 커넥터 즉, 입출력 단자를 구비한다.
네비게이션 통신부(340)는 차량에 장착된 네비게이션과 통신을 위한 것으로, 네비게이션으로 부터 수집된 정보를 제공받고, 네비게이션 제어를 위한 신호를 제공할 수 있다. 또한, 네비게이션 통신부(340)를 통해 본 실시예의 모니터 장치가 네비게이션의 화면을 밀러링 형태로 투영할 수도 있다. 물론, 네비게이션이 차량내의 AVM과 일체화되는 경우, 앞선 입출력 제어보드부(200)에 의해 상기 네비게이션 통신부(340)의 기능이 수행될 수도 있다.
터치 신호 통신부(350)는 앞서 언급한 터치 디스플레이부(100)의 터치부(120)에 의해 터치된 좌표값을 제공 받는다. 즉, 사용자의 터치에 따른 제어 신호 발생을 위한 입력을 제공 받는다. 물론 이와 같은 터치 신호 통신부(350)가 제어부(700)에 내장되어 동일한 기능을 수행할 수 있다.
외장 메모리 통신부(360)는 외부 메모리(SD 카드 포함)와 접속되어 해당 메모리에 정보를 저장하거나, 메모리에 저장된 정보를 읽어드릴 수 있는 기능을 수행한다.
트립 통신부(370)는 차량 내부에 장착된 트립 컴퓨터와의 통신을 수행한다. 이를 통해 차량의 주행과 관련된 정보를 제공받을 수 있다.
진단 USB 통신부(380)는 차량 진단을 위한 USB 통신을 위한 것으로 이를 위한 별도의 접속 단자가 마련된다. 진단 USB 통신부(380)를 통해 차량 자가 진단을 수행할 수도 있다.
이와 같은 트랩 제어부(300)를 통해 차량 내부의 기기와 차량 운행 및 주행을 위한 정보들과 점검 및 진단을 위한 기기에 대한 통신이 가능할 수 있다.
입력 선택부(400)는 트립 제어부(300) 및 입출력 제어 보드부(200)를 통해 입력된 전자 기기의 입력 신호 중 적어도 하나의 신호를 선택하여 전송되도록 한다. 입력 선택부(400)는 제어부(700)의 선택 신호에 따라 트립 제어부(300) 또는 입출력 제어 보드부(200)를 통해 입력된 신호를 신호 변환부(600)에 제공한다.
물론 이에 한정되지 않고, 입출력 제어 보드부(200) 및 트립 제어부(300)를 통해 입력된 신호는 신호 변환부(600)를 통해 입력 선택부(400)로 제공되고, 이 입력 선택부(400)는 신호 변환된 입력 신호를 터치 디스플레이부(100)에 제공할 수도 있다. 이를 통해 선택된 입력 신호만이 터치 디스플레이부(100)를 통해 화면에 제공될 수 있다.
이와 같이 입력 선택부(400)는 선택된 입력 신호만을 전송하는 것으로 스위치 또는 먹스가 사용될 수 있다.
신호 저장부(500)는 입출력 제어 보드부(200) 및 트립 제어부(300)를 통해 입력된 신호를 저장하거나, 내부 신호와 처리 결과를 저장한다. 이와 같은 신호 저장부(500)로 다양한 형태의 메모리 소자가 사용될 수 있다.
또한, 신호 저장부(500)는 사용자의 입력에 따라 제공된 입력 신호 및 데이터를 저장할 수도 있고, 제어부(700)에서 발생된 신호에 따라 처리되는 데이터 또한 저장될 수 있다.
신호 변환부(600)는 입출력 제어 보드부(200) 및 트립 제어부(300)를 통해 입력된 신호를 영상 이미지 형태로 변환하고, 이를 터치 디스플레이부(100)에 제공하여 사용자가 이미지 형태로 해당 신호를 확인할 수 있도록 한다.
이때, 신호 변환부(600)는 영상 포맷 변환부(610)와, 텍스트 변환부(620) 및 미러링부(630)를 포함한다.
영상 포맷 변환부(610)는 입출력 제어 보드부(200) 및 트립 제어부(300)를 통해 제공된 영상 신호들을 터치 디스플레이부(100)에 표시할 수 있는 형태의 영상으로 변환한다. 이를 통해 다양한 영상 촬영 장치를 통해 제공된 영상을 사용자는 단일의 디스플레이부를 통해 제공받을 수 있다.
텍스트 변환부(620)는 입력 신호에 대응하는 이미지 테이블을 포함하고, 입출력 제어 보드부(200) 및 트립 제어부(300)를 통해 입력되는 신호(영상 신호 제외)가 제어부(700)에 의해 분석된 결과를 해당 이미지 테이블에 추가 또는 변경하여 터치 디스플레이부(100)를 통해 영상화된 정보로 사용자에게 제공할 수 있다.
즉, 입출력 제어 보드부(200) 및 트립 제어부(300)를 통해 제공되는 입력 신호에 각기 대응되는 영상 이미지를 사전에 작성하고 준비한다.
예를 들어, 센서 입력의 경우 영상 이미지에는 해당 센서가 측정하는 값의 정의 영역, 현 측정 값의 상태 영역, 센서 값이 정상 값인지를 표시하는 영역, 센서 제어(온/오프 포함) 영역, 센서 오동작 유무 표시 영역등을 포함할 수 있다. 이를 통해 상기 센서 입력을 사용자가 보고자 할 경우 텍스트 변환부(620)와 제어부(700)는 입력 값에 따라 현 측정 값의 상태를 표시하고, 해당 센서값이 정상인지를 표시할 수 있다. 또한, 화면에 표시된 센서의 상태를 이용하여 센서의 동작을 제어할 수도 있게 된다. 또한, 차량의 운행 관련 입력 신호인 경우 영상 이미지로는 운행 정보 중 어느 정보인지 표시하는 영역, 입력된 현(즉, 실시간) 운행 정보를 표시하는 영역, 정보 제어를 위한 영역등을 포함할 수 있다. 이를 통해 사용자는 차량의 운행 정보를 영상화된 이미지로 확인할 수 있고, 해당 이미지 화면에서 운행 정보 관련된 제어를 실시할 수 있다.
미러링부(630)는 스마트 폰(10)과의 외부 기기의 영상 정보 및 기타 제어 정보를 터치 디스플레이부(100)에 미러링한다. 이때, 스마트 폰(10)의 화면과 터치 디스플레이부(100)의 화면의 화소와 크기가 상이하기 때문에 본 미러링부(630)를 통해 이와 같은 차이에 따른 화면 늘어짐을 방지할 수 있다. 또한, 미러링부(630)를 통해 터치 디스플레이부(100)에 의해 사용자가 입력한 제어 신호가 외부 기기에 효과적으로 전달될 수 있다. 즉, 미러링부(630)에서 외부 기기 영상의 화면을 터치 디스플레이부(100)에 투영하는 경우 이들간의 비율 차이에 따른 아이콘 등의 위치가 저장되기 때문이다. 이를 통해 터치 디스플레이부(100)의 A영역을 터치하는 경우, 외부 기기의 어느 영역을 터치하는 것인지 알 수 있게 된다.
본 실시예의 제어부(700)는 터치 디스플레이부(100), 입출력 제어보드부(200), 트립 제어부(300), 입력 선택부(400), 신호 저장부(500) 및 신호 변환부(600)의 동작을 제어한다.
이를 통해 사용자가 원하는 신호 정보(영상 정보 포함)를 이미지 형태로 사용자에게 보여 줄 수 있다. 이를 통해 사용자는 이미지화된 형태의 정보로 현재 차량의 상태는 물론, 사용자가 원하는 정보를 쉽게 습득할 수 있고, 이미지 정보를 직접 터치함으로 인해 차량내부 및 외부에 각기 장착된 기기들을 손쉽게 조작할 수 있다.
또한, 본 실시예에 따른 제어부(700)는 입출력 제어 보드부(200) 및 트립 제어부(300)를 통해 제공된 신호를 분석할 수 있다. 또한, 제어부(700)는 분석된 신호 결과에 따라 해당 신호의 유효 여부를 판단하고, 이에 따라 유효 범위를 벗어 나는 경우에는 별도의 알림 및 제한 신호를 생성할 수 있다.
물론, 트립 제어부(300)를 통해 입력된 차량 운행 관련 신호 및 점검 결과 신호가 기준(안전) 범위를 벗어나는 경우에는 이를 즉시 터치 디스플레이부(100)에 표시되도록 할 수 있다. 이를 통해 사용자는 차량 상태를 실시간으로 확인할 수 있다.
또한, 제어부(700)는 스마트 폰(10)과 같은 외부 휴대용 단말기기와의 접속을 제어하여 유/무선 통신을 통해 휴대용 단말기와의 통신을 수행하고, 영상 및 음성을 포함한 데이터 정보들을 상호 제공받을 수 있도록 한다. 물론, 휴대용 단말기 이외에 입출력 제어 보드부(200) 및 트립 제어부(300)를 통해 접속된 전자 기기와도 양방향 통신이 가능하도록 할 수 있다.
또한, 제어부(700)는 터치 디스플레이부(100)의 표시 구간을 2개 이상의 구간으로 분리하고, 이 구간마다 각기 다른 입력 신호에 해당하는 이미지를 표시할 수 있다. 예를 들어 터치 디스플레이 구간을 2개의 구간으로 분리하여 하나는 차량에 장착된 카메라 영상을 표시하고, 다른 하나의 구간에는 접속된 스마트폰의 영상을 표시할 수 있다. 이경우, 입력 선택부(400)는 2개의 입력 신호를 송출하고, 신호 변환부(600)는 2개의 신호 각각에 대한 신호 변환을 수행할 수 있다.
하기에서는 상술한 구성을 갖는 차량용 모니터 장치의 제어 방법을 도면을 참조하여 설명한다.
도 8은 본 발명의 일 실시예에 따른 차량용 모니터 장치의 제어 방법을 설명하기 위한 흐름도이다.
차량용 모니터 장치의 제어 방법을 설명하기 전에 먼저 터치 디스플레이부, 입출력 제어보드부, 트립 제어부, 입력 선택부, 신호 저장부, 신호 변환부 및 제어부를 갖는 차량용 모니터 장치를 차량에 설치한다. 이후, 입출력 제어보드부와 트립 제어부를 통해 차량에 장착된 기기 및 외부에 설치된 기기와 별도의 외부 기기를 연결시킨다.
도 8에 도시된 바와 같이 차량을 통해 모니터 장치에 전원이 인가되는 경우, 모니터 장치는 구동한다. 이를 통해 모니터 장치는 차량 내부 기기 및 장착 기기와의 접속을 확인하고, 외부 기기의 접속여부를 확인한다(S110).
이어서, 모니터 장치는 초기 선택 화면을 표시한다(S120).
초기 선택 화면은 연결된 기기를 선택할 수 있는 화면으로 입출력 제어보드부 및 트립 제어부를 통해 접속된 기기가 아이콘 형태로 표시된다. 물론, 별도의 리스트 형태로 사용자 조작 편의를 위한 구조로 배치될 수 있다.
물론, 사용자가 초기 선택 화면에서 아무런 선택을 하지 않는 경우에는 기본설정된 화면이 표시될 수 있다.
기본 설정 화면은 차량 운행과 관련된 화면인 것이 효과적이다. 물론 이에 한정되지 않고, 사용자가 직접 기본 설정 화면을 표시할 수 있다. 예를 들어 내비게이션 화면이 기본 설정 화면이 될 수 있다.
이어서, 사용자 선택에 따라 일 기기가 선택되는 경우, 선택된 기기(장치)를 통해 제공받은 정보가 이미지 형태의 영상으로 화면에 표시된다(S130).
이때, 영상이 외부로부터 제공되는 동영상 관련 정보인 경우에는 해당 동영상과, 동영상을 촬영한 기기 정보와, 해당 기기의 동작을 제어할 수 있는 제어 정보가 함께 터치 디스플레이부에 표시된다. 또한 동영상 이외의 정보일 경우에는 현 화면에 보이는 이미지에 해당하는 기기에 대한 설명 정보와, 해당 기기의 현재 상태 정보와, 해당 기기의 동작을 제어하기 위한 정보 및 기기의 정상 동작 유무 정보가 표시된다. 이를 통해 사용자가 터치 디스플레이부를 통해 다양한 기기의 정상 동작 유무와 이상 유무를 판단할 수 있다. 또한, 차량 운행 및 점검과 관련된 기기의 경우 상기 정보 이외에도 운행 현황 정보 및 점검 알림 정보등이 추가로 더 표시될 수 있다.
또한, 선택된 기기의 정보가 이미지 형태로 화면에 표시되기 위해서는 본 실시예의 모니터 장치에 연결된 기기로부터 입력된 정보 중 사용자가 선택한 적어도 하나의 입력 신호 만을 화면에 표시한다. 이때, 입력된 신호에 대한 변환이 필요하는 경우 터치 디스플레이부에 표시할 수 있도록 해당 입력 신호 정보를 가공하는 것이 바람직하다. 이때, 영상 정보의 경우 영상 포멧을 변환하고, 영상 정보 이외의 정보일 경우에는 입력 신호와 대응되는 이미지 테이블에 입력 신호를 분석한 값을 기재하여 해당 이미지를 화면에 표시하는 것이 바람직하다.
여기서, 만일 사용자가 현 화면을 터치하는 경우, 해당 터치 좌표에 해당하는 영역의 정보가 제어부에 제공되고, 제어부는 해당 터치 좌표와 영상 또는 이미지 정보를 비교하여 터치 좌표 영역에 기기 제어를 위한 정보가 있는지 파악한다(S140). 만일 제어 정보가 없는 경우에는 별도의 동작을 수행하지 않지만(S150), 제어 정보가 위치하는 경우에는 해당 제어 정보에 대응하는 동작을 수행하도록 한다(S160). 이를 위해 제어부는 별도의 제어 신호를 생성하고, 이를 입출력 제어 보드 또는 트립 제어부를 통해 접속된 기기에 제공한다(S170). 이와 같이 본 실시예에서는 단일의 모니터 장치를 통해 차량 내외부의 기기와 양방향 통신을 수행할 수 있다.
그리고, 본 실시예의 모니터 장치는 사용자의 선택에 따라 화면에 표시되는 기기를 변경하거나, 화면 분할을 통한 멀티 화면 구동이 가능하다.
상기에서 설명한 본 발명의 기술적 사상은 바람직한 실시예에서 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명은 본 발명의 기술 분야의 통상의 전문가라면 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다.
100 : 터치 디스플레이부 200 : 입출력 제어 보드부
300 : 트립 제어부 400 : 입력 선택부
500 : 신호 저장부 600 : 신호 변환부
700 : 제어부
300 : 트립 제어부 400 : 입력 선택부
500 : 신호 저장부 600 : 신호 변환부
700 : 제어부
Claims (10)
- 화면을 표시하고, 사용자의 입력을 제공받는 터치 디스플레이부;
차량에 장착된 기기와 통신하고 제어하는 입출력 제어보드부;
차량 내부 기기와 통신하고 제어하는 트립 제어부;
상기 트립 제어부 및 입출력 제어 보드부와 통신하는 기기 중 적어도 하나의 기기의 입력을 선택하는 입력 선택부;
상기 입력 선택부에 의해 선택된 입력 신호를 분석하고, 이를 터치 디스플레이부에 영상을 표시할 수 있도록 영상 신호로 변환하고, 터치 디스플레이부의 사용자 터치에 의한 입력 신호를 해당 기기의 제어 신호로 변환하는 신호 변환부; 및
상기 각 부의 동작을 제어하고, 차량의 상태에 따라 터치 디스플레이부로 제공되는 각 기기의 제어 화면을 제어하는 제어부를 포함하고,
상기 신호 변환부는 상기 입출력 제어 보드부 및 트립 제어부를 통해 입력된 신호를 영상 이미지 형태로 변환하고, 이를 터치 디스플레이부에 제공하여 사용자가 이미지 형태로 해당 신호를 확인할 수 있도록 하되,
상기 입출력 제어 보드부 및 트립 제어부를 통해 제공된 영상 신호들을 상기 터치 디스플레이부에 표시할 수 있는 형태의 영상으로 변환하는 영상 포맷 변환부와, 입력 신호에 대응하는 이미지 테이블을 포함하고, 상기 입출력 제어 보드부 및 트립 제어부를 통해 입력되는 신호가 상기 제어부에 의해 분석된 결과를 해당 이미지 테이블에 추가 또는 변경하여 상기 터치 디스플레이부를 통해 영상화된 정보로 사용자에게 제공하는 텍스트 변환부 및 스마트 폰과의 외부 기기의 영상 정보 및 기타 제어 정보를 상기 터치 디스플레이부에 미러링하는 미러링부를 포함하는 것을 특징으로 하는 차량용 모니터 장치.
- 제1항에 있어서,
상기 입출력 제어보드부는 CVBS 통신을 수행하는 전자기기와의 접속하는 CVBS 통신부와, 외부 스마트폰과의 HML/HDMI 통신을 수행하기 위한 MHL/HDMI 통신부와, RGB 케이블을 통해 영상 정보를 제공하는 기기와의 통신을 담당하는 RGB 통신부와, DVI 케이블을 통해 영상 정보를 제공하는 기기와 통신하는 DVI 통신부와, 전자 기기와의 오디오 통신을 담당하는 오디오 통신부와, 외부 무선 통신기기의 무선 통신에 대응하는 무선 통신부와, 상기 각 통신부에 연결된 전자 기기에 전원을 공급하는 전원 인가부를 포함하는 것을 특징으로 하는 차량용 모니터 장치.
- 제2항에 있어서,
상기 CVBS 통신부는 차량에 장착된 카메라(전방 및 후방 카메라 포함)와 통신하는 제 1 CVBS 통신부와, 어라운드 뷰 모니터 시스템(Around View Monitor System)과 통신을 수행하는 제 2 CVBS 통신부를 포함하는 것을 특징으로 하는 차량용 모니터 장치.
- 제1항에 있어서,
상기 트립 제어부는 차량점검을 위한 내부 시스템 및 센서와 점검 장치들과 통신을 수행하는 OBD 통신부와, 캔통신을 통해 진단기의 각종 센서의 입력 및 액츄에이터의 출력값을 제공 받는 K-Line 통신부와, 외부 칩셋과의 통신을 수행하는 GPIO 통신부와, 차량에 장착된 네비게이션과 통신을 위한 것으로, 네비게이션으로 부터 수집된 정보를 제공받고, 네비게이션 제어를 위한 신호를 제공하는 네비게이션 통신부와, 상기 터치 디스플레이부에 의해 터치된 좌표값을 제공받는 터치 신호 통신부와, 외부 메모리(SD 카드 포함)와 접속되어 해당 메모리에 정보를 저장하거나, 메모리에 저장된 정보를 읽어드리는 외장 메모리 통신부와, 차량 내부에 장착된 트립 컴퓨터와의 통신을 수행하는 트립 통신부 및 차량 진단을 위한 USB 통신을 수행하는 진단 USB 통신부를 포함하는 것을 특징으로 하는 차량용 모니터 장치.
- 제1항에 있어서,
상기 입력 선택부는 상기 트립 제어부 및 입출력 제어 보드부를 통해 입력된 전자 기기의 입력 신호 중 적어도 하나의 신호를 선택하여 전송하는 것으로, 스위치 또는 먹스가 사용되는 것을 특징으로 하는 차량용 모니터 장치.
- 삭제
- 제1항에 있어서,
상기 제어부는 상기 입출력 제어 보드부 및 트립 제어부를 통해 제공된 신호를 분석하고, 분석된 신호 결과에 따라 해당 신호의 유효 여부를 판단하고, 이에 따라 유효 범위를 벗어 나는 경우에는 별도의 알림 및 제한 신호를 생성하는 것을 특징으로 하는 차량용 모니터 장치.
- 제1항에 있어서,
상기 제어부는 상기 터치 디스플레이부의 표시 구간을 2개 이상의 구간으로 분리하고, 이 구간마다 각기 다른 입력 신호에 해당하는 이미지를 표시하는 것을 특징으로 하는 차량용 모니터 장치.
- 삭제
- 삭제
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120145137A KR101339005B1 (ko) | 2012-12-13 | 2012-12-13 | 차량용 모니터 장치 및 이의 제어 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120145137A KR101339005B1 (ko) | 2012-12-13 | 2012-12-13 | 차량용 모니터 장치 및 이의 제어 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101339005B1 true KR101339005B1 (ko) | 2013-12-10 |
Family
ID=49987728
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020120145137A KR101339005B1 (ko) | 2012-12-13 | 2012-12-13 | 차량용 모니터 장치 및 이의 제어 방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101339005B1 (ko) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105320429A (zh) * | 2014-08-01 | 2016-02-10 | 大众汽车有限公司 | 镜像深度链接 |
KR101599626B1 (ko) * | 2014-08-26 | 2016-03-03 | (주) 비앤디 | 스마트 기기 제어 장치 및 방법 |
US9731651B2 (en) | 2015-02-12 | 2017-08-15 | Hyundai Motor Company | Method and apparatus for outputting vehicle alarm information using mobile devices |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100839670B1 (ko) * | 2007-08-07 | 2008-06-19 | 최현정 | 차량용 통합형 ad 보드를 이용한 차량 제어 시스템 |
-
2012
- 2012-12-13 KR KR1020120145137A patent/KR101339005B1/ko active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100839670B1 (ko) * | 2007-08-07 | 2008-06-19 | 최현정 | 차량용 통합형 ad 보드를 이용한 차량 제어 시스템 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105320429A (zh) * | 2014-08-01 | 2016-02-10 | 大众汽车有限公司 | 镜像深度链接 |
KR101747527B1 (ko) * | 2014-08-01 | 2017-06-27 | 폭스바겐 악티엔 게젤샤프트 | 미러링 심층 링크 |
US10089053B2 (en) | 2014-08-01 | 2018-10-02 | Volkswagen Ag | Mirroring deeplinks |
CN105320429B (zh) * | 2014-08-01 | 2018-10-19 | 大众汽车有限公司 | 镜像深度链接 |
KR101599626B1 (ko) * | 2014-08-26 | 2016-03-03 | (주) 비앤디 | 스마트 기기 제어 장치 및 방법 |
US9731651B2 (en) | 2015-02-12 | 2017-08-15 | Hyundai Motor Company | Method and apparatus for outputting vehicle alarm information using mobile devices |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20190092345A1 (en) | Driving method, vehicle-mounted driving control terminal, remote driving terminal, and storage medium | |
KR102560800B1 (ko) | 디스플레이를 이용하여 지문을 인식하기 위한 전자 장치 | |
US20150205396A1 (en) | Information processing device, information terminal, information processing system and calibration method | |
CN108303969B (zh) | 车载ecu的自动化测试装置 | |
CN111479495B (zh) | 一种监护仪及其显示屏幕切换方法 | |
US10082997B2 (en) | Display system, display apparatus and adjustment method | |
KR20190058067A (ko) | 입력 인터페이스를 구성하는 방법 및 이를 사용하는 전자 장치 | |
CN107526703B (zh) | 内部集成电路***中的内部集成电路装置及其控制方法 | |
KR101339005B1 (ko) | 차량용 모니터 장치 및 이의 제어 방법 | |
US8407375B2 (en) | Information processing apparatus and information processing method | |
KR20200119143A (ko) | 터치 센서를 포함하는 전자 장치 및 전자 장치에 포함되는 터치 센서의 구동 방법 | |
WO2013115516A1 (ko) | 건설기계의 엔진제어장치 | |
CN106358063A (zh) | 一种触摸电视及其控制方法及控制装置 | |
US20150009143A1 (en) | Operating system | |
KR102617252B1 (ko) | 전자 장치 및 그 파노라마 촬영 모드 자동 전환 방법 | |
US20170225620A1 (en) | Image signal processing apparatus and image signal processing program product | |
US9600088B2 (en) | Method and apparatus for displaying a pointer on an external display | |
US20230009510A1 (en) | System for Evaluating Built-in Video Recording Device for Vehicle | |
EP2639687A2 (en) | Display apparatus and control method thereof | |
KR20220139506A (ko) | 차량 내장형 영상 기록 장치의 자동 평가 장치, 그를 포함하는 자동 평가 시스템 및 그 방법 | |
US9426458B2 (en) | Video output supervisor | |
US10728487B2 (en) | Image display apparatus, external device, image display method, and image display system | |
KR101697644B1 (ko) | 스마트폰을 이용한 차량용 클러스터 진단 시스템 및 진단 방법 | |
CN212570348U (zh) | 一种多屏显示检测装置 | |
WO2024142300A1 (ja) | 情報処理装置、端末機及び情報処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
A302 | Request for accelerated examination | ||
E902 | Notification of reason for refusal | ||
E90F | Notification of reason for final refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20161110 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20171201 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20191202 Year of fee payment: 7 |