KR20120075580A - 모바일 증강현실 기법을 이용한 차량 정비 관리 시스템 및 그 방법 - Google Patents
모바일 증강현실 기법을 이용한 차량 정비 관리 시스템 및 그 방법 Download PDFInfo
- Publication number
- KR20120075580A KR20120075580A KR1020100128923A KR20100128923A KR20120075580A KR 20120075580 A KR20120075580 A KR 20120075580A KR 1020100128923 A KR1020100128923 A KR 1020100128923A KR 20100128923 A KR20100128923 A KR 20100128923A KR 20120075580 A KR20120075580 A KR 20120075580A
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- information
- service
- image
- data
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 42
- 238000007726 management method Methods 0.000 claims description 207
- 238000012423 maintenance Methods 0.000 claims description 132
- 239000003795 chemical substances by application Substances 0.000 claims description 36
- 230000005540 biological transmission Effects 0.000 claims description 28
- 238000005516 engineering process Methods 0.000 claims description 19
- 230000006854 communication Effects 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 15
- 238000012544 monitoring process Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 14
- 238000013523 data management Methods 0.000 claims description 11
- 230000010365 information processing Effects 0.000 claims description 11
- 238000010295 mobile communication Methods 0.000 claims description 11
- 230000008439 repair process Effects 0.000 claims description 10
- 230000002194 synthesizing effect Effects 0.000 claims description 8
- 230000002452 interceptive effect Effects 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 230000000737 periodic effect Effects 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 238000013500 data storage Methods 0.000 claims description 2
- 230000010354 integration Effects 0.000 claims description 2
- 230000003213 activating effect Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 8
- 238000010191 image analysis Methods 0.000 description 4
- 208000035239 Synesthesia Diseases 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000013543 active substance Substances 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 230000009131 signaling function Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/40—Business processes related to the transportation industry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Vehicle Cleaning, Maintenance, Repair, Refitting, And Outriggers (AREA)
- Traffic Control Systems (AREA)
Abstract
본 발명은 스마트 폰에서 모바일 증강현실 기법을 이용한 차량 정비 관리 시스템 및 그 방법에 대한 것으로서, 보다 상세하게는 증강현실 기능을 통해 차량에 필요한 서비스 항목을 차량의 상태에 따라 확인하면서 실시간으로 차량을 관리할 수 있고, 실시간 영상 이미지를 인터페이스와 직관적인 차량 정보 조작과 차량의 안전한 관리가 가능한 스마트 폰에서 모바일 증강현실 기법을 이용한 차량 정비 관리 시스템 및 그 방법에 관한 것이다.
본 발명은 카메라와 화면 터치 기능을 이용하여 차량의 번호판 영상을 인식하고 판독한 후, 인식된 차량의 부분별 정비 서비스 정보를 점검하는 정보 입력 인터페이스를 포함하고, 증강현실 기술이 결합된 개인 차량정비 서비스 인터페이스를 가지고 있는 스마트폰단말기와, 차량의 정비 서비스 일정, 부품 세부 정보를 포함하고, 차량의 정비 서비스, 수리 및 정비 기록을 관리하는 차량정비관리서버와, 차량 정비에 필요한 서비스 예약 및 서비스 환경을 관리하는 차량서비스관리서버를 포함하여, 사용자의 차량을 상기 스마트폰단말기의 카메라와 화면으로 실시간 관리하고 상기 차량정비관리서버와 차량서비스관리서버를 통하여 이전에 서비스된 수리정보를 함께 상기 스마트폰단말기를 통해 제공받아 자신의 차량을 관리한다.
본 발명은 카메라와 화면 터치 기능을 이용하여 차량의 번호판 영상을 인식하고 판독한 후, 인식된 차량의 부분별 정비 서비스 정보를 점검하는 정보 입력 인터페이스를 포함하고, 증강현실 기술이 결합된 개인 차량정비 서비스 인터페이스를 가지고 있는 스마트폰단말기와, 차량의 정비 서비스 일정, 부품 세부 정보를 포함하고, 차량의 정비 서비스, 수리 및 정비 기록을 관리하는 차량정비관리서버와, 차량 정비에 필요한 서비스 예약 및 서비스 환경을 관리하는 차량서비스관리서버를 포함하여, 사용자의 차량을 상기 스마트폰단말기의 카메라와 화면으로 실시간 관리하고 상기 차량정비관리서버와 차량서비스관리서버를 통하여 이전에 서비스된 수리정보를 함께 상기 스마트폰단말기를 통해 제공받아 자신의 차량을 관리한다.
Description
본 발명은 스마트 폰에서 모바일 증강현실 기법을 이용한 차량 정비 관리 시스템 및 그 방법에 대한 것으로서, 보다 상세하게는 증강현실 기능을 통해 차량에 필요한 서비스 항목을 차량의 상태에 따라 확인하면서 실시간으로 차량을 관리할 수 있고, 실시간 영상 이미지를 인터페이스와 직관적인 차량 정보 조작과 차량의 안전한 관리가 가능한 스마트 폰에서 모바일 증강현실 기법을 이용한 차량 정비 관리 시스템 및 그 방법에 관한 것이다.
일반적으로 증강현실(Augmented Reality)은 가상현실(Virtual Reality)와 실시간 영상처리가 결합된 분야로, 실제 환경과 3차원 이미지가 합성된 영상을 실시간으로 제공하는 컴퓨터 그래픽 기술이다.
스마트 미디어 기술의 증강현실은 스마트 단말기에서 현실 세계의 실시간 영상 기반위에 3차원 객체들을 합성하여 현실세계 만으로 얻기 어려운 부가적인 정보들을 보강해 주는 기능을 가지고 있다.
즉, 이동 중에 스마트 폰 카메라에 비춰진 영상에 현실세계에 가상의 물체를 중첩함으로써 현실세계를 보충하여 사용자에게 적합한 형태의 실시간 서비스를 구성할 수 있는 차별성을 가지고 있으며, 사용자에게 보다 나은 현실감을 제공한다. 이러한 기술을 가진 증강현실은 단순히 게임과 같은 분야의 디지털 콘텐츠 제작에 활용되고 있으며, 특히 유비쿼터스 환경과 스마트 미디어 기술에 적합한 차세대 디스플레이 기술로 각광받고 있다.
그리고 스마트 미디어 기술은 최근에 모바일 폰 단말기의 기능을 보강하여 사용자가 역동적이고 다양한 동영상 및 사진 보기 등과 같은 미디어 애플리케이션을 서비스하는 기술을 말한다.
스마트 미디어 기술은 대용량 데이터로 구성되어 있기 때문에 스마트 단말기에서 실시간으로 처리하기 어려운 데이터 구조를 가지고 있지만 Wi-Fi, 3G 등과 같은 모바일 네트워크 기술과 스마트 장치의 발전으로 제한된 환경에서 빠른 서비스 전송이 가능하다.
이러한 증강현실 기술과 스마트 미디어 기술의 결합은 유비쿼터스 환경에서 사용할 수 있는 현실 세계의 실시간 영상으로 개인화된 서비스를 제공하는 차량 정비 관리 시스템 개발에 활용할 수 있다.
차량 정비 관리 시스템은 스마트폰단말기의 영상에서 실시간으로 차량의 상태를 점검하며, 시간과 공간에 제한받지 않는 공감각형 적응형 서비스를 제공하는 방법이다.
그리고 근거리의 우수한 차량 정비 센터 또는 서비스 센터와 연계되어 실시간으로 필요한 정비 및 수리 서비스를 처리하는 협업 환경을 제공한다.
차량 정비 관리 시스템의 초기 이슈는 이동통신 단말기에 GPS와 같은 위치인식 기능과 인터넷 연결기능, 단순 이미지 처리 기능 등을 이용하여 부가서비스 정보를 문자 형태(SMS)로 서비스되어 왔다. 특히, 위치 기반에 관련한 서비스는 대부분으로 구조 요청, 범죄 신고, 인접지역 정보 제공, 교통정보, 내비게이션(Navigation) 서비스 등에 지금도 활용된다.
예를 들면, 위치기반 내비게이션 서비스는 2차원 또는 3차원으로 지도를 구성하여 GPS와 연동된 길찾기 또는 길안내 정보를 이동 통신 단말기에 제공하면서 GPS의 정보를 이용하여 차량의 노후상태를 추론하고 수리서비스를 제공하고 있다. 또한 Wi-Fi나 3G 통신에 제한적인 이동통신 단말기는 모바일 네트워크 요금이 비싸고, 서비스 등록과 이용 절차가 복잡한 단점을 가지고 있다.
이에 비해 스마트폰단말기는 Wi-Fi, 3G 통신 등과 같은 모바일 통신 네트워크의 사용이 자유롭고, 개방형 애플리케이션 마켓을 통해 자유로운 소프트웨어 업데이트와 서비스를 제공받는다.
그리고 영상처리나 이미지 처리가 이동통신 단말기보다 우수하기 때문에 스마트 미디어 서비스에도 적합한 구조를 가지고 있다.
이러한 자유로운 이동성을 갖는 스마트폰단말기는 개방형 애플리케이션 마켓을 통해 다양한 서비스 애플리케이션들을 제공받기도 한다.
이러한 특징을 갖는 스마트폰단말기는 차량 정비 및 수리 시스템의 단점을 보완하고 사용자별로 실시간 영상을 이용하여 차량의 상태를 파악할 수 있다. 그리고 차량 정비 서비스에 필요한 자재, 서비스 대기시간 및 소요시간, 비용 등을 예측하여 실시간 영상과 결합된 서비스를 스마트폰단말기에 제공함으로써 간편한 터치조작으로 서비스 예약까지 한 번에 처리되는 개인화된 원스톱(One-Stop) 차량관리의 서비스 개발이 필요하다.
또한 최근에 모바일 증강현실을 이용한 통신 서비스를 제공하는 스마트 폰 단말기의 보급으로, 사용자는 원하는 프로그램을 개방형 소프트웨어 마켓에서 직접 다운받아 설치하고 서비스를 제공받을 수 있는 개방형 서비스 기술이 등장하였다. 그리고 스마트 폰 단말기는 이동성을 기반으로 한 서비스가 개발되고 있기 때문에 스마트 폰 단말기에 삽입된 영상카메라와 증강현실이 결합한 실시간 게임, 네비게이션, 교통정보, 관광, 교육 등의 각종 이동형 상호작용 서비스의 개발에 적극적으로 사용된다.
이에 기존의 단순한 구조의 차량관리 서비스에서 탈피하여 스마트 폰 단말기의 카메라 영상으로 소유자의 차량을 실시간 인식하고, 정비에 필요한 부분과 서비스 내용을 터치 동작으로 확인하는 모바일 증강현실과 스마트 미디어 기술이 결합된 개인화된 차량 관리 서비스를 서버로부터 정보를 전송받아 결합된 상호작용 서비스를 제공할 수 있는 새로운 시스템이 절실히 필요하게 되었다.
본 발명은 이동형 단말기를 이용한 단문 구조의 문자 서비스로 제공되는 차량관리 서비스 기술에서 벗어나 개인이 소유한 스마트 폰 단말기의 카메라 영상을 실시간으로 처리하는 증강현실과 개인화된 스마트 미디어 서비스 기술을 결합한 차량관리 서비스의 제공과 유비쿼터스 환경에 맞는 공감각형 영상 서비스 기술을 이용한 상호작용 서비스 방법을 제공하는데 그 목적이 있다.
본 발명은 카메라와 화면 터치 기능을 이용하여 차량의 번호판 영상을 인식하고 판독한 후, 인식된 차량의 부분별 정비 서비스 정보를 점검하는 정보 입력 인터페이스를 포함하고, 증강현실 기술이 결합된 개인 차량정비 서비스 인터페이스를 가지고 있는 스마트폰단말기와, 차량의 정비 서비스 일정, 부품 세부 정보를 포함하고, 차량의 정비 서비스, 수리 및 정비 기록을 관리하는 차량정비관리서버와, 차량 정비에 필요한 서비스 예약 및 서비스 환경을 관리하는 차량서비스관리서버를 포함하여, 사용자의 차량을 상기 스마트폰단말기의 카메라와 화면으로 실시간 관리하고 상기 차량정비관리서버와 차량서비스관리서버를 통하여 이전에 서비스된 수리정보를 함께 상기 스마트폰단말기를 통해 제공받아 자신의 차량을 관리한다.
상기 스마트폰단말기는 카메라모듈과, 사용자에게 영상을 제공하는 영상 출력 인터페이스와, 차량 영상 정보를 인식 및 검출하는 영상인식모듈과, 상기 영상인식모듈을 통해 전달 받은 데이터를 분석하고 저장하는 데이터모듈과, 상기 데이터모듈로 부터 데이터를 전송받아 데이터를 암호화하고 번역하는 데이터전송모듈과, 상기 각 모듈을 제어하는 제어모듈로 구성되되, 상기 영상인식모듈은 차량 영상 정보를 인식하는 영상인식부와, 상기 영상인식부의 영상을 전달받아 검출하는 영상검출부와, 상기 디스플레이부의 제어를 받아 상기 차량관리 서버와 스마트폰단말기를 통해 전달된 영상을 합성하는 영상합성부와, 상기 영상합성부의 영상을 전달받고, 사용자의 정보를 입력받는 영상터치부로 구성되고, 상기 데이터모듈은 상기 영상검출부를 통해 전달받은 번호판 정보를 추적하기 위해 차량의 번호판을 특정벡터로 추출하는 영상분석부와, 상기 영상분석부의 추출된 정보를 전달받아 상기 에스큐엘라이트부에서 보관하는 차량 정보를 통합하는 상황정보전송부와, 에스큐엘라이트부와, 상기 차량관리 서버로부터 전송받은 데이터를 변환하는 데이터 관리부와, 상기 데이터 관리부의 정보를 전송받아 디스플레이하도록 제어하는 디스플레이부로 구성되며, 상기 데이터전송모듈은 와이파이(WIFI)통신을 위한 제1데이터전송부와, 이동통신을 위한 제2데이터전송부와, 상기 상황정보전송부를 통해 전달받은 데이터는 차량관리 서버로 전송하기 위해 데이터 패킷을 구성하고 암호화 번역하는 데이터 디코드/엔코드부로 구성된다.
상기 영상인식모듈은, 상기 스마트폰단말기의 카메라를 통하여 차량의 영상을 촬영하고 차량의 번호판 영상을 추출하여 인식하며 차량의 부분별 서비스 정보를 점검하도록 하는 사용자 인터페이스 기능을 포함하는 영상인식부와, 상기 스마트폰단말기의 영상출력부에 투영되는 차량의 형태를 판별하고 상기 차량의 번호판과 차량의 영상을 영역별로 추출하는 영상추출부와, 투영된 카메라 영상에 스마트폰단말기에 내장된 상기 차량 번호판의 정보와 일치하는 차량 정비 데이터를 차량의 영역별로 매칭되는 정보와 영상을 합성하는 영상합성부와, 상기 스마트폰단말기에 내장 기능을 가진 에스큐엘라이트 데이터베이스를 이용하여 개인의 차량 정보 이력 및 카테고리 정보를 구분하여 저장하고 관리하는 차량정보관리데이터베이스부와, 스마트폰단말기의 터치 동작을 이용하여 사용자가 영상에서 필요한 부분을 터치하여 차량 정비 정보를 확인할 수 있는 메뉴를 구성하고 서비스를 선택하도록 하는 영상터치부를 더 포함하여 구성된다.
상기 스마트폰단말기는, 상기 카메라를 통해 획득된 영상에서 카메라의 방향을 변경하더라도 카메라의 영상 영역 안에 투영된 차량의 영상을 추적하는 영상추적부와, 상기 영상추출부에서 추출된 차량의 번호판 영상에서 차량의 번호를 문자로 추출하기 위해 특징 벡터 추출 방법을 적용하여 사용자의 차량 정보와 비교 판별하는 영상문자추출부를 포함하여 구성된다.
상기 스마트폰단말기의 데이터모듈은, 차량의 부분별 출력되는 차량 부품의 이미지 데이터와 상기 차량정비관리서버로부터 전송받은 이미지 데이터를 관리하는 데이터관리모듈로 구성되되, 상기 데이터관리모듈은, 차량 데이터 테이블을 구성하는 에스큐엘라이트부(SQLite)와, 사용자에게 제공된 서비스 이용번호, 시간, 날짜, 장소, 차량 정비 센터, 차량 정비의 정보를 텍스트로 관리하는 서비스이력관리부와, 상기 스마트폰단말기의 카메라 영상과 데이터베이스의 정보, 상기 차량정비관리서버에서 제공된 정보를 출력장치에 표시하고 터치동작이 가능하도록 표시하는 사용자 인터페이스를 구성하는 뷰어부와, 차량의 정보, 사용자 정보, 서비스 접근 방법을 대화형태의 메뉴 구조로 구성한 서비스메뉴관리부를 포함하여 구성된다.
상기 데이터 전송모듈은, 상기 스마트폰단말기가 상기 차량 관리서버 및 서비스관리 서버와 안전하게 통신하기 위한 아이디와 패스워드를 관리하는 네트워크ID관리부와, 상기 네트워크ID관리부를 통한 네트워크 통신 과정에서 독립적인 무선 인터넷 망의 TCP/IP로 연결하여 사용하기 위한 와이파이(Wi-Fi) 장치를 기동하도록 하는 와이파이(Wi-Fi)링커부와, 상기 차량관리서버 및 서비스관리서버와 스마트폰단말기 사이에서 무선 네트워크를 통해 개인정보를 포함한 데이터를 안전하게 송수신하기 위해 아이디와 패스워드를 암호화하는 과정을 포함하는 데이터패킷부와, 상기 와이파이링커부를 통한 이동통신과 와이파이 무선 네트워크의 접속 상태를 감시하고 데이터의 송수신 상태를 감시하는 네트워크모니터링부를 포함하여 구성된다.
상기 차량 관리 서버는, 에이전트에 의해 수집된 데이터와 차량 정비 데이터의 유효성 검사와 정규화 과정을 담당하며, 중복된 데이터를 제거하고 최신 데이터로 업데이트를 실행하는 데이터 관리 모듈과, 상기 스마트폰단말기의 어플리케이션을 통한 차량정비 서비스 요청 신호에 따라 아이디(ID)와 네트워크 ID를 이용하여 서비스에 소요되는 차량관리 데이터와 서비스 데이터를 데이터베이스에서 검색하는 데이터 검색 모듈과, 데이터의 이용현황과 서비스의 안전성을 검사하고 데이터의 접근성을 보장하며, 불법이용자의 데이터 접근을 차단하고 관리하는 로그 관리 모듈 을 포함하여 구성된다.
상기 차량정비관리서버는, 차량정비관리서버에 등록된 차량의 수리 및 정비 정보를 기록하고 관리하며, 사용자로부터 요청된 서비스 정보에 대한 상세한 항목을 검색하여 서비스에 필요한 절차와 예약에 필요한 정보를 제공하는 차량정보 처리부를 포함하고, 상기 차량정보 처리부는 상기 스마트폰단말기에서 전송된 서비스 요청신호를 확인하고 소유차량의 기본적인 정보를 등록하는 사용자 등록 모듈과, 상기 스마트폰단말기로 인식된 차량의 영상에서 차량 전체 이미지를 포함하는 스틸 이미지, 추출된 차량의 앞, 뒤, 좌, 우의 스틸 이미지, 차량의 번호판에서 추출된 차량번호를 기본 정보로 사용자를 등록하는 절차에 따라 사용자의 정보를 자동으로 상기 차량정비관리서버의 데이터베이스모듈에 저장하는 차량 정보 등록 모듈과, 차량 전체를 포함하는 스틸 이미지를 이용하여 차량의 차종을 확인하고 사용자의 주소지를 중심으로 서비스 지원에 필요한 차량 정비 센터 정보, 차량 정비 서비스를 받은 사용자들의 추천 정보를 연관 규칙 알고리즘으로 분석하여 서비스를 추천하기 위한 분석과정을 포함하는 연관 정보 관리 모듈과, 상기 연관 정보 관리 모듈에서 분석이 완료된 정보를 커넥트에이전트모듈에 전달하고 상기 커넥트에이전트모듈이 수집한 정보를 분석하여 서비스 요청자에게 필요한 서비스를 긴급, 일반 서비스로 구분하여 상기 스마트폰단말기로 전송하는 서비스 추천 모듈과, 상기 스마트폰단말기에서 이루어진 추천 서비스 이용 상태나 사용자가 직접적으로 차량정비센터를 이용하면서 발생시킨 서비스 정보를 날짜, 장소, 정비 부분, 서비스 구분 항목으로 구분하여 상기 차량정비관리서버의 데이터베이스에서 직접적으로 관리하는 서비스 이력 관리 모듈 을 포함하여 구성된다.
상기 커넥트에이전트모듈은, 상기 스마트폰단말기의 네트워크에서 요청된 연결 신호를 확인하고, 네트워크 인터페이스를 연결하여 상기 스마트폰단말기의 네트워크 ID를 상기 차량정비관리서버와 연결하고 유지하는 커뮤니케이션관리부(Communication Management Function)와, 상기 차량정비관리서버의 네트워크의 개방에 필요한 인증절차를 처리하는 프로토콜관리부(Protocol Management Function)와, 요청된 서비스 신호를 가지고 차량 제조사에서 차량의 기본 정보를 확인하는 커넥트에이전트부(Connect Agent Function)와, 상기 차량정비관리서버에서 해당 차량의 이전상태정보를 확인하여 차량의 정비에 필요한 부품정보, 운행상태 정보, 소모품의 가격정보, 정비에 소요되는 가격비교정보를 포함하는 정보를 수집하는 서비스 검색 모듈과, 에이전트의 동작 상태를 모니터링하고, 에이전트의 활동 정보를 로그형태로 기록하여 서비스 정보의 주기적인 갱신을 수행하는 에이전트 관리 모듈을 포함하여 구성된다.
상기 차량정비관리서버는, 등록된 사용자와 차량의 정보를 관리하는 등록관리부와, 상기 스마트폰단말기에 제공된 서비스이력을 ID별로 서비스 요청 일자, 서비스 내용, 서비스 사용유무, 서비스의 처리시간, 서비스 예약 상태, 서비스 위치 정보를 로그형태로 구성하여 관리하는 서비스이력관리부와, 상기 스마트폰단말기로 서비스 데이터를 전송하기 전에 데이터의 정확도를 검증하고 배치하는 데이터처리부와, 상기 데이터처리부와 연계하여 전송데이터의 안전성을 위해 데이터의 암호화, 송수신된 데이터 저장장치 관리, 서버 관리 로그 파일 관리 역할을 하는 데이터보안 및 관리부를 포함하여 구성된다.
상기 차량서비스관리서버는 차량정비 센터에서 운영되는 정비서비스 항목과 비용, 부품, 엔지니어 정보를 관리하는 서비스 등록 인터페이스와 관리 인터페이스를 포함하는 서비스 등록 모듈과, 상기 스마트폰단말기와 차량 관리 서버로 전송된 서비스 정보를 시간별로 구분하여 관리하는 서비스 로그 관리 모듈과, 서비스 스케쥴링 알고리즘을 이용하여 엔지니어의 차량 정비 소요시간과 일정을 모니터링하여 서비스 요청 정보에 맞는 일정을 배분하는 서비스 예약 모듈을 포함하여 구성된다.
본 발명은 제어모듈을 통하여 스마트폰단말기의 카메라 구동 정보를 분석하고, 서비스 이용자에게 필요한 서비스 정보를 처리하는 단계와, 영상인식모듈과 데이터모듈을 통하여 상기 구동된 카메라를 통해 실시간 영상으로 차량의 모델을 추적하고, 차량 모델에서 차량의 각 영역별 구분과 차량 번호판을 추출하기 위한 특징벡터 추출 단계와, 각 영역별로 구분된 영상을 통하여 상기 스마트폰단말기의 터치기능과 결합된 화면으로 서비스별 우선순위로 디스플레이하는 단계와, 차량관리 서버에 차량 상세정보 요청의 경우 차량관리 서버에 있는 차량의 상세정보를 획득하는 단계와, 상기 획득된 차량의 상세정보는 상기 스마트폰단말기에서 인식된 모델 정보와 차량정비관리서버와 차량서비스관리서버의 저장장치에 기록된 차량의 기본 정보를 획득하는단계와, 상기 스마트폰단말기가 상기 상세 정보와 비교하여 상세정보를 결합한 정보를 표시장치에 대상물로 출력하는 단계와, 상기 출력 결과물은 상기 스마트폰단말기의 터치 메뉴와 결합하여 차량관리서버와 서비스관리서버로부터 전송된 서비스 정보를 전달받아 정비를 원하는 차량의 각 부분에 대한 상세 서비스 항목을 표시하는 단계로 이루어진다.
상기 차량 번호 영상 획득 단계이후에는, 상기 카메라 영상에서 실시간으로 차량의 각 영역별 구분과 번호판의 숫자를 특징벡터 추출 알고리즘을 이용하여 추출하는 단계와, 상기 추출 알고리즘을 이용해 추출된 영상에서 각 영역별로 서비스 히스토리 매칭과 카테고리별로 이미지데이터 매칭을 수행하고 계속적인 차량번호판을 추적하기 위한 특징벡터 매칭단계와, 상기 특징벡터 매칭에 의한 차량번호 영상을 획득하여 상기 스마트폰단말기의 표시장치에 영상 이미지를 출력하는 단계로 이루어진다.
상기 스마트폰단말기에서 차량관리 서버로 전송된 차량 상세 정보 요청(410) 단계이후에는, 상기 스마트폰단말기에서 전송된 상세정보 요청으로 서비스 에이전트를 구동하는 단계와, 상기 서비스 에이전트는 차량관리 서버에서 서비스 필요한 정보를 수집하고 그 정보를 동기화된 데이터베이스와 연결하고 상기 스마트폰단말기와의 네트워크를 유지하여, 상기 서비스 에이전트는 명세 정보메시지로 서비스 처리하는 단계와, 상기 서비스 에이전트가 서비스 구분 메시지를 분리하여 서비스 정보를 수집하는 단계와, 상기 명세정보메시지는 고객의 정보, 차량의 정보, 최근의 서비스 이력으로 구성되며, 서비스 구분 메시지는 스마트폰단말기에서 보내온 차량의 정보를 확인하여 현재 필요한 서비스 정보를 수집하여 처리하는 단계와, 상기 차량서비스관리서버와 통신을 통해 서비스 상세 정보를 획득하여 구동 메시지를 전달하는 단계와, 상기 처리된 명세정보메시지와 서비스 구동 메시지를 차량상세정보 메시지 로 통합하여 하나의 메시지로 결합하는 단계와, 상기 하나의 메시지는 암호화하여 차량정비 센터의 서비스 예약 정보를 획득하는 서비스 정보처리 단계와 상기 스마트폰단말기로 상기 차량상세정보 메시지를 전송하는 차량상세정보획득 단계로 이루어진다.
상기 차량관리서버부터 차량 상세정보 요청 단계이후에는, 상기 서비스 이미지 요청 메시지를 전달하고, 터치된 영역에 해당하는 서비스 정보를 출력하기 위해 상기 차량관리서버로부터 전송받은 이미지를 카테고리별 이미지 분류하는 단계와, 상기 차량의 모델과 선택된 영역에 맞는 차량 정보와 부품 이미지 정보를 매칭하는 단계와, 상기 이미지 정보를 하나의 정보로 통합하여 카메라 영상과 결합하는 이미지 정보 통합 단계와, 영상과 결합된 이미지를 서비스 예약 정보와 하나로 통합하여 차량정비를 원-스톱(One-Stop) 단계로 서비스받는 패키지 구성 단계와, 상기 획득된 패키지 구성 정보를 상기 스마트폰단말기의 표시장치에 대상물 출력하는 단계로 이루어진다.
본 발명에 의하면 스마트 폰 단말기에 개인화된 영상 인터페이스를 제공하여 사용자가 실시간으로 차량의 상태를 관리하고 정비센터가 보유한 차량정보를 공유하면서 차량에 필요한 서비스 항목을 차량의 상태에 따라 확인하면서 실시간으로 차량을 관리하는 효과가 있다.
또한, 본 발명은 실시간 영상 이미지를 인터페이스로 사용하기 때문에 스마트 폰 단말기의 영상으로 제공된 차량의 특정 부분을 터치하여 차량의 정보를 직관적으로 조작할 수 있는 효과가 있다.
그리고 본 발명은 차량의 안전한 관리를 위하여 스마트 폰 단말기의 소유자 정보와 차량의 소유자 정보를 점검하여 차량 관리센터의 정보를 제공하기 때문에 안전한 차량 관리 서비스를 통합하여 사용자에게 제공하는 효과가 있다.
도 1은 본 발명의 일실시예에 따른 모바일 증강현실 기법을 이용한 차량 정비 관리 시스템의 전체적인 구성을 보여주는 블록도이다.
도 2a,b,c,d,e는 본 발명의 일실시예에 따른 모바일 증강현실 기법을 이용한 차량 정비 관리 시스템에서 증강현실 기술을 이용한 스마트폰단말기의 블록도이다.
도 3a,b,c는 본 발명의 일실시예에 따른 모바일 증강현실 기법을 이용한 차량 정비 관리 시스템에서 차량정비관리서버의 상세 블록도이다.
도 4는 본 발명의 일실시예에 따른 모바일 증강현실 기법을 이용한 차량 정비 관리 시스템에서 차량서비스관리서버의 상세 블록도이다.
도 5는 본 발명의 일실시예에 따른 모바일 증강현실 기법을 이용한 차량 정비 관리 방법에서 차량 정비 관리 정보 및 영상 정보에 대한 서비스 처리 단계를 나타낸 도면이다.
도 6은 도5에 도시된 스마트 폰 단말기에서 차량의 영상 정보 입력 및 정보 처리 단계를 나타낸 도면이다.
도 7은 도5에 도시된 차량 상세 정보 요청과 차량 상세 정보 획득 및 서비스 정보 처리 단계를 나타낸 도면이다.
도 8은 도5에 도시된 이미지 정보 획득 단계를 나타낸 도면이다.
도 2a,b,c,d,e는 본 발명의 일실시예에 따른 모바일 증강현실 기법을 이용한 차량 정비 관리 시스템에서 증강현실 기술을 이용한 스마트폰단말기의 블록도이다.
도 3a,b,c는 본 발명의 일실시예에 따른 모바일 증강현실 기법을 이용한 차량 정비 관리 시스템에서 차량정비관리서버의 상세 블록도이다.
도 4는 본 발명의 일실시예에 따른 모바일 증강현실 기법을 이용한 차량 정비 관리 시스템에서 차량서비스관리서버의 상세 블록도이다.
도 5는 본 발명의 일실시예에 따른 모바일 증강현실 기법을 이용한 차량 정비 관리 방법에서 차량 정비 관리 정보 및 영상 정보에 대한 서비스 처리 단계를 나타낸 도면이다.
도 6은 도5에 도시된 스마트 폰 단말기에서 차량의 영상 정보 입력 및 정보 처리 단계를 나타낸 도면이다.
도 7은 도5에 도시된 차량 상세 정보 요청과 차량 상세 정보 획득 및 서비스 정보 처리 단계를 나타낸 도면이다.
도 8은 도5에 도시된 이미지 정보 획득 단계를 나타낸 도면이다.
이하 본 발명의 실시를 위한 구체적인 내용을 도면을 참조하여 자세히 설명한다.
본 발명에서 모듈은 각 단말기 또는 서버의 내부 장치를 말하고, 각 모듈에는 "~부"가 포함되어 있으며, 상기 "~부"의 기능도 모듈의 기능과 다르지 않다.
도 1에서 보는 바와 같이 본 발명에 따른 모바일 증강현실 기법을 이용한 차량 정비 관리 시스템은 스마트폰단말기(100)와 차량정비관리서버(200)와 차량서비스관리서버(300)로 크게 구성된다.
상기 스마트폰단말기(100)는 외장 카메라를 인식하고, 증강현실기능과 영상인식기능을 결합하여 실시간 영상에서 차량을 추적하고 차량의 번호판에서 소유차량의 번호로 등록된 정보를 점검하며, 소유자 정보와 정비 서비스를 받은 이력을 영상으로 출력하기 위해 아래와 같은 모듈 등을 이용한다.
도 2a에서 보는 바와 같이 스마트폰단말기(100)는 카메라와 화면 터치 기능을 이용하여 차량의 번호판 영상을 인식하고 판독한 후, 인식된 차량의 부분별 정비 서비스 정보를 점검하는 정보 입력 인터페이스를 포함하고, 증강현실 기술이 결합된 개인 차량정비 서비스 인터페이스를 가지고 있는 단말기로서, 카메라모듈(120)과, 사용자에게 영상을 제공하는 영상 출력 인터페이스(110)와, 차량 영상 정보를 인식 및 검출하는 영상인식모듈(130)과, 상기 영상인식모듈(130)을 통해 전달 받은 데이터를 분석하고 저장하는 데이터모듈(150)과, 상기 데이터모듈(150)로 부터 데이터를 전송받아 데이터를 암호화하고 번역하는 데이터전송모듈(170)과, 상기 각 모듈을 제어하는 제어모듈(195)로 구성된다.
여기에서 도 2b에서 보는 바와 같이 상기 영상인식모듈(130)은 차량 영상 정보를 인식하는 영상인식부(131)와, 상기 영상인식부(131)의 영상을 전달받아 검출하는 영상검출부(132)와, 상기 디스플레이부의 제어를 받아 상기 차량관리 서버와 스마트폰단말기(100)를 통해 전달된 영상을 합성하는 영상합성부(141)와, 상기 영상합성부(141)의 영상을 전달받고, 사용자의 정보를 입력받는 영상터치부(142)로 구성되고, 상기 카메라를 통해 획득된 영상에서 카메라의 방향을 변경하더라도 카메라의 영상 영역 안에 투영된 차량의 영상을 추적하는 영상추적부(143)와, 상기 영상추출부에서 추출된 차량의 번호판 영상에서 차량의 번호를 문자로 추출하기 위해 특징 벡터 추출 방법을 적용하여 사용자의 차량 정보와 비교 판별하는 영상문자추출부(144)를 포함할 수 있다.
그리고 도 2c에서 보는 바와 같이 본 발명의 일실시예에 따른 영상인식모듈(130)은 상기 스마트폰단말기(100)의 카메라를 통하여 차량의 영상을 촬영하고 차량의 번호판 영상을 추출하여 인식하며 차량의 부분별 서비스 정보를 점검하도록 하는 사용자 인터페이스 기능을 포함하는 영상인식부(131)와, 상기 스마트폰단말기(100)의 영상출력부에 투영되는 차량의 형태를 판별하고 상기 차량의 번호판과 차량의 영상을 영역별로 추출하여 마커(marker)로 구분하는 영상추출부(132)와, 투영된 카메라 영상에 스마트폰단말기(100)에 내장된 상기 차량 번호판의 정보와 일치하는 차량 정비 데이터를 차량의 영역별로 매칭되는 정보와 영상을 합성하는 영상합성부(141)와, 상기 스마트폰단말기(100)에 내장 기능을 가진 에스큐엘라이트 데이터베이스를 이용하여 개인의 차량 정보 이력 및 카테고리 정보를 구분하여 저장하고 관리하는 차량정보관리데이터베이스부(145)와, 스마트폰단말기(100)의 터치 동작을 이용하여 사용자가 영상에서 필요한 부분을 터치하여 차량 정비 정보를 확인할 수 있는 메뉴를 구성하고 서비스를 선택하도록 하는 영상터치부(142)를 더 포함한다.
또한 도 2c와 도 2d에서 보는 바와 같이 상기 데이터모듈(150)은 상기 영상검출부를 통해 전달받은 번호판 정보를 추적하기 위해 차량의 번호판을 특정벡터로 추출하는 영상분석부(51)와, 상기 영상분석부의 추출된 정보를 전달받아 상기 에스큐엘라이트부에서 보관하는 차량 정보를 통합하는 상황정보전송부(52)와, 에스큐엘라이트부(53)와, 상기 차량관리 서버로부터 전송받은 데이터를 변환하는 데이터 관리부(62)와, 상기 데이터 관리부의 정보를 전송받아 디스플레이하도록 제어하는 디스플레이부(61)로 구성된다.
여기에서 상기 데이터모듈(150)은 차량의 부분별 출력되는 차량 부품의 이미지 데이터와 상기 차량정비관리서버(200)로부터 전송받은 이미지 데이터를 관리하는 데이터관리모듈(50)로 구성되어, 상기 영상분석부(51) 등을 포함한다.
본 발명의 일실시예에 따른 상기 데이터관리모듈(50)은 차량 데이터 테이블을 구성하는 에스큐엘라이트부(SQLite)(53)와, 사용자에게 제공된 서비스 이용번호, 시간, 날짜, 장소, 차량 정비 센터, 차량 정비의 정보를 텍스트로 관리하는 서비스이력관리부(54)와, 상기 스마트폰단말기(100)의 카메라 영상과 데이터베이스의 정보, 상기 차량정비관리서버(200)에서 제공된 정보를 출력장치에 표시하고 터치동작이 가능하도록 표시하는 사용자 인터페이스를 구성하는 뷰어부(55)와, 차량의 정보, 사용자 정보, 서비스 접근 방법을 대화형태의 메뉴 구조로 구성한 서비스메뉴관리부(56)로 구성된다.
그리고 3세대 이상의 통신방식을 갖는 이동 통신 방법(3G)과 무선 통신(Wi-Fi) 방법을 이용하여 네트워크로 연결된 체인화 구조의 차량 정비 센터 등과 연결된 각 서버로부터 기록된 차량의 상세한 정비 및 수리 정보를 안전하게 전송받기 위해 상기 데이터전송모듈(170)은 와이파이(WIFI)통신을 위한 제1데이터전송부(171)와, 이동통신을 위한 제2데이터전송부(172)와, 상기 상황정보전송부를 통해 전달받은 데이터는 차량관리 서버로 전송하기 위해 데이터 패킷을 구성하고 암호화 번역하는 데이터 디코드/엔코드부(172)로 구성된다.
여기에서 도 2e에서 보는 바와 같이 본 발명의 일실시예에 따른 상기 데이터 전송모듈(170)은 상기 스마트폰단말기(100)가 상기 차량 관리서버(200) 및 차량서비스관리서버(300)와 안전하게 통신하기 위한 아이디와 패스워드를 관리하는 네트워크ID관리부(174)와, 상기 네트워크ID관리부를 통한 네트워크 통신 과정에서 독립적인 무선 인터넷 망의 TCP/IP로 연결하여 사용하기 위한 와이파이(Wi-Fi) 장치를 기동하도록 하는 와이파이(Wi-Fi)링커부(175)와, 상기 차량관리서버(200) 및 차량서비스관리서버(300)와 스마트폰단말기(100) 사이에서 무선 네트워크를 통해 개인정보를 포함한 데이터를 안전하게 송수신하기 위해 아이디와 패스워드를 암호화하는 과정을 포함하는 데이터패킷부(176)와, 상기 와이파이링커부를 통한 이동통신과 와이파이 무선 네트워크의 접속 상태를 감시하고 데이터의 송수신 상태를 감시하는 네트워크모니터링부(177)를 포함할 수 있다.
또한 도면에 표시되지 않았지만 본 발명의 일실시예에 따른 상기 스마트폰단말기(100)에는 추가적으로 메세지전송부가 포함되고, 상기 스마트폰단말기(100)에서 차량정비 서비스를 구동하는 동작부터 각 서버로부터 전송받은 서비스 정보에 대해 동작별로 이벤트를 구분하고 관리하는 서비스 이벤트 모듈과, 상기 서비스 이벤트 모듈에서 발생된 이벤트를 확인하고 상기 스마트폰단말기(100)의 동작, 서버와의 연결, 출력 장치를 확인하고 각 모듈을 연결하는 메시지 인식 모듈로 구성된다.
그리고 본 발명의 일실시예에 따른 상기 스마트폰단말기(100)에는 데이터 송수신부의 동작을 결정하고 서비스를 안전하게 전송받을 수 있는 통신망을 찾는 네트워크 인식 모듈과 상기 스마트폰단말기(100)의 명령을 실행하고 직접적인 명령을 제어하는 터치 프레임 모듈로 구성된다.
본 발명의 일실시예에 따른 상기 스마트폰단말기(100)는 상기 차량정비관리서버(200)로부터 전송받은 차량 정비 관리 정보와 차량서비스관리서버(300)로부터 전송받은 서비스 정보와 상기 스마트폰단말기(100)에서 처리된 영상 정보 및 차량 정비 데이터를 하나로 결합하여 영상이미지로 출력하는 영상출력부를 더 포함할 수 있다.
한편 차량정비관리서버(200)는 차량의 정비 서비스 일정, 부품 세부 정보를 포함하고, 차량의 정비 서비스, 수리 및 정비 기록을 관리하는 서버로서, 에이전트에 의해 수집된 데이터와 차량 정비 데이터의 유효성 검사와 정규화 과정을 담당하며, 중복된 데이터를 제거하고 최신 데이터로 업데이트를 실행하는 데이터 관리 모듈과, 상기 스마트폰단말기(100)의 어플리케이션을 통한 차량정비 서비스 요청 신호에 따라 아이디(ID)와 네트워크 ID를 이용하여 서비스에 소요되는 차량관리 데이터와 서비스 데이터를 데이터베이스에서 검색하는 데이터 검색 모듈과, 데이터의 이용현황과 서비스의 안전성을 검사하고 데이터의 접근성을 보장하며, 불법이용자의 데이터 접근을 차단하고 관리하는 로그 관리 모듈로 구성된다.
또한 도 3a에서 보는 바와 같이 상기 차량정비관리서버(200)는 차량정비관리서버(200)에 등록된 차량의 수리 및 정비 정보를 기록하고 관리하며, 사용자로부터 요청된 서비스 정보에 대한 상세한 항목을 검색하여 서비스에 필요한 절차와 예약에 필요한 정보를 제공하는 차량정보 처리부를 포함하고, 상기 차량정보 처리부는 상기 스마트폰단말기(100)에서 전송된 서비스 요청신호를 확인하고 소유차량의 기본적인 정보를 등록하는 사용자 등록 모듈(220)과, 상기 스마트폰단말기(100)로 인식된 차량의 영상에서 차량 전체 이미지를 포함하는 스틸 이미지, 추출된 차량의 앞, 뒤, 좌, 우의 스틸 이미지, 차량의 번호판에서 추출된 차량번호를 기본 정보로 사용자를 등록하는 절차에 따라 사용자의 정보를 자동으로 상기 차량정비관리서버(200)의 데이터베이스모듈(265)에 저장하는 차량 정보 등록 모듈(230)과, 차량 전체를 포함하는 스틸 이미지를 이용하여 차량의 차종을 확인하고 사용자의 주소지를 중심으로 서비스 지원에 필요한 차량 정비 센터 정보, 차량 정비 서비스를 받은 사용자들의 추천 정보를 연관 규칙 알고리즘으로 분석하여 서비스를 추천하기 위한 분석과정을 포함하는 연관 정보 관리 모듈(240)과, 상기 연관 정보 관리 모듈에서 분석이 완료된 정보를 커넥트에이전트모듈(210)에 전달하고 상기 커넥트에이전트모듈이 수집한 정보를 분석하여 서비스 요청자에게 필요한 서비스를 긴급, 일반 서비스로 구분하여 상기 스마트폰단말기(100)로 전송하는 서비스 추천 모듈(250)과, 상기 스마트폰단말기(100)에서 이루어진 추천 서비스 이용 상태나 사용자가 직접적으로 차량정비센터를 이용하면서 발생시킨 서비스 정보를 날짜, 장소, 정비 부분, 서비스 구분 항목으로 구분하여 상기 차량정비관리서버(200)의 데이터베이스에서 직접적으로 관리하는 서비스 이력 관리 모듈(260)을 포함한다.
여기에서 도 3b에서 보는 바와 같이 상기 커넥트에이전트모듈(210)은 상기 스마트폰단말기(100)의 네트워크에서 요청된 연결 신호를 확인하고, 네트워크 인터페이스를 연결하여 상기 스마트폰단말기(100)의 네트워크 ID를 상기 차량정비관리서버(200)와 연결하고 유지하는 커뮤니케이션관리부(Communication Management Function)(215)와, 상기 차량정비관리서버(200)의 네트워크의 개방에 필요한 인증절차를 처리하는 프로토콜관리부(Protocol Management Function)(214)와, 요청된 서비스 신호를 가지고 차량 제조사에서 차량의 기본 정보를 확인하는 커넥트에이전트부(Connect Agent Function)(212)와, 상기 차량정비관리서버(200)에서 해당 차량의 이전상태정보를 확인하여 차량의 정비에 필요한 부품정보, 운행상태 정보, 소모품의 가격정보, 정비에 소요되는 가격비교정보를 포함하는 정보를 수집하는 서비스 검색 모듈(213)과, 에이전트의 동작 상태를 모니터링하고, 에이전트의 활동 정보를 로그형태로 기록하여 서비스 정보의 주기적인 갱신을 수행하는 에이전트 관리 모듈(211)로 구성된다.
또한 도 3b, c에서 보는 바와 같이 본 발명의 일실시예에 따른 차량정비관리서버(200)는 등록된 사용자와 차량의 정보를 관리하는 등록관리부(221)와, 상기 스마트폰단말기(100)에 제공된 서비스이력을 ID별로 서비스 요청 일자, 서비스 내용, 서비스 사용유무, 서비스의 처리시간, 서비스 예약 상태, 서비스 위치 정보를 로그형태로 구성하여 관리하는 서비스이력관리부(231)와, 상기 스마트폰단말기(100)로 서비스 데이터를 전송하기 전에 데이터의 정확도를 검증하고 배치하는 데이터처리부(241)와, 상기 데이터처리부(241)와 연계하여 전송데이터의 안전성을 위해 데이터의 암호화, 송수신된 데이터 저장장치 관리, 서버 관리 로그 파일 관리 역할을 하는 데이터보안 및 관리부(251)로 구성된다.
그리고 상기 등록관리부(221)는 고객등록부(222)와 차량등록부(223)와 상기 고객과 차량의 연관관계를 설정하는 릴레이션관리부(224)로 구성되고, 상기 서비스이력관리부(231)는 유저요청부(232)와 유저의 위치등을 안내하는 위치서비스부(233)와 이전 서비스 이력을 저장하는 서비스이력관리부(234)로 구성되며, 상기 데이터처리부(241)는 데이터프로세싱부(242)와 데이터캐싱부(243)과 데이터스케듈링부(244)로 구성되고, 상기 데이터보안 및 관리부(251)는 데이터프로파일부(252)와 암호화부(253)와 데이터스토리지관리부(254)로 구성된다.
도 4에서 보는 바와 같이 차량서비스관리서버(300)는 차량 정비에 필요한 서비스 예약 및 서비스 환경을 관리하는 서버로서, 차량정비 센터에서 운영되는 정비서비스 항목과 비용, 부품, 엔지니어 정보를 관리하는 서비스 등록 인터페이스와 관리 인터페이스를 포함하는 서비스 등록 모듈(310)과, 상기 스마트폰단말기(100)와 차량 관리 서버로 전송된 서비스 정보를 시간별로 구분하여 관리하는 서비스 로그 관리 모듈(330)과, 서비스 스케쥴링 알고리즘을 이용하여 엔지니어의 차량 정비 소요시간과 일정을 모니터링하여 서비스 요청 정보에 맞는 일정을 배분하는 서비스 예약 모듈(350)로 구성된다.
따라서, 사용자의 차량을 상기 스마트폰단말기(100)의 카메라와 화면으로 실시간 관리하고 상기 차량정비관리서버(200)와 차량서비스관리서버(300)를 통하여 이전에 서비스된 수리정보를 함께 상기 스마트폰단말기(100)를 통해 제공받아 자신의 차량을 관리할 수 있다.
이하 본 발명의 실시를 위한 모바일 증강현실 기법을 이용한 차량 정비 관리 방법에 대하여 도면을 참조하여 자세히 설명한다.
도 4 내지 도 7에서 보는 바와 같이, 본 발명의 일실시예에 따른 모바일 증강현실 기법을 이용한 차량 정비 관리 방법은 먼저 제어모듈을 통하여 스마트폰단말기의 카메라 구동 정보를 분석하고, 서비스 이용자에게 필요한 서비스 정보를 처리한다(S451).
그리고 영상인식모듈과 데이터모듈을 통하여 상기 구동된 카메라를 통해 실시간 영상으로 차량의 모델을 추적하고, 차량 모델에서 차량의 각 영역별 구분과 차량 번호판을 추출한다(S452).
또한 각 영역별로 구분된 영상을 통하여 상기 스마트폰단말기의 터치기능과 결합된 화면으로 서비스별 우선순위로 디스플레이한다(S453).
계속하여 차량관리 서버에 차량 상세정보 요청의 경우(S410), 차량관리 서버에 있는 차량의 상세정보를 획득한다(S420).
그리고 상기 획득된 차량의 상세정보는 상기 스마트폰단말기에서 인식된 모델 정보와 차량정비관리서버와 차량서비스관리서버의 저장장치에 기록된 차량의 기본 정보를 획득한다(S454).
또한 상기 스마트폰단말기가 상기 상세 정보와 비교하여(S455), 상세정보를 결합한 정보를 표시장치에 대상물로 출력한다(S456).
계속하여 상기 출력 결과물은 상기 스마트폰단말기의 터치 메뉴와 결합하여(S457), 상기 차량관리서버와 서비스관리서버로부터 전송된 서비스 정보를 전달받아(S440), 정비를 원하는 차량의 각 부분에 대한 상세 서비스 항목을 표시한다(S458).
상기 차량 번호 영상 획득 단계(S452)이후에는 상기 카메라 영상에서 실시간으로 차량의 각 영역별 구분과 번호판의 숫자를 특징벡터 추출 알고리즘을 이용하여 추출하는 단계(S481)와, 상기 추출 알고리즘을 이용해 추출된 영상에서 각 영역별로 서비스 히스토리 매칭(S482)과 카테고리별로 이미지데이터 매칭(S483)을 수행하고 계속적인 차량번호판을 추적하기 위한 특징벡터 매칭단계(S484)와, 상기 특징벡터 매칭에 의한 차량번호 영상을 획득하여(S485) 상기 스마트폰단말기의 표시장치에 영상 이미지를 출력하는 단계(S486)로 이루어진다.
여기에서 상기 특징벡터 추출은 입력된 영상에서 색상채널간의 특징을 3차원 벡터 공간(I)으로 구분하고 48개의 색인값(c)에서 차량의 각 영역을 구분한다.
또한 상기 특징벡터 매칭은 추출된 차량의 번호판의 정보를 추적하여 카메라에서 차량의 위치와 전후좌우를 구분하는 단계를 포함한다.
또한 상기 스마트폰단말기에서 차량관리 서버로 전송된 차량 상세 정보 요청단계(S410) 이후에는 상기 스마트폰단말기에서 전송된 상세정보 요청으로 서비스 에이전트를 구동하는 단계(S411)와, 상기 서비스 에이전트는 차량관리 서버에서 서비스 필요한 정보를 수집하고 그 정보를 동기화된 데이터베이스와 연결하고 상기 스마트폰단말기와의 네트워크를 유지하여, 상기 서비스 에이전트는 명세 정보메시지로 서비스 처리하는 단계(S412, S413, S414)와, 상기 서비스 에이전트가 서비스 구분 메시지를 분리하여 서비스 정보를 수집하는 단계(S415)와, 상기 명세정보메시지는 고객의 정보, 차량의 정보, 최근의 서비스 이력으로 구성되며, 서비스 구분 메시지는 스마트폰단말기에서 보내온 차량의 정보를 확인하여 현재 필요한 서비스 정보를 수집하여 처리하는 단계(S416)와, 상기 차량서비스관리서버와 통신을 통해 서비스 상세 정보를 획득하여 구동 메시지를 전달하는 단계(S417)와, 상기 처리된 명세정보메시지와 서비스 구동 메시지를 차량상세정보 메시지 로 통합하여 하나의 메시지로 결합하는 단계(S418)와, 상기 하나의 메시지는 암호화하여(S419), 차량정비 센터의 서비스 예약 정보를 획득하는 서비스 정보처리 단계(S440)와 상기 스마트폰단말기로 상기 차량상세정보 메시지를 전송하는 차량상세정보획득 단계(S420)로 이루어진다.
상기 차량관리서버부터 차량 상세정보 요청 단계(S410)이후에는 상기 서비스 이미지 요청 메시지를 전달하고, 터치된 영역에 해당하는 서비스 정보를 출력하기 위해 상기 차량관리서버로부터 전송받은 이미지를 카테고리별 이미지 분류하는 단계(S433)와, 상기 차량의 모델과 선택된 영역에 맞는 차량 정보와 부품 이미지 정보를 매칭하는 단계(S435)와, 상기 이미지 정보를 하나의 정보로 통합하여 카메라 영상과 결합하는 이미지 정보 통합 단계(S437)와, 영상과 결합된 이미지를 서비스 예약 정보와 하나로 통합하여 차량정비를 원-스톱(One-Stop) 단계로 서비스받는 패키지 구성 단계(S439)와, 상기 획득된 패키지 구성 정보를 상기 스마트폰단말기의 표시장치에 대상물 출력하는 단계(S456)로 이루어진다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서 본 발명에서 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 스마트폰단말기 110 : 영상 출력 인터페이스
120 : 카메라모듈 130 : 영상인식모듈
150 : 데이터모듈 170 : 데이터전송모듈
195 : 제어모듈 200 : 차량정비관리서버
220 : 사용자 등록 모듈 230 : 차량 정보 등록 모듈
240 : 정보 관리 모듈 250 : 서비스 추천 모듈
260 : 서비스 이력 관리 모듈 300 : 차량서비스관리서버
310 : 서비스 등록 모듈 330 : 서비스 로그 관리 모듈
350 : 서비스 예약 모듈
120 : 카메라모듈 130 : 영상인식모듈
150 : 데이터모듈 170 : 데이터전송모듈
195 : 제어모듈 200 : 차량정비관리서버
220 : 사용자 등록 모듈 230 : 차량 정보 등록 모듈
240 : 정보 관리 모듈 250 : 서비스 추천 모듈
260 : 서비스 이력 관리 모듈 300 : 차량서비스관리서버
310 : 서비스 등록 모듈 330 : 서비스 로그 관리 모듈
350 : 서비스 예약 모듈
Claims (15)
- 카메라와 화면 터치 기능을 이용하여 차량의 번호판 영상을 인식하고 판독한 후, 인식된 차량의 부분별 정비 서비스 정보를 점검하는 정보 입력 인터페이스를 포함하고, 증강현실 기술이 결합된 개인 차량정비 서비스 인터페이스를 가지고 있는 스마트폰단말기와;
차량의 정비 서비스 일정, 부품 세부 정보를 포함하고, 차량의 정비 서비스, 수리 및 정비 기록을 관리하는 차량정비관리서버와;
차량 정비에 필요한 서비스 예약 및 서비스 환경을 관리하는 차량서비스관리서버;
를 포함하여, 사용자의 차량을 상기 스마트폰단말기의 카메라와 화면으로 실시간 관리하고 상기 차량정비관리서버와 차량서비스관리서버를 통하여 이전에 서비스된 수리정보를 함께 상기 스마트폰단말기를 통해 제공받아 자신의 차량을 관리하는 것을 특징으로 하는 모바일 증강현실 기법을 이용한 차량 정비 관리 시스템. - 제1항에 있어서,
상기 스마트폰단말기는,
카메라모듈과; 사용자에게 영상을 제공하는 영상 출력 인터페이스와; 차량 영상 정보를 인식 및 검출하는 영상인식모듈과; 상기 영상인식모듈을 통해 전달 받은 데이터를 분석하고 저장하는 데이터모듈과; 상기 데이터모듈로 부터 데이터를 전송받아 데이터를 암호화하고 번역하는 데이터전송모듈과; 상기 각 모듈을 제어하는 제어모듈;로 구성되되,
상기 영상인식모듈은, 차량 영상 정보를 인식하는 영상인식부와; 상기 영상인식부의 영상을 전달받아 검출하는 영상검출부와; 상기 디스플레이부의 제어를 받아 상기 차량관리 서버와 스마트폰단말기를 통해 전달된 영상을 합성하는 영상합성부와; 상기 영상합성부의 영상을 전달받고, 사용자의 정보를 입력받는 영상터치부;로 구성되고,
상기 데이터모듈은, 상기 영상검출부를 통해 전달받은 번호판 정보를 추적하기 위해 차량의 번호판을 특정벡터로 추출하는 영상분석부와; 상기 영상분석부의 추출된 정보를 전달받아 상기 에스큐엘라이트부에서 보관하는 차량 정보를 통합하는 상황정보전송부와; 에스큐엘라이트부와; 상기 차량관리 서버로부터 전송받은 데이터를 변환하는 데이터 관리부와; 상기 데이터 관리부의 정보를 전송받아 디스플레이하도록 제어하는 디스플레이부;로 구성되며,
상기 데이터전송모듈은 와이파이(WIFI)통신을 위한 제1데이터전송부와; 이동통신을 위한 제2데이터전송부와; 상기 상황정보전송부를 통해 전달받은 데이터는 차량관리 서버로 전송하기 위해 데이터 패킷을 구성하고 암호화 번역하는 데이터 디코드/엔코드부;로 구성되는 것을 특징으로 하는 모바일 증강현실 기법을 이용한 차량 정비 관리 시스템. - 제1항에 있어서,
상기 영상인식모듈은,
상기 스마트폰단말기의 카메라를 통하여 차량의 영상을 촬영하고 차량의 번호판 영상을 추출하여 인식하며 차량의 부분별 서비스 정보를 점검하도록 하는 사용자 인터페이스 기능을 포함하는 영상인식부와;
상기 스마트폰단말기의 영상출력부에 투영되는 차량의 형태를 판별하고 상기 차량의 번호판과 차량의 영상을 영역별로 추출하는 영상추출부와;
투영된 카메라 영상에 스마트폰단말기에 내장된 상기 차량 번호판의 정보와 일치하는 차량 정비 데이터를 차량의 영역별로 매칭되는 정보와 영상을 합성하는 영상합성부와;
상기 스마트폰단말기에 내장 기능을 가진 에스큐엘라이트 데이터베이스를 이용하여 개인의 차량 정보 이력 및 카테고리 정보를 구분하여 저장하고 관리하는 차량정보관리데이터베이스부와;
스마트폰단말기의 터치 동작을 이용하여 사용자가 영상에서 필요한 부분을 터치하여 차량 정비 정보를 확인할 수 있는 메뉴를 구성하고 서비스를 선택하도록 하는 영상터치부;
를 더 포함하여 구성되는 것을 특징으로 하는 모바일 증강현실 기법을 이용한 차량 정비 관리 시스템. - 제 1항에 있어서,
상기 스마트폰단말기는,
상기 카메라를 통해 획득된 영상에서 카메라의 방향을 변경하더라도 카메라의 영상 영역 안에 투영된 차량의 영상을 추적하는 영상추적부와;
상기 영상추출부에서 추출된 차량의 번호판 영상에서 차량의 번호를 문자로 추출하기 위해 특징 벡터 추출 방법을 적용하여 사용자의 차량 정보와 비교 판별하는 영상문자추출부;
를 포함하여 구성되는 것을 특징으로 하는 모바일 증강현실 기법을 이용한 차량 정비 관리 시스템. - 제 1항에 있어서,
상기 스마트폰단말기의 데이터모듈은,
차량의 부분별 출력되는 차량 부품의 이미지 데이터와 상기 차량정비관리서버로부터 전송받은 이미지 데이터를 관리하는 데이터관리모듈로 구성되되,
상기 데이터관리모듈은,
차량 데이터 테이블을 구성하는 에스큐엘라이트부(SQLite)와;
사용자에게 제공된 서비스 이용번호, 시간, 날짜, 장소, 차량 정비 센터, 차량 정비의 정보를 텍스트로 관리하는 서비스이력관리부와;
상기 스마트폰단말기의 카메라 영상과 데이터베이스의 정보, 상기 차량정비관리서버에서 제공된 정보를 출력장치에 표시하고 터치동작이 가능하도록 표시하는 사용자 인터페이스를 구성하는 뷰어부와;
차량의 정보, 사용자 정보, 서비스 접근 방법을 대화형태의 메뉴 구조로 구성한 서비스메뉴관리부;
를 포함하여 구성되는 것을 특징으로 하는 모바일 증강현실 기법을 이용한 차량 정비 관리 시스템. - 제 2항에 있어서,
상기 데이터 전송모듈은,
상기 스마트폰단말기가 상기 차량 관리서버 및 서비스관리 서버와 안전하게 통신하기 위한 아이디와 패스워드를 관리하는 네트워크ID관리부와;
상기 네트워크ID관리부를 통한 네트워크 통신 과정에서 독립적인 무선 인터넷 망의 TCP/IP로 연결하여 사용하기 위한 와이파이(Wi-Fi) 장치를 기동하도록 하는 와이파이(Wi-Fi)링커부와;
상기 차량관리서버 및 서비스관리서버와 스마트폰단말기 사이에서 무선 네트워크를 통해 개인정보를 포함한 데이터를 안전하게 송수신하기 위해 아이디와 패스워드를 암호화하는 과정을 포함하는 데이터패킷부와;
상기 와이파이링커부를 통한 이동통신과 와이파이 무선 네트워크의 접속 상태를 감시하고 데이터의 송수신 상태를 감시하는 네트워크모니터링부;
를 포함하여 구성되는 것을 특징으로 하는 모바일 증강현실 기법을 이용한 차량 정비 관리 시스템. - 제 1항에 있어서,
상기 차량 관리 서버는,
에이전트에 의해 수집된 데이터와 차량 정비 데이터의 유효성 검사와 정규화 과정을 담당하며, 중복된 데이터를 제거하고 최신 데이터로 업데이트를 실행하는 데이터 관리 모듈과;
상기 스마트폰단말기의 어플리케이션을 통한 차량정비 서비스 요청 신호에 따라 아이디(ID)와 네트워크 ID를 이용하여 서비스에 소요되는 차량관리 데이터와 서비스 데이터를 데이터베이스에서 검색하는 데이터 검색 모듈과;
데이터의 이용현황과 서비스의 안전성을 검사하고 데이터의 접근성을 보장하며, 불법이용자의 데이터 접근을 차단하고 관리하는 로그 관리 모듈;
을 포함하여 구성되는 것을 특징으로 하는 모바일 증강현실 기법을 이용한 차량 정비 관리 시스템. - 제 1항에 있어서,
상기 차량정비관리서버는,
차량정비관리서버에 등록된 차량의 수리 및 정비 정보를 기록하고 관리하며, 사용자로부터 요청된 서비스 정보에 대한 상세한 항목을 검색하여 서비스에 필요한 절차와 예약에 필요한 정보를 제공하는 차량정보 처리부;를 포함하고,
상기 차량정보 처리부는 상기 스마트폰단말기에서 전송된 서비스 요청신호를 확인하고 소유차량의 기본적인 정보를 등록하는 사용자 등록 모듈과;
상기 스마트폰단말기로 인식된 차량의 영상에서 차량 전체 이미지를 포함하는 스틸 이미지, 추출된 차량의 앞, 뒤, 좌, 우의 스틸 이미지, 차량의 번호판에서 추출된 차량번호를 기본 정보로 사용자를 등록하는 절차에 따라 사용자의 정보를 자동으로 상기 차량정비관리서버의 데이터베이스모듈에 저장하는 차량 정보 등록 모듈과;
차량 전체를 포함하는 스틸 이미지를 이용하여 차량의 차종을 확인하고 사용자의 주소지를 중심으로 서비스 지원에 필요한 차량 정비 센터 정보, 차량 정비 서비스를 받은 사용자들의 추천 정보를 연관 규칙 알고리즘으로 분석하여 서비스를 추천하기 위한 분석과정을 포함하는 연관 정보 관리 모듈과;
상기 연관 정보 관리 모듈에서 분석이 완료된 정보를 커넥트에이전트모듈에 전달하고 상기 커넥트에이전트모듈이 수집한 정보를 분석하여 서비스 요청자에게 필요한 서비스를 긴급, 일반 서비스로 구분하여 상기 스마트폰단말기로 전송하는 서비스 추천 모듈과;
상기 스마트폰단말기에서 이루어진 추천 서비스 이용 상태나 사용자가 직접적으로 차량정비센터를 이용하면서 발생시킨 서비스 정보를 날짜, 장소, 정비 부분, 서비스 구분 항목으로 구분하여 상기 차량정비관리서버의 데이터베이스에서 직접적으로 관리하는 서비스 이력 관리 모듈;
을 포함하여 구성되는 것을 특징으로 하는 모바일 증강현실 기법을 이용한 차량 정비 관리 시스템. - 제8항에 있어서,
상기 커넥트에이전트모듈은,
상기 스마트폰단말기의 네트워크에서 요청된 연결 신호를 확인하고, 네트워크 인터페이스를 연결하여 상기 스마트폰단말기의 네트워크 ID를 상기 차량정비관리서버와 연결하고 유지하는 커뮤니케이션관리부(Communication Management Function)와;
상기 차량정비관리서버의 네트워크의 개방에 필요한 인증절차를 처리하는 프로토콜관리부(Protocol Management Function)와;
요청된 서비스 신호를 가지고 차량 제조사에서 차량의 기본 정보를 확인하는 커넥트에이전트부(Connect Agent Function)와;
상기 차량정비관리서버에서 해당 차량의 이전상태정보를 확인하여 차량의 정비에 필요한 부품정보, 운행상태 정보, 소모품의 가격정보, 정비에 소요되는 가격비교정보를 포함하는 정보를 수집하는 서비스 검색 모듈과;
에이전트의 동작 상태를 모니터링하고, 에이전트의 활동 정보를 로그형태로 기록하여 서비스 정보의 주기적인 갱신을 수행하는 에이전트 관리 모듈;
을 포함하여 구성되는 것을 특징으로 하는 모바일 증강현실 기법을 이용한 차량 정비 관리 시스템. - 제 1항에 있어서,
상기 차량정비관리서버는,
등록된 사용자와 차량의 정보를 관리하는 등록관리부와;
상기 스마트폰단말기에 제공된 서비스이력을 ID별로 서비스 요청 일자, 서비스 내용, 서비스 사용유무, 서비스의 처리시간, 서비스 예약 상태, 서비스 위치 정보를 로그형태로 구성하여 관리하는 서비스이력관리부와;
상기 스마트폰단말기로 서비스 데이터를 전송하기 전에 데이터의 정확도를 검증하고 배치하는 데이터처리부와;
상기 데이터처리부와 연계하여 전송데이터의 안전성을 위해 데이터의 암호화, 송수신된 데이터 저장장치 관리, 서버 관리 로그 파일 관리 역할을 하는 데이터보안 및 관리부;
를 포함하여 구성되는 것을 특징으로 하는 모바일 증강현실 기법을 이용한 차량 정비 관리 시스템. - 제 1항에 있어서,
상기 차량서비스관리서버는,
차량정비 센터에서 운영되는 정비서비스 항목과 비용, 부품, 엔지니어 정보를 관리하는 서비스 등록 인터페이스와 관리 인터페이스를 포함하는 서비스 등록 모듈과;
상기 스마트폰단말기와 차량 관리 서버로 전송된 서비스 정보를 시간별로 구분하여 관리하는 서비스 로그 관리 모듈과;
서비스 스케쥴링 알고리즘을 이용하여 엔지니어의 차량 정비 소요시간과 일정을 모니터링하여 서비스 요청 정보에 맞는 일정을 배분하는 서비스 예약 모듈;
을 포함하여 구성되는 것을 특징으로 하는 모바일 증강현실 기법을 이용한 차량 정비 관리 시스템. - 제어모듈을 통하여 스마트폰단말기의 카메라 구동 정보를 분석하고, 서비스 이용자에게 필요한 서비스 정보를 처리하는 단계와;
영상인식모듈과 데이터모듈을 통하여 상기 구동된 카메라를 통해 실시간 영상으로 차량의 모델을 추적하고, 차량 모델에서 차량의 각 영역별 구분과 차량 번호판을 추출하기 위한 특징벡터 추출 단계와;
각 영역별로 구분된 영상을 통하여 상기 스마트폰단말기의 터치기능과 결합된 화면으로 서비스별 우선순위로 디스플레이하는 단계와;
차량관리 서버에 차량 상세정보 요청의 경우 차량관리 서버에 있는 차량의 상세정보를 획득하는 단계와;
상기 획득된 차량의 상세정보는 상기 스마트폰단말기에서 인식된 모델 정보와 차량정비관리서버와 차량서비스관리서버의 저장장치에 기록된 차량의 기본 정보를 획득하는단계와;
상기 스마트폰단말기가 상기 상세 정보와 비교하여 상세정보를 결합한 정보를 표시장치에 대상물로 출력하는 단계와;
상기 출력 결과물은 상기 스마트폰단말기의 터치 메뉴와 결합하여 차량관리서버와 서비스관리서버로부터 전송된 서비스 정보를 전달받아 정비를 원하는 차량의 각 부분에 대한 상세 서비스 항목을 표시하는 단계;
로 이루어지는 것을 특징으로 하는 모바일 증강현실 기법을 이용한 차량 정비 관리 방법. - 제12항에 있어서,
상기 차량 번호 영상 획득 단계이후에는,
상기 카메라 영상에서 실시간으로 차량의 각 영역별 구분과 번호판의 숫자를 특징벡터 추출 알고리즘을 이용하여 추출하는 단계와;
상기 추출 알고리즘을 이용해 추출된 영상에서 각 영역별로 서비스 히스토리 매칭과 카테고리별로 이미지데이터 매칭을 수행하고 계속적인 차량번호판을 추적하기 위한 특징벡터 매칭단계와;
상기 특징벡터 매칭에 의한 차량번호 영상을 획득하여 상기 스마트폰단말기의 표시장치에 영상 이미지를 출력하는 단계;
로 이루어지는 것을 특징으로 하는 모바일 증강현실 기법을 이용한 차량 정비 관리 방법. - 제12항에 있어서,
상기 스마트폰단말기에서 차량관리 서버로 전송된 차량 상세 정보 요청(410) 단계이후에는,
상기 스마트폰단말기에서 전송된 상세정보 요청으로 서비스 에이전트를 구동하는 단계와;
상기 서비스 에이전트는 차량관리 서버에서 서비스 필요한 정보를 수집하고 그 정보를 동기화된 데이터베이스와 연결하고 상기 스마트폰단말기와의 네트워크를 유지하여, 상기 서비스 에이전트는 명세 정보메시지로 서비스 처리하는 단계와;
상기 서비스 에이전트가 서비스 구분 메시지를 분리하여 서비스 정보를 수집하는 단계와;
상기 명세정보메시지는 고객의 정보, 차량의 정보, 최근의 서비스 이력으로 구성되며, 서비스 구분 메시지는 스마트폰단말기에서 보내온 차량의 정보를 확인하여 현재 필요한 서비스 정보를 수집하여 처리하는 단계와;
상기 차량서비스관리서버와 통신을 통해 서비스 상세 정보를 획득하여 구동 메시지를 전달하는 단계와;
상기 처리된 명세정보메시지와 서비스 구동 메시지를 차량상세정보 메시지 로 통합하여 하나의 메시지로 결합하는 단계와;
상기 하나의 메시지는 암호화하여 차량정비 센터의 서비스 예약 정보를 획득하는 서비스 정보처리 단계와 상기 스마트폰단말기로 상기 차량상세정보 메시지를 전송하는 차량상세정보획득 단계;
로 이루어지는 것을 특징으로 하는 모바일 증강현실 기법을 이용한 차량 정비 관리 방법. - 제12항에 있어서,
상기 차량관리서버부터 차량 상세정보 요청 단계이후에는,
상기 서비스 이미지 요청 메시지를 전달하고, 터치된 영역에 해당하는 서비스 정보를 출력하기 위해 상기 차량관리서버로부터 전송받은 이미지를 카테고리별 이미지 분류하는 단계와;
상기 차량의 모델과 선택된 영역에 맞는 차량 정보와 부품 이미지 정보를 매칭하는 단계와;
상기 이미지 정보를 하나의 정보로 통합하여 카메라 영상과 결합하는 이미지 정보 통합 단계와;
영상과 결합된 이미지를 서비스 예약 정보와 하나로 통합하여 차량정비를 원-스톱(One-Stop) 단계로 서비스받는 패키지 구성 단계와;
상기 획득된 패키지 구성 정보를 상기 스마트폰단말기의 표시장치에 대상물 출력하는 단계;
로 이루어지는 것을 특징으로 하는 모바일 증강현실 기법을 이용한 차량 정비 관리 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100128923A KR101171321B1 (ko) | 2010-12-16 | 2010-12-16 | 모바일 증강현실 기법을 이용한 차량 정비 관리 시스템 및 그 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100128923A KR101171321B1 (ko) | 2010-12-16 | 2010-12-16 | 모바일 증강현실 기법을 이용한 차량 정비 관리 시스템 및 그 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20120075580A true KR20120075580A (ko) | 2012-07-09 |
| KR101171321B1 KR101171321B1 (ko) | 2012-08-10 |
Family
ID=46709435
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020100128923A KR101171321B1 (ko) | 2010-12-16 | 2010-12-16 | 모바일 증강현실 기법을 이용한 차량 정비 관리 시스템 및 그 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101171321B1 (ko) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101357598B1 (ko) * | 2013-01-29 | 2014-02-06 | 자동차부품연구원 | 증강현실을 이용한 차량 탑승자 구조 정보 제공 방법 |
| WO2014181947A1 (ko) * | 2013-05-10 | 2014-11-13 | 한국기술교육대학교 산학협력단 | Sns 서버를 이용한 기기 참여 기반의 전자기기 애프터서비스 제공 방법 |
| KR20150001580A (ko) * | 2013-06-25 | 2015-01-06 | 한양대학교 산학협력단 | 실제 객체를 증강하는 방법, 장치 및 컴퓨터 프로그램 제품 |
| CN107428252A (zh) * | 2015-03-16 | 2017-12-01 | 法雷奥开关和传感器有限责任公司 | 用于在自主驾驶模式期间操作机动车辆的通信装置的方法，通信装置以及机动车辆 |
| CN109598808A (zh) * | 2018-12-28 | 2019-04-09 | 山东易构软件技术股份有限公司 | 一种基于现实增强头显设备的高速公路收费***及方法 |
| KR102189638B1 (ko) * | 2019-11-20 | 2020-12-11 | 한국교통대학교산학협력단 | 정비원 단말기를 이용한 전동차 유지보수 시스템 및 방법 |
| CN113420949A (zh) * | 2021-04-15 | 2021-09-21 | 大唐佛山热电有限责任公司 | 一种基于vr和数字技术的电厂智慧工地管理***和方法 |
| WO2022050599A1 (ko) * | 2020-09-07 | 2022-03-10 | 삼성전자 주식회사 | 카메라의 신호 라인을 감소시킨 전자 장치 |
| US11302217B2 (en) | 2019-01-17 | 2022-04-12 | Toyota Motor North America, Inc. | Augmented reality dealer vehicle training manual |
| KR102419018B1 (ko) * | 2021-08-05 | 2022-07-08 | 한화시스템 주식회사 | 항공기 정보 관리 시스템 및 항공기 정비방법 |
| KR102455444B1 (ko) * | 2022-07-10 | 2022-10-18 | 강내서비스기아오토큐 주식회사 | 차량 정비 관리 시스템 |
| WO2023075308A1 (ko) * | 2021-10-26 | 2023-05-04 | (주)메가플랜 | 제품의 정비를 가이드 하는 전자 장치 및 전자 장치의 동작 방법 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101499605B1 (ko) * | 2013-02-05 | 2015-03-09 | 인포뱅크 주식회사 | 단말기, 서버 장치 및 이들의 동작 방법 |
| KR102312017B1 (ko) | 2020-03-03 | 2021-10-14 | 주식회사 코아소프트 | 대화형 증강현실 콘텐츠 메시지의 커뮤니케이션 장치 |
-
2010
- 2010-12-16 KR KR1020100128923A patent/KR101171321B1/ko active IP Right Grant
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101357598B1 (ko) * | 2013-01-29 | 2014-02-06 | 자동차부품연구원 | 증강현실을 이용한 차량 탑승자 구조 정보 제공 방법 |
| WO2014181947A1 (ko) * | 2013-05-10 | 2014-11-13 | 한국기술교육대학교 산학협력단 | Sns 서버를 이용한 기기 참여 기반의 전자기기 애프터서비스 제공 방법 |
| KR20150001580A (ko) * | 2013-06-25 | 2015-01-06 | 한양대학교 산학협력단 | 실제 객체를 증강하는 방법, 장치 및 컴퓨터 프로그램 제품 |
| CN107428252A (zh) * | 2015-03-16 | 2017-12-01 | 法雷奥开关和传感器有限责任公司 | 用于在自主驾驶模式期间操作机动车辆的通信装置的方法，通信装置以及机动车辆 |
| KR20170140169A (ko) * | 2015-03-16 | 2017-12-20 | 발레오 샬터 운트 센소렌 게엠베아 | 자율 주행 모드 동안의 자동차용 통신 장치를 작동시키기 위한 방법, 통신 장치 및 자동차 |
| CN109598808A (zh) * | 2018-12-28 | 2019-04-09 | 山东易构软件技术股份有限公司 | 一种基于现实增强头显设备的高速公路收费***及方法 |
| US11302217B2 (en) | 2019-01-17 | 2022-04-12 | Toyota Motor North America, Inc. | Augmented reality dealer vehicle training manual |
| KR102189638B1 (ko) * | 2019-11-20 | 2020-12-11 | 한국교통대학교산학협력단 | 정비원 단말기를 이용한 전동차 유지보수 시스템 및 방법 |
| WO2022050599A1 (ko) * | 2020-09-07 | 2022-03-10 | 삼성전자 주식회사 | 카메라의 신호 라인을 감소시킨 전자 장치 |
| CN113420949A (zh) * | 2021-04-15 | 2021-09-21 | 大唐佛山热电有限责任公司 | 一种基于vr和数字技术的电厂智慧工地管理***和方法 |
| KR102419018B1 (ko) * | 2021-08-05 | 2022-07-08 | 한화시스템 주식회사 | 항공기 정보 관리 시스템 및 항공기 정비방법 |
| WO2023075308A1 (ko) * | 2021-10-26 | 2023-05-04 | (주)메가플랜 | 제품의 정비를 가이드 하는 전자 장치 및 전자 장치의 동작 방법 |
| KR102455444B1 (ko) * | 2022-07-10 | 2022-10-18 | 강내서비스기아오토큐 주식회사 | 차량 정비 관리 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101171321B1 (ko) | 2012-08-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101171321B1 (ko) | 모바일 증강현실 기법을 이용한 차량 정비 관리 시스템 및 그 방법 | |
| KR102247410B1 (ko) | 모바일 클라우드 서비스 아키텍처 | |
| JP5823050B2 (ja) | センサー共有制御装置、方法、コンピュータ・プログラム | |
| US20130124672A1 (en) | System and Method for Delivering Media Assets in a Cloud Environment | |
| CN106464794B (zh) | 摄像装置和摄像*** | |
| KR20150138735A (ko) | 전자 장치의 비콘 부가 서비스 방법 및 그 전자 장치 | |
| US11934541B2 (en) | Securely sharing selected fields in a blockchain with runtime access determination | |
| KR101391370B1 (ko) | 영상수집 및 분배 서버를 이용한 영상 다중전송시스템 및 그 방법 | |
| KR20120108501A (ko) | 식별 코드 운용 시스템과 방법 및 이를 지원하는 장치 | |
| CN106203125A (zh) | 操作***及其安全检测方法、安全检测装置和终端 | |
| JP2018512106A (ja) | スマートイメージを使用したフィッシング対策のための方法およびシステム | |
| CN107944461A (zh) | 一种数据处理方法、装置和设备 | |
| KR101326789B1 (ko) | 에스엘에이 수준에서 맞춤형 클라우드 서비스 분배를 위한 다중 상황인지 시스템 및 그 방법 | |
| KR20130024266A (ko) | 멀티 코드 생성 시스템과 방법 및 이를 지원하는 장치 | |
| CN106372943A (zh) | 一种消息处理的方法和装置 | |
| US11374936B2 (en) | System, device, and method for transferring security access permissions between in-camera users | |
| KR20130049221A (ko) | 순찰 지원 시스템 및 방법과 이를 지원하는 장치 및 단말기 | |
| US10075452B2 (en) | Distributed content uploading and validation | |
| KR100955573B1 (ko) | 편의 서비스 인증 방법 및 시스템 | |
| CN106095781A (zh) | 恶意网站识别方法及装置 | |
| KR20190088731A (ko) | 모바일 기반 이벤트 영상 관리 시스템 | |
| KR101329421B1 (ko) | Ｍ2ｍ 서비스를 위한 라우터, 방법, 및 기록 매체 | |
| US20210377580A1 (en) | Live or local environmental awareness | |
| KR20180080600A (ko) | 미디어 콘텐츠 추천 장치 및 방법 | |
| JP2022003327A (ja) | 端末を測位するための方法、装置、電子デバイス、コンピュータ可読記憶媒体及びコンピュータプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20151214 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20160701 Year of fee payment: 5 |