KR20220098774A - 이동 단말 장치를 사용하는 차량으로 원격 제어 방식의 주차 기동을 실행하기 위한 방법 및 시스템 - Google Patents
이동 단말 장치를 사용하는 차량으로 원격 제어 방식의 주차 기동을 실행하기 위한 방법 및 시스템 Download PDFInfo
- Publication number
- KR20220098774A KR20220098774A KR1020227019395A KR20227019395A KR20220098774A KR 20220098774 A KR20220098774 A KR 20220098774A KR 1020227019395 A KR1020227019395 A KR 1020227019395A KR 20227019395 A KR20227019395 A KR 20227019395A KR 20220098774 A KR20220098774 A KR 20220098774A
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- mobile terminal
- terminal device
- parking
- maneuver
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000033001 locomotion Effects 0.000 claims abstract description 49
- 238000001514 detection method Methods 0.000 claims description 16
- 238000005259 measurement Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 11
- 230000008901 benefit Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D15/00—Steering not otherwise provided for
- B62D15/02—Steering position indicators ; Steering position determination; Steering aids
- B62D15/027—Parking aids, e.g. instruction means
- B62D15/0285—Parking performed automatically
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/06—Automatic manoeuvring for parking
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D1/00—Steering controls, i.e. means for initiating a change of direction of the vehicle
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2300/00—Purposes or special features of road vehicle drive control systems
- B60Y2300/06—Automatic manoeuvring for parking
Landscapes
- Engineering & Computer Science (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Aviation & Aerospace Engineering (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Traffic Control Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Selective Calling Equipment (AREA)
Abstract
본 발명은, 이동 단말 장치를 소지한 사용자가 차량 외부에 있는 상태에서, 차량으로 원격 제어 방식의 주차 기동을 실행하기 위한 방법에 관한 것으로서, 이 방법은 차량의 운전자 보조 시스템을 이용하여 주차 기동을 위한 궤적을 계획하는 단계, 운전자 보조 시스템을 이용하여 계획된 궤적을 따라 차량을 기동하는 단계, 이동 단말 장치의 카메라를 이용하여 차량 및 차량의 주변 환경을 설명하는 이미지 데이터를 검출하는 단계, 및 이미지 데이터를 참조하여 이동 단말 장치의 디스플레이 장치상에 디스플레이를 제공하는 단계를 포함하며, 이때 이동 단말 장치에서 사용자에 의해 실행되는 그리고 계획된 궤적을 따르는 기동 동안 차량의 움직임을 설명하는 조작 입력이 이동 단말 장치에 의해 인식되는 동안에는 계획된 궤적을 따르는 기동이 실행되며, 그렇지 않은 경우에는 기동이 중단된다.
Description
본 발명은, 이동 단말 장치를 소지한 사용자가 차량 외부에 있는 상태에서, 차량으로 원격 제어 방식의 주차 기동을 실행하기 위한 방법에 관한 것이다. 이 방법은, 주차 기동을 위한 궤적을 계획하는 단계 및 차량의 운전자 보조 시스템을 이용하여 계획된 궤적을 따라 차량을 기동하는 단계를 포함한다. 더욱이, 이 방법은, 이동 단말 장치의 카메라를 이용하여 차량 및 차량 주변 환경을 설명하는 이미지 데이터를 검출하는 단계를 포함한다. 또한, 이 방법은, 이미지 데이터를 참조하여 이동 단말 장치의 디스플레이 장치상에 디스플레이를 제공하는 단계를 포함한다. 더 나아가, 본 발명은, 차량으로 원격 제어 방식의 주차 기동을 실행하기 위한 시스템과도 관련이 있다.
차량 작동 중에 사용자 또는 운전자를 지원하는 상이한 운전자 보조 시스템이 종래 기술로부터 공지되어 있다. 본 경우에는, 소위 원격 제어 방식의 주차 기동을 실행할 수 있는 운전자 보조 시스템 또는 시스템이 관심을 끌고 있다. 이와 같은 주차 기동에서 차량은 운전자 보조 시스템을 이용하여 예를 들어 주차 공간 내로 기동될 수 있다. 주차 기동 동안 차량의 사용자 또는 운전자는 차량 외부에 있다. 이와 같은 자동화된 주차 기동을 실행할 때에는 이동 단말 장치에서 사용자에 의해 상응하는 조작 동작이 실행된다.
이 목적을 위해, 예를 들어 이동 단말 장치에서 상응하는 버튼이 연속으로 눌러지는 것이 종래 기술로부터 공지되어 있다. 더욱이, 이동 단말 장치로서 스마트폰이 사용되고 스마트폰의 터치 감응형 스크린상에서 상응하는 조작 입력이 실행되는 것도 종래 기술로부터 공지되어 있다. 예를 들어, 하나의 손가락으로 원형의 와이핑 동작(wiping motion)이 실행될 수 있다. 이 조작 입력이 수행되는 한, 운전자 보조 시스템을 이용하여 자동화된 주차 기동이 실행된다. 조작 입력이 수행되지 않으면, 주행 기동 또는 주차 기동이 중단되고 차량은 제동된다. 이동 단말 장치 및 그에 상응하는 이동 단말 장치에서의 조작에 의해서는, 외견상 데드맨 스위치(deadman switch)가 실현되고, 이로 인해서는 주차 기동 동안 기능적 안전이 보장될 수 있다. 이와 같은 조작 동작을 전체 주차 기동 동안 실행해야만 하는 사용자에게는 이와 같은 조작 동작이 불편한 것으로 느껴질 수 있다. 이와 같은 경우는 특히 실행된 주차 기동이 미리 결정된 기간, 예를 들어 20초보다 오래 지속하는 경우이다.
이와 같은 문제점을 해결하기 위하여, 스마트폰이 이동 단말 장치로서 사용되는 시스템이 종래 기술로부터 공지되어 있다. 차량 또는 차량 주변 환경을 설명하는 이미지의 시간적 시퀀스가 스마트폰의 카메라에 의해 검출될 수 있다. 이 경우에는 또한, 검출된 이미지 내에서 차량이 충분한 방식으로 검출되었는지의 여부도 체크될 수 있다. 예를 들어, 전체 이미지 콘텐츠에서 차량 이미지의 일부가 사전 설정될 수 있는 임계값 위에 또는 아래에 놓여 있으면, 자율적으로 제어되는 차량의 전진 동작이 차단되거나 중단될 수 있다. 이와 같은 방법은 예를 들어 DE 10 2012 016 868 A1호에 개시되어 있다.
더욱이, 이동 단말 장치 또는 스마트폰으로 촬영되는 이미지가 주차 영역 또는 상응하는 공간을 측정하기 위해 사용되는 방법도 종래 기술로부터 공지되어 있다. 이 목적을 위해, EP 3 101 593 A1호는 차량이 공간에 맞는지의 여부를 결정하기 위한 방법을 설명한다. 이 방법은, 차량이 이동해야만 하는 공간의 이미지를 검출하는 단계 및 이 이미지로부터 공간의 3차원 표현을 시뮬레이션하는 단계를 포함한다. 또한, 이 방법은 3차원 표현을 사용해서 공간의 치수를 결정하는 단계 및 공간의 치수를 차량의 치수와 비교하는 단계를 포함한다.
본 발명의 과제는, 서두에 언급된 유형의 원격 제어 방식의 주차 기동이 어떻게 기능적 안전을 유지하면서 사용자를 위해 더욱 편리하게 실행될 수 있는지에 대한 해결책을 제시하는 것이다.
상기 과제는 본 발명에 따라 독립 청구항들에 따른 특징부들을 갖는 방법에 의해서 그리고 시스템에 의해서 해결된다. 본 발명의 바람직한 개선예들은 종속 청구항들의 대상이다.
본 발명에 따른 방법은 차량으로 원격 제어 방식의 주차 기동을 실행하기 위해 이용되며, 이 경우 이동 단말 장치를 소지한 사용자는 차량 외부에 있다. 이 방법은 차량의 운전자 보조 시스템을 이용하여 주차 기동을 위한 궤적을 계획하는 단계를 포함한다. 더욱이, 이 방법은 운전자 보조 시스템을 이용하여 계획된 궤적을 따라 차량을 기동하는 단계를 포함한다. 또한, 이 방법은 이동 단말 장치의 카메라를 이용하여 차량 및 차량 주변 환경을 설명하는 이미지 데이터를 검출하는 단계 및 이미지 데이터를 참조하여 이동 단말 장치의 디스플레이 장치상에 디스플레이를 제공하는 단계를 포함한다. 이때, 이동 단말 장치에서 사용자에 의해 실행되는 그리고 계획된 궤적을 따르는 기동 동안 차량의 움직임을 설명하는 조작 입력이 이동 단말 장치에 의해 인식되는 동안에는 계획된 궤적을 따르는 기동이 실행되며, 그렇지 않은 경우에는 기동이 중단된다.
이 방법의 도움으로는, 원격 제어 방식의 주차 기동이 실행되어야만 한다. 이와 같은 주차 기동은 예를 들어 차량이 주차 공간 내로 기동되는 파킹-인 기동일 수 있다. 또한, 주차 기동은 차량이 주차 공간 밖으로 기동되는 파킹-아웃 기동일 수도 있다. 주차 기동 동안 차량은 운전자 보조 시스템에 의해 자동화되거나 자율적으로 기동된다. 이와 같은 상황은, 운전자 보조 시스템이 차량의 종 방향 안내 및 횡 방향 안내에 개입할 수 있다는 것을 의미한다. 주차 기동을 위해서는, 운전자 보조 시스템을 이용하여 궤적이 계획된다. 이 목적을 위해, 예를 들어 하나 또는 복수의 주변 환경 센서를 이용하여 차량의 주변 환경을 설명하는 센서 데이터가 제공될 수 있다. 특히, 센서 데이터를 기반으로 운전자 보조 시스템을 이용하여 물체 또는 장애물 그리고 차량 주변 환경에서의 이 물체 또는 장애물의 위치가 감지될 수 있다. 그 다음에는, 감지된 물체 및 공지된 차량 치수를 토대로 하여 주차 기동을 위한 궤적이 계획될 수 있다.
주차 기동 동안 차량의 사용자 또는 운전자는 차량 외부에 있다. 사용자는 주차 기동 동안 한 손 또는 두 손으로 이동 단말 장치를 잡을 수 있다. 이동 단말 장치는 특히 스마트폰, 태블릿 컴퓨터 등이다. 이동 단말 장치는, 차량 및 차량의 주변 환경을 설명하는 이미지 데이터 또는 일련의 이미지를 촬영할 수 있는 카메라를 포함한다. 더욱이, 이동 단말 장치는 상응하는 디스플레이가 제공될 수 있는 디스플레이 장치 또는 디스플레이를 포함한다. 예를 들어, 이동 단말 장치의 카메라로써 촬영되는 이미지 데이터는 디스플레이 장치상에 연속으로 표시될 수 있다. 이 경우에는, 주차 기동 동안 차량이 이동 단말 장치의 카메라의 검출 범위 내에 위치하는지의 여부가 공지된 방식으로 체크될 수 있다. 다시 말하자면, 차량의 예정된 영역이 이동 단말 장치의 카메라로써 촬영되는지 그리고/또는 디스플레이 장치상에 표시되는지의 여부가 체크될 수 있다. 이와 같은 조건이 충족되지 않으면 주차 기동이 중단될 수 있다. 이 목적을 위해서는, 이미지 데이터 내에서 차량이 인식되는 공지된 이미지 처리 방법 또는 물체 인식 방법이 이용될 수 있다.
또한, 자동화된 또는 자율 주차 기동 동안 사용자에 의해 이동 단말 장치에서 또는 이동 단말 장치로 예정된 조작 입력이 실행되는 것이 제안되었다. 이 조작 입력이 중단되면, 주차 기동이 중단될 수 있고 차량이 제동될 수 있다. 이 경우, 본 발명에 따라서는, 사용자에 의해 실행되는 조작 입력이 계획된 궤적을 따르는 기동 동안의 차량 움직임을 설명하는 것이 제안되었다. 다시 말하자면, 주차 기동 동안에는 사용자에 의해 예정된 조작 입력이 실행될 필요가 있다. 이 조작 입력은 계획된 주차 기동에 대해 개별적으로 사전 설정될 수 있다. 실행된 조작 입력은 자율적으로 실행되는 주차 기동 동안의 차량 움직임을 설명할 수 있다. 사용자에 의해서는, 조작 입력 동안 특히 계획된 궤적을 따르는 이동 동작 또는 실제로 실행된 궤적을 이동 단말 장치상에 이미지화하는 동작이 실행될 수 있다. 조작 입력 동안, 사용자에 의해서는 주차 기동을 실행하는 동안의 차량 움직임이 흡사 시뮬레이션 되거나 모방될 수 있다.
사용자의 조작 입력이 이와 같은 예정된 조작 입력과 상이한 경우에는, 차량의 기동 또는 원격 제어 방식의 주차 기동의 실행이 중단될 수 있다. 조작 동작을 실행하는 동안 사용자는 흡사 자신이 이동 단말 장치를 이용하여 주차 기동 동안 차량을 능동적으로 제어할 수 있다는 느낌을 전달받는다. 이와 같은 방식으로는, 사용자가 전체 주차 기동 동안 차량의 움직임과 차량 주변 환경을 모니터링하는 상황에 도달할 수 있다. 다시 말하자면, 사용자가 주차 기동에 주의를 기울이는 상황이 보장될 수 있다. 또한, 예를 들어 버튼이 눌러지거나 주차 기동과 무관한 움직임이 이동 단말 장치상에서 연속으로 실행되는 공지된 방법에 비해, 사용자가 조작 입력을 불편하지 않게 느끼는 장점도 나타난다. 따라서, 원격 제어 방식의 주차 기동 동안에는 기능적 안전이 보장될 수 있고 데드맨 스위치의 기능이 제공될 수 있다.
조작 입력 동안에는, 조작 입력을 설명하는 데이터가 이동 단말 장치로부터 운전자 보조 시스템으로 연속으로 전송될 수 있다. 대안적으로 또는 추가로, 운전자 보조 시스템에 의해서는, 계획된 궤적 상에서의 차량의 위치를 설명하는 데이터가 이동 단말 장치에 의해 이동 단말 장치로 전송될 수 있다. 따라서, 조작 입력이 차량의 움직임을 설명하는지의 여부 또는 조작 입력에 의해서 차량의 움직임이 시뮬레이션되는지의 여부가 체크될 수 있다.
바람직하게는, 계획된 궤적을 설명하는 궤적 기호가 이동 단말 장치의 디스플레이 내로 페이드-인(fade-in)된다. 이미 설명된 바와 같이, 이동 단말 장치의 카메라로써 촬영되는 이미지 데이터를 토대로 하여 디스플레이가 제공될 수 있다. 다시 말해, 이 디스플레이는 - 스마트폰으로 사진을 촬영할 때 알 수 있는 바와 같이 - 주변 환경 및 차량을 보여줄 수 있다. 이 디스플레이 내로는 추가로 궤적 기호도 페이드-인될 수 있다. 다시 말해, 궤적 기호가 표시된 이미지 데이터에 중첩될 수 있다. 궤적 기호는 곡선의 형상을 구비할 수 있으며, 자율 주차 기동 동안 차량이 이동하는 궤적을 설명할 수 있다. 또한, 궤적 기호는 주차 기동 동안 차량의 주행 방향을 설명하는 상응하는 화살표를 구비할 수 있다. 궤적 기호는 이동 단말 장치 또는 이동 단말 장치의 컴퓨팅 장치를 이용하여 결정될 수 있다. 이 경우에는, 계획된 궤적을 설명하는 상응하는 데이터가 운전자 보조 시스템으로부터 이동 단말 장치로 전송되는 것이 제안될 수 있다. 그 다음에는, 주변 환경 및 차량의 2차원적 표현을 고려하여 이동 단말 장치의 컴퓨팅 장치에 의해 디스플레이 장치상에 궤적 기호가 페이드-인될 수 있다. 궤적 기호에 의해서는, 사용자가 조작 입력을 어떻게 실행해야만 하는지가 흡사 사용자에게 사전 설정된다. 따라서, 사용자가 원격 제어 방식의 주차 기동 동안 필요한 조작 입력을 실행하는 것이 보장될 수 있다.
일 실시예에 따르면, 이동 단말 장치의 검출 장치를 이용한 사용자의 하나 이상의 손가락에 의한 와이핑 동작이 조작 입력으로서 인식되는 경우에 기동이 실행되며, 이때 와이핑 동작은 계획된 궤적을 따르는 차량의 움직임을 설명한다. 다시 말하자면, 이동 단말 장치의 검출 장치를 이용하여 조작 입력으로서 와이핑 동작이 검출될 수 있다. 이와 같은 와이핑 동작에서 사용자는 하나 이상의 손가락으로 검출 장치를 따라 스쳐갈 수 있다. 검출 장치는 특히 이동 단말 장치 또는 스마트폰의 터치 감응형 스크린의 부분일 수 있으며, 이 경우 터치 감응형 스크린은 동시에 이동 단말 장치의 디스플레이 장치를 포함한다. 이와 같은 와이핑 동작은 종래 기술로부터 공지된 와이핑 동작에 비해, 주차 기동을 설명하고 사용자에게 차량을 능동적으로 제어하고 있는 인상이 전달된다는 장점을 갖는다.
전술된 바와 같이, 이동 단말 장치의 상기 디스플레이 장치상에 궤적 기호가 페이드-인될 수 있거나 궤적 기호가 표시된 이미지 데이터에 중첩될 수 있다. 이 경우에는 특히, 와이핑 동작이 궤적 기호를 따라 실행되는 것이 제안되었다. 다시 말해, 조작 입력의 경우 또는 와이핑 동작의 경우에는 표시되었거나 페이드-인된 궤적 기호가 흡사 손가락으로 추적될 수 있다. 이 경우에는 또한, 궤적 기호에 추가로 위치 기호가 페이드-인되는 것도 제안될 수 있다. 이 위치 기호는 궤적 상에서의 차량의 현재 위치를 설명할 수 있다. 자율 주차 기동 동안에는 위치 기호의 위치가 궤적을 따라 변할 수 있다. 궤적과 관련하여 차량의 현재 위치를 설명하는 데이터가 운전자 보조 시스템으로부터 이동 단말 장치로 전송될 수 있다. 그 다음에, 이 데이터를 토대로 해서 이동 단말 장치를 이용하여 위치 기호가 결정되고 페이드-인될 수 있다. 위치 기호에 의해서는, 사용자가 자신의 손가락을 어디에 위치시켜야 하는지가 조작 입력을 위해 사용자에게 흡사 제공된다. 이에 대해 대안적으로는, 사용자의 조작 입력 또는 와이핑 동작에 의해 상기 위치 기호가 궤적 기호를 따라 이동될 수 있는 것이 제안될 수 있다. 따라서, 조작 입력은 간단하고 직관적인 방식으로 사용자에게 사전에 제공된다. 또한, 조작 입력이 사양에 적합하게 실행되는지의 여부도 간단한 방식으로 체크될 수 있다. 와이핑 동작이 표시된 궤적 기호 또는 표시된 위치 기호와 상이하면, 주차 기동이 중단될 수 있다.
와이핑 동작이 페이드-인된 궤적 기호와 확연하게 상이하면, 자율 주차 기동이 중단될 수 있다. 예를 들어 사용자가 하나 이상의 손가락으로 검출 장치상에서 임의의 와이핑 동작을 실행하면, 주차 기동이 중단될 수 있다. 마찬가지로, 사용자가 검출 장치 또는 터치 감응형 스크린으로부터 하나 이상의 손가락을 떼는 경우에도 주차 기동이 중단될 수 있다. 주차 기동이 중단되면, 이와 같은 상황에 상응하는 정보가 사용자에게 제공될 수 있다. 그 다음에, 사용자가 조작 입력을 실행하거나 속행하면, 주차 기동 또는 운전 기동이 재차 속행될 수 있다.
대안적인 일 실시예에 따르면, 이동 단말 장치의 움직임이 조작 입력으로서 인식되면 기동이 실행되며, 이 경우 이동 단말 장치의 움직임은 계획된 궤적을 따르는 차량의 움직임을 설명한다. 조작 입력을 실행하는 다른 일 변형예는, 전체 이동 단말 장치 또는 전체 스마트폰을 이동시키는 것이다. 다시 말해, 자율 주차 기동의 실행 동안에는 사용자에 의해 차량의 방향으로 향하게 되는 전체 이동 단말 장치가 이동될 수 있으며, 이 경우 이때 실행되는 조작 입력에 의해서는 주차 기동 동안의 차량 움직임이 모방된다. 이 경우에도, 이 조작 입력 동안 차량의 예정된 부분이 이동 단말 장치의 카메라에 의해 검출되는지의 여부가 연속으로 체크되는 것이 제안될 수 있다. 이와 같은 조건이 충족되지 않으면, 주차 기동이 중단될 수 있다. 따라서, 사용자가 이동 단말 장치의 움직임에 의해서 차량을 제어할 수 있다는 내용이 사용자에게 흡사 전달된다. 이와 같은 방식에 의해서도 주차 기동 동안 기능적 안전이 보장될 수 있다. 이동 단말 장치 또는 스마트폰의 움직임은 이동 단말 장치의 하나 이상의 동작 센서에 의해서 연속으로 결정될 수 있다. 하나 이상의 동작 센서에 의해서는 움직임, 가속도 및/또는 기울기가 결정될 수 있다. 공지된 스마트폰 또는 태블릿 컴퓨터는 통상적으로 이와 같은 동작 센서를 포함하고 있다. 따라서, 방법을 실행하기 위해 이와 같은 이동 단말 장치를 변형시킬 필요가 없게 된다.
이 경우에는 특히, 차량의 외부 윤곽을 설명하는 차량 기호가 이동 단말 장치의 디스플레이 내로 페이드-인되는 것이 제안되어 있으며, 이 경우에는 디스플레이 내에서 차량 기호가 차량의 이미지와 실질적으로 중첩되어 있는 한 기동이 실행된다. 차량 기호는 제공된 디스플레이와 관련하여 차량의 외부 윤곽을 설명할 수 있다. 다른 말로 표현하자면, 차량 기호는 이미지 데이터 내에서의 차량의 외부 윤곽을 설명할 수 있다. 디스플레이 내에서의 차량 기호의 위치는 주차 기동 동안의 차량의 현재 위치에 따라 결정될 수 있다. 주차 기동의 실행 동안에는, 디스플레이상에서 차량 기호가 차량의 이미지와 실질적으로 중첩되어 있는 방식으로 혹은 차량 이미지 또는 이 차량 이미지의 예정된 부분이 차량 기호 내부에 위치하는 방식으로, 이동 단말 장치가 사용자의 손에 쥐어져 있는지 또는 사용자에 의해 이동되고 있는지의 여부가 체크될 수 있다. 차량 기호와 디스플레이 내의 차량 이미지 간에 예정된 편차가 인식되면, 주차 기동이 중단될 수 있다.
차량 기호가 디스플레이 내의 차량 이미지와 중첩되어 있으면, 주차 기동이 재차 속행될 수 있다. 이 경우에는, 차량 기호가 재차 차량 이미지와 일치하도록, 사용자가 이동 단말 장치를 움직일 필요가 있다. 다시 말하자면, 차량 기호가 차량 이미지상에 흡사 "스냅-인" 될 수 있다. 차량 기호와 차량 이미지의 일치가 인식되면, 이동 단말 장치를 이용하여 상응하는 피드백이 출력될 수 있다. 이 피드백은 시각적으로, 청각적으로 그리고/또는 촉각적으로 이루어질 수 있다. 이와 같은 접근 방식은 또한 주차 기동을 처음으로 시작하기 위해서도 제공될 수 있다. 자동화된 주차 기동을 시작하기 위하여, 사용자는 차량 기호와 디스플레이 장치상의 차량 이미지가 일치하도록 이동 단말 장치를 정렬할 수 있다.
또한, 조작 입력의 실행을 평가하는 피드백이 이동 단말 장치에 의해 사용자에게 출력되는 경우도 바람직하다. 이미 설명된 바와 같이, 주차 기동이 중단되면 사용자에게 상응하는 정보가 제공될 수 있다. 이 목적을 위해, 상응하는 피드백이 이동 단말 장치에 의해 사용자에게 출력될 수 있다. 이 피드백은 시각적으로, 예를 들어 디스플레이상의 상응하는 안내문에 의해서, 음향적으로, 예를 들어 상응하는 사운드 출력 또는 신호에 의해서, 그리고/또는 촉각적으로, 예를 들어 상응하는 진동 알람 등에 의해서 출력될 수 있다. 또한, 조작 입력의 실행 동안 상응하는 안내문이 사용자에게 출력되도록 것도 제안될 수 있다. 예를 들어 이와 같은 안내문은 조작 입력이 어떻게 실행되어야만 하는지에 대한 정보를 포함할 수 있다. 이 안내문은 특히 조작 입력이 실행되는 방향 또는 속도에 대한 표시를 포함할 수 있다. 또한, 실행된 조작 입력이 사전 설정된 조작 입력과 얼마나 잘 일치하는지를 피드백이 사용자에게 지시하는 것도 제안될 수 있다. 이 경우에는 예를 들어 컬러 표시가 이용될 수 있다. 이와 같은 방식으로, 사용자는 조작 입력을 실행할 때 지원을 받을 수 있다.
또한, 조작 입력이 예정된 조작 속도로 실행되는 한 주차 기동이 실행되고, 그렇지 않으면 주차 기동이 중단되는 것도 바람직하다. 조작 입력이 실행되는 조작 속도는 특히 주차 기동의 실행 동안 차량의 현재 속도에 따라 의존한다. 다시 말해, 조작 입력은 특히 주차 기동 동안 이 조작 입력이 차량의 속도를 설명하는 방식으로 실행되어야만 한다. 따라서, 사용자에게는, 조작 입력이 올바르게 실행되면 주차 기동 동안 자신이 차량의 움직임을 제어하고 있다는 인상이 전달된다. 이 경우에도, 조작 속도를 사전 설정하거나 조작 입력의 조작 속도를 평가하는 상응하는 정보 또는 피드백이 사용자에게 출력되는 것이 제안될 수 있다. 따라서, 사용자는 조작 입력을 실행할 때 지원을 받을 수 있게 된다.
또 다른 일 실시예에서, 이미지 데이터를 참조하여 궤적을 계획하기 전에 이동 단말 장치에 의해 하나 이상의 주차 영역이 주차 기동을 위한 목적지로서 인식되고 이 하나 이상의 주차 영역이 사용자에게 선택을 위해 제공된다. 사용자가 차량 외부에 있으면, 사용자는 이동 단말 장치 또는 스마트폰을 원하는 주차 영역의 방향으로 정렬할 수 있다. 주차 영역은 특히 주차 공간일 수 있다. 그 다음에, 주차 영역을 설명하는 이미지 데이터가 이동 단말 장치의 카메라에 의해 제공될 수 있다. 그 다음에는, 이미지 데이터를 토대로 해서 이동 단말 장치를 이용하여 주차 영역 또는 주차 공간이 측정될 수 있다. 이 목적을 위해, 이미지 처리 또는 물체 인식으로부터 알려진 방법, 예를 들어 "움직임으로부터의 구조(Structure from Motion)" 등이 이용될 수 있다. 그 다음에, 주차 영역 또는 주차 공간을 측정한 후에는, 이동 단말 장치를 이용해서 그리고 공지된 차량 치수를 토대로 해서 주차 공간이 차량에 적합한지의 여부가 체크될 수 있다. 주차 공간이 차량을 정차하기에 충분한 치수를 제공하는 경우, 이와 같은 상황은 이동 단말 장치의 상응하는 디스플레이상에서 사용자에게 표시될 수 있다. 예를 들어, 주차 영역이 녹색으로 표시되는 상응하는 페이드-인이 이루어질 수 있다. 주차 면적의 치수가 차량을 위해 충분하지 않은 경우에는, 그 치수가 디스플레이 내에서 또는 상응하는 페이드-인에 의해 적색으로 표시될 수 있다.
또한, 사용자에게는, 차량을 정차하기에 적합하다고 인정된 주차 면을 선택할 수 있는 가능성이 제공될 수 있다. 그 다음에 이어서, 선택된 주차 면 및/또는 선택된 주차 면의 치수를 설명하는 상응하는 정보가 이동 단말 장치로부터 차량 또는 운전자 보조 시스템으로 전송될 수 있다. 이 목적을 위해, 특히 차량과 이동 단말 장치 사이의 상대적인 위치가 결정되는 것이 제안되었다. 이동 단말 장치와 차량 사이의 상대적인 위치를 결정하기 위해서는, 예를 들어 데이터가 상응하게 교환될 수 있다. 그 다음에, 서로 다른 시점에 교환되는 데이터의 전송 시간을 참조해서, 차량과 이동 단말 장치 사이의 상대적인 위치가 삼각 측량을 이용하여 결정될 수 있다. 대안적으로 또는 추가로는, 예를 들어 GPS와 같은 위성 기반 위치 결정 시스템이 차량의 위치 및/또는 이동 단말 장치의 위치를 결정하기 위해 이용될 수 있다. 따라서, 예를 들면 원하는 주차 면 또는 주차 공간이 차량의 주변 환경 센서에 의해 주차 기동을 위한 목적지로서 사전에 인식 및/또는 측정될 필요가 없게 된다. 마찬가지로, 차량이 주차 면에 상응하게 위치될 필요도 없게 된다. 따라서, 원격 제어 방식의 주차 기동의 기능이 확장될 수 있다.
또 다른 일 실시예에 따르면, 운전자 보조 시스템의 하나 이상의 주변 환경 센서를 이용한 측정을 참조하여 주차 기동을 위한 목적지로서 인식되는 하나 이상의 주차 영역의 위치가 이동 단말 장치의 디스플레이 장치상에 표시된다. 운전자 보조 시스템의 주변 환경 센서에 의해서는, 상응하는 주차 면 또는 주차 공간이 측정될 수 있고, 주차 기동을 위해 가능한 목적지로서 인식될 수 있다. 이 경우에는, 인식된 주차 면을 설명하는 상응하는 데이터 또는 정보가 운전자 보조 시스템으로부터 이동 단말 장치로 전송될 수 있다. 그 다음에, 이 데이터를 토대로 하여, 상응하는 디스플레이가 제공될 수 있거나 디스플레이 내에서 페이드-인이 제공될 수 있으며, 이를 통해 인식된 주차 영역이 사용자에게 표시된다. 인식된 주차 면이 이동 단말 장치의 디스플레이상에서 표시 영역 밖에 있는 경우에는, 주변의 어느 지점에 상기 인식된 주차 면이 있는지 또는 사용자가 어느 방향으로 이동 단말 장치를 이동시켜야만 하는지에 대한 상응하는 안내문이 사용자에게 출력될 수 있다. 이를 통해서도 원격 제어 방식의 주차 기동의 기능이 추가로 확장할 수 있다.
본 발명에 따른 시스템은, 이동 단말 장치를 소지한 사용자가 차량 외부에 있는 상태에서 차량으로 원격 제어 방식의 주차 기동을 실행하기 위해 이용된다. 이 시스템은, 주차 기동을 위한 궤적을 계획하기 위한 그리고 계획된 궤적을 따라 차량을 기동하기 위한 차량의 운전자 보조 시스템을 포함한다. 또한, 이 시스템은, 차량 및 차량의 주변 환경을 설명하는 이미지 데이터를 검출하기 위한 카메라 및 이미지 데이터를 참조해서 디스플레이를 제공하기 위한 디스플레이 장치를 갖춘 이동 단말 장치를 포함한다. 이 경우, 이동 단말 장치는, 계획된 궤적을 따라 기동하는 동안 차량의 움직임을 설명하는 그리고 이동 단말 장치에서 사용자에 의해 실행되는 조작 입력을 인식하도록 설계되어 있다. 또한, 운전자 보조 시스템은, 이동 단말 장치가 조작 입력을 인식하는 한 - 그렇지 않은 경우에는 기동을 중단하기 위하여 - 계획된 궤적을 따라 기동을 실행하도록 설계되어 있다.
운전자 보조 시스템은 차량의 주변 환경을 검출할 수 있는 하나 이상의 주변 환경 센서를 구비할 수 있다. 특히, 이 하나 이상의 주변 환경 센서와 함께 주변 환경 및 주변 환경에 있는 물체를 설명하는 센서 데이터가 제공될 수 있다. 이 하나 이상의 주변 환경 센서는 레이더 센서, 라이더 센서, 초음파 센서 및/또는 카메라로서 구현될 수 있다. 또한, 운전자 보조 시스템은 센서 데이터를 평가할 수 있는 제어 장치를 구비할 수 있다. 또한, 제어 장치에 의해서는, 차량을 자동화하거나 자율적으로 기동하기 위하여 제어 신호가 출력될 수 있다. 따라서, 차량의 종 방향 안내 및 횡 방향 안내가 실행될 수 있다. 또한, 제어 장치에 의해서는, 주변 환경에서 검출된 물체를 참조하여 주차 기동을 위한 궤적이 계산될 수 있다. 또한, 운전자 보조 시스템은 데이터를 무선으로 송신 및/또는 수신하기 위하여 통신 유닛을 구비할 수 있다.
이동 단말 장치는 특히 스마트폰 또는 태블릿으로서 형성될 수 있다. 이동 단말 장치는 디스플레이를 제공하기 위한 디스플레이 장치 및 조작 동작을 검출하기 위한 검출 장치를 구비할 수 있다. 더욱이, 이동 단말 장치는, 차량 및 차량 주변 환경의 이미지 데이터를 제공할 수 있는 카메라를 포함한다. 더 나아가, 이동 단말 장치는, 이동 단말 장치의 움직임을 감지할 수 있는 하나 이상의 동작 센서를 구비할 수 있다. 이동 단말 장치도 운전자 보조 시스템의 통신 장치와 무선으로 데이터를 교환할 수 있기 위하여 통신 장치를 구비할 수 있다. 또한, 이동 단말 장치는, 데이터 전송을 위해 카메라, 디스플레이 장치, 검출 장치 및 통신 장치와 연결된 컴퓨팅 장치를 포함한다. 컴퓨팅 장치는 이동 단말 장치 또는 스마트폰의 프로세서에 의해서 형성될 수 있다.
방법을 실행하기 위하여 또는 시스템을 작동시키기 위하여, 이동 단말 장치와 차량 사이의 상대적인 위치가 결정될 수 있다. 이 목적을 위해, 통신 장치를 통해서 상이한 시점에 데이터가 무선으로 교환될 수 있으며 그리고/또는 GPS 데이터가 이용될 수 있다. 차량에 대한 이동 단말 장치의 위치는 삼각 측량을 이용하여 결정할 수 있다. 또한, 이동 단말 장치의 하나 이상의 동작 센서의 데이터도 이용될 수 있다. 이동 단말 장치에 대한 차량의 위치를 파악하기 위해 신경망 기반의 이미지 처리 방법이 이용되는 것도 제안될 수 있다. 또한, 이동 단말 장치가 스테레오 카메라를 구비하고, 이 스테레오 카메라의 이미지 데이터를 참조하여 상대적인 위치가 결정되는 것도 제안될 수 있다.
다양한 이미지 또는 이미지 데이터 내에서 차량의 위치를 결정하기 위하여, 옵티컬 플로우 방식이 사용될 수 있다. 따라서, 차량은 움직이는 이미지 내에서 추적될 수 있다. 카메라 위치 또는 차량에 대한 이동 단말 장치의 위치가 결정되자마자, 앞서 설명한 궤적 기호 및/또는 차량 기호가 결정되어 페이드-인될 수 있다. 여기에서는, 예를 들어 핀 홀 카메라 모델을 토대로 하여 결정될 수 있는 카메라의 시야만이 필요하다. 시야는 카메라의 해상도, 픽셀 크기 및 초점 거리를 참조하여 계산될 수 있다. 시야가 공지되어 있음으로써, 기호 또는 페이드-인을 올바른 크기로 그리고 올바른 위치에 표시하기 위해서는 다만 예를 들어 회전 및 변환과 같은 대수적 변환만이 필요하다. 이동 단말 장치의 움직임의 형태로 조작 입력을 체크하기 위하여, 동작 센서의 데이터 및 옵티컬 플로우 방법이 이용될 수 있다. 통상적인 스마트폰의 프로세서는 전술된 방법 단계들을 실행하기에 적합한 컴퓨팅 성능을 갖고 있다.
본 발명의 또 다른 일 양태는, 이동 단말 장치의 컴퓨팅 장치에 의해서 그리고 운전자 보조 시스템의 제어 장치에 의해서 프로그램이 실행될 때 이 프로그램으로 하여금 본 발명에 따른 방법 및 이 방법의 바람직한 실시예들을 실시하게끔 하는 명령을 포함하는 컴퓨터 프로그램과 관련이 있다. 또한, 본 발명은, 이동 단말 장치의 컴퓨팅 장치에 의해서 그리고 운전자 보조 시스템의 제어 장치에 의해서 실행될 때 본 발명에 따른 방법 및 이 방법의 바람직한 실시예들을 실시하게끔 하는 명령을 포함하는 컴퓨터 판독 가능 (저장)매체와 관련이 있다.
본 발명에 따른 방법과 관련하여 소개된 바람직한 실시예들 및 이들 실시예의 장점은 본 발명에 따른 시스템에, 본 발명에 따른 컴퓨터 프로그램에 그리고 본 발명에 따른 컴퓨터 판독 가능 (저장)매체에 상응하게 적용된다.
본 발명의 또 다른 특징부들은 청구범위, 도면 및 도면 설명부로부터 나타난다. 상기 상세한 설명 부분에서 언급된 특징부들 및 특징부 조합, 그리고 이하의 도면 설명 부분에서 언급된 그리고/또는 도면에 단독으로 도시된 특징부들 및 특징부 조합은 각각 명시된 조합의 형태로 사용될 수 있을 뿐만 아니라, 또한 본 발명의 범위를 벗어나지 않는 다른 조합으로도 또는 단독으로도 사용될 수 있다.
본 발명은 이제 바람직한 실시예들을 참조해서 그리고 첨부된 도면부를 참조해서 더욱 상세하게 설명될 것이다. 도면부에서,
도 1은 운전자 보조 시스템을 갖춘 차량 그리고 이동 단말 장치를 소지한 상태에서 차량의 주변에 있는 사용자를 개략적으로 도시하며;
도 2는 이동 단말 장치 및 이동 단말 장치의 개별 구성 요소를 개략적으로 도시하고;
도 3은 이동 단말 장치의 카메라로 촬영되는 차량 주변 환경의 주차 영역을 도시하며;
도 4는 차량으로 자동화된 주차 기동을 실행하는 하는 동안 궤적 기호가 표시되는 이동 단말 장치를 도시하고;
도 5는 차량으로 자율 주차 기동을 실행하는 동안 차량 기호가 표시되는 이동 단말 장치의 디스플레이를 도시하며; 그리고
도 6은 또 다른 일 실시예에 따른 도 5에 따른 이동 단말 장치상의 디스플레이를 도시한다.
각각의 도면에서, 동일하거나 동일한 기능을 하는 요소에는 동일한 참조 부호가 제공된다.
도 1은 운전자 보조 시스템을 갖춘 차량 그리고 이동 단말 장치를 소지한 상태에서 차량의 주변에 있는 사용자를 개략적으로 도시하며;
도 2는 이동 단말 장치 및 이동 단말 장치의 개별 구성 요소를 개략적으로 도시하고;
도 3은 이동 단말 장치의 카메라로 촬영되는 차량 주변 환경의 주차 영역을 도시하며;
도 4는 차량으로 자동화된 주차 기동을 실행하는 하는 동안 궤적 기호가 표시되는 이동 단말 장치를 도시하고;
도 5는 차량으로 자율 주차 기동을 실행하는 동안 차량 기호가 표시되는 이동 단말 장치의 디스플레이를 도시하며; 그리고
도 6은 또 다른 일 실시예에 따른 도 5에 따른 이동 단말 장치상의 디스플레이를 도시한다.
각각의 도면에서, 동일하거나 동일한 기능을 하는 요소에는 동일한 참조 부호가 제공된다.
도 1은, 본 경우에 승용차로서 설계된 차량(1)을 개략적인 도면에서 평면도로 보여준다. 차량(1)은, 재차 전자 제어 장치(3)를 포함하는 운전자 보조 시스템(2)을 포함한다. 또한, 운전자 보조 시스템(2)은, 차량(1)의 주변 환경(5)을 감지할 수 있는 하나 이상의 주변 환경 센서(4)를 포함한다. 본 실시예에서, 운전자 보조 시스템(2)은 예를 들어 레이더 센서로서 구현될 수 있는 2개의 주변 환경 센서(4)를 포함한다. 또한, 운전자 보조 시스템(2)은, 데이터를 무선으로 송신 및 수신할 수 있는 통신 장치(6)를 포함한다.
주변 환경 센서(4)에 의해서는, 차량(1)의 주변 환경(5)을 설명하는 센서 데이터가 제공될 수 있다. 이 센서 데이터는 주변 환경 센서(4)로부터 제어 장치(3)로 전송될 수 있다. 또한, 운전자 보조 시스템(2)을 이용해서는 주차 기동을 위한 궤적이 계획될 수 있다. 이와 같은 주차 기동에서, 차량(1)은 예를 들어 주차 공간 내로 파킹-인될 수 있거나 주차 공간으로부터 외부로 파킹-아웃 될 수 있다. 운전자 보조 시스템(2)은 또한 주차 기동이 실행되는 동안 차량(1)의 주변 환경(5)에 있는 물체 또는 장애물을 감지할 수 있는 또 다른 주변 환경 센서(4), 예를 들어 복수의 초음파 센서를 구비할 수 있다. 제어 장치(3)에 의해서는, 주차 기동 동안 차량(1)을 자동화된 상태로 또는 적어도 부분 자율적으로 기동하기 위하여, 상응하는 제어 신호가 차량(1)의 조향 시스템, 구동 모터 및/또는 브레이크 시스템으로 전송될 수 있다.
차량(1)의 주변 환경(5)에는 이동 단말 장치(8)를 소지하고 있는 사용자(7)가 있다. 특히 스마트폰 또는 태블릿 컴퓨터로서 설계될 수 있는 이 이동 단말 장치(8)는 도 2에 개략적으로 도시되어 있다. 이동 단말 장치(8)와 운전자 보조 시스템(2)은 함께 하나의 시스템(21)을 형성한다. 이동 단말 장치(8)는 카메라(9)를 포함하며, 이 카메라에 의해서는 주변 환경(5) 및 차량(1)의 이미지 또는 이미지 데이터가 제공될 수 있다. 또한, 이동 단말 장치(8)는 디스플레이를 제공할 수 있는 디스플레이 장치(10)를 포함한다. 이 디스플레이는, 카메라(9)에 의해 기록되는 이미지 데이터를 토대로 하여 제공될 수 있다. 그 밖에, 이동 단말 장치(8)는 검출 장치(11)를 포함하며, 이 검출 장치에 의해서는 디스플레이 장치(10) 상의 조작 입력이 검출될 수 있다. 본 예에서, 디스플레이 장치(10) 및 검출 장치(11)는 터치 감응형 스크린에 의해서 형성되어 있다.
또한, 이동 단말 장치(8)는 동작 센서(12)를 포함하고, 이 동작 센서에 의해서는 이동 단말 장치(8)의 움직임이 검출될 수 있다. 동작 센서(12)에 의해서는, 이동 단말 장치(8)의 회전, 기울기, 가속도 등이 검출될 수 있다. 동작 센서(12)를 이용해서는, 조작 입력이 전체 이동 단말 장치(8)의 움직임 형태로 검출될 수 있다. 또한, 이동 단말 장치(8)는, 운전자 보조 시스템(2)의 통신 장치(6)와 데이터를 무선으로 교환하기 위해서 이용되는 통신 장치(13)를 포함한다. 마지막으로, 이동 단말 장치(8)는 데이터 전송을 위해 카메라(9), 디스플레이 장치(10), 검출 장치(11), 동작 센서(12) 및 통신 장치(13)와 연결된 컴퓨팅 장치(14)를 포함한다.
이동 단말 장치(8)와 차량(1) 사이의 상대적인 위치를 결정할 수 있기 위하여, 상응하는 데이터가 상이한 시점에 이동 단말 장치(8)의 통신 장치(13)와 운전자 보조 시스템(2)의 통신 장치(6) 사이에서 교환될 수 있다. 개별적인 위치 또는 서로에 대한 상대적인 위치를 결정하기 위해 차량(1) 및 이동 단말 장치(8)의 상응하는 GPS 수신기가 이용되는 것도 제안될 수 있다. 또한, 이동 단말 장치(8)에 대한 차량(1)의 위치는 이미지 데이터 및 상응하는 이미지 처리를 참조해서도 결정될 수 있다.
도 3은, 차량(1)의 주변 환경(5) 및 이동 단말 장치(8)를 보여주며, 이동 단말 장치의 디스플레이 장치(10) 상에는 주변 환경(5)의 부분이 표시된다. 본 경우, 이동 단말 장치(8) 또는 스마트폰은, 차량(1)에 적합한 주차 면(15)을 검색하기 위해 이용된다. 본 경우, 사용자(7)는 차량(1)의 주변 환경(5)에 있고, 가능한 주차 면(15)이 카메라(9)의 감지 범위 또는 시야 내에 있도록 이동 단말 장치를 위치시킨다. 상응하는 이미지 처리 방법에 의해서는 주차 공간 또는 주차 면(15)이 측정될 수 있으며, 이동 단말 장치의 컴퓨팅 장치(14)를 이용해서는 주차 면(15)의 치수가 주차 면(15) 내부로 차량(1)을 파킹-인하기에 충분한지의 여부가 체크될 수 있다.
주차 면(15)의 치수가 차량(1)을 파킹-인하기에 충분한 경우에는, 이와 같은 상황이 사용자에게 상응하게 디스플레이될 수 있다. 본 예에서는, 선택된 주차 면(15)이 차량(1)을 위해 적합하다는 것을 지시하는 기호(16)가 사용자에게 페이드-인된다. 이 경우에는 또한, 이 기호(16)가 예를 들어 녹색과 같은 상응하는 색상으로 표시되는 것도 제안될 수 있다. 선택된 주차 면(15)이 치수와 관련하여 주차 면(15) 상에 차량(1)을 정차하기에 충분하지 않은 경우에는, 상응하는 기호(16)가 적색으로 표시될 수 있다. 또한, 이동 단말 장치(8)의 디스플레이 장치(10) 상에서 또 다른 기호(17)가 사용자에게 페이드-인되고, 이로써 사용자에게는 이 주차 공간 또는 주차 면(15)을 선택할 수 있는 가능성이 주어진다. 사용자(7)가 주차 면(15)을 선택했다면, 상응하는 데이터가 이동 단말 장치(8)로부터 운전자 보조 시스템(2)으로 전송될 수 있다. 이 데이터는 주차 면(15)의 위치 및 치수를 설명할 수 있다. 그 다음에 이어서, 주차 면(15)으로의 운전 기동 또는 주차 기동을 위한 궤적이 운전자 보조 시스템(2)을 이용하여 결정될 수 있다.
도 4는, 차량(1)의 주변 환경(5) 및 이동 단말 장치(8)를 보여주며, 이동 단말 장치상에는 또한 주변 환경(5) 및 차량(1)의 부분이 표시된다. 본 경우에는, 운전자 보조 시스템(2)에 의해 주차 기동이 현재 실행되고 있다. 여기에서, 차량(1)은 종 방향 주차 공간 내로 적어도 부분 자율적으로 후방으로 기동된다. 이 경우, 주차 기동은, 차량(1)의 하나 이상의 예정된 부분이 카메라(9)의 감지 범위 내에 있거나 디스플레이 장치(10) 상에 표시되는 한 실행될 수 있다. 그렇지 않은 경우에는 주차 기동이 중단될 수 있다. 또한, 사용자(7)에 의해 이동 단말 장치(8)에서 예정된 조작 입력이 실행되는 한 주차 기동이 실행되는 것도 제안되었다. 이 경우, 조작 입력은, 주차 기동 동안 차량(1)의 움직임을 설명하거나 시뮬레이션하도록 설계되어 있다.
본 예에서는, 주차 기동 동안 디스플레이 장치(10) 상에 또한 궤적 기호(18)가 페이드-인된다. 이 궤적 기호(18)는 주차 기동 동안 차량(1)의 경로 또는 이동을 설명한다. 본 예에서는, 사용자(7)가 주차 기동 동안 검출 장치(11) 또는 터치 감응형 스크린상에서 하나 이상의 손가락으로 와이핑 동작을 조작 입력으로서 실행하는 것이 제안되었으며, 이 경우 와이핑 동작은 궤적 기호(18)를 따라 실행된다. 다른 말로 표현하자면, 사용자(7)는 조작 입력 동안 한 손가락으로 디스플레이 장치(10) 상의 궤적 기호(18)를 추적한다. 본 예에서는, 궤적 상에서의 차량(1)의 현재 위치를 설명할 수 있는 위치 기호(19)가 추가로 페이드-인된다.
도 5는, 또 다른 일 실시예에 따른 주차 기동에서, 차량(1)의 주변 환경(5) 그리고 주변 환경(5)의 부분 및 차량(1)의 부분을 디스플레이하는 이동 단말 장치를 보여준다. 여기에서도 차량(1)은 종 방향 주차 공간 내로 적어도 부분 자율적으로 후방으로 기동된다. 본 예에서도, 궤적 기호(18) 및 위치 기호(19)가 페이드-인된다. 이 경우에는, 디스플레이 장치(10) 상의 차량(1)의 외부 윤곽 또는 차량(1)의 이미지를 설명하는 차량 기호(20)가 추가로 페이드-인된다. 이때, 주차 기동은, 차량 기호(20)가 디스플레이 장치(10) 상의 차량(1)의 이미지와 일치하자마자 운전자 보조 시스템(2)을 이용하여 시작될 수 있다. 본 경우, 차량(1)의 기동 동안에는 완전한 이동 단말 장치(8)가 조작 입력으로서 이동된다. 이때, 이동 동작은 계획된 궤적을 따라 상기 조작 입력 동안 이루어진다. 본 경우, 이동 단말 장치(8)의 움직임은 화살표 기호(21)에 의해 도시되어 있다. 상응하는 화살표 기호(21)는 또한 디스플레이 장치(10) 상에서도 사용자에게 디스플레이될 수 있다. 이동 단말 장치(8)의 움직임은 위치 센서(12)를 이용하여 연속으로 결정될 수 있다.
본 예에서는, 차량(1)의 이미지와 차량 기호(20)가 일치하도록 사용자가 이동 단말 장치(8)를 이동시킬 필요가 있다. 차량 기호(20)와 차량(1)의 이미지 사이에 예정된 편차가 존재하는 경우에는, 주차 기동이 중단되고 차량(1)이 제동된다. 이와 같은 상황은 도 6에 도시되어 있다. 이 경우, 차량 기호(20)는 디스플레이 장치(10) 상의 차량(1)의 이미지와 확연한 편차를 갖는다. 이 경우에는, 차량 기호(20)가 차량(1)의 이미지와 일치될 때 주차 기동이 재차 속행될 수 있다.
Claims (10)
- 이동 단말 장치(8)를 소지한 사용자(7)가 차량(1) 외부에 있는 상태에서 차량(1)으로 원격 제어 방식의 주차 기동을 실행하기 위한 방법으로서,
- 차량(1)의 운전자 보조 시스템(2)을 이용하여 주차 기동을 위한 궤적을 계획하는 단계,
- 상기 운전자 보조 시스템(2)을 이용하여 계획된 궤적을 따라 차량을 기동하는 단계,
- 이동 단말 장치(8)의 카메라(9)를 이용하여 차량(1) 및 차량(1)의 주변 환경(5)을 설명하는 이미지 데이터를 검출하는 단계, 및
- 상기 이미지 데이터를 참조하여 이동 단말 장치(8)의 디스플레이 장치(10) 상에 디스플레이를 제공하는 단계
를 포함하되,
- 이동 단말 장치(8)에서 사용자(7)에 의해 실행되는 그리고 계획된 궤적을 따르는 기동 동안 차량(1)의 움직임을 설명하는 조작 입력이 이동 단말 장치(8)에 의해 인식되는 동안에는 계획된 궤적을 따르는 기동이 실행되며, 그렇지 않은 경우에는 기동이 중단되는 것을 특징으로 하는, 원격 제어 방식의 주차 기동을 실행하기 위한 방법. - 제1항에 있어서,
상기 계획된 궤적을 설명하는 궤적 기호(18)가 이동 단말 장치(8)의 디스플레이 내로 페이드-인되는 것을 특징으로 하는, 방법. - 제1항 또는 제2항에 있어서,
상기 이동 단말 장치(8)의 검출 장치(11)를 이용한 사용자(7)의 하나 이상의 손가락에 의한 와이핑 동작이 조작 입력으로서 인식되는 경우에 기동이 실행되며, 이때 상기 와이핑 동작은 계획된 궤적을 따르는 차량(1)의 움직임을 설명하는 것을 특징으로 하는, 방법. - 제1항 내지 제3항 중 어느 한 항에 있어서,
상기 이동 단말 장치(8)의 움직임이 조작 입력으로서 인식되면 기동이 실행되며, 이때 상기 이동 단말 장치(8)의 움직임은 계획된 궤적을 따르는 차량(1)의 움직임을 설명하는 것을 특징으로 하는, 방법. - 제4항에 있어서,
상기 차량(1)의 외부 윤곽을 설명하는 차량 기호(20)가 이동 단말 장치(8)의 디스플레이 내로 페이드-인되며, 이 경우에는 디스플레이 내에서 차량 기호(20)가 차량(1)의 이미지와 중첩되어 있는 한 기동이 실행되는 것을 특징으로 하는, 방법. - 제1항 내지 제5항 중 어느 한 항에 있어서,
상기 조작 입력의 실행을 평가하는 피드백이 이동 단말 장치(8)에 의해 사용자(7)에게 출력되는 것을 특징으로 하는, 방법. - 제1항 내지 제6항 중 어느 한 항에 있어서,
상기 조작 입력이 예정된 조작 속도로 실행되는 한 주차 기동이 실행되고, 그렇지 않으면 주차 기동이 중단되는 것을 특징으로 하는, 방법. - 제1항 내지 제7항 중 어느 한 항에 있어서,
상기 이미지 데이터를 참조하여 궤적을 계획하기 전에 이동 단말 장치(8)에 의해 하나 이상의 주차 영역(15)이 주차 기동을 위한 목적지로서 인식되고 상기 하나 이상의 주차 영역(15)이 사용자에게 선택을 위해 제공되는 것을 특징으로 하는, 방법. - 제1항 내지 제8항 중 어느 한 항에 있어서,
상기 운전자 보조 시스템(2)의 하나 이상의 주변 환경 센서(4)를 이용한 측정을 참조하여 주차 기동을 위한 목적지로서 인식되는 하나 이상의 주차 영역(15)의 위치가 이동 단말 장치(8)의 디스플레이 장치(10) 상에 표시되는 것을 특징으로 하는, 방법. - 이동 단말 장치(8)를 소지한 사용자(7)가 차량 외부에 있는 상태에서 차량(1)으로 원격 제어 방식의 주차 기동을 실행하기 위한 시스템(21)으로서,
- 주차 기동을 위한 궤적을 계획하기 위한 그리고 계획된 궤적을 따라 차량(1)을 기동하기 위한 차량(1)의 운전자 보조 시스템(2), 및
- 차량(1) 및 차량(1)의 주변 환경(5)을 설명하는 이미지 데이터를 검출하기 위한 카메라(9) 및 상기 이미지 데이터를 참조해서 디스플레이를 제공하기 위한 디스플레이 장치(10)를 갖춘 이동 단말 장치(8)
를 포함하되,
- 상기 이동 단말 장치(8)는, 계획된 궤적을 따라 기동하는 동안 차량(1)의 움직임을 설명하는 그리고 이동 단말 장치(8)에서 사용자에 의해 실행되는 조작 입력을 인식하도록 설계되어 있으며, 그리고
- 상기 운전자 보조 시스템(2)은, 이동 단말 장치(8)가 조작 입력을 인식하는 한 그리고 그렇지 않은 경우에는 기동을 중단하기 위하여 계획된 궤적을 따라 기동을 실행하도록 설계되어 있는 것을 특징으로 하는, 원격 제어 방식의 주차 기동을 실행하기 위한 시스템(21)
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102019133223.0A DE102019133223B3 (de) | 2019-12-05 | 2019-12-05 | Verfahren zum Durchführen eines ferngesteuerten Parkmanövers mit einem Fahrzeug unter Verwendung eines mobilen Endgeräts sowie System |
| DE102019133223.0 | 2019-12-05 | ||
| PCT/EP2020/080874 WO2021110340A1 (de) | 2019-12-05 | 2020-11-04 | Verfahren zum durchführen eines ferngesteuerten parkmanövers mit einem fahrzeug unter verwendung eines mobilen endgeräts sowie system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220098774A true KR20220098774A (ko) | 2022-07-12 |
Family
ID=73131744
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227019395A KR20220098774A (ko) | 2019-12-05 | 2020-11-04 | 이동 단말 장치를 사용하는 차량으로 원격 제어 방식의 주차 기동을 실행하기 위한 방법 및 시스템 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20230128580A1 (ko) |
| JP (1) | JP2023505167A (ko) |
| KR (1) | KR20220098774A (ko) |
| CN (1) | CN114746325A (ko) |
| DE (1) | DE102019133223B3 (ko) |
| WO (1) | WO2021110340A1 (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2023005105A (ja) * | 2021-06-28 | 2023-01-18 | トヨタ自動車株式会社 | リモート駐車装置 |
| WO2023237959A1 (en) * | 2022-06-07 | 2023-12-14 | C.R.F. Società Consortile Per Azioni | Motor vehicle comprising a driver-assistance system configurable in a virtual environment, and corresponding driver-assistance method for a motor vehicle |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102009041587A1 (de) * | 2009-09-15 | 2011-03-17 | Valeo Schalter Und Sensoren Gmbh | Fahrerassistenzeinrichtung für ein Kraftfahrzeug und Verfahren zum Unterstützen eines Fahrers beim Überwachen eines autonomen Parkvorgangs eines Kraftfahrzeugs |
| DE102009051463B4 (de) * | 2009-10-30 | 2014-08-21 | Audi Ag | Kraftfahrzeug, externe Steuerungsvorrichtung sowie Verfahren zum Durchführen eines Ausparkvorgangs eines Kraftfahrzeugs |
| DE102012007984A1 (de) * | 2011-09-13 | 2013-03-14 | Valeo Schalter Und Sensoren Gmbh | Rangiersystem und Verfahren zum automatischen Rangieren eines Kraftfahrzeugs, Kraftfahrzeug, tragbares Kommunikationsgerät und Computerprogramm |
| DE102011114317A1 (de) * | 2011-09-24 | 2013-03-28 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum autonomen Rangieren eines Fahrzeugs sowie Fahrerassistenzeinrichtung |
| DE102012008858A1 (de) * | 2012-04-28 | 2012-11-08 | Daimler Ag | Verfahren zum autonomen Parken eines Kraftfahrzeugs, Fahrerassistenzvorrichtung zur Durchführung des Verfahrens, sowie Kraftfahrzeug mit der Fahrerassistenzvorrichtung |
| DE102012016868A1 (de) * | 2012-08-25 | 2014-02-27 | Audi Ag | Verfahren und System zum Betreiben eines Fahrzeugs unter Überwachung der Fortbewegung des Fahrzeugs mit Hilfe einer Kameraeinrichtung einer mobilen Bedieneinrichtung |
| JP2014065392A (ja) * | 2012-09-25 | 2014-04-17 | Aisin Seiki Co Ltd | 携帯端末、遠隔操作システム、遠隔操作方法、及びプログラム |
| GB2533983A (en) * | 2015-06-04 | 2016-07-13 | Ford Global Tech Llc | Parking assist method and system |
| DE102016220448A1 (de) * | 2016-10-19 | 2018-04-19 | Ford Global Technologies, Llc | Vorrichtung zur Unterstützung eines Manövriervorganges eines Kraftfahrzeuges |
| CN106935071A (zh) * | 2017-04-12 | 2017-07-07 | 深圳市金立通信设备有限公司 | 一种辅助停车方法、及移动终端 |
| JP7032950B2 (ja) * | 2018-02-19 | 2022-03-09 | 株式会社デンソーテン | 車両遠隔操作装置、車両遠隔操作システム及び車両遠隔操作方法 |
| CN109866760B (zh) * | 2019-02-27 | 2021-09-07 | 湖北亿咖通科技有限公司 | 自动泊车的遥控方法、装置及可穿戴电子设备 |
-
2019
- 2019-12-05 DE DE102019133223.0A patent/DE102019133223B3/de active Active
-
2020
- 2020-11-04 WO PCT/EP2020/080874 patent/WO2021110340A1/de active Application Filing
- 2020-11-04 CN CN202080082657.0A patent/CN114746325A/zh active Pending
- 2020-11-04 US US17/782,431 patent/US20230128580A1/en active Pending
- 2020-11-04 JP JP2022533104A patent/JP2023505167A/ja active Pending
- 2020-11-04 KR KR1020227019395A patent/KR20220098774A/ko active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023505167A (ja) | 2023-02-08 |
| US20230128580A1 (en) | 2023-04-27 |
| CN114746325A (zh) | 2022-07-12 |
| DE102019133223B3 (de) | 2021-03-11 |
| WO2021110340A1 (de) | 2021-06-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3275704B1 (en) | Systems and methods for a human machine interface for a trailer hitch system | |
| US9789904B2 (en) | Remote-controlled maneuvering of a motor vehicle with the aid of a portable communication device | |
| EP3178617B1 (en) | Hybrid reality based i-bot navigation and control | |
| JP4052198B2 (ja) | 車両誘導装置、および経路判定プログラム | |
| US20160052545A1 (en) | Electronic path entering for autonomous or semi-autonomous trailer backing | |
| US9987927B2 (en) | Method for operating a communication device for a motor vehicle during an autonomous drive mode, communication device as well as motor vehicle | |
| JP4458284B2 (ja) | 遠隔操作装置 | |
| KR20220098774A (ko) | 이동 단말 장치를 사용하는 차량으로 원격 제어 방식의 주차 기동을 실행하기 위한 방법 및 시스템 | |
| US11584364B2 (en) | Vehicle control device, vehicle, operation method for vehicle control device and storage medium | |
| CN112977426A (zh) | 驻车辅助*** | |
| US11256247B2 (en) | Vehicle control system | |
| CN112124092B (zh) | 驻车辅助*** | |
| US11364933B2 (en) | Vehicle control system | |
| CN113386783B (zh) | 用于机动车辆中的自动拖车倒车***的方法和设备 | |
| US11055999B2 (en) | Vehicle control apparatus, vehicle control method, and storage medium | |
| US11586224B2 (en) | Vehicle control apparatus, vehicle, operation method for vehicle control apparatus, and storage medium | |
| CN111746509B (zh) | 车辆控制*** | |
| US11327479B2 (en) | Vehicle control system | |
| CN111532272B (zh) | 车辆控制装置、车辆和车辆控制方法 | |
| CN112124090A (zh) | 驻车辅助*** | |
| CN110364023B (zh) | 驾驶辅助***和方法 | |
| CA2847335C (en) | Electronic path entering for autonomous or semi-autonomous trailer backing | |
| CN113911118A (zh) | 驾驶辅助方法和***、车辆及计算机可读存储介质 | |
| JP6961882B2 (ja) | 駐車支援装置 | |
| CN113777996A (zh) | 基于移动终端的远程控制方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |