KR20230159450A - 정보 처리 장치, 정보 처리 방법 및 프로그램 - Google Patents

Abstract

차량의 주변을 촬영하여 획득한 이미지를 수신하고, 적어도 하나의 주차 구획 영역을 나타내는 표시 데이터를 생성하고, 그리고 상기 표시 데이터를 상기 이미지에 중첩하는, 표시 데이터 생성부를 포함하되, 상기 표시 데이터는 상기 적어도 하나의 주차 구획 영역의 차량 접촉면으로부터 연장된 상방 연장면을 포함하는, 정보 처리 장치가 제공된다.

Description

정보 처리 장치, 정보 처리 방법 및 프로그램

관련 출원에의 상호 참조

이 출원은, 2021년 3월 24일에 출원된 일본특허출원 제2021-049561호 및 2021년 4월 6일에 출원된 일본특허출원 제2021-064801호에 대한 우선권을 주장하며, 각 출원의 전체 내용은 참조로 본 명세서에 결합된다.

본 개시는 정보 처리 장치, 정보 처리 방법 및 프로그램에 관한 것이다. 구체적으로, 본 개시는, 예를 들어, 주차장에서 차량의 주차 가능 공간을 차량 운전자인 사용자에게 이해하기 쉽게 제시하는 표시 데이터(display data)를 생성하는, 정보 처리 장치, 정보 처리 방법 및 프로그램에 관한 것이다.

예를 들어, 쇼핑 센터, 놀이 동산, 관광지, 시내의 다른 장소 등의 많은 주차장은, 많은 수의 차량이 주차하도록 하고 있다. 차량의 운전자인 사용자는 주차장에서 차량의 주차가 가능한 빈 공간을 찾아서 차량을 주차한다. 이 경우, 사용자는 주차장내에서 차량을 주행시켜, 주위를 육안으로 확인해서 빈 공간을 찾게 된다.

이러한 주차 가능 공간을 확인하는 데에는 시간이 소요되고, 좁은 주차장 내에서 운전을 하는 것은 다른 차량이나 사람과의 접촉 사고를 야기하기 쉽다는 문제가 있다.

이러한 문제를 해결하는 구성을 개시한 종래 기술의 예로는, 특허문헌 1(일본특허공개 제2016-118851호)이 있다.

특허문헌 1은, 주차장의 각 주차 영역이 주차가 가능한지를 식별하는 것을 가능하게 하는 표시 데이터가, 주차하려고 하는 차량의 표시부(display unit)에 표시되고, 그 차량의 운전자는 표시부를 확인할 수 있는 구성을 개시하고 있다. 구체적으로, 특허문헌 1은, 주차장에서 각 주차 공간의 전방 지면 위치에, 라인 형상의 가상 이미지가 결합된 이미지를 생성하여 표시하는 구성이 개시되어 있는데, 이 가상 이미지는 각 주차 공간이 주차가 가능한지를 식별하는 것을 가능하도록 한다.

특허문헌 1에 개시된 구성은, 예를 들어, 차량 주차 공간의 전방의 지면에, 주차 가능 위치에는 녹색 라인이, 그리고 주차 불가 위치에는 적색이나 청색 라인이, 각각 결합된 이미지이다.

그러나, 이들 라인은 주차 가능 위치와 주차 불가 위치 모두에서 같은 형상을 가지며, 단지 색상이 다를 뿐이기 때문에, 운전자인 사용자가 라인을 인식하기 어렵다. 게다가, 어떤 경우에는, 청색, 적색 또는 녹색의 라인이 주차장의 주행면 위에 실제로 칠해지는 경우도 있다. 주차장에서 여러가지 색상의 라인이 존재하는 경우에는, 운전자는 표시부에 표시되는 가상 이미지의 라인과 실제 라인을 혼동할 가능성이 있다.

일본특허공개공보 제2016-118851호

전술한 상황을 고려할 때, 예를 들어, 주차장에서 차량의 주차 가능 공간을 차량 운전자인 사용자에게 이해하기 쉽게 제시하는, 표시 데이터를 생성하는 정보 처리 장치, 정보 처리 방법 및 프로그램을 제공하는 것이 소망된다.

본 개시의 제1 측면에 따르면, 차량의 주위를 촬영하여 얻어진 이미지를 수신하고, 적어도 하나의 주차 구획 영역(parking division area)을 나타내는 표시 데이터를 생성하고, 그리고 상기 표시 데이터를 상기 이미지에 중첩하는, 표시 데이터 생성부를 포함하는 정보 처리 장치가 제공되는데, 상기 표시 데이터는 상기 적어도 하나의 주차 구획 영역의 차량 접촉면으로부터 연장되는 상방 연장면(upward extension surface)을 포함한다.

또한, 본 개시의 제2 측면에 따르면, 차량의 운전자에게 주차 가능 공간을 제시하는 방법이 제공되는데, 상기 방법은, 상기 차량의 주위를 촬영하여 얻어진 이미지를 수신하는 과정과, 적어도 하나의 주차 구획 영역을 나타내는 공간 식별용 표시 데이터(space-idenfying display data)를 생성하는 과정과, 상기 이미지에 상기 표시 데이터를 중첩하는 과정을 포함하며, 상기 표시 데이터는 상기 적어도 하나의 주차 구획 영역의 차량 접촉면으로부터 연장되는 상방 연장면을 포함한다.

또한, 본 개시의 제3 측면에 따르면, 실행 가능한 명령이 저장되어 있는 적어도 하나의 컴퓨터 판독 가능 저장 매체와, 상기 실행 가능한 명령에 의하여 방법을 수행하도록 프로그램되어 있는 프로세서를 포함하고, 상기 방법은 차량의 주위를 촬영하여 얻어진 이미지를 수신하는 과정과, 적어도 하나의 주차 분할 영역을 나타내는 공간 식별용 표시 데이터를 생성하는 과정과, 상기 이미지에 상기 표시 데이터를 겹치는 과정을 포함하며, 상기 표시 데이터는 상기 적어도 하나의 주차 구획 영역의 차량 접촉면으로부터 연장되는 상방 연장면을 포함하는, 장치가 제공된다.

한편, 본 개시의 실시 형태에 따른 프로그램은, 예를 들어, 컴퓨터 판독 가능한 포맷으로 제공된 저장 매체 또는 통신 매체에 의하여, 여러가지 프로그램 코드를 실행할 수 있는, 정보 처리 장치, 이미지 처리 장치 및 컴퓨터 시스템으로 제공될 수 있는 프로그램이다. 그러한 프로그램을 컴퓨터 판독 가능한 포맷으로 제공하는 것에 의해, 그 프로그램에 따른 처리는, 상기 정보 처리 장치 및 상기 컴퓨터 시스템에서 실현될 수 있다.

본 개시의 또 다른 목적, 특징 및 이점은, 후술하는 실시예에 기초한 보다 상세한 설명과 첨부 도면에 의해 분명하게 될 것이다. 한편, 본 명세서에 있어서, 시스템은 복수의 장치들의 논리적 집합으로서, 각 구성의 장치가 하나의 하우징 내에 있는 경우에 한정되는 것은 아니다.

본 개시의 일 실시 형태의 구성에 따르면, 표시 데이터를 생성하고 표시부에 상기 표시 데이터를 표시하는 것을 가능하게 하는 구성이 실현되는데, 상기 표시 데이터는 주차 가능 공간과 주차 불가 공간을 쉽고 확실하게 식별하는 것을 가능하게 한다. 구체적으로, 예를 들어, 차량의 주위를 촬영하여 얻어지는 이미지에, 그래픽 데이터로서, 주차 가능 공간 또는 주차 불가 공간 중의 적어도 하나의 공간 식별용 표시 데이터(space-idenfying display data)를 겹쳐서 획득되는, 표시 데이터를 생성하는 표시 데이터 생성부가 제공된다. 상기 표시 데이터 생성부는, 상기 이미지에, 차량 접촉면으로부터 상방으로 연장되는 상방 연장면을 갖는 펜스형 또는 박스형 그래픽 데이터로서, 주차 가능 공간 또는 주차 불가 공간 중의 적어도 하나의 공간 식별용 표시 데이터를, 겹쳐서 획득되는 표시 데이터를 생성하고, 표시부로 상기 표시 데이터를 출력하고, 그리고 상기 표시 데이터를 표시한다. 이러한 구성에 의해, 표시 데이터를 생성하고, 표시부에 상기 표시 데이터를 표시하는 것을 가능하게 하는 구성이 실현되는데, 상기 표시 데이터는 주차 가능 공간과 주차 불가 공간을 쉽고 확실하게 식별하는 것을 가능하게 한다. 한편, 본 명세서에 기술되는 효과는 한정적인 것이 아니며 어디까지나 예시적인 것으로서, 또 다른 효과 또한 제공될 수 있다.

[도 1] 도 1은 주차장에 주차하는 차량이 주행하는 예를 나타내는 도면이다.
[도 2] 도 2는 주차장에 주차하는 차량이 주행하는 예를 나타내는 도면이다.
[도 3] 도 3은 주차장에 주차하는 차량이 주행하는 예를 나타내는 도면이다.
[도 4] 도 4는 본 개시의 실시 형태에 따른 정보 처리 장치에 의해 생성된 표시 데이터가 적용되어 차량이 주차장에 주차하는 처리예를 나타내는 도면이다.
[도 5] 도 5는 본 개시의 실시 형태에 따른 정보 처리 장치에 의해 생성되는 표시 데이터의 구체예를 나타내는 도면이다.
[도 6] 도 6은 본 개시의 실시 형태에 따른 정보 처리 장치에 의해 생성되는 표시 데이터의 구체예를 나타내는 도면이다.
[도 7] 도 7은 본 개시의 실시 형태에 따른 정보 처리 장치에 의해 생성되는 표시 데이터의 구체예를 나타내는 도면이다.
[도 8] 도 8은 본 개시의 실시 형태에 따른 정보 처리 장치에 의해 생성되는 표시 데이터의 구체예를 나타내는 도면이다.
[도 9] 도 9는 본 개시의 실시 형태에 따른 정보 처리 장치에 의해 생성되는 표시 데이터의 구체예를 나타내는 도면이다.
[도 10] 도 10은 본 개시의 실시 형태에 따른 정보 처리 장치에 의해 생성되는 표시 데이터의 구체예를 나타내는 도면이다.
[도 11] 도 11은 본 개시의 실시 형태에 따른 정보 처리 장치에 의해 생성되는 표시 데이터의 구체예를 나타내는 도면이다.
[도 12] 도 12는 본 개시의 실시 형태에 따른 정보 처리 장치에 의해 생성되는 표시 데이터의 구체예를 나타내는 도면이다.
[도 13] 도 13은 본 개시의 실시 형태에 따른 정보 처리 장치에 의해 생성되는 표시 데이터의 구체예를 나타내는 도면이다.
[도 14] 도 14는 본 개시의 실시 형태에 따른 정보 처리 장치에 의해 생성되는 표시 데이터의 구체예를 나타내는 도면이다.
[도 15] 도 15는 본 개시의 실시 형태에 따른 정보 처리 장치에 의해 생성되는 표시 데이터의 구체예를 나타내는 도면이다.
[도 16] 도 16은 본 개시의 실시 형태에 따른 정보 처리 장치에 의해 생성되는 표시 데이터의 구체예를 나타내는 도면이다.
[도 17] 도 17은 본 개시의 실시 형태에 따른 정보 처리 장치에 의해 생성되는 표시 데이터의 구체예를 나타내는 도면이다.
[도 18] 도 18은 본 개시의 실시 형태에 따른 정보 처리 장치에 의해 생성되는 표시 데이터의 구체예를 나타내는 도면이다.
[도 19] 도 19는 본 개시의 실시 형태에 따른 정보 처리 장치에 의해 생성되는 표시 데이터의 구체예를 나타내는 도면이다.
[도 20] 도 20은 본 개시의 실시 형태에 따른 정보 처리 장치에 의해 생성되는 표시 데이터의 구체예를 나타내는 도면이다.
[도 21] 도 21은 본 개시의 실시 형태에 따른 정보 처리 장치에 의해 생성되는 표시 데이터의 구체예를 나타내는 도면이다.
[도 22] 도 22는 본 개시의 실시 형태에 따른 정보 처리 장치에 의해 실행되는 처리의 처리 시퀀스를 나타내는 흐름도를 보여 주는 도면이다.
[도 23] 도 23은 본 개시의 실시 형태에 따른 정보 처리 장치의 구성예를 나타내는 도면이다.
[도 24] 도 24는 본 개시의 실시 형태에 따른 정보 처리 장치의 하드웨어 구성예를 나타내는 도면이다.
[도 25] 도 25는 본 개시의 실시 형태에 따른 정보 처리 장치가 탑재된 차량의 구성예를 나타내는 도면이다.
[도 26] 도 26은 본 개시의 실시 형태에 따른 정보 처리 장치가 탑재된 차량의 센서의 구성예를 나타내는 도면이다.

이하에서는 도면을 참조하여 본 개시의 실시 형태에 따른 정보 처리 장치, 정보 처리 방법 및 프로그램에 대해서 구체적으로 설명한다. 한편, 설명은 이하의 항목을 따라서 행해진다.

1. 주차장에서 차량 주차 처리를 하는 일반적인 처리와 그 문제점에 대해서

2. 주차 가능 공간과 주차 불가 공간을 사용자에게 이해하기 쉽게 제시하는 본 개시의 처리에 대해서

3. 그래픽 데이터의 변형에 대해서

4. 본 개시의 실시 형태에 따른 정보 처리 장치에 의해 실행되는 처리 시퀀스에 대해서

5. 본 개시의 실시 형태에 따른 정보 처리 장치의 구성예에 대해서

6. 본 개시의 실시 형태에 따른 정보 처리 장치의 하드웨어 구성예에 대해서

7. 차량의 구성예에 대해서

8. 본 개시의 구성의 요약

<1. 주차장에서 차량 주차 처리를 하는 일반적인 처리와 그 문제점에 대해서>

먼저, 주차장에서 차량 주차 처리를 하는 일반적인 처리와 그 문제점에 대해서 설명한다.

주차장에 차량을 주차하는 일반적인 주행예에 대해서 도 1과 후속 도면을 참조하여 설명한다. 도 1은 차량(10)과 주차장(20)을 보여 준다. 차량(10)은 주차장(20)의 입구로부터 주차장(20)으로 진입하여 빈 공간을 찾아서 주차하려고 하고 있다.

도 1에 도시된 상황에서, 차량(10)의 운전자인 사용자는, 차량의 전방을 보면서, 주차장(20)의 입구로부터 주차장으로 진입한다. 진입하는 시점에는, 주차 구획 영역의 어디가 비어 있는지를 확인하기는 어렵다.

이러한 이유로, 차량(10)의 운전자인 사용자는, 도 2에 도시된 것과 같은 시퀀스를 따라서 차량(10)을 주차장에서 주행시키고, 빈 공간을 인식해서 차량을 주차시킨다.

먼저, 도 2에 도시된 (단계 S1)에서, 차량(10)은 주차장(20)의 입구로부터 진입한다. 이 시점에서, 사용자(운전자)는 어디가 비어 있을지를 확인할 수 없다. 어디가 비어 있을지를 확인하기 위해서, 사용자(운전자)는 (단계 S2)에 도시된 바와 같이, 좌측에 있는 주차 구획 영역의 우측에서 직진하고, 좌측의 주차 구획 영역에 차가 주차되어 있는지 아닌지를 순차적으로 확인한다.

차량(10)이 직진하여 (단계 S2)에 도시되어 있는 위치에 도달하면, 사용자(운전자)는 차가 주차되어 있지 않은 빈 공간을 육안으로 인식할 수 있다.

그 결과, 사용자(운전자)는, (단계 S2)에 도시된 위치에서 육안으로 인식될 수 있는 빈 공간에 차량을 주차하도록 운전대(steering wheel)를 조작한다. 즉, (단계 S3)에 도시된 바와 같이, 사용자(운전자)는 먼저 우측 전방 방향으로 차량이 나아가고 그리고 그 후 차량을 후진시켜서 차량이 빈 공간에 주차되도록 하는 운전 조작을 수행한다.

이러한 일련의 처리에 있어서의 차량(10)의 주행 경로는, 도 3에 도시되어 있는 것과 같은 주행 경로가 된다. 차량(10)은, 주차 가능 공간을 확인하여 주차하기 위하여, 도 3에 도시된 것과 같은 주행 경로를 따라서 주차장 내를 주행하는 것이 필요하다. 이러한 빈 공간을 확인하기 위하여 주행하는데는 시간이 소요되며, 또한 좁은 주차장내에서 주행하는 것은 다른 차량이나 사람과 접촉 사고를 유발하기 쉬운데, 이것은 안전 문제를 야기한다.

<2.사용자에게 주차 가능 공간과 주차 불가 공간을 이해하기 쉽게 제시하는 본 개시의 처리에 대해서>

다음으로, 사용자에게 주차 가능 공간과 주차 불가 공간을 이해하기 쉽게 제시하는 본 개시의 처리에 대해서 설명한다.

도 4는 앞에서 설명한 도 1과 유사한 도면이다. 도 4에는 차량(10)과 주차장(20)이 도시되어 있으며, 차량(10)은 주차장(20)의 입구로부터 주차장(20)으로 진입하며, 빈 공간에 주차하려고 하고 있다.

도 4에 도시된 상황에서, 차량(10)의 운전자인 사용자는, 차량의 전방을 보고 있는 경우에도, 어떤 주차 구획 영역이 비어 있는지를 육안으로 확인하는 것은 어렵다. 그러나 차량(10)에 구비되어 있는 본 개시의 실시 형태에 따른 정보 처리 장치는, 차량(10)에 구비되어 있는 센서의 검출 정보 또는 주차장 관리 서버 등과 같은 외부 장치로부터 수신된 정보에 기초하여, 주차장(20)의 각 주차 구획 영역이 주차 가능한지 또는 주차 불가능한지를 분석한다.

차량(10)에 구비되어 있는 센서는, 카메라 센서, LiDAR(Light Detection and Ranging) 센서 및 ToF(Time of Flight) 센서 등과 같은 센서이다. 한편, LiDAR(Light Detection and Ranging) 센서와 ToF 센서는 각각 레이저 광 등과 같은 광을 출력하고, 오브젝트(object)로부터의 반사광을 분석하며, 주위의 오브젝트로부터의 거리를 계측하는 센서이다.

차량(10)에 구비되어 있는 상기 정보 처리 장치는, 이러한 센서 검출 정보를 사용해서 차량의 주위 상황을 분석하고, 주차장(20)의 각 주차 구획 영역의 점유 상태(empty state)를 확인한다.

한편, 차량(10)에 구비되어 있는 상기 정보 처리 장치는, 전술한 센서 검출 정보를 반드시 사용할 필요는 없으며, 예를 들어, 주차장 관리 서버 등과 같은 외부 장치로부터, 주차장(20) 내의 각 주차 구획 영역의 점유 상태에 대한 정보, 즉 각 주차 구획 영역이 주차가 가능한지 또는 주차가 불가능한지에 대한 정보를 수신해도 된다.

전술한 바와 같이, 본 개시의 실시 형태에 따른 정보 처리 장치는 센서 검출 정보 또는 외부로부터 수신된 정보 중의 적어도 하나를 이용해서 각 주차 구획 영역이 주차가 가능한지 또는 주차가 불가능한지를 분석한다. 또한, 정보 처리 장치는, 이 분석 처리의 결과에 기초하여, 차량의 운전자인 사용자에게 차량의 주차 가능 구획 영역을 이해하기 쉽게 제시하는 표시 데이터를 생성하고, 그 표시 데이터를 표시부에 표시한다. 도 5 및 후속 도면들을 참조하여, 본 개시의 실시 형태에 따른 정보 처리 장치에 의해서 생성되는 표시 데이터의 구체예에 대해서 설명한다.

도 5는 차량(10)의 내부에 있는 차량(10)의 프런트 패널(front panel)의 일례를 나타낸다. 본 개시의 실시 형태에 따른 정보 처리 장치에 의해 생성된 표시 데이터는, 차량(10)의 프런트 패널에 구성된 표시부(50)에 표시된다. 한편, 도 5에 도시되어 있는 차량(10)은, 도 4에 도시되어 있는 차량(10)에 대응하고, 주차장(20)의 입구로부터 주차장(20)으로 진입하는 위치에 있다.

이 위치에서, 차량(10)에 구비되어 있는 정보 처리 장치는, 주차장(20)의 각 주차 구획 영역이 주차 가능 공간인지 또는 주차 불가 공간인지에 대한 정보를 이미 취득하였는데, 상기 정보는 센서 검출 정보 또는 외부로부터 수신된 정보에 기초하여 생성된 것이다.

정보 처리 장치는 이 정보를 사용하여 표시 데이터를 생성하고, 그 표시 데이터를 표시부에 표시하는데, 상기 표시 데이터는 주차장(20)의 각 주차 구획 영역이 주차가 가능한지 또는 주차가 불가능한지를 쉽게 판정하는 것을 가능하게 한다.

도 6은 본 개시의 실시 형태에 따른 정보 처리 장치에 의해 생성되는 표시 데이터의 일예를 나타낸다. 도 6에 도시된 표시 데이터는, 차량(10)의 프런트 패널에 구성된 표시부(50)에 표시되는 데이터의 일예를 나타낸다.

도 6에 도시된 표시 데이터는, 차량(10)에 구비된 카메라에 의해 촬영된 실제 이미지에, 주차 불가 공간 식별용 표시 데이터(101)와 주차 가능 공간 식별용 표시 데이터(102)의 2가지 종류의 그래픽 데이터(가상 오브젝트)를 표시하는 표시 데이터이다.

이미 차량이 주차되어 있는 주차 불가 공간에는, 차량 접촉면에서 상방으로 연장된 상방 연장면(upward extension surface)을 갖는, 적색 펜스형 표시 데이터, 즉 주차 불가 공간 식별용 표시 데이터(non-parkable-space-identifying display data, 101)가 표시된다. 또한, 차량이 주차되어 있지 않은 주차 가능 공간에는, 차량 접촉면과 평행한 청색 표시 데이터, 즉 주차 가능 공간 식별용 표시 데이터(parkable-space-identifying display data, 102)가 표시된다.

주차장의 이미지는 차량(10)에 구비되어 있는 카메라에 의해 촬영된 실제 이미지이다. 차량(10)에 구비되어 있는 정보 처리 장치는, 이 실제 이미지에, 가상 오브젝트인 주차 불가 공간 식별용 표시 데이터(101)와 주차 가능 공간 식별용 표시 데이터(102) 등과 같은 그래픽 데이터를 중첩하며, 획득된 이미지를 표시한다. 즉, 차량(10)의 정보 처리 장치는, 실제 오브젝트와 가상 오브젝트가 혼합된 확장 현실 이미지인 AR(Augumented Reality) 이미지를 생성하고, 생성된 이미지를 표시부(50)에 표시한다.

도 6에 도시되어 있는 적색 펜스형 주차 불가 공간 식별용 표시 데이터(101)는 하방측(차량 접촉면측)으로 더 높은 투명도를 가지고, 상방측으로 더 낮은 투명도를 갖는다. 즉, 적색 펜스형 주차 불가 공간 식별용 표시 데이터(101)는, 상방측으로 적색이 더 선명해지는 설정을 갖는 적색 반투명 펜스형 3차원 그래픽 데이터(가상 오브젝트)이다.

이 주차 불가 공간 식별용 표시 데이터(101)는, 주차장의 주차 구획 영역에 이미 차량이 존재하기 때문에, 차량 주차 불가 공간이라고 판정된 주차 구획의 전방 위치에 거의 수직으로 서있게 표시된다.

반면, 도 6에 도시되어 있는 청색 평면형 주차 가능 공간 식별용 표시 데이터(102)는, 주차 영역의 전방측(주차 출입구측)으로 더 높은 투명도를 가지고, 주차 영역의 후방측으로 더 낮은 투명도를 갖는, 평면형 그래픽 데이터(가상 오브젝트)이다. 즉, 청색 평면형 주가 가능 공간 식별용 표시 데이터(102)는, 주차 영역의 후방측으로 청색이 더 선명해지는 설정을 갖는 평면형 그래픽 데이터(가상 오브젝트)이다.

한편, 이러한 2가지 종류의 그래픽 데이터, 즉, 적색 펜스형 주차 불가 공간 식별용 표시 데이터(101)와 청색 평면형 주차 가능 공간 식별용 표시 데이터(102)는, 주차 구획 영역의 전방 라인, 즉 차량을 주차할 때의 입구가 되는 주차 구획 영역의 전방 라인에, 배치되도록 표시된다.

주차장(20)에 진입해서 차량(10)을 주차하려고 하는 사용자(운전자)는, 차량(10)의 표시부(50)에 표시된 표시 데이터의 그래픽 데이터를 보고, 적색 펜스형 주차 불가 공간 식별용 표시 데이터(101)가 표시되어 있는 영역은 주차가 불가능한 공간이며, 청색 평면형 주차 가능 공간 식별용 표시 데이터(102)가 표시되어 있는 영역은 주차가 가능한 공간인 것을, 쉽고 확실하게 판정할 수 있다.

사용자(운전자)는, 이 판정 결과에 기초하여, 청색 평면형 주차 가능 공간 식별용 표시 데이터(102)가 표시되어 있는 영역에, 차량(10)을 효율적으로 주차할 수가 있다.

적색 펜스형 주차 불가 공간 식별용 표시 데이터(101)는, 실제 주차장에는 존재 가능성이 거의 없는 오브젝트이며, 운전자는 표시부(50)에 표시된 실제 존재 가능성이 거의 없는 적색 펜스를 보고, 즉시 그리고 확실하게 주차 불가 영역을 식별할 수 있다.

한편, 적색 펜스형 주차 불가 공간 식별용 표시 데이터(101)는, 전술한 것 같이 반투명 그래픽 데이터이며, 따라서 그래픽 데이터와 표시된 적색 펜스에 의해 감춰지는 뒷쪽의 실제 이미지가 인식될 수 있다. 예를 들어, 도 6에서 앞에서부터 3번째의 주차 구획은, 청색 평면형 주차 가능 공간 식별용 표시 데이터(102)가 표시되어 있고, 청색 평면형 주차 가능 공간 식별용 표시 데이터(102)의 일부는, 그 앞쪽의 적색 펜스형 주차 불가 공간 식별용 표시 데이터(101)와 겹쳐 있다. 그 앞쪽의 적색 펜스형 주차 불가 공간 식별용 표시 데이터(101)는 투명성을 갖고 있으며, 따라서 그 뒷쪽의 청색 평면형 그래픽 데이터는 적색 펜스를 통해서 인식될 수 있다.

이상에서 설명한 바와 같이, 본 개시의 실시 형태에 따른 정보 처리 장치는, 사용자(운전자 또는 탑승자)의 시야를 가리지 않는 표시 데이터를 생성하고, 그 표시 데이터를 표시하는데, 차량 접촉면에 대하여 수직으로 세워진 펜스는 표시 데이터에서 투명성을 갖는다. 사용자(운전자 또는 탑승자)는, 적색 펜스를 통해서, 적색 펜스의 뒤쪽에 있는 청색 평면형 주차 가능 공간 식별용 표시 데이터(102)를 보고, 주차 가능 공간의 존재를 즉시 인식할 수 있다. 또한, 적색 펜스형 주차 불가 공간 식별용 표시 데이터(101)는, 하방측(차량 접촉면측)으로 더 높은 투명도를 갖고 상방측으로 더 낮은 투명도를 갖는다. 이러한 구성에 의하여, 사용자(운전자 또는 탑승자)는 차량(10)으로부터 멀리 떨어져 있는 주가 불가 공간도 쉽게 인식할 수 있다.

다음으로, 도 7을 참조하여 본 개시의 실시 형태에 따른 정보 처리 장치에 의해 표시 데이터로서 생성되는 그래픽 데이터(가상 오브젝트)인 적색 펜스형 주차 불가 공간 식별용 표시 데이터(101)와 청색 평면형 주차 가능 공간 식별용 표시 데이터(102)에 대해서 상세하게 설명한다.

도 7은 다음의 2개의 그래픽 데이터를 나타낸다: (A) 주차 불가 공간 식별용 표시 데이터; 및 (B) 주차 가능 공간 식별용 표시 데이터. 그래픽 데이터 2개 모두 대응하는 주차 구획의 전방에서 본 상태를 나타낸다.

(A) 주차 불가 공간 식별용 표시 데이터는 주차 구획의 전방에 세워져 있는 펜스형 표시 데이터이고, 차량 주행면에 대하여 수직으로 세워져 있는 적색 펜스 형상을 갖는 3차원 그래픽 데이터이다. 도 7에 도시된 바와 같이, 적색 펜스형 주차 불가 공간 식별용 표시 데이터는, 하방측(차량 접촉면측)으로 더 높은 투명도를 가지고, 상방측으로 더 낮은 투명도를 갖는다. 즉, 적색 펜스형 주가 불가 공간 식별용 표시 데이터는, 상방측으로 적색이 더 선명해지는 설정을 갖는 적색 반투명 펜스형 3차원 그래픽 데이터(가상 오브젝트)이다.

반면, (B) 주차 가능 공간 식별용 표시 데이터는, 주차 영역의 전방측 (주차 출입구측)이 더 높은 투명도를 갖고, 주차 영역의 후방측이 더 낮은 투명도를 갖는다. 즉, (B) 주차 가능 공간 식별용 표시 데이터는, 주차 영역의 전방쪽으로 청색이 더 선명하게 되는 설정을 갖는 평면형 그래픽 데이터(가상 오브젝트)이다. 도 7에 도시된 바와 같이, 청색 평면형 주차 가능 공간 식별용 표시 데이터는, 주차 평면인 접촉면에 펼쳐져 있는 청색 평면형 그래픽 데이터(가상 오브젝트)이다.

도 8은, 도 6과 도 7을 참조해서 설명한 청색 평면형 주차 가능 공간 식별용 표시 데이터(102)의 투명도 설정을 반대로 한 경우의 일예를 나타낸다. 적색 펜스형 주차 불가 공간 식별용 표시 데이터(101)는, 도 6과 도 7을 참조해서 설명한 것과 동일한 데이터이며, 하방측(차량 접촉면측)으로 더 높은 투명도를 가지고, 상방측으로 더 낮은 투명도를 갖는다. 즉, 적색 펜스형 주차 불가 공간 식별용 표시 데이터(101)는, 상방측으로 갈수록 적색이 보다 선명해지는 설정을 갖는 적색 반투명 펜스형 3차원 그래픽 데이터(가상 오브젝트)이다.

이 주차 불가 공간 식별용 표시 데이터(101)는, 주차장의 주차 구획 영역에 이미 차량이 존재하기 때문에 차량 주차 불가 공간이라고 판정된 주차 구획의 전방 위치에 거의 수직으로 세워지게 표시된다.

한편, 도 2에 도시된 청색 평면형 주차 가능 공간 식별용 표시 데이터(102)는, 주차 영역의 전방측(주차 출입구측)으로 갈수록 투명도가 더 낮고 청색 출력이 더 크며, 또한 주차 영역의 후방측으로 갈수록 투명도가 더 높고 청색 출력이 더 작아지도록 설정된다. 즉, 청색 평면형 주차 가능 공간 식별용 표시 데이터(102)는, 주차 영역의 전방측으로 청색이 더 선명해지는 설정을 갖는 평면형 그래픽 데이터(가상 오브젝트)이다.

이러한 설정으로 함으로써, 예를 들어, 청색 평면형 주차 가능 공간 식별용 표시 데이터(102)의 전방에 차량이 있고 또한 적색 펜스형 주차 불가 공간 식별용 표시 데이터(101)가 그 위치에 표시되어도, 그 뒤의 청색 평면형 주차 가능 공간 식별용 표시 데이터(102)의 전방의 청색이 쉽게 인식될 수 있다. 이러한 이유로, 예를 들어, 적색 펜스형 주차 불가 공간 식별용 표시 데이터(101)에 의해 숨겨지는 부분의 이미지를 생성해서 표시하는 것과 같은, 가림 영역(occlusion area)에 대한 처리를 수행할 필요가 없다.

한편, 이러한 2가지 종류의 그래픽 데이터, 즉 적색 펜스형 주차 불가 공간 식별용 표시 데이터(101)와 청색 평면형 주차 가능 공간 식별용 표시 데이터(102)는, 주차 구획 영역의 전방 라인, 즉 차량을 주차할 때 입구가 되는 주차 구획 영역의 전방 라인에 배치되도록 표시된다.

주차장(20)에 진입해서 차량(10)을 주차하려고 하는 사용자(운전자)는, 차량(10)의 표시부(50)에 표시된 표시 데이터의 그래픽 데이터를 보고, 적색 펜스형 주차 불가 공간 식별용 표시 데이터(101)가 표시되어 있는 영역은 주차 불가 공간이며, 청색 평면형 주차 가능 공간 식별용 표시 데이터(102)가 표시되어 있는 영역은 주차 가능 공간인 것을, 쉽고 확실하게 판정할 수가 있다.

이 판정 결과에 기초하여, 사용자(운전자)는 청색 평면형 주차 가능 공간 식별용 표시 데이터(102)가 표시되어 있는 영역에 차량(10)을 효율적으로 주차할 수가 있다.

도 9는 도 8에 도시된 적색 펜스형 주차 불가 공간 식별용 표시 데이터(101)와 청색 평면형 주차 가능 공간 식별용 표시 데이터(102)의 상세에 대해서 기술하는 도면이다.

도 9는 다음의 2개의 그래픽 데이터를 나타낸다: (A) 주차 불가 공간 식별용 표시 데이터; 및 (B) 주차 가능 공간 식별용 표시 데이터. 이 2개의 그래픽 데이터는 모두 각 주차 구획의 전방으로부터 본 상태를 나타낸다.

(A) 주차 불가 공간 식별용 표시 데이터는, 앞에서 도 7을 참조해서 설명한 데이터와 동일한 데이터이며, 주차 구획의 전방에 서있는 펜스형 표시 데이터이고, 차량 주행면에 대하여 수직으로 서있는 적색의 펜스 형상을 갖는 3차원 그래픽 데이터이다. 도 9에 도시된 바와 같이, 적색 펜스형 주차 불가 공간 식별용 표시 데이터는, 하방측(차량 접촉면측)으로 더 높은 투명도를 갖고, 상방측으로 더 낮은 투명도를 갖는다. 즉, 적색 펜스형 주차 불가 공간 식별용 표시 데이터는, 상방측으로 적색이 더 선명해지는 설정을 갖는, 적색 반투명 펜스형 3차원 그래픽 데이터(가상 오브젝트)이다.

반면, (B) 주차 가능 공간 식별용 표시 데이터는, 청색 평면형 주차 가능 공간 식별용 표시 데이터(102)의 상세를 나타내는 것으로, 주차 영역(주차 출입구측)의 전방측이 투명도가 더 낮고 청색 출력이 더 크며, 주차 영역의 후방측이 투명도가 더 높고 청색 출력이 더 작은 설정을 갖는다. 즉, 주차 영역의 전방측이 청색이 더 선명해지는 설정을 갖는 평면형 그래픽 데이터(가상 오브젝트)이다.

한편, 본 실시예에서는 주차 불가 공간 식별용 표시 데이터(101)는 적색 반투명 수직 펜스로 하고, 주차 가능 공간 식별용 표시 데이터(102)는 청색 반투명 평면으로 한 예가 기술되어 있지만, 그래픽 데이터의 색상, 형상 및 투명도에 대해서는 여러가지 설정이 가능하다. 또한, 패턴이나 질감이 부가된 그래픽 데이터가 사용될 수도 있다. 이하에서는 여러가지 설정예에 대해서 설명한다.

<3.그래픽 데이터의 변형에 대해서>

다음으로, 주차 불가 공간 식별용 표시 데이터(101) 또는 주차 가능 공간 식별용 표시 데이터(102)로서 표시되는 그래픽 데이터의 변형에 대해서 설명한다.

도 6 및 도 7을 참조해서 설명한 실시예에서는, 주차 불가 공간 식별용 표시 데이터(101)는 주차 구획의 전방에서 차량 접촉면에서 상방으로 연장된 상방 연장면과 적색 반투명의 수직 펜스 형상을 가지는 그래픽 데이터이고, 하방측(차량 접촉면측)으로 갈수록 투명도가 더 높고, 상방측으로 갈수록 투명도가 더 낮은 설정을 갖는 그래픽 데이터(가상 오브젝트)이다. 반면, 주차 가능 공간 식별용 표시 데이터(102)는 주차 평면인 접촉면에 펼쳐 있는 청색 평면형 그래픽 데이터(가상 오브젝트)이다.

전술한 설정과 다른 설정을 갖는 그래픽 데이터의 변형에 대해서 설명한다. 도 10은, 전술한 도 6과 유사하게, 차량(10)의 프런트 패널에 구성된 표시부(50)에 표시되는 데이터의 일예를 나타내는 도면이다.

도 10에 도시된 표시 데이터는, 전술한 도 6과 유사하게, 차량(10)에 구비된 카메라에 의해 촬영된 실제 이미지에, 두 가지 유형의 그래픽 데이터를 표시하는 표시 데이터인데, 상기 두 가지 유형의 그래픽 데이터는 주차 불가 공간 식별용 표시 데이터(10lb)와 주차 가능 공간 식별용 표시 데이터(102)이다.

이미 차량이 주차되어 있는 주차 불가 공간에는, 차량 접촉면에서 대각선 방향으로 위쪽으로 연장된 적색 펜스형 표시 데이터, 즉 주차 불가 공간 식별용 표시 데이터(10lb)가 표시되어 있다. 또한, 차량이 주차되어 있지 않은 주차 가능 공간에는, 차량 접촉면에 평행한 청색 표시 데이터, 즉 주차 가능 공간 식별용 표시 데이터(102)가 표시되어 있다.

전술한 도 6에 도시되어 있는 적색 펜스형 주차 불가 공간 식별용 표시 데이터(101)는 접촉면에 대하여 수직으로 상방으로 연장된 펜스 형상을 가지고 있지만, 도 10에 도시되어 있는 적색 펜스형 주차 불가 공간 식별용 표시 데이터(10lb)는 접촉면에서 대각선 방향으로 상방으로 연장된 펜스 형상을 가지고 있다. 이러한 점에서, 도 10에 도시되어 있는 적색 펜스형 주차 불가 공간 식별용 표시 데이터(10lb)는, 도 6에 도시되어 있는 적색 펜스형 주차 불가 공간 식별용 표시 데이터(101)와 다르다.

한편, 도 10에 도시되어 있는 적색 펜스형 주차 불가 공간 식별용 표시 데이터(10lb)의 투명도 설정은, 하방측(차량 접촉면측)으로 투명도가 더 높고, 상방측으로 투명도가 더 낮은 설정이다. 즉, 적색 펜스형 주차 불가 공간 식별용 표시 데이터(10lb)는, 상방측으로 갈수록 적색이 보다 선명해지는 설정을 갖는, 적색 반투명 펜스형 3차원 그래픽 데이터(가상 오브젝트)이다.

이 주차 불가 공간 식별용 표시 데이터(10lb)는, 주차장의 주차 구획 영역에 이미 차량이 존재하고 있어서, 차량 주차 불가 공간이라고 판정된 주차 구획의 전방에 비스듬히 기울어 서있게 표시된다.

반면, 도 10에 도시되어 있는 청색 평면형 주차 가능 공간 식별용 표시 데이터(102)는, 주차 영역의 전방측(주차 출구/입구측)으로 투명도가 더 높고, 주차 영역의 후방측으로 투명도가 더 낮다. 즉, 청색 평면형 주차 가능 공간 식별용 표시 데이터(102)는 주차 영역의 후방측으로 청색이 더 선명해지는 설정을 갖는 평면형 그래픽 데이터(가상 오브젝트)이다. 이것은, 앞에서 도 6을 참조해서 설명한 주차 가능 공간 식별용 표시 데이터(102)와 유사한 그래픽 데이터이다.

한편, 이러한 2가지 종류의 그래픽 데이터, 즉 적색 펜스형 주차 불가 공간 식별용 표시 데이터(10lb)와 청색 평면형 주차 가능 공간 식별용 표시 데이터(102)는, 주차 구획 영역의 전방 라인에 배치되도록 표시되는데, 상기 주차 구획 영역의 전방 라인은 차량을 주차할 때의 입구이다.

또한, 도 11을 참조하여 그래픽 데이터의 변형예에 대해서 설명한다. 도 11은, 전술한 도 6과 유사하게, 차량(10)의 전방 패널에 구성된 표시부(50)에 표시되는 데이터의 일예를 나타내는 도면이다.

도 11에 도시된 표시 데이터는, 전술한 도 6과 유사하게, 차량(10)에 구비된 카메라에 의해 촬영된 실제 이미지에, 두 가지 유형의 그래픽 데이터(가상 오브젝트)를 표시하는 표시 데이터인데, 상기 두 가지 유형의 그래픽 데이터는 주차 불가 공간 식별용 표시 데이터(10lc)와 주차 가능 공간 식별용 표시 데이터(102)이다.

차량이 주차되어 있는 주차 불가 공간에는, 주차 불가 공간 식별용 표시 데이터(101c)로서, 적색 박스형 표시 데이터가 표시된다. 적색 박스형 표시 데이터로 표시되는 주차 불가 공간 식별용 표시 데이터(101c)는, 차량 접촉면에서 상방으로 연장된 상방 연장면을 갖는 적색 박스형 표시 데이터이다. 또한, 차량이 주차되어 있지 않은 주차 가능 공간에는, 차량 접촉면에 평행한 청색 표시 데이터, 즉 주차 가능 공간 식별용 표시 데이터(102)가 표시된다.

도 11에 도시되어 있는 주차 불가 공간 식별용 표시 데이터(101c)는, 도 6이나 도 10을 참조해서 설명한 펜스형 형상이 아니고, 주차 차량 전체를 포함하고 있는 형상을 갖는 박스형 형상을 가지고 있다.

한편, 도 11에 도시되어 있는 적색 박스형 주차 불가 공간 식별용 표시 데이터(101c)의 투명도 설정은, 투명도가 하방측(차량 접촉면측)이 더 높고, 상방측이 투명도가 더 낮은 설정이다. 즉, 적색 박스형 주차 불가 공간 식별용 표시 데이터(101c)는 상방측으로 적색이 보다 선명해지는 설정을 갖는 적색 반투명 박스형 3차원 그래픽 데이터(가상 오브젝트)이다.

이 주차 불가 공간 식별용 표시 데이터(101c)는, 주차장의 주차 구획 영역에 이미 차량이 존재하기 때문에, 차량 주차 불가 공간이라고 판정된 주차 구획 전체를 포함하는 박스로서 표시된다.

반면, 도 11에 도시되어 있는 청색 평면형 주차 가능 공간 식별용 표시 데이터(102)는, 주차 영역의 전방측(주차 출입구측)으로 더 높은 투명도를 가지고, 주차 영역의 후방측으로 더 낮은 투명도를 갖는다. 즉, 청색 평면형 주차 가능 공간 식별용 표시 데이터(102)는, 주차 영역의 후방측으로 갈수록 청색이 더 선명해지는 설정을 갖는 평면형 그래픽 데이터(가상 오브젝트)이다. 이것은, 위에서 도 6을 참조해서 설명한, 주차 가능 공간 식별용 표시 데이터(102)와 유사한 그래픽 데이터이다.

한편, 이러한 2가지 종류의 그래픽 데이터, 즉 적색 박스형 주차 불가 공간 식별용 표시 데이터(101c)와 청색 평면형 주차 가능 공간 식별용 표시 데이터(102)는, 주차 구획 영역의 전방 라인에 배치되도록 표시되는데, 상기 주차 구획 영역의 전방 라인은 차량을 주차할 때의 입구이다.

도 12 및 후속 도면을 참조하여, 주차 불가 공간 식별용 표시 데이터 또는 주차 가능 공간 식별용 표시 데이터로서 이용될 수 있는 그래픽 데이터의 예에 대해서 설명한다.

도 12는, 도 6, 도 10 및 도 11을 참조해서 설명한 3가지 종류의 주차 불가 공간 식별용 표시 데이터(101)를 함께 설명하는 도면이다. 다음의 3가지 유형의 이미지(그래픽 데이터)가 도시되어 있다: (a) 적색 수직 펜스 이미지(red upright fence image); (b) 적색 경사 펜스 이미지(red inclined fence image); 및 (c) 적색 박스 이미지. 예를 들어, 주차 불가 공간 식별용 표시 데이터(101)로서, 이러한 3가지 종류의 이미지 중 어느 하나가 이용될 수 있다.

한편, 투명도는, (a) 내지 (c)의 각각에 대하여, 투명도는 접촉면측이 더 높고, 투명도가 접촉면의 상방측에서 더 낮게 설정된다. 즉, 적색은 접촉면의 상방측으로 더 강하게 출력된다. 한편, 본 실시예에서는 적색이 설정되지만, 이것은 단지 일예이며, 다른 색상이 설정되어도 된다. 또한, 패턴이나 질감이 부가된 그래픽 데이터가 사용되어도 된다.

도 13은, 도 12에 도시된 것과 다른 주차 불가 공간 식별용 표시 데이터(101)의 일예를 나타내는 도면이다. 다음의 3가지 유형의 이미지(그래픽 데이터)가 도시되어 있다: (a) 적색 수직 펜스 이미지; (b) 적색 경사 펜스 이미지; 및 (c) 적색 박스 이미지.

도 13에 도시되어 있는 3개의 주차 불가 공간 식별용 표시 데이터(101)의 그래픽 데이터는, 투명도의 설정이 도 12에 도시되어 있는 예의 반대인 그래픽 데이터이다. 즉, (a) 내지 (c) 각각에 대하여 접촉면측으로 투명도가 더 낮고, 접촉면의 상방으로 투명도가 더 높도록, 투명도가 설정된다. 즉, 접촉면측으로 적색이 더 강하게 출력된다. 한편, 이번 예에서는, 적색이 설정되고 있지만, 이것은 단지 일예에 불과하며, 다른 색상이 설정되어도 된다. 또한, 패턴이나 질감이 부가된 그래픽 데이터가 사용되어도 된다.

도 14는 주차 불가 공간 식별용 표시 데이터(101)의 또 다른 예를 나타내는 도면이다. 이하에는 3가지 종류의 이미지(그래픽 데이터)가 도시되어 있다: (a) 적색 수직 펜스 이미지; (b) 적색 경사 펜스 이미지; 및 (c) 적색 박스 이미지.

도 14에 도시되어 있는 이러한 3개의 주차 불가 공간 식별용 표시 데이터(101)의 그래픽 데이터는, 투명도가 전체 펜스 또는 전체 박스에서 균일하게 설정된 그래픽 데이터이다. 즉, (a) 내지 (c) 각각에 대하여 접촉면에서부터 상방까지 투명도가 균일하게 설정된다. 적색은 또한 균일하게 출력된다. 한편, 이번 예에서는, 적색이 설정되지만, 이것은 단지 일예이며, 다른 색상으로 설정되어도 된다. 또한, 패턴이나 질감이 부가된 그래픽 데이터가 사용되어도 된다.

도 15는 주차 불가 공간 식별용 표시 데이터(101)의 또 다른 예를 나타내는 도면이다. 다음의 3가지 유형의 이미지(그래픽 데이터)가 도시된다: (a) 적색 수직 펜스 이미지; (b) 적색 경사 펜스 이미지; 및 (c) 적색 박스 이미지.

도 15에 도시되어 있는 이러한 3개의 주차 불가 공간 식별용 표시 데이터(101)의 그래픽 데이터는, 투명도가 0으로 설정, 즉 펜스 또는 박스 전체가 불투명하게 설정된 그래픽 데이터이다. 즉, (a) 내지 (c) 각각에 대하여 접촉면에서 상방까지 불투명 적색이 출력된다. 한편, 이번 예에서는, 적색이 설정되지만, 이것은 단지 일예이며, 다른 색상으로 설정되어도 된다. 또한, 패턴이나 질감이 부가된 그래픽 데이터가 사용되어도 된다.

도 16은 주차 불가 공간 식별용 표시 데이터(101)의 또 다른 예를 나타내는 도면이다. 다음의 3가지 유형의 이미지(그래픽 데이터)가 도시된다: (a) 적색 수직 펜스 이미지; (b) 적색 경사 펜스 이미지; 및 (c) 적색 박스 이미지.

도 16에 도시되어 있는 이들 3개의 주차 불가 공간 식별용 표시 데이터(101)의 그래픽 데이터는, 프레임만 적색이고 프레임이외의 다른 면은 투명인 펜스 또는 박스를 포함하는 설정을 갖는 그래픽 데이터이다. 한편, 이번 예에서는 적색이 프레임의 색으로 설정되어 있지만, 이것은 단지 일예이며, 다른 색상으로 설정되어도 된다. 또한, 패턴이나 질감이 부가된 그래픽 데이터가 사용되어도 된다.

다음으로, 도 17을 참조하여, 주차 가능 공간 식별용 표시 데이터(102)의 그래픽 데이터의 일예에 대해서 설명한다.

위에서 설명한 도 6, 도 10 및 도 11에서는, 주차 가능 공간 식별용 표시 데이터(102)의 그래픽 데이터로서, 주차 가능 공간의 주차 평면에 평행한 청색 평면 이미지가 출력되는 예에 대해서 설명하였다.

주차 가능 공간 식별용 표시 데이터(102) 또한 이러한 평면 이미지에 한정되지 않으며, 다른 그래픽 데이터가 이용되어도 된다. 주차 가능 공간 식별용 표시 데이터(102)의 일예로서, 도 17에 다음의 3가지 유형의 이미지(그래픽 데이터)가 도시된다: (a) 청색 평면 이미지; (b) 청색 펜스 이미지(수직 또는 경사); (c) 청색 박스 이미지. 주차 가능 공간 식별용 표시 데이터(102)로서, 예를 들어, 이들 3가지 유형의 이미지 중에서 어느 하나가 사용될 수 있다.

(a) 청색 평면 이미지는, 도 6, 도 10 및 도 11을 참조해서 설명한 그래픽 데이터에 대응한다. 즉, 주차 영역의 전방측(주차 출입구측)으로 투명도가 더 높고, 주차 영역의 후방측으로 투명도가 더 낮다. 즉, (a) 청색 평면 이미지는, 주차 영역의 후방쪽으로 청색이 더 선명해지는 설정을 갖는 평면형 그래픽 데이터(가상 오브젝트)이다. (b)와 (c) 이미지 각각은, 접촉면측으로 투명도가 더 높고, 접촉면의 상방측으로 투명도가 더 낮은 설정을 갖는다. 즉, 접촉면에서 상방측으로 청색이 더 강하게 출력된다. 한편, 이번 예에서는 청색이 설정되어 있지만, 이것은 단지 일예이며, 다른 색상으로 설정되어도 된다. 또한, 패턴이나 질감이 부가된 그래픽 데이터가 사용되어도 된다.

또한, 도 18은 도 17을 참조해서 설명한 주차 가능 공간 식별용 표시 데이터(102)의 투명도 설정과는 반대인 예를 나타내고 있다. 다음의 3가지 종류의 이미지(그래픽 데이터)가 도시되어 있다: (d) 청색 평면 이미지; (e) 청색 펜스 이미지(수직 또는 경사); 및 (f) 청색 박스 이미지.

(d) 청색 평면 이미지는, 도 17을 참조해서 설명한 (a) 청색 평면 이미지의 투명도 설정과는 반대인 이미지이다. 즉, (d) 청색 평면 이미지는, 주차 영역의 전방측(주차 출입구측)으로 투명도가 더 낮고 청색 출력이 더 크며, 주차 영역의 후방측으로 투명도가 더 높고 청색 출력이 더 낮은 설정을 갖는다. 즉, (d) 청색 평면 이미지는, 주차 영역의 전방측으로 청색이 더 선명해지는 설정을 갖는 평면형 그래픽 데이터(가상 오브젝트)이다.

(b)와 (c) 이미지 각각은, 접촉면쪽으로 투명도가 더 낮고, 접촉면에서 상방측으로 투명도가 더 높은 설정을 갖는다. 즉, 접촉면쪽으로 청색이 더 강하게 출력된다. 한편, 이번 예에서는, 청색이 설정되어 있지만, 이것은 단지 일예이며, 다른 색상으로 설정되어도 된다. 또한, 패턴이나 질감이 부가된 그래픽 데이터가 사용되어도 된다.

주차 불가 공간 식별용 표시 데이터(101)의 구체적인 예로서 설명된 도 14 내지 도 16의 변형예들 각각은, 주차 가능 공간 식별용 표시 데이터(102)에 대해서도 또한 이용될 수 있다. 즉, 다음의 변형예가 가능하다.

(1) 도 14를 참조해서 설명한, 균일한 투명도를 가지고 전체 면이 반투명인 설정(이 설정은 도 17의 (a) 평면형, 도 17의 (b) 펜스형 및 도 17의 (c) 박스형 모두에 적용될 수 있다).

(2) 도 15를 참조해서 설명한, 전체 면이 불투명한 설정(이 설정은 도 17의 (a)평면형, 도 17의 (b) 펜스형 및 도 17의 (c) 박스형 모두에 적용될 수 있다).

(3) 도 16을 참조해서 설명한, 내부 영역이 투명하고 색 프레임이 제공되어 있는 설정(이 설정은 도 17의 (a)평면형, 도 17의 (b) 펜스형 및 도 17의 (c) 박스형 모두에 적용될 수 있다).

한편, 전술한 바와 같이, 본 개시의 실시 형태에 따른 차량(10)의 정보 처리 장치는, 차량(10)에 장착된 센서의 검출 정보 또는 예를 들어 주차장 관리 서버 등과 같은 외부 장치로부터 수신한 정보에 기초하여, 주차장(20)의 각 주차 공간이 주차 가능인지 또는 주차 불가인지를 분석한다. 그러나, 이 정보가 불명확할 경우에는, 예를 들어, 차량(10)에 장착된 센서의 검출 정보에 기초하여 주차 구획내에 차량이 있는지 아닌지를 명확히 판정할 수 없는 경우가 있다. 이 경우, 정보 처리 장치는 표시 데이터를 생성하여 운전자(사용자)에게 제공하는데, 상기 표시 데이터는, 카메라로 촬영하여 획득한 실제 이미지에 포함되어 있는 주차 구획에, 주차 가부 불분명 공간에 고유한 그래픽 데이터를 중첩하여 얻어진 것이며, 상기 주차 가부 불분명 공간에는 주차가 가능한지 또는 불가한지가 알려져 있지 않다.

주차 가부 불분명 공간의 그래픽 데이터는, 주차 불가 공간 식별용 표시 데이터(101)와 주차 가능 공간 식별용 표시 데이터(102)와는 다른 데이터일 필요가 있다. 주차 가부 불분명 공간 식별용 표시 데이터의 그래픽 데이터의 일례에 대해서 도 19를 참조하여 설명한다.

주차 가부 불분명 공간 식별용 표시 데이터의 일예로서, 다음의 3가지 유형의 이미지(그래픽 데이터)가 도 19에 도시되어 있다: (a) 황색 평면 이미지; (b) 황색 펜스 이미지(수직 또는 경사); 및 (c) 황색 박스 이미지. 주차 가부 불분명 공간 식별용 표시 데이터로서, 예를 들어, 이들 3가지 유형의 이미지 중에서 어느 하나가 이용될 수 있다.

(a) 황색 평면 이미지는 주차 영역의 전방측(주차 출입구측)에 더 높은 투명도를 갖고, 주차 영역의 후방측에 더 낮은 투명도를 갖는다. 즉, (a) 황색 평면 이미지는 주차 영역의 후방쪽으로 황색이 더 선명해지는 설정을 갖는 평면형 그래픽 데이터(가상 오브젝트)이다. (b)와 (c) 이미지 각각은, 접촉면쪽의 투명도가 더 높고, 접촉면의 상방측으로 투명도가 더 낮은 설정을 갖는다. 즉, 접촉면의 상방측으로 황색이 더 강하게 출력된다. 한편, 이번 예에서는, 황색이 설정되어 있지만, 이것은 단지 일예이며, 다른 색상으로 설정되어도 된다. 또한, 패턴이나 질감이 부가된 그래픽 데이터가 사용되어도 된다.

또한, 도 20은 도 19을 참조해서 설명한 주차 가부 불분명 공간 식별용 표시 데이터와는 투명도 설정이 반대인 예를 나타낸다. 다음의 3가지 유형의 이미지(그래픽 데이터)가 도시되어 있다: (d) 황색 평면 이미지; (e) 황색 펜스 이미지(수직 또는 경사); 및 (f) 황색 박스 이미지.

(d) 황색 평면 이미지는, 도 19를 참조해서 설명한 (a) 황색 평면 이미지의 투명도 설정과는 반대로 한 이미지이다. 즉, (d) 황색 평면 이미지는, 주차 영역의 전방측(주차 출입구측)으로 투명도가 더 낮으며 황색 출력이 더 크고, 주차 영역의 후방측으로 투명도가 더 높고 황색 출력이 더 작은 설정을 갖는다. 즉, (d) 황색 평면 이미지는 주차 영역의 전방측으로 황색이 더 선명해지는 설정을 갖는 평면형 그래픽 데이터(가상 오브젝트)이다.

(b)와 (c) 이미지 각각은, 접촉면측으로 투명도가 더 낮고, 접촉면의 상방측으로 투명도가 더 높은 설정을 갖는다. 즉, 접촉면측으로 황색이 더 강하게 출력된다. 한편, 이번 예에서는, 황색이 설정되어 있지만, 이것은 단지 일예이며, 다른 색상으로 설정되어도 된다. 또한, 패턴이나 질감이 부가된 그래픽 데이터가 사용되어도 된다.

주차 가부 불분명 공간 식별용 표시 데이터에 대해서도, 주차 불가 공간 식별용 표시 데이터(101)의 구체예로서 설명한 도 14 내지 도 16의 변형예들 각각이 이용될 수 있다. 즉, 다음의 변형예가 가능하다.

(1) 도 14를 참조해서 설명한 것과 같이, 전체 면이 균일한 투명도를 갖는 반투명인 설정(이 설정은 도 19의 (a) 평면형, 도 19의 (b) 펜스형 및 도 19의 (c) 박스형 모두에 적용될 수 있다).

(2) 도 15를 참조해서 설명한 것과 같이, 전체 면이 불투명인 설정(이 설정은 도 19의 (a) 평면형, 도 19의 (b) 펜스형 및 도 19의 (c) 박스형 모두에 적용될 수 있다).

(3) 도 16을 참조해서 설명한 것과 같이, 내부 영역이 투명하고 색상 프레임이 제공되어 있는 설정(이 설정은 도 19의 (a) 평면형, 도 19의 (b) 펜스형 및 도 19의 (c) 박스형 모두에 적용될 수 있다).

한편, 주차 불가 공간 식별용 표시 데이터(101), 주차 가능 공간 식별용 표시 데이터(102) 및 주차 가부 불분명 공간 식별용 표시 데이터는, 각각 다른 표시 특성을 갖는 표시 데이터로 한다. 예를 들어, 이들 표시 데이터는 다른 색상 또는 다른 패턴을 가진다.

본 개시의 실시 형태에 따른 주차 불가 공간 식별용 표시 데이터, 주차 가능 공간 식별용 표시 데이터 및 주차 가부 불분명 공간 식별용 표시 데이터는, 주차장에 한정되지 않으며, 예를 들어, 도로상의 주차 공간에 적용되어 표시될 수도 있다.

도 21은 도로를 주행하고 있는 차량(10)의 표시부(50)에 표시되는 표시 데이터의 일예를 나타내는 도면이다. 주차 구획 영역은 차량(10)이 주행하고 있는 도로의 양쪽 측면에 설치되어 있다. 차량은 이 주차 구획 영역이 다른 차량에 의해 점유되지 않은 경우에 주차할 수 있다.

도로를 주행하고 있는 차량(10)에 탑재되어 있는, 본 개시의 실시 형태에 따른 정보 처리 장치는, 카메라로 차량이 주행하고 있는 도로의 전방의 상태의 이미지를 촬영하고, 전술한 주차 불가 공간 식별용 표시 데이터, 주차 가능 공간 식별용 표시 데이터 또는 주차 가부 불분명 공간 식별용 표시 데이터를 획득한 이미지에 중첩하여 획득한 AR 이미지를 생성하고, 표시부에 그 AR 이미지를 표시한다. 이러한 표시 데이터의 일예가 도 21에 도시되어 있는 표시 데이터이다.

한편, 본 개시의 실시 형태에 따른 정보 처리 장치는, 차량(10)에 탑재된 센서의 검출 정보 또는 도로 관리 서버 등과 같은 외부 장치로부터 수신한 정보에 기초하여, 도로의 주차 공간 각각이 주차 가능인지 또는 주차 불가인지를 분석한다. 또한, 본 개시의 실시 형태에 따른 정보 처리 장치는 이러한 분석 처리의 결과에 기초하여, 차량의 주차 가능 공간을 차량 운전자인 사용자에게 이해하기 쉽게 제시하는 표시 데이터를 생성해고, 그 표시 데이터를 표시부에 표시한다. 이러한 표시 데이터의 일예는 도 21에 도시되어 있는 표시 데이터이다.

도 21에 도시되어 있는 표시 데이터는, 이미 다른 차량이 주차되어 있는 주차 구획 영역에 대해서는 주차 불가 공간 식별용 표시 데이터(101)인 적색 박스 이미지(그래픽 데이터)를 표시하고, 다른 차량이 주차되어 있지 않은 주차 구획 영역에 대해서는 주차 가능 공간 식별용 표시 데이터(102)인 청색 평면 이미지(그래픽 데이터)를 표시한다.

도로를 주행하고 있는 차량(10)의 운전자(사용자)는 표시부(50)에 표시되어 있는 이미지, 즉 도 21에 도시되어 있는 이미지를 보고 즉시 주차 가능한 위치를 확실하게 발견할 수 있으며, 차량을 순조롭게 주차할 수가 있다.

<4. 본 개시의 실시 형태에 따른 정보 처리 장치에 의해서 실행되는 처리 순서에 대해서>

다음으로, 본 개시의 실시 형태에 따른 정보 처리 장치에 의해서 실행되는 처리 순서에 대해서 설명한다.

도 22는, 차량(10)에 탑재된 본 개시의 실시 형태에 따른 정보 처리 장치에 의해 실행되는 처리 순서의 일예를 설명하는 흐름도이다. 도 22에 개시된 흐름도는, 본 개시의 실시 형태에 따른 정보 처리 장치의 데이터 처리부의 제어 하에 실행된다. 본 개시의 실시 형태에 따른 정보 처리 장치는, CPU 등과 같은, 프로그램 실행 기능을 갖는 데이터 처리부를 포함하고, 상기 데이터 처리부는 정보 처리 장치내의 저장부(storage unit)에 저장되어 있는 프로그램을 따르는, 도 22에 도시되어 있는 흐름을 따르는 처리를 실행한다. 도 22에 도시되어 있는 흐름도의 각 단계의 처리에 대해서 설명한다.

(단계 S101)

먼저, 차량(10)에 탑재되어 있는 정보 처리 장치의 데이터 처리부는, 단계 S101에서, 주차 가능 공간 탐색 처리 개시 지시가 입력되었는지 여부를 판정한다.

이 주차 가능 공간 탐색 처리 개시 지시는, 예를 들어, 차량(10)의 운전자 (사용자)로부터 입력된다. 한편, 차량(10)이 자율 운전 차량이고, 주차장이 목적지로서 설정되어 있는 경우에는, 사용자 입력 대신에, 자율 운전 제어부가 주차 가능 공간 탐색 처리 개시 지시를 데이터 처리부로 출력해도 된다.

단계 S101에서, 주차 가능 공간 탐색 처리 개시 지시가 입력되었다고 판정된 경우에, 처리는 단계 S102로 진행한다.

(단계 S102)

단계 S101에서, 주차 가능 공간 탐색 처리 개시 지시가 입력되었다고 판정한 경우, 데이터 처리부는 단계 S102에서 주차 가능 공간의 탐색 처리를 시작한다.

(단계 S103)

다음으로, 단계 S103에서, 데이터 처리부는, 차량(10)에 구비되어 있는 센서의 검출 정보 또는 주차장 관리 서버 등과 같은 외부 장치로부터 입력된 정보 중에서 적어도 하나에 기초하여, 주차 구획 영역 각각이 주차 가능 공간인지 또는 주차 불가 공간인지에 대한 판정 처리를 실행한다. 다만, 주차 가부 불분명 영역이 검출된 경우에는, 그 영역은 주차 가부 불분명 공간으로 판정된다.

(단계 S104)

다음으로, 단계 S104에서, 데이터 처리부는 단계 S103에서의 판정 처리의 결과를 사용하여, (a) 주차 가능 공간, (b) 주차 불가 공간 및 (c) 주차 가부 불분명 공간 각각의 상태를 식별하는 것을 가능하게 하는 표시 데이터를 생성하고, 그 표시 데이터를 표시부에 출력한다.

예를 들어, 도 6 내지 도 21을 참조해서 설명한 주차 불가 공간 식별용 표시 데이터(101), 주차 가능 공간 식별용 표시 데이터(102) 및 주차 가부 불분명 공간 식별용 표시 데이터의 3가지 종류의 그래픽 데이터(가상 오브젝트)를, 주차장이나 도로의 실제 이미지에 중첩하여 획득한 확장 현실 이미지인 AR(Augumented Reality) 이미지가 생성되어서 표시부에 표시된다.

(단계 S105)

다음으로, 단계 S105에서, 데이터 처리부는, 운전자인 사용자로부터 목표 주차 공간에 대한 지정 입력이 있는지를 판정한다.

한편, 차량(10)이 자율 운전 차량이고 목적지로서 주차장이 설정되어 있을 경우에는, 사용자의 입력 대신에 자율 운전 제어부가 미리 규정된 알고리즘을 따라서 판정된 목표 주차 공간이 데이터 처리부에 입력되어도 된다. 이 경우에는 단계 S105에서 데이터 처리부는 자율 운전 제어부로부터의 입력이 있는지를 판정해도 된다.

단계 S105에서, 목표 주차 공간의 지정 입력이 검출되었을 경우에, 처리는 단계 S106으로 진행한다. 반면, 단계 S105에서, 목표 주차 공간의 지정 입력이 검출되지 않은 경우에, 처리는 단계 S107으로 진행한다.

(단계 S106)

단계 S105에서 목표 주차 공간의 지정 입력이 검출되었을 경우, 단계 S106에서, 데이터 처리부는 사용자 (또는 자율 운전 제어부)로부터 지정된 주차 공간을 주차 목표 위치로 설정하고, 주차 목표 위치에 주차하기 위한 자율 주차 주행을 시작한다.

(단계 S107)

한편, 단계 S105에서, 목표 주차 공간의 지정 입력이 검출되지 않은 경우, 단계 S107에서, 데이터 처리부는 소정의 시간이 경과했는지 여부를 판정한다. 소정의 시간이 경과하지 않은 것으로 판정된 경우에, 데이터 처리부는 대기한다. 반면, 소정의 시간이 경과한 것으로 판정된 경우에는, 처리는 단계 S108로 진행한다.

(단계 S108)

단계 S107에서 소정의 시간이 경과한 것으로 판정된 경우에, 단계 S108에서 데이터 처리부는 차량(10)의 현재 위치에 가장 가까운 주차 가능 공간을 주차 목표 위치로 설정하고, 설정된 주차 목표 위치에 주차하는 자율 주차 주행을 시작한다.

(단계 S109)

단계 S106 또는 단계 S108에서의 처리, 즉 주차 목표 위치에 주차하는 자율 주차 주행을 한 후에, 단계 S109에서 데이터 처리부는 목표 주차 위치로의 주차에 성공했는지 여부를 판정한다.

주차에 성공했을 경우는, 처리는 단계 S110으로 진행한다. 반면, 주차에 성공하지 못했을 경우는, 처리는 단계 S103으로 되돌아가고, 데이터 처리부는 다시 차량(10)에 구비되어 있는 센서의 검출 정보 또는 주차장 관리 서버 등과 같은 외부 장치로부터의 입력 정보 중의 적어도 하나의 정보에 기초하여, 주차 구획 영역 각각이 주차 가능 공간 또는 주차 불가 공간인지에 대한 판정 처리를 실행한다.

한편, 단계 S109에서 주차에 성공하지 못했을 경우란, 예를 들어, 목표 주차 위치에 먼저 다른 차량이 진입해버린 경우이다.

(단계 S110)

단계 S109에서 주차에 성공한 것으로 판정한 경우는, 처리는 단계 S110으로 진행한다. 이 경우, 단계 S110에서 데이터 처리부는 자율 주차 주행을 종료한다.

위에서 설명한 것과 같이, 본 개시의 실시 형태에 따른 정보 처리 장치는, 차량(10)에 구비된 센서의 검출 정보 또는 예를 들어, 주차장 관리 서버와 같은 외부 장치로부터 수신된 정보에 기초하여, 주차 구획 영역 각각의 점유 상태, 즉, 주차 공간 각각이 주차 가능 또는 주차 불가인지를 판정하고, 판정 결과에 기초하여 도 6 내지 도 21을 참조해서 위에서 설명한 것과 같은 표시 데이터를 생성하고, 그 표시 데이터를 표시한다.

즉, 정보 처리 장치는 (a) 주차 가능 공간, (b) 주차 불가 공간 및 (c) 주차 가부 불분명 공간 각각의 상태를 식별하는 것을 가능하게 하는 표시 데이터를 생성하고, 그 표시 데이터를 표시부로 출력한다.

사용자인 운전자는 이러한 표시 데이터에 기초하여 용이하고 확실하게 주차 가능 공간의 위치를 인식할 수 있고, 그리고 주차 가능 공간으로부터 주차 목적 위치를 선택할 수 있다. 또한, 운전자는 주차 목적 위치의 선택에 대한 정보를 입력하고, 차량을 목적 위치에 주차시키는 자율 주차 처리가 실행될 수 있도록 한다.

한편, 차량(10)이 자율 주차 주행을 수행할 수 없는 차량인 경우에는, 사용자는 스스로 주차 가능 공간에 주차하기 위한 운전을 수행해도 된다.

<5. 본 개시의 실시 형태에 따른 정보 처리 장치의 구성예에 대해서>

다음으로, 본 개시의 실시 형태에 따른 정보 처리 장치의 구성예에 대해서 설명한다.

도 23은 차량(10)에 탑재되는 본 개시의 실시 형태에 따른 정보 처리 장치(150)의 일 구성예를 나타내는 블록도이다. 도 23에 도시된 바와 같이, 정보 처리 장치(150)는, 센서(151), 통신부(통신 회로)(152), 주차 공간 분석부(주차 공간 분석 회로)(153), 표시 데이터 생성부(표시 데이터 생성 회로)(154), 표시부(155), 입력부(UI)(156) 및 자율 주행 제어부(자율 주행 제어 회로)(157)를 포함한다.

센서(151)는 카메라 센서(CMOS 이미지 센서 등), LiDAR(Light Detection and Ranging) 센서, RADAR(Radio Detection and Ranging) 센서 및 ToF(Time of Flight) 센서 등과 같은 센서이다. 한편, LiDAR(Light Detection and Ranging) 센서와 ToF 센서는 각각 레이저 광 등과 같은 광을 출력해서 오브젝트로부터의 반사광을 분석하고, 그리고 주위의 오브젝트에 대한 거리를 계측하는 센서이다. 한편, RADAR 센서는 무선 신호를 전송하고, 오브젝트로부터의 반사된 무선 신호를 분석하며, 주위의 오브젝트에 대한 거리를 계측하는 센서이다.

센서(151)의 검출 정보는 주차 공간 분석부(153), 표시 데이터 생성부(154) 및 자율 주행 제어부(157)로 출력된다.

통신부(152)은 주차장 관리 서버 등과 같은 외부 장치 또는 도로 관리 서버 등과 같은 외부 장치와 통신하고, 이들 외부 장치로부터 각 주차 구획 영역이 주차 가능한지에 대한 정보를 수신하고, 그리고 수신된 정보를 주차 공간 분석부(153)로 출력한다.

주차 공간 분석부(153)는 센서(151)로부터 센서 검출 정보를 입력한다. 또한, 주차 공간 분석부(153)는 통신부(152)를 통해서 외부 장치로부터 수신된 정보를 입력한다. 주차 공간 분석부(153)는 이 입력 정보를 사용하여 주차장 또는 도로의 각 주차 구획 영역이 주차가 가능한지를 분석한다. 즉, 주차 공간 분석부(153)는 주차장 또는 도로의 각 주차 구획 영역에 대해서, 주차 가능 공간인지, 주차 불가 공간인지 또는 주차 가부 불분명 공간인지를 판정한다.

한편, 주차 공간 분석부(153)는, 센서(151)로부터 입력되는 센서 검출 정보와 통신부(152)를 통해서 외부 장치로부터 입력되는 수신 정보 중 어느 하나 또는 양쪽 정보 모두를 사용하여, 주차장이나 도로의 주차 구획 영역 각각이 주차 가능 공간인지, 주차 불가 공간인지 또는 주차 가부 불분명 공간인지를 판정한다.

주차 공간 분석부(153)에 의해 분석된 주차 구획 영역 각각의 주차 가부 정보는, 표시 데이터 생성부(154)와 자율 주행 제어부(157)로 출력된다.

표시 데이터 생성부(154)는, 주차 공간 분석부(153)에 의해 분석된 주차 구획 영역 각각의 주차 가부 정보에 기초하여, 표시부(155)에 표시될 표시 데이터를 생성한다.

표시 데이터 생성부(154)는, 센서(151)를 구성하는 카메라에 의해 촬영된 실제 이미지에, 주차 불가 공간 식별용 표시 데이터, 주차 가능 공간 식별용 표시 데이터 및 주차 가부 불분명 공간 식별용 표시 데이터의 3가지 종류의 그래픽 데이터(가상 오브젝트)를 중첩한 표시 데이터를 생성한다. 즉, 표시 데이터 생성부(154)는, 실제 오브젝트와 가상 오브젝트가 혼합된 확장 현실 이미지인 AR(Augumented Reality) 이미지를 생성해서, 그 AR 이미지를 표시부(155)에 표시한다.

표시 데이터 생성부(154)에 의해 생성되는 표시 데이터는, 예를 들어, 앞에서 도 6 내지 도 21을 참조해서 설명한, 주차 불가 공간 식별용 표시 데이터, 주차 가능 공간 식별용 표시 데이터 및 주차 가부 불분명 공간 식별용 표시 데이터의 3가지 종류의 그래픽 데이터(가상 오브젝트)를, 카메라로 촬영한 이미지에 중첩한 AR 이미지이다. 표시부(155)는 표시 데이터 생성부(154)에 의해 생성된 AR 이미지를 표시한다.

차량을 주차하려고 하는 사용자(운전자)는, 차량의 표시부(155)에 표시된 표시 데이터의 그래픽 데이터를 보고, 주차 가능 공간을 확인할 수 있다.

예를 들어, 적색 펜스형 주차 불가 공간 식별용 표시 데이터가 표시되어 있는 영역은 주차 불가 공간이며, 청색 평면형 주차 가능 공간 식별용 표시 데이터가 표시되어 있는 영역은 주차 가능 공간인 것을 쉽고 확실하게 판정할 수 있다.

입력부(UI)(156)는, 예를 들어, 사용자인 운전자에 의해서, 주차 가능 공간 탐색 처리를 개시하는 지시를 입력하는 처리와 목표 주차 위치의 선택에 대한 정보의 입력 처리를 수행하는데 이용되는 UI이다. 입력부(UI)(156)는 표시부(155)에 구성되는 터치 패널을 포함해도 된다.

입력부(UI)(156)의 입력 정보는 주차 공간 분석부(153) 및 자율 주행 제어부(157)에 입력된다. 주차 공간 분석부(153)는, 예를 들어, 입력부(UI)(156)로부터 입력되는 주차 가능 공간 탐색 처리를 개시하는 지시에 응답하여, 주차 가능 공간 탐색 처리를 시작한다. 자율 주행 제어부(157)는, 예를 들어, 입력부(UI)(156)로부터 입력되는 목표 주차 위치의 선택에 대한 정보에 따라 목표 주차 위치로의 자율 주차를 수행한다.

자율 주행 제어부(157)는 차량의 자율 주행을 실행한다. 상술한 바와 같이, 입력부(UI)(156)로부터 목표 주차 위치의 선택에 대한 정보가 입력되었을 경우는, 자율 주행 제어부(157)는 목표 주차 위치에의 자율 주차를 위한 주행 제어를 실행한다. 한편, 목표 주차 위치에의 자율 주차에 실패했을 경우는, 실패 정보가 주차 공간 분석부(153)에 통지되고, 주차 공간 분석부(153)는 이 통지에 응답하여 주차 공간 분석 처리를 다시 실행한다.

<6.본 개시의 실시 형태에 따른 정보 처리 장치의 하드웨어 구성예에 대해서>

다음으로, 도 24를 참조하여 본 개시의 실시 형태에 따른 정보 처리 장치의 하드웨어 구성예에 대해서 설명한다. 한편, 정보 처리 장치는 차량(10)에 탑재된다. 도 24에 도시되어 있는 하드웨어 구성은 차량(10)의 정보 처리 장치의 하드웨어 구성예이다. 도 24에 도시되어 있는 하드웨어 구성에 대해서 설명한다.

CPU(Central Processing Unit, 301)는, ROM(Read Only Memory, 302) 또는 저장부(308)에 저장되어 있는 프로그램을 따라 여러가지 유형의 처리를 실행하는, 데이터 처리부로서 기능한다. 예를 들어, CPU(301)는 상술한 실시예에서 설명한 순서에 따른 처리를 실행한다. RAM(Random Access Memory, 303)은 CPU(301)에 의해 실행되는 프로그램, 데이터 등을 저장한다. CPU(301), ROM(302) 및 RAM(303)은, 버스(304)를 통해 서로 접속되어 있다.

CPU(301)는 버스(304)를 통해서 입력/출력 인터페이스(305)에 접속되어 있고, 입력부(306)와 출력부(307)가 입출력 인터페이스(305)에 접속되어 있는데, 입력부(306)는 여러가지 스위치, 터치 패널, 마이크로폰, 사용자 입력부, 카메라 센서와 LiDAR와 같은 여러가지 센서(321)의 상황 데이터 취득부 등을 포함하고, 출력부(307)는 디스플레이, 스피커 등을 포함한다. 또한, 출력부(307)는 구동 정보도 차량의 구동부(322)로 출력한다.

CPU(301)는 입력부(306)로부터 입력되는 명령, 상황 데이터 등을 입력하고, 여러가지 유형의 처리를 실행하며, 처리 결과를 예컨대 출력부(307)에 출력한다. 입력/출력 인터페이스(305)에 접속되어 있는 저장부(308)는 하드 디스크 등을 포함하며, CPU(301)에 의해 실행되는 프로그램과 여러가지 종류의 데이터를 저장한다. 통신부(309)는 인터넷과 근거리 통신망(local area network) 등과 같은 네트워크를 통한 데이터 통신의 송신/수신부로서 기능하며, 외부 장치와 통신한다. 또한, CPU에 추가하여, 카메라로부터 입력되는 이미지 정보에 대한 전용 처리부로서 GPU(Graphics Processing Unit)가 구비되어도 된다.

입력/출력 인터페이스(305)에 접속되어 있는 드라이브(310)는, 자기 디스크, 광 디스크, 광자기 디스크 그리고 메모리 카드 등과 같은 반도체 메모리 등과 같은 제거가능 매체(removable medium, 311)를 구동하고, 데이터의 기록 혹은 읽기를 실행한다.

<7.차량의 구성예에 대해서>

다음으로, 본 개시의 실시 형태에 따른 정보 처리 장치가 탑재되어 있는 차량의 구성예에 대해서 설명한다.

도 25는 본 개시의 실시 형태에 따른 정보 처리 장치가 탑재되어 있는 차량(500)의 차량 제어 시스템(511)의 구성예를 나타내는 블록도이다.

차량 제어 시스템(511)은 차량(500)에 설치되어, 차량(500)의 주행 지원 및 자율 운전에 관련된 처리를 수행한다.

차량 제어 시스템(511)은, 차량 제어 ECU(Electronic Control Unit)(521), 통신부(522), 지도 정보 축적부(523), GNSS(Gloval Navigation Satellite System) 수신부(524), 외부 인식 센서(525), 차량내 센서(526), 차량 센서(527), 저장부(528), 주행 지원/자율 주행 제어부(529), DMS(Driver Monitoring System, 530), HMI(Human Machine Interface, 531) 및 차량 제어부(532)를 포함한다.

차량 제어 ECU(521), 통신부(522), 지도 정보 축적부(523), GNSS 수신부(524), 외부 인식 센서(525), 차량내 센서(526), 차량 센서(527), 저장부(528), 주행 지원/자율 주행 제어부(529), 운전자 감시 시스템(DMS, 530), 사람 기계 인터페이스(HMI, 531) 및 차량 제어부(532)는, 통신 네트워크(241)를 통해서 서로 통신가능하게 접속되어 있다. 통신 네트워크(241)는, 예를 들어, CAN(Controller Area Network), LIN(Local Interconnect Network), LAN(Local Area Network), FlexRay(등록 상표) 및 이더넷(Ethernet, 등록상표) 등과 같은 디지털 쌍방향 통신 규격을 따르는 차량내 통신 네트워크나 버스 등을 포함한다. 통신 네트워크(241)는 통신되는 데이터의 종류에 따라서 적절하게 사용될 수 있다. 예를 들어, CAN은 차량 제어에 관련된 데이터에 적용되고, 이더넷은 대용량 데이터에 적용된다. 한편, 차량 제어 시스템(511)의 각 부는, 어떤 경우에는 통신 네트워크(241)를 거치지 않고, 근거리 무선 통신(Near Field Communication, NFC)과 블루투스(등록상표) 등과 같이 상대적으로 근거리에서의 통신을 상정하고 있는 무선 통신을 사용해서 서로 직접 접속되는 경우도 있다.

한편, 이하에서는, 차량 제어 시스템(511)의 각 부가 통신 네트워크(241)를 통해서 통신할 경우, 통신 네트워크(241)의 기재가 생략된다. 예를 들어, 차량 제어 ECU(521)와 통신부(522)가 통신 네트워크(241)를 통해서 서로 통신하는 경우, 단지 프로세서와 통신부(522)가 서로 통신한다고 기재한다.

차량 제어 ECU(521)는, CPU(Central Processing Unit), MPU(Micro Processing Unit) 등과 같은 여러가지 프로세서를 포함한다. 차량 제어 ECU(521)는 전체 차량 제어 시스템(511) 또는 그 일부의 기능을 제어한다.

통신부(522)는 차내 및 차외부의 여러가지 장치, 다른 차량, 서버, 기지국 등과 통신하고, 여러가지 종류의 데이터를 송신/수신한다. 이 때, 통신부(522)는 복수의 통신 방식을 사용해서 통신을 수행할 수 있다.

통신부(522)에 의해서 실행될 수 있는 차외부와의 통신에 대해서 개략적으로 설명한다. 통신부(522)는 5G(제5 세대 이동통신 시스템), LTE(Long Term Evolution), DSRC(Dedicated Short Range Communications) 등과 같은 무선 통신 방식으로, 기지국 또는 액세스 포인트를 통하여, 외부 네트워크에 존재하는 서버(이하, 외부 서버라고 한다)와 통신한다. 통신부(522)가 통신하는 외부 네트워크는, 예를 들어, 인터넷, 클라우드 네트워크 또는 사업자(business operator)에 고유한 네트워크이다. 통신부(522)가 외부 네트워크와 통신을 행하는 통신 방식은, 소정 이상의 통신 속도와 소정 이상의 거리에서 디지털 쌍방향 통신이 가능한 무선 통신 방식이라면, 특히 한정되지 않는다.

또한, 예를 들어, 통신부(522)는 P2P(Peer To Peer) 기술을 사용하여 자차의 근방에 존재하는 단말과 통신을 행할 수 있다. 자차의 근방에 존재하는 단말은, 예를 들어, 보행자와 자전거와 같이 비교적 저속으로 이동하는 이동체에 장착되어 있는 단말, 가게 등과 같이 고정된 위치에 설치되어 있는 단말, 또는 MTC(Machine Type Communication) 단말이다. 또한, 통신부(522)는 V2X통신을 수행할 수 있다. V2X 통신이란, 다른 차량과의 차량대차량(vehicle-to-vehicle) 통신, 도로옆 장치 등과의 차량대인프라(vehicle-to-infrastructure) 통신, 집과의 차량대집(vehicle-to-home)의 통신 및 보행자가 소지하고 있는 단말과의 차량대보행자(vehicle-to-pedestrian) 통신 등과 같이, 자차와 다른 대상 사이의 통신을 말한다.

통신부(522)는, 예를 들어, 차량 제어 시스템(511)의 동작을 제어하는 소프트웨어를 업데이트하기 위한 프로그램을 외부로부터 수신할 수 있다(Over The Air). 통신부(522)는 또한 지도 정보, 교통 정보, 차량(500)의 주위 정보 등을 외부로부터 수신할 수도 있다. 또한, 예를 들어, 통신부(522)는 차량(500)에 관한 정보나 차량(500)의 주위 정보 등을 외부에 송신할 수 있다. 통신부(522)가 외부에 송신하는 차량(500)에 관한 정보로서는, 예를 들어, 차량(500)의 상태를 나타내는 데이터와 인식부(573)에 의한 인식 결과를 포함한다. 또한, 예를 들어, 통신부(522)는 이콜(ecall) 등과 같은 차량 긴급 통화 시스템에 상응하는 통신을 수행한다.

통신부(522)에 의하여 실행될 수 있는 차내 통신에 대해서 개략적으로 설명한다. 통신부(522)는, 예를 들어, 무선 통신을 사용하여, 차내의 각 장치와 통신할 수 있다. 통신부(522)는, 예를 들어, 무선랜(LAN), 블루투스, NFC와 WUSB(Wireless USB) 등과 같은 무선 통신으로, 소정의 통신 속도 이상으로 디지털 쌍방향 통신을 수행할 수 있는 통신 방식에 의해, 차내의 장치와 무선 통신을 수행할 수 있다. 본 개시는 여기에 한정되지 않으며, 통신부(522)는 유선 통신을 사용해서 차내의 각 장치와 통신할 수도 있다. 예를 들어, 통신부(522)는 접속 단자(도시하지 않음)에 접속되는 케이블을 통한 유선 통신에 의해, 차내의 각 장치와 통신할 수 있다. 통신부(522)는, 예를 들어, USB(Universal Serial Bus), HDMI(등록상표)(High-Definition Multimedia Interface), MHL(Mobile High-definition Link) 등과 같은 유선 통신으로, 소정의 통신 속도 이상으로 디지털 쌍방향 통신을 수행할 수 있는 통신 방식에 의해, 차내의 각 장치와 통신을 수행할 수 있다.

한편, 차내의 장치란, 예를 들어, 차내에서 통신 네트워크(241)에 접속되지 않은 장치를 가리킨다. 차내의 장치로는, 예를 들어, 운전자 등과 같은 탑승자가 소지하는 모바일 장치나 웨어러블 장치, 차내로 가져와서 일시적으로 설치되는 정보 장치 등이 상정된다.

예를 들어, 통신부(522)는, 전파 비콘(radio wave beacon), 광 비콘(optical beacon), FM 다중 방송을 포함하는 차량 정보 통신 시스템(VICS)(등록상표)에 의해 송신되는 전자파를 수신한다.

지도 정보 축적부(523)는 외부에서 취득한 지도 및 차량(500)에 의해 작성된 지도의 하나 또는 양쪽 모두를 축적한다. 예를 들어, 지도 정보 축적부(523)는 3차원 고정밀 지도, 고정밀 지도보다는 정밀도가 낮지만 보다 넓은 영역을 커버하는 광역 지도(global map) 등을 축적한다.

고정밀 지도는, 예를 들어, 다이나믹 지도, 포인트 클라우드 지도 또는 벡터 지도이다. 다이나믹 지도는, 예를 들어, 동적 정보, 준동적 정보, 준정적 정보 및 정적 정보의 4개의 레이어를 포함하는 지도로, 외부 서버 등으로부터 차량(500)에 제공된다. 포인트 클라우드 지도는 포인트 클라우드(포인트 클라우드 데이터)를 포함하는 지도이다. 한편, 벡터 지도는 ADAS(Advanced Driver Assistance System)에 적합한 지도로서, 차선이나 신호등의 위치 등과 같은 교통 정보가 포인트 클라우드 지도와 연관되어 있다.

포인트 클라우드 지도와 벡터 지도는, 예를 들어, 외부의 서버 등으로부터 제공되어도 되고, 레이더(552), LiDAR(553) 등에 의한 센싱 결과에 기초하여 후술하는 로컬 지도와의 매칭을 행하기 위한 지도로서, 차량(500)에 의해 만들어져서 지도 정보 축적부(523)에 축적되어도 된다. 또한, 외부의 서버 등으로부터 고정밀 지도가 제공되는 경우, 통신 용량을 감소시키기 위해서, 예를 들어 차량(500)이 주행하기로 계획된 경로와 관련된 몇백미터 사방의 지도 데이터가 외부의 서버 등으로부터 취득된다.

GNSS 수신부(524)는 GNSS 위성으로부터 GNSS 신호를 수신하여 차량(500)의 위치 정보를 취득한다. 수신된 GNSS 신호는 주행 지원/자율 주행 제어부(529)에 제공된다. 한편, GNSS 수신부(524)는 GNSS 신호를 사용하는 방식에 한정되지 않으며, 비콘을 사용해서 위치 정보를 취득해도 된다.

외부 인식 센서(525)는 차량(500)의 외부 상황을 인식하는데 사용되는 여러가지 센서를 포함하고, 각 센서로부터의 센서 데이터를 차량 제어 시스템(511)의 각 부에 공급한다. 외부 인식 센서(525)에 포함되는 센서의 종류나 개수는 임의적이다.

예를 들어, 외부 인식 센서(525)는 카메라(551), 레이더(552), LiDAR(Light Detection and Ranging, Laser Imaging Detection and Ranging, 553) 및 초음파 센서(554)를 포함한다. 본 개시는 여기에 한정되지 않으며, 외부 인식 센서(525)는 카메라(551), 레이더(552), LiDAR(553) 및 초음파 센서(554) 중에서 하나 또는 그 이상의 센서를 포함해도 된다. 카메라(551), 레이더(552), LiDAR(553) 및 초음파 센서(554)의 개수는, 현실적으로 차량(500)에 설치가능한 개수라면, 특별히 한정되지 않는다. 또한, 외부 인식 센서(525)에 포함되는 센서의 종류는 이러한 예에 한정되지 않으며, 외부 인식 센서(525)는 다른 유형의 센서를 구비해도 좋다. 외부 인식 센서(525)에 포함되는 각 센서의 센싱 영역의 예에 대해서는 후술한다.

한편, 카메라(551)의 촬영 방식은, 거리 측정이 가능한 촬영 방식이라면 특별히 한정되지 않는다. 예를 들어, 카메라(551)로서, ToF(Time Of Flight) 카메라, 스테레오 카메라, 단안 카메라와 적외선 카메라와 같은 여러가지 촬영 방식의 카메라가, 필요에 따라 적용될 수 있다. 본 개시는 여기에 한정되지 않으며, 카메라(551)는 반드시 거리 측정을 수행할 필요는 없으며, 단순히 촬영 이미지를 취득하기 위한 것이어도 된다.

또한, 예를 들어, 외부 인식 센서(525)는 차량(500)에 대한 환경을 검출하기 위한 환경 센서를 구비해도 된다. 환경 센서는, 날씨, 기후 및 밝기를 포함하는 환경을 검출하기 위한 센서이며, 예를 들어 빗방울 센서, 안개 센서, 일조 센서, 눈 센서, 조도 센서 등과 같은 여러가지 센서를 포함해도 된다.

또한, 예를 들어, 외부 인식 센서(525)는, 예컨대 차량(500)의 주위 소리와 음원의 위치를 검출하기 위하여 사용되는 마이크로폰을 포함한다.

차량내 센서(526)는 차내의 정보를 검출하기 위한 여러가지 센서를 포함하고, 각 센서로부터의 센서 데이터를 차량 제어 시스템(511)의 각 부에 공급한다. 차량내 센서(526)에 포함되는 여러가지 센서의 종류나 개수는, 실제로 차량(500)에 설치가 가능하다면, 특별히 한정되지 않는다.

예를 들어, 차량내 센서(526)는 카메라, 레이더, 착좌 센서, 조향 장치(steering wheel) 센서, 마이크로폰 및 생체 센서 중에서 하나 또는 그 이상의 센서를 포함할 수 있다. 차량내 센서(526)에 포함되는 카메라로서, 예를 들어, ToF 카메라, 스테레오 카메라, 단안 카메라, 적외선 카메라 등과 같이, 거리 측정이 가능한 여러가지 촬영 방식의 카메라가 사용될 수 있다. 본 개시는 여기에 한정되지 않으며, 차내 센서(526)에 포함되는 카메라는, 반드시 거리 측정을 수행할 필요는 없으며, 단순히 촬영 화상을 취득하기 위한 것이어도 된다. 차량내 센서(526)에 포함되는 생체 센서는, 예를 들어, 좌석이나 조향 장치에 설치되어서, 운전자 등과 같은 탑승자의 여러가지 유형의 생체 정보를 검출한다.

차량 센서(527)는 차량(500)의 상태를 검출하기 위한 여러가지 센서를 포함하고, 각 센서로부터의 센서 데이터를 차량 제어 시스템(511)의 각 부에 공급한다. 차량 센서(527)에 포함되는 여러가지 센서의 종류나 개수는, 실제로 차량(500)에 설치가 가능하다면, 특별히 한정되지 않는다.

예를 들어, 차량 센서(527)는 속도 센서, 가속도 센서, 각속도 센서(자이로 센서) 및 이들을 통합한 관성 계측 장치(Inertial Measurement Unit, IMU)를 포함한다. 예를 들어, 차량 센서(527)는 조향 장치의 조타각을 검출하는 조타각 센서, 요레이트 센서(yaw rate sensor), 가속 페달의 조작량을 검출하는 가속 센서 및 브레이크 페달의 조작량을 검출하는 브레이크 센서를 포함한다. 예를 들어, 차량 센서(527)는 엔진이나 모터의 RPM을 검출하는 회전 센서, 타이어 압력을 검출하는 기압 센서, 타이어의 미끄럼율(slip rate)을 검출하는 미끄럼율 센서 및 차륜의 회전 속도를 검출하는 차륜 속도 센서를 포함한다. 예를 들어, 차량 센서(527)는 배터리의 잔량 및 온도를 검출하는 배터리 센서와 외부로부터의 충격을 검출하는 충격 센서를 포함한다.

저장부(528)는 비휘발성 저장 매체 또는 휘발성 저장 매체 중에서 적어도 하나를 포함하며, 데이터와 프로그램을 저장한다. 저장부(528)는, 예를 들어, EEPROM(Electrically Erasable Programmable Read Only Memory)과 RAM(Random Access Memory)로서 사용된다. 저장 매체로서, HDD(Hard Disc Drive), 반도체 저장 장치, 광학 저장 장치 및 광자기 저장 장치가 적용될 수 있다. 저장부(528)는 차량 제어 시스템(511)의 각 부에 의하여 사용되는 여러가지 프로그램과 데이터를 기록한다. 예를 들어, 저장부(528)는 EDR(Event Data Recorder)과 DSSAD(Data Storage System for Automated Driving)를 포함하고, 사고 등과 같은 이벤트 전후의 차량(500)에 대한 정보와 차량내 센서(526)에 의해 취득된 생체 정보를 기록한다.

주행 지원/자율 주행 제어부(529)는 차량(500)의 주행 지원 및 자율 운전을 제어한다. 예를 들어, 주행 지원/자율 주행 제어부(529)는, 분석부(561), 행동 계획부(562) 및 동작 제어부(563)를 포함한다.

분석부(561)는 차량(500)과 주위의 상황에 대한 분석 처리를 수행한다. 분석부(561)는 자기 위치 추정부(571), 센서 융합부(572) 및 인식부(573)를 포함한다.

자기 위치 추정부(571)는, 외부 인식 센서(525)로부터의 센서 데이터 및 지도 정보 축적부(523)에 축적되어 있는 고정밀 지도에 기초하여, 차량(500)의 자기 위치를 추정한다. 예를 들어, 자기 위치 추정부(571)는 외부 인식 센서(525)로부터의 센서 데이터에 기초하여 국부 지도(local map)를 생성하고, 국부 지도와 고정밀 지도를 매칭하여 차량(500)의 자기 위치를 추정한다. 차량(500)의 위치는, 예를 들어, 후륜 쌍차축의 중심에 기초한다.

국부 지도는, 예를 들어, SLAM(Simultaneous Localization and Mapping) 등과 같은 기술을 사용해서 생성되는 3차원 고정밀 지도 또는 점유 격자 지도(Occupancy Grid Map)이다. 3차원 고정밀 지도는, 예를 들어, 전술한 포인트 클라우드 지도이다. 점유 격자 지도는, 차량(500) 주위의 3차원 또는 2차원의 공간을 소정의 크기의 격자로 분할하고, 격자 단위로 오브젝트의 점유 상태를 나타내는 지도이다. 오브젝트의 점유 상태는, 예를 들어, 오브젝트의 존재나 부재 또는 존재 확률로 나타낸다. 국부 지도는, 예를 들어, 차량(500)의 외부 상황을 검출하고 인식하기 위한 인식부(573)에 의해서도 또한 사용된다.

한편, 자기 위치 추정부(571)는, GNSS 신호와 차량 센서(527)로부터의 센서 데이터에 기초하여, 차량(500)의 자기 위치를 추정해도 된다.

센서 융합부(572)는, 복수의 다른 종류의 센서 데이터(예를 들어, 카메라(551)로부터 공급되는 이미지 데이터와 레이더(552)로부터 공급되는 센서 데이터)를 결합하여 새로운 정보를 얻는 센서 융합 처리를 수행한다. 다른 종류의 센서 데이터를 결합하는 방법은 통합(integration), 융합(fusion) 및 연관(association)을 포함한다.

인식부(573)는 차량(500)의 외부 상황의 검출을 행하는 검출 처리와 차량(500)의 외부 상황의 인식을 행하는 인식 처리를 실행한다.

예를 들어, 인식부(573)는, 외부 인식 센서(525)로부터의 정보, 자기 위치 추정부(571)로부터의 정보, 센서 융합부(572)로부터의 정보 등에 기초하여, 차량(500)의 외부 상황의 검출 처리 및 인식 처리를 수행한다.

구체적으로, 예를 들어, 인식부(573)는 차량(500)의 주위에 있는 오브젝트의 검출 처리 및 인식 처리를 수행한다. 오브젝트의 검출 처리란, 예를 들어, 오브젝트의 존재나 부재 또는 크기, 형상, 위치 및 움직임을 검출하는 처리이다. 오브젝트의 인식 처리란, 예를 들어, 종류 등과 같은 오브젝트의 속성을 인식하거나 또는 특정 오브젝트를 식별하는 처리이다. 그러나, 검출 처리와 인식 처리는 반드시 서로 명확하게 구분되는 것이 아니고, 어떤 경우에는 서로 중복되는 경우가 있다.

예를 들어, 인식부(573)는, LiDAR(553), 레이더(552) 등에 의해 취득된 센서 데이터에 기초한 포인트 클라우드를, 포인트 클라우드의 각 블록으로 분류하는 클러스터링을 행하는 것에 의해, 차량(500)의 주위에 있는 오브젝트를 검출한다. 그 결과, 차량(500)의 주위에서의 오브젝트의 존재나 부재와, 오브젝트의 크기, 형상, 위치가 검출된다.

예를 들어, 인식부(573)는, 클러스터링에 의해 분류된 포인트 클라우드의 블록의 움직임을 뒤따르는 트래킹을 수행하는 것에 의해, 차량(500)의 주위에서의 오브젝트의 움직임을 검출한다. 그 결과, 차량(500)의 주위에서의 오브젝트의 속도 및 진행 방향(움직임 벡터)이 검출된다.

예를 들어, 인식부(573)는, 카메라(551)로부터 공급되는 이미지 데이터에 기초하여, 차량, 사람, 자전거, 장해물, 구조물, 도로, 신호등, 교통 표지, 도로 표지 등을 검출 또는 인식한다. 또한, 시맨틱 세그멘테이션 등과 같은 인식 처리를 수행하는 것에 의해, 차량(500)의 주위에 있는 오브젝트의 종류를 인식할 수도 있다.

예를 들어, 인식부(573)는, 지도 정보 축적부(523)에 축적되어 있는 지도, 자기 위치 추정부(571)에 의한 자기 위치의 추정 결과 및 인식부(573)에 의한 차량(500)의 주위에 있는 오브젝트의 인식 결과에 기초하여, 차량(500)의 주위에서의 교통 규칙의 인식 처리를 수행할 수 있다. 인식부(573)는, 이러한 처리에 의해, 교통 신호의 위치 및 상태, 교통 표지 및 도로 표지의 내용, 교통 규제의 내용 및 차량이 주행할 수 있는 차선 등을 인식할 수 있다.

예를 들어, 인식부(573)는 차량(500)의 주위 환경에 대한 인식 처리를 수행할 수 있다. 인식부(573)에 의하여 인식되는 주위 환경으로는, 날씨, 기온, 습도, 밝기, 노면 상태 등이 상정된다.

행동 계획부(562)는 차량(500)의 행동 계획을 생성한다. 예를 들어, 행동 계획부(562)는 경로 계획과 경로 추종의 처리를 행하는 것에 의해, 행동 계획을 생성한다.

한편, 경로 계획(전체 경로 계획)은 출발지부터 목적지까지의 개략적인 경로를 계획하는 처리이다. 이러한 경로 계획은 궤도 계획이라고 칭해지는 궤도 생성(지역 경로 계획)의 처리 또한 포함하는데, 경로 계획으로 계획된 경로에 있어서, 차량(500)의 운동 특성을 고려하고, 차량(500)은 차량(500)의 근방에서의 궤도를 통해 안전하고 순조롭게 주행할 수 있다. 경로 계획과 궤도 생성은 각각 장기 경로 계획과 단기 경로 계획 또는 지역 경로 계획으로 서로 구별해도 된다. 안전 우선 경로는 궤도 생성, 단기 경로 계획 또는 지역 경로 계획과 유사한 개념을 나타낸다.

경로 추종은 경로 계획에 의해 계획된 경로를 계획된 시간내에 안전하고 정확하게 주행하기 위한 동작을 계획하는 처리이다. 행동 계획부(562)는, 예를 들어, 경로 추종 처리의 결과에 기초하여 차량(500)의 목표 속도와 목표 각속도를 계산할 수 있다.

동작 제어부(563)는, 행동 계획부(562)에 의해 작성된 행동 계획을 실현하기 위해서, 차량(500)의 동작을 제어한다.

예를 들어, 동작 제어부(563)는, 후술하는 차량 제어부(532)에 포함되어 있는, 조향 제어부(steering control unit, 581), 브레이크 제어부(582) 및 구동 제어부(583)를 제어하고, 가속/감소 제어 및 방향 제어를 수행하여 차량(500)이 궤도 계획에 의해 계산된 궤도를 통해 진행하도록 한다. 예를 들어, 동작 제어부(563)는, 충돌 회피, 충격 완화, 추종 주행, 차량 속도 유지 주행, 자차의 충돌 경고 및 자차의 차로 이탈 경고 등과 같은 ADAS의 기능을 실현할 목적으로, 협조 제어를 수행한다. 예를 들어, 동작 제어부(563)는, 운전자의 조작 없이 자율적으로 주행하는 자율 주행을 목적으로, 협조 제어를 수행한다.

DMS(530)는, 차내 센서(526)로부터의 센서 데이터, 후술하는 HMI(531)에 입력되는 입력 데이터 등에 기초하여, 운전자의 인증 처리, 운전자 상태의 인식 처리 등을 수행한다. 이 경우에 DMS(530)에 의해 인식되는 운전자 상태로서, 예를 들어, 몸 상태, 각성도, 집중도, 피로도, 시선 방향, 음주 정도, 운전 조작, 자세 등이 상정된다.

한편, DMS(530)는 운전자 이외의 탑승자에 대한 인증 처리와 그 탑승자의 상태에 대한 인식 처리를 수행해도 된다. 또한, 예를 들어, DMS(530)는, 차내 센서(526)로부터의 센서 데이터에 기초하여, 차내의 상황에 대한 인식 처리를 수행해도 된다. 인식되는 차내의 상황으로서, 예를 들어, 기온, 습도, 밝기, 냄새 등이 상정된다.

HMI(531)는 여러가지 종류의 데이터와 지시를 입력하고, 여러가지 종류의 데이터를 운전자 등에 제시한다.

HMI(531)에 의한 데이터의 입력에 대해서 개략적으로 설명한다. HMI(531)는 사람이 데이터를 입력하기 위한 입력 장치를 포함한다. HMI(531)는 입력 장치에 의해 입력된 데이터와 지시에 기초하여 입력 신호를 생성하고, 이 입력 신호를 차량 제어 시스템(511)의 각 부에 공급한다. HMI(531)는 입력 장치로서, 터치 패널, 버튼, 스위치 및 레버 등과 같은 조작기구(operator)를 포함한다. 본 개시는 여기에 한정되지 않으며, HMI(531)는, 예컨대 음성이나 제스처와 같이 수동 조작 이외의 방법으로 정보를 입력할 수 있는 입력 장치를 더 포함해도 된다. 또한, 예를 들어, HMI(531)는, 적외선이나 전파를 이용하는 원격 제어 장치 또는 차량 제어 시스템(511)의 조작을 지원하는 이동가능 장치와 웨어러블 장치 등과 같은 외부 접속 장치를, 입력 장치로 사용해도 된다.

HMI(531)에 의한 데이터의 제시에 대해서 개략적으로 설명한다. HMI(531)는 탑승자 또는 차량 외부에 대하여 시각 정보, 청각 정보 및 촉각 정보를 생성한다. 또한, HMI(531)는 생성된 정보의 출력, 출력 내용, 출력 타이밍 및 출력 방법을 제어하는 출력 제어를 수행한다. HMI(531)는, 시각 정보로서, 조작 화면, 차량(500)의 상태 표시, 경고 표시, 차량(500)의 주위 상황을 나타내는 모니터 이미지 등과 같은, 이미지나 광에 의해 나타내지는 정보를 생성 및 출력한다. 또한, HMI(531)는, 청각 정보로서, 음성 안내, 경고음 및 경고 메시지 등과 같이 소리에 의해 나타내지는 정보를 생성 및 출력한다. 또한, HMI(531)는, 촉각 정보로서, 예를 들어, 힘, 진동 또는 움직임에 의해 탑승자의 촉각에 주어지는 정보를 생성 및 출력한다.

HMI(531)가 시각 정보를 출력하는 출력 장치로서, 예를 들어, 그것만으로 이미지를 표시함으로써 시각 정보를 제시하는 표시 장치, 이미지를 투영함으로써 시각 정보를 제시하는 프로젝터 장치가 적용될 수 있다. 한편, 표시 장치는 반드시 통상적인 디스플레이를 포함하는 표시 장치일 필요는 없으며, 헤드업 디스플레이, 투과형 디스플레이, AR 기능을 갖는 웨어러블 장치 등과 같이, 탑승자의 시야 범위 내에 시각 정보를 표시하는 장치이어도 된다. 또한, HMI(531)는, 시각 정보를 출력하는 출력 장치로서, 차량(500)에 설치된 네비게이션 장치, 계기판, CMS(Camera Monitoring System), 전자 거울, 램프 등에 포함되어 있는 표시 장치를 사용해도 된다.

HMI(531)가 청각 정보를 출력하는 출력 장치로서, 예를 들어, 오디오 스피커, 헤드폰, 이어폰이 적용될 수 있다.

HMI(531)가 촉각 정보를 출력하는 출력 장치로서, 예를 들어, 햅틱 기술을 사용하는 햅틱 장치가 적용될 수 있다. 햅틱 장치는, 운전대와 시트 등과 같이, 차량(500)의 탑승자가 접촉하는 부분에 설치된다.

차량 제어부(532)는 차량(500)의 각 부를 제어한다. 차량 제어부(532)는 조향 제어부(581), 브레이크 제어부(582), 구동 제어부(583), 바디 시스템 제어부(584), 라이트 제어부(585) 및 경적(horn) 제어부(586)를 포함한다.

조향 제어부(581)는, 예를 들어, 차량(500)의 조향 시스템의 상태를 검출하고 제어한다. 조향 시스템은, 예를 들어, 운전대 등을 포함하는 조향 기구, 전동 파워 조향 등을 포함한다. 조향 제어부(581)는, 예를 들어, 조향 시스템을 제어하는 ECU 등과 같은 제어부, 조향 시스템을 구동하는 액츄에이터 등을 포함한다.

브레이크 제어부(582)는, 예를 들어, 차량(500)의 브레이크 시스템의 상태를 검출하고 제어한다. 브레이크 시스템은, 예를 들어, 브레이크 페달 등을 포함하는 브레이크 기구, ABS(Antilock Brake System), 회생 브레이크 기구 등을 포함한다. 브레이크 제어부(582)는, 예를 들어, 브레이크 시스템을 제어하는 ECU 등과 같은 제어부를 포함한다.

구동 제어부(583)는, 예를 들어, 차량(500)의 구동 시스템의 상태를 검출하고 제어한다. 구동 시스템은, 예를 들어, 가속 페달, 내부 연소 엔진 및 구동 모터 등과 같이 구동력을 발생시키기 위한 구동력 발생 장치, 구동력을 바퀴에 전달하기 위한 구동력 전달 기구 등을 포함한다. 구동 제어부(583)는, 예를 들어, 구동 시스템을 제어하는 ECU 등과 같은 제어부를 포함한다.

바디 시스템 제어부(584)는, 예를 들어, 차량(500)의 바디 시스템의 상태를 검출하고 제어다. 바디 시스템은, 예를 들어, 무열쇠 승차 시스템, 스마트 키 시스템, 파워 윈도우 장치, 파워 시트, 공기 조절 장치, 에어백, 안전 벨트, 변속 레버(shift lever) 등을 포함한다. 바디계 제어부(584)는, 예를 들어, 바디 시스템을 제어하는 ECU 등과 같은 제어부를 포함한다.

라이트 제어부(585)는 차량(500)의 여러가지 라이트의 상태를 검출하고 제어한다. 제어 대상이 되는 라이트로서, 예를 들어, 전조등, 후진등, 안개등, 방향 지시등, 브레이크등, 프로젝션, 범퍼 표시 등이 상정된다. 라이트 제어부(585)는 라이트를 제어하는 ECU 등과 같은 제어부를 포함한다.

경적 제어부(586)는 차량(500)의 자동차 경적(car horn)의 상태를 검출하고 제어한다. 경적 제어부(586)는, 예를 들어, 자동차 경적을 제어하는 ECU 등과 같은 제어부를 포함한다.

도 26은 도 25에 도시된 외부 인식 센서(525)에 포함된 카메라(551), 레이더(552), LiDAR(553) 및 초음파 센서(554) 등에 의한 센싱 영역의 일예를 나타내는 도면이다. 한편, 도 26에서는, 상면으로부터 본 차량(500)의 상태가 모식적으로 도시되어 있는데, 왼쪽 끝쪽이 차량(500)의 전단(전방)측이며, 오른쪽 끝쪽이 차량(500)의 후단(후방)측이다.

센싱 영역(591F) 및 센싱 영역(591B)은 각각 초음파 센서(554)의 센싱 영역의 일예를 나타낸다. 센싱 영역(591F)은 복수의 초음파 센서(554)에 의해 차량(500)의 전단 주변을 커버하고 있다. 센싱 영역(591B)는 복수의 초음파 센서(554)에 의해 차량(500)의 후단 주변을 커버하고 있다.

센싱 영역(591F) 및 센싱 영역(591B)에서의 센싱 결과는, 예를 들어, 차량(500)의 주차 지원 등에 사용된다.

센싱 영역(592F) 내지 센싱 영역(592B)은 각각 단거리 또는 중거리용의 레이더(552)의 센싱 영역의 일예를 나타낸다. 센싱 영역(592F)은, 차량(500)의 전방에서 센싱 영역(591F)보다 먼 위치까지의 범위를 커버한다. 센싱 영역(592B)은, 차량(500)의 후방에서 센싱 영역(591B)보다 먼 위치까지의 범위를 커버한다. 센싱 영역(592L)은 차량(500)의 좌측면에서 후방의 주변을 커버한다. 센싱 영역(592R)은 차량(500)의 우측면에서 후방의 주변을 커버한다.

센싱 영역(592F)에서의 센싱 결과는, 예를 들어, 차량(500)의 전방에 존재하는 차량 또는 보행자를 검출하는데 사용된다. 센싱 영역(592B)에서의 센싱 결과는, 예를 들어, 차량(500)의 후방에서의 충돌 방지 기능에 사용된다. 센싱 영역(592L)과 센싱 영역(592R)에서의 센싱 결과는, 예를 들어, 차량(500)의 측면에서의 사각 지대에 있는 오브젝트의 검출에 사용된다.

센싱 영역(593F) 내지 센싱 영역(593B)은 각각 카메라(551)에 의한 센싱 영역의 일예를 나타낸다. 센싱 영역(593F)은 차량(500)의 전방에서 센싱 영역(592F)보다 먼 위치까지의 범위를 커버한다. 센싱 영역(593B)은 차량(500)의 후방에서 센싱 영역(592B)보다 먼 위치까지의 범위를 커버한다. 센싱 영역(593L)은 차량(500)의 좌측면에서의 주변을 커버한다. 센싱 영역(593R)은 차량(500)의 우측면에서의 주변을 커버한다.

센싱 영역(593F)에서의 센싱 결과는, 예를 들어, 신호등과 교통 표지의 인식, 차선 이탈 방지 지원 시스템 또는 자동 전조등 제어 시스템에 사용될 수 있다. 센싱 영역(593B)에서의 센싱 결과는, 예를 들어, 주차 지원과 서라운드 뷰 시스템에 사용될 수 있다. 센싱 영역(593L) 및 센싱 영역(593R)에서의 센싱 결과는, 예를 들어, 서라운드 뷰 시스템에 사용할 수 있다.

센싱 영역(594)은 LiDAR(553)의 센싱 영역의 일예를 나타낸다. 센싱 영역(594)은, 차량(500)의 전방에서, 센싱 영역(593F)보다 먼 위치까지의 범위를 커버한다. 반면, 센싱 영역(594)은 센싱 영역(593F)보다 좌우 방향에서 보다 좁은 범위를 갖는다.

센싱 영역(594)에서의 센싱 결과는, 예를 들어, 주변 차량 등과 같은 오브젝트를 검출하는데 사용된다.

센싱 영역(595)은 장거리용 레이더(552)의 센싱 영역의 일예를 나타낸다.

센싱 영역(595)은, 차량(500)의 전방에서, 센싱 영역(594)보다 먼 위치까지의 범위를 커버한다. 반면, 센싱 영역(595)은 센싱 영역(594)보다 좌우 방향에서 보다 좁은 범위를 갖는다.

센싱 영역(595)에서의 센싱 결과는, 예를 들어, ACC(Adaptive Cruise Control), 긴급 제동, 충돌 회피를 위하여 사용된다.

한편, 외부 인식 센서(525)에 포함되는 카메라(551), 레이더(552), LiDAR(553) 및 초음파 센서(554)의 각 센서의 센싱 영역은, 도 26에 도시된 것과는 다른 여러가지 구성을 가져도 된다. 구체적으로, 초음파 센서(554)가 차량(500)의 측면쪽을 센싱해도 되며, 또는 LiDAR(553)가 차량(500)의 후방을 센싱해도 된다. 또한, 각 센서의 설치 위치는 상술한 예들 각각에 한정되지 않는다. 또한, 센서의 개수는, 1개 또는 2개나 그 이상이어도 된다.

<8. 본 개시의 구성의 요약>

이상에서는 특정한 실시예를 참조하여 본 개시의 실시 형태에 대해서 자세히 설명하였다. 그러나, 당업자는 본 개시의 본질을 벗어나지 않으면서 상기 실시예에 대한 수정이나 변형을 할 수 있다는 것은 자명하다. 다시 말해서, 본 개시는 예시적으로 설명되었며, 제한적으로 해석되어서는 안된다. 본 개시의 범위를 판정하기 위해서 청구항이 고려되어야 한다.

한편, 본 명세서에서 개시된 기술은 이하의 구성을 취할 수 있다.

(1) 차량의 주위를 촬영하여 획득한 이미지를 수신하고;

적어도 하나의 주차 구획 영역을 나타내는 표시 데이터를 생성하고; 그리고

상기 이미지에 상기 표시 데이터를 중첩시키는,

표시 데이터 생성부를 포함하고,

상기 표시 데이터는 상기 적어도 하나의 주차 구획 영역의 차량 접촉면으로부터 연장되는 상방 연장면을 포함하는, 정보 처리 장치.

(2) (1)에 있어서,

상기 표시 데이터 생성부는, 상기 차량 접촉면으로부터 연장된 상기 상방 연장면을 갖는 펜스형 그래픽 데이터를 포함하는, 정보 처리 장치.

(3) (1)에 있어서,

상기 표시 데이터 생성부는, 상기 차량 접촉면으로부터 연장된 상기 상방 연장면을 갖는 박스형 그래픽 데이터를 포함하는, 정보 처리 장치.

(4) (1) 또는 (2)에 있어서,

상기 적어도 하나의 주차 구획 영역은 주차 불가 공간 및 주차 가능 공간을 포함하고,

생성된 상기 표시 데이터는 상기 주차 불가 공간의 차량 접촉면으로부터 연장된 상방 연장면을 갖는 펜스형 그래픽 데이터와 상기 주차 가능 공간의 차량 접촉면과 평행한 평면형 그래픽 데이터를 포함하는, 정보 처리 장치.

(5) (1) 내지 (4) 중의 어느 하나에 있어서,

상기 적어도 하나의 주차 구획 영역은 주차 가능 공간 및 주차 불가 공간을 포함하고,

상기 표시 데이터 생성부는, 상기 주차 불가 공간을 나타내는 주차 불가 공간 식별용 표시 데이터 및 상기 주차 가능 공간을 나타내는 주차 가능 공간 식별용 표시 데이터를 생성하고,

상기 주차 불가 공간 식별용 표시 데이터는 상기 주차 가능 공간 식별용 표시 데이터와는 다른 적어도 하나의 표시 특성을 갖는, 정보 처리 장치.

(6) (5)에 있어서,

상기 주차 불가 공간 식별용 표시 데이터와 상기 주차 가능 공간 식별용 표시 데이터는 색상, 패턴 또는 두 가지 모두에서 다른, 정보 처리 장치.

(7) (5) 또는 (6)에 있어서,

상기 주차 불가 공간 식별용 표시 데이터와 상기 주차 가능 공간 식별용 표시 데이터는 공통의 라인에 배열되어 있는, 정보 처리 장치.

(8) (5)에 있어서,

상기 적어도 하나의 주차 구획 영역은 주차 가부 불분명 공간을 더 포함하고,

상기 표시 데이터 생성부는 상기 주차 가부 불분명 공간을 나타내는 주차 가부 불분명 공간 식별용 표시 데이터를 생성하는, 정보 처리 장치.

(9) (8)에 있어서,

상기 주차 가부 불분명 공간 식별용 표시 데이터는, 상기 주차 가능 공간 식별용 표시 데이터 및 상기 주차 불가 공간 식별용 표시 데이터와는 다른 적어도 하나의 표시 특성을 갖는, 정보 처리 장치.

(10) (9)에 있어서,

상기 주차 가부 불분명 공간 식별용 표시 데이터와 상기 주차 가능 공간 식별용 표시 데이터는, 색상, 패턴 또는 두가지 모두에서 다르고,

상기 주차 가부 불분명 공간 식별용 표시 데이터와 상기 주차 불가 공간 식별용 표시 데이터는, 색상, 패턴 또는 두가지 모두에서 다른, 정보 처리 장치.

(11) (1) 내지 (10) 중 어느 하나에 있어서,

상기 상방 연장면의 투명도는, 상기 차량 접촉면으로부터의 거리에 따라 변하는, 정보 처리 장치.

(12) (11)에 있어서,

상기 상방 연장면의 투명도는, 상기 차량 접촉면으로부터 거리가 멀어질수록 감소하는, 정보 처리 장치.

(13) (2)에 있어서,

상기 펜스형 그래픽 데이터의 투명도는, 상기 차량 접촉면으로부터 거리가 멀어질수록 감소하는, 정보 처리 장치.

(14) (3)에 있어서,

상기 박스형 그래픽 데이터의 투명도는, 상기 차량 접촉면으로부터 거리가 멀어질수록 감소하는, 정보 처리 장치.

(15) (4)에 있어서,

상기 평면형 그래픽 데이터의 투명도는, 상기 주차 공간의 주차 출입구측을 지시하는, 상기 주차 공간의 전방 라인으로부터의 거리에 따라 변하는, 정보 처리 장치.

(16) (15)에 있어서,

상기 평면형 그래픽 데이터는 제1 부분 및 제2 부분을 가지며, 상기 제1 부분은 상기 주차 가능 공간의 전방 라인과 상기 제2 부분 사이에 배치되고,

상기 제1 부분의 투명도는 상기 제2 부분의 투명도보다 낮은, 정보 처리 장치.

(17) (1) 내지 (16) 중 어느 하나에 있어서,

상기 적어도 하나의 주차 구획 영역 중에서 각 주차 구획 영역이 주차가 가능한지에 대한 판정을 제공하는 주차 공간 분석부를 더 포함하고,

상기 표시 데이터 생성부는, 상기 주차 공간 분석부의 상기 판정에 기초하여 상기 표시 데이터를 생성하는, 정보 처리 장치.

(18) (17)에 있어서,

상기 주차 공간 분석부는, 상기 차량에 탑재되어 있는 센서의 감지 정보; 및 외부 장치로부터 수신된 정보 중의 하나 또는 둘 모두에 기초하여 상기 판정을 생성하는, 정보 처리 장치.

(19) 차량의 운전자에게 주차 가능 공간을 제시하는 방법에 있어서,

상기 차량의 주변을 촬영하여 획득한 이미지를 수신하고,

적어도 하나의 주차 구획 영역을 표시하는 공간 식별용 표시 데이터를 생성하되, 상기 공간 식별용 표시 데이터는 상기 적어도 하나의 주차 구획 영역의 차량 접촉면으로부터 연장된 상방 연장면을 포함하고,

상기 표시 데이터를 상기 이미지에 중첩하는 것을 포함하는, 방법.

(20) 실행 가능한 명령이 저장되어 있는 적어도 하나의 컴퓨터 판독가능 저장 매체;

상기 실행 가능한 명령에 의해 프로그램되어 방법을 수행하는 적어도 하나의 프로세서를 포함하고,

상기 방법은,

차량의 주위를 촬영하여 획득한 이미지를 수신하는 과정;

적어도 하나의 주차 구획 영역을 나타내는 공간 식별용 표시 데이터를 생성하는 동작으로서, 상기 공간 식별용 표시 데이터는 상기 적어도 하나의 주차 구획 영역의 차량 접촉면으로부터 연장된 상방 연장면을 포함하는 과정; 및

상기 표시 데이터를 상기 이미지에 중첩하는 과정을 포함하는, 장치.

(21) 차량의 주위를 촬영하여 얻은 이미지에, 그래픽 데이터로서, 주차 가능 공간 또는 주차 불가 공간 중의 적어도 하나의 공간 식별용 표시 데이터를 중첩하여 얻어지는, 표시 데이터를 생성하는 표시 데이터 생성부를 포함하고,

상기 표시 데이터 생성부는, 차량 접촉면으로부터 상방으로 연장된 상방 연장면을 갖는 표시 데이터로서, 주차 가능 공간 또는 주차 불가 공간 중의 적어도 하나의 상기 공간 식별용 표시 데이터를 상기 이미지에 중첩하여 얻어지는 표시 데이터를 생성하는, 정보 처리 장치.

(22) 정보 처리 장치에 의해 실행되는 정보 처리 방법으로,

디스플레이 데이터 생성부가, 그래픽 데이터로서, 주차 가능 공간 또는 주차 불가 공간 중에 적어도 하나의 공간 식별용 데이터를, 차량의 주위를 촬영하여 얻은 이미지에 중첩하여 획득한 디스플레이 데이터를 생성하는, 디스플레이 데이터 생성 처리를 포함하고,

상기 디스플레이 데이터 생성 처리는, 상기 디스플레이 데이터 생성부가, 차량 접촉면으로부터 위쪽으로 연장된 상방 연장면을 갖는 그래픽 데이터로서, 주차 가능 공간 또는 주차 불가 공간 중에 적어도 하나의 공간 식별용 데이터를, 상기 이미지에 중첩하여 획득한 디스플레이 데이터를 생성하는 것을 포함하는, 정보 처리 방법.

(23) 정보 처리 장치가 정보 처리를 실행하도록 하는 프로그램으로서,

디스플레이 데이터 생성부가, 그래픽 데이터로서, 주차 가능 공간 또는 주차 불가 공간 중에 적어도 하나의 공간 식별용 데이터를, 차량의 주위를 촬영하여 얻은 이미지에 중첩하여 획득한 디스플레이 데이터를 생성하는, 디스플레이 데이터 생성 처리를 포함하고,

상기 디스플레이 데이터 생성 처리는, 상기 디스플레이 데이터 생성부가, 차량 접촉면으로부터 위쪽으로 연장된 상방 연장면을 갖는 그래픽 데이터로서, 주차 가능 공간 또는 주차 불가 공간 중에 적어도 하나의 공간 식별용 데이터를, 상기 이미지에 중첩하여 획득한 디스플레이 데이터를 생성하는 것을 포함하는, 프로그램.

또한, 명세서에서 설명한 일련의 처리는 하드웨어, 소프트웨어 또는 양자의 복합 구성에 의해 실행하는 것이 가능하다. 소프트웨어를 사용하여 처리를 실행할 경우, 처리 시퀀스가 기록된 프로그램은, 전용의 하드웨어에 갖추어진 컴퓨터의 메모리에 인스톨되어서 실행되거나 또는 여러가지 처리가 실행될 수 있는 범용 컴퓨터에 인스톨되어서 실행될 수도 있다. 예를 들어, 프로그램은 기록 매체에 미리 기록해 둘 수 있다. 프로그램은 반드시 기록 매체부터 컴퓨터에 인스톨될 필요는 없으며, LAN(Local Area Network)과 인터넷과 같은 네트워크를 통해서 수신되어서, 내장된 하드 디스크 등과 같은 기록 매체에 인스톨되어도 된다.

한편, 명세서에 설명되어 있는 여러가지 처리는, 반드시 설명을 따라서 시계열적인 순서로 실행될 필요는 없으며, 그 처리를 실행하는 장치의 처리 능력 또는 필요에 따라 병렬적으로 또는 개별적으로 실행되어도 된다. 또한, 명세서에 있어서 시스템이란, 복수의 장치들의 논리적 집합 구성을 나타내며, 각 구성의 장치가 어떤 경우에는 동일 케이스에 있지만, 반드시 동일 케이스에 있을 필요는 없다.

이상에서 설명한 바와 같이, 본 개시의 실시예의 구성에 따라, 주차 가능 공간과 주차 불가 공간을 쉽고 확실하게 식별하는 것을 가능하게 하는, 표시 데이터를 생성하고 또한 상기 표시 데이터를 표시부에 표시하는 것 가능하게 하는 구성이 실현된다. 구체적으로, 예를 들어, 주차 가능 공간 또는 주차 불가 공간의 적어도 하나의 공간 식별용 표시 데이터를, 그래픽 데이터로서, 차량의 주위를 촬영하여 획득한 이미지에 중첩한 표시 데이터를 생성하는 표시 데이터 생성부가 제공된다. 표시 데이터 생성부는, 주차 가능 공간 또는 주차 불가 공간의 적어도 하나의 공간 식별용 표시 데이터를, 차량 접촉면에서 위쪽으로 연장하는 상방 연장면을 가지는 펜스형 또는 박스형 그래픽 데이터로서, 촬영된 이미지에 중첩한 표시 데이터를 생성해고, 그 표시 데이터를 표시부에 출력하여 그 표시 데이터를 표시한다. 이러한 구성에 의해, 주차 가능 공간과 주차 불가 공간을 쉽고 확실하게 식별하는 것을 가능하게 하는 표시 데이터를 생성하고 표시부에 그 표시 데이터를 표시하는 것을 가능하게 하는 구성이 실현된다.

첨부된 청구항 또는 그것의 균등 범위에 있는 한, 설계 상의 요구 및 다른 요인에 따라서, 여러가지 변경, 조합, 하위조합(subcombination) 및 수정이 될 수 있다는 것은, 당업자에 의해 잘 이해될 것이다.

10 차량
20 주차장
50 표시부
101 주차 불가 공간 식별용 표시 데이터
102 주차 가능 공간 식별용 표시 데이터
150 정보처리장치
151 센서
152 통신부
153 주차 공간 분석부
154 표시 데이터 생성부
155 표시부
156 입력부 (UI)
157 자율 주행 제어부
301 CPU
302 ROM
303 RAM
304 버스
305 입력/출력 인터페이스
306 입력부
307 출력부
308 저장부
309 통신부
310 드라이브
311 제거가능 매체(removable medium)
321 센서
322 구동부

Claims (20)

1. 차량의 주위를 촬영하여 획득한 이미지를 수신하고;
   적어도 하나의 주차 구획 영역을 나타내는 표시 데이터를 생성하고; 그리고
   상기 이미지에 상기 표시 데이터를 중첩시키는;
   표시 데이터 생성부를 포함하고,
   상기 표시 데이터는, 상기 적어도 하나의 주차 구획 영역의 차량 접촉면으로부터 연장된 상방 연장면을 포함하는, 정보 처리 장치.
2. 제1항에 있어서,
   생성된 상기 표시 데이터는, 상기 차량 접촉면으로부터 연장된 상방 연장면을 갖는 펜스형 그래픽 데이터를 포함하는, 정보 처리 장치.
3. 제1항에 있어서,
   생성된 상기 표시 데이터는, 상기 차량 접촉면으로부터 연장된 상방 연장면을 갖는 박스형 그래픽 데이터를 포함하는, 정보 처리 장치.
4. 제1항에 있어서,
   상기 적어도 하나의 주차 구획은, 주차 불가 공간 및 주차 가능 공간을 포함하고,
   생성된 상기 표시 데이터는, 상기 주차 불가 공간의 차량 접촉면으로부터 연장된 상방 연장면을 갖는 펜스형 그래픽 데이터 및 상기 주차 가능 공간의 차량 접촉면에 평행한 평면형 그래픽 데이터를 포함하는, 정보 처리 장치.
5. 제1항에 있어서,
   상기 적어도 하나의 주차 구획은, 주차 불가 공간 및 주차 가능 공간을 포함하고,
   상기 표시 데이터 생성부는, 상기 주차 불가 공간을 나타내는 주차 불가 공간 식별용 표시 데이터 및 상기 주가 가능 공간을 나타내는 주차 가능 공간 식별용 표시 데이터를 생성하고,
   상기 주차 불가 공간 식별용 표시 데이터는, 상기 주차 가능 공간 식별용 표시 데이터와는 다른 적어도 하나의 표시 특성을 갖는, 정보 처리 장치.
6. 제5항에 있어서,
   상기 주차 불가 공간 식별용 표시 데이터와 상기 주차 가능 공간 식별용 표시 데이터는 색상, 패턴 또는 둘 모두에 있어서 다른, 정보 처리 장치.
7. 제5항에 있어서,
   상기 주차 불가 공간 식별용 표시 데이터와 상기 주차 가능 공간 식별용 표시 데이터는 공통 라인에 배열되는, 정보 처리 장치.
8. 제5항에 있어서,
   상기 적어도 하나의 주차 구획 영역은 주차 가부 불분명 공간을 더 포함하고,
   상기 표시 데이터 생성부는, 상기 주차 가부 불분명 공간을 나타내는 주차 가부 불분명 공간 식별용 표시 데이터를 생성하는, 정보 처리 장치.
9. 제8항에 있어서,
   상기 주차 가부 불분명 공간 식별용 표시 데이터는, 상기 주차 가능 공간 식별용 표시 데이터 및 상기 주차 불가 공간 식별용 표시 데이터와는 다른, 적어도 하나의 표시 특성을 갖는, 정보 처리 장치.
10. 제9항에 있어서,
    상기 주차 가부 불분명 공간 식별용 표시 데이터와 상기 주차 가능 공간 식별용 표시 데이터는 색상, 패턴 및 둘 모두에 있어서 다르고,
    상기 주차 가부 불분명 공간 식별용 표시 데이터와 상기 주차 불가 공간 식별용 표시 데이터는 색상, 패턴 및 둘 모두에 있어서 다른, 정보 처리 장치.
11. 제1항에 있어서,
    상기 상방 연장면의 투명도는 상기 차량 접촉면으로부터의 거리에 따라 변하는, 정보 처리 장치.
12. 제11항에 있어서,
    상기 상방 연장면의 투명도는 상기 차량 접촉면으로부터의 거리가 멀어질수록 감소하는, 정보 처리 장치.
13. 제2항에 있어서,
    상기 펜스형 그래픽 데이터의 투명도는 상기 차량 접촉면으로부터의 거리가 멀어질수록 감소하는, 정보 처리 장치.
14. 제3항에 있어서,
    상기 박스형 그래픽 데이터의 투명도는 상기 차량 접촉면으로부터의 거리가 멀어질수록 감소하는, 정보 처리 장치.
15. 제4항에 있어서,
    상기 평면형 그래픽 데이터의 투명도는, 상기 주차 가능 공간의 전방 라인으로부터의 거리에 따라 변화하고, 상기 전방 라인은 상기 주차 가능 공간의 주차 출입구측을 지시하는, 정보 처리 장치.
16. 제15항에 있어서,
    상기 평면형 그래픽 데이터는 제1 부분 및 제2 부분을 갖고, 상기 제1 부분은 상기 주차 공간의 상기 전방 라인과 상기 제2 부분 사이에 배치되며,
    상기 제1 부분의 투명도는 상기 제2 부분의 투명도보다 낮은, 정보 처리 장치.
17. 제1항에 있어서,
    상기 적어도 하나의 주차 구획 영역의 각 주차 구획 영역이 주차가 가능한지에 대한 판정을 제공하는 주차 공간 분석부를 더 포함하고,
    상기 표시 데이터 생성부는 상기 주차 공간 분석부의 판정에 기초하여 상기 표시 데이터를 생성하는, 정보 처리 장치.
18. 제17항에 있어서,
    상기 공간 공간 분석부는, 상기 차량에 탑재된 센서의 감지 정보 및 외부 장치로부터 수신된 정보 중의 하나 또는 둘 모두에 기초하여, 상기 판정을 생성하는, 정보 처리 장치.
19. 차량의 운전자에게 주차 가능 공간을 제시하는 방법으로서,
    상기 차량의 주위를 촬영하여 획득한 이미지를 수신하는 과정;
    적어도 하나의 주차 구획 영역의 차량 접촉면으로부터 연장된 상방 연장면을 포함하는 것으로 상기 적어도 하나의 주차 구획 영역을 나타내는, 공간 식별용 표시 데이터를 생성하는 과정; 및
    상기 표시 데이터를 상기 이미지에 중첩하는 과정을 포함하는, 방법.
20. 저장되어 있는 실행 가능한 명령을 갖는 적어도 하나의 컴퓨터 판독 가능한 저장 매체;
    상기 실행 가능한 명령에 의해 프로그램되어 방법을 수행하는 적어도 하나의 프로세서를 포함하고,
    상기 방법은,
    차량의 주위를 촬영하여 획득한 이미지를 수신하는 과정;
    적어도 하나의 주차 구획 영역을 나타내는 공간 식별용 표시 데이터를 생성하는 동작으로서, 상기 공간 식별용 표시 데이터는 상기 적어도 하나의 주차 구획 영역의 차량 접촉면으로부터 연장된 상방 연장면을 포함하는 과정; 및
    상기 표시 데이터를 상기 이미지에 중첩하는 과정을 포함하는, 장치.