KR102250874B1 - 자동차에서의 홀로그램 콘텐츠 제공 장치 및 방법 - Google Patents

자동차에서의 홀로그램 콘텐츠 제공 장치 및 방법 Download PDF

Info

Publication number
KR102250874B1
KR102250874B1 KR1020190070918A KR20190070918A KR102250874B1 KR 102250874 B1 KR102250874 B1 KR 102250874B1 KR 1020190070918 A KR1020190070918 A KR 1020190070918A KR 20190070918 A KR20190070918 A KR 20190070918A KR 102250874 B1 KR102250874 B1 KR 102250874B1
Authority
KR
South Korea
Prior art keywords
image
motion
occupant
holographic
difference
Prior art date
Application number
KR1020190070918A
Other languages
English (en)
Other versions
KR20200143074A (ko
Inventor
안양근
박영충
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020190070918A priority Critical patent/KR102250874B1/ko
Publication of KR20200143074A publication Critical patent/KR20200143074A/ko
Application granted granted Critical
Publication of KR102250874B1 publication Critical patent/KR102250874B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 자동차에 구비된 모션인식용 카메라와 홀로그램 AR 표시기를 이용하여, 인식된 탑승자의 영상과 홀로그램 AR 표시되는 콘텐츠 내 객체(뮤직비디오 내 댄스가수)의 영상을 비교해서 유사도를 분석하는 탑승자용 운행서비스에 관한 것이다. 본 발명의 한 실시예에 따르면 홀로그램 AR 표시기를 이용하여 도로를 배경으로 홀로그램 영상 콘텐츠의 댄스가수가 증강현실로 겹쳐 보이게 하고 출력되는 뮤직비디오 하단에 가사를 표시함으로써, 탑승자가 댄스가수의 움직임에 맞춰 춤을 추고 노래를 따라 부를 수 있게 하므로 공간 감각적 현실성과 몰입도를 높여주는 효과를 준다. 또한, 탑승자와 홀로그램 댄스가수의 움직임을 차영상으로 구하고, 그 움직임 정도의 유사도를 댄싱 점수 산출이 가능한 소프트웨어 프로그램으로 최종 점수 값을 도출하여 탑승자에게 고품질의 운행서비스를 제공한다.

Description

자동차에서의 홀로그램 콘텐츠 제공 장치 및 방법 {Apparatus and method for providing hologram contents in vehicle}
본 발명은 홀로그램에 의한 증강현실 디스플레이, 자동차 탑승자의 모션 인식, 그리고 움직임의 유사도 분석 기술에 관한 것이다. 보다 구체적으로, 본 발명은 자동차(특히, 자율주행차량)의 전방에 홀로그램에 의한 AR 콘텐츠(뮤직비디오 등)를 디스플레이하여 자동차 탑승자에게 운행 중 서비스를 제공하는, 자동차에서의 홀로그램 콘텐츠 제공 장치 및 방법에 관한 것이다.
종래의 영상기술은 TV 화면이나 스마트폰과 같은 2D 평면적 구조에 영상을 구현하였다. 인물이나 사물의 실체적인 시각적 영상자료를 2D 평면적 구조에 구현하였다는 점에서 사용자로 하여금 바로 눈앞에서 펼쳐지는 생동감을 느끼게 하기에는 한계가 있었다. 이러한 종래기술을 바탕으로 홀로그램 기술이 발전하기 시작하였다. 홀로그램 기술은 빛의 간섭원리에 의해서 특정 공간에서 물체를 3차원적으로 구현함으로써 사용자로 하여금 구현된 물체와 한 공간에 있다고 느끼게 한다는 점에서 기존의 영상기법과는 차별화된다.
또한, 가상현실은 주변의 배경과 객체를 가상으로 구현해내지만, 증강현실(Augmented Reality: AR)은 가상현실과 달리 현실세계와 가상세계를 적절하게 조화시켜서 사용자로 하여금 몰입도를 높여준다. 이러한 종래기술은 현재 다양한 산업, 상업 등 여러 분야에서 활용되고 있다.
한편, 종래의 자율주행차량의 발달수준은 미국자동차기술학회(SAE)에 따르면 레벨 0부터 레벨 5까지 나뉜다. 0단계에서 4단계까지는 운전자가 운전석에 앉아있어야 하지만, 5단계는 0단계에서 4단계까지와는 달리 운전석이 필요 없다. 즉, 완전 자율주행을 의미한다. 5단계가 되면 자율주행차량의 내부는 단순히 이동수단으로서의 공간이 아닌, 이동하면서 업무, 숙박, 여가, 오락 등을 할 수 있는 공간이 된다.
이와 관련하여 자율주행 차에서의 인포테인먼트 소프트웨어를 표시하는 3차원적인 그래픽 유저 인터페이스(대한민국 특허공개 10-2018-0117262호. 공개일자 2018년10월29일)가 출원되어 있다.
5단계 자율주행에서는 더 이상 운전자의 역할이 없게 되므로 탑승자가 차량 자율운행 중에 해당 차량에 마련되어 있는 여러 종류의 운행 중 서비스를 이용하는 것이 가능한 것에 착안하여 본 발명을 완성하였다. 따라서 본 발명의 목적은 자율주행차에서의(일반 자동차도 가능함) 탑승자를 위한 운행 중 서비스 차원에서 차량 전방에 홀로그램 증강현실(AR)로 콘텐츠를 디스플레이하고 탑승자의 모션을 인식하여 콘텐츠 내용과의 유사도를 처리하는 기술을 제안하는 것이다.
상기의 기술적 과제를 달성하기 위한 본 발명에 따르면 자동차에서 모션인식 장치로 인식된 탑승자의 영상에서의 프레임간 차영상과 홀로그램 AR로 디스플레이되는 영상에서의 프레임간 차영상을 구하고 이를 이용하여 콘텐츠 내 특정 객체(예를 들어, 댄스가수)의 움직임과 탑승자의 움직임의 유사도를 비교하여 미리 설정된 움직임 감도에 따라 최종 점수 값을 도출하는 장치 및 방법이 제공된다.
본 발명의 다른 목적과 효과, 그리고 이들을 달성하기 위한 구성은 이하에서 첨부 도면을 참조하여 기재된 실시예의 설명을 통해 명확해질 것이다.
본 발명에 따르면, 도로주행 중인 자동차 또는 자율주행차의 탑승자에게 주행 중인 자동차 전방의 도로 위에 홀로그램 댄스가수가 올라가서 춤추는 등의 콘텐츠를 감상하면서 댄스가수의 안무를 따라하고 홀로그램 영상에 표시되는 가사를 보고 노래를 따라할 수 있게 하는 운행 중 서비스를 제공할 수 있다. 화면에 나오는 댄스가수의 움직임과 탑승자가 따라 추는 춤의 움직임의 유사도에 따른 점수를 받을 수 있다.
도 1은 본 발명의 실시예에 따른 자율주행차에서의 홀로그램 뮤직콘텐츠 제공 장치의 한 가지 실시예의 구성도
도 2는 홀로그램 AR표시기(10)에 의해 표시되는 홀로그램 뮤직콘텐츠의 예시도
도 3은 도 1의 실시예에 따른 뮤직콘텐츠 제공 장치의 처리기(30)에서 처리되는 탑승자의 움직임 정도를 측정하는 절차(100) 순서도
도 4는 댄스가수와 탑승자의 움직임을 나타내는 그래프,
도 5는 댄스가수와 탑승자 사이의 절대 차이 값 그래프
도 6과 도 7은 홀로그램 영상과 탑승자 모션 영상의 각 영상의 차영상을 구하는 실제 코딩을 위한 알고리즘 순서도
도 8과 도 9는 이미지 유사성 측정을 위한 실제 코딩을 위한 알고리즘 순서도
이하에서 본 발명을 실시하기 위한 구체적인 실시예(들)를 도면을 참조하여 설명한다. 그러나 본 발명의 기술적 사상은 이하 기재된 실시예(들)에 한정되는 것이 아니라 다양한 변경과 변형이 가해진 형태로 구현될 수 있는바, 실시예(들)는 본 발명의 개시가 완전하도록 하며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이다. 본 발명의 권리범위는 실시예(들)로부터 관념되는 기술적 사상에 속하는 모든 변경, 변형, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
한편, 본 명세서에서 사용된 용어는 실시예(들)를 설명하기 위한 목적으로 사용되는 것이지 본 발명을 제한하고자 하는 것은 아니다. "포함하다" 또는 "가지다, 갖다" 등의 용어는 개시된 특징, 숫자, 단계, 동작, 구성요소, 부분품, 또는 이들을 조합한 것이 존재함을 지정하려는 것일 뿐, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하는 것이 아님을 이해하여야 한다.
마찬가지로, 어떤 구성요소가 다른 구성요소에 "연결되어 있다"거나 "접속되어 있다"고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해하여야 할 것이다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.
한편, 어떤 실시예가 달리 구현 가능한 경우에 특정 블록 내에 명기된 기능 또는 동작이 순서도에 명기된 순서와 다르게 실행될 수도 있다. 예를 들어, 연속하는 두 블록이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 상기 블록들이 거꾸로 수행될 수도 있다.
본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 한 실시예를 나타내는 것으로, 자동차(여기서는, 자율주행차)에서 홀로그램 콘텐츠(여기서는, 뮤직비디오)를 제공하는 장치의 구성도이다. 이에 따르면, 콘텐츠 제공 장치는 홀로그램 AR 표시기(10), 탑승자의 모션을 인식하는 모션 인식기(20), 처리기(30)로 이루어져 있다.
이 실시예에서 홀로그램 AR 표시기(10)는 차량 전방에 뮤직콘텐츠(예를 들어, 뮤직비디오)를 투사하여 디스플레이한다. 이는 HUD(head-up display) 기술을 이용할 수 있다. 헤드업디스플레이는 차량의 전면부 유리를 디스플레이로 활용하는 윈드쉴드 타입과 자체적으로 구비된 디스플레이에 주행 정보를 출력하는 컴바이너 타입으로 구분할 수 있다. 최근에 헤드업디스플레이에 증강현실 기술이 접목되고 있는 바, 상기 홀로그램 AR 표시기(10)는 홀로그램, 증강현실, 헤드업디스플레이 기술을 활용하여 차량 전방에 뮤직콘텐츠를 홀로그램 AR로 디스플레이할 수 있을 것이다.
탑승자 모션 인식기(20)로는 탑승자의 모션을 인식하는 카메라를 이용할 수 있다.
처리기(30)는 추후에 상세히 설명되겠지만 홀로그램 AR 표시기(10)와 탑승자 상체모션 인식기(20)로부터 홀로그램 영상 및 탑승자 모션 영상을 받아서 이들 영상에 대해 다음과 같은 프로세스를 처리한다.
- 홀로그램 영상의 프레임간 차영상 계산,
- 탑승자 모션 영상의 프레임간 차영상 계산,
- 이들 차영상을 이용하여 댄스가수의 움직임과 탑승자의 움직임의 유사도 분석,
- 분석된 움직임 유사도에 의한 탑승자 움직임의 점수(댄스점수) 계산 등
그 밖에 처리기(30)는 홀로그램 AR 표시기(10)의 제어와 탑승자 모션 인식기(20)를 제어, 구동하는 기능을 수행하도록 설계될 수도 있다. 다만, 본 실시예에서는 이러한 제어 기능은 기존의 차량제어장치(ECU 등)에 의해 수행되도록 하였고, 처리기(30)는 위에 열거한 것과 같은 홀로그램 영상 및 탑승자 모션 영상의 처리만을 행하도록 설계하였다.
도 2는 홀로그램 AR 표시기(10)에 의해 표시되는 홀로그램 영상(뮤직콘텐츠)의 예를 든다. 이 영상에 나오는 뮤직콘텐츠(예를 들면, 뮤직비디오)의 댄스가수는 도 2와 같이 증강현실로 도로에 겹쳐 보여서 탑승자가 보기에는 도로 위에서 춤추는 듯이 보인다. 그리고 이 홀로그램 영상의 아래쪽에는 해당 노래의 가사가 표시되고 있어 탑승자가 따라 부를 수 있도록 되어 있다. 탑승자는 도 2와 같은 홀로그램 AR 영상을 감상하면서 노래를 부르거나 춤을 따라 춤으로써, 자율주행차의 자율운전 중에 운행 중 서비스를 제공받게 되는 것이다.
도 3은 도 1에 나타낸 실시예에 따른 뮤직콘텐츠 제공장치의 처리기(30)에서 처리되는 탑승자의 움직임 정도를 측정하고 댄싱점수를 계산하는 절차(100)를 나타낸다.
도 3을 통해 단계별로 설명한다.
110: 홀로그램 AR 표시기(10)가 디스플레이한 홀로그램 영상(뮤직비디오)의 한 프레임을 취득한다. 홀로그램 영상을 이루고 있는 단위인 프레임들 간의 영상 차이(차영상)를 계산하기 위하여 하나의 프레임을 가져오는 것이다.
120: 홀로그램 영상의 상기 취득 프레임과 그 이전 프레임(바로 직전의 프레임을 의미하는 것은 아님) 간의 차영상을 계산한다. 가져온 하나의 프레임과 그 이전에 취득했던 프레임간의 영상의 차이를 계산하여 차영상 데이터를 산출하는 단계이다.
130: 홀로그램 영상의 프레임들에 대해 계산한 상기 차영상 데이터를 차후의 점수 계산용 변수로서 임시메모리 등에 저장해 둔다.
140: 한편, 탑승자 상체 모션 인식기(20)로 촬영된 탑승자 모션영상의 한 프레임을 취득한다. 탑승자가 홀로그램 영상을 보고 춤을 따라 추는 모션영상을 이루고 있는 프레임들 간의 차영상을 계산하기 위하여 하나의 프레임을 가져오는 것이다.
150: 탑승자 모션 영상의 상기 취득 프레임과 그 이전 프레임(바로 직전의 프레임을 의미하는 것은 아님) 간의 차영상을 계산한다. 가져온 하나의 프레임과 그 이전에 취득했던 프레임간의 영상의 차이를 계산하여 차영상 데이터를 산출하는 단계이다.
160: 탑승자 모션 영상의 프레임들에 대해 계산한 상기 차영상을 점수 계산용 변수로서 임시메모리 등에 저장해 둔다.
단계 140, 150, 160은 탑승자 모션 영상에서의 프레임간 차영상을 계산하는 단계들인데, 이들 단계가 도 3에서는 상기 단계 110, 120, 130의 홀로그램 영상에서의 프레임간 차영상을 계산하는 단계들과 시계열적(serial)으로 처리되는 것으로 표현되어 있지만, 실제로는 동시에 병렬(parallel) 처리될 수도 있다. 또한, 도 3과 반대로 단계 140, 150, 160의 그룹을 단계 110, 120, 130의 그룹보다 먼저 처리할 수도 있다. 실제로 이들 처리 시간의 차이는 미미하기 때문에 직렬 처리하든 병렬 처리하든 본 발명과 같이 사람의 시각기관에 대응하는 결과를 출력하는 경우에는 큰 차이가 없을 것이다.
170: 상기 110~160 단계를 홀로그램 영상의 마지막 프레임까지 반복한다. 즉, 홀로그램 뮤직비디오의 재생이 끝날 때까지 반복한다.
180: 홀로그램 영상의 재생이 끝나면, 홀로그램 영상 속 댄스가수의 움직임과 탑승자의 움직임 간의 유사도를 측정하여 탑승자의 댄싱 점수를 계산한다.
움직임 유사도를 측정할 때는 각 영상 내에서 상대적인 움직임으로 스케일링을 하여서 패턴을 비교하기 때문에 뮤직비디오 댄스가수의 크기와 탑승자의 크기와는 무관하게 유사도 측정이 가능하다.
움직임 간의 유사도 측정을 위하여 앞서 단계 120과 단계 150에서 댄스가수가 나오는 홀로그램 영상의 프레임간 차영상과 탑승자 모션 영상의 차영상을 구하여 각각 저장하는 절차를 수행하였는 바, 본 단계 180은 각 저장된 차영상데이터에서의 각 시간당 움직임 정도의 차이를 구하여서 탑승자의 움직임 정도가 댄스가수의 움직임과 얼마나 유사한지의 유사성을 구하는 단계이다.
이하, 도 3의 개략적인 처리 프로세스를 구현할 수 있기 위한 보다 상세한 알고리즘에 관해 도 6~도 9를 참조하여 설명한다.
도 6과 7은 상기 단계 120에서 댄스가수가 나오는 홀로그램 영상의 프레임간 차영상을 구하는 절차와 단계 150에서 탑승자 모션 영상의 프레임간 차영상을 구하는 절차에 대한 알고리즘 플로우챠트이다. 그리고 도 8과 9는 탑승자와 댄스가수의 움직임 유사성을 구하는 알고리즘 플로우챠트다. 도 6~도9에 사용된 약어는 다음과 같다.
HMV_CF: 홀로그램 뮤직비디오 현재 프레임 이미지
HMV_PF: 홀로그램 뮤직비디오 이전 프레임 이미지
HMV_X: 홀로그램 뮤직비디오 프레임 픽셀 x 좌표 값
HMV_Y: 홀로그램 뮤직비디오 프레임 픽셀 y 좌표 값
HMV_W: 홀로그램 뮤직비디오 프레임 x 좌표 끝(너비)
HMV_H: 홀로그램 뮤직비디오 프레임 y 좌표 끝(높이)
HMV_DV: 홀로그램 뮤직비디오 차 수치 저장 값
HMV_T: 홀로그램 뮤직비디오 차 수치 임계 값
HMV_FTPC: 홀로그램 뮤직비디오 이전프레임 픽셀과 다른 현재프레임의 픽셀 수
HMV_MA[FN]: 홀로그램 뮤직비디오 점수계산용 저장 변수
BMC_CF: 모션인식용 카메라 영상 현재 프레임 이미지
BMC_PF: 모션인식용 카메라 영상 이전 프레임 이미지
BMC_X: 모션인식용 카메라 영상 프레임 픽셀 x 좌표 값
BMC_Y: 모션인식용 카메라 영상 프레임 픽셀 y 좌표 값
BMC_W: 모션인식용 카메라 영상 프레임 x 좌표 끝(너비)
BMC_H: 모션인식용 카메라 영상 프레임 y 좌표 끝(높이)
BMC_DV: 모션인식용 카메라 영상 차 수치 저장 값
BMC_T: 모션인식용 카메라 영상 차 수치 임계 값
BMC_FTPC: 모션인식용 카메라 영상 이전프레임 픽셀과 다른 현재프레임의 픽셀 수
BMC_MA[FN]: 모션인식용 카메라 영상 점수계산용 저장 변수
HMV_MAX: 홀로그램 뮤직비디오 차 수치 최대 값
HMV_MIN: 홀로그램 뮤직비디오 차 수치 최소 값
BMC_MAX: 모션인식용 카메라 영상 차 수치 최대 값
BMC_MIN: 모션인식용 카메라 영상 차 수치 최소 값
HMV_SV[FN]: 홀로그램 뮤직비디오 스케일링 변환 변수
HMV_SF: 홀로그램 뮤직비디오 스케일링 변환 계수
BMC_SV[FN]: 모션인식용 카메라 영상 스케일링 변환 변수
BMC_SF: 모션인식용 카메라 영상 스케일링 변환 계수
SFDV[FN]: 두 영상 스케일링 변환 변수 프레임별 절대적 차이 값
SFDV_AVG: 두 영상 스케일링 변환 변수 평균 차이 값
FN_MAX: 총 프레임 수
C_S: 움직임 감도 (상수 값 설정)
SCORE: 최종 댄스 점수
*HMV(Hologram Music Video)
*BMC(Body Motion Camera)
*CF(Current Frame)
*PF(Previous Frame)
*W(width)
*H(height)
*DV(Difference Value)
*T(Threshold)
*FTPC(Frame Total Pixel Counter)
*MA(Movement Amount)
*FN(Frame Number)
*SV(Scaling Value)
*SF(Scaling Factor)
*SFDV(Scaling Frame Diffrance Value)
*AVG(Average)
*S(sensitivity)
먼저, 차영상을 구하는 방법에 대해 설명한다. 앞에서 도 3을 통해 댄스가수의 움직임을 찾기 위한 차영상(도 3의 단계 120)과 탑승자의 움직임을 찾기 위한 차영상(도 3의 단계 150)의 두 가지 차영상을 구하는 것에 대해서 설명한 바 있다. 이에 대해 홀로그램 영상과 탑승자 모션 영상의 각 영상의 차영상을 구하는 실제 코딩을 위한 알고리즘(도 6, 도 7)과 이미지 유사성 측정을 위한 실제 코딩을 위한 알고리즘(도 8, 도 9)을 참고하여 더 자세하게 설명한다.
차영상을 구하는 데 있어 먼저 수학식 1을 통하여 속도의 향상을 위해 그레이 스케일 이미지로 변환한다.
Figure 112019061107346-pat00001
수학식 1에서 f는 프레임을 의미하는데, f에 아래 첨자가 붙은 것들 즉 fGS는 그레이스케일 프레임, fR는 적색 프레임, fG는 녹색 프레임, fB는 청색 프레임을 의미한다.
다음에, 전체 이미지를 차영상 공식인 수학식 2를 사용해서 5 프레임 이전과 비교하여서 움직임이 있는 곳은 흰색으로 표현하고 나머지는 검은색으로 표현하여 움직임이 있는 모든 픽셀의 개수를 더한다.
Figure 112019061107346-pat00002
수학식 2에서 M은 차영상을 의미하고 P는 픽셀, t는 시간을 의미한다. 따라서 Pt는 시간 t에서의 픽셀을 의미한다. Tthreshold는 상수이다.
홀로그램 영상과 탑승자 모션 영상의 각 영상의 차영상을 구하는 실제 코딩을 위한 알고리즘은 도 6, 도 7에 나타내었다.
각 영상의 차영상을 구하였으면 각 차영상을 스케일링 하기위한 계수 k를 수학식 3으로 구한다.
Figure 112019061107346-pat00003
Mmax는 차영상의 최대값, Mmin은 차영상의 최소값을 의미한다. 구해진 계수값 k를 이용하여 각각의 차영상의 프레임에 대해서 수학식 4, 수학식 5를 사용하여서 댄스가수(S), 탑승자(U) 각각의 움직임을 스케일링한다. 그 값은 도 4와 같이 그래프로 표현된다. 도 4에서 진한 선은 탑승자의 움직임을, 흐린 선은 댄스가수의 움직임의 시간에 대한 추이를 나타내는데, 탑승자의 움직임과 댄스가수의 움직임 간에 차이가 있음을 볼 수 있다.
Figure 112019061107346-pat00004
Figure 112019061107346-pat00005
수학식 4에서 St는 시간 t에서의 댄스가수의 움직임을 의미하고, Smin은 댄스가수의 움직임의 최소값을 의미한다. 수학식 5에서 Ut는 시간 t에서의 탑승자의 움직임을 의미하고, Umin은 탑승자의 움직임의 최소값을 의미한다.
스케일링 된 움직임 값으로 댄스가수와 탑승자 사이의 절대 차이값 Dt를 수학식 6으로 구한다. 그 값은 도 5와 같은 그래프로 표현된다.
Figure 112019061107346-pat00006
그 차이값의 평균을 수학식 7과 같이 계산한다.
Figure 112019061107346-pat00007
이 평균값을 미리 설정된 상수값인 움직임 감도(s)에 맞추어서 얼마나 유사했는지 수학식 8로 점수를 계산한다.
Figure 112019061107346-pat00008
이상, 본 발명의 바람직한 실시예를 통하여 본 발명의 구성을 상세히 설명하였으나, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 본 명세서에 개시된 내용과는 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 이상에서 기술한 실시예들은 모든 면에서 한정적인 것이 아닌, 예시적인 것으로 이해해야만 한다. 본 발명의 보호범위는 상술한 실시예에 한정되는 것이 아니라, 아래의 특허청구범위에 의하여 정해지며, 특허청구의 범위 그리고 그 균등개념으로부터 도출되는 모든 변경 또는 변형된 형태는 본 발명의 기술적 범위에 포함되는 것으로 해석되어야 한다.
10: 홀로그램 AR 표시기
20: 탑승자 상체모션 인식기
30: 처리기

Claims (10)

  1. 차량 전방에 객체의 움직임이 포함된 홀로그램 영상을 투사하여 디스플레이하는 홀로그램 AR 표시기;
    차량 탑승자의 모션을 인식하는 탑승자 모션 인식기; 및
    상기 홀로그램 AR 표시기 및 탑승자 모션 인식기로부터 홀로그램 영상 및 탑승자 모션 영상을 받아서 홀로그램 영상의 프레임간 차영상 계산, 탑승자 모션 영상의 프레임간 차영상 계산, 및 상기 차영상을 이용하여 홀로그램 영상 내 객체의 움직임과 탑승자의 움직임 유사도 분석을 수행하고, 분석된 움직임 유사도를 이용해 상기 홀로그램 영상의 객체 움직에 대한 탑승자 움직임의 유사도 점수를 계산하는 처리기를 포함하되,
    상기 처리기는
    상기 홀로그램 영상의 프레임간 차영상 계산 및 탑승자 모션 영상의 프레임간 차영상 계산을 위해, 영상을 그레이 스케일 이미지로 변환하고; 변환된 그레이 스케일 이미지를 차영상 공식을 사용해서 5개 프레임 이전과 비교하여서 움직임이 있는 곳은 흰색으로 표현하고 나머지는 검은색으로 표현하여 움직임이 있는 모든 픽셀의 개수를 더하고; 홀로그램 영상과 탑승자 모션 영상의 각 영상의 차영상을 구하는 알고리즘을 이용해 차영상을 계산하도록 구성되고,
    상기 움직임 유사도 분석을 수행하여 상기 객체 움직임에 대한 탑승자 움직임의 유사도 점수를 계산하기 위해, 상기 계산된 각 영상의 차영상을 스케일링하기 위한 계수를 구하고; 구해진 계수값을 이용하여 각각의 차영상의 프레임에 대해서 상기 객체와 탑승자 각각의 움직임을 스케일링하고; 스케일링된 움직임 값으로 상기 객체와 탑승자 사이의 절대 차이값 및 그 평균값을 계산하고; 계산된 평균값을 미리 설정된 상수값인 움직임 감도에 맞추어서 얼마나 유사했는지 점수를 계산하도록 구성되는 것을 특징으로 하는, 자동차에서의 홀로그램 콘텐츠 제공 장치.
  2. 제1항에서, 상기 홀로그램 영상은 증강현실 뮤직콘텐츠이고 상기 객체는 댄스가수인 것을 특징으로 하는, 자동차에서의 홀로그램 콘텐츠 제공 장치.
  3. 제1항에서, 상기 탑승자 모션 인식기는
    탑승자의 모션을 촬영하는 카메라인 것을 특징으로 하는, 자동차에서의 홀로그램 콘텐츠 제공 장치.
  4. 삭제
  5. 삭제
  6. 차량 전방에 홀로그램 영상의 증강현실 콘텐츠를 투사하여 디스플레이하는 절차;
    차량 탑승자의 모션 영상을 취득하는 절차; 및
    상기 디스플레이되는 홀로그램 영상 및 상기 탑승자 모션 영상을 받아서 홀로그램 영상의 프레임간 차영상을 계산, 탑승자 모션 영상의 프레임간 차영상을 계산, 및 상기 차영상을 이용하여 홀로그램 영상 내 객체의 움직임과 탑승자의 움직임 유사도 분석을 수행하여 분석된 움직임 유사도를 이용해 상기 홀로그램 영상의 객체 움직에 대한 탑승자 움직임의 유사도 점수를 계산하는 절차를 포함하되,
    상기 홀로그램 영상의 프레임간 차영상 계산 및 탑승자 모션 영상의 프레임간 차영상 계산은, 영상을 그레이 스케일 이미지로 변환하고; 변환된 그레이 스케일 이미지를 차영상 공식을 사용해서 5개 프레임 이전과 비교하여서 움직임이 있는 곳은 흰색으로 표현하고 나머지는 검은색으로 표현하여 움직임이 있는 모든 픽셀의 개수를 더하고; 홀로그램 영상과 탑승자 모션 영상의 각 영상의 차영상을 구하는 알고리즘을 이용해 차영상을 계산하는 것을 포함하고
    상기 움직임 유사도 분석을 수행하여 상기 객체 움직임에 대한 탑승자 움직임의 유사도 점수 계산은, 상기 계산된 각 영상의 차영상을 스케일링 하기위한 계수를 구하고; 구해진 계수값을 이용하여 각각의 차영상의 프레임에 대해서 상기 객체와 탑승자 각각의 움직임을 스케일링하고; 스케일링된 움직임 값으로 상기 객체와 탑승자 사이의 절대 차이값 및 그 평균값을 계산하고; 계산된 평균값을 미리 설정된 상수값인 움직임 감도에 맞추어서 얼마나 유사했는지 점수를 계산하는 것을 포함하는 것을 특징으로 하는, 자동차에서의 홀로그램 콘텐츠 제공 방법.
  7. 제6항에서, 상기 홀로그램 영상은 증강현실 뮤직콘텐츠이고 상기 홀로그램 내 객체는 댄스가수인 것을 특징으로 하는, 자동차에서의 홀로그램 콘텐츠 제공 장방법.
  8. 제6항에서, 상기 차량 탑승자의 모션 영상을 취득하는 절차에서 모션 영상의 취득은 카메라를 이용해 수행되는 것을 특징으로 하는, 자동차에서의 홀로그램 콘텐츠 제공 장치.
  9. 삭제
  10. 삭제
KR1020190070918A 2019-06-14 2019-06-14 자동차에서의 홀로그램 콘텐츠 제공 장치 및 방법 KR102250874B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190070918A KR102250874B1 (ko) 2019-06-14 2019-06-14 자동차에서의 홀로그램 콘텐츠 제공 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190070918A KR102250874B1 (ko) 2019-06-14 2019-06-14 자동차에서의 홀로그램 콘텐츠 제공 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200143074A KR20200143074A (ko) 2020-12-23
KR102250874B1 true KR102250874B1 (ko) 2021-05-11

Family

ID=74089552

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190070918A KR102250874B1 (ko) 2019-06-14 2019-06-14 자동차에서의 홀로그램 콘텐츠 제공 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102250874B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014129017A1 (ja) 2013-02-22 2014-08-28 クラリオン株式会社 車両用ヘッドアップディスプレー装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010081193A (ko) * 2000-02-10 2001-08-29 이수원 모션 캡쳐 기능을 활용한 3차원 가상 현실 기법의 댄스게임 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014129017A1 (ja) 2013-02-22 2014-08-28 クラリオン株式会社 車両用ヘッドアップディスプレー装置

Also Published As

Publication number Publication date
KR20200143074A (ko) 2020-12-23

Similar Documents

Publication Publication Date Title
Wong et al. Bilateral cyclic constraint and adaptive regularization for unsupervised monocular depth prediction
US9672432B2 (en) Image generation device
CN111275518A (zh) 一种基于混合光流的视频虚拟试穿方法及装置
CN105612473A (zh) 操作输入装置及方法以及程序和记录介质
CN113763231B (zh) 模型生成方法、图像透视图确定方法、装置、设备及介质
JP2012257107A (ja) 画像生成装置
JP5516997B2 (ja) 画像生成装置
CN114782596A (zh) 语音驱动的人脸动画生成方法、装置、设备及存储介质
US11941729B2 (en) Image processing apparatus, method for controlling image processing apparatus, and storage medium
WO2018042976A1 (ja) 画像生成装置、画像生成方法、記録媒体、および画像表示システム
KR102250874B1 (ko) 자동차에서의 홀로그램 콘텐츠 제공 장치 및 방법
JPWO2006075536A1 (ja) 車両前方画像表示装置及び方法
CN113492756A (zh) 一种车外信息展示方法、装置、设备及存储介质
JP4246691B2 (ja) 画像情報処理システム、画像情報処理方法、画像情報処理プログラム、及び自動車
CN116400805A (zh) 车载娱乐交互方法、装置、车辆及存储介质
Kim et al. Real-time human segmentation from RGB-D video sequence based on adaptive geodesic distance computation
US11188767B2 (en) Image generation device and image generation method
CN113421231A (zh) 一种出血点检测方法、装置及***
WO2011155112A1 (ja) 逆変換テーブル生成方法、逆変換テーブル生成プログラム、画像変換装置、画像変換方法、及び画像変換プログラム
US11748920B2 (en) Image processing device, and image processing method
CN117193530B (zh) 基于虚拟现实技术的智能座舱沉浸式用户体验方法及***
EP4009628B1 (en) Image processing device, and image processing method
CN111243102B (zh) 一种基于扩散膜改造增大fov的方法和***
JP6785983B2 (ja) 情報表示装置及び方法、並びにプログラム及び記録媒体
CN116610212A (zh) 一种多模态娱乐交互方法、装置、设备及介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant