KR102009990B1 - 3D BPC imaging 기술기반 안전시야 획득 시스템 및 방법 - Google Patents
3D BPC imaging 기술기반 안전시야 획득 시스템 및 방법 Download PDFInfo
- Publication number
- KR102009990B1 KR102009990B1 KR1020170184701A KR20170184701A KR102009990B1 KR 102009990 B1 KR102009990 B1 KR 102009990B1 KR 1020170184701 A KR1020170184701 A KR 1020170184701A KR 20170184701 A KR20170184701 A KR 20170184701A KR 102009990 B1 KR102009990 B1 KR 102009990B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- scattering medium
- bpc
- obtaining
- scattering
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000003384 imaging method Methods 0.000 title claims abstract description 36
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000000638 solvent extraction Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 abstract description 2
- 238000011156 evaluation Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000001454 recorded image Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000000779 smoke Substances 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
본 발명은 3D BPC imaging 기술기반 안전시야 획득 시스템 및 방법에 관한 것으로, 보다 상세하게는 스테레오 카메라 영상을 이용하여 안개 등 산란매질을 통과한 영상에서 깊이맵을 추출할 수 있는 3D BPC imaging 기술기반 안전시야 획득 시스템 및 방법에 관한 것이다. 본 발명에 의하면, 산란매질을 통과한 영상을 간단한 연산으로 깊이맵을 구할 수 있고, 운전 중 안개 등의 너머에 있는 물체를 인식할 수 있으므로 안전 운전에 유용하다.
Description
본 발명은 3D BPC imaging 기술기반 안전시야 획득 시스템 및 방법에 관한 것으로, 보다 상세하게는 스테레오 카메라 영상을 이용하여 안개 등 산란매질을 통과한 영상에서 깊이맵을 추출할 수 있는 3D BPC imaging 기술기반 안전시야 획득 시스템 및 방법에 관한 것이다. 본 발명에 의하면, 산란매질을 통과한 영상을 간단한 연산으로 깊이맵을 구할 수 있고, 운전 중 안개 등의 너머에 있는 물체를 인식할 수 있으므로 안전 운전에 유용하다.
최근 자율 주행 자동차 등의 등장에 따라, 자동차 주변에 발생하는 각종 상황에 대한 인식이 매우 중요하게 대두되고 있다.
안개 또는 화재연기와 같은 다중 산란매질에 의해 전방시야를 확보하지 못해 발생하는 재난 사고가 다수 발생 하고 있다. 이러한 사고를 방지하고자 각종 센서 뿐만 아니라 전방시야 확보를 위한 연구가 진행중이다.
전방 시야 미확보로 발생하는 대형 재난 사고를 줄이고, 화재 및 재난 상황에서 안개 또는 연기와 같은 다중 산란매질(scattering medium)에 의해 가려진 물체를 인식하고, 거리정보를 제공하기 위해서는 안전시야 획득 기술을 필요하다.
안개, 화재 등의 극한 조건에서는 많은 컴퓨터 비전 응용 프로그램을 통해 보다 더 좋은 결과를 얻기 위해 다양한 연구가 진행되고 있으나, 화질개선을 통해 가려진 물체를 확인 하는 수준의 연구가 주로 진행되고 있으며, 아직 거리정보를 획득하지는 못하고 있다.
등록특허공보 제10-1650009호 “단일 기록 영상에 대한 산란 노이즈 제거 및 광자 검출을 통해 원영상을 복원하는 방법 및 그 기록매체”에서는 통계적 추론 방법을 이용하여 산란매질을 추정한 후 산란 노이즈를 제거하고, 남은 생존 광자들을 검출하는 방법을 통하여 원영상을 복원하는 방법이 개시되어 있다.
공개특허공보 제10-2013-0082054호 “깊이 영상의 깊이 값을 복원하는 방법 및 장치”에서는 ToF 카메라에 의해 촬영된 깊이 영상 내의 픽셀의 깊이 값을 계산하는 방법 및 장치가 개시되어 있다. 그러나, 깊이 값을 계산하기 위해서는 일반 카메라가 아닌 ToF 카메라를 이용해야 하는 문제가 있다.
본 발명의 목적은, 다중산란 매질을 통과한 스테레오 영상으로부터 거리정보를 가지는 거리맵을 구할 수 있는 3D BPC imaging 기술기반 안전시야 획득 시스템 및 방법을 제공하는 것이다.
본 발명의 다른 목적은, 3D BPC Imaging 처리를 통해 획득된 양안 컬러 영상간의 시차를 이용하여 깊이값을 추정하는 스테레오 정합(stereo matching)기술과 이를 이용하여 간단하게 깊이맵을 구하는 방법을 제공하는 것이다.
본 발명의 목적은 이상에서 언급된 목적으로 제한되지 않으며, 언급되지 않은 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 목적을 이루기 위한 하나의 양태에 따르면, 본 발명은 3D BPC imaging 기술기반 안전시야 획득 방법에 있어서, (a) 카메라로부터 다중 산란 매질이 포함된 영상을 획득하는 단계; (b) 3D BPC Imaging 알고리즘을 이용하여, 다중 산란 매질이 포함된 영상으로부터 다중산란 매질이 제거된 영상을 획득하는 단계; 및 (c) 다중산란 매질이 제거된 영상에서 거리정보가 포함된 깊이맵을 획득하는 단계;를 포함한다.
상기 (b)단계는, (b-1) 획득된 다중 산란 매질이 포함된 영상을 균일하게 파티셔닝 하고 각각의 영상으로부터 가우시안 분포(Gaussian distribution)를 획득하는 단계; (b-2) 가우시안 분포의 평균값을 이용하여 소수의 광자만 남은, 다중 산란매질이 제거된 영상을 획득하는 단계; (b-3) 포아송 분포(Poisson distribution)를 이용하여, 다중 산란매질이 제거된 영상에서 광자의 개수 추론하는 단계; 및 (b-4) 광자의 개수가 추론된 영상을 이용하여, 물체가 인식 가능한 수준의 다중 산란매질 제거 영상을 획득하는 단계;를 포함할 수 있다.
상기 (c)단계는, (c-1) 다중 산란매질 제거된 양안 영상 내 컬러와 깊이 정보간의 상관도를 이용한 지원(support) 영역을 설정하는 단계; (c-3) DSI(Disparity Space Image)와 신뢰도 공간(reliability space) 구성, 공간 및 시간 영역에서 컬러 및 거리(시차) 정보의 유사성과 신뢰도 등을 이용해 신뢰도 높은 시차정보를 결정하는 단계; (c-4) 거리맵(Depth map)에서 가우시안 분포(Gaussian distribution) 획득 하여 관심 영역을 추론하는 단계; 및 (c-5) 관심영역 중심으로 거리(Depth) 정보를 정규화 하여 최종 거리맵(Depth map)을 획득하는 단계;를 포함할 수 있다.
상기 (c-3)단계는, SSIM으로 평가하여 유사도가 0.5 이상이고, PSNR로 평가하여 25dB 이상인 경우에, 신뢰도 높은 시차정보로 결정할 수 있다.
상기 목적을 이루기 위한 다른 양태에 따르면, 본 발명은 3D BPC imaging 기술기반 안전시야 획득 시스템에 있어서, 촬영하려는 지점을 향해 간격을 두고 설치되는 복수의 카메라를 구비하여, 다중 산란 매질이 포함된 스테레오 영상을 획득할 수 있는 카메라 모듈; 3D BPC Imaging 알고리즘을 이용하여, 다중 산란 매질이 포함된 영상으로부터 다중산란 매질이 제거된 영상을 획득하는 다중 산란매질 제거 모듈; 다중산란 매질이 제거된 영상에서 거리정보가 포함된 깊이맵을 획득하는 깊이맵 생성 모듈; 및 SSIM 및 PSNR을 평가하여, 모두 통과한 경우에만 깊이맵을 생성하고, 하나라도 통과하지 못하는 경우 다시 다중산란 매질이 제거된 영상을 획득하도록 하는 제어모듈;을 포함한다.
본 발명의 3D BPC imaging 기술기반 안전시야 획득 시스템 및 방법은 양안식 카메라(스테레오 카메라)를 통해 다중산란매질이 포함된 양안영상을 획득 하고, 다중 산란매질 제거기술(3D BPC imaging)로 양안 영상에서 다중 산란매질을 제거한 후, 두 영상의 시차정보를 이용하여 거리정보를 갖는 2D 깊이맵(Depth map)을 획득하므로, 다중 산란매질이 있는 영상에서도 거리정보를 구할 수 있다.
본 발명의 3D BPC imaging 기술기반 안전시야 획득 시스템 및 방법은 3D BPC Imaging 처리를 통해 획득된 양안 컬러 영상간의 시차를 이용하여 깊이값을 추정하는 스테레오 정합(stereo matching)기술을 이용하므로 이를 활용하여 간단하게 깊이맵(Depth map)을 획득할 수 있다.
도 1은 본 발명의 일 실시예에 따른 3D BPC imaging 알고리즘 기술의 개념도이다.
도 2는 본 발명의 일 실시예에 따른 3D BPC Imaging 처리를 통해 획득된 양안 컬러 영상간의 시차를 이용하여 깊이값을 추정하는 방법을 나타낸 개념도이다.
도 3은 본 발명의 일 실시예에 따른 3D BPC imaging 기술기반 안전시야 획득 시스템이 스마트폰에 구현된 상태를 나타낸 개념도이다.
도 4는 본 발명의 일 실시예에 따른 3D BPC imaging 기술기반 안전시야 획득 방법을 나타낸 순서도이다.
도 5는 본 발명의 일 실시예에 따른 영상비교에 의한 깊이맵을 구하는 방법을 설명하는 개념도이다.
도 2는 본 발명의 일 실시예에 따른 3D BPC Imaging 처리를 통해 획득된 양안 컬러 영상간의 시차를 이용하여 깊이값을 추정하는 방법을 나타낸 개념도이다.
도 3은 본 발명의 일 실시예에 따른 3D BPC imaging 기술기반 안전시야 획득 시스템이 스마트폰에 구현된 상태를 나타낸 개념도이다.
도 4는 본 발명의 일 실시예에 따른 3D BPC imaging 기술기반 안전시야 획득 방법을 나타낸 순서도이다.
도 5는 본 발명의 일 실시예에 따른 영상비교에 의한 깊이맵을 구하는 방법을 설명하는 개념도이다.
이하, 첨부한 도면들 및 후술되어 있는 내용을 참조하여 본 발명의 바람직한 실시 예들을 상세히 설명한다. 그러나, 본 발명은 여기서 설명되어지는 실시 예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되어지는 것이다. 명세서 전체에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다. 한편, 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급되지 않는 한 복수형도 포함된다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
3D BPC Imaging 알고리즘은 안개와 같은 산란매질에서 전방의 객체를 확인하기 위해 사용자의 시야를 확보해주는 기술로써, 물체로부터 방사되는 광자 중 다중 산란매질을 통과한 1%의 광자를 이용하여 수학적 통계방법으로 이미지를 복원 하는 기술이다.
이하, 도 1 내지 도 5를 참조하여, 본 발명의 일 실시예에 따른 3D BPC imaging 기술기반 안전시야 획득 시스템 및 방법에 대하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 3D BPC imaging 알고리즘 기술의 개념도이다.
본 발명은 양안식 카메라(스테레오 카메라)를 통해 다중산란매질이 포함된 양안영상을 획득 하고, 다중 산란매질 제거기술(3D BPC imaging)로 양안 영상에서 다중 산란매질을 제거한 후, 두 영상의 시차정보를 이용하여 거리정보를 갖는 2D Depth map을 획득하는 발명이다.
3D BPC Imaging 알고리즘은 안개와 같은 산란매질에서 전방의 객체를 확인하기 위해 사용자의 시야를 확보해주는 기술로써, 물체로부터 방사되는 광자 중 다중 산란매질을 통과한 1%의 광자를 이용하여 수학적 통계방법으로 이미지를 복원 하는 기술이다.
3D BPC Imaging 알고리즘을 구체적으로 살펴보면,
① 카메라로부터 다중 산란 매질이 포함된 영상을 획득하는 단계;
② 획득된 영상을 균일하게 파티셔닝 하고 각각의 영상으로부터 가우시안 분포(Gaussian distribution)를 획득하는 단계;
③ 가우시안 분포의 평균값을 이용하여 소수의 광자만 남은 다중 산란매질이 제거된 영상을 획득하는 단계;
④ 포아송 분포(Poisson distribution)를 이용하여 다중 산란매질이 제거된 영상에서 광자의 개수 추론하는 단계;
⑤ 광자의 개수가 추론된 영상을 이용하여 물체가 인식 가능 한 수준의 다중 산란매질 제거 영상을 획득하는 단계;를 포함한다.
이러한 과정을 거쳐서, 다중 산란 매질을 통과한 영상에서 다중 산란매질이 제거된 영상을 얻을 수 있다.
도 2는 본 발명의 일 실시예에 따른 3D BPC Imaging 처리를 통해 획득된 양안 컬러 영상간의 시차를 이용하여 깊이값을 추정하는 방법을 나타낸 개념도이다.
3D BPC Imaging 처리를 통해 획득된 양안 컬러 영상은, 양안 컬러 영상간의 시차를 이용하여 깊이값을 추정할 수 있다. 이 때 사용되는 스테레오 정합(stereo matching)기술을 개발하여 거리맵(Depth map) 획득에 활용할 수 있다.
거리맵(Depth map)을 획득하는 구체적인 방법은,
① 다중 산란매질 제거된 양안 영상을 획득하는 단계;
② 영상내 컬러와 깊이정보간의 상관도를 이용한 지원(support) 영역을 설정하는 단계;
③ DSI(Disparity Space Image)와 신뢰도 공간(reliability space) 구성, 공간 및 시간 영역에서 컬러 및 거리(시차) 정보의 유사성과 신뢰도 등을 이용해 신뢰도 높은 시차정보를 결정하는 단계;
④ 거리맵(Depth map)에서 가우시안 분포(Gaussian distribution) 획득 하여 관심 영역을 추론하는 단계;
⑤ 관심영역 중심으로 거리(Depth) 정보를 정규화 하여 최종 거리맵(Depth map)을 획득하는 단계;를 포함한다.
이러한 과정을 거쳐서, 다중산란 매질이 제거된 영상에서 거리정보가 포함된 깊이맵을 얻을 수 있다.
도 3은 본 발명의 일 실시예에 따른 3D BPC imaging 기술기반 안전시야 획득 시스템이 스마트폰에 구현된 상태를 나타낸 개념도이다.
화면에 다중 산란매질이 제거된 영상이 표시되어 있다. 다중 산란 매질에 의해 가려져있던 부분 중에서 관심영역에 대하여 거리 정보가 표시 되는 것을 나타낸다.
도 4는 본 발명의 일 실시예에 따른 3D BPC imaging 기술기반 안전시야 획득 방법을 나타낸 순서도이다.
본 발명에 사용되는 카메라는 2대가 필요하다. 특수한 기능이 부가되지 않은 일반적인 카메라이어도 무방하다. 다만, 카메라 2대는 동일한 사양인 것이 바람직하다.
카메라 2대는 시차를 검출할 수 있도록 좌우 간격을 두고 일정 거리에 있는 지점에 초점을 맞춘다. 초점에서 왼쪽에 설치된 것을 카메라 L 이라 하고, 초점에서 오른쪽에 설치된 것을 카메라 R 이라 한다.
설치가 완료된 카메라 들로부터 과 카메라 L의 두대를 사용하는 스테레오 카메라이다. 일반 카메라도 가능하나, 가급적 규격이 동일한 카메라를 쌍으로 사용하는 것이 바람직하다.
카메라 설치가 완료되면, 왼쪽 카메라 L과 오른쪽 카메라 R로부터 영상을 획득한다(S110, S115).
각 카메라로부터 획득한 영상은 각각 파티셔닝 된다(S120, S125).
파티셔닝된 구역의 광자를 추출한다(S130, S135).
추출된 광자는 포아송 분포 함수에 넣어서 실행시킨다(S140, S145).
이렇게 추출된 R영상과, L영상을 비교하여 깊이맵(Depth map)을 구할 수 있다(S150).
이렇게 구한 깊이맵이 정확한 지 검토하기 위해서, SSIM 평가(S160) 및 PSNR 평가(S170)를 수행한다.
SSIM 평가(S160) 결과 유사도가 0.5 이상인 경우에는 정상 판정을 하고, 만약 유사도가 0.5 미만인 경우에는 깊이맵에 오류가 있는 것이므로, 다시 광자 추출 과정(S130, S135)으로 돌아가서 반복을 하게 된다.
SSIM 평가를 통과한 경우에는, PSNR 평가(S170)를 하게 되는데, 평가 결과 25dB 이상인 경우에는 정상판정을 하고, 만약 평가 결과가 25dB 미만인 경우에는 깊이맵에 오류가 있는 것이므로, 이 경우에도 다시 광자 추출 과정(S130, S135)으로 돌아가서 반복을 하게 된다.
만약, SSIM 평가와 PSNR 평가를 모두 통과한 경우, 영상에서 깊이를 추출할 수 있게 된다(S180).
만약, 카메라가 촬영하는 영역에 안개와 같은 다중 산란매질이 있는 경우에도, 깊이맵 획득(S150) 전에 산란매질의 제거가 가능하고, 그 결과 다중 산란매질이 제거된 영상에서 깊이를 획득(S180)할 수 있다.
도 5는 본 발명의 일 실시예에 따른 영상비교에 의한 깊이맵을 구하는 방법을 설명하는 개념도이다.
두 개의 이미지가 있을 경우, 우리는 직관적인 방법으로 이미지에서 자세한 정보를 얻을 수 있다.도 2를 참조하여 하나의 포인트에서 깊이정보를 획득하기 위한 수학 공식을 검토한다.
도 2의 O점(210)과 O’점(215)에 카메라를 두고, 두 카메라 모두 사이에 있는 X점(220)을 향하도록 배치한다면, OO’X로 이루어진 삼각형을 얻을 수 있다.
도 2에서, 두 카메라 사이의 거리는 B이고, 두 카메라의 초점거리는 f이고, 카메라의 위치인 O점(210)으로부터 X점(220)까지의 거리를 Z라고 할 때, X점은 O점의 카메라에서는 초점거리에 있는 x점(230)에 상이 맺힌다. 마찬가지로 O’점에 있는 카메라에서는 X점이 카메라의 초점거리에 있는 x’점(235)에 상이 맺힌다.
두 카메라의 초점거리에 있는 x점(230)과 x’점(235) 사이의 간격은 다음 식으로 구할 수 있다.
따라서, 카메라들로부터 X점(220)까지의 거리 Z는 Z = B f / (x x’) 으로 구할 수 있다. 즉, 평면(영상)상의 점의 깊이 정보 Z는 해당 점의 상(픽셀)의 거리의 차이 (x x’)에 반비례한다. 모든 픽셀에 대하여, 이 식을 적용하면, 이미지의 모든 픽셀의 깊이를 알 수 있다. 즉, 깊이맵(Depth map)을 구할 수 있게 된다.
이상의 과정을 요약하면, 3D BPC Image 기술로 획득된 양안 영상에서 포아송 분포를 이용하여 광자를 추론하고, 추론된 광자의 시차를 구하여 깊이 정보를 획득한다. 이때 광자는 매우 적은 수만 살아남기 때문에, Depth map 획득을 위한 시자정보획득을 위한 계산량이 적게 된다. 특히 이미지를 파티셔닝하고, 광자의 픽셀크기를 확대하여 계산하면 더욱 정확한 Depth map 획득이 가능하다.
이상에서 대표적인 실시 예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 상술한 실시 예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리 범위는 설명된 실시 예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태에 의하여 정해져야 한다.
210, 215 : 카메라
220 : 카메라가 촬영하는 목적물 위치
230, 235 : 카메라의 초점 위치
220 : 카메라가 촬영하는 목적물 위치
230, 235 : 카메라의 초점 위치
Claims (5)
- 삭제
- 3D BPC imaging 기술기반 안전시야 획득 방법에 있어서,
(a) 카메라로부터 다중 산란 매질이 포함된 영상을 획득하는 단계;
(b) 3D BPC Imaging 알고리즘을 이용하여, 다중 산란 매질이 포함된 영상으로부터 다중산란 매질이 제거된 영상을 획득하는 단계; 및
(c) 다중산란 매질이 제거된 영상에서 거리정보가 포함된 깊이맵을 획득하는 단계;를 포함하고,
상기 (b)단계는,
(b-1) 획득된 다중 산란 매질이 포함된 영상을 균일하게 파티셔닝 하고 각각의 영상으로부터 가우시안 분포(Gaussian distribution)를 획득하는 단계;
(b-2) 가우시안 분포의 평균값을 이용하여 소수의 광자만 남은, 다중 산란매질이 제거된 영상을 획득하는 단계;
(b-3) 포아송 분포(Poisson distribution)를 이용하여, 다중 산란매질이 제거된 영상에서 광자의 개수 추론하는 단계; 및
(b-4) 광자의 개수가 추론된 영상을 이용하여, 물체가 인식 가능한 수준의 다중 산란매질 제거 영상을 획득하는 단계;를 포함하는 것을 특징으로 하는 3D BPC imaging 기술기반 안전시야 획득 방법. - 제2항에 있어서,
상기 (c)단계는,
(c-1) 다중 산란매질 제거된 양안 영상 내 컬러와 깊이 정보간의 상관도를 이용한 지원(support) 영역을 설정하는 단계;
(c-3) DSI(Disparity Space Image)와 신뢰도 공간(reliability space) 구성, 공간 및 시간 영역에서 컬러 및 거리(시차) 정보의 유사성과 신뢰도 등을 이용해 신뢰도 높은 시차정보를 결정하는 단계;
(c-4) 거리맵(Depth map)에서 가우시안 분포(Gaussian distribution) 획득 하여 관심 영역을 추론하는 단계; 및
(c-5) 관심영역 중심으로 거리(Depth) 정보를 정규화 하여 최종 거리맵(Depth map)을 획득하는 단계;를 포함하는 것을 특징으로 하는 3D BPC imaging 기술기반 안전시야 획득 방법. - 제3항에 있어서,
상기 (c-3)단계는,
SSIM으로 평가하여 유사도가 0.5 이상이고, PSNR로 평가하여 25dB 이상인 경우에, 신뢰도 높은 시차정보로 결정하는 것을 특징으로 하는 3D BPC imaging 기술기반 안전시야 획득 방법. - 3D BPC imaging 기술기반 안전시야 획득 시스템에 있어서,
촬영하려는 지점을 향해 간격을 두고 설치되는 복수의 카메라를 구비하여, 다중 산란 매질이 포함된 스테레오 영상을 획득할 수 있는 카메라 모듈;
3D BPC Imaging 알고리즘을 이용하여, 다중 산란 매질이 포함된 영상으로부터 다중산란 매질이 제거된 영상을 획득하는 다중 산란매질 제거 모듈;
다중산란 매질이 제거된 영상에서 거리정보가 포함된 깊이맵을 획득하는 깊이맵 생성 모듈; 및
SSIM 및 PSNR을 평가하여, 모두 통과한 경우에만 깊이맵을 생성하고, 하나라도 통과하지 못하는 경우 다시 다중산란 매질이 제거된 영상을 획득하도록 하는 제어모듈;을 포함하고,
상기 다중 산란매질 제거모듈은,
획득된 다중 산란 매질이 포함된 영상을 균일하게 파티셔닝 하고 각각의 영상으로부터 가우시안 분포(Gaussian distribution)를 획득하고,
가우시안 분포의 평균값을 이용하여 소수의 광자만 남은, 다중 산란매질이 제거된 영상을 획득하며,
포아송 분포(Poisson distribution)를 이용하여, 다중 산란매질이 제거된 영상에서 광자의 개수 추론하고,
광자의 개수가 추론된 영상을 이용하여, 물체가 인식 가능한 수준의 다중 산란매질 제거 영상을 획득하도록 구비되는 것을 특징으로 하는 3D BPC imaging 기술기반 안전시야 획득 시스템.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170184701A KR102009990B1 (ko) | 2017-12-29 | 2017-12-29 | 3D BPC imaging 기술기반 안전시야 획득 시스템 및 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170184701A KR102009990B1 (ko) | 2017-12-29 | 2017-12-29 | 3D BPC imaging 기술기반 안전시야 획득 시스템 및 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20190081867A KR20190081867A (ko) | 2019-07-09 |
KR102009990B1 true KR102009990B1 (ko) | 2019-08-12 |
Family
ID=67261805
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170184701A KR102009990B1 (ko) | 2017-12-29 | 2017-12-29 | 3D BPC imaging 기술기반 안전시야 획득 시스템 및 방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102009990B1 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102284020B1 (ko) * | 2020-03-16 | 2021-07-30 | 재단법인 구미전자정보기술원 | 영상 투영 방법 및 시스템 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102115928B1 (ko) * | 2019-10-31 | 2020-05-27 | 엘아이지넥스원 주식회사 | 스테레오 매칭 기법과 딥러닝 알고리즘을 이용한 안개 제거 방법 및 장치 |
CN113160298B (zh) * | 2021-03-31 | 2024-03-08 | 奥比中光科技集团股份有限公司 | 一种深度真值获取方法、装置、***及深度相机 |
CN114638759B (zh) * | 2022-03-17 | 2024-03-29 | 云南师范大学 | 一种基于双摄像头的散射环境下图像去雾方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013076621A (ja) | 2011-09-30 | 2013-04-25 | Nippon Hoso Kyokai <Nhk> | 距離指標情報推定装置及びそのプログラム |
JP2016177686A (ja) | 2015-03-20 | 2016-10-06 | 富士通株式会社 | 撮影装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101874486B1 (ko) | 2012-01-10 | 2018-07-05 | 삼성전자주식회사 | 깊이 영상의 깊이 값을 복원하는 방법 및 장치 |
KR101650009B1 (ko) * | 2015-01-15 | 2016-08-22 | 박진상 | 단일 기록 영상에 대한 산란 노이즈 제거 및 광자 검출을 통해 원영상을 복원하는 방법 및 그 기록매체 |
-
2017
- 2017-12-29 KR KR1020170184701A patent/KR102009990B1/ko active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013076621A (ja) | 2011-09-30 | 2013-04-25 | Nippon Hoso Kyokai <Nhk> | 距離指標情報推定装置及びそのプログラム |
JP2016177686A (ja) | 2015-03-20 | 2016-10-06 | 富士通株式会社 | 撮影装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102284020B1 (ko) * | 2020-03-16 | 2021-07-30 | 재단법인 구미전자정보기술원 | 영상 투영 방법 및 시스템 |
Also Published As
Publication number | Publication date |
---|---|
KR20190081867A (ko) | 2019-07-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102009990B1 (ko) | 3D BPC imaging 기술기반 안전시야 획득 시스템 및 방법 | |
JP6439820B2 (ja) | 対象識別方法、対象識別装置、及び分類器訓練方法 | |
KR102214934B1 (ko) | 단항 신뢰도 및 쌍별 신뢰도 학습을 통한 스테레오 매칭 장치 및 방법 | |
EP2806396B1 (en) | Sparse light field representation | |
US8855408B2 (en) | Method and apparatus for recovering depth information of image | |
US9792719B2 (en) | Method and apparatus for removing outliers from a main view of a scene during 3D scene reconstruction | |
US9269142B2 (en) | Method for determining a state of obstruction of at least one camera installed in a stereoscopic system | |
US10762649B2 (en) | Methods and systems for providing selective disparity refinement | |
JP6291469B2 (ja) | 障害物検出装置および障害物検出方法 | |
JP2014235750A (ja) | 目標検出方法及び目標検出装置 | |
KR100953076B1 (ko) | 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치 | |
CN103424105B (zh) | 对象检测方法和装置 | |
KR102252915B1 (ko) | 스테레오 카메라를 이용한 거리 추정 방법 및 장치 | |
CN110659547A (zh) | 物体识别方法、装置、车辆和计算机可读存储介质 | |
KR20170064652A (ko) | 에고모션 추정 시스템 및 방법 | |
US11250581B2 (en) | Information processing apparatus, information processing method, and storage medium | |
KR101341243B1 (ko) | 기상 현상으로 인해 훼손된 영상을 복원하는 장치 및 방법 | |
Srikakulapu et al. | Depth estimation from single image using defocus and texture cues | |
KR20160024419A (ko) | Dibr 방식의 입체영상 카메라 판별 방법 및 장치 | |
KR101289386B1 (ko) | 스테레오 비전 기반의 장애물체 검출 및 분리 방법과 이를 실행하는 장치 | |
CN112116660B (zh) | 视差图校正方法、装置、终端及计算机可读介质 | |
KR101650009B1 (ko) | 단일 기록 영상에 대한 산란 노이즈 제거 및 광자 검출을 통해 원영상을 복원하는 방법 및 그 기록매체 | |
Jorissen et al. | Multi-view wide baseline depth estimation robust to sparse input sampling | |
KR101299697B1 (ko) | 마스킹 장치 및 연판정 마스킹 방법 | |
Huang et al. | Consistency constrained reconstruction of depth maps from epipolar plane images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |