KR102338777B1 - 카메라를 이용한 차량 내부 인원 모니터링 방법 - Google Patents

Abstract

본 발명은 카메라를 이용한 차량 내부 인원 모니터링 방법에 관한 것으로, 차량의 탑승 인원 탐지를 시작하는 단계와, 상기 탑승 인원이 탑승할 경우 딥러닝 기반의 카메라 비전 방식으로 상기 탑승 인원 및 하차 인원을 카운팅하는 단계와, 상기 탑승 인원이 상기 하차 인원과 동일한지 체크하는 단계와, 상기 탑승 인원과 상기 하차 인원과 동일하지 않은 경우 알람 서비스를 제공하는 단계를 포함함으로써, 차량의 안전사고를 미연에 방지할 수 있다.

Description

카메라를 이용한 차량 내부 인원 모니터링 방법{METHOD FOR MONITERING NUMBER OF PASSENGERS IN VEHICLE USING CAMERA}

본 발명은 딥러닝 기반의 카메라 비전 모니터링을 통해 차량 내부의 탑승 인원을 체크하여 알람 서비스를 제공함으로써, 차량의 안전사고를 미연에 방지할 수 있는 카메라를 이용한 차량 내부 인원 모니터링 방법에 관한 것이다.

잘 알려진 바와 같이, 통학 차량은 보호자의 관리가 요구되는 어린이가 탑승하는 차량으로 정의되고, 어린이가 주요 승객임에 따라 운전자 또는 인솔자의 각별한 주의가 요구된다.

최근 들어 미하차한 어린이가 통학차량에 방치되어 의식불명 되거나, 통학 차량의 후진으로 인한 충돌사고 등과 같이 통학 차량의 안전사고 발생률이 기하급수적으로 증가하고 있다.

그러나, 종래의 통학 차량은 단순히 운전자 및 인솔자에 의해서만, 승하차 확인, 안전벨트 여부 확인, 통학 차량 주변 인체 유무 등의 안전 관리가 이루어지기 때문에, 사고방지의 효율성이 현저히 떨어질 뿐만 아니라 업무 과다, 인건비에 따른 비용 발생 등의 문제점이 있다.

또한, 통학 차량 이외에 고속버스에서도 잔여 인원의 파악이 제대로 이루어지지 않아 탑승객이 탑승하지 않은 상태로 출발하는 경우가 발생하는 문제점이 있다.

이러한 문제점을 해결하기 위하여 차량의 안전 관리 및 탑승 인원 관리를 위해 차량의 탑승 인원을 체크하여 안전사고를 미연에 방지하기 위한 다양한 연구가 진행되고 있다.

1. 한국등록특허 제10-1611926호(2016.04.06.등록)

본 발명은 딥러닝 기반의 카메라 비전 모니터링을 통해 차량 내부의 탑승 인원을 체크하여 알람 서비스를 제공함으로써, 차량의 안전사고를 미연에 방지할 수 있는 카메라를 이용한 차량 내부 인원 모니터링 방법을 제공하고자 한다.

또한, 본 발명은 카메라 비전 비디오 스트림이 입력될 경우 배경 삭제를 수행하고, 배경 삭제를 통해 움직이는 객체를 검출하며, 검출된 객체에 대해 딥러닝 객체 탐지 방식을 이용하여 탑승 인원 및 하차 인원을 각각 인식한 후에, 차량의 출입문을 기준으로 탑승 인원 및 하차 인원을 각각 카운팅함으로써, 차량의 탑승 인원 및 하차 인원을 효과적으로 검출하여 카운팅할 수 있는 카메라를 이용한 차량 내부 인원 모니터링 방법을 제공하고자 한다.

특히, 본 발명은 360도 카메라를 통해 입력된 카메라 비전 비디오 스트립에 대해 YOLO(You Only Look Once)를 이용/포함하는 딥러닝 객체 탐지 방식으로 객체를 검출 및 인식할 뿐만 아니라 CNN(Convolutional Neural Network), SSD(Single Shot Multibox Detector) 및 R-CNN(Region-based Convolutional Neural Networks) 중 적어도 어느 하나를 이용하여 객체를 효과적으로 검출 및 인식할 수 있는 카메라를 이용한 차량 내부 인원 모니터링 방법을 제공하고자 한다.

본 발명의 실시예들의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명의 실시예에 따르면, 차량의 탑승 인원 탐지를 시작하는 단계와, 상기 탑승 인원이 탑승할 경우 딥러닝 기반의 카메라 비전 방식으로 상기 탑승 인원 및 하차 인원을 카운팅하는 단계와, 상기 탑승 인원이 상기 하차 인원과 동일한지 체크하는 단계와, 상기 탑승 인원과 상기 하차 인원과 동일하지 않은 경우 알람 서비스를 제공하는 단계를 포함하는 카메라를 이용한 차량 내부 인원 모니터링 방법이 제공될 수 있다.

또한, 본 발명의 실시예에 따르면, 상기 탑승 인원 및 하차 인원을 각각 카운팅하는 단계는, 상기 카메라 비전 비디오 스트림이 입력될 경우 배경 삭제(background subtraction)를 수행하는 단계와, 상기 배경 삭제를 통해 움직이는 객체를 검출하는 단계와, 상기 검출된 객체에 대해 딥러닝 객체 탐지 방식을 이용하여 상기 탑승 인원 및 하차 인원을 각각 인식하는 단계와, 상기 차량의 출입문을 기준으로 상기 탑승 인원 및 하차 인원을 각각 카운팅하는 단계를 포함하는 카메라를 이용한 차량 내부 인원 모니터링 방법이 제공될 수 있다.

또한, 본 발명의 실시예에 따르면, 상기 딥러닝 객체 탐지 방식은, YOLO(You Only Look Once)를 포함하는 카메라를 이용한 차량 내부 인원 모니터링 방법이 제공될 수 있다.

또한, 본 발명의 실시예에 따르면, 상기 딥러닝 객체 탐지 방식은, CNN(Convolutional Neural Network), SSD(Single Shot Multibox Detector) 및 R-CNN(Region-based Convolutional Neural Networks) 중 적어도 어느 하나를 이용하는 카메라를 이용한 차량 내부 인원 모니터링 방법이 제공될 수 있다.

또한, 본 발명의 실시예에 따르면, 상기 카메라는, 360도 카메라를 포함하는 카메라를 이용한 차량 내부 인원 모니터링 방법이 제공될 수 있다.

본 발명은 딥러닝 기반의 카메라 비전 모니터링을 통해 차량 내부의 탑승 인원을 체크하여 알람 서비스를 제공함으로써, 차량의 안전사고를 미연에 방지할 수 있다.

또한, 본 발명은 카메라 비전 비디오 스트림이 입력될 경우 배경 삭제를 수행하고, 배경 삭제를 통해 움직이는 객체를 검출하며, 검출된 객체에 대해 딥러닝 객체 탐지 방식을 이용하여 탑승 인원 및 하차 인원을 각각 인식한 후에, 차량의 출입문을 기준으로 탑승 인원 및 하차 인원을 각각 카운팅함으로써, 차량의 탑승 인원 및 하차 인원을 효과적으로 검출하여 카운팅할 수 있다.

특히, 본 발명은 360도 카메라를 통해 입력된 카메라 비전 비디오 스트립에 대해 YOLO를 포함하는 딥러닝 객체 탐지 방식으로 객체를 검출 및 인식할 뿐만 아니라 CNN, SSD 및 R-CNN 중 적어도 어느 하나를 이용하여 객체를 효과적으로 검출 및 인식할 수 있다.

도 1은 본 발명의 실시예에 따라 카메라를 이용한 차량 내부 인원을 모니터링하는 과정을 나타내는 플로우차트이고,
도 2는 본 발명의 실시예에 따라 딥러닝 기반의 카메라 비전 방식으로 탑승 인원을 카운팅하는 과정을 나타내는 플로우차트이며,
도 3 내지 도 6은 본 발명의 실시예에 따라 카메라를 이용한 차량 내부 인원을 모니터링하는 것을 설명하기 위한 도면이다.

본 발명의 실시예들에 대한 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명하기로 한다.

도 1은 본 발명의 실시예에 따라 카메라를 이용한 차량 내부 인원을 모니터링하는 과정을 나타내는 플로우차트이고, 도 2는 본 발명의 실시예에 따라 딥러닝 기반의 카메라 비전 방식으로 탑승 인원을 카운팅하는 과정을 나타내는 플로우차트이며, 도 3 내지 도 6은 본 발명의 실시예에 따라 카메라를 이용한 차량 내부 인원을 모니터링하는 것을 설명하기 위한 도면이다. 여기에서, 본 발명의 실시예에서는 차량에 탑재된 MCU(main control unit)에 설치된 소프트웨어 및 이와 연결된 카메라를 통해 동작하는 것으로 하여 이하에서 설명한다.

도 1 내지 도 6을 참조하면, 차량의 탑승 인원 탐지를 시작할 수 있다(단계110). 여기에서, 차량의 탑승 인원 탐지는 차량의 시동 입력 시 MCU에서 자동으로 시작되거나, 별도의 탑승 인원 탐지를 위한 기계식 버튼 또는 전자식 버튼의 입력에 대응하는 탐지 신호를 따라 MCU에서 수행될 수 있다.

그리고, MCU에서는 차량 내부로 탑승 인원이 탑승하는지를 체크할 수 있다(단계120).

상기 단계(120)에서의 체크 결과, 탑승 인원이 탑승하지 않을 경우 MCU에서는 탑승 인원의 탑승을 대기하며, 탑승 인원이 탑승할 경우 MCU에서는 딥러닝 기반의 카메라 비전 방식으로 탑승 인원 및 하차 인원을 카운팅할 수 있다(단계130).

상술한 바와 같은 탑승 인원을 카운팅하는 단계(130)는, 카메라 비전 비디오 스트림이 입력될 경우 배경 삭제(background subtraction)을 수행하고(단계131), 배경 삭제를 통해 움직이는 객체를 검출하며(단계133), 검출된 객체에 대해 딥러닝 객체 탐지 방식을 이용하여 탑승 인원 및 하차 인원을 각각 인식한 후에(단계135), 차량의 출입문을 기준으로 탑승 인원 및 하차 인원을 각각 카운팅할 수 있다(단계137).

여기에서, 딥러닝 객체 탐지 방식은, YOLO(You Only Look Once)을 이용할 수 있는데, YOLO 알고리즘은 원본 이미지를 동일한 크기의 그리드로 나눈 후, 각 그리드에 대해 그리드 중앙을 중심으로 미리 정의된 형태로 지정된 바운딩박스(bounding-box)의 개수를 예측하고, 이를 기반으로 신뢰도를 계산하며, 이미지에 객체가 포함되어 있는지, 또는 배경만 단독으로 있는지의 여부를 고려하여 높은 객체 신뢰도를 가진 위치를 선택해 객체를 파악할 수 있다.

보다 구체적으로 본 발명의 실시예는 YOLO, 좀더 구체적으로는 YOLO v3을 활용하여 구현되었다.

또한, 딥러닝 객체 탐지 방식은, CNN(Convolutional Neural Network), SSD(Single Shot Multibox Detector) 및 R-CNN(Region-based Convolutional Neural Networks) 중 적어도 어느 하나를 이용할 수 있다.

보다 구체적으로, CNN의 경우 입력 이미지에 대해 컨볼루션 레이어(convolution layer)에서 필터를 이용하여 데이터의 특징을 추출하여 특징 지도(feature map)을 생성하고, 풀링 레이어(pooling layer)에서 이미지의 차원을 축소하여 부표본을 만드는 과정합을 줄여 성능을 향상시키며, 풀리 커넥트 레이어(fully connected layer)에서 추출된 특성으로부터 만들어진 최종 특징 지도를 이용하여 객체를 검출할 수 있다.

또한, SSD의 경우 다양한 크기의 형상 맵(feature map)을 이용하여 객체를 인식하여, 훈련속도나 정확도를 높이는 것이 특징이며, SSD는 하나의 입력 이미지에 대한 CNN을 실행하여 형상 맵(feature map)을 계산하는데, 합성곱 층이 진행됨에 따라 크기가 줄어든게 된다. SSD는 이 과정에서 추출된 모든 형상 맵들을 추론 과정에서 사용하여 객체를 인식하는데, 형상 맵이 다양하게 사용되어 여러 스케일의 객체를 검출한다는 특징을 갖는다.

보다 구체적으로 본 발명에서의 SSD는 바운딩박스 및 객체 분류 확률을 예측하기 위해 이 형상 맵을 3*3 크기로 CNN을 수행하며, CNN 처리 후에 바운딩박스를 예측함으로써, 다양한 스케일의 객체를 검출할 수 있다.

보다 구체적으로, SSD의 경우 바운딩박스를 활용하여, 모바일 환경에서도 사용가능할 정도로 빠른 검출 속도를 보인다는 장점이 있고, 이는 차량 탑승객을 실시간적으로 확인하여, 문제를 도출해야 하는 본원 발명에 보다 더 적합한 방식이라고 볼 수 있다.

한편, R-CNN의 경우 입력 이미지를 선별 검색(selective search)을 통해 후보 영역(Region)을 추출(extract)하여, 해당 영역에서 다시 객체 후보들을 추출하고, 이 후보들을 각각 컨볼루션 레이어에서 특징(feature)을 추출하며, 분류기(classifier)에서 분류하는 동시에 바운딩박스를 그리는 방식으로 객체를 검출할 수 있다. 이러한 방식은 전술한 CNN보다 영역을 먼저 추출하고 이후에 컨볼루션 레이어를 통과시키므로, 처리 속도가 CNN에 비해, 더 빠르다는 장점이 있다.

상술한 바와 같은 탑승 인원을 카운팅하는 단계(130)에서 탑승 인원의 촬영을 위한 카메라는 360도 카메라를 포함할 수 있는데, 360도 카메라를 사용할 경우 기존 카메라에 대비하여 넓은 시야각(frame of view, FOV)을 가지면서 수량 대비 넓은 지역을 촬영할 수 있지만, 촬영 이미지에 왜곡이 있어 기존에 공개된 데이터셋의 활용이 어렵기 때문에, 객체(즉, 차량 내 탑승 인원)의 검출 정확도를 높이기 위해 참조 프레임을 이용한 객체 검출 및 객체 트래킹을 사용할 수 있다.

그리고, 도 3 및 도 4에 도시한 바와 같이 우선 움직이는 물체가 있는지 확인하기 위해 차량 내부에 대해 사람이 없는 배경 이미지를 기준으로 배경을 삭제하여 움직이는 물체를 검출하고, 움직이는 물체가 어떤 물체인지 YOLO를 포함하는 딥러닝 기반의 객체 탐지 기법을 통해 판별하며, 인원 카운팅을 위해 객체 트래킹을 통해 같은 물체인지 확인 과정을 거친 후에, 차량의 출입문을 기준으로 승하차 인원을 카운팅할 수 있다. 여기에서, 딥러닝 기반의 객체 탐지를 통해 걷는 형태 또는 앉은 형태의 사람을 학습 모델로 하여 사람을 효과적으로 검출할 수 있다.

특히, 360도 카메라를 이용하기 때문에, 객체 탐지 정확도를 높이기 우해 학습 데이터셋으로 사람의 서있는 모습과 회전한 모습과 앉아 있는 모습을 선정하여 학습시키고, 차량 내부의 배경이 변하지 않기 때문에 사람이 없는 차량 내부 이미지를 기준으로 비디오 스트림의 각 프레임과 비교하는 배경 삭제 기법을 이용하여 움직이는 물체를 프레임마다 획득할 수 있으며, 이를 기준으로 학습시킨 딥러닝 기반 객체 탐지를 수행하고, 이를 통해 사람을 인식하여 바운딩박스를 생성한 후에, 잔여 인원 확인을 위해 출입문을 기준으로 승하차 인원을 카운팅할 수 있다.

다음에, MCU에서는 탑승 인원이 하차 인원과 동일한지 체크할 수 있다(단계140).

상기 단계(140)에서의 체크 결과, 탑승 인원과 하차 인원이 동일한 경우 MCU에서는 탑승 인원 탐지를 종료하고, 탑승 인원과 하차 인원이 동일하지 않은 경우 MCU에서는 탑승 인원과 하차 인원이 다르다는 알람 서비스를 제공할 수 있다(단계150).

여기에서, 알람 서비스는 시각적 알람 서비스(예를 들면, 네비게이션 디스플레이, 별도의 경광등 발광 등), 청각적 알람 서비스(예를 들면, 스피커 출력 등) 등을 포함할 수 있다.

상술한 바와 같은 본 발명의 실시예에 따른 카메라를 이용한 차량 내부 인원 모니터링 방법을 실제 구현한 결과에 대해 설명하면, 도 5에 도시한 바와 같이 한정된 공간 내부에 전체 인원(Total)이 3인인데, 들어온 인원(IN)이 1, 나간 인원(OUT) 0인 상태인 이미지를 입력시킨다.

이러한 입력 이미지에 대해 트레이닝 데이터셋은 4000개의 사람 이미지를 이용하고, 머리가 하능를 향하는 사람 이미지(a), 오른쪽으로 회전한 경우(즉, 시계방향으로 90도 회전한 모양)의 사람 이미지(b), 왼쪽으로 회전한 경우(즉, 반시계방향으로 90도 회전한 모양)의 사람 이미지(c), 앉은 경우의 사람 이미지(d)를 이용한 딥러닝 기반의 객체 탐지를 위해 YOLO, Darknet-53으로 학습, Batch size는 64, Subdivision은 8, Class는 1, Filters는 18의 조건으로 설정한 상태에서 사람의 형태를 학습하면서 사람을 검출하여 카운팅할 수 있다.

따라서, 본 발명은 딥러닝 기반의 카메라 비전 모니터링을 통해 차량 내부의 탑승 인원을 체크하여 알람 서비스를 제공함으로써, 차량의 안전사고를 미연에 방지할 수 있다.

또한, 본 발명은 카메라 비전 비디오 스트림이 입력될 경우 배경 삭제를 수행하고, 배경 삭제를 통해 움직이는 객체를 검출하며, 검출된 객체에 대해 딥러닝 객체 탐지 방식을 이용하여 탑승 인원 및 하차 인원을 각각 인식한 후에, 차량의 출입문을 기준으로 탑승 인원 및 하차 인원을 각각 카운팅함으로써, 차량의 탑승 인원 및 하차 인원을 효과적으로 검출하여 카운팅할 수 있다.

특히, 본 발명은 360도 카메라를 통해 입력된 카메라 비전 비디오 스트립에 대해 YOLO를 포함하는 딥러닝 객체 탐지 방식으로 객체를 검출 및 인식할 뿐만 아니라 CNN, SSD 및 R-CNN 중 적어도 어느 하나를 이용하여 객체를 효과적으로 검출 및 인식할 수 있다.

이상의 설명에서는 본 발명의 다양한 실시예들을 제시하여 설명하였으나 본 발명이 반드시 이에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능함을 쉽게 알 수 있을 것이다.

삭제

삭제

Claims (5)

1. 차량 내부 인원 모니터링 방법에 있어서,
   상기 차량 내부 인원 모니터링 방법은 차량의 탑승 인원 탐지를 위해 차량의 시동 입력 시 MCU에서 자동으로 시작되거나, 별도의 탑승 인원 탐지를 위한 기계식 버튼 또는 전자식 버튼의 입력에 대응하는 탐지 신호를 따라 MCU에서 수행될 수 있도록 하며,
   상기 MCU는 차량의 탑승 인원 탐지를 시작하는 단계와,
   상기 탑승 인원이 탑승할 경우 딥러닝 기반의 카메라 비전 방식으로 상기 탑승 인원 및 하차 인원을 카운팅하는 단계와,
   상기 탑승 인원이 상기 하차 인원과 동일한지 체크하는 단계와,
   상기 탑승 인원과 상기 하차 인원과 동일하지 않은 경우 알람 서비스를 제공하는 단계;를 포함하되,
   상기 탑승 인원을 카운팅하는 단계는,
   상기 카메라 비전 비디오 스트림이 입력될 경우 배경 삭제(background subtraction)를 수행하는 단계와,
   상기 배경 삭제를 통해 움직이는 객체를 검출하는 단계와,
   상기 검출된 객체에 대해 딥러닝 객체 탐지 방식을 이용하여 상기 탑승 인원 및 하차 인원을 각각 인식하는 단계와,
   상기 차량의 출입문을 기준으로 상기 탑승 인원 및 하차 인원을 각각 카운팅하는 단계를 포함하며,
   상기 딥러닝 객체 탐지 방식은, YOLO(You Only Look Once), CNN(Convolutional Neural Network), SSD(Single Shot Multibox Detector) 및 R-CNN(Region-based Convolutional Neural Networks) 중 적어도 어느 하나를 이용하며,
   상기 카메라는, 360도 카메라를 이용하되,
   촬영 이미지에 왜곡이 있어 기존의 이미 만들어진 학습 데이터셋의 활용이 어렵기 때문에, 차량 내 탑승 인원에 대한 객체의 검출 정확도를 높이기 위해 참조 프레임을 이용한 객체 검출 및 객체 트래킹을 사용하며,
   학습 데이터셋은 사람 이미지를 이용하고, 머리가 하늘을 향하는 사람 이미지, 오른쪽으로 회전한 경우(시계방향으로 90도 회전한 모양)의 사람 이미지, 왼쪽으로 회전한 경우(반시계방향으로 90도 회전한 모양)의 사람 이미지 및 앉은 경우의 사람 이미지를 이용한 조건으로 설정한 상태에서 사람의 형태를 학습시키며,
   상기 MCU는 차량 내부의 배경이 변하지 않기 때문에 사람이 없는 차량 내부 이미지를 기준으로 비디오 스트림의 각 프레임과 비교하는 배경 삭제 기법을 이용하여 움직이는 물체를 프레임마다 획득할 수 있으며, 프레임마다 획득된 물체를 기준으로 학습시킨 딥러닝 기반 객체 탐지를 수행하고, 객체 탐지를 통해 사람을 인식하여 바운딩박스를 생성한 후에, 잔여 인원 확인을 위해 출입문을 기준으로 승하차 인원을 카운팅하는 것을 특징으로 하는 카메라를 이용한 차량 내부 인원 모니터링 방법.
   
2. 삭제
3. 삭제
4. 삭제
5. 삭제

Images