KR102494867B1 - 머신러닝에 기반하여 블랙 스크린을 감지하는 비디오 월 시스템 및 그 동작방법 - Google Patents
머신러닝에 기반하여 블랙 스크린을 감지하는 비디오 월 시스템 및 그 동작방법 Download PDFInfo
- Publication number
- KR102494867B1 KR102494867B1 KR1020220055783A KR20220055783A KR102494867B1 KR 102494867 B1 KR102494867 B1 KR 102494867B1 KR 1020220055783 A KR1020220055783 A KR 1020220055783A KR 20220055783 A KR20220055783 A KR 20220055783A KR 102494867 B1 KR102494867 B1 KR 102494867B1
- Authority
- KR
- South Korea
- Prior art keywords
- black screen
- screen
- source
- black
- signal
- Prior art date
Links
- 238000010801 machine learning Methods 0.000 title claims abstract description 17
- 238000000034 method Methods 0.000 title claims description 17
- 238000001514 detection method Methods 0.000 claims abstract description 33
- 238000013527 convolutional neural network Methods 0.000 claims description 13
- 238000004891 communication Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 9
- 230000014509 gene expression Effects 0.000 claims description 4
- 238000011017 operating method Methods 0.000 abstract description 4
- 238000007726 management method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000000857 visual cortex Anatomy 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
- G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/4425—Monitoring of client processing errors or hardware failure
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 비디오 월 시스템 및 그 동작 방법에 관한 것이다. 본 발명에 따른 비디오 월 시스템은, 하나 이상의 디스플레이 장치를 구비하는 멀티스크린 장치, 입력받은 소스 신호로부터 생성한 영상이 멀티스크린 장치에 표시되도록 제어하는 월 컨트롤러, 블랙 스크린 이미지를 이용한 머신 러닝을 통해 학습된 블랙 스크린 감지 모델에 기초하여, 멀티스크린 장치에 표시된 화면에서 블랙 스크린 발생 여부를 감지하는 블랙 스크린 관리부를 포함한다. 본 발명에 따르면, 머신러닝을 기반으로 비디오 월 시스템의 운영 중에 블랙 스크린 발생을 자동으로 감지할 수 있다.
Description
본 발명은 비디오 월 시스템 및 그 동작 방법에 관한 것으로, 더욱 상세하게는 머신러닝에 기반하여 블랙 스크린 발생을 자동으로 감지할 수 있는 비디오 월 시스템 및 그 동작 방법에 관한 것이다.
일반적으로 비디오 월 시스템은 여러 개의 디스플레이 장치가 연속적으로 배치되어 하나의 큰 화면을 표출할 수 있는 특수한 형태의 멀티스크린 장치와 입력 소스의 영상을 멀티스크린 장치에 표출하기 위한 월 컨트롤러로 구성된다.
비디오 월 시스템은 불과 몇 년 전만 하더라도 대규모의 상황실이나 관제 센터에서 중요한 시설을 모니터링하거나 보안 유지의 목적으로 구축하는 것이 일반적이었다. 그러나, 최근에는 제어, 프레젠테이션, 협업, 정보 제공, 감동 부여 등의 다양한 용도로 사용되고 있으며, 구축하는 장소도 상황실과 관제 센터뿐 아니라 빌딩의 로비, 회의실, 체험 학습 센터, 텔레비전 스튜디오, 대형 마트, 공공장소 등으로 확대되고 있다.
이와 같이 비디오 월 시스템 시장이 빠르게 성장하면서 지금까지는 크게 이슈화되지 않았던 문제들도 표면화되고 있는데 그 중의 하나가 비디오 월 시스템에서 블랙 스크린(black screen)이 발생하는 현상이다.
비디오 월 시스템을 운용하고 있는 중에 블랙 스크린이 발생하는 빈도는 높지 않다. 그러나 긴급하거나 중요한 상황에서 블랙 스크린이 발생한다면 해당 업무에 지장을 초래할 뿐 아니라 제품의 신뢰도 나아가 회사의 이미지를 실추시킬 수 있는 사안으로 발전할 수도 있으므로 신속하게 인지하고 대처하는 것이 무엇보다 중요하다고 할 수 있다. 또한, 관리자가 24시간 실시간으로 멀티스크린 장치를 모니터링 하는 것은 사실상 불가능하므로, 블랙 스크린이 발생하더라도 즉시 이 사실을 인지하지 못하고 대처가 늦어지는 경우도 있다.
따라서, 비디오 월 시스템의 운영 중에 블랙 스크린 발생을 자동으로 감지하여 필요한 조치를 취할 수 있도록 하는 방안이 필요하다.
따라서, 본 발명의 목적은, 머신러닝을 기반으로 시스템 운영 중에 블랙 스크린의 발생을 자동으로 감지할 수 있는 비디오 월 시스템 및 그 동작 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명에 따른 비디오 월 시스템은, 하나 이상의 디스플레이 장치를 구비하는 멀티스크린 장치, 입력받은 소스 신호로부터 생성한 영상이 상기 멀티스크린 장치에 표시되도록 제어하는 월 컨트롤러, 및 블랙 스크린 이미지를 이용한 머신 러닝을 통해 학습된 블랙 스크린 감지 모델에 기초하여, 상기 멀티스크린 장치에 표시된 화면에서 블랙 스크린 발생 여부를 감지하는 블랙 스크린 관리부를 포함한다.
상기 블랙 스크린 감지 모델은 컨볼루션 신경망에 기반하여 생성한 학습 모델이며, 상기 머신러닝을 위한 학습데이터 생성을 위해, DCGAN(Deep Convolutional Generative Adversarial Network) 기반으로 데이터 셋을 생성할 수 있다.
또한, 상기 블랙 스크린 감지부는, 상기 월 컨트롤러에 설치될 수 있으며, 상기 블랙 스크린 관리부는, 상기 블랙 스크린 발생이 감지된 경우, 블랙 스크린 감지 신호를 생성하여, 미리 지정된 관리자 단말기로 전송할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명에 따른 비디오 월 시스템의 동작 방법은, 하나 이상의 디스플레이 장치를 구비하는 멀티스크린 장치와, 블랙 스크린 이미지를 이용한 머신 러닝을 통해, 상기 멀티스크린 장치에 표시된 화면에서 블랙 스크린 발생 여부를 감지할 수 있는 블랙 스크린 감지 모델을 마련하는 단계, 월 컨트롤러에서 입력받은 소스 신호로부터 생성한 영상을 상기 멀티스크린 장치에 표시하는 단계, 및 상기 블랙 스크린 감지 모델에 기초하여, 상기 멀티스크린 장치에 표시된 화면에서 블랙 스크린 발생 여부를 감지하는 단계를 포함한다.
그리고, 상기 목적을 달성하기 위하여 본 발명에서는, 상기 동작 방법을 프로세서에서 실행시키기 위한 프로그램을 기록한 프로세서로 읽을 수 있는 기록매체를 제공할 수 있다.
본 발명에 따르면, 블랙 스크린 이미지를 이용한 머신러닝을 통해 블랙 스크린 감지 모델을 생성하고, 블랙 스크린 감지 모델을 이용하여 멀티스크린 장치에 표시된 화면에서 블랙 스크린 발생 여부를 자동으로 감지할 수 있으며, 머신러닝을 위한 학습 데이터를 DCGAN(Deep Convolutional Generative Adversarial Network) 기반으로 생성할 수 있다. 또한, 블랙 스크린 발생을 감지한 경우, 미리 지정된 관리자 단말기로 블랙 스크린 발생 사실을 통보하여, 관리자가 신속한 조치를 취할 수 있도록 한다.
도 1 내지 도 3은 본 발명의 일 실시예에 따른 비디오 월 시스템의 구성을 설명하기 위한 블럭도,
도 4는 블랙 스크린에 대한 설명에 참조되는 도면,
도 5는 블랙 스크린 감지 모델의 생성 과정에 대한 설명에 제공되는 흐름도,
도 6 및 도 7은 DCGAN에 대한 설명에 참조되는 도면,
도 8 및 도 9는 DCGAN을 이용하여 생성한 블랙 스크린 이미지 데이터의 예를 나타낸 도면,
도 10은 블랙 스크린 감지 모델에 사용하는 컨볼루션 신경망에 대한 설명에 참조되는 도면, 그리고
도 11은 본 발명의 일실시예에 따른 비디오 월 시스템의 동작 방법에 대한 설명에 제공되는 흐름도이다.
도 4는 블랙 스크린에 대한 설명에 참조되는 도면,
도 5는 블랙 스크린 감지 모델의 생성 과정에 대한 설명에 제공되는 흐름도,
도 6 및 도 7은 DCGAN에 대한 설명에 참조되는 도면,
도 8 및 도 9는 DCGAN을 이용하여 생성한 블랙 스크린 이미지 데이터의 예를 나타낸 도면,
도 10은 블랙 스크린 감지 모델에 사용하는 컨볼루션 신경망에 대한 설명에 참조되는 도면, 그리고
도 11은 본 발명의 일실시예에 따른 비디오 월 시스템의 동작 방법에 대한 설명에 제공되는 흐름도이다.
본 명세서에서, 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 경우, 어떤 구성요소가 다른 구성요소에 직접적으로 연결되어 있거나 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에" 또는 "~에 이웃하는" 등과, 어떤 구성요소가 다른 구성요소로 신호를 "전송한다" 와 같은 표현도 마찬가지로 해석되어야 한다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 1 내지 도 3은 본 발명의 일실시예에 따른 비디오 월 시스템의 구성을 설명하기 위한 블럭도이다.
도 1을 참조하면, 본 비디오 월 시스템(100)은 월 컨트롤러(110) 및 멀티스크린 장치(130)를 포함할 수 있다. 비디오 월 시스템(100)은 부가적으로 디지털/아날로그 소스 장치(150), 네트워크 소스 장치(170) 및 관리자 단말기(190) 등을 더 포함할 수 있다.
이와 같은 구성요소들은 실제 응용에서 구현될 때 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다.
월 컨트롤러(110)는 HDMI(High Definition Multimedia Interface) 케이블 등과 같은 물리적인 케이블을 통해 디지털/아날로그 소스 장치(150)와 통신 가능하게 연결되며, 통신 네트워크(10)를 통해 네트워크 소스 장치(170) 및 관리자 단말기(190)와 통신 가능하게 연결된다.
통신 네트워크(10)는 이동통신망이나 인터넷 혹은 이들이 결합한 망 등과 같이, 월 컨트롤러(110), 네트워크 소스 장치(170) 및 관리자 단말기(190) 간에 통신이 가능한 모든 네트워크를 의미한다.
디지털/아날로그 소스 장치(150)는 디지털 영상 신호 및/또는 음향 신호를 생성하거나, 아날로그 영상 신호 및/또는 음향 신호를 생성할 수 있는 장치이다. 디지털/아날로그 소스 장치(150)에는 테스크탑 컴퓨터나 노트북 컴퓨터 등과 같은 컴퓨터, 및 CCTV 카메라 등이 포함된다. 또한, 디지털/아날로그 소스 장치(150)에는 IP 카메라, TV, 셋톱박스, 빔 프로젝터, RGB/DVI/Video 매트릭스 스위처(Matrix Switcher), 의료기기 모니터, 군용 항공 레이더 모니터 등과 같은 기타 디지털/아날로그 영상 기기를 포함할 수 있다.
네트워크 소스 장치(170)는 통신 네트워크(10)를 통해 영상 및/또는 음향 소스 데이터 패킷을 전송할 수 있는 장치이다. 네트워크 소스 장치(170)에는 통신 네트워크(10)를 통해 연결된 컴퓨터, IP 카메라, 및 스마트 폰 등과 같은 모바일 기기가 포함된다. 통신 네트워크(10)를 통해 연결된 컴퓨터 등에는 영상 및/또는 음향 소스 데이터 패킷을 통신 네트워크(10)를 통해 전송하기 위한 소스 송신 프로그램부가 설치된다.
월 컨트롤러(110)는 디지털/아날로그 소스 장치(150)나 네트워크 소스 장치(170)로부터 입력받은 소스 신호를 멀티스크린 장치(130)의 형식에 맞게 변환하여 멀티스크린 장치(130)로 출력할 수 있다.
멀티스크린 장치(130)는 하나 이상의 디스플레이 장치로 구성되며, 스피커를 포함할 수 있다. 멀티스크린 장치(130)는 월 컨트롤러(110)에서 출력되는 영상 신호를 표시할 수 있고, 음향 신호를 스피커를 통해 출력할 수 있다.
관리자 단말기(190)는 시스템 관리를 위한 관리자의 단말기이다. 관리자 단말기(190)에는 비디오 월 시스템(100)의 관리나 모니터링을 위한 프로그램이 설치될 수 있다. 관리자 단말기(190)에서는 멀티스크린 장치(130)에 표시되는 화면을 모니터링할 수 있으며, 월 컨트롤러(110)를 제어하여 특정 영상을 다시 표출하게 하거나, 월 컨트롤러(110)를 재부팅할 수 있다.
관리자 단말기(190)로는 일반적인 PC 외에 스마트 폰 등과 같은 모바일 기기를 이용할 수 있다. 관리자 단말기(190)가 모바일 기기인 경우, WebRTC(Web RealTime Communication) 이용하여 데이터를 송수신할 수 있다. WebRTC는 웹 브라우저나 모바일 애플리케이션에서 플러그인이 필요없이, 실시간으로 영상, 음성, 데이터 통신을 할 수 있도록 설계된 표준이다. WebRTC를 이용하여, 관리자 단말기(190)로부터 전송되는 데이터에 따라, 멀티스크린 장치(130)에 표시되는 영상 윈도우의 생성, 종료, 표시, 숨기기 및 이동 등과 이외에도 여러 가지 동작을 원격으로 제어할 수 있다.
도 2를 참조하면, 월 컨트롤러(110)에는 소소 표출 프로그램부(111), 소스 수신 프로그램부(113), 출력부(115) 및 블랙스크린 관리부(120)를 포함할 수 있다.
소소 표출 프로그램부(111)는 물리적인 케이블로 연결된 디지털/아날로그 영상소소 장치(150)로부터 입력되는 영상 및/또는 음향 데이터를 TSC, PAL, COMPOSITE, COMPONENT, HDMI, DVI 등과 같은 멀티스크린 장치(130)의 형식에 맞게 변환하여, 출력부(115)를 통해 멀티스크린 장치(130)로 전송할 수 있다. 소스 표출 프로그램부(111)는 하드웨어 캡쳐장치 등으로부터 영상을 캡쳐할 수 있으며, 캡쳐한 영상을 영상복제나 중계하는 과정 없이 직접 영상을 표출할 수 있다.
소스 수신 프로그램부(113)는 네트워크 소스 장치(170)로부터 수신된 영상 및/또는 음향 소스 데이터 패킷을 멀티스크린 장치(130)의 형식에 맞게 변환하여, 출력부(115)를 통해 멀티스크린 장치(130)로 전송할 수 있다.
소스 수신 프로그램부(113)는 데이터 패킷 수신, 영상 및 음향 데이터 파싱, 영상 및 음향 디코딩, 영상 및 음향 표출 등의 기능을 수행할 수 있다. 소스 수신 프로그램부(113)는 수신하고자 하는 네트워크 영상 및/또는 음향 소스당 하나씩 구동할 수 있다. 즉, 1:1 맵핑 방식을 사용하며, 다수의 네트워크 영상, 음향 소스를 표출할 때, 표출하고자 하는 만큼의 소스 수신 프로그램부(113)를 구동할 수 있다. 따라서, 다수의 네트워크 영상 및/또는 음향 소스를 표출하는 경우, 월 컨트롤러(110)는 여러 개의 스레드를 구동할 수 있고, 각 스레드는 영상 및/또는 음향 데이터 파싱, 영상 및/또는 음향 디코딩, 영상 및/또는 음향을 표출하는 기능을 수행할 수 있다.
출력부(115)는 그래픽 카드와 사운드 카드 등을 구비하며, 멀티스크린 장치(130)에서 표출한 영상 및/또는 음향 신호를 출력한다.
블랙 스크린 관리부(120)는 후술하는 머신러닝에 기반한 학습을 통해 멀티스크린 장치(130)에 표시된 화면에서 블랙 스크린 발생을 감지하고, 블랙 스크린의 발생을 감지한 경우, 관리자 단말기(190)로 블랙 스크린 발생을 통보할 수 있다.
이와 같은 구성에 의해, 월 컨트롤러(110)는 물리적 케이블이나 통신 네트워크(10)를 통해 영상이나 음향 소스를 입력받아 멀티스크린 장치(130)에 영상 및 음향을 표출할 수 있다.
도 3은 도 2에서 블랙 스크린 관리부의 구성을 나타낸 도면이다.
도 3을 참조하면, 블랙 스크린 관리부(120)는 이미지 수집부(121), 블랙스크린 감지부(123), 및 블랙 스크린 처리부(125)를 포함할 수 있다.
이미지 수집부(121)는 멀티스크린 장치(130)의 전체 화면의 스크린샷 이미지데이터를 수집한다. 블랙 스크린 감지부(123)에서 블랙 스크린 감지 모델이 설치되며, 이미지 수집부(121)에서 수집한 이미지 데이터를 블랙 스크린 감지 모델에 적용하여 블랙 스크린 발생을 감지하고, 블랙 스크린의 발생시, 블랙 스크린 감지 신호를 발생시킨다. 블랙 스크린 처리부(125)는 블랙 스크린 감지 신호를 관리자 단말기(190)나 기타 미리 지정된 곳으로 통보하여, 필요한 조치를 취하도록 한다.
한편, 본 발명에 따른 비디오 월 시스템(100)은, 월 컨트롤러(110)를 여러 개 연결하여 시스템을 구성할 수도 있다. 즉, 다수의 월 컨트롤러(110)를 동시에 연결하고, 소스 송신 프로그램부, 및 소스 수신 프로그램부 등을 통해 최대 출력 수를 무한 확장할 수 있다. 또한, 월 컨트롤러 간 동일한 입력 영상을 공유하여 경계면에 구분없이 표출가능하다.
도 4는 블랙 스크린에 대한 설명에 참조되는 도면이다.
도 4의 (a)는 정상적인 화면 상태를 나타낸 것이고, 도 4의 (b)가 화면의 일부에 블랙 스크린이 발생한 상태를 나타낸 것이다.
이와 같은 블랙 스크린의 발생 원인은 다양하다. 예컨대, 실시간 스트리밍 프로토콜(RTSP)과 관련된 오류 등의 소프트웨어적인 문제일 수도 있고, 디스플레이의 렌더링 오류나 케이블 불량 등의 하드웨어적인 문제일 수도 있다. 또한, 단순히 네트워크의 문제일 가능성도 있다.
블랙 스크린이 발생하면, 월 컨트롤러(110)는 오류가 발생한 영상을 다시 표출한다거나 하드웨어적인 이슈인 경우 월 컨트롤러(110)를 재부팅 하는 등 관리자의 개입이 불가피하다. 그런데, 관리자가 24시간 실시간으로 멀티스크린 장치(130)를 모니터링 하는 것은 사실상 불가능하므로 블랙 스크린이 발생하더라도 즉시 이 사실을 인지하지 못하고 대처가 늦어지는 경우도 있다.
따라서, 본 발명에서는 머신러닝을 통해 학습된 블랙 스크린 감지 모델을 이용하여 블랙 스크린 발생을 자동으로 감지하여, 필요한 조치를 취하도록 한다.
도 5는 블랙 스크린 발생을 자동으로 감지할 수 있는 블랙 스크린 감지 모델 생성 과정에 대한 설명에 제공되는 흐름도이고, 도 6 및 도 7은 DCGAN에 대한 설명에 참조되는 도면이다.
도 5를 참조하면, 먼저, 블랙 스크린 이미지 데이터를 수집한다(S200). 블랙 스크린 감지 모델의 훈련에 사용하는 이미지 데이터는 정상적인 이미지와 블랙 스크린이 발생한 이미지이다.
정상적인 이미지는 비디오 월 시스템(100)의 운용 중에 수집할 수 있다. 블랙 스크린이 발생한 이미지는, 멀티스크린 장치(130)에 표출중인 영상에서 오류가 발생하도록 월 컨트롤러(110)를 제어하여 블랙 스크린을 인위적으로 표출하여 수집할 수 있다.
다음으로 DCGAN 훈련을 통해(S210), 블랙 스크린 이미지를 추가로 생성한다(S220).
비디오 월 시스템(100)의 운용 중에 블랙 스크린이 발생하는 빈도가 낮기 때문에 블랙 스크린이 발생한 이미지는, 인위적으로 수집한 소량의 이미지 데이터로 심층 합성곱 생성적 적대적 신경망인 DCGAN(Deep Convolutional Generative Adversarial Network)을 훈련하여, 추가적인 데이터셋을 생성한다.
생성적 적대 신경망인 GAN(Generative Adversarial Network)은 생성자와 판별자 두 개의 신경망으로 구성된 심층 신경망으로, 이 두 개의 신경망이 서로를 향하게 하고, 서로 대항하듯이 훈련하게 함으로써, 결과적으로 생성 모델을 만들어 낸다. GAN은 비교적 적은 데이터를 가지고도 기존의 데이터와 유사한 새로운 데이터를 생성할 수 있다.
DCGAN은 GAN의 단점인 수렴이 불안정한 문제와 성능 문제를 개선하기 위하여 제안된 기법으로, GAN과 전체적인 구조는 거의 유사하고, 생성자와 판별자의 내부 구조가 다른 특징이 있다. 즉, 생성자와 판별자 레이어를 컨볼루션 신경망(Convolutional Neural Network, CNN)으로 변경하고, 생성자와 판별자에서 모두 배치 정규화를 사용하여 불안정한 수렴과 생성 모델의 정확도를 개선한 것이다.
DCGAN의 판별자(discriminator)는 블랙 스크린이 발생한 이미지가 실제로 수집한 이미지인지 생성자가 만들어낸 합성 이미지인지를 구분하도록 훈련되며, 아키텍처는 도 6에 나타낸 바와 같다. 그리고, DCGAN의 생성자(generator)는 판별자가 구분하기 힘든 수준의 블랙 스크린이 발생한 이미지를 생성하도록 훈련되며, 그 아키텍처는 도 7에 나타낸 바와 같다.
다음으로 블랙 스크린 이미지 데이터를 이용하여 머신러닝을 수행한다(S230). 머신러닝(machine learning) 또는 기계 학습은 인공 지능의 한 분야로, 컴퓨터에 미리 준비된 학습 데이터를 훈련시켜, 훈련된 지식을 기반으로 새로운 입력에 대하여 적절한 답을 찾고자 하는 일련의 과정이라 할 수 있다. 이때, 컴퓨터를 훈련시키는 학습 데이터가 질문(training input)과 정답(training output)이 모두 주어진 경우, 레이블링(labeling) 되어 있다고 한다.
그리고, 머신러닝 학습을 통해 블랙 스크린을 자동으로 감지할 수 있는 블랙 스크린 감지 모델을 생성한다(S240). 블랙 스크린 감지 모델은 이미지 데이터 처리에 적합한 구조를 가지고 있는 컨볼루션 신경망을 이용할 수 있다.
이와 같은 과정에 의해, 블랙 스크린 감지 모델을 생성할 수 있다.
도 9 및 도 10은 DCGAN을 이용하여 생성한 블랙 스크린 이미지 데이터의 예를 나타낸 것이다.
이와 같은 데이터의 생성을 위해, 월 컨트롤러(110)에서 수집한 이미지 데이터를 64 x 64 크기로 리사이징하고, [-1, 1]의 범위로 스케일링 하고, 그 외의 이미지 전처리는 수행하지 않으며, DCGAN은 배치의 크기를 256으로 설정하고 미니 배치 SGD(Mini-batch Stochastic Gradient Descent)으로 훈련할 수 있다. 또한, 모든 파라미터는 랜덤으로 초기화하고, 활성화 함수는 LeakyReLU을 사용하며, 파라미터는 0.2로 설정할 수 있다. 최적화 알고리즘은 Adam optimizer를 사용할 수 있으며, 학습률(learning rate)은 0.0002, β1은 0.5로 설정할 수 있다.
도 9는 20 epoch 후에 생성한 생성한 이미지이고, 도 10은 200 epoch 후에 생성한 이미지를 나타낸다. 도 9의 경우 어렴풋한 형태이긴 하지만 블랙 영역을 생성하고 있으며, 도 10의 경우 블랙 영역이 더 또렷해지고 사각형에 가까운 모양을 띄고 있다. 블랙 스크린이 발생한 이미지는 사각형 모양의 영역이 블랙으로 표시된 이미지인데 DCGAN은 이러한 특징을 학습하여 훈련 데이터셋과 유사한 이미지를 생성할 수 있다.
도 10은 블랙 스크린 감지 모델에 사용하는 컨볼루션 신경망 구조를 나타낸 것이다.
컨볼루션 신경망은 딥러닝 분야에서 이미지 데이터 분석에 일반적으로 이용되고 있는 심층 신경망이다. 1959년 David Hubel과 Torsten Wiesel은 인간의 시각 피질(visual cortex)에 있는 단순 세포(simple cells)와 복잡 세포(complex sells)가 패턴 인식에 이용 된다고 제시하였으며 두 세포를 활용한 모델을 패턴 인식 작업에 이용하였다. 1980년에 Kunihiko Fukushima는 이들의 연구에서 영감을 얻어 neocognitron 모델을 제안하였는데, 이 모델은 컨볼루션 신경망의 기본이 되는 레이어인 컨볼루션 레이어와 다운샘플링 레이어를 사용하고 있다.
Yann LeCun 등은 계층에 따라 단순한 패턴과 복잡한 패턴을 학습하는 구조의 컨볼루션 신경망이 손으로 쓴 숫자 인식에 성공적으로 이용될 수 있다는 것을 제시하였다. 2012년 Alex Krizhevsky 등이 제안한 컨볼루션 신경망 기반의 AlexNet이 ImageNet에 있는 이미지에 레이블을 부여하는 작업에서 최첨단의 성능을 과시하며 컨볼루션 신경망의 인지도는 더욱 높아졌고, 현재 이미지나 비디오 인식, 추천 시스템, 이미지 분류, 이미지 영역 분할(image segmentation), 의학 영상 분석, 자연 언어 처리, brain-computer 인터페이스, 시계열 데이터 분석 등의 다양한 분야에서 활용되고 있다.
도 10을 참조하면, 입력으로 주어지는 이미지의 크기는 64 x 64이다. feature 추출부는 컨볼루션 레이어와 풀링 레이어(pooling layer)로 구성하고, 컨볼루션 레이어의 활성화 함수는 ReLU(Rectified Linear Unit)을 사용한다. 분류부는 완전연결 레이어(Fully connected Layer)를 사용하고, 출력 레이어의 활성화 함수는 소프트맥스 함수를 사용하여 정상과 블랙 스크린 발생에 대한 확률을 출력한다. 또한 오버피팅(overfitting) 방지를 위해 드롭아웃(dropout)을 사용한다.
정확도를 더 높이기 위해, 준지도학습(Semi-Supervised Learning)과 GAN을 접목한 Semi-supervised GAN(SGAN)을 이용하거나 파라미터를 튜닝하며 블랙 스크린 감지 모델의 성능을 개선할 수도 있다.
도 11은 본 발명의 일실시예에 비디오 월 시스템의 동작 방법에 대한 설명에 제공되는 흐름도이다.
도 11을 참조하면, 전술한 과정에 의해 생성한 블랙 스크린 감지 모델을 생성하여 블랙 스크린 관리부(120)에 설치한다(S300).
다음으로 월 컨트롤러(110)는 입력받은 소스 신호를 멀티스크린 장치(130)에서 출력가능하도록 변환하여, 미리 설정된 화면 구성으로 멀티스크린 장치(130)에 영상을 표시한다(S310).
블랙 스크린 관리부(120)는 멀티스크린 장치(130)에 표시된 화면에서 블랙 스크린 발생 여부를 감지하고, 블랙 스크린 발생을 감지한 경우(S320), 블랙 스크린 감지 신호를 생성하여(S330), 미리 지정된 관리자 단말기(190)로 블랙 스크린 감지 신호를 전송한다(S340).
관리자 단말기(190)에서는 멀티스크린 장치(130)의 화면을 모니터링할 수 있으며, 월 컨트롤러(110)를 제어하여 오류가 발생한 영상을 다시 표출하게 하거나, 월 컨트롤러(110)를 재부팅하여, 필요한 조치를 취할 수 있다.
이와 같은 과정에 의해, 멀티스크린 장치(130)에 표시된 영상에서 블랙 스크린 발생을 감지하고, 블랙 스크린 발생이 감지된 경우, 관리자 단말기로 통보하여 조치를 취하도록 할 수 있다.
한편, 본 발명에 따른 비디오 월 시스템 및 그 동작 방법은 상기한 바와 같이 설명된 실시예들의 구성에 한정되게 적용될 수 있는 것이 아니라, 상기한 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
또한, 본 발명은 프로그램 가능한 컴퓨터상에서 컴퓨터 프로그램으로 구현 가능하다. 이러한 컴퓨터는 프로세서, 저장장치, 입력장치, 출력 장치를 포함할 수 있다. 본 발명에서 설명한 내용을 구현하기 위해 프로그램 코드는 마우스 또는 키보드 입력장치로 입력될 수 있다. 이러한 프로그램들은 고차원적인 언어나, 객체지향적인 언어로 구현될 수 있다. 또한 어셈블리나 기계어 코드로 구현된 컴퓨터 시스템으로도 구현될 수 있다.
본 발명은 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것도 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 광 데이터 저장장치 등이 있다. 또한 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
110 : 월 컨트롤러 130 : 멀티스크린 장치
150 : 디지털/아날로그 소스 장치 170 : 네트워크 소스 장치
190 : 관리자 단말기
150 : 디지털/아날로그 소스 장치 170 : 네트워크 소스 장치
190 : 관리자 단말기
Claims (10)
- 하나 이상의 디스플레이 장치를 구비하는 멀티스크린 장치;
통신 네트워크를 통해 네트워크 소스 장치로부터 소스 데이터 패킷을 수신하여 상기 멀티스크린 장치에서 출력가능한 신호로 변환하는 소스 수신 프로그램부와, 물리적인 케이블을 통해 디지털/아날로그 소스 장치로부터 디지털 소스 신호나 아날로그 소스 신호를 수신하여 상기 멀티스크린 장치에서 출력가능한 신호로 변환하는 소스 표출 프로그램부가 탑재되며,
상기 소스 수신 프로그램부나 상기 소스 표출 프로그램부에서 변환한 신호로부터 생성한 영상이 상기 멀티스크린 장치에 표시되도록 제어하는 월 컨트롤러; 및
DCGAN(Deep Convolutional Generative Adversarial Network) 기반으로 학습데이터로 사용할 블랙 스크린 이미지를 생성하고, 상기 생성한 블랙 스크린 이미지를 이용한 컨볼루션 신경망에 기반한 머신 러닝을 통해 학습된 블랙 스크린 감지 모델에 기초하여, 상기 멀티스크린 장치에 표시된 화면에서 블랙 스크린 발생 여부를 감지하고, 상기 블랙 스크린 발생이 감지된 경우, 블랙 스크린 감지 신호를 생성하여, 미리 지정된 관리자 단말기로 전송하는 블랙 스크린 감지부;를 포함하는 비디오 월 시스템. - 삭제
- 삭제
- 제1항에 있어서,
상기 블랙 스크린 감지부는, 상기 월 컨트롤러에 설치되는 것을 특징으로 하는 비디오 월 시스템. - 삭제
- DCGAN(Deep Convolutional Generative Adversarial Network) 기반으로 학습데이터로 사용할 블랙 스크린 이미지를 생성하고, 상기 생성한 블랙 스크린 이미지를 이용한 컨볼루션 신경망에 기반한 머신 러닝을 통해 블랙 스크린 감지 모델을 생성하는 단계;
월 컨트롤러에 탑재된 소스 수신 프로그램부에서 통신 네트워크를 통해 네트워크 소스 장치로부터 소스 데이터 패킷을 수신하여 하나 이상의 디스플레이 장치를 구비하는 멀티스크린 장치에서 출력가능한 신호로 변환하는 단계;
상기 월 컨트롤러에 탑재된 소스 표출 프로그램부에서 물리적인 케이블을 통해 디지털/아날로그 소스 장치로부터 디지털 소스 신호나 아날로그 소스 신호를 수신하여 상기 멀티스크린 장치에서 출력가능한 신호로 변환하는 단계;
상기 월 컨트롤러에서 상기 소스 수신 프로그램부나 상기 소스 표출 프로그램부에서 변환한 신호로부터 생성한 영상이 상기 멀티스크린 장치에 표시되도록 제어하는 단계; 및
블랙 스크린 감지부에서 상기 블랙 스크린 감지 모델에 기초하여, 상기 멀티스크린 장치에 표시된 화면에서 블랙 스크린 발생 여부를 감지하고, 상기 블랙 스크린 발생이 감지된 경우, 블랙 스크린 감지 신호를 생성하여, 미리 지정된 관리자 단말기로 전송하는 단계를 포함하는 비디오 월 시스템의 동작 방법. - 삭제
- 삭제
- 삭제
- 제6항의 동작 방법을 프로세서에서 실행시키기 위한 프로그램을 기록한 프로세서가 읽을 수 있는 기록매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220055783A KR102494867B1 (ko) | 2022-05-05 | 2022-05-05 | 머신러닝에 기반하여 블랙 스크린을 감지하는 비디오 월 시스템 및 그 동작방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220055783A KR102494867B1 (ko) | 2022-05-05 | 2022-05-05 | 머신러닝에 기반하여 블랙 스크린을 감지하는 비디오 월 시스템 및 그 동작방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR102494867B1 true KR102494867B1 (ko) | 2023-02-06 |
| KR102494867B9 KR102494867B9 (ko) | 2023-06-15 |
Family
ID=85224217
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220055783A KR102494867B1 (ko) | 2022-05-05 | 2022-05-05 | 머신러닝에 기반하여 블랙 스크린을 감지하는 비디오 월 시스템 및 그 동작방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102494867B1 (ko) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160090583A (ko) * | 2015-01-22 | 2016-08-01 | 삼성전자주식회사 | 디스플레이 장치, 제어 장치 및 그 동작 방법 |
| KR20200004824A (ko) * | 2018-07-02 | 2020-01-14 | 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 | 디스플레이 스크린 품질 검출 방법, 장치, 전자기기 및 저장매체 |
| KR20200098157A (ko) * | 2019-02-12 | 2020-08-20 | 삼성전자주식회사 | 대형 디스플레이에 발생한 결함을 감지하기 위한 디스플레이 시스템 |
-
2022
- 2022-05-05 KR KR1020220055783A patent/KR102494867B1/ko active IP Right Review Request
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160090583A (ko) * | 2015-01-22 | 2016-08-01 | 삼성전자주식회사 | 디스플레이 장치, 제어 장치 및 그 동작 방법 |
| KR20200004824A (ko) * | 2018-07-02 | 2020-01-14 | 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 | 디스플레이 스크린 품질 검출 방법, 장치, 전자기기 및 저장매체 |
| KR20200098157A (ko) * | 2019-02-12 | 2020-08-20 | 삼성전자주식회사 | 대형 디스플레이에 발생한 결함을 감지하기 위한 디스플레이 시스템 |
Non-Patent Citations (1)
| Title |
|---|
| 김현호 외 1명, "Deep Convolution Neural Networks 이용하여 결함 검출을 위한 결함이 있는 철도선로표면 디지털영상 재 생성", J. Internet Comput. Serv. ISSN 2287-1136, 2020.12.* * |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102494867B9 (ko) | 2023-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11967151B2 (en) | Video classification method and apparatus, model training method and apparatus, device, and storage medium | |
| US11983909B2 (en) | Responding to machine learning requests from multiple clients | |
| US20220053071A1 (en) | Preprocessing sensor data for machine learning | |
| EP3420544B1 (en) | A method and apparatus for conducting surveillance | |
| AU2019374741A1 (en) | Method and system for displaying video streams | |
| US20070247525A1 (en) | Video Flashlight/Vision Alert | |
| US20190129823A1 (en) | Analyzing screenshots to detect application issues | |
| US11610388B2 (en) | Method and apparatus for detecting wearing of safety helmet, device and storage medium | |
| JP2020014194A (ja) | コンピュータシステム、リソース割り当て方法およびその画像識別方法 | |
| Rehman et al. | Internet‐of‐Things‐Based Suspicious Activity Recognition Using Multimodalities of Computer Vision for Smart City Security | |
| KR102465588B1 (ko) | 머신러닝에 기반하여 레이아웃 정보를 생성하는 비디오 월 시스템 및 그 동작 방법 | |
| KR102494867B1 (ko) | 머신러닝에 기반하여 블랙 스크린을 감지하는 비디오 월 시스템 및 그 동작방법 | |
| CN116723295A (zh) | 基于gpgpu芯片的多摄像头监控管理*** | |
| CN111083443A (zh) | 一种基于深度学习的监控中心辅助***及方法 | |
| Di Caterina et al. | An embedded smart surveillance system for target tracking using a PTZ camera | |
| CN113891036A (zh) | 自适应高分辨率低功耗视觉***与方法 | |
| CN117196957B (zh) | 基于人工智能的图像分辨率转换方法及装置 | |
| KR102644648B1 (ko) | 교통표지 모니터링 방법 및 시스템 | |
| KR102608625B1 (ko) | 효율적 운영이 가능한 딥러닝 기반 영상 감시 장치 및 방법 | |
| TWI784718B (zh) | 廠區告警事件處理方法與系統 | |
| US11893980B2 (en) | Electronic apparatus and control method thereof | |
| KR102201241B1 (ko) | 다채널 비디오 스트림을 실시간으로 데이터 처리하는 적응형 개체 인식 장치 및 방법 | |
| US20220405140A1 (en) | Security system and control method thereof | |
| US20220334788A1 (en) | Electronic apparatus and control method thereof | |
| KR20090128874A (ko) | 아이피티비셋탑박스를 이용한 네트워크 카메라 감시시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| J202 | Request for trial for correction [limitation] | ||
| J301 | Trial decision |
Free format text: TRIAL NUMBER: 2023105000042; TRIAL DECISION FOR CORRECTION REQUESTED 20230414 Effective date: 20230510 |