KR101932844B1 - 영상 통화 장치, 영상 통화 방법 및 영상 통화 중개 방법 - Google Patents
영상 통화 장치, 영상 통화 방법 및 영상 통화 중개 방법 Download PDFInfo
- Publication number
- KR101932844B1 KR101932844B1 KR1020170048893A KR20170048893A KR101932844B1 KR 101932844 B1 KR101932844 B1 KR 101932844B1 KR 1020170048893 A KR1020170048893 A KR 1020170048893A KR 20170048893 A KR20170048893 A KR 20170048893A KR 101932844 B1 KR101932844 B1 KR 101932844B1
- Authority
- KR
- South Korea
- Prior art keywords
- terminal
- user
- sound
- image
- video
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000004519 manufacturing process Methods 0.000 title 1
- 238000004891 communication Methods 0.000 claims abstract description 204
- 238000007689 inspection Methods 0.000 claims abstract description 27
- 230000000903 blocking effect Effects 0.000 claims abstract description 16
- 238000010801 machine learning Methods 0.000 claims description 56
- 230000001568 sexual effect Effects 0.000 claims description 17
- 230000001186 cumulative effect Effects 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 10
- 230000008921 facial expression Effects 0.000 claims description 5
- 230000001939 inductive effect Effects 0.000 claims description 5
- 206010034912 Phobia Diseases 0.000 claims description 4
- 230000006399 behavior Effects 0.000 claims description 4
- 230000002950 deficient Effects 0.000 claims description 4
- 239000003814 drug Substances 0.000 claims description 4
- 229940079593 drug Drugs 0.000 claims description 4
- 230000001788 irregular Effects 0.000 claims description 4
- 208000019899 phobic disease Diseases 0.000 claims description 4
- 239000008280 blood Substances 0.000 claims description 3
- 210000004369 blood Anatomy 0.000 claims description 3
- 210000004392 genitalia Anatomy 0.000 claims description 3
- 230000008569 process Effects 0.000 description 19
- 230000005540 biological transmission Effects 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000029142 excretion Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 206010002820 Antisocial behaviour Diseases 0.000 description 2
- 208000024823 antisocial personality disease Diseases 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 210000003608 fece Anatomy 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 206010013975 Dyspnoeas Diseases 0.000 description 1
- 238000003287 bathing Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 210000004916 vomit Anatomy 0.000 description 1
- 230000008673 vomiting Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G06N99/005—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/454—Content or additional data filtering, e.g. blocking advertisements
- H04N21/4542—Blocking scenes or portions of the received content, e.g. censoring scenes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/152—Multipoint control units therefor
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Databases & Information Systems (AREA)
- Telephonic Communication Services (AREA)
Abstract
기재된 실시예는 상대방과 영상 통화 중인 사용자가 상대방으로부터의 부적절한 영상 또는 소리에 노출되는 것을 방지할 수 있는 영상 통화 장치, 영상 통화 방법, 및 영상 통화 중개 방법에 관한 것으로서, 제1단말과의 제1 영상 통화 세션을 수립하는 단계, 제1 영상 통화 세션을 통해 제1단말로부터 영상 또는 소리를 연속적으로 수신하는 단계, 수신된 영상 또는 소리 중에서 최근의 특정한 시간 이내에 수신된 영상 또는 소리의 적어도 일부를 검사하는 단계, 및 검사 결과에 따라 수신된 영상 또는 소리 중에서 적어도 일부의 출력을 차단하거나 제1단말의 사용자를 불량 사용자로서 제1서버에 신고하는 단계를 포함하는 영상 통화 방법이 제공될 수 있다.
Description
기재된 실시예는 상대방과 영상 통화 중인 사용자가 상대방으로부터의 부적절한 영상 또는 소리에 노출되는 것을 방지할 수 있는 영상 통화 장치, 영상 통화 방법, 및 영상 통화 중개 방법에 관한 것이다.
통신 기술이 발전되고 전자 장치가 소형화됨에 따라 개인용 단말이 일반 소비자에게 널리 보급되고 있다. 특히 최근에는 스마트폰 또는 스마트 태블릿과 같은 휴대용 개인 단말이 널리 보급되고 있다. 상기 단말의 대부분은 통신 기능을 포함하고 있다. 사용자는 단말을 이용하여 인터넷에서 검색을 수행하거나 다른 사용자와 메시지를 주고받을 수 있다.
또한, 소형 카메라 기술, 소형 마이크 기술, 소형 디스플레이 기술 및 소형 스피커 기술의 발전에 따라 스마트폰과 같은 대부분의 단말에는 카메라, 마이크, 디스플레이 및 스피커가 포함되어 있다. 사용자는 단말을 이용하여 음성을 녹음하거나 음성이 포함된 동영상을 촬영할 수 있다. 사용자는 단말에 포함된 스피커를 통해 상기 녹음된 음성을 확인하거나 디스플레이를 통해 상기 촬영된 동영상을 확인할 수 있다.
또한, 사용자는 단말의 통신 기능을 이용하여 상기 녹음된 음성 또는 상기 촬영된 동영상을 다른 사용자와 공유할 수 있다. 사용자는 이전에 녹음된 음성 또는 이전에 촬영된 동영상을 다른 사용자에게 전송할 수 있다. 또한, 사용자는 단말에 의해 현재 녹음되고 있는 음성 또는 현재 촬영되고 있는 동영상을 실시간으로 다른 사용자에게 전송할 수 있다.
또한, 동시에, 상기 다른 사용자는 자신의 단말에 의해 현재 녹음되고 있는 음성 또는 현재 촬영되고 있는 동영상을 실시간으로 상기 사용자에게 전송할 수 있다. 사용자의 단말에 포함된 디스플레이는 사용자의 단말에 의해 현재 촬영되고 있는 동영상 및 다른 사용자의 단말에 의해 현재 촬영되고 있는 동영상을 동시에 표시할 수 있다. 또한, 사용자의 단말에 포함된 스피커는 다른 사용자의 단말에 의해 현재 녹음되고 있는 음성을 동시에 재생할 수 있다. 다시 말해서, 사용자 및 다른 사용자는 각자의 단말을 이용하여 서로 영상 통화(video call)를 할 수 있다.
상기 사용자 및 다른 사용자는 서로 이미 아는 관계일 수도 있고, 서로 모르는 관계일 수도 있다. 상기 사용자의 단말 및 상기 다른 사용자의 단말을 포함한 복수의 단말은 서버에 연결될 수 있다. 서버는 상기 사용자의 단말 및 상기 다른 사용자의 단말 사이를 중개할 수 있다. 따라서, 상기 사용자 및 다른 사용자는 서로 모르는 관계였다고 하더라도 서버의 중개를 통해 서로 영상 통화를 할 수 있다.
사용자가 상대방과 서로 영상 통화를 하는 도중에, 사용자는 상대방으로부터의 부적절한 영상 또는 소리에 노출될 수 있다. 특히, 사용자가 서로 모르는 관계에 있는 상대방과 영상 통화를 하는 도중에, 사용자가 상대방으로부터의 음란한 영상에 노출될 가능성이 높을 수 있다.
예를 들어, 상대방의 단말에 의해 촬영된 상대방의 벌거벗은 신체의 영상이 영상 통화 세션을 통해 사용자의 단말에 수신될 수 있다. 사용자의 단말이 상기 수신된 영상을 표시함으로써 사용자는 음란한 영상에 노출될 수 있다. 사용자가 자신이 원하지 않는 음란한 영상에 노출된 경우 사용자는 성적 수치심 또는 불쾌함을 느낄 수 있다.
기재된 실시예에 따르면 영상 통화 중인 사용자가 상대방으로부터의 부적절한 영상 또는 소리에 노출되는 것을 방지할 수 있는 영상 통화 장치, 영상 통화 방법 및 영상 통화 중개 방법이 제공될 수 있다.
또한, 영상 통화 중인 사용자가 상대방에게 부적절한 영상 또는 소리를 전송하는 것을 방지할 수 있는 영상 통화 장치, 영상 통화 방법 및 영상 통화 중개 방법이 제공될 수 있다.
또한, 영상 통화 중인 사용자가 상대방으로부터의 영상 또는 소리에 의해 느낄 수 있는 성적 수치심 또는 불쾌함을 방지할 수 있는 영상 통화 장치, 영상 통화 방법 및 영상 통화 중개 방법이 제공될 수 있다.
또한, 사용자 간의 건전한 영상 통화를 유도할 수 있는 영상 통화 장치, 영상 통화 방법 및 영상 통화 중개 방법이 제공될 수 있다.
실시예에 따른 영상 통화 방법은, 제1단말과의 제1 영상 통화 세션을 수립하는 단계, 상기 제1 영상 통화 세션을 통해 상기 제1단말로부터 영상 또는 소리를 연속적으로 수신하는 단계, 상기 수신된 영상 또는 소리 중에서 최근의 특정한 시간 이내에 수신된 영상 또는 소리의 적어도 일부를 검사하는 단계, 및 상기 검사 결과에 따라, 상기 수신된 영상 또는 소리 중에서 적어도 일부의 출력을 차단하거나 상기 제1단말의 사용자를 불량(abusive) 사용자로서 제1서버에 신고하는 단계를 포함할 수 있다.
또한, 상기 검사하는 단계는, 상기 최근의 특정한 시간 이내에 수신된 영상 또는 소리의 상기 적어도 일부로부터 특정한 부분을 검출하는 단계를 포함할 수 있다.
또한, 상기 특정한 부분을 검출하는 단계는, 상기 최근의 특정한 시간 이내에 수신된 영상의 상기 적어도 일부로부터 특정한 표정, 보디랭귀지, 또는 신체 부위에 대응하는 부분을 검출하는 단계를 포함할 수 있다.
또한, 상기 특정한 표정, 보디랭귀지, 또는 신체 부위에 대응하는 상기 부분을 검출하는 단계는, 상기 최근의 특정한 시간 이내에 수신된 영상의 상기 적어도 일부로부터 욕 제스처, 모욕 제스처, 인종차별 제스처, 성적 컨텐츠, 알몸 노출(nudity), 성기, 성행위, 비위생적 컨텐츠, 배설물, 배설 행위, 반사회적 컨텐츠, 반인륜적 컨텐츠, 불법 행위, 범죄 행위, 증오범죄(hate crime), 폭력 행위, 학대 행위, 자해 행위, 무기, 마약, 반사회적 심볼, 혐오성(hateful) 컨텐츠, 위협성 컨텐츠, 공포증 유발(phobia-inducing) 컨텐츠, 또는 혈액 중에서 적어도 하나 이상에 대응하는 부분을 검출하는 단계를 포함할 수 있다.
또한, 상기 검사하는 단계는, 상기 최근의 특정한 시간 이내에 수신된 소리의 상기 적어도 일부로부터 특정한 음성 또는 언어에 대응하는 부분을 검출하는 단계를 포함할 수 있다.
또한, 상기 특정한 음성 또는 언어에 대응하는 상기 부분을 검출하는 단계는, 상기 최근의 특정한 시간 이내에 수신된 소리의 상기 적어도 일부로부터 욕설, 모욕, 인종차별, 명예훼손, 외설, 성희롱, 반사회적 행위, 반인륜적 행위, 테러, 증오언설(hate speech), 폭력, 학대, 마약, 위협 중에서 적어도 하나 이상에 관련된 언어에 대응하는 부분을 검출하는 단계를 포함할 수 있다.
또한, 상기 영상 통화 방법은, 상기 검사하는 단계 이후 및 상기 차단하거나 신고하는 단계 이전에, 상기 검사하는 단계를 적어도 한 번 이상 반복하는 단계를 더 포함하고, 상기 차단하거나 신고하는 단계는, 상기 제1 영상 통화 세션이 수립된 이후에 상기 특정한 부분이 검출된 누적 횟수가 제1횟수 이상이거나 또는 상기 특정한 부분이 연속으로 검출된 횟수가 제2횟수 이상인 경우, 상기 수신된 영상 또는 소리 중에서 상기 적어도 일부의 출력을 차단하거나 상기 제1단말의 사용자를 신고하는 단계를 포함할 수 있다.
또한, 상기 영상 통화 방법은, 상기 검사하는 단계 내지 상기 차단하거나 신고하는 단계를 일정하거나 일정하지 않은 주기마다 반복하는 단계를 더 포함할 수 있다.
또한, 상기 영상 통화 방법은, 상기 수신하는 단계 이후에, 상기 수신된 영상 또는 소리를 연속적으로 출력하는 단계를 더 포함할 수 있다.
또한, 상기 영상 통화 방법은, 상기 제1 영상 통화 세션을 수립하는 단계 이전에, 임의의 사용자의 영상 또는 소리에 포함된 적어도 하나 이상의 특징점(feature) 및 상기 임의의 사용자가 불량 사용자인지 여부 사이의 상관관계에 대한 정보를 준비하는 단계를 더 포함하고, 상기 검사하는 단계는, 상기 준비된 상관관계에 대한 정보 및 상기 최근의 특정한 시간 이내에 수신된 영상 또는 소리의 상기 적어도 일부를 이용하여 상기 제1단말의 사용자가 불량 사용자인지 여부를 산출하는 단계를 포함할 수 있다.
또한, 상기 상관관계에 대한 정보를 준비하는 단계는, 상기 상관관계에 대응하는 기계학습 모델을 준비하는 단계를 포함하고, 상기 검사하는 단계는, 상기 준비된 기계학습 모델 및 상기 최근의 특정한 시간 이내에 수신된 영상 또는 소리의 상기 적어도 일부를 이용하여 상기 제1단말의 사용자가 불량 사용자인지 여부를 예측하는(predict) 단계를 포함할 수 있다.
또한, 상기 기계학습 모델을 준비하는 단계는, 제2서버로부터 상기 기계학습 모델을 수신하는 단계를 포함할 수 있다.
또한, 상기 기계학습 모델을 준비하는 단계는, 정상 사용자 또는 불량 사용자에 대응하는 적어도 하나 이상의 영상 또는 소리를 준비하는 단계, 및 상기 적어도 하나 이상의 영상 또는 소리, 및 각각의 상기 적어도 하나 이상의 영상 또는 소리가 불량 사용자에 대응하는지 여부에 대한 정보를 이용하여 상기 기계학습 모델을 학습시키는(train) 단계를 포함할 수 있다.
또한, 상기 적어도 하나 이상의 영상 또는 소리를 준비하는 단계는, 적어도 하나 이상의 정상 사용자의 단말 또는 적어도 하나 이상의 불량 사용자의 단말과의 적어도 하나 이상의 제2 영상 통화 세션을 수립하는 단계, 및 상기 적어도 하나 이상의 제2 영상 통화 세션을 통해 전송되거나 수신된 영상 또는 소리 중에서 적어도 일부를 수집하는 단계를 포함할 수 있다.
다른 실시예에 따른 영상 통화 방법은, 제1단말이 제2단말과의 영상 통화 세션을 수립하는 단계, 상기 제1단말이 상기 제1단말의 주변의 영상을 연속적으로 촬영하거나 상기 주변에서 나는 소리를 연속적으로 녹음하는 단계, 상기 제1단말이 상기 촬영된 영상 또는 상기 녹음된 소리 중에서 최근의 특정한 시간 이내에 촬영된 영상 또는 녹음된 소리의 적어도 일부를 검사하는 단계, 및 상기 검사 결과에 따라, 상기 제1단말이 상기 촬영된 영상 또는 상기 녹음된 소리 중에서 적어도 일부의 상기 영상 통화 세션을 통한 전송을 차단하거나 상기 제1단말의 사용자를 불량 사용자로서 제1서버에 신고하는 단계를 포함할 수 있다.
또한, 상기 영상 통화 방법은, 상기 검사하는 단계 이후 및 상기 차단하거나 신고하는 단계 이전에, 상기 제1단말이 상기 검사하는 단계를 적어도 한 번 이상 반복하는 단계를 더 포함하고, 상기 검사하는 단계는, 상기 제1단말이 상기 최근의 특정한 시간 이내에 촬영된 영상 또는 녹음된 소리의 상기 적어도 일부로부터 특정한 부분을 검출하는 단계를 포함하고, 상기 차단하거나 신고하는 단계는, 상기 영상 통화 세션이 수립된 이후에 상기 특정한 부분이 검출된 누적 횟수가 제1횟수 이상이거나 또는 상기 특정한 부분이 연속으로 검출된 횟수가 제2횟수 이상인 경우, 상기 촬영된 영상 또는 상기 녹음된 소리 중에서 상기 적어도 일부의 전송을 차단하거나 상기 제1단말의 사용자를 신고하는 단계를 포함할 수 있다.
또한, 상기 영상 통화 방법은, 상기 영상 통화 세션을 수립하는 단계 이전에, 상기 제1단말이 임의의 사용자의 영상 또는 소리에 포함된 적어도 하나 이상의 특징점(feature) 및 상기 임의의 사용자가 불량 사용자인지 여부 사이의 상관관계에 대응하는 기계학습 모델을 제2서버로부터 수신하는 단계를 더 포함하고, 상기 검사하는 단계는, 상기 제1단말이 상기 수신된 기계학습 모델 및 상기 최근의 특정한 시간 이내에 촬영된 영상 또는 녹음된 소리의 상기 적어도 일부를 이용하여 상기 제1단말의 사용자가 불량 사용자인지 여부를 예측하는(predict) 단계를 포함할 수 있다.
또한, 상기 영상 통화 방법은, 상기 영상 통화 세션을 수립하는 단계 이전에, 상기 제1단말이 정상 사용자 또는 불량 사용자에 대응하는 적어도 하나 이상의 영상 또는 소리를 준비하는 단계, 및 상기 제1단말이 상기 적어도 하나 이상의 영상 또는 소리, 및 각각의 상기 적어도 하나 이상의 영상 또는 소리가 불량 사용자에 대응하는지 여부에 대한 정보를 이용하여 기계학습 모델을 학습시키는(train) 단계를 더 포함하고, 상기 검사하는 단계는, 상기 제1단말이 상기 학습된 기계학습 모델 및 상기 최근의 특정한 시간 이내에 촬영된 영상 또는 녹음된 소리의 상기 적어도 일부를 이용하여 상기 제1단말의 사용자가 불량 사용자인지 여부를 예측하는 단계를 포함할 수 있다.
실시예에 따른 영상 통화 중개 방법은, 서버가 복수의 단말로부터 중개 요청을 수신하는 단계, 상기 서버가 상기 복수의 단말 중에서 제1단말 및 제2단말 사이의 영상 통화 연결을 중개하는 단계, 상기 서버가 상기 제1단말로부터 상기 제1단말이 촬영한 상기 제1단말의 주변의 영상, 상기 제1단말이 녹음한 상기 제1단말의 주변에서 나는 소리, 상기 제1단말이 상기 제2단말로부터 수신한 영상, 또는 상기 제1단말이 상기 제2단말로부터 수신한 소리에 대한 상기 제1단말의 검사 결과로서 상기 제1단말의 사용자 또는 상기 제2단말의 사용자가 불량 사용자라는 신고를 수신하는 단계, 상기 서버가 상기 신고에 대한 응답으로 상기 신고된 사용자의 단말 및 감시 요원의 단말 사이의 영상 통화 연결을 중개하는 단계, 상기 서버가 상기 감시 요원의 단말로부터 상기 신고된 사용자에 대한 검증 결과를 수신하는 단계, 및 상기 서버가 상기 수신된 검증 결과에 따라, 상기 신고된 사용자의 단말로부터의 추가적인 중개 요청을 거절하는 단계를 포함할 수 있다.
실시예에 따른 영상 통화 장치는, 단말과의 영상 통화 세션을 수립하고, 상기 영상 통화 세션을 통해 상기 단말로부터 영상 또는 소리를 연속적으로 수신하는 통신부, 상기 수신된 영상 또는 소리를 연속적으로 출력하는 출력부, 및 상기 수신된 영상 또는 소리 중에서 최근의 특정한 시간 이내에 수신된 영상 또는 소리의 적어도 일부를 검사하는 제어부를 포함하고, 상기 검사 결과에 따라, 상기 제어부는 상기 출력부가 상기 수신된 영상 또는 소리 중에서 적어도 일부의 출력을 차단하도록 제어하거나 상기 통신부가 상기 단말의 사용자를 불량(abusive) 사용자로서 서버에 신고하도록 제어할 수 있다.
다른 실시예에 따른 영상 통화 장치는, 주변의 영상을 연속적으로 촬영하거나 상기 주변에서 나는 소리를 연속적으로 녹음하는 입력부, 단말과의 영상 통화 세션을 수립하고, 상기 영상 통화 세션을 통해 상기 단말에 상기 촬영된 영상 또는 상기 녹음된 소리를 연속적으로 전송하는 통신부, 및 상기 촬영된 영상 또는 상기 녹음된 소리 중에서 최근의 특정한 시간 이내에 촬영된 영상 또는 녹음된 소리의 적어도 일부를 검사하는 제어부를 포함하고, 상기 검사 결과에 따라, 상기 통신부는 상기 촬영된 영상 또는 상기 녹음된 소리 중에서 적어도 일부의 전송을 차단하거나 상기 영상 통화 장치의 사용자를 불량 사용자로서 서버에 신고할 수 있다.
기재된 실시예에 따르면 영상 통화 중인 사용자가 상대방으로부터의 부적절한 영상 또는 소리에 노출되는 것이 방지될 수 있다.
또한, 실시예에 따르면 영상 통화 중인 사용자가 상대방에게 부적절한 영상 또는 소리를 전송하는 것이 방지될 수 있다.
또한, 실시예에 따르면 영상 통화 중인 사용자가 상대방으로부터의 영상 또는 소리에 의해 느낄 수 있는 성적 수치심 또는 불쾌함이 방지될 수 있다.
또한, 실시예에 따르면 사용자 간의 건전한 영상 통화가 유도될 수 있다.
도 1은 실시예에 따른 영상 통화 장치가 동작하는 환경을 나타내는 네트워크 구성도이다.
도 2는 실시예에 따른 영상 통화 장치의 구성을 나타내는 블록도이다.
도 3은 실시예에 따른 영상 통화 방법이 수행되는 과정을 나타내는 순서도이다.
도 4는 실시예에 따른 상관관계에 대한 정보를 준비하는 단계가 수행되는 과정을 나타내는 순서도이다.
도 5는 실시예에 따른 적어도 하나 이상의 영상 또는 소리를 준비하는 단계가 수행되는 과정을 나타내는 순서도이다.
도 6은 실시예에 따른 영상 통화 도중에 제2 영상 통화 장치의 사용자의 영상 및 상대방의 영상이 표시된 제2 영상 통화 장치의 정면도이다.
도 7은 다른 실시예에 따른 영상 통화 도중에 제2 영상 통화 장치의 사용자의 영상 및 상대방의 영상이 표시된 제2 영상 통화 장치의 정면도이다.
도 8은 또 다른 실시예에 따른 영상 통화 도중에 제1 영상 통화 장치의 사용자의 영상 및 제2 영상 통화 장치의 사용자의 영상이 표시된 제1 영상 통화 장치 또는 제2 영상 통화 장치의 정면도이다.
도 9는 다른 실시예에 따른 영상 통화 방법이 수행되는 과정을 나타내는 순서도이다.
도 10은 실시예에 따른 영상 통화 중개 방법이 수행되는 과정을 나타내는 순서도이다.
도 2는 실시예에 따른 영상 통화 장치의 구성을 나타내는 블록도이다.
도 3은 실시예에 따른 영상 통화 방법이 수행되는 과정을 나타내는 순서도이다.
도 4는 실시예에 따른 상관관계에 대한 정보를 준비하는 단계가 수행되는 과정을 나타내는 순서도이다.
도 5는 실시예에 따른 적어도 하나 이상의 영상 또는 소리를 준비하는 단계가 수행되는 과정을 나타내는 순서도이다.
도 6은 실시예에 따른 영상 통화 도중에 제2 영상 통화 장치의 사용자의 영상 및 상대방의 영상이 표시된 제2 영상 통화 장치의 정면도이다.
도 7은 다른 실시예에 따른 영상 통화 도중에 제2 영상 통화 장치의 사용자의 영상 및 상대방의 영상이 표시된 제2 영상 통화 장치의 정면도이다.
도 8은 또 다른 실시예에 따른 영상 통화 도중에 제1 영상 통화 장치의 사용자의 영상 및 제2 영상 통화 장치의 사용자의 영상이 표시된 제1 영상 통화 장치 또는 제2 영상 통화 장치의 정면도이다.
도 9는 다른 실시예에 따른 영상 통화 방법이 수행되는 과정을 나타내는 순서도이다.
도 10은 실시예에 따른 영상 통화 중개 방법이 수행되는 과정을 나타내는 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
비록 "제1" 또는 "제2" 등이 다양한 구성요소를 서술하기 위해서 사용되나, 이러한 구성요소는 상기와 같은 용어에 의해 제한되지 않는다. 상기와 같은 용어는 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용될 수 있다. 따라서, 이하에서 언급되는 제1구성요소는 본 발명의 기술적 사상 내에서 제2구성요소일 수도 있다.
본 명세서에서 사용된 용어는 실시예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소 또는 단계가 하나 이상의 다른 구성요소 또는 단계의 존재 또는 추가를 배제하지 않는다는 의미를 내포한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 해석될 수 있다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하에서는, 도 1 내지 도 10을 참조하여 실시예에 따른 영상 통화 장치(200, 210, 300), 영상 통화 방법 및 영상 통화 중개 방법에 대해 상세히 설명하기로 한다.
도 1은 실시예에 따른 영상 통화 장치(200, 210, 300)가 동작하는 환경을 나타내는 네트워크 구성도이다. 도 1을 참조하면, 영상 통화 장치(200, 210, 300)가 동작하는 환경은 서버(100), 및 상기 서버(100)와 서로 연결된 적어도 둘 이상의 영상 통화 장치(200, 210, 300)를 포함할 수 있다. 도 1에서는 편의상 세 개의 영상 통화 장치(200, 210, 300)만이 도시되어 있으나, 세 개보다 더 많은 수의 영상 통화 장치(200, 210, 300)가 포함될 수 있다.
서버(100)는 통신망에 연결될 수 있다. 서버(100)는 상기 통신망을 통해 외부의 다른 장치와 서로 연결될 수 있다. 서버(100)는 서로 연결된 다른 장치에 데이터를 전송하거나 상기 다른 장치로부터 데이터를 수신할 수 있다.
서버(100)와 연결된 통신망은 유선 통신망, 무선 통신망, 또는 복합 통신망을 포함할 수 있다. 통신망은 3G, LTE, 또는 LTE-A 등과 같은 이동 통신망을 포함할 수 있다. 통신망은 와이파이(Wi-Fi), UMTS/GPRS, 또는 이더넷(Ethernet) 등과 같은 유선 또는 무선 통신망을 포함할 수 있다. 통신망은 마그네틱 보안 전송(MST, Magnetic Secure Transmission), RFID(Radio Frequency IDentification), NFC(Near Field Communication), 지그비(ZigBee), Z-Wave, 블루투스(Bluetooth), 저전력 블루투스(BLE, Bluetooth Low Energy), 또는 적외선 통신(IR, InfraRed communication) 등과 같은 근거리 통신망을 포함할 수 있다. 통신망은 근거리 네트워크(LAN, Local Area Network), 도시권 네트워크(MAN, Metropolitan Area Network), 또는 광역 네트워크(WAN, Wide Area Network) 등을 포함할 수 있다.
서버(100)는 통신망을 통해 각각의 영상 통화 장치(200, 210, 300)와 서로 연결될 수 있다. 서버(100)가 제1 영상 통화 장치(200)와 서로 연결된 경우, 서버(100)는 제1 영상 통화 장치(200)와 통신망을 통해 서로 데이터를 주고 받을 수 있다. 서버(100)가 제2 영상 통화 장치(210)와 서로 연결된 경우, 서버(100)는 제2 영상 통화 장치(210)와 통신망을 통해 서로 데이터를 주고 받을 수 있다. 서버(100)가 제3 영상 통화 장치(300)와 서로 연결된 경우, 서버(100)는 제3 영상 통화 장치(300)와 통신망을 통해 서로 데이터를 주고 받을 수 있다.
서버(100)는 영상 통화 장치(200, 210, 300)로부터 데이터를 수신할 수 있다. 서버(100)는 영상 통화 장치(200, 210, 300)로부터 수신된 데이터를 이용하여 연산을 수행할 수 있다. 서버(100)는 상기 연산 결과를 영상 통화 장치(200, 210, 300)에 전송할 수 있다.
서버(100)는 복수의 영상 통화 장치(200, 210, 300)로부터 영상 통화 중개 요청을 수신할 수 있다. 서버(100)는 중개 요청을 전송한 복수의 영상 통화 장치(200, 210, 300) 중에서 적어도 둘 이상의 영상 통화 장치(200, 210, 300)를 선택할 수 있다. 예를 들어, 서버(100)는 상기 적어도 둘 이상의 영상 통화 장치(200, 210, 300)로서 제1 영상 통화 장치(200) 및 제2 영상 통화 장치(210)를 선택할 수 있다.
서버(100)는 상기 선택된 적어도 둘 이상의 영상 통화 장치(200, 210, 300) 사이의 영상 통화 연결을 중개할 수 있다. 예를 들어, 서버(100)는 제1 영상 통화 장치(200)에 대한 연결 정보를 제2 영상 통화 장치(210)에 전송할 수 있다. 다른 예로서, 서버(100)는 제2 영상 통화 장치(210)에 대한 연결 정보를 제1 영상 통화 장치(200)에 전송할 수 있다.
제1 영상 통화 장치(200)에 대한 연결 정보는 예를 들어, 제1 영상 통화 장치(200)의 아이피(IP) 주소 및 포트(port) 번호를 포함할 수 있다. 제1 영상 통화 장치(200)에 대한 연결 정보를 수신한 제2 영상 통화 장치(210)는 상기 수신된 연결 정보를 이용하여 제1 영상 통화 장치(200)에의 연결을 시도할 수 있다.
제2 영상 통화 장치(210)에 대한 연결 정보는 예를 들어, 제2 영상 통화 장치(210)의 아이피(IP) 주소 및 포트(port) 번호를 포함할 수 있다. 제2 영상 통화 장치(210)에 대한 연결 정보를 수신한 제1 영상 통화 장치(200)는 상기 수신된 연결 정보를 이용하여 제2 영상 통화 장치(210)에의 연결을 시도할 수 있다.
제1 영상 통화 장치(200)의 제2 영상 통화 장치(210)에의 연결 시도 또는 제2 영상 통화 장치(210)의 제1 영상 통화 장치(200)에의 연결 시도가 성공함으로써, 제1 영상 통화 장치(200) 및 제2 영상 통화 장치(210) 사이의 영상 통화 세션이 수립될 수 있다. 상기 영상 통화 세션을 통해 제1 영상 통화 장치(200)는 제2 영상 통화 장치(210)에 영상 또는 소리를 전송할 수 있다. 제1 영상 통화 장치(200)는 영상 또는 소리를 디지털 신호로 인코딩하고, 상기 인코딩된 결과물을 제2 영상 통화 장치(210)에 전송할 수 있다.
또한, 상기 영상 통화 세션을 통해 제1 영상 통화 장치(200)는 제2 영상 통화 장치(210)로부터 영상 또는 소리를 수신할 수 있다. 제1 영상 통화 장치(200)는 디지털 신호로 인코딩된 영상 또는 소리를 수신하고, 상기 수신된 인코딩된 영상 또는 소리를 디코딩할 수 있다.
상기 영상 통화 세션을 통해 제2 영상 통화 장치(210)는 제1 영상 통화 장치(200)에 영상 또는 소리를 전송할 수 있다. 또한, 상기 영상 통화 세션을 통해 제2 영상 통화 장치(210)는 제1 영상 통화 장치(200)로부터 영상 또는 소리를 수신할 수 있다. 이로써, 제1 영상 통화 장치(200)의 사용자 및 제2 영상 통화 장치(210)의 사용자는 서로 영상 통화를 할 수 있다.
영상 통화 장치(200, 210, 300)는 단말일 수 있다. 영상 통화 장치(200, 210, 300)는 예를 들어, 데스크탑 컴퓨터, 랩탑 컴퓨터, 스마트폰, 스마트 태블릿, 스마트 워치, 이동 단말, 디지털 카메라, 웨어러블 디바이스(wearable device), 또는 휴대용 전자기기 등일 수 있다. 영상 통화 장치(200, 210, 300)는 프로그램 또는 애플리케이션을 실행할 수 있다. 각각의 영상 통화 장치(200, 210, 300)는 서로 동일한 종류의 장치일 수도 있고, 서로 동일한 종류의 장치가 아닐 수도 있다.
이하에서는 설명의 편의를 위해 제1 영상 통화 장치(200)를 가리키는 용어로서 제1 영상 통화 장치(200) 및 제1단말(200)을 혼용하기로 한다. 또한, 이하에서는 제2 영상 통화 장치(210)를 가리키는 용어로서 제2 영상 통화 장치(210) 및 제2단말(210)을 혼용하고, 제3 영상 통화 장치(300)를 가리키는 용어로서 제3 영상 통화 장치(300) 및 제3단말(300)을 혼용하기로 한다.
도 2는 실시예에 따른 제1단말(200)의 구성을 나타내는 블록도이다. 제2단말(210)의 구성 또는 제3단말(300)의 구성은 제1단말(200)의 구성과 서로 동일하거나 동일하지 않을 수 있다. 도 2를 참조하면, 실시예에 따른 제1단말(200)은 입력부(201), 저장부(202), 통신부(203), 출력부(204), 및 제어부(205)를 포함할 수 있다.
입력부(201)는 외부로부터 입력을 수신할 수 있다. 입력부(201)는 제1단말(200)의 사용자로부터 입력을 수신할 수 있다. 또한, 입력부(201)는 입력으로서 외부 장치로부터 신호를 수신할 수 있다. 입력부(201)는 예를 들어, 마이크, 카메라, 키보드, 마우스, 트랙볼, 터치스크린, 버튼, 스위치, 센서, 네트워크 인터페이스, 또는 기타 입력 장치를 포함할 수 있다.
입력부(201)는 입력부(201)에 포함된 카메라를 통해 외부로부터 빛을 수신할 수 있다. 입력부(201)는 외부의 사물로부터 방출된 빛 또는 외부의 사물에서 반사된 빛을 수신할 수 있다. 입력부(201)는 상기 카메라를 통해 제1단말(200)의 주변의 영상을 연속적으로 촬영할 수 있다. 입력부(201)는 제1단말(200)의 사용자의 영상을 촬영할 수 있다.
입력부(201)는 입력부(201)에 포함된 마이크를 통해 외부로부터 소리를 수신할 수 있다. 입력부(201)는 제1단말(200)의 사용자로부터 음성을 수신할 수 있다. 또한, 입력부(201)는 외부의 소리 재생 장치로부터 소리를 수신할 수 있다. 입력부(201)는 상기 마이크를 통해 제1단말(200)의 주변에서 나는 소리를 연속적으로 녹음할 수 있다. 입력부(201)는 제1단말(200)의 사용자의 음성을 녹음할 수 있다.
저장부(202)는 데이터를 저장할 수 있다. 저장부(202)는 입력부(201)에 의해 수신된 입력을 저장할 수 있다. 저장부(202)는 입력부(201)에 의해 촬영된 영상 또는 녹음된 소리를 저장할 수 있다. 저장부(202)는 제어부(205)가 연산을 수행하는 데에 이용할 데이터를 저장할 수 있다. 저장부(202)는 제어부(205)에 의해 수행된 연산 결과를 저장할 수 있다. 예를 들어, 저장부(202)는 제어부(205)에 의해 인코딩된 영상 또는 음성을 저장할 수 있다. 저장부(202)는 통신부(203)를 통해 외부로 전송할 데이터를 저장하거나 통신부(203)를 통해 외부로부터 수신된 데이터를 저장할 수 있다.
저장부(202)는 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다. 저장부(202)는 예를 들어, 플래시(flash) 메모리, ROM, RAM, EEROM, EPROM, EEPROM, 하드디스크 드라이브(HDD, Hard Disk Drive), 또는 레지스터(register) 등을 포함할 수 있다. 저장부(202)는 예를 들어, 파일 시스템, 데이터베이스, 또는 임베디드 데이터베이스 등을 포함할 수 있다.
통신부(203)는 외부에 데이터를 전송하거나 외부로부터 데이터를 수신할 수 있다. 통신부(203)는 다른 영상 통화 장치(210, 300) 또는 서버(100)에 데이터를 전송할 수 있다. 통신부(203)는 다른 영상 통화 장치(210, 300) 또는 서버(100)로부터 데이터를 수신할 수 있다. 통신부(203)는 제어부(205)에 의해 수행된 연산 결과를 외부에 전송할 수 있다. 통신부(203)는 제어부(205)가 연산을 수행하는 데에 이용할 데이터를 외부로부터 수신할 수 있다. 또한, 통신부(203)는 저장부(202)에 저장된 데이터를 외부에 전송할 수 있다. 통신부(203)는 입력부(201)에 의해 촬영된 영상 또는 녹음된 소리를 외부에 전송할 수 있다.
통신부(203)에 의해 전송될 데이터 또는 통신부(203)에 의해 수신된 데이터는 저장부(202)에 저장될 수 있다. 예를 들어, 통신부(203)는 저장부(202)에 저장된 인코딩된 영상 또는 음성을 서버(100) 또는 다른 영상 통화 장치(210, 300)에 전송할 수 있다. 또한, 통신부(203)는 다른 영상 통화 장치(210, 300)로부터 상기 다른 영상 통화 장치(210, 300)에 의해 인코딩된 영상 또는 음성을 수신할 수 있다.
통신부(203)는 예를 들어, 3G 모듈, LTE 모듈, LTE-A 모듈, Wi-Fi 모듈, 와이기그(WiGig) 모듈, UWB(Ultra Wide Band) 모듈, 또는 랜카드 등과 같은 원거리용 네트워크 인터페이스를 포함할 수 있다. 또한, 통신부(203)는 마그네틱 보안 전송(MST, Magnetic Secure Transmission) 모듈, 블루투스 모듈, NFC 모듈, RFID 모듈, 지그비(ZigBee) 모듈, Z-Wave 모듈, 또는 적외선 모듈 등과 같은 근거리용 네트워크 인터페이스를 포함할 수 있다. 또한, 통신부(203)는 기타 네트워크 인터페이스를 포함할 수 있다.
출력부(204)는 외부에 신호를 출력할 수 있다. 출력부(204)는 예를 들어, 화면을 표시하거나, 소리를 재생하거나, 또는 진동을 출력할 수 있다. 출력부(204)는 디스플레이, 스피커, 바이브레이터, 오실레이터, 또는 기타 출력 장치를 포함할 수 있다.
출력부(204)는 화면을 표시할 수 있다. 제어부(205)는 출력부(204)가 화면을 표시하도록 출력부(204)를 제어할 수 있다. 출력부(204)는 사용자 인터페이스를 표시할 수 있다. 출력부(204)는 사용자로부터의 입력에 대한 응답으로 다른 화면을 표시할 수 있다.
출력부(204)는 데이터를 표시할 수 있다. 출력부(204)는 제어부(205)에 의해 수행된 연산 결과를 표시할 수 있다. 출력부(204)는 저장부(202)에 저장된 데이터를 표시할 수 있다. 출력부(204)는 통신부(203)에 의해 수신된 데이터를 표시할 수 있다.
출력부(204)는 입력부(201)에 의해 촬영된 제1단말(200)의 사용자의 영상 또는 다른 영상 통화 장치(210, 300)에 의해 촬영된 다른 사용자의 영상을 표시할 수 있다. 또한, 출력부(204)는 입력부(201)에 의해 녹음된 제1단말(200)의 사용자의 음성 또는 다른 영상 통화 장치(210, 300)에 의해 녹음된 다른 사용자의 음성을 재생할 수 있다.
출력부(204)는 예를 들어, LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diode), 또는 PDP(Plasma Display Panel) 등의 평판 표시 장치를 포함할 수 있다. 출력부(204)는 곡면 디스플레이 또는 플렉서블 디스플레이(flexible display)를 포함할 수 있다. 출력부(204)는 터치스크린을 포함할 수 있다.
제어부(205)는 제1단말(200)의 동작을 제어할 수 있다. 제어부(205)는 제1단말(200)에 포함된 각각의 구성요소와 서로 연결될 수 있다. 제어부(205)는 제1단말(200)에 포함된 각각의 구성요소의 동작을 제어할 수 있다.
제어부(205)는 신호를 처리할 수 있다. 제어부(205)는 입력부(201)에 의해 수신된 신호를 처리할 수 있다. 예를 들어, 제어부(205)는 입력부(201)를 통해 수신된 사용자의 요청을 처리할 수 있다. 제어부(205)는 입력부(201)에 포함된 카메라에 의해 촬영된 사용자의 영상을 처리할 수 있다. 제어부(205)는 입력부(201)에 포함된 마이크에 의해 녹음된 소리 또는 사용자의 음성을 처리할 수 있다.
제어부(205)는 통신부(203)에 의해 수신된 신호를 처리할 수 있다. 예를 들어, 제어부(205)는 통신부(203)를 통해 수신된 사용자의 요청을 처리할 수 있다. 제어부(205)는 통신부(203)를 통해 수신된 다른 사용자의 영상 또는 음성을 처리할 수 있다.
제어부(205)는 입력부(201)에 의해 수신된 신호에 대한 응답으로, 제1단말(200)의 동작을 제어할 수 있다. 제어부(205)는 입력부(201)를 통해 수신된 사용자의 요청에 대한 응답으로, 제1단말(200)의 동작을 제어할 수 있다.
제어부(205)는 연산을 수행할 수 있다. 제어부(205)는 입력부(201)에 의해 수신된 신호에 따라 연산을 수행할 수 있다. 제어부(205)는 입력부(201)에 의해 수신된 신호 또는 저장부(202)에 저장된 데이터를 이용하여 연산을 수행할 수 있다. 예를 들어, 제어부(205)는 입력부(201)에 포함된 카메라에 의해 촬영된 영상을 이용하여 영상 처리(image processing)를 수행할 수 있다. 제어부(205)는 입력부(201)에 의해 촬영된 영상을 인코딩할 수 있다. 제어부(205)는 입력부(201)에 포함된 마이크에 의해 녹음된 소리 또는 음성을 처리할 수 있다. 제어부(205)는 입력부(201)에 의해 녹음된 소리 또는 음성을 인코딩할 수 있다.
제어부(205)는 통신부(203)에 의해 수신된 다른 사용자의 영상 또는 음성을 디코딩할 수 있다. 제어부(205)는 상기 디코딩된 영상 또는 음성에 후처리(postprocessing)를 수행할 수 있다. 예를 들어, 제어부(205)는 통신부(203)에 의해 수신된 다른 사용자의 영상에 영상 처리를 수행할 수 있다.
제어부(205)는 연산 결과가 저장부(202)에 저장되도록 제어할 수 있다. 제어부(205)는 연산 결과가 출력부(204)에 의해 출력되도록 제어할 수 있다. 제어부(205)는 연산 결과가 통신부(203)에 의해 다른 영상 통화 장치(210, 300)에 전송되도록 제어할 수 있다.
제어부(205)는 예를 들어, 중앙 처리 장치(Central Processing Unit, CPU), 그래픽 처리 장치(Graphic Processing Unit, GPU), 마이크로컨트롤러유닛(Micro Controller Unit, MCU), 또는 마이크로프로세서(microprocessor)를 포함할 수 있다.
제2단말(210)은 제1단말(200)과 서로 동일한 종류의 단말일 수도 있고, 서로 다른 종류의 단말일 수도 있다. 제2단말(210)은 프로그램 또는 애플리케이션을 실행할 수 있다.
제2단말(210)은 통신망에 연결될 수 있다. 제2단말(210)은 상기 통신망을 통해 외부의 다른 장치와 서로 연결될 수 있다. 제2단말(210)은 서로 연결된 다른 장치에 데이터를 전송하거나 상기 다른 장치로부터 데이터를 수신할 수 있다.
제2단말(210)은 서버(100)의 중개를 통해 상기 제1단말(200)과 서로 연결될 수 있다. 제2단말(210)은 제1단말(200)에 데이터를 전송하거나 제1단말(200)로부터 데이터를 수신할 수 있다. 서로 연결된 제1단말(200) 및 제2단말(210)은 서로 메시지, 파일, 데이터, 영상, 동영상, 소리, 또는 음성 등을 주고 받을 수 있다.
제2단말(210)은 제1단말(200)과의 음성 통화 세션 또는 영상 통화 세션을 수립할 수 있다. 상기 영상 통화 세션은 예를 들어, TCP(Transmission Control Protocol), UDP(User Datagram Protocol), 또는 WebRTC(Web Real-Time Communication) 등을 이용하여 수립될 수 있다. 제1단말(200)의 사용자 및 제2단말(210)의 사용자는 상기 음성 통화 세션 또는 영상 통화 세션을 이용하여 서로 음성 통화 또는 영상 통화를 할 수 있다.
상기 영상 통화 세션은 제1단말(200) 및 제2단말(210) 사이에 직접적으로 수립될 수 있다. 다른 실시예에 따르면, 적어도 하나 이상의 다른 장치를 경유하여 제1단말(200) 및 제2단말(210) 사이에 영상 통화 세션이 수립될 수 있다. 예를 들어, 상기 영상 통화 세션은 제1단말(200)과 서버(100) 사이에 수립된 세션 및 서버(100)와 제2단말(210) 사이에 수립된 세션을 포함할 수 있다.
제1단말(200) 및 제2단말(210)은 서로 직접 데이터를 주고 받을 수 있다. 또한, 제1단말(200) 및 제2단말(210)은 서버(100) 또는 다른 중개 장치를 경유하여 서로 데이터를 주고 받을 수 있다.
제3단말(300)은 제1단말(200)과 서로 동일한 종류의 단말일 수도 있고, 서로 다른 종류의 단말일 수도 있다. 제3단말(300)은 프로그램 또는 애플리케이션을 실행할 수 있다.
제3단말(300)은 통신망에 연결될 수 있다. 제3단말(300)은 상기 통신망을 통해 외부의 다른 장치와 서로 연결될 수 있다. 제3단말(300)은 서로 연결된 다른 장치에 데이터를 전송하거나 상기 다른 장치로부터 데이터를 수신할 수 있다.
이하에서는, 도 3 내지 도 9를 참조하여 실시예에 따른 영상 통화 방법 내에서의 영상 통화 장치(200, 210, 300)의 보다 구체적인 동작에 대하여 상세히 설명하기로 한다.
도 3은 실시예에 따른 제2단말(210)에 의한 영상 통화 방법이 수행되는 과정을 나타내는 순서도이다. 도 3을 참조하면, 실시예에 따른 영상 통화 방법에서는, 먼저, 임의의 사용자의 영상 또는 소리에 포함된 적어도 하나 이상의 특징점(feature) 및 상기 임의의 사용자가 불량(abusive) 사용자인지 여부 사이의 상관관계에 대한 정보를 준비하는 단계(S100)가 수행될 수 있다. 제2단말(210)의 저장부(202)는 상기 상관관계에 대한 정보를 준비할 수 있다.
임의의 사용자의 임의의 영상 또는 소리는 적어도 하나 이상의 특징점을 포함할 수 있다. 임의의 영상에 포함된 특징점은 상기 임의의 영상에 포함된 특정한 모양, 패턴, 색상, 또는 이들의 조합일 수 있다. 상기 특징점은 예를 들어, 특정한 표정, 보디랭귀지, 또는 신체 부위에 대응하는 특정한 모양, 패턴, 색상, 또는 이들의 조합일 수 있다.
임의의 영상에 포함된 각각의 특징점은 정상적인 요소 또는 불량한 요소에 대응할 수 있다. 예를 들어, 상기 특징점은 욕 제스처, 모욕 제스처, 인종차별 제스처, 성적 컨텐츠, 알몸 노출(nudity), 성기, 성행위, 비위생적 컨텐츠, 배설물, 배설 행위, 반사회적 컨텐츠, 반인륜적 컨텐츠, 불법 행위, 범죄 행위, 증오범죄(hate crime), 폭력 행위, 학대 행위, 자해 행위, 무기, 마약, 반사회적 심볼, 혐오성(hateful) 컨텐츠, 위협성 컨텐츠, 공포증 유발(phobia-inducing) 컨텐츠, 또는 혈액 중에서 적어도 하나 이상의 불량한 요소에 대응할 수 있다.
임의의 소리에 포함된 특징점은 상기 임의의 소리에 포함된 특정한 파형, 패턴, 또는 이들의 조합일 수 있다. 상기 특징점은 예를 들어, 특정한 음성 또는 언어에 대응하는 특정한 파형, 패턴, 또는 이들의 조합일 수 있다.
임의의 소리에 포함된 각각의 특징점은 정상적인 요소 또는 불량한 요소에 대응할 수 있다. 예를 들어, 상기 특징점은 신음, 헐떡이는 소리(gasping sound), 비명 또는 괴성 중에서 적어도 하나 이상의 불량한 요소에 대응할 수 있다. 다른 예로서, 상기 특징점은 굉음, 총성, 구토 소리(vomit sound), 타격 소리(hit sound), 채찍 소리(whip sound), 칼 소리(knife sound), 휘두르는 소리(swing sound), 찌르는 소리(stab sound), 톱 소리(saw sound), 쇳소리(grating sound), 삐걱거리는 소리(creaking sound), 특정한 임계값 이상의 피치(pitch)를 갖는 소리, 또는 특정한 임계값 이상의 크기(loudness)를 갖는 소리 중에서 적어도 하나 이상의 불량한 요소에 대응할 수 있다. 또 다른 예로서, 상기 특징점은 불량한 요소로서 욕설, 모욕, 인종차별, 명예훼손, 외설, 성희롱, 반사회적 행위, 반인륜적 행위, 테러, 증오언설(hate speech), 폭력, 학대, 마약, 위협 중에서 적어도 하나 이상에 관련된 언어에 대응할 수 있다.
제2단말(210)의 저장부(202)는 상기 상관관계에 대한 정보를 포함하는 목록, 표, 데이터베이스, 또는 기계학습(machine learning) 모델 중에서 적어도 하나 이상을 준비할 수 있다. 제2단말(210)의 저장부(202)는 적어도 하나 이상의 항목을 포함하는 목록을 준비할 수 있다. 제2단말(210)의 저장부(202)는 상기 목록에 대응하는 데이터베이스를 준비할 수 있다.
상기 목록에 포함된 각각의 항목은 하나의 특징점에 대한 정보를 포함할 수 있다. 각각의 항목에 대응하는 각각의 특징점은 불량한 요소에 대응할 수 있다. 따라서, 상기 목록에 포함된 항목에 대응하는 특징점 중에서, 임의의 영상 또는 소리에 포함된 특징점과 서로 동일한 특징점이 존재하는 경우, 상기 임의의 영상 또는 소리는 불량한 요소를 포함한다고 판정될 수 있다. 상기 임의의 영상 또는 소리가 불량한 요소를 포함한다고 판정되는 경우 상기 임의의 사용자는 불량 사용자라고 판정될 수 있다.
제2단말(210)의 통신부(203)는 상기 목록, 또는 상기 목록에 대응하는 데이터베이스를 서버(100) 또는 별개의 서버로부터 수신할 수 있다. 제2단말(210)의 저장부(202)는 상기 수신된 목록 또는 데이터베이스를 저장할 수 있다. 다른 실시예에 따르면, 제2단말(210)의 제어부(205)는 상기 목록 또는 데이터베이스를 스스로 생성하고, 제2단말(210)의 저장부(202)는 상기 생성된 목록 또는 데이터베이스를 저장할 수 있다.
다른 실시예에 따르면, 제2단말(210)의 저장부(202)는 적어도 하나 이상의 레코드(record)를 포함하는 표를 준비할 수 있다. 제2단말(210)의 저장부(202)는 상기 표에 대응하는 데이터베이스를 준비할 수 있다.
상기 표에 포함된 각각의 레코드는 하나의 특징점에 대한 정보 및 상기 특징점이 정상적인 요소 또는 불량한 요소에 대응하는지 여부에 대한 정보를 포함할 수 있다. 따라서, 상기 표에 포함된 레코드 중에서 임의의 영상 또는 소리에 포함된 특징점에 대응하는 레코드가 존재하고, 상기 특징점이 불량한 요소에 대응한다는 정보가 상기 레코드 내에 포함되어 있는 경우, 상기 임의의 영상 또는 소리는 불량한 요소를 포함한다고 판정될 수 있다. 상기 임의의 영상 또는 소리가 불량한 요소를 포함한다고 판정되는 경우 상기 임의의 사용자는 불량 사용자라고 판정될 수 있다.
제2단말(210)의 통신부(203)는 상기 표, 또는 상기 표에 대응하는 데이터베이스를 서버(100) 또는 별개의 서버로부터 수신할 수 있다. 제2단말(210)의 저장부(202)는 상기 수신된 표 또는 데이터베이스를 저장할 수 있다. 다른 실시예에 따르면, 제2단말(210)의 제어부(205)는 상기 표 또는 데이터베이스를 스스로 생성하고, 제2단말(210)의 저장부(202)는 상기 생성된 표 또는 데이터베이스를 저장할 수 있다.
또 다른 실시예에 따르면, 제2단말(210)의 저장부(202)는 상기 상관관계에 대응하는 기계학습 모델을 준비할 수 있다. 상기 기계학습 모델은 적어도 둘 이상의 레이어(layer)를 포함하는 뉴럴 네트워크(neural network)일 수 있다. 상기 기계학습 모델은 입력 레이어(input layer) 및 출력 레이어(output layer)를 포함할 수 있다. 상기 기계학습 모델은 적어도 하나 이상의 은닉 레이어(hidden layer)를 더 포함할 수 있다.
상기 기계학습 모델은 적어도 하나 이상의 영상 또는 소리, 및 상기 적어도 하나 이상의 영상 또는 소리가 정상적인 요소 또는 불량한 요소에 대응하는지 여부에 대한 정보를 이용하여 학습(train)된 분류 모델(classification model)일 수 있다. 상기 기계학습 모델은 임의의 영상 또는 소리에 포함된 적어도 하나 이상의 특징점을 입력값으로서 이용할 수 있다. 상기 기계학습 모델은 상기 적어도 하나 이상의 특징점이 정상적인 요소 또는 불량한 요소에 대응하는지 여부를 예측(predict)할 수 있다. 상기 적어도 하나 이상의 특징점이 불량한 요소에 대응한다고 예측된 경우, 상기 임의의 사용자는 불량 사용자라고 판정될 수 있다.
제2단말(210)의 통신부(203)는 상기 기계학습 모델을 서버(100) 또는 별개의 서버로부터 수신할 수 있다. 제2단말(210)의 저장부(202)는 상기 수신된 기계학습 모델을 저장할 수 있다. 다른 실시예에 따르면, 제2단말(210)의 제어부(205)는 상기 기계학습 모델을 스스로 학습시키고, 제2단말(210)의 저장부(202)는 상기 학습된 기계학습 모델을 저장할 수 있다.
도 4는 실시예에 따른 상관관계에 대한 정보를 준비하는 단계(S100)가 수행되는 과정을 나타내는 순서도이다. 도 4를 참조하면, 먼저, 정상 사용자 또는 불량 사용자에 대응하는 적어도 하나 이상의 영상 또는 소리를 준비하는 단계(S101)가 수행될 수 있다. 제2단말(210)의 저장부(202)는 정상 사용자 또는 불량 사용자에 대응하는 적어도 하나 이상의 영상 또는 소리를 준비할 수 있다.
도 5는 실시예에 따른 적어도 하나 이상의 영상 또는 소리를 준비하는 단계(S101)가 수행되는 과정을 나타내는 순서도이다. 도 5를 참조하면, 먼저, 적어도 하나 이상의 정상 사용자의 단말 또는 적어도 하나 이상의 불량 사용자의 단말과의 적어도 하나 이상의 제2 영상 통화 세션을 수립하는 단계(S102)가 수행될 수 있다. 제2단말(210)의 통신부(203)는 상기 적어도 하나 이상의 제2 영상 통화 세션을 수립할 수 있다.
제2단말(210)의 통신부(203)는 상기 제2 영상 통화 세션을 통해 입력부(201)에 의해 촬영된 영상 또는 녹음된 소리를 다른 영상 통화 장치(200, 300)에 전송할 수 있다. 제2단말(210)의 출력부(204)는 상기 촬영된 영상 또는 녹음된 소리를 출력할 수 있다. 제2단말(210)의 통신부(203)는 상기 제2 영상 통화 세션을 통해 다른 영상 통화 장치(200, 300)로부터 다른 영상 통화 장치(200, 300)에 의해 촬영된 영상 또는 녹음된 소리를 수신할 수 있다. 제2단말(210)의 출력부(204)는 상기 수신된 영상 또는 소리를 출력할 수 있다.
다음으로, 상기 적어도 하나 이상의 제2 영상 통화 세션을 통해 전송되거나 수신된 영상 또는 소리 중에서 적어도 일부를 수집하는 단계(S103)가 수행될 수 있다. 상기 수신된 영상 또는 소리의 출력에 대한 응답으로, 제2단말(210)의 입력부(201)는 제2단말(210)의 사용자로부터 상기 출력된 영상 또는 소리가 불량한 요소를 포함하지 않는다는 취지의 피드백을 수신할 수 있다. 제2단말(210)의 저장부(202)는 정상 사용자에 대응하는 영상 또는 소리로서, 상기 피드백이 수신되었을 때 출력되고 있던 영상 또는 소리를 수집할 수 있다.
또한, 상기 수신된 영상 또는 소리의 출력에 대한 응답으로, 제2단말(210)의 입력부(201)는 제2단말(210)의 사용자로부터 상기 출력된 영상 또는 소리가 불량한 요소를 포함한다는 취지의 피드백을 수신할 수 있다. 예를 들어, 불량한 요소가 포함된 영상 또는 소리가 출력되면 제2단말(210)의 사용자는 터치스크린에 표시된 신고 버튼을 터치할 수 있다. 제2단말(210)의 저장부(202)는 불량 사용자에 대응하는 영상 또는 소리로서, 상기 신고 버튼이 터치되었을 때 출력되고 있던 영상 또는 소리를 수집할 수 있다.
다시 도 4를 참조하면, 다음으로, 상기 적어도 하나 이상의 영상 또는 소리, 및 각각의 상기 적어도 하나 이상의 영상 또는 소리가 불량 사용자에 대응하는지 여부에 대한 정보를 이용하여 상기 기계학습 모델을 학습시키는(train) 단계(S104)가 수행될 수 있다. 제2단말(210)의 제어부(205)는 저장부(202)에 의해 수집된 상기 적어도 하나 이상의 영상 또는 소리, 및 각각의 상기 적어도 하나 이상의 영상 또는 소리가 불량 사용자에 대응하는지 여부에 대한 정보를 이용하여 기계학습 모델을 학습시킬 수 있다.
예를 들어, 제어부(205)는 딥 러닝(deep learning) 알고리즘을 이용하여 상기 기계학습 모델을 학습시킬 수 있다. 상기 기계학습 모델은 심층 신경망(Deep Neural Network, DNN), 합성곱 신경망(Convolutional Neural Network, CNN), 순환 신경망(Recurrent Neural Network, RNN), R-CNN(Region-based Convolutional Neural Networks), 제한 볼츠만 머신 (Restricted Boltzmann Machine, RBM), 심층 신뢰 신경망 (Deep Belief Network, DBN), 또는 심층 큐 네트워크(Deep Q-Networks) 중에서 적어도 하나 이상을 포함할 수 있다.
상기 기계학습 모델은 합성곱 신경망(Convolutional Neural Network, CNN)일 수 있다. 상기 기계학습 모델은 AlexNet, ZFNet, GoogLeNet, VGGNet, ResNet, Inception-ResNet, Inception-v2, Inception-v3, 또는 Inception-v4를 포함할 수 있다.
제어부(205)는 합성곱 레이어(convolutional layer)를 이용하여 각각의 상기 적어도 하나 이상의 영상을 60 픽셀의 폭 및 80 픽셀의 높이를 갖는 RGB 포맷의 영상으로 변환할 수 있다. 제어부(205)는 각각의 상기 변환된 영상을 이용하여 Inception-v4가 포함된 기계학습 모델을 학습시킬 수 있다. 학습된 모델은 모두 4,330,627개의 변수를 포함할 수 있다. 각각의 변수의 크기는 4 바이트(byte)일 수 있다. 따라서, 학습된 모델의 크기는 적어도 17,322,508 바이트일 수 있다.
다시 도 3을 참조하면, 다음으로, 제1단말(200)과의 제1 영상 통화 세션을 수립하는 단계(S110)가 수행될 수 있다. 제2단말(210)의 통신부(203)는 상기 제1 영상 통화 세션을 수립할 수 있다.
다음으로, 상기 제1 영상 통화 세션을 통해 상기 제1단말(200)로부터 영상 또는 소리를 연속적으로 수신하는 단계(S120)가 수행될 수 있다. 제2단말(210)의 통신부(203)는 상기 제1 영상 통화 세션을 통해 영상 또는 소리를 연속적으로 수신할 수 있다. 통신부(203)는 제1단말(200)로부터 인코딩된 영상 또는 소리를 포함하는 데이터 스트림을 수신할 수 있다. 제2단말(210)의 제어부(205)는 상기 수신된 인코딩된 영상 또는 소리를 디코딩할 수 있다.
다음으로, 상기 수신된 영상 또는 소리를 연속적으로 출력하는 단계(S130)가 수행될 수 있다. 제2단말(210)의 출력부(204)에 포함된 디스플레이는 상기 수신된 영상을 연속적으로 표시할 수 있다. 출력부(204)는 제2단말(210)의 입력부(201)에 포함된 카메라에 의해 연속적으로 촬영되고 있는 제2단말(210)의 주변의 영상을 상기 수신된 영상과 함께 표시할 수 있다.
도 6 내지 도 8은 실시예에 따른 영상 통화 도중에 제2단말(210)의 사용자의 영상 및 상대방의 영상이 표시된 제2단말(210)의 정면도이다. 도 6 내지 도 8에 도시된 바와 같이, 제2단말(210)의 출력부(204)는 입력부(201)에 의해 촬영된 영상을 디스플레이의 왼쪽 하단에 배치된 사각형의 영역에 표시할 수 있다. 또한, 제2단말(210)의 출력부(204)는 통신부(203)에 의해 수신된 영상을 디스플레이의 전체 영역 중에서 상기 사각형의 영역을 제외한 나머지 영역에 표시할 수 있다.
제2단말(210)의 출력부(204)에 포함된 스피커는 상기 수신된 소리를 연속적으로 재생할 수 있다. 출력부(204)는 제2단말(210)의 입력부(201)에 포함된 마이크에 의해 연속적으로 녹음되고 있는 제2단말(210)의 주변에서 나는 소리를 상기 수신된 소리와 함께 재생할 수 있다.
다른 실시예에 따르면, 상기 수신된 영상 또는 소리를 연속적으로 출력하는 단계(S130)는 생략될 수 있다. 대신에, 최근의 특정한 시간 이내에 수신된 영상 또는 소리의 적어도 일부를 검사하는 단계(S140)가 수행된 이후에, 상기 검사 결과에 따라 제2단말(210)의 제어부(205)는 상기 수신된 영상 또는 소리가 연속적으로 출력되도록 출력부(204)를 제어할 수 있다.
다시 도 5를 참조하면, 다음으로, 상기 수신된 영상 또는 소리 중에서 최근의 특정한 시간 이내에 수신된 영상 또는 소리의 적어도 일부를 검사하는 단계(S140)가 수행될 수 있다. 제2단말(210)의 제어부(205)는 상기 수신된 영상 또는 소리 중에서 최근의 특정한 시간 이내에 수신된 영상 또는 소리의 적어도 일부를 검사할 수 있다. 상기 특정한 시간은 예를 들어, 1초일 수 있다.
제어부(205)는 최근의 특정한 시간 이내에 수신된 영상 또는 소리의 전부를 검사할 수 있다. 만약 30 FPS(Frame Per Second)로 영상이 수신되고 있는 경우, 제어부(205)는 최근의 1초 이내에 수신된 30개의 영상 전부를 검사할 수 있다.
제어부(205)는 최근의 특정한 시간 이내에 수신된 영상 또는 소리 중에서 일부를 선택할 수 있다. 제어부(205)는 상기 선택된 일부의 영상 또는 소리를 검사할 수 있다. 예를 들어, 제어부(205)는 최근의 1초 이내에 수신된 30개의 영상 중에서 임의로 1개의 영상을 선택할 수 있다. 제어부(205)는 상기 선택된 1개의 영상을 검사할 수 있다. 다른 예로서, 제어부(205)는 도 6 내지 도 8에서 디스플레이의 왼쪽 하단에 배치된 사각형의 영역을 제외한 나머지 영역에 표시된 제1단말(200)의 사용자의 영상을 검사할 수 있다.
제어부(205)는 상기 최근의 특정한 시간 이내에 수신된 영상의 상기 적어도 일부로부터 특정한 부분을 검출할 수 있다. 제어부(205)는 상기 특정한 부분으로서, 특정한 표정, 보디랭귀지, 또는 신체 부위에 대응하는 부분을 검출할 수 있다. 예를 들어, 제어부(205)는 욕 제스처, 모욕 제스처, 인종차별 제스처, 성적 컨텐츠, 알몸 노출(nudity), 성기, 성행위, 비위생적 컨텐츠, 배설물, 배설 행위, 반사회적 컨텐츠, 반인륜적 컨텐츠, 불법 행위, 범죄 행위, 증오범죄(hate crime), 폭력 행위, 학대 행위, 자해 행위, 무기, 마약, 반사회적 심볼, 혐오성(hateful) 컨텐츠, 위협성 컨텐츠, 공포증 유발(phobia-inducing) 컨텐츠, 또는 혈액 중에서 적어도 하나 이상에 대응하는 부분을 검출할 수 있다.
제어부(205)는 상기 최근의 특정한 시간 이내에 수신된 소리의 상기 적어도 일부로부터 특정한 부분을 검출할 수 있다. 제어부(205)는 상기 특정한 부분으로서, 특정한 음성 또는 언어에 대응하는 부분을 검출할 수 있다. 예를 들어, 제어부(205)는 욕설, 모욕, 인종차별, 명예훼손, 외설, 성희롱, 반사회적 행위, 반인륜적 행위, 테러, 증오언설(hate speech), 폭력, 학대, 마약, 위협 중에서 적어도 하나 이상에 관련된 언어에 대응하는 부분을 검출할 수 있다.
제2단말(210)의 제어부(205)는 상기 특정한 부분을 검출함으로써 제1단말(200)의 사용자가 불량 사용자인지 여부를 산출할 수 있다. 상기 검사의 대상이 된 영상 또는 소리로부터 상기 특정한 부분이 검출된 경우, 제어부(205)는 제1단말(200)의 사용자가 불량 사용자라고 판정할 수 있다. 상기 검사의 대상이 된 영상 또는 소리로부터 상기 특정한 부분이 검출되지 않은 경우, 제어부(205)는 제1단말(200)의 사용자가 정상 사용자라고 판정할 수 있다.
다른 실시예에 따르면, 제어부(205)는 상기 준비된 상관관계에 대한 정보 및 상기 최근의 특정한 시간 이내에 수신된 영상 또는 소리의 상기 적어도 일부를 이용하여 상기 제1단말(200)의 사용자가 불량 사용자인지 여부를 산출할 수 있다. 제어부(205)는 상기 최근의 특정한 시간 이내에 수신된 영상 또는 소리의 상기 적어도 일부에 포함된 특징점을 추출할 수 있다. 제어부(205)는 상기 추출된 특징점 및 상기 준비된 상관관계에 대한 정보를 이용하여 제1단말(200)의 사용자가 불량 사용자인지 여부를 산출할 수 있다.
예를 들어, 상기 준비된 상관관계에 대한 정보는 상기 목록을 포함할 수 있다. 제어부(205)는 상기 목록에 포함된 적어도 하나 이상의 항목에 대응하는 특징점 및 상기 추출된 특징점을 서로 비교할 수 있다. 상기 적어도 하나 이상의 항목에 대응하는 특징점 중에서, 상기 추출된 특징점과 서로 동일한 특징점이 존재하는 경우, 제어부(205)는 상기 검사의 대상이 된 영상 또는 소리는 불량한 요소를 포함한다고 판정할 수 있다. 또한, 제어부(205)는 제1단말(200)의 사용자가 불량 사용자라고 판정할 수 있다.
다른 예로서, 상기 준비된 상관관계에 대한 정보는 상기 표를 포함할 수 있다. 제어부(205)는 상기 표에 포함된 적어도 하나 이상의 레코드에 대응하는 특징점 및 상기 추출된 특징점을 서로 비교할 수 있다. 상기 표에 포함된 레코드 중에서 상기 추출된 특징점에 대응하는 레코드가 존재하고, 상기 추출된 특징점이 불량한 요소에 대응한다는 정보가 상기 레코드 내에 포함되어 있는 경우, 제어부(205)는 상기 검사의 대상이 된 영상 또는 소리는 불량한 요소를 포함한다고 판정할 수 있다. 또한, 제어부(205)는 제1단말(200)의 사용자가 불량 사용자라고 판정할 수 있다.
또 다른 예로서, 상기 준비된 상관관계에 대한 정보는 상기 기계학습 모델을 포함할 수 있다. 제어부(205)는 상기 준비된 기계학습 모델 및 상기 최근의 특정한 시간 이내에 수신된 영상 또는 소리의 상기 적어도 일부를 이용하여 상기 제1단말(200)의 사용자가 불량 사용자인지 여부를 예측(predict)할 수 있다.
예를 들어, 제어부(205)는 합성곱 레이어(convolutional layer)를 이용하여 상기 검사의 대상이 된 영상을 60 픽셀의 폭 및 80 픽셀의 높이를 갖는 RGB 포맷의 영상으로 변환할 수 있다. 제어부(205)는 상기 변환된 영상을 상기 기계학습 모델의 입력값으로서 이용할 수 있다. 제어부(205)는 상기 기계학습 모델을 실행(run)할 수 있다.
상기 실행의 결과로서, 상기 기계학습 모델의 출력 레이어(output layer)로부터 결과값이 산출될 수 있다. 상기 결과값은 예를 들어, 3개의 숫자값을 포함하는 벡터(vector)일 수 있다. 상기 3개의 숫자값은 각각 상기 검사의 대상이 된 영상이 불량한 요소를 포함하지 않을 확률, 상기 검사의 대상이 된 영상이 불량한 요소를 포함할 확률, 및 상기 검사의 대상이 된 영상이 상의를 탈의한 제1단말(200)의 사용자의 모습을 포함할 확률에 대응할 수 있다.
만약 상기 3개의 숫자값 중에서 가장 큰 값이 첫번째 숫자값인 경우, 제어부(205)는 제1단말(200)의 사용자를 정상 사용자라고 판정할 수 있다. 예를 들어, 도 6에서 디스플레이의 왼쪽 하단에 배치된 사각형의 영역을 제외한 나머지 영역에 표시된 제1단말(200)의 사용자의 영상이 검사된 경우, 상기 3개의 숫자값 중에서 가장 큰 값은 첫번째 숫자값일 수 있다. 제어부(205)는 제1단말(200)의 사용자를 정상 사용자라고 판정할 수 있다.
만약 상기 3개의 숫자값 중에서 가장 큰 값이 두번째 숫자값 또는 세번째 숫자값인 경우, 제어부(205)는 제1단말(200)의 사용자를 불량 사용자라고 판정할 수 있다. 예를 들어, 도 7에서 디스플레이의 왼쪽 하단에 배치된 사각형의 영역을 제외한 나머지 영역에 표시된 제1단말(200)의 사용자의 영상이 검사된 경우, 상기 3개의 숫자값 중에서 가장 큰 값은 두번째 숫자값일 수 있다. 제어부(205)는 제1단말(200)의 사용자를 불량 사용자라고 판정할 수 있다.
다시 도 3을 참조하면, 다음으로, 상기 검사하는 단계(S140)를 적어도 한 번 이상 반복하는 단계(S150)가 수행될 수 있다. 제2단말(210)의 제어부(205)는 가장 최근의 검사를 수행한 후에, 가장 최근의 검사의 대상이 된 영상 또는 소리보다 더 나중에 수신된 영상 또는 소리를 대상으로 하여 검사를 수행할 수 있다. 예를 들어, 제어부(205)는 최초로 검사를 수행한 후에 4번의 검사를 추가적으로 수행할 수 있다. 다시 말해서, 제어부(205)는 서로 1초의 간격을 두고 수신된 5개의 영상 또는 소리를 각각 검사할 수 있다. 각각의 검사 결과는 누적될 수 있다. 예를 들어, 5개의 영상 모두에서 불량한 요소에 대응하는 부분이 검출된 경우, 누적 횟수는 5회일 수 있다.
다른 실시예에 따르면, 상기 반복하는 단계(S150)는 생략될 수 있다.
다음으로, 상기 검사 결과에 따라, 상기 수신된 영상 또는 소리 중에서 적어도 일부의 출력을 차단하거나 상기 제1단말(200)의 사용자를 불량 사용자로서 서버(100)에 신고하는 단계(S160)가 수행될 수 있다. 만약 상기 검사 결과 제1단말(200)의 사용자가 정상 사용자라고 판정된 경우, 제어부(205)는 상기 수신된 영상 또는 소리가 연속적으로 출력되도록 출력부(204)를 제어할 수 있다.
만약 제1단말(200)의 사용자가 불량 사용자라고 판정된 경우, 제어부(205)는 상기 수신된 영상 또는 소리 중에서 적어도 일부의 출력이 차단되도록 출력부(204)를 제어할 수 있다. 다른 실시예에 따르면, 제1단말(200)의 사용자가 불량 사용자라고 판정된 경우, 제어부(205)는 상기 제1단말(200)의 사용자를 불량 사용자로서 서버(100)에 신고하도록 통신부(203)를 제어할 수 있다. 또 다른 실시예에 따르면, 제1단말(200)의 사용자가 불량 사용자라고 판정된 경우, 상기 수신된 영상 또는 소리 중에서 적어도 일부의 출력이 차단되고, 상기 제1단말(200)의 사용자가 불량 사용자로서 서버(100)에 신고될 수 있다.
또 다른 실시예에 따르면, 상기 제1 영상 통화 세션이 수립된 이후에 상기 특정한 부분이 검출된 누적 횟수가 제1횟수 이상인 경우, 제어부(205)는 출력부(204)가 상기 적어도 일부의 출력을 차단하거나 통신부(203)가 상기 제1단말(200)의 사용자를 신고하도록 제어할 수 있다. 상기 제1횟수는 예를 들어, 1회 또는 5회일 수 있다. 또 다른 실시예에 따르면, 상기 제1 영상 통화 세션이 수립된 이후에 상기 제1단말(200)의 사용자가 불량 사용자라고 판정된 누적 횟수가 상기 제1횟수 이상인 경우, 제어부(205)는 출력부(204)가 상기 적어도 일부의 출력을 차단하거나 통신부(203)가 상기 제1단말(200)의 사용자를 신고하도록 제어할 수 있다.
또 다른 실시예에 따르면, 상기 특정한 부분이 연속으로 검출된 횟수가 제2횟수 이상인 경우, 제어부(205)는 출력부(204)가 상기 적어도 일부의 출력을 차단하거나 통신부(203)가 상기 제1단말(200)의 사용자를 신고하도록 제어할 수 있다. 상기 제2횟수는 예를 들어, 1회 또는 5회일 수 있다. 또 다른 실시예에 따르면, 상기 제1단말(200)의 사용자가 불량 사용자라고 연속으로 판정된 횟수가 상기 제2횟수 이상인 경우, 제어부(205)는 출력부(204)가 상기 적어도 일부의 출력을 차단하거나 통신부(203)가 상기 제1단말(200)의 사용자를 신고하도록 제어할 수 있다.
상기와 같이, 누적 횟수 또는 연속으로 판정된 횟수가 특정한 횟수 이상인 경우에 한해 출력이 차단되거나 제1단말(200)의 사용자가 신고됨으로써, 검사 결과에서 발생할 수 있는 간헐적인 판정 오류가 용인될 수 있다. 또한, 이로써 제2단말(210)의 보다 안정적인 동작이 확보될 수 있다.
다음으로, 상기 검사하는 단계(S140) 내지 상기 차단하거나 신고하는 단계(S160)를 일정하거나 일정하지 않은 주기마다 반복하는 단계(S170)가 수행될 수 있다. 예를 들어, 제어부(205)는 가장 최근에 상기 검사하는 단계(S140) 내지 상기 차단하거나 신고하는 단계(S160)를 수행한 후에, 적어도 10초가 지난 다음에 상기 검사하는 단계(S140) 내지 상기 차단하거나 신고하는 단계(S160)를 반복할 수 있다. 이로써 상기 제1단말(200)로부터 연속적으로 수신되고 있는 영상 또는 소리에 불량한 요소가 포함되어 있는지 여부가 꾸준히 검사될 수 있다.
상기와 같은 실시예에 따르면, 영상 통화 중인 사용자가 상대방으로부터의 부적절한 영상 또는 소리에 노출되는 것이 방지될 수 있다. 또한, 영상 통화 중인 사용자가 상대방으로부터의 영상 또는 소리에 의해 느낄 수 있는 성적 수치심 또는 불쾌함이 방지될 수 있다. 또한, 사용자 간의 건전한 영상 통화가 유도될 수 있다.
도 9는 다른 실시예에 따른 제1단말(200)에 의한 영상 통화 방법이 수행되는 과정을 나타내는 순서도이다. 도 9를 참조하면, 먼저, 상기 제1단말(200)이 임의의 사용자의 영상 또는 소리에 포함된 적어도 하나 이상의 특징점(feature) 및 상기 임의의 사용자가 불량 사용자인지 여부 사이의 상관관계에 대응하는 기계학습 모델을 서버(100)로부터 수신하는 단계(S200)가 수행될 수 있다.
제1단말(200)의 저장부(202)는 상기 상관관계에 대한 정보를 준비할 수 있다. 제1단말(200)의 저장부(202)는 상기 상관관계에 대한 정보를 포함하는 목록, 표, 데이터베이스, 또는 기계학습(machine learning) 모델 중에서 적어도 하나 이상을 준비할 수 있다.
제1단말(200)의 저장부(202)는 상기 상관관계에 대응하는 기계학습 모델을 준비할 수 있다. 제1단말(200)의 통신부(203)는 상기 기계학습 모델을 서버(100) 또는 별개의 서버로부터 수신할 수 있다. 제1단말(200)의 저장부(202)는 상기 수신된 기계학습 모델을 저장할 수 있다. 다른 실시예에 따르면, 제1단말(200)의 제어부(205)는 상기 기계학습 모델을 스스로 학습시키고, 제1단말(200)의 저장부(202)는 상기 학습된 기계학습 모델을 저장할 수 있다.
제1단말(200)의 저장부(202)는 정상 사용자 또는 불량 사용자에 대응하는 적어도 하나 이상의 영상 또는 소리를 준비할 수 있다. 제1단말(200)의 제어부(205)는 상기 적어도 하나 이상의 영상 또는 소리, 및 각각의 상기 적어도 하나 이상의 영상 또는 소리가 불량 사용자에 대응하는지 여부에 대한 정보를 이용하여 기계학습 모델을 학습시킬 수 있다.
다음으로, 제1단말(200)이 제2단말(210)과의 영상 통화 세션을 수립하는 단계(S210)가 수행될 수 있다. 제1단말(200)의 통신부(203)는 제2단말(210)과의 영상 통화 세션을 수립할 수 있다.
다음으로, 상기 제1단말(200)이 상기 제1단말(200)의 주변의 영상을 연속적으로 촬영하거나 상기 주변에서 나는 소리를 연속적으로 녹음하는 단계(S220)가 수행될 수 있다. 제1단말(200)의 입력부(201)에 포함된 카메라는 제1단말(200)의 주변의 영상을 연속적으로 촬영할 수 있다. 제1단말(200)의 입력부(201)에 포함된 마이크는 상기 주변에서 나는 소리를 연속적으로 녹음할 수 있다. 제1단말(200)의 저장부(202)는 상기 촬영된 영상 또는 녹음된 소리를 저장할 수 있다.
다음으로, 상기 제1단말(200)이 상기 영상 통화 세션을 통해 상기 제2단말(210)에 상기 촬영된 영상 또는 녹음된 소리를 연속적으로 전송하는 단계(S230)가 수행될 수 있다. 제1단말(200)의 통신부(203)는 상기 촬영된 영상 또는 녹음된 소리를 연속적으로 전송할 수 있다. 또한, 동시에 통신부(203)는 제2단말(210)로부터 영상 또는 소리를 연속적으로 수신할 수 있다. 출력부(204)는 상기 촬영된 영상을 상기 수신된 영상과 함께 표시할 수 있다. 출력부(204)는 상기 녹음된 소리를 상기 수신된 소리와 함께 재생할 수 있다.
다른 실시예에 따르면, 상기 촬영된 영상 또는 녹음된 소리를 연속적으로 전송하는 단계(S230)는 생략될 수 있다. 대신에, 최근의 특정한 시간 이내에 촬영된 영상 또는 녹음된 소리의 적어도 일부를 검사하는 단계(S240)가 수행된 이후에, 상기 검사 결과에 따라 제1단말(200)의 제어부(205)는 상기 촬영된 영상 또는 녹음된 소리가 연속적으로 전송되도록 통신부(203)를 제어할 수 있다.
다음으로, 상기 제1단말(200)이 상기 촬영된 영상 또는 녹음된 소리 중에서 최근의 특정한 시간 이내에 촬영된 영상 또는 녹음된 소리의 적어도 일부를 검사하는 단계(S240)가 수행될 수 있다. 제1단말(200)의 제어부(205)는 상기 최근의 특정한 시간 이내에 촬영된 영상 또는 녹음된 소리의 상기 적어도 일부로부터 특정한 부분을 검출할 수 있다. 상기 특정한 시간은 예를 들어, 1초일 수 있다.
제어부(205)는 상기 준비된 기계학습 모델 및 상기 최근의 특정한 시간 이내에 촬영된 영상 또는 녹음된 소리의 상기 적어도 일부를 이용하여 상기 제1단말(200)의 사용자가 불량 사용자인지 여부를 예측(predict)할 수 있다. 예를 들어, 제어부(205)는 합성곱 레이어(convolutional layer)를 이용하여 상기 검사의 대상이 된 영상을 60 픽셀의 폭 및 80 픽셀의 높이를 갖는 RGB 포맷의 영상으로 변환할 수 있다. 제어부(205)는 상기 변환된 영상을 상기 기계학습 모델의 입력값으로서 이용할 수 있다. 제어부(205)는 상기 기계학습 모델을 실행(run)할 수 있다.
상기 실행의 결과로서, 상기 기계학습 모델의 출력 레이어(output layer)로부터 결과값이 산출될 수 있다. 상기 결과값은 예를 들어, 3개의 숫자값을 포함하는 벡터(vector)일 수 있다. 상기 3개의 숫자값은 각각 상기 검사의 대상이 된 영상이 불량한 요소를 포함하지 않을 확률, 상기 검사의 대상이 된 영상이 불량한 요소를 포함할 확률, 및 상기 검사의 대상이 된 영상이 상의를 탈의한 제1단말(200)의 사용자의 모습을 포함할 확률에 대응할 수 있다.
만약 상기 3개의 숫자값 중에서 가장 큰 값이 첫번째 숫자값인 경우, 제어부(205)는 제1단말(200)의 사용자를 정상 사용자라고 판정할 수 있다. 예를 들어, 도 6에서 디스플레이의 왼쪽 하단에 배치된 사각형의 영역에 표시된 제1단말(200)의 사용자의 영상이 검사된 경우, 상기 3개의 숫자값 중에서 가장 큰 값은 첫번째 숫자값일 수 있다. 제어부(205)는 제1단말(200)의 사용자를 정상 사용자라고 판정할 수 있다.
만약 상기 3개의 숫자값 중에서 가장 큰 값이 두번째 숫자값 또는 세번째 숫자값인 경우, 제어부(205)는 제1단말(200)의 사용자를 불량 사용자라고 판정할 수 있다. 도 8은 실시예에 따른 영상 통화 도중에 제1단말(200)의 사용자의 영상 및 제2단말(210)의 사용자의 영상이 표시된 제1단말(200)의 정면도이다. 예를 들어, 도 8에서 디스플레이의 왼쪽 하단에 배치된 사각형의 영역에 표시된 제1단말(200)의 사용자의 영상이 검사된 경우, 상기 3개의 숫자값 중에서 가장 큰 값은 세번째 숫자값일 수 있다. 제어부(205)는 제1단말(200)의 사용자를 불량 사용자라고 판정할 수 있다.
다음으로, 상기 제1단말(200)이 상기 검사하는 단계(S240)를 적어도 한 번 이상 반복하는 단계(S250)가 수행될 수 있다. 제1단말(200)의 제어부(205)는 가장 최근의 검사를 수행한 후에, 가장 최근의 검사의 대상이 된 영상 또는 소리보다 더 나중에 수신된 영상 또는 소리를 대상으로 하여 검사를 수행할 수 있다. 예를 들어, 제어부(205)는 최초로 검사를 수행한 후에 4번의 검사를 추가적으로 수행할 수 있다. 다시 말해서, 제어부(205)는 서로 1초의 간격을 두고 수신된 5개의 영상 또는 소리를 각각 검사할 수 있다. 각각의 검사 결과는 누적될 수 있다. 예를 들어, 5개의 영상 모두에서 불량한 요소에 대응하는 부분이 검출된 경우, 누적 횟수는 5회일 수 있다.
다른 실시예에 따르면, 상기 반복하는 단계(S250)는 생략될 수 있다.
다음으로, 상기 검사 결과에 따라, 상기 제1단말(200)이 상기 촬영된 영상 또는 녹음된 소리 중에서 적어도 일부의 상기 영상 통화 세션을 통한 전송을 차단하거나 상기 제1단말(200)의 사용자를 불량 사용자로서 서버(100)에 신고하는 단계(S260)가 수행될 수 있다. 만약 상기 검사 결과 제1단말(200)의 사용자가 정상 사용자라고 판정된 경우, 제어부(205)는 상기 촬영된 영상 또는 녹음된 소리가 연속적으로 전송되도록 통신부(203)를 제어할 수 있다.
만약 제1단말(200)의 사용자가 불량 사용자라고 판정된 경우, 제어부(205)는 상기 촬영된 영상 또는 녹음된 소리 중에서 적어도 일부의 전송이 차단되도록 통신부(203)를 제어할 수 있다. 다른 실시예에 따르면, 제1단말(200)의 사용자가 불량 사용자라고 판정된 경우, 제어부(205)는 상기 제1단말(200)의 사용자를 불량 사용자로서 서버(100)에 신고하도록 통신부(203)를 제어할 수 있다. 또 다른 실시예에 따르면, 제1단말(200)의 사용자가 불량 사용자라고 판정된 경우, 상기 촬영된 영상 또는 녹음된 소리 중에서 적어도 일부의 전송이 차단되고, 상기 제1단말(200)의 사용자가 불량 사용자로서 서버(100)에 신고될 수 있다.
또 다른 실시예에 따르면, 상기 영상 통화 세션이 수립된 이후에 상기 특정한 부분이 검출된 누적 횟수가 제1횟수 이상인 경우, 제어부(205)는 통신부(203)가 상기 적어도 일부의 전송을 차단하거나 상기 제1단말(200)의 사용자를 신고하도록 제어할 수 있다. 상기 제1횟수는 예를 들어, 1회 또는 5회일 수 있다. 또 다른 실시예에 따르면, 상기 영상 통화 세션이 수립된 이후에 상기 제1단말(200)의 사용자가 불량 사용자라고 판정된 누적 횟수가 상기 제1횟수 이상인 경우, 제어부(205)는 통신부(203)가 상기 적어도 일부의 출력을 차단하거나 상기 제1단말(200)의 사용자를 신고하도록 제어할 수 있다.
또 다른 실시예에 따르면, 상기 특정한 부분이 연속으로 검출된 횟수가 제2횟수 이상인 경우, 제어부(205)는 통신부(203)가 상기 적어도 일부의 전송을 차단하거나 상기 제1단말(200)의 사용자를 신고하도록 제어할 수 있다. 상기 제2횟수는 예를 들어, 1회 또는 5회일 수 있다. 또 다른 실시예에 따르면, 상기 제1단말(200)의 사용자가 불량 사용자라고 연속으로 판정된 횟수가 상기 제2횟수 이상인 경우, 제어부(205)는 통신부(203)가 상기 적어도 일부의 전송을 차단하거나 상기 제1단말(200)의 사용자를 신고하도록 제어할 수 있다.
상기와 같이, 누적 횟수 또는 연속으로 판정된 횟수가 특정한 횟수 이상인 경우에 한해 전송이 차단되거나 제1단말(200)의 사용자가 신고됨으로써, 검사 결과에서 발생할 수 있는 간헐적인 판정 오류가 용인될 수 있다. 또한, 이로써 제1단말(200)의 보다 안정적인 동작이 확보될 수 있다.
다음으로, 상기 검사하는 단계(S240) 내지 상기 차단하거나 신고하는 단계(S260)를 일정하거나 일정하지 않은 주기마다 반복하는 단계(S270)가 수행될 수 있다. 예를 들어, 제어부(205)는 가장 최근에 상기 검사하는 단계(S240) 내지 상기 차단하거나 신고하는 단계(S260)를 수행한 후에, 적어도 10초가 지난 다음에 상기 검사하는 단계(S240) 내지 상기 차단하거나 신고하는 단계(S260)를 반복할 수 있다. 이로써 상기 제1단말(200)이 연속적으로 전송하고 있는 영상 또는 소리에 불량한 요소가 포함되어 있는지 여부가 꾸준히 검사될 수 있다.
상기와 같은 실시예에 따르면, 영상 통화 중인 사용자가 상대방에게 부적절한 영상 또는 소리를 전송하는 것이 방지될 수 있다. 또한, 사용자 간의 건전한 영상 통화가 유도될 수 있다.
도 10은 실시예에 따른 영상 통화 중개 방법이 수행되는 과정을 나타내는 순서도이다. 도 10을 참조하면, 먼저, 서버(100)가 복수의 단말로부터 중개 요청을 수신하는 단계(S300)가 수행될 수 있다.
다음으로, 상기 서버(100)가 상기 복수의 단말 중에서 제1단말(200) 및 제2단말(210) 사이의 영상 통화 연결을 중개하는 단계(S310)가 수행될 수 있다. 서버(100)는 상기 복수의 단말 중에서 제1단말(200) 및 제2단말(210)을 선택할 수 있다. 서버(100)는 상기 선택된 제1단말(200) 및 제2단말(210) 사이의 영상 통화 연결을 중개할 수 있다. 예를 들어, 서버(100)는 제1단말(200)에 대한 연결 정보를 제2단말(210)에 전송할 수 있다. 다른 예로서, 서버(100)는 제2단말(210)에 대한 연결 정보를 제1단말(200)에 전송할 수 있다.
다음으로, 상기 서버(100)가 상기 제1단말(200)로부터 상기 제1단말(200)이 촬영한 상기 제1단말(200)의 주변의 영상, 상기 제1단말(200)이 녹음한 상기 제1단말(200)의 주변에서 나는 소리, 상기 제1단말(200)이 상기 제2단말(210)로부터 수신한 영상, 또는 상기 제1단말(200)이 상기 제2단말(210)로부터 수신한 소리에 대한 상기 제1단말(200)의 검사 결과로서 상기 제1단말(200)의 사용자 또는 상기 제2단말(210)의 사용자가 불량 사용자라는 신고를 수신하는 단계(S320)가 수행될 수 있다.
제1단말(200)은 제1단말(200)이 촬영한 영상 또는 녹음한 소리를 검사할 수 있다. 상기 검사 결과 제1단말(200)의 사용자가 불량 사용자라고 판정된 경우, 제1단말(200)은 제1단말(200)의 사용자가 불량 사용자라는 신고를 서버(100)에 전송할 수 있다.
또한, 제1단말(200)은 제2단말(210)로부터 수신한 영상 또는 소리를 검사할 수 있다. 상기 검사 결과 제2단말(210)의 사용자가 불량 사용자라고 판정된 경우, 제1단말(200)은 제2단말(210)의 사용자가 불량 사용자라는 신고를 서버(100)에 전송할 수 있다.
다음으로, 상기 서버(100)가 상기 신고에 대한 응답으로 상기 신고된 사용자의 단말 및 감시 요원의 단말 사이의 영상 통화 연결을 중개하는 단계(S330)가 수행될 수 있다. 예를 들어, 제1단말(200)로부터 제1단말(200)의 사용자가 불량 사용자라는 신고를 수신한 경우를 가정하기로 한다. 서버(100)는 상기 신고에 대한 응답으로 제1단말(200) 및 제3단말(300) 사이의 영상 통화 연결을 중개할 수 있다. 상기 제3단말(300)은 감시 요원의 단말일 수 있다. 다시 말해서, 상기 제3단말(300)의 사용자는 감시 요원일 수 있다.
다음으로, 상기 서버(100)가 상기 감시 요원의 단말로부터 상기 신고된 사용자에 대한 검증 결과를 수신하는 단계(S340)가 수행될 수 있다. 상기 제3단말(300)의 사용자는 상기 제1단말(200)의 사용자와의 영상 통화를 수행한 후에, 상기 제1단말(200)의 사용자가 불량 사용자인지 여부에 대한 정보를 제3단말(300)에 입력할 수 있다. 제3단말(300)은 상기 제1단말(200)의 사용자에 대한 검증 결과로서 상기 입력된 정보를 서버(100)에 전송할 수 있다.
다음으로, 상기 서버(100)가 상기 수신된 검증 결과에 따라, 상기 신고된 사용자의 단말로부터의 추가적인 중개 요청을 거절하는 단계(S350)가 수행될 수 있다. 만약 상기 제1단말(200)의 사용자가 불량 사용자가 아니라고 검증된 경우, 서버(100)는 제1단말(200)로부터의 추가적인 중개 요청에 대한 응답으로 제1단말(200) 및 다른 단말 사이의 영상 통화 연결을 중개할 수 있다. 만약 상기 제1단말(200)의 사용자가 불량 사용자라고 검증된 경우, 서버(100)는 제1단말(200)로부터의 추가적인 중개 요청을 거절할 수 있다.
상기와 같은 실시예에 따르면, 불량 사용자라고 검증된 사용자의 단말로부터의 영상 통화 중개 요청이 거절됨으로써 사용자 간의 건전한 영상 통화가 유도될 수 있다.
이상에서 설명된 실시예에 따르면, 영상 통화 중인 사용자가 상대방으로부터의 부적절한 영상 또는 소리에 노출되는 것이 방지될 수 있다. 또한, 영상 통화 중인 사용자가 상대방에게 부적절한 영상 또는 소리를 전송하는 것이 방지될 수 있다. 또한, 영상 통화 중인 사용자가 상대방으로부터의 영상 또는 소리에 의해 느낄 수 있는 성적 수치심 또는 불쾌함이 방지될 수 있다. 또한, 사용자 간의 건전한 영상 통화가 유도될 수 있다.
이상에서 설명된 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함할 수 있다.
또한, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함할 수 있다.
이상에서 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
100: 서버
200: 제1 영상 통화 장치, 제1단말
201: 입력부
202: 저장부
203: 통신부
204: 출력부
205: 제어부
210: 제2 영상 통화 장치, 제2단말
300: 제3 영상 통화 장치, 제3단말
200: 제1 영상 통화 장치, 제1단말
201: 입력부
202: 저장부
203: 통신부
204: 출력부
205: 제어부
210: 제2 영상 통화 장치, 제2단말
300: 제3 영상 통화 장치, 제3단말
Claims (22)
- 임의의 사용자의 영상 또는 소리에 포함된 적어도 하나 이상의 특징점(feature) 및 상기 임의의 사용자가 불량 사용자인지 여부 사이의 상관관계에 대한 정보를 준비하는 단계;
제1단말과의 제1 영상 통화 세션을 수립하는 단계;
상기 제1 영상 통화 세션을 통해 상기 제1단말로부터 영상 또는 소리를 연속적으로 수신하는 단계;
상기 수신된 영상 또는 소리 중에서 최근의 특정한 시간 이내에 수신된 영상 또는 소리의 적어도 일부를 검사하는 단계;
상기 준비된 상관관계에 대한 정보 및 상기 최근의 특정한 시간 이내에 수신된 영상 또는 소리의 상기 적어도 일부를 이용하여 상기 제1 단말의 사용자가 불량 사용자인지 여부를 산출하는 단계; 및
상기 검사 결과에 따라, 상기 수신된 영상 또는 소리 중에서 적어도 일부의 출력을 차단하거나 상기 제1단말의 사용자를 불량(abusive) 사용자로서 제1서버에 신고하는 단계
를 포함하고,
상기 준비된 상관관계에 대한 정보는 적어도 하나 이상의 영상 또는 소리가 정상 사용자 또는 불량 사용자에 대응하는지 여부에 대한 정보를 이용하여 학습되는 기계학습 모델을 포함하며,
상기 기계학습 모델은 그 실행의 결과로, 검사 대상 영상 또는 소리가 불량한 요소를 포함할 확률, 상기 검사 대상 영상 또는 소리가 불량한 요소를 포함하지 않을 확률, 및 상기 검사 대상 영상 또는 소리가 특정한 불량한 요소를 포함할 확률에 대응하는 결과값을 산출하되,
상기 정상 사용자 또는 불량 사용자에 대응하는지 여부에 대한 정보는 제2 영상 통화 세션이 수립된 동안 획득되는 피드백에 기반하여 생성되며,
상기 산출하는 단계에서는 상기 각 확률의 크기를 고려하여 상기 제1 단말의 사용자가 불량 사용자인지 여부를 산출하는 영상 통화 방법. - 제1항에 있어서,
상기 검사하는 단계는,
상기 최근의 특정한 시간 이내에 수신된 영상 또는 소리의 상기 적어도 일부로부터 특정한 부분을 검출하는 단계
를 포함하는 영상 통화 방법. - 제2항에 있어서,
상기 특정한 부분을 검출하는 단계는,
상기 최근의 특정한 시간 이내에 수신된 영상의 상기 적어도 일부로부터 특정한 표정, 보디랭귀지, 또는 신체 부위에 대응하는 부분을 검출하는 단계
를 포함하는 영상 통화 방법. - 제3항에 있어서,
상기 특정한 표정, 보디랭귀지, 또는 신체 부위에 대응하는 상기 부분을 검출하는 단계는,
상기 최근의 특정한 시간 이내에 수신된 영상의 상기 적어도 일부로부터 욕 제스처, 모욕 제스처, 인종차별 제스처, 성적 컨텐츠, 알몸 노출(nudity), 성기, 성행위, 비위생적 컨텐츠, 배설물, 배설 행위, 반사회적 컨텐츠, 반인륜적 컨텐츠, 불법 행위, 범죄 행위, 증오범죄(hate crime), 폭력 행위, 학대 행위, 자해 행위, 무기, 마약, 반사회적 심볼, 혐오성(hateful) 컨텐츠, 위협성 컨텐츠, 공포증 유발(phobia-inducing) 컨텐츠, 또는 혈액 중에서 적어도 하나 이상에 대응하는 부분을 검출하는 단계
를 포함하는 영상 통화 방법. - 제2항에 있어서,
상기 검사하는 단계는,
상기 최근의 특정한 시간 이내에 수신된 소리의 상기 적어도 일부로부터 특정한 음성 또는 언어에 대응하는 부분을 검출하는 단계
를 포함하는 영상 통화 방법. - 제5항에 있어서,
상기 특정한 음성 또는 언어에 대응하는 상기 부분을 검출하는 단계는,
상기 최근의 특정한 시간 이내에 수신된 소리의 상기 적어도 일부로부터 욕설, 모욕, 인종차별, 명예훼손, 외설, 성희롱, 반사회적 행위, 반인륜적 행위, 테러, 증오언설(hate speech), 폭력, 학대, 마약, 위협 중에서 적어도 하나 이상에 관련된 언어에 대응하는 부분을 검출하는 단계
를 포함하는 영상 통화 방법. - 제2항에 있어서,
상기 검사하는 단계 이후 및 상기 차단하거나 신고하는 단계 이전에,
상기 검사하는 단계를 적어도 한 번 이상 반복하는 단계
를 더 포함하고,
상기 차단하거나 신고하는 단계는,
상기 제1 영상 통화 세션이 수립된 이후에 상기 특정한 부분이 검출된 누적 횟수가 제1횟수 이상이거나 또는 상기 특정한 부분이 연속으로 검출된 횟수가 제2횟수 이상인 경우, 상기 수신된 영상 또는 소리 중에서 상기 적어도 일부의 출력을 차단하거나 상기 제1단말의 사용자를 신고하는 단계
를 포함하는 영상 통화 방법. - 제1항에 있어서,
상기 검사하는 단계 내지 상기 차단하거나 신고하는 단계를 일정하거나 일정하지 않은 주기마다 반복하는 단계
를 더 포함하는 영상 통화 방법. - 제1항에 있어서,
상기 수신하는 단계 이후에,
상기 수신된 영상 또는 소리를 연속적으로 출력하는 단계
를 더 포함하는 영상 통화 방법. - 삭제
- 제1항에 있어서,
상기 상관관계에 대한 정보를 준비하는 단계는,
상기 상관관계에 대응하는 기계학습 모델을 준비하는 단계
를 포함하고,
상기 검사하는 단계는,
상기 준비된 기계학습 모델 및 상기 최근의 특정한 시간 이내에 수신된 영상 또는 소리의 상기 적어도 일부를 이용하여 상기 제1단말의 사용자가 불량 사용자인지 여부를 예측하는(predict) 단계
를 포함하는 영상 통화 방법. - 제11항에 있어서,
상기 기계학습 모델을 준비하는 단계는,
제2서버로부터 상기 기계학습 모델을 수신하는 단계
를 포함하는 영상 통화 방법. - 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 제1항의 영상 통화 방법을 컴퓨터에서 실행시키는 프로그램이 기록된 컴퓨터 판독 가능 기록 매체.
- 단말과의 영상 통화 세션을 수립하고, 상기 영상 통화 세션을 통해 상기 단말로부터 영상 또는 소리를 연속적으로 수신하는 통신부;
상기 수신된 영상 또는 소리를 연속적으로 출력하는 출력부;
상기 수신된 영상 또는 소리의 출력에 대한 응답으로 상기 출력된 영상 또는 소리가 불량한지 여부에 대한 피드백을 수신하는 입력부;
상기 피드백이 수신되는 시점에 출력된 영상 또는 소리를 수집하는 저장부; 및
상기 저장부에 의해 수집된 정보를 이용하여 학습된 기계학습 모델을 활용하여 상기 수신된 영상 또는 소리 중에서 최근의 특정한 시간 이내에 수신된 영상 또는 소리의 적어도 일부를 검사하는 제어부
를 포함하고,
상기 검사 결과에 따라, 상기 제어부는 상기 출력부가 상기 수신된 영상 또는 소리 중에서 적어도 일부의 출력을 차단하도록 제어하거나 상기 통신부가 상기 단말의 사용자를 불량(abusive) 사용자로서 서버에 신고하도록 제어하며,
상기 기계학습 모델은 그 실행의 결과로, 검사 대상 영상 또는 소리가 불량한 요소를 포함할 확률, 상기 검사 대상 영상 또는 소리가 불량한 요소를 포함하지 않을 확률, 및 상기 검사 대상 영상 또는 소리가 특정한 불량한 요소를 포함할 확률에 대응하는 결과값을 산출하되,
상기 제어부는 상기 각 확률의 크기를 고려하여 상기 단말의 사용자가 불량 사용자인지 여부를 판단하는 영상 통화 장치. - 삭제
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170048893A KR101932844B1 (ko) | 2017-04-17 | 2017-04-17 | 영상 통화 장치, 영상 통화 방법 및 영상 통화 중개 방법 |
| US16/605,657 US10965907B2 (en) | 2017-04-17 | 2018-01-17 | Video communication device, video communication method, and video communication mediating method |
| PCT/KR2018/000787 WO2018194243A1 (en) | 2017-04-17 | 2018-01-17 | Video communication device, video communication method, and video communication mediating method |
| US17/183,890 US11323659B2 (en) | 2017-04-17 | 2021-02-24 | Video communication device, video communication method, and video communication mediating method |
| US17/659,130 US11722638B2 (en) | 2017-04-17 | 2022-04-13 | Video communication device, video communication method, and video communication mediating method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170048893A KR101932844B1 (ko) | 2017-04-17 | 2017-04-17 | 영상 통화 장치, 영상 통화 방법 및 영상 통화 중개 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180116520A KR20180116520A (ko) | 2018-10-25 |
| KR101932844B1 true KR101932844B1 (ko) | 2018-12-27 |
Family
ID=63856376
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170048893A KR101932844B1 (ko) | 2017-04-17 | 2017-04-17 | 영상 통화 장치, 영상 통화 방법 및 영상 통화 중개 방법 |
Country Status (3)
| Country | Link |
|---|---|
| US (3) | US10965907B2 (ko) |
| KR (1) | KR101932844B1 (ko) |
| WO (1) | WO2018194243A1 (ko) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11553157B2 (en) | 2016-10-10 | 2023-01-10 | Hyperconnect Inc. | Device and method of displaying images |
| KR101932844B1 (ko) | 2017-04-17 | 2018-12-27 | 주식회사 하이퍼커넥트 | 영상 통화 장치, 영상 통화 방법 및 영상 통화 중개 방법 |
| CN110163050B (zh) * | 2018-07-23 | 2022-09-27 | 腾讯科技（深圳）有限公司 | 一种视频处理方法及装置、终端设备、服务器及存储介质 |
| CN109982124A (zh) * | 2019-03-26 | 2019-07-05 | 深圳创维－Rgb电子有限公司 | 用户场景智能分析方法、装置和存储介质 |
| KR102282963B1 (ko) * | 2019-05-10 | 2021-07-29 | 주식회사 하이퍼커넥트 | 단말기, 서버 및 그것의 동작 방법 |
| WO2021025574A1 (ru) * | 2019-08-05 | 2021-02-11 | Марк Александрович НЕЧАЕВ | Модераия аудио- и видеозвонков |
| KR102311603B1 (ko) * | 2019-10-01 | 2021-10-13 | 주식회사 하이퍼커넥트 | 단말기 및 그것의 동작 방법 |
| WO2021078565A1 (en) * | 2019-10-24 | 2021-04-29 | Signify Holding B.V. | System and method for space monitoring |
| KR102287704B1 (ko) | 2020-01-31 | 2021-08-10 | 주식회사 하이퍼커넥트 | 단말기, 그것의 동작 방법 및 컴퓨터 판독 가능한 기록매체 |
| KR102293422B1 (ko) | 2020-01-31 | 2021-08-26 | 주식회사 하이퍼커넥트 | 단말기 및 그것의 동작 방법 |
| EP3872779A1 (en) * | 2020-02-27 | 2021-09-01 | Axis AB | Method, software, and device for training an alarm system to classify audio of an event |
| KR20210115442A (ko) | 2020-03-13 | 2021-09-27 | 주식회사 하이퍼커넥트 | 신고 평가 장치 및 그것의 동작 방법 |
| TWI757940B (zh) * | 2020-10-29 | 2022-03-11 | 宏碁股份有限公司 | 視訊會議系統及其排除打擾的方法 |
| US11838684B2 (en) * | 2021-01-26 | 2023-12-05 | Dell Products, Lp | System and method for operating an intelligent videoframe privacy monitoring management system for videoconferencing applications |
| US20240121358A1 (en) * | 2021-03-11 | 2024-04-11 | Hewlett-Packard Development Company, L.P. | Meeting video substitutes |
| KR102576636B1 (ko) * | 2021-03-22 | 2023-09-11 | 하이퍼커넥트 유한책임회사 | 기계 학습 기반 영상 스트림 제공 방법 및 장치 |
| US11622147B2 (en) * | 2021-07-22 | 2023-04-04 | Popio Mobile Video Cloud, Llc | Blurring digital video streams upon initiating digital video communications |
| US11895101B2 (en) * | 2021-11-22 | 2024-02-06 | Dell Products, L.P. | Machine learning development hub |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100844334B1 (ko) * | 2007-06-07 | 2008-07-08 | 엘지전자 주식회사 | 이동통신 단말기의 디스플레이 제어장치 및 방법 |
Family Cites Families (129)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0690279A (ja) | 1992-09-08 | 1994-03-29 | Fujitsu General Ltd | イタズラ電話撃退装置 |
| JPH09200714A (ja) | 1996-01-17 | 1997-07-31 | Casio Comput Co Ltd | テレビ電話付き画像処理装置 |
| JP3642716B2 (ja) | 2000-04-19 | 2005-04-27 | 三菱電機株式会社 | テレビ電話装置及び通話方法 |
| KR20010000426A (ko) | 2000-09-28 | 2001-01-05 | 김용환 | 지능형 영상 인터페이스 방법 |
| US20030028875A1 (en) | 2001-05-02 | 2003-02-06 | Koninklijke Philips Electronics N.V. | Television access control system |
| EP1311124A1 (en) | 2001-11-13 | 2003-05-14 | Matsushita Electric Industrial Co., Ltd. | Selective protection method for images transmission |
| JP3838506B2 (ja) | 2001-11-13 | 2006-10-25 | 松下電器産業株式会社 | 画像を用いる通信方法及びその装置 |
| US20030126267A1 (en) | 2001-12-27 | 2003-07-03 | Koninklijke Philips Electronics N.V. | Method and apparatus for preventing access to inappropriate content over a network based on audio or visual content |
| US7360234B2 (en) | 2002-07-02 | 2008-04-15 | Caption Tv, Inc. | System, method, and computer program product for selective filtering of objectionable content from a program |
| US8245252B2 (en) | 2002-09-10 | 2012-08-14 | Caption Tv, Inc. | System, method, and computer program product for selective replacement of objectionable program content with less-objectionable content |
| KR100927271B1 (ko) | 2003-01-13 | 2009-11-18 | 엘지전자 주식회사 | 디스플레이 장치의 시청 제한 방법 |
| US7321384B1 (en) | 2003-06-03 | 2008-01-22 | Cisco Technology, Inc. | Method and apparatus for using far end camera control (FECC) messages to implement participant and layout selection in a multipoint videoconference |
| US8254674B2 (en) | 2004-10-28 | 2012-08-28 | DigitalOptics Corporation Europe Limited | Analyzing partial face regions for red-eye detection in acquired digital images |
| US7444403B1 (en) | 2003-11-25 | 2008-10-28 | Microsoft Corporation | Detecting sexually predatory content in an electronic communication |
| US8977063B2 (en) | 2005-03-09 | 2015-03-10 | Qualcomm Incorporated | Region-of-interest extraction for video telephony |
| JP2006270380A (ja) | 2005-03-23 | 2006-10-05 | Victor Co Of Japan Ltd | 画像情報送信装置 |
| US7564476B1 (en) | 2005-05-13 | 2009-07-21 | Avaya Inc. | Prevent video calls based on appearance |
| WO2007030951A1 (en) * | 2005-09-16 | 2007-03-22 | Eyeball Networks Inc. | Method and system to prevent spam over internet telephony |
| US20080012935A1 (en) | 2005-11-22 | 2008-01-17 | Gateway Inc. | Inappropriate content detection and distribution prevention for wireless cameras/camcorders with e-mail capabilities and camera phones |
| US20070195158A1 (en) | 2006-02-23 | 2007-08-23 | Kies Jonathan K | Apparatus and methods for managing video calls on a wireless device |
| US20080059198A1 (en) | 2006-09-01 | 2008-03-06 | Pudding Ltd. | Apparatus and method for detecting and reporting online predators |
| US7911513B2 (en) | 2007-04-20 | 2011-03-22 | General Instrument Corporation | Simulating short depth of field to maximize privacy in videotelephony |
| GB0709574D0 (en) | 2007-05-18 | 2007-06-27 | Aurix Ltd | Speech Screening |
| US8253770B2 (en) | 2007-05-31 | 2012-08-28 | Eastman Kodak Company | Residential video communication system |
| KR100882476B1 (ko) | 2007-06-14 | 2009-02-06 | 유성준 | 음란성 이미지의 판별 방법과 그 장치 |
| US8165416B2 (en) | 2007-06-29 | 2012-04-24 | Microsoft Corporation | Automatic gain and exposure control using region of interest detection |
| US20090041311A1 (en) | 2007-08-09 | 2009-02-12 | Jon Hundley | Facial recognition based content blocking system |
| JP2008159034A (ja) | 2007-11-07 | 2008-07-10 | Fujitsu Ltd | サーバおよび音声信号収集配信方法 |
| US8230011B2 (en) | 2008-03-03 | 2012-07-24 | John Vandenburgh | Networked computer alert system |
| US20090288131A1 (en) | 2008-05-13 | 2009-11-19 | Porto Technology, Llc | Providing advance content alerts to a mobile device during playback of a media item |
| US8223187B2 (en) | 2008-07-17 | 2012-07-17 | Cisco Technology, Inc. | Non-bandwidth intensive method for providing multiple levels of censoring in an A/V stream |
| KR101450580B1 (ko) | 2008-11-19 | 2014-10-14 | 삼성전자주식회사 | 이미지 합성 방법 및 장치 |
| US8904547B2 (en) | 2009-01-05 | 2014-12-02 | International Business Machines Corporation | Notification upon exposure to offensive behavioral patterns in collaboration |
| US8441356B1 (en) | 2009-02-16 | 2013-05-14 | Handhold Adaptive, LLC | Methods for remote assistance of disabled persons |
| KR101639392B1 (ko) | 2009-08-20 | 2016-07-22 | 엘지전자 주식회사 | 이동 단말기 |
| KR101189053B1 (ko) | 2009-09-05 | 2012-10-10 | 에스케이플래닛 주식회사 | 아바타 기반 화상 통화 방법 및 시스템, 이를 지원하는 단말기 |
| CN101668157B (zh) | 2009-09-24 | 2011-09-21 | 中兴通讯股份有限公司 | 用于视频通话中隐私保护的方法、应用服务器及*** |
| JP2011082694A (ja) | 2009-10-05 | 2011-04-21 | Sharp Corp | 通信会議システム及び通信装置 |
| KR101384317B1 (ko) | 2009-12-21 | 2014-04-14 | 한국전자통신연구원 | 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 장치 및 방법 |
| US8626879B2 (en) * | 2009-12-22 | 2014-01-07 | Sling Media, Inc. | Systems and methods for establishing network connections using local mediation services |
| US8301653B2 (en) | 2010-01-25 | 2012-10-30 | Glenn Adamousky | System and method for capturing and reporting online sessions |
| JP2011205243A (ja) | 2010-03-24 | 2011-10-13 | Sharp Corp | 情報処理装置、会議システム、情報処理方法及びコンピュータプログラム |
| US8856165B1 (en) * | 2010-03-26 | 2014-10-07 | Google Inc. | Ranking of users who report abuse |
| US8826322B2 (en) | 2010-05-17 | 2014-09-02 | Amazon Technologies, Inc. | Selective content presentation engine |
| JP5442547B2 (ja) | 2010-07-08 | 2014-03-12 | 株式会社Ｎｔｔドコモ | コンテンツ推薦装置及び方法 |
| JP2012054897A (ja) | 2010-09-03 | 2012-03-15 | Sharp Corp | 会議システム、情報処理装置、及び情報処理方法 |
| US9313450B2 (en) | 2010-09-10 | 2016-04-12 | Nec Corporation | Mobile terminal, remote operation system, data transmission control method by mobile terminal, and non-transitory computer readable medium |
| US8526728B2 (en) | 2010-12-21 | 2013-09-03 | Microsoft Corporation | Establishing clusters of user preferences for image enhancement |
| JP5771998B2 (ja) | 2011-01-13 | 2015-09-02 | 株式会社ニコン | 電子機器および電子機器の制御プログラム |
| CN103238311A (zh) | 2011-01-13 | 2013-08-07 | 株式会社尼康 | 电子设备及电子设备的控制程序 |
| EP2693745A4 (en) | 2011-03-30 | 2015-04-01 | Fujitsu Ltd | INFORMATION PROCESSING DEVICE COMPRISING IMAGE TRANSMISSION CONTROL FUNCTION |
| EP2515526A3 (en) | 2011-04-08 | 2014-12-24 | FotoNation Limited | Display device with image capture and analysis module |
| KR101237469B1 (ko) | 2011-05-12 | 2013-02-26 | 재단법인 서울호서직업전문학교 | 음란 이미지 자동 인식 방법, 장치 및 그 방법을 실행하기 위한 프로그램 기록매체 |
| US8970653B2 (en) | 2011-06-16 | 2015-03-03 | Vtel Products Corporation, Inc. | Video conference control system and method |
| NO334029B1 (no) | 2011-09-30 | 2013-11-18 | Cisco Tech Inc | System og fremgangsmåte for etablering av videokonferansesesjon med justerbart filter for markering av tilstedeværelsesnivå i endepunkter |
| KR101394597B1 (ko) | 2012-05-09 | 2014-05-27 | 김명훈 | 얼굴검출 알고리즘을 이용한 영상보안장치와 영상보안시스템 및 얼굴검출 알고리즘을 이용한 영상보안방법 |
| KR101936802B1 (ko) | 2012-07-20 | 2019-01-09 | 한국전자통신연구원 | 얼굴인식 기반의 개인정보보호 장치 및 방법 |
| US9288387B1 (en) | 2012-09-11 | 2016-03-15 | Amazon Technologies, Inc. | Content display controls based on environmental factors |
| US9501702B2 (en) * | 2012-12-11 | 2016-11-22 | Unify Gmbh & Co. Kg | Method of processing video data, device, computer program product, and data construct |
| US20150070516A1 (en) * | 2012-12-14 | 2015-03-12 | Biscotti Inc. | Automatic Content Filtering |
| US9154709B2 (en) | 2012-12-21 | 2015-10-06 | Google Inc. | Recommending transformations for photography |
| KR101800617B1 (ko) | 2013-01-02 | 2017-12-20 | 삼성전자주식회사 | 디스플레이 장치 및 이의 화상 통화 방법 |
| US9013536B2 (en) | 2013-03-13 | 2015-04-21 | Futurewei Technologies, Inc. | Augmented video calls on mobile devices |
| US9716599B1 (en) | 2013-03-14 | 2017-07-25 | Ca, Inc. | Automated assessment of organization mood |
| EP2782326B1 (en) | 2013-03-20 | 2022-04-27 | Samsung Electronics Co., Ltd. | Method and apparatus for processing an image based on an image property and ambient environment information |
| US9230328B1 (en) | 2013-06-28 | 2016-01-05 | Google Inc. | Providing image parameters |
| CN103413270A (zh) | 2013-08-15 | 2013-11-27 | 北京小米科技有限责任公司 | 一种图像的处理方法、装置和终端设备 |
| JP6110503B2 (ja) | 2013-09-24 | 2017-04-05 | 日立マクセル株式会社 | テレビ通話装置 |
| EP2887625A1 (en) * | 2013-12-19 | 2015-06-24 | Alcatel Lucent | Method for real-time reporting and prevention of call abuse |
| US9460340B2 (en) | 2014-01-31 | 2016-10-04 | Google Inc. | Self-initiated change of appearance for subjects in video and images |
| CN104836977B (zh) | 2014-02-10 | 2018-04-24 | 阿里巴巴集团控股有限公司 | 即时通讯过程中的视频通讯方法及*** |
| EP3134873A1 (en) | 2014-04-25 | 2017-03-01 | Sony Corporation | Processing digital photographs in response to external applications |
| US9451335B2 (en) * | 2014-04-29 | 2016-09-20 | At&T Intellectual Property I, Lp | Method and apparatus for augmenting media content |
| WO2015171934A1 (en) | 2014-05-09 | 2015-11-12 | Google Inc. | Providing pre-edits for photos |
| US9462112B2 (en) | 2014-06-19 | 2016-10-04 | Microsoft Technology Licensing, Llc | Use of a digital assistant in communications |
| US20150370907A1 (en) | 2014-06-19 | 2015-12-24 | BrightSky Labs, Inc. | Systems and methods for intelligent filter application |
| US9531998B1 (en) | 2015-07-02 | 2016-12-27 | Krush Technologies, Llc | Facial gesture recognition and video analysis tool |
| EP3164200A4 (en) | 2014-07-03 | 2018-02-28 | Krush Technologies, LLC | Electronically mediated reaction game |
| US9225897B1 (en) | 2014-07-07 | 2015-12-29 | Snapchat, Inc. | Apparatus and method for supplying content aware photo filters |
| US9858470B2 (en) | 2014-07-18 | 2018-01-02 | Htc Corporation | Method for performing a face tracking function and an electric device having the same |
| US9646227B2 (en) * | 2014-07-29 | 2017-05-09 | Microsoft Technology Licensing, Llc | Computerized machine learning of interesting video sections |
| US9282287B1 (en) | 2014-09-09 | 2016-03-08 | Google Inc. | Real-time video transformations in video conferences |
| US9516220B2 (en) | 2014-10-02 | 2016-12-06 | Intel Corporation | Interactive video conferencing |
| KR20160051390A (ko) | 2014-11-03 | 2016-05-11 | 삼성전자주식회사 | 전자장치 및 전자장치의 필터 제공 방법 |
| JP6492638B2 (ja) | 2014-12-25 | 2019-04-03 | セイコーエプソン株式会社 | 表示装置、及び、表示装置の制御方法 |
| US9754355B2 (en) | 2015-01-09 | 2017-09-05 | Snap Inc. | Object recognition based photo filters |
| US9503456B1 (en) | 2015-01-22 | 2016-11-22 | Google Inc. | Video chat abuse detection based on external context |
| US9380264B1 (en) * | 2015-02-16 | 2016-06-28 | Siva Prasad Vakalapudi | System and method for video communication |
| US9569697B1 (en) | 2015-02-19 | 2017-02-14 | Google Inc. | Object oriented image editing |
| US9576190B2 (en) | 2015-03-18 | 2017-02-21 | Snap Inc. | Emotion recognition in video conferencing |
| WO2016189350A1 (en) | 2015-05-23 | 2016-12-01 | Yogesh Chunilal Rathod | Calling to user(s) for real-time sharing, participation, e-commerce, workflow, communication & collaboration in the event of acceptance of call by caller user(s) |
| US20160350675A1 (en) * | 2015-06-01 | 2016-12-01 | Facebook, Inc. | Systems and methods to identify objectionable content |
| US10198667B2 (en) * | 2015-09-02 | 2019-02-05 | Pocketguardian, Llc | System and method of detecting offensive content sent or received on a portable electronic device |
| KR20170059201A (ko) | 2015-11-20 | 2017-05-30 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 컨텐츠 출력 방법 |
| KR101751620B1 (ko) | 2015-12-15 | 2017-07-11 | 라인 가부시키가이샤 | 시각적 또는 청각적 효과의 양방향 전달을 이용한 영상 통화 방법 및 시스템 |
| KR20170082349A (ko) | 2016-01-06 | 2017-07-14 | 삼성전자주식회사 | 디스플레이 장치 및 그 제어 방법 |
| BR102016007265B1 (pt) * | 2016-04-01 | 2022-11-16 | Samsung Eletrônica da Amazônia Ltda. | Método multimodal e em tempo real para filtragem de conteúdo sensível |
| US10104025B2 (en) | 2016-05-23 | 2018-10-16 | Oath Inc. | Virtual chat rooms |
| US9848167B1 (en) | 2016-06-21 | 2017-12-19 | Amazon Technologies, Inc. | Low bandwidth video |
| KR20180000255A (ko) | 2016-06-22 | 2018-01-02 | 엘지전자 주식회사 | 이동 단말기 및 그 이동 단말기의 제어 방법 |
| JP2017228224A (ja) | 2016-06-24 | 2017-12-28 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
| KR20180039402A (ko) | 2016-10-10 | 2018-04-18 | 주식회사 하이퍼커넥트 | 영상 표시 장치 및 영상 표시 방법 |
| US11553157B2 (en) | 2016-10-10 | 2023-01-10 | Hyperconnect Inc. | Device and method of displaying images |
| US10349126B2 (en) | 2016-12-19 | 2019-07-09 | Samsung Electronics Co., Ltd. | Method and apparatus for filtering video |
| US10349224B2 (en) | 2017-01-24 | 2019-07-09 | Essential Products, Inc. | Media and communications in a connected environment |
| US10754965B2 (en) | 2017-03-08 | 2020-08-25 | Blackberry Limited | Data messaging with privacy tokens |
| KR101932844B1 (ko) | 2017-04-17 | 2018-12-27 | 주식회사 하이퍼커넥트 | 영상 통화 장치, 영상 통화 방법 및 영상 통화 중개 방법 |
| KR101967658B1 (ko) | 2017-05-27 | 2019-04-29 | 주식회사 하이퍼커넥트 | 영상 통화 장치 및 영상 통화 방법 |
| KR102283972B1 (ko) | 2017-07-14 | 2021-08-02 | 주식회사 하이퍼커넥트 | 통신 장치, 서버 및 동작 방법 |
| KR102312861B1 (ko) | 2017-08-09 | 2021-10-15 | 주식회사 하이퍼커넥트 | 통신 장치, 서버 및 통신 방법 |
| JP2019047357A (ja) | 2017-09-04 | 2019-03-22 | キヤノン株式会社 | 撮像装置付き表示装置 |
| KR101989842B1 (ko) | 2017-12-07 | 2019-06-17 | 주식회사 하이퍼커넥트 | 단말기 및 그것의 영상 처리 방법 |
| KR102056806B1 (ko) | 2017-12-15 | 2019-12-18 | 주식회사 하이퍼커넥트 | 영상 통화 서비스를 제공하는 단말과 서버 |
| KR102044242B1 (ko) | 2017-12-27 | 2019-11-13 | 주식회사 하이퍼커넥트 | 영상 통화 서비스를 제공하는 단말 및 서버 |
| KR102079091B1 (ko) | 2018-01-31 | 2020-02-19 | 주식회사 하이퍼커넥트 | 단말기 및 그것의 이미지 처리 방법 |
| KR20190098518A (ko) | 2018-02-14 | 2019-08-22 | 주식회사 하이퍼커넥트 | 서버 및 그것의 동작 방법 |
| WO2019217251A1 (en) | 2018-05-05 | 2019-11-14 | Tangosquared Llc | Novel decency filtration tools and their use in interfacing systems |
| JP2020010158A (ja) | 2018-07-06 | 2020-01-16 | 本田技研工業株式会社 | 周辺画像の提供方法、及び通信端末用プログラム |
| US10440063B1 (en) | 2018-07-10 | 2019-10-08 | Eturi Corp. | Media device content review and management |
| US10440324B1 (en) | 2018-09-06 | 2019-10-08 | Amazon Technologies, Inc. | Altering undesirable communication data for communication sessions |
| KR102266888B1 (ko) | 2018-12-31 | 2021-06-21 | 주식회사 하이퍼커넥트 | 영상 통화 서비스를 제공하는 단말기 및 서버 |
| US10810726B2 (en) | 2019-01-30 | 2020-10-20 | Walmart Apollo, Llc | Systems and methods for detecting content in images using neural network architectures |
| US20200335089A1 (en) | 2019-04-16 | 2020-10-22 | International Business Machines Corporation | Protecting chat with artificial intelligence |
| KR102282963B1 (ko) | 2019-05-10 | 2021-07-29 | 주식회사 하이퍼커넥트 | 단말기, 서버 및 그것의 동작 방법 |
| WO2020250082A1 (ja) | 2019-06-14 | 2020-12-17 | 株式会社半導体エネルギー研究所 | ユーザーの感情に応じた動作を実行する情報処理装置 |
| US11330313B2 (en) | 2019-08-02 | 2022-05-10 | Dell Products L.P. | Crowd rating media content based on micro-expressions of viewers |
| KR102311603B1 (ko) | 2019-10-01 | 2021-10-13 | 주식회사 하이퍼커넥트 | 단말기 및 그것의 동작 방법 |
| KR102287704B1 (ko) | 2020-01-31 | 2021-08-10 | 주식회사 하이퍼커넥트 | 단말기, 그것의 동작 방법 및 컴퓨터 판독 가능한 기록매체 |
| KR102293422B1 (ko) | 2020-01-31 | 2021-08-26 | 주식회사 하이퍼커넥트 | 단말기 및 그것의 동작 방법 |
-
2017
- 2017-04-17 KR KR1020170048893A patent/KR101932844B1/ko active IP Right Grant
-
2018
- 2018-01-17 WO PCT/KR2018/000787 patent/WO2018194243A1/en active Application Filing
- 2018-01-17 US US16/605,657 patent/US10965907B2/en active Active
-
2021
- 2021-02-24 US US17/183,890 patent/US11323659B2/en active Active
-
2022
- 2022-04-13 US US17/659,130 patent/US11722638B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100844334B1 (ko) * | 2007-06-07 | 2008-07-08 | 엘지전자 주식회사 | 이동통신 단말기의 디스플레이 제어장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2018194243A1 (en) | 2018-10-25 |
| KR20180116520A (ko) | 2018-10-25 |
| US20200137352A1 (en) | 2020-04-30 |
| US20210203880A1 (en) | 2021-07-01 |
| US11722638B2 (en) | 2023-08-08 |
| US10965907B2 (en) | 2021-03-30 |
| US20220239862A1 (en) | 2022-07-28 |
| US11323659B2 (en) | 2022-05-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101932844B1 (ko) | 영상 통화 장치, 영상 통화 방법 및 영상 통화 중개 방법 | |
| KR101967658B1 (ko) | 영상 통화 장치 및 영상 통화 방법 | |
| US11184582B2 (en) | Terminal and operating method thereof | |
| US20170124834A1 (en) | Systems and methods for secure collection of surveillance data | |
| US10284820B2 (en) | Covert monitoring and recording of audio and video in controlled-environment facilities | |
| US11394922B2 (en) | Terminal and operating method thereof | |
| US11716424B2 (en) | Video call mediation method | |
| KR20190007934A (ko) | 통신 장치, 서버 및 동작 방법 | |
| CN111222493B (zh) | 一种视频处理方法及装置 | |
| WO2021047069A1 (zh) | 人脸识别方法和电子终端设备 | |
| US11553157B2 (en) | Device and method of displaying images | |
| CN109951476A (zh) | 基于时序的攻击预测方法、装置及存储介质 | |
| WO2017219497A1 (zh) | 消息生成方法及装置 | |
| US11418757B1 (en) | Controlled-environment facility video communications monitoring system | |
| CN109842612A (zh) | 基于图库模型的日志安全分析方法、装置及存储介质 | |
| Anderez et al. | The rise of technology in crime prevention: Opportunities, challenges and practitioners perspectives | |
| CN104378596B (zh) | 一种与摄像设备进行远程通话的方法及装置 | |
| CN109598120A (zh) | 移动终端的安全态势智能分析方法、装置及存储介质 | |
| CN107316207A (zh) | 一种获取展示效果信息的方法和装置 | |
| KR102293416B1 (ko) | 통신 장치, 서버 및 그것의 통신 방법 | |
| US10893232B1 (en) | Controlled-environment facility video communications monitoring system | |
| US20160328474A1 (en) | Data recording and data recording apparatus | |
| CN116863553A (zh) | 考勤方法、装置、计算机设备和存储介质 | |
| KR20210046393A (ko) | 단말기 및 그것의 동작 방법 | |
| CN109614449A (zh) | 基于lwsvr进行移动终端数据关联分析的方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |