KR20210098265A - 단말기 및 그것의 동작 방법 - Google Patents
단말기 및 그것의 동작 방법 Download PDFInfo
- Publication number
- KR20210098265A KR20210098265A KR1020200012233A KR20200012233A KR20210098265A KR 20210098265 A KR20210098265 A KR 20210098265A KR 1020200012233 A KR1020200012233 A KR 1020200012233A KR 20200012233 A KR20200012233 A KR 20200012233A KR 20210098265 A KR20210098265 A KR 20210098265A
- Authority
- KR
- South Korea
- Prior art keywords
- terminal
- video
- image
- specific event
- user
- Prior art date
Links
- 238000011017 operating method Methods 0.000 title description 5
- 238000004891 communication Methods 0.000 claims abstract description 38
- 230000005540 biological transmission Effects 0.000 claims abstract description 32
- 238000000034 method Methods 0.000 claims description 34
- 238000013145 classification model Methods 0.000 claims description 10
- 238000012544 monitoring process Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 6
- 230000001568 sexual effect Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000001939 inductive effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/253—Telephone sets using digital voice transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
- H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
- H04M1/72463—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions to restrict the functionality of the device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/454—Content or additional data filtering, e.g. blocking advertisements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/454—Content or additional data filtering, e.g. blocking advertisements
- H04N21/4542—Blocking scenes or portions of the received content, e.g. censoring scenes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
- H04M2201/34—Microprocessors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
- H04M2201/50—Telephonic communication in combination with video communication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
- H04N2007/145—Handheld terminals
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Environmental & Geological Engineering (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Business, Economics & Management (AREA)
- Biodiversity & Conservation Biology (AREA)
- Ecology (AREA)
- Emergency Management (AREA)
- Environmental Sciences (AREA)
- Remote Sensing (AREA)
- User Interface Of Digital Computer (AREA)
- Telephonic Communication Services (AREA)
- Telephone Function (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
단말기는 제1 사용자를 촬영한 제1 영상을 수신하는 입출력 인터페이스, 영상 통화 세션을 통해, 제1 영상 또는 제1 사용자의 제1 음성을 상대방 단말기에 전송하고, 상대방 단말기에 의해 획득되는 제2 영상 또는 제2 음성을 수신하는 통신 인터페이스, 제1 영상 및 제2 영상을 표시하는 디스플레이, 및 영상 통화 세션 중 특정 이벤트를 검출하고, 특정 이벤트가 검출되면 제1 영상 또는 제1 음성에 부적절한 요소가 포함되어 있는지 판단하고, 판단 결과에 따라, 제1 영상 또는 제1 음성의 전송을 중지하는 프로세서를 포함할 수 있다.
Description
기재된 실시예는 상대방과 영상 통화를 하는 사용자가 상대방으로부터의 부적절한 영상에 노출되는 것을 방지할 수 있는 단말기 및 그것의 동작 방법에 관한 것이다.
통신 기술이 발전되고 전자 장치가 소형화됨에 따라 개인용 단말기가 일반 소비자에게 널리 보급되고 있다. 특히 최근에는 스마트폰 또는 스마트 태블릿과 같은 휴대용 개인 단말기가 널리 보급되고 있다. 단말기의 대부분은 통신 기능을 포함하고 있다. 사용자는 단말기를 이용하여 인터넷에서 검색을 수행하거나 다른 사용자와 메시지를 주고받을 수 있다.
또한, 소형 카메라 기술, 소형 마이크 기술, 소형 디스플레이 기술 및 소형 스피커 기술의 발전에 따라 스마트폰과 같은 대부분의 단말기에는 카메라, 마이크, 디스플레이 및 스피커가 포함되어 있다. 사용자는 단말기를 이용하여 음성을 녹음하거나 음성이 포함된 동영상을 촬영할 수 있다. 사용자는 단말기에 포함된 스피커를 통해 상기 녹음된 음성을 확인하거나 디스플레이를 통해 촬영된 동영상을 확인할 수 있다.
또한, 사용자는 단말기의 통신 기능을 이용하여 녹음된 음성 또는 상기 촬영된 동영상을 다른 사용자와 공유할 수 있다. 사용자는 이전에 녹음된 음성 또는 이전에 촬영된 동영상을 다른 사용자에게 전송할 수 있다. 또한, 사용자는 단말기에 의해 현재 녹음되고 있는 음성 또는 현재 촬영되고 있는 동영상을 실시간으로 다른 사용자에게 전송할 수 있다.
동시에, 다른 사용자는 자신의 단말에 의해 현재 녹음되고 있는 음성 또는 현재 촬영되고 있는 동영상을 실시간으로 사용자에게 전송할 수 있다. 사용자의 단말기에 포함된 디스플레이는 사용자의 단말기에 의해 현재 촬영되고 있는 동영상 및 다른 사용자의 단말기에 의해 현재 촬영되고 있는 동영상을 동시에 표시할 수 있다. 또한, 사용자 및 다른 사용자는 각자의 단말을 이용하여 서로 영상 통화(video call)를 할 수 있다.
사용자가 상대방과 서로 영상 통화를 할 때, 사용자는 상대방으로부터의 음란한 영상에 노출될 수 있다. 예를 들어, 상대방의 단말기에 의해 촬영된 상대방의 벌거벗은 신체의 영상이 영상 통화 세션을 통해 사용자의 단말기에 수신될 수 있다. 사용자의 단말기가 수신된 영상을 표시함으로써 사용자는 음란한 영상에 노출될 수 있다. 사용자가 자신이 원하지 않는 음란한 영상에 노출된 경우 사용자는 성적 수치심 또는 불쾌함을 느낄 수 있다.
기재된 실시예에 따르면 상대방과 영상 통화를 하는 사용자가 상대방으로부터의 음란한 영상에 노출되는 것을 방지할 수 있는 단말기 및 그것의 동작 방법이 제공될 수 있다.
또한, 상대방과 영상 통화를 하는 사용자가 상대방으로부터의 영상에 의해 느낄 수 있는 성적 수치심 또는 불쾌함을 방지할 수 있는 단말기 및 그것의 동작 방법이 제공될 수 있다.
또한, 사용자 간의 건전한 영상 통화를 유도할 수 있는 단말기 및 그것의 동작 방법이 제공될 수 있다.
일 개시에 의하여, 컴퓨터 판독 가능 저장매체에 저장된 애플리케이션을 제공하며, 애플리케이션은 제1 단말기 및 제2 단말기 사이에 영상 통화 세션을 수립하는 단계, 제1 단말기로부터 제1 사용자를 촬영한 제1 영상을 제2 단말기로 전송하는 단계, 제2 단말기로부터 제2 사용자를 촬영한 제2 영상을 제1 단말기로 전송하는 단계, 영상 통화 세션 중 제1 단말기가 특정 이벤트를 검출하는 단계, 특정 이벤트가 검출되면, 제1 단말기가 제1 영상 또는 제1 사용자의 음성에 부적절한 요소가 포함되어 있는지 판단하는 단계 및 판단 결과에 따라 제1 단말기가 제1 영상 또는 제1 사용자의 음성의 전송을 중지하는 단계를 포함할 수 있다.
또는, 특정 이벤트는 제1 단말기의 디스플레이가 임의의 방향으로 임계 각속도를 초과하는 각속도로 기울어지는 이벤트일 수 있다.
또는 제1 단말기가 제1 영상에 부적절한 요소가 포함되어 있는지 판단하는 단계는 각속도와 부적절한 요소의 상관관계를 학습한 분류 모델을 이용하여 특정 이벤트가 검출된 이후에 수신되는 제1 영상에 부적절한 요소가 포함되어 있는지 판단할 수 있다.
또는, 특정 이벤트는 제1 단말기에 포함된 카메라에서 임계 속도를 초과하는 속도로 제1 사용자의 얼굴이 사라지는 이벤트일 수 있다.
또는, 애플리케이션은 제1 단말기가 제1 영상의 전송을 중지하는 경우, 제2 단말기는 제1 영상 대신 대체 영상을 표시하는 단계를 더 포함할 수 있다.
또는, 애플리케이션은 제1 단말기가 제1 영상 또는 제1 사용자의 음성의 전송을 중지한 이후에 제1 단말기에서 생성되는 영상 또는 음성에 부적절한 요소가 포함되어 있는지 소정의 시간 간격으로 모니터링하는 단계 및 모니터링 결과 부적절한 요소가 발견되지 않은 경우, 제1 단말기에서 생성되는 영상 또는 음성의 전송을 재개하는 단계를 더 포함할 수 있다.
또는, 특정 이벤트는 제1 특정 이벤트이고, 애플리케이션은 제1 단말기가 제1 영상 또는 제1 사용자의 음성의 전송을 중지한 이후에 제1 단말기가 제2 특정 이벤트를 검출하는 단계, 제2 특정 이벤트가 검출되면, 제2 특정 이벤트가 검출된 이후에 제1 단말기에서 생성되는 영상 또는 음성에 부적절한 요소가 포함되어 있는지 판단하는 단계, 및 제2 특정 이벤트가 검출된 이후에 제1 단말기에서 생성되는 영상 또는 음성에 부적절한 요소가 포함되지 않은 경우, 제1 단말기에서 생성되는 영상 또는 음성의 전송을 재개하는 단계를 더 포함할 수 있다.
또는, 특정 이벤트는 제1 단말기의 디스플레이가 임의의 방향으로 임계 각도를 초과하여 기울어지는 이벤트일 수 있다.
본 발명의 실시예에 따른 단말기는 제1 사용자를 촬영한 제1 영상을 수신하는 입출력 인터페이스, 영상 통화 세션을 통해, 제1 영상 또는 제1 사용자의 제1 음성을 상대방 단말기에 전송하고, 상대방 단말기에 의해 획득되는 제2 영상 또는 제2 음성을 수신하는 통신 인터페이스, 제1 영상 및 제2 영상을 표시하는 디스플레이, 및 영상 통화 세션 중 특정 이벤트를 검출하고, 특정 이벤트가 검출되면 제1 영상 또는 제1 음성에 부적절한 요소가 포함되어 있는지 판단하고, 판단 결과에 따라, 제1 영상 또는 제1 음성의 전송을 중지하는 프로세서를 포함할 수 있다.
또는, 단말기는 디스플레이가 임의의 방향으로 임계 각속도를 초과하는 각속도로 기울어지거나, 디스플레이가 임의의 방향으로 임계 각도를 초과하여 기울어지는 경우 특정 이벤트를 검출하는 자이로 센서를 더 포함할 수 있다.
또는, 프로세서는 각속도 및 각도와 부적절한 요소와의 상관관계를 학습한 분류 모델을 준비하고, 분류 모델을 이용하여 특정 이벤트가 검출된 이후에 수신되는 제1 영상에 부적절한 요소가 포함되어 있는지 판단할 수 있다.
또는, 프로세서는 제1 영상 또는 제1 음성의 전송을 중지한 이후에 수신되는 영상 또는 음성에 부적절한 요소가 포함되어 있는지 소정의 시간 간격으로 모니터링하고, 모니터링 결과 부적절한 요소가 발견되지 않은 경우, 영상 또는 음성의 전송을 재개할 수 있다.
또는, 특정 이벤트는 제1 특정 이벤트이고, 프로세서는 제1 영상 또는 제1 음성의 전송을 중지한 이후에 제2 특정 이벤트를 검출하고, 제2 특정 이벤트가 검출되면, 제2 특정 이벤트가 검출된 이후에 수신되는 영상 및 음성에 부적절한 요소가 포함되어 있는지 판단하고, 부적절한 요소가 포함되지 않은 경우, 영상 또는 음성의 전송을 재개할 수 있다.
본 발명은 영상 통화를 하는 사용자가 상대방으로부터의 음란한 영상에 노출되는 것을 방지할 수 있는 단말기 및 그것의 동작 방법에 관한 것이다
또한, 본 발명은 상대방과 영상 통화를 하는 사용자가 상대방으로부터의 영상에 의해 느낄 수 있는 성적 수치심 또는 불쾌함을 방지할 수 있는 단말기 및 그것의 동작 방법에 관한 것이다.
또한, 본 발명은 사용자 간의 건전한 영상 통화를 유도할 수 있는 단말기 및 그것의 동작 방법에 관한 것이다.
도 1은 영상 통화 서비스가 제공되는 환경을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 단말기의 구성을 나타내는 블록도이다.
도 3은 본 발명의 실시예에 따른 단말기의 기울임을 보여주기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 영상 통화 세션 중 단말기의 디스플레이의 변화를 보여주기 위한 도면이다.
도 5는 본 발명의 다른 실시예에 따른 영상 통화 세션 중 단말기의 디스플레이의 변화를 보여주기 위한 도면이다.
도 6 본 발명의 또 다른 실시예에 따른 영상 통화 세션 중 단말기의 디스플레이의 변화를 보여주기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 단말기의 동작 방법을 보여주는 순서도이다.
도 8은 본 발명의 다른 실시예에 따른 단말기의 동작 방법을 보여주는 순서도이다.
도 2는 본 발명의 실시예에 따른 단말기의 구성을 나타내는 블록도이다.
도 3은 본 발명의 실시예에 따른 단말기의 기울임을 보여주기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 영상 통화 세션 중 단말기의 디스플레이의 변화를 보여주기 위한 도면이다.
도 5는 본 발명의 다른 실시예에 따른 영상 통화 세션 중 단말기의 디스플레이의 변화를 보여주기 위한 도면이다.
도 6 본 발명의 또 다른 실시예에 따른 영상 통화 세션 중 단말기의 디스플레이의 변화를 보여주기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 단말기의 동작 방법을 보여주는 순서도이다.
도 8은 본 발명의 다른 실시예에 따른 단말기의 동작 방법을 보여주는 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 이하에서 개시되는 실시예에 한정되지 않는다. 또한 도면에서 본 발명을 명확하게 개시하기 위해서 본 발명과 관계없는 부분은 생략하였으며, 도면에서 동일하거나 유사한 부호들은 동일하거나 유사한 구성요소들을 나타낸다.
본 발명의 목적 및 효과는 하기의 설명에 의해서 자연스럽게 이해되거나 보다 분명해질 수 있으며, 하기의 기재만으로 본 발명의 목적 및 효과가 제한되는 것은 아니다.
이하 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 상세하게 설명하면 다음과 같다.
도 1은 영상 통화 서비스가 제공되는 환경을 설명하기 위한 도면이다.
영상 통화 서비스는 복수의 사용자들이 각자의 단말기를 이용하여 자신의 영상을 상대방에게 전송하고 상대방의 영상을 수신함으로써 의사를 주고받을 수 있는 서비스를 의미한다. 영상 통화 서비스를 이용하는 사용자들은 각자의 단말기를 통해, 영상과 음성을 주고받을 수 있으며, 채팅 기능을 통해 텍스트를 주고받을 수도 있다. 영상 통화 서비스를 이용하려는 사용자는 상대방을 직접 지정하거나, 영상 통화 서비스를 제공하는 서버에서 랜덤 또는 소정의 방식에 따라 상대방을 지정해줌으로써, 상대방과 영상 통화 서비스를 이용할 수 있다.
도 1은 본 발명의 실시예에 따른 전자 장치가 동작하는 환경을 나타내는 네트워크 구성도이다. 도 1을 참조하면, 복수의 전자 장치(100, 200)가 동작하는 환경은 서버(300) 및 복수의 전자 장치(100, 200)를 포함할 수 있다. 예를 들어, 복수의 전자 장치(100, 200)가 동작하는 환경은 서버(300)를 포함하지 않을 수 있다.
복수의 전자 장치(100, 200) 각각은 서버(300)를 매개로 연결될 수 있다. 본 발명의 설명의 편의를 위해, 도 1에서 두 개의 전자 장치들이 도시되어 있다. 하지만, 전자 장치의 개수는 두 개로 한정되지 않는다. 복수의 전자 장치(100, 200)는 각각 데스크탑 컴퓨터, 랩탑 컴퓨터, 스마트폰, 스마트 태블릿, 스마트 워치, 이동 단말, 디지털 카메라, 웨어러블 디바이스(wearable device), 또는 휴대용 전자기기 중 하나로서 구현될 수 있다. 복수의 전자 장치(100, 200)는 프로그램 또는 애플리케이션을 실행할 수 있다. 예를 들어, 복수의 전자 장치(100, 200) 중 적어도 두 개의 전자 장치들은 서버(300)에 의해 매칭될 수 있다. 그리고, 매칭된 전자 장치들은 서로 영상 통화를 수행할 수 있다.
복수의 전자 장치(100, 200) 각각은 통신망에 연결될 수 있다. 복수의 전자 장치(100, 200) 각각은 통신망을 통해 외부의 다른 장치와 서로 연결될 수 있다. 복수의 전자 장치(100, 200) 각각은 서로 연결된 다른 장치에 데이터를 전송하거나 다른 장치로부터 데이터를 수신할 수 있다.
복수의 전자 장치(100, 200) 각각과 연결된 통신망은 유선 통신망, 무선 통신망, 또는 복합 통신망을 포함할 수 있다. 통신망은 3G, LTE, 또는 LTE-A등과 같은 이동 통신망을 포함할 수 있다.
통신망은 와이파이(Wi-Fi), UMTS/GPRS, 또는 이더넷(Ethernet) 등과 같은 유선 또는 무선 통신망을 포함할 수 있다. 통신망은 마그네틱 보안 전송(MST, Magnetic Secure Transmission), RFID(Radio Frequency IDentification), NFC(Near Field Communication), 지그비(ZigBee), 지웨이브(ZWave), 블루투스(Bluetooth), 저전력 블루투스(BLE, Bluetooth Low Energy), 또는 적외선 통신(IR, InfraRed communication) 등과 같은 근거리 통신망을 포함할 수 있다. 통신망은 근거리 네트워크(LAN, Local Area Network), 도시권 네트워크(MAN, Metropolitan Area Network), 또는 광역 네트워크(WAN, Wide Area Network) 등을 포함할 수 있다.
서로 연결된 제1 전자 장치(100) 및 제2 전자 장치(200)는 서로 메시지, 파일, 음성 데이터, 영상, 또는 동영상 등을 주고받을 수 있다. 제2 전자 장치(200)는 제1 전자 장치(100)와 음성 통화 세션 또는 영상 통화 세션을 수립할 수 있다. 영상 통화 세션은 예를 들어, TCP(Transmission Control Protocol), UDP(User Datagram Protocol), 또는 WebRTC(Web Real-Time Communication) 등을 이용하여 수립될 수 있다. 제1 전자 장치(100)의 사용자 및 제2 전자 장치(200)의 사용자는 서로 음성 통화 또는 영상 통화를 할 수 있다.
영상 통화 세션은 제1 전자 장치(100) 및 제2 전자 장치(200) 사이에 직접 수립될 수 있다. 다른 실시예에 따르면, 적어도 하나 이상의 다른 장치를 경유하여 제1 전자 장치(100) 및 제2 전자 장치(200) 사이에 영상 통화 세션이 수립될 수 있다. 예를 들어, 영상 통화 세션은 제1 전자 장치(100)와 서버(300) 사이에 수립된 세션 및 서버(300)와 제2 전자 장치(200) 사이에 수립된 세션을 포함할 수 있다.
서버(300)는 복수의 전자 장치(100, 200)가 서로 통신을 수행할 수 있도록 연결시킬 수 있다. 서버(300)는 복수의 전자 장치(100, 200) 각각으로부터 매치 요청을 수신할 수 있다. 매치 요청에 응답하여, 서버(300)는 복수의 전자 장치(100, 200)를 매칭할 수 있다.
이하에서, 발명의 설명의 편의를 위해, 전자 장치 및 단말기는 동일한 의미로 사용될 수 있다. 그리고, 복수의 전자 장치(100, 200) 및 서버(300)의 통신 방법은 도 2 내지 도 8을 참조하여 설명될 것이다.
도 2는 본 발명의 실시예에 따른 단말기의 구성을 나타내는 블록도이다.
도 2를 참조하면, 제1 단말기(100)는 입출력 인터페이스(110), 자이로 센서(Gyro Sensor)(120), 메모리(130), 및 통신 인터페이스(140)를 포함할 수 있다. 도 1을 참조하면, 제2 단말기(200)는 제1 단말기(100)와 유사 또는 동일한 구성으로 구현될 수 있다.
입출력 인터페이스(110)는 외부로부터 신호를 수신할 수 있다. 입출력 인터페이스(110)는 제1 단말기(100)의 사용자로부터 신호를 수신할 수 있다. 또한, 입출력 인터페이스(110)는 외부 장치로부터 신호를 수신할 수 있다.
입출력 인터페이스(110)는 카메라(111) 및 디스플레이(112)를 포함할 수 있다. 또한, 입출력 인터페이스(110)는 마이크, 키보드, 마우스, 트랙볼, 터치스크린, 버튼, 스위치, 센서, 네트워크 인터페이스, 또는 기타 입력 장치 등을 포함할 수 있다. 입출력 인터페이스(110)는 입출력 인터페이스(110)에 포함된 마이크를 통해 외부로부터 음성을 수신할 수 있다.
또한, 입출력 인터페이스(110)는 입출력 인터페이스(110)에 포함된 카메라(111)로부터 촬영된 이미지 또는 영상을 수신하거나, 단말기(100)의 사용자로부터 제스처를 수신할 수 있다. 몇몇 실시 예로서, 카메라(111)는 제1 단말기(100)로부터 촬영되는 영상을 수신할 수 있다. 제1 단말기(100)로부터 촬영되는 영상에는 제1 단말기(100)의 사용자의 영상이 포함될 수 있다. 제1 단말기(100)로부터 수신된 영상은 제1 단말기(100)의 사용자의 영상으로 한정되지 않고, 제1 단말기(100)에서 촬영된 다양한 영상을 포함할 수 있다.
입출력 인터페이스(110)는 디스플레이(112)를 포함할 수 있다. 예를 들어, 디스플레이(112)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diode), 또는 PDP(Plasma Display Panel) 등의 평판 표시 장치를 포함할 수 있다. 디스플레이(112)는 곡면 디스플레이 또는 플렉서블 디스플레이(flexible display)를 포함할 수 있다. 디스플레이(112)는 터치스크린을 포함할 수 있다. 디스플레이(112)가 터치스크린을 포함하는 경우, 디스플레이(112)는 제1 단말기(100)의 사용자로부터 터치 입력을 수신할 수 있다.
디스플레이(112)는 데이터를 표시할 수 있다. 또는, 디스플레이(112)는 프로세서(150)에 의해 수행된 연산 결과를 표시할 수 있다. 또는, 디스플레이(112)는 메모리(130)에 저장된 데이터를 표시할 수 있다. 디스플레이(112)는 입출력 인터페이스(110)를 통해 수신되는 데이터 또는 통신 인터페이스(140)에 의해 수신된 데이터를 표시할 수 있다.
디스플레이(112)는 화면을 표시할 수 있다. 디스플레이(112)는 사용자 인터페이스를 표시할 수 있다. 디스플레이(112)는 사용자로부터의 입력에 대한 응답으로 다른 화면을 표시할 수 있다.
자이로 센서(120)는 자이로스코프(Gyroscope)를 이용하여 물체의 움직임을 감지하는 센서, 관성센서, 가속도센서를 포함할 수 있다. 자이로스코프에는 기계식 자이로스코프, 고리형 레이저 자이로스코프, 광섬유 자이로스코프 등이 있다. 자이로 센서(120)는 제1 단말기(100)의 움직임을 감지하여 제1 단말기(100)의 제어를 위한 신호를 생성할 수 있다.
몇몇 실시예로서, 자이로 센서(120)에서 임계 각속도보다 빠르게 변하는 각속도가 감지되는 경우, 자이로 센서(120)는 특정 이벤트를 생성할 수 있다. 좀 더 구체적으로, 자이로 센서(120)에서 임의의 방향으로 향하면서 임계 각속도보다 빠르게 변하는 각속도가 감지되는 경우, 자이로 센서(120)는 특정 이벤트를 생성할 수 있다.
메모리(130)는 데이터를 저장할 수 있다. 메모리(130)는 입출력 인터페이스(110)로부터 수신된 음성 데이터, 이미지 데이터 또는 사용자의 프로필 정보를 저장할 수 있다. 그리고, 메모리(130)는 프로세서(150)에 의해 수행된 연산 결과를 저장할 수 있다. 예를 들어, 메모리(130)는 프로세서(150)에 의해 인코딩된 음성을 저장할 수 있다. 메모리(130)는 통신 인터페이스(140)를 통해 외부에 출력할 데이터를 저장하거나 통신 인터페이스(140)를 통해 외부로부터 수신된 데이터를 저장할 수 있다.
메모리(130)는 소프트웨어 또는 프로그램을 저장할 수 있다. 예를 들어, 메모리(130)는 애플리케이션, 애플리케이션 프로그래밍 인터페이스(API) 등과 같은 프로그램 및 다양한 종류의 데이터를 저장할 수 있다. 메모리(130)는 프로세서(150)에 의해 실행 가능한 명령어들을 저장할 수 있다.
메모리(130)는 휘발성 메모리 또는 비휘발성 메모리 중 적어도 하나를 포함할 수 있다. 메모리(130)는 예를 들어, 플래시(flash) 메모리, ROM(Read Only Memory), RAM(Random Access Memory), EEROM(Electrically Erasable ROM), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 하드디스크 드라이브(HDD, Hard Disk Drive), 또는 레지스터(register) 중 적어도 하나를 포함할 수 있다. 메모리(130)는 예를 들어, 파일 시스템, 데이터베이스, 또는 임베디드 데이터베이스 등을 포함할 수 있다.
통신 인터페이스(140)는 단말기(100)의 외부에 데이터를 출력하거나 외부로부터 데이터를 수신할 수 있다. 통신 인터페이스(140)는 서버(400) 또는 외부 장치에 데이터를 출력할 수 있다. 통신 인터페이스(140)는 서버(400) 및 외부 장치로부터 데이터를 수신할 수 있다. 통신 인터페이스(140)는 프로세서(150)에 의해 수행된 연산 결과를 외부에 출력할 수 있다.
몇몇 실시 예로서, 제1 단말기(100)의 프로세서(150)에서 영상 통화 세션을 제공하는 애플리케이션이 실행되는 경우, 통신 인터페이스(140)는 제2 단말기(200)로부터 영상 또는 음성을 수신할 수 있다.
또한, 제1 단말기(100)의 프로세서(150)에서 영상 통화 세션을 제공하는 애플리케이션이 실행되는 경우, 통신 인터페이스(140)는 제1 단말기(100)의 사용자로부터 촬영된 영상 또는 제1 단말기(100)의 사용자의 음성을 제2 단말기(200)에 전송할 수 있다.
통신 인터페이스(140)는 예를 들어, 3G 모듈, LTE 모듈, LTE-A 모듈, Wi-Fi 모듈, 와이기그(WiGig) 모듈, UWB(Ultra Wide Band) 모듈, 또는 랜카드 등과 같은 원거리용 네트워크 인터페이스를 포함할 수 있다. 또한, 통신 인터페이스(140)는 마그네틱 보안 출력(MST) 모듈, 블루투스 모듈, NFC 모듈, RFID 모듈, 지그비(ZigBee) 모듈, Z-Wave 모듈, 또는 적외선 모듈 등과 같은 근거리용 네트워크 인터페이스를 포함할 수 있다. 또한, 통신 인터페이스(140)는 기타 네트워크 인터페이스를 포함할 수 있다.
프로세서(150) 또는 프로세서(150)에 포함된 구성 요소들 각각은 소프트웨어(software) 또는 하드웨어(hardware) 형태로 구현될 수 있다. 예시적으로, 소프트웨어는 기계코드, 펌웨어 코드(firmware code), 임베디드 코드(embedded code), 및 애플리케이션(application) 등과 같은 프로그램 실행 명령어들로써 구현될 수 있다. 하드웨어는 전기 전자 회로, 프로세서, 컴퓨터, 압력 센서, 관성 센서, MEMS(microelectromechanical system), 수동 소자들, 또는 그것들의 조합일 수 있다.
프로세서(150)는 단말기(100)의 동작을 제어할 수 있다. 프로세서(150)는 단말기(100)에 포함된 각각의 구성요소와 서로 연결될 수 있고, 단말기(100)에 포함된 각각의 구성요소의 동작을 제어할 수 있다. 프로세서(150)는 입출력 인터페이스(110)에 의해 수신된 신호에 대한 응답으로, 단말기(100)의 동작을 제어할 수 있다.
몇몇 실시 예로서, 제1 단말기(100)의 프로세서(150)에서 영상 통화 세션을 제공하는 애플리케이션이 실행하는 경우, 프로세서(150)는 영상 통화 중에 특정 이벤트의 발생 여부를 감지할 수 있다.
몇몇 실시예로서, 프로세서(150)는 자이로 센서(120)로부터 특정 이벤트를 수신할 수 있다. 다른 실시예로서, 프로세서(150)는 카메라(111)를 통해 수신되는 제1 영상에서 특정 이벤트를 감지할 수 있다. 예를 들어, 제1 영상에서 제1 사용자의 얼굴이 기준 시간 이내에 사라지는 경우, 특정 이벤트로써 감지할 수 있다.
특정 이벤트가 수신되는 경우, 프로세서(150)는 입출력 인터페이스(110)를 통해 수신되는 제1 단말기(100)의 사용자의 영상을 인식할 수 있다. 프로세서(150)는 제1 단말기(100)의 사용자의 영상을 검열할 수 있다.
몇몇 실시예로서, 프로세서(150)는 준비된 학습 모델을 이용하여 특정 이벤트가 발생한 이후에 수신되는 제1 단말기(100)의 사용자의 영상을 검열할 수 있다. 다른 실시 예로서, 프로세서(150)는 준비된 학습 모델을 이용하여 제1 단말기(100)의 사용자의 영상을 구성하는 하나의 프레임을 무작위로 선택하여 검열할 수 있다.
도 3은 본 발명의 실시예에 따른 단말기의 기울임을 보여주기 위한 도면이다.
도 2 및 도 3을 참조하면, 영상 통화 세션 중 제1 단말기(100)가 임의의 방향으로 기울어질 수 있다. 몇몇 실시예로서, 임의의 방향은 제1 단말기(100)의 디스플레이(112)가 지면을 향해 기울어지는 방향을 의미할 수 있다.
몇몇 실시예로서, 제1 단말기(100)가 임의의 방향을 향해 임계 각속도를 초과하는 각속도로 기울어지는 경우, 제1 단말기(100)의 자이로 센서(120)는 특정 이벤트를 생성할 수 있다.
몇몇 실시예로서, 제1 단말기(100)가 임의의 방향을 향해 임계 각도를 초과하여 기울어지는 경우, 제1 단말기(100)의 자이로 센서(120)는 특정 이벤트를 생성할 수 있다.
도 4는 본 발명의 실시예에 따른 영상 통화 세션 중 단말기의 디스플레이의 변화를 보여주기 위한 도면이다.
제1 단말기(100)가 영상 통화 세션을 제공하는 애플리케이션을 통해 제2 단말기(200)와 영상 통화 세션이 수립될 수 있다. 제1 단말기(100) 및 제2 단말기(200) 사이에 영상 통화 세션이 수립되면, 제1 단말기(100)는 제2 단말기(200)와 영상 통화를 수행할 수 있다.
영상 통화 세션이 수립되면, 제1 단말기(100)의 디스플레이(112)에는 카메라(111)를 통해 획득된 제1 사용자의 영상(11)을 표시하고, 통신 인터페이스(140)를 통해 수신된 제2 사용자의 영상(21)을 표시할 수 있다. 예를 들어, 제1 사용자의 영상(11)은 제1 사용자의 얼굴을 포함한 상반신에 대한 영상일 수 있다. 그리고, 제2 사용자의 영상(21)은 제2 사용자의 얼굴을 포함한 상반신에 대한 영상일 수 있다.
몇몇 실시예로서, 도 3을 참조하여 설명한 바와 같이 영상 통화 세션 중 제1 단말기(100)가 임의의 방향으로 기울어질 수 있다. 몇몇 실시예로서, 임의의 방향은 제1 단말기(100)의 디스플레이(112)가 지면을 향해 기울어지는 방향을 의미할 수 있다.
몇몇 실시예로서, 제1 단말기(100)가 임의의 방향을 향해 임계 각속도를 초과하는 각속도로 기울어지거나, 임의의 방향을 향해 임계 각도를 초과하여 기울어지는 경우, 제1 단말기(100)의 자이로 센서(120)는 이러한 기울어짐을 감지할 수 있다.
제1 단말기(100)가 임의의 방향으로 기울어지면, 카메라(111)에는 제1 사용자의 얼굴을 포함한 상반신에 대응하는 영상(11) 대신에 제1 사용자의 하반신에 대응하는 영상(12)이 입력될 수 있다. 따라서, 디스플레이(112)에는 제1 사용자의 하반신에 대응하는 영상(12)이 표시될 수 있다.
도 5는 본 발명의 다른 실시예에 따른 영상 통화 세션 중 단말기의 디스플레이의 변화를 보여주기 위한 도면이다.
몇몇 실시예로서, 제1 단말기(100)가 임의의 방향을 향해 임계 각속도를 초과하는 각속도로 기울어지거나, 임의의 방향을 향해 임계 각도를 초과하여 기울어지는 경우, 제1 단말기(100)의 자이로 센서(120)는 이러한 기울어짐을 감지할 수 있다.
제1 단말기(100)가 임의의 방향으로 기울어지면, 디스플레이(112)에서 제1 사용자의 상반신에 대응하는 영상(11)이 표시되지 않고, 제1 사용자의 주변 영상(13)이 표시될 수 있다. 몇몇 실시 예로서, 제1 사용자의 주변 영상(13)은 제1 사용자의 하반신에 대응하는 영상(12)도 포함할 수 있다.
다른 실시예로서, 제1 사용자의 상반신에 대응하는 영상(11)이 기준 시간 이내에 카메라(111)를 통해 수신되지 않는 경우, 제1 단말기(100)의 프로세서(150)는 특정 이벤트가 발생한 것으로 판단할 수 있다.
도 4 및 도 5를 참조하여 설명한 바와 같이, 제1 단말기(100)가 임의의 방향을 향해 임계 각속도를 초과하는 각속도로 기울어지거나, 임의의 방향을 향해 임계 각도를 초과하여 기울어지는 경우, 제1 단말기(100)의 자이로 센서(120)는 특정한 이벤트를 감지할 수 있다. 또는, 제1 사용자의 상반신에 대응하는 영상(11)이 기준 시간 이내에 카메라(111)를 통해 수신되지 않는 경우, 제1 단말기(100)의 프로세서(150)는 특정 이벤트가 발생한 것으로 판단할 수 있다.
특정 이벤트가 발생하면, 프로세서(150)는 카메라(111)로부터 수신되는 영상에 부적절한 요소가 포함되어 있는지 판단할 수 있다. 몇몇 실시예로서, 부적절한 요소를 포함하는 영상은 도 4를 통해 설명된 바와 같은 제1 사용자의 하반신에 대응하는 영상(12)일 수 있다.
다른 실시예로서, 특정 이벤트가 발생하면, 프로세서(150)는 각속도 및 이미지에 상기 부적절한 요소가 포함되어 있는지 여부에 대한 분류 정보를 이용하여 학습된 분류 모델을 준비할 수 있다. 프로세서(150)는 분류 모델을 이용하여 특정 이벤트가 발생된 이후에 카메라(111)로 수신되는 영상이 부적절한 요소를 포함하는지 여부를 예측할 수 있다.
다른 실시 예에서, 특정 이벤트가 발생하면, 프로세서(150)는 제1 사용자의 음성에 부적절한 요소가 포함되어 있는지 판단할 수 있다. 부적절한 요소를 포함하는 음성은 욕설, 협박성(intimidatory) 발언, 혐오성 발언, 반사회적 발언, 반인류적 발언, 성적인 발언, 범죄성(criminality) 발언 또는 모욕적인 발언 중 적어도 하나에 대응할 수 있다.
특정 이벤트가 발생하고, 프로세서(150)가 영상 또는 음성이 부적절한 요소를 포함하고 있는 것으로 판단하면, 제1 사용자의 영상 및 음성 중 적어도 하나의 전송을 중지할 수 있다.
도 6 본 발명의 또 다른 실시예에 따른 영상 통화 세션 중 단말기의 디스플레이의 변화를 보여주기 위한 도면이다.
제2 단말기(200)가 영상 통화 서비스를 제공하는 애플리케이션을 통해 제1 단말기(100)와 영상 통화 세션이 수립될 수 있다. 제1 단말기(100) 및 제2 단말기(200) 사이에 영상 통화 세션이 수립되면, 제2 단말기(200)는 제1 단말기(100)와 영상 통화를 수행할 수 있다.
영상 통화 세션이 수립되면, 제2 단말기(100)의 디스플레이(212)에는 제2 사용자의 영상(21)을 표시하고, 제2 단말기(200)로부터 수신된 제1 사용자의 영상(11)을 표시할 수 있다. 예를 들어, 제1 사용자의 영상(11)은 제1 사용자의 얼굴을 포함한 상반신에 대한 영상일 수 있다. 그리고, 제2 사용자의 영상(21)은 제2 사용자의 얼굴을 포함한 상반신에 대한 영상일 수 있다.
도 4 및 도 5를 참조하면, 제1 단말기(100)에서 특정 이벤트가 감지되는 경우, 제2 단말기(200)는 제1 단말기(100)로부터 영상 및 음성의 수신이 중단될 수 있다. 제1 단말기(100)로부터 영상 및 음성의 수신이 중단되면, 제2 단말기(200)의 디스플레이(212)는 대체 영상(13)을 표시할 수 있다.
몇몇 실시예에서 대체 영상(13)은 단색으로 처리된 영상일 수 있다. 또는 대체 영상(13)은 제1 단말기(100)로부터 수신된 영상에 모자이크 효과, 배경 삽입, 또는 블러 처리를 활용하여 변조 처리된 영상일 수 있다.
도 7은 본 발명의 실시예에 따른 단말기의 동작 방법을 보여주는 순서도이다.
S110 단계에서, 제1 단말기(100)는 제2 단말기와 영상 통화 세션을 수립할 수 있다. 제1 단말기(100)가 영상 통화 세션을 제공하는 애플리케이션을 통해 제2 단말기(200)와 영상 통화 세션이 수립될 수 있다. 제1 단말기(100) 및 제2 단말기(200) 사이에 영상 통화 세션이 수립되면, 제1 단말기(100)는 제2 단말기(200)와 영상 통화를 수행할 수 있다.
S120 단계에서, 제1 단말기(100)는 영상 통화 세션 중 특정 이벤트를 감지할 수 있다. 제1 단말기(100)가 임의의 방향을 향해 임계 각속도를 초과하는 각속도로 기울어지거나, 임의의 방향을 향해 임계 각도를 초과하여 기울어지는 경우, 자이로 센서(120)는 이러한 변화를 특정 이벤트로써 감지할 수 있다.
또는, 제1 사용자의 상반신에 대응하는 영상(11)이 기준 시간 이내에 카메라(111)를 통해 수신되지 않는 경우, 제1 단말기(100)의 프로세서(150)는 특정 이벤트가 발생한 것으로 판단할 수 있다.
S130 단계에서, 제1 단말기(100)의 프로세서(150)는 특정 이벤트가 발생한 이후에 카메라(111)를 통해 수신되는 영상 또는 음성에 부적절한 요소가 포함되어 있는지 판단할 수 있다.
몇몇 실시예로서, 프로세서(150)는 각속도 및 이미지에 상기 부적절한 요소가 포함되어 있는지 여부에 대한 분류 정보를 이용하여 학습된 분류 모델을 준비할 수 있다. 프로세서(150)는 분류 모델을 이용하여 특정 이벤트가 발생된 이후에 카메라(111)로 수신되는 영상이 부적절한 요소를 포함하는지 여부를 예측할 수 있다.
제1 단말기(100)의 프로세서(150)는 특정 이벤트가 발생된 이후에 카메라(111)로 수신되는 영상이 부적절한 요소를 포함하는지 여부를 예측하기 위해 심층 신경망(Deep Neural Network, DNN), 합성곱 신경망(Convolutional Neural Network, CNN), 순환 신경망(Recurrent Neural Network, RNN), R-CNN(Region-based Convolutional Neural Networks), 제한 볼츠만 머신 (Restricted Boltzmann Machine, RBM), 심층 신뢰 신경망 (Deep Belief Network, DBN), 또는 심층 큐 네트워크(Deep Q-Networks) 중에서 적어도 하나의S기술에 따른 학습 모델을 활용할 수 있다.
S140 단계에서, 제1 단말기(100)의 프로세서(150)는 판단 결과에 따라 특정 이벤트가 발생한 후 카메라(111)를 통해 수신되는 영상 또는 음성을 제2 단말기(200)로 전송하는 것을 중지할 수 있다.
예를 들어, 특정 이벤트가 발생한 후 카메라(111)를 통해 수신되는 영상 또는 음성에 부적절한 요소가 포함된 것으로 판단되는 경우, 프로세서(150)는 영상 또는 음성을 제2 단말기(200)로 전송하는 것을 중지할 수 있다. 또는, 특정 이벤트가 발생한 후 카메라(111)를 통해 수신되는 영상 또는 음성에 부적절한 요소가 포함되지 않은 것으로 판단되는 경우, 프로세서(150)는 영상 또는 음성을 제2 단말기(200)로 전송하는 것을 유지할 수 있다.
즉, 제1 단말기(100)의 프로세서(150)는 특정 이벤트가 발생하기 전에 카메라(111)를 통해 수신되는 영상 또는 음성에 부적절한 요소가 포함되어 있는지 판단하는 것이 아니고, 특정 이벤트가 발생한 이후에 카메라(111)를 통해 수신되는 영상 또는 음성에 부적절한 요소가 포함되어 있는지 판단할 수 있다. 그리고, 판단 결과에 따라, 프로세서(150)는 특정 이벤트가 발생한 이후에 카메라(111)를 통해 수신되는 영상 또는 음성을 전송할지 여부를 판단할 수 있다.
도 8은 본 발명의 다른 실시예에 따른 단말기의 동작 방법을 보여주는 순서도이다.
S210 단계에서, 제1 단말기(100)의 프로세서(150)는 영상 또는 음성의 전송을 중지한 이후에 카메라(111)로 수신되는 영상 또는 음성을 모니터링할 수 있다.
몇몇 실시예로서, 프로세서(150) 영상 또는 음성의 전송을 중지한 이후에 영상 또는 음성의 전송을 중지한 이후에 영상 또는 음성의 전송을 중지한 이후에 영상 또는 음성의 전송을 중지한 이후에 카메라(111)로 수신되는 영상 또는 음성에 부적절한 요소가 포함되어 있는지 소정의 시간을 간격으로 모니터링할 수 있다.
또는, 영상 또는 음성의 전송을 중지한 이후에 새로운 특정한 이벤트가 발생하면, 프로세서(150)는 카메라(111)로 수신되는 영상 또는 음성에 부적절한 요소가 포함되어 있는지 확인할 수 있다.
S220 단계에서, 제1 단말기(100)의 프로세서(150)는 모니터링 결과에 따라 제2 단말기(200)로의 영상 전송을 재개할 수 있다.
몇몇 실시예로서, 프로세서(150)는 영상 또는 음성의 전송을 중지한 이후에 카메라(111)로 수신되는 영상 또는 음성에 부적절한 요소가 포함되어 있지 않다고 판단하는 경우, 제2 단말기(200)로의 영상 전송을 재개할 수 있다.
반면, 프로세서(150)는 영상 또는 음성의 전송을 중지한 이후에 카메라(111)로 수신되는 영상 또는 음성에 부적절한 요소가 포함되어 있다고 판단하는 경우, 제2 단말기(200)로의 영상 전송을 재개하지 않을 수 있다. 또한, 프로세서(150)는 제2 단말기(200)와의 영상 통화 세션을 중단할 수 있다.
도 1 내지 도 8을 참조하여 설명한 바와 같이, 본 발명의 실시예에 따른 단말기는 영상 통화 세션 중에 부적절한 영상 또는 음성에 노출되는 것을 방지할 수 있다.
본 발명의 실시예에 따른 단말기는 영상 통화 세션 중에 사용자가 상대방으로부터의 영상에 의해 느낄 수 있는 성적 수치심 또는 불쾌함을 방지할 수 있다.
본 발명의 실시예에 따른 단말기는 사용자 간의 건전한 영상 통화를 유도할 수 있다.
이상에서 설명된 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함할 수 있다.
또한, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체 또는 통신 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함할 수 있다. 통신 매체는 전형적으로 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 출력 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함할 수 있다.
이상에서 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
Claims (14)
- 제1 단말기 및 제2 단말기 사이에 영상 통화 세션을 수립하는 단계;
상기 제1 단말기로부터 제1 사용자를 촬영한 제1 영상을 상기 제2 단말기로 전송하는 단계;
상기 제2 단말기로부터 제2 사용자를 촬영한 제2 영상을 상기 제1 단말기로 전송하는 단계;
상기 영상 통화 세션 중 상기 제1 단말기가 특정 이벤트를 검출하는 단계;
상기 특정 이벤트가 검출되면, 상기 제1 단말기가 상기 제1 영상 또는 상기 제1 사용자의 음성에 부적절한 요소가 포함되어 있는지 판단하는 단계; 및
상기 판단 결과에 따라 상기 제1 단말기가 상기 제1 영상 또는 상기 제1 사용자의 음성의 전송을 중지하는 단계를 포함하는 영상 통화 서비스를 제공하는 방법을 수행하도록 하는 컴퓨터 판독 가능 저장매체에 저장된 애플리케이션. - 제 1 항에 있어서,
상기 특정 이벤트는,
상기 제1 단말기의 디스플레이가 임의의 방향으로 임계 각속도를 초과하는 각속도로 기울어지는 이벤트인 영상 통화 서비스를 제공하는 방법을 수행하도록 하는 컴퓨터 판독 가능 저장매체에 저장된 애플리케이션. - 제 2 항에 있어서,
상기 제1 단말기가 상기 제1 영상에 부적절한 요소가 포함되어 있는지 판단하는 단계는,
상기 각속도와 상기 부적절한 요소의 상관관계를 학습한 분류 모델을 이용하여 상기 특정 이벤트가 검출된 이후에 수신되는 제1 영상에 상기 부적절한 요소가 포함되어 있는지 판단하는 영상 통화 서비스를 제공하는 방법을 수행하도록 하는 컴퓨터 판독 가능 저장매체에 저장된 애플리케이션. - 제 1 항에 있어서,
상기 특정 이벤트는,
상기 제1 단말기에 포함된 카메라에서 임계 속도를 초과하는 속도로 상기 제1 사용자의 얼굴이 사라지는 이벤트인 제공하는 방법을 수행하도록 하는 컴퓨터 판독 가능 저장매체에 저장된 애플리케이션. - 제 1 항에 있어서,
상기 제1 단말기가 상기 제1 영상의 전송을 중지하는 경우,
제2 단말기는 상기 제1 영상 대신 대체 영상을 표시하는 단계를 더 포함하는 영상 통화 서비스를 제공하는 방법을 수행하도록 하는 컴퓨터 판독 가능 저장매체에 저장된 애플리케이션. - 제 1 항에 있어서,
상기 제1 단말기가 상기 제1 영상 또는 상기 제1 사용자의 음성의 전송을 중지한 이후에 상기 제1 단말기에서 생성되는 영상 또는 음성에 부적절한 요소가 포함되어 있는지 소정의 시간 간격으로 모니터링하는 단계; 및
상기 모니터링 결과 상기 부적절한 요소가 발견되지 않은 경우, 상기 제1 단말기에서 생성되는 영상 또는 음성의 전송을 재개하는 단계를 더 포함하는 영상 통화 서비스를 제공하는 방법을 수행하도록 하는 컴퓨터 판독 가능 저장매체에 저장된 애플리케이션. - 제 1 항에 있어서,
상기 특정 이벤트는 제1 특정 이벤트이고,
상기 제1 단말기가 상기 제1 영상 또는 상기 제1 사용자의 음성의 전송을 중지한 이후에 상기 제1 단말기가 제2 특정 이벤트를 검출하는 단계;
상기 제2 특정 이벤트가 검출되면, 상기 제2 특정 이벤트가 검출된 이후에 상기 제1 단말기에서 생성되는 영상 또는 음성에 부적절한 요소가 포함되어 있는지 판단하는 단계; 및
상기 제2 특정 이벤트가 검출된 이후에 상기 제1 단말기에서 생성되는 영상 또는 음성에 상기 부적절한 요소가 포함되지 않은 경우, 상기 제1 단말기에서 생성되는 영상 또는 음성의 전송을 재개하는 단계를 더 포함하는 영상 통화 서비스를 제공하는 방법을 수행하도록 하는 컴퓨터 판독 가능 저장매체에 저장된 애플리케이션. - 제 1 항에 있어서,
상기 특정 이벤트는,
상기 제1 단말기의 디스플레이가 임의의 방향으로 임계 각도를 초과하여 기울어지는 이벤트인 영상 통화 서비스를 제공하는 방법을 수행하도록 하는 컴퓨터 판독 가능 저장매체에 저장된 애플리케이션. - 제1항 내지 제8항 중 어느 한 항에 따른 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.
- 제1 사용자를 촬영한 제1 영상을 수신하는 입출력 인터페이스;
영상 통화 세션을 통해, 상기 제1 영상 또는 상기 제1 사용자의 제1 음성을 상대방 단말기에 전송하고, 상기 상대방 단말기에 의해 획득되는 제2 영상 또는 제2 음성을 수신하는 통신 인터페이스;
상기 제1 영상 및 상기 제2 영상을 표시하는 디스플레이; 및
상기 영상 통화 세션 중 특정 이벤트를 검출하고, 상기 특정 이벤트가 검출되면 상기 제1 영상 또는 상기 제1 음성에 부적절한 요소가 포함되어 있는지 판단하고, 상기 판단 결과에 따라, 상기 제1 영상 또는 상기 제1 음성의 전송을 중지하는 프로세서를 포함하는 단말기. - 제 10 항에 있어서,
상기 디스플레이가 임의의 방향으로 임계 각속도를 초과하는 각속도로 기울어지거나, 상기 디스플레이가 상기 임의의 방향으로 임계 각도를 초과하여 기울어지는 경우 상기 특정 이벤트를 검출하는 자이로 센서를 더 포함하는 단말기. - 제 11 항에 있어서,
상기 프로세서는
상기 각속도 및 각도와 상기 부적절한 요소와의 상관관계를 학습한 분류 모델을 준비하고,
상기 분류 모델을 이용하여 상기 특정 이벤트가 검출된 이후에 수신되는 제1 영상에 상기 부적절한 요소가 포함되어 있는지 판단하는 단말기. - 제 10 항에 있어서,
상기 프로세서는
상기 제1 영상 또는 상기 제1 음성의 전송을 중지한 이후에 수신되는 영상 또는 음성에 상기 부적절한 요소가 포함되어 있는지 소정의 시간 간격으로 모니터링하고,
상기 모니터링 결과 상기 부적절한 요소가 발견되지 않은 경우, 상기 영상 또는 상기 음성의 전송을 재개하는 단말기. - 제 10 항에 있어서,
상기 특정 이벤트는 제1 특정 이벤트이고,
상기 프로세서는
상기 제1 영상 또는 상기 제1 음성의 전송을 중지한 이후에 제2 특정 이벤트를 검출고,
상기 제2 특정 이벤트가 검출되면, 상기 제2 특정 이벤트가 검출된 이후에 수신되는 영상 및 음성에 부적절한 요소가 포함되어 있는지 판단하고,
상기 부적절한 요소가 포함되지 않은 경우, 상기 영상 또는 상기 음성의 전송을 재개하는 단말기.
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200012233A KR102293422B1 (ko) | 2020-01-31 | 2020-01-31 | 단말기 및 그것의 동작 방법 |
EP21154208.9A EP3860134A1 (en) | 2020-01-31 | 2021-01-29 | Terminal and operating method thereof with detection of inappropriate elements in video and/or audio |
US17/161,787 US11394922B2 (en) | 2020-01-31 | 2021-01-29 | Terminal and operating method thereof |
JP2021013320A JP7145995B2 (ja) | 2020-01-31 | 2021-01-29 | 端末機およびその動作方法 |
US17/813,238 US11825236B2 (en) | 2020-01-31 | 2022-07-18 | Terminal and operating method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200012233A KR102293422B1 (ko) | 2020-01-31 | 2020-01-31 | 단말기 및 그것의 동작 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210098265A true KR20210098265A (ko) | 2021-08-10 |
KR102293422B1 KR102293422B1 (ko) | 2021-08-26 |
Family
ID=74418207
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200012233A KR102293422B1 (ko) | 2020-01-31 | 2020-01-31 | 단말기 및 그것의 동작 방법 |
Country Status (4)
Country | Link |
---|---|
US (2) | US11394922B2 (ko) |
EP (1) | EP3860134A1 (ko) |
JP (1) | JP7145995B2 (ko) |
KR (1) | KR102293422B1 (ko) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11553157B2 (en) | 2016-10-10 | 2023-01-10 | Hyperconnect Inc. | Device and method of displaying images |
KR101932844B1 (ko) | 2017-04-17 | 2018-12-27 | 주식회사 하이퍼커넥트 | 영상 통화 장치, 영상 통화 방법 및 영상 통화 중개 방법 |
KR102282963B1 (ko) | 2019-05-10 | 2021-07-29 | 주식회사 하이퍼커넥트 | 단말기, 서버 및 그것의 동작 방법 |
KR102293422B1 (ko) | 2020-01-31 | 2021-08-26 | 주식회사 하이퍼커넥트 | 단말기 및 그것의 동작 방법 |
TWI757940B (zh) * | 2020-10-29 | 2022-03-11 | 宏碁股份有限公司 | 視訊會議系統及其排除打擾的方法 |
US11622147B2 (en) * | 2021-07-22 | 2023-04-04 | Popio Mobile Video Cloud, Llc | Blurring digital video streams upon initiating digital video communications |
EP4333446A1 (en) * | 2022-08-30 | 2024-03-06 | Nokia Technologies Oy | Control of user device based on detecting an event of interest |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110019499A (ko) * | 2009-08-20 | 2011-02-28 | 엘지전자 주식회사 | 이동 단말기 |
KR20180116520A (ko) * | 2017-04-17 | 2018-10-25 | 주식회사 하이퍼커넥트 | 영상 통화 장치, 영상 통화 방법 및 영상 통화 중개 방법 |
Family Cites Families (121)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0690279A (ja) | 1992-09-08 | 1994-03-29 | Fujitsu General Ltd | イタズラ電話撃退装置 |
JPH09200714A (ja) | 1996-01-17 | 1997-07-31 | Casio Comput Co Ltd | テレビ電話付き画像処理装置 |
JP3642716B2 (ja) | 2000-04-19 | 2005-04-27 | 三菱電機株式会社 | テレビ電話装置及び通話方法 |
KR20010000426A (ko) | 2000-09-28 | 2001-01-05 | 김용환 | 지능형 영상 인터페이스 방법 |
JP3532151B2 (ja) | 2000-11-29 | 2004-05-31 | 傳一郎 片山 | 素炭製造方法及び素炭 |
US20030028875A1 (en) | 2001-05-02 | 2003-02-06 | Koninklijke Philips Electronics N.V. | Television access control system |
EP1311124A1 (en) | 2001-11-13 | 2003-05-14 | Matsushita Electric Industrial Co., Ltd. | Selective protection method for images transmission |
JP3838506B2 (ja) | 2001-11-13 | 2006-10-25 | 松下電器産業株式会社 | 画像を用いる通信方法及びその装置 |
US20030126267A1 (en) | 2001-12-27 | 2003-07-03 | Koninklijke Philips Electronics N.V. | Method and apparatus for preventing access to inappropriate content over a network based on audio or visual content |
US7360234B2 (en) | 2002-07-02 | 2008-04-15 | Caption Tv, Inc. | System, method, and computer program product for selective filtering of objectionable content from a program |
US8245252B2 (en) | 2002-09-10 | 2012-08-14 | Caption Tv, Inc. | System, method, and computer program product for selective replacement of objectionable program content with less-objectionable content |
KR100927271B1 (ko) | 2003-01-13 | 2009-11-18 | 엘지전자 주식회사 | 디스플레이 장치의 시청 제한 방법 |
US7321384B1 (en) | 2003-06-03 | 2008-01-22 | Cisco Technology, Inc. | Method and apparatus for using far end camera control (FECC) messages to implement participant and layout selection in a multipoint videoconference |
US8254674B2 (en) | 2004-10-28 | 2012-08-28 | DigitalOptics Corporation Europe Limited | Analyzing partial face regions for red-eye detection in acquired digital images |
US8977063B2 (en) | 2005-03-09 | 2015-03-10 | Qualcomm Incorporated | Region-of-interest extraction for video telephony |
JP2006270380A (ja) | 2005-03-23 | 2006-10-05 | Victor Co Of Japan Ltd | 画像情報送信装置 |
US7564476B1 (en) * | 2005-05-13 | 2009-07-21 | Avaya Inc. | Prevent video calls based on appearance |
CA2622821A1 (en) | 2005-09-16 | 2007-03-22 | Eyeball Networks Inc. | Method and system to prevent spam over internet telephony |
US20080012935A1 (en) | 2005-11-22 | 2008-01-17 | Gateway Inc. | Inappropriate content detection and distribution prevention for wireless cameras/camcorders with e-mail capabilities and camera phones |
US20070195158A1 (en) | 2006-02-23 | 2007-08-23 | Kies Jonathan K | Apparatus and methods for managing video calls on a wireless device |
US7911513B2 (en) | 2007-04-20 | 2011-03-22 | General Instrument Corporation | Simulating short depth of field to maximize privacy in videotelephony |
GB0709574D0 (en) | 2007-05-18 | 2007-06-27 | Aurix Ltd | Speech Screening |
US8253770B2 (en) | 2007-05-31 | 2012-08-28 | Eastman Kodak Company | Residential video communication system |
KR100844334B1 (ko) | 2007-06-07 | 2008-07-08 | 엘지전자 주식회사 | 이동통신 단말기의 디스플레이 제어장치 및 방법 |
KR100882476B1 (ko) | 2007-06-14 | 2009-02-06 | 유성준 | 음란성 이미지의 판별 방법과 그 장치 |
US8165416B2 (en) | 2007-06-29 | 2012-04-24 | Microsoft Corporation | Automatic gain and exposure control using region of interest detection |
US20090041311A1 (en) | 2007-08-09 | 2009-02-12 | Jon Hundley | Facial recognition based content blocking system |
JP2008159034A (ja) | 2007-11-07 | 2008-07-10 | Fujitsu Ltd | サーバおよび音声信号収集配信方法 |
US20090288131A1 (en) | 2008-05-13 | 2009-11-19 | Porto Technology, Llc | Providing advance content alerts to a mobile device during playback of a media item |
US8223187B2 (en) | 2008-07-17 | 2012-07-17 | Cisco Technology, Inc. | Non-bandwidth intensive method for providing multiple levels of censoring in an A/V stream |
KR101450580B1 (ko) | 2008-11-19 | 2014-10-14 | 삼성전자주식회사 | 이미지 합성 방법 및 장치 |
US8441356B1 (en) | 2009-02-16 | 2013-05-14 | Handhold Adaptive, LLC | Methods for remote assistance of disabled persons |
KR101189053B1 (ko) | 2009-09-05 | 2012-10-10 | 에스케이플래닛 주식회사 | 아바타 기반 화상 통화 방법 및 시스템, 이를 지원하는 단말기 |
CN101668157B (zh) | 2009-09-24 | 2011-09-21 | 中兴通讯股份有限公司 | 用于视频通话中隐私保护的方法、应用服务器及*** |
JP2011082694A (ja) | 2009-10-05 | 2011-04-21 | Sharp Corp | 通信会議システム及び通信装置 |
KR101384317B1 (ko) | 2009-12-21 | 2014-04-14 | 한국전자통신연구원 | 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 장치 및 방법 |
US8626879B2 (en) | 2009-12-22 | 2014-01-07 | Sling Media, Inc. | Systems and methods for establishing network connections using local mediation services |
JP2011205243A (ja) * | 2010-03-24 | 2011-10-13 | Sharp Corp | 情報処理装置、会議システム、情報処理方法及びコンピュータプログラム |
US8856165B1 (en) | 2010-03-26 | 2014-10-07 | Google Inc. | Ranking of users who report abuse |
US8826322B2 (en) | 2010-05-17 | 2014-09-02 | Amazon Technologies, Inc. | Selective content presentation engine |
JP5442547B2 (ja) | 2010-07-08 | 2014-03-12 | 株式会社Nttドコモ | コンテンツ推薦装置及び方法 |
JP2012054897A (ja) | 2010-09-03 | 2012-03-15 | Sharp Corp | 会議システム、情報処理装置、及び情報処理方法 |
EP2615812B1 (en) | 2010-09-10 | 2018-09-05 | NEC Corporation | Controlling transmission of data by a portable terminal |
US8526728B2 (en) | 2010-12-21 | 2013-09-03 | Microsoft Corporation | Establishing clusters of user preferences for image enhancement |
US20130234826A1 (en) | 2011-01-13 | 2013-09-12 | Nikon Corporation | Electronic device and electronic device control program |
JP5771998B2 (ja) | 2011-01-13 | 2015-09-02 | 株式会社ニコン | 電子機器および電子機器の制御プログラム |
EP2693745A4 (en) | 2011-03-30 | 2015-04-01 | Fujitsu Ltd | INFORMATION PROCESSING DEVICE COMPRISING IMAGE TRANSMISSION CONTROL FUNCTION |
EP2515526A3 (en) | 2011-04-08 | 2014-12-24 | FotoNation Limited | Display device with image capture and analysis module |
KR101237469B1 (ko) | 2011-05-12 | 2013-02-26 | 재단법인 서울호서직업전문학교 | 음란 이미지 자동 인식 방법, 장치 및 그 방법을 실행하기 위한 프로그램 기록매체 |
US8970653B2 (en) | 2011-06-16 | 2015-03-03 | Vtel Products Corporation, Inc. | Video conference control system and method |
NO334029B1 (no) | 2011-09-30 | 2013-11-18 | Cisco Tech Inc | System og fremgangsmåte for etablering av videokonferansesesjon med justerbart filter for markering av tilstedeværelsesnivå i endepunkter |
KR101394597B1 (ko) | 2012-05-09 | 2014-05-27 | 김명훈 | 얼굴검출 알고리즘을 이용한 영상보안장치와 영상보안시스템 및 얼굴검출 알고리즘을 이용한 영상보안방법 |
KR101936802B1 (ko) | 2012-07-20 | 2019-01-09 | 한국전자통신연구원 | 얼굴인식 기반의 개인정보보호 장치 및 방법 |
US9288387B1 (en) * | 2012-09-11 | 2016-03-15 | Amazon Technologies, Inc. | Content display controls based on environmental factors |
WO2014090262A1 (en) | 2012-12-11 | 2014-06-19 | Unify Gmbh & Co. Kg | Method of processing video data, device, computer program product, and data construct |
US20150070516A1 (en) | 2012-12-14 | 2015-03-12 | Biscotti Inc. | Automatic Content Filtering |
US9154709B2 (en) | 2012-12-21 | 2015-10-06 | Google Inc. | Recommending transformations for photography |
KR101800617B1 (ko) | 2013-01-02 | 2017-12-20 | 삼성전자주식회사 | 디스플레이 장치 및 이의 화상 통화 방법 |
US9013536B2 (en) | 2013-03-13 | 2015-04-21 | Futurewei Technologies, Inc. | Augmented video calls on mobile devices |
JP6068384B2 (ja) | 2013-03-20 | 2017-01-25 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 収集された情報に基づいた映像処理方法及びその装置 |
US9230328B1 (en) | 2013-06-28 | 2016-01-05 | Google Inc. | Providing image parameters |
CN103413270A (zh) | 2013-08-15 | 2013-11-27 | 北京小米科技有限责任公司 | 一种图像的处理方法、装置和终端设备 |
WO2015044994A1 (ja) | 2013-09-24 | 2015-04-02 | 日立マクセル株式会社 | テレビ通話装置、及びテレビ通話処理方法 |
EP2887625A1 (en) | 2013-12-19 | 2015-06-24 | Alcatel Lucent | Method for real-time reporting and prevention of call abuse |
US9460340B2 (en) | 2014-01-31 | 2016-10-04 | Google Inc. | Self-initiated change of appearance for subjects in video and images |
CN104836977B (zh) | 2014-02-10 | 2018-04-24 | 阿里巴巴集团控股有限公司 | 即时通讯过程中的视频通讯方法及*** |
CN106462946A (zh) | 2014-04-25 | 2017-02-22 | 索尼公司 | 响应于外部应用处理数字照片 |
US9451335B2 (en) | 2014-04-29 | 2016-09-20 | At&T Intellectual Property I, Lp | Method and apparatus for augmenting media content |
US9633462B2 (en) | 2014-05-09 | 2017-04-25 | Google Inc. | Providing pre-edits for photos |
US9462112B2 (en) | 2014-06-19 | 2016-10-04 | Microsoft Technology Licensing, Llc | Use of a digital assistant in communications |
US9626103B2 (en) | 2014-06-19 | 2017-04-18 | BrightSky Labs, Inc. | Systems and methods for identifying media portions of interest |
US9531998B1 (en) | 2015-07-02 | 2016-12-27 | Krush Technologies, Llc | Facial gesture recognition and video analysis tool |
WO2016004344A1 (en) | 2014-07-03 | 2016-01-07 | Spitfire Technologies, Llc | Electronically mediated reaction game |
US9225897B1 (en) | 2014-07-07 | 2015-12-29 | Snapchat, Inc. | Apparatus and method for supplying content aware photo filters |
US9858470B2 (en) | 2014-07-18 | 2018-01-02 | Htc Corporation | Method for performing a face tracking function and an electric device having the same |
US9646227B2 (en) | 2014-07-29 | 2017-05-09 | Microsoft Technology Licensing, Llc | Computerized machine learning of interesting video sections |
US9282287B1 (en) | 2014-09-09 | 2016-03-08 | Google Inc. | Real-time video transformations in video conferences |
US9516220B2 (en) | 2014-10-02 | 2016-12-06 | Intel Corporation | Interactive video conferencing |
KR20160051390A (ko) | 2014-11-03 | 2016-05-11 | 삼성전자주식회사 | 전자장치 및 전자장치의 필터 제공 방법 |
JP6492638B2 (ja) | 2014-12-25 | 2019-04-03 | セイコーエプソン株式会社 | 表示装置、及び、表示装置の制御方法 |
US9754355B2 (en) | 2015-01-09 | 2017-09-05 | Snap Inc. | Object recognition based photo filters |
US9503456B1 (en) | 2015-01-22 | 2016-11-22 | Google Inc. | Video chat abuse detection based on external context |
US9380264B1 (en) | 2015-02-16 | 2016-06-28 | Siva Prasad Vakalapudi | System and method for video communication |
US9569697B1 (en) | 2015-02-19 | 2017-02-14 | Google Inc. | Object oriented image editing |
US9576190B2 (en) | 2015-03-18 | 2017-02-21 | Snap Inc. | Emotion recognition in video conferencing |
WO2016189350A1 (en) | 2015-05-23 | 2016-12-01 | Yogesh Chunilal Rathod | Calling to user(s) for real-time sharing, participation, e-commerce, workflow, communication & collaboration in the event of acceptance of call by caller user(s) |
US20160350675A1 (en) | 2015-06-01 | 2016-12-01 | Facebook, Inc. | Systems and methods to identify objectionable content |
US10198667B2 (en) | 2015-09-02 | 2019-02-05 | Pocketguardian, Llc | System and method of detecting offensive content sent or received on a portable electronic device |
KR20170059201A (ko) * | 2015-11-20 | 2017-05-30 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 컨텐츠 출력 방법 |
KR101751620B1 (ko) | 2015-12-15 | 2017-07-11 | 라인 가부시키가이샤 | 시각적 또는 청각적 효과의 양방향 전달을 이용한 영상 통화 방법 및 시스템 |
KR20170082349A (ko) | 2016-01-06 | 2017-07-14 | 삼성전자주식회사 | 디스플레이 장치 및 그 제어 방법 |
BR102016007265B1 (pt) | 2016-04-01 | 2022-11-16 | Samsung Eletrônica da Amazônia Ltda. | Método multimodal e em tempo real para filtragem de conteúdo sensível |
US10104025B2 (en) | 2016-05-23 | 2018-10-16 | Oath Inc. | Virtual chat rooms |
US9848167B1 (en) | 2016-06-21 | 2017-12-19 | Amazon Technologies, Inc. | Low bandwidth video |
KR20180000255A (ko) | 2016-06-22 | 2018-01-02 | 엘지전자 주식회사 | 이동 단말기 및 그 이동 단말기의 제어 방법 |
JP2017228224A (ja) | 2016-06-24 | 2017-12-28 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
KR20180039402A (ko) * | 2016-10-10 | 2018-04-18 | 주식회사 하이퍼커넥트 | 영상 표시 장치 및 영상 표시 방법 |
US11553157B2 (en) | 2016-10-10 | 2023-01-10 | Hyperconnect Inc. | Device and method of displaying images |
US10349126B2 (en) | 2016-12-19 | 2019-07-09 | Samsung Electronics Co., Ltd. | Method and apparatus for filtering video |
US10754965B2 (en) | 2017-03-08 | 2020-08-25 | Blackberry Limited | Data messaging with privacy tokens |
KR101967658B1 (ko) | 2017-05-27 | 2019-04-29 | 주식회사 하이퍼커넥트 | 영상 통화 장치 및 영상 통화 방법 |
KR102283972B1 (ko) | 2017-07-14 | 2021-08-02 | 주식회사 하이퍼커넥트 | 통신 장치, 서버 및 동작 방법 |
KR102312861B1 (ko) | 2017-08-09 | 2021-10-15 | 주식회사 하이퍼커넥트 | 통신 장치, 서버 및 통신 방법 |
JP2019047357A (ja) | 2017-09-04 | 2019-03-22 | キヤノン株式会社 | 撮像装置付き表示装置 |
KR101989842B1 (ko) * | 2017-12-07 | 2019-06-17 | 주식회사 하이퍼커넥트 | 단말기 및 그것의 영상 처리 방법 |
KR102056806B1 (ko) * | 2017-12-15 | 2019-12-18 | 주식회사 하이퍼커넥트 | 영상 통화 서비스를 제공하는 단말과 서버 |
KR102044242B1 (ko) | 2017-12-27 | 2019-11-13 | 주식회사 하이퍼커넥트 | 영상 통화 서비스를 제공하는 단말 및 서버 |
KR102079091B1 (ko) | 2018-01-31 | 2020-02-19 | 주식회사 하이퍼커넥트 | 단말기 및 그것의 이미지 처리 방법 |
KR20190098518A (ko) | 2018-02-14 | 2019-08-22 | 주식회사 하이퍼커넥트 | 서버 및 그것의 동작 방법 |
US20190342246A1 (en) | 2018-05-05 | 2019-11-07 | Thomas P. Theriault | Novel decency filtration tools and their use in interfacing systems |
JP2020010158A (ja) | 2018-07-06 | 2020-01-16 | 本田技研工業株式会社 | 周辺画像の提供方法、及び通信端末用プログラム |
US10440324B1 (en) | 2018-09-06 | 2019-10-08 | Amazon Technologies, Inc. | Altering undesirable communication data for communication sessions |
KR102266888B1 (ko) | 2018-12-31 | 2021-06-21 | 주식회사 하이퍼커넥트 | 영상 통화 서비스를 제공하는 단말기 및 서버 |
US10810726B2 (en) | 2019-01-30 | 2020-10-20 | Walmart Apollo, Llc | Systems and methods for detecting content in images using neural network architectures |
US20200335089A1 (en) | 2019-04-16 | 2020-10-22 | International Business Machines Corporation | Protecting chat with artificial intelligence |
KR102282963B1 (ko) | 2019-05-10 | 2021-07-29 | 주식회사 하이퍼커넥트 | 단말기, 서버 및 그것의 동작 방법 |
JPWO2020250082A1 (ko) | 2019-06-14 | 2020-12-17 | ||
US11330313B2 (en) | 2019-08-02 | 2022-05-10 | Dell Products L.P. | Crowd rating media content based on micro-expressions of viewers |
KR102311603B1 (ko) * | 2019-10-01 | 2021-10-13 | 주식회사 하이퍼커넥트 | 단말기 및 그것의 동작 방법 |
KR102287704B1 (ko) | 2020-01-31 | 2021-08-10 | 주식회사 하이퍼커넥트 | 단말기, 그것의 동작 방법 및 컴퓨터 판독 가능한 기록매체 |
KR102293422B1 (ko) | 2020-01-31 | 2021-08-26 | 주식회사 하이퍼커넥트 | 단말기 및 그것의 동작 방법 |
-
2020
- 2020-01-31 KR KR1020200012233A patent/KR102293422B1/ko active
-
2021
- 2021-01-29 JP JP2021013320A patent/JP7145995B2/ja active Active
- 2021-01-29 EP EP21154208.9A patent/EP3860134A1/en active Pending
- 2021-01-29 US US17/161,787 patent/US11394922B2/en active Active
-
2022
- 2022-07-18 US US17/813,238 patent/US11825236B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110019499A (ko) * | 2009-08-20 | 2011-02-28 | 엘지전자 주식회사 | 이동 단말기 |
KR20180116520A (ko) * | 2017-04-17 | 2018-10-25 | 주식회사 하이퍼커넥트 | 영상 통화 장치, 영상 통화 방법 및 영상 통화 중개 방법 |
Also Published As
Publication number | Publication date |
---|---|
US11394922B2 (en) | 2022-07-19 |
JP7145995B2 (ja) | 2022-10-03 |
KR102293422B1 (ko) | 2021-08-26 |
US11825236B2 (en) | 2023-11-21 |
JP2021125880A (ja) | 2021-08-30 |
EP3860134A1 (en) | 2021-08-04 |
US20220353464A1 (en) | 2022-11-03 |
US20210243407A1 (en) | 2021-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102293422B1 (ko) | 단말기 및 그것의 동작 방법 | |
KR102266888B1 (ko) | 영상 통화 서비스를 제공하는 단말기 및 서버 | |
US10542118B2 (en) | Facilitating dynamic filtering and local and/or remote processing of data based on privacy policies and/or user preferences | |
US20200099780A1 (en) | Mobile terminal and method of operating the same | |
KR102311603B1 (ko) | 단말기 및 그것의 동작 방법 | |
US11095727B2 (en) | Electronic device and server for providing service related to internet of things device | |
KR102275653B1 (ko) | 웨어러블 디바이스 및 컨텐츠 전송 방법. | |
US20170272425A1 (en) | Method and device for accessing smart camera | |
KR102345649B1 (ko) | 휴대용 장치가 웨어러블 장치를 통하여 정보를 표시하는 방법 및 그 장치 | |
US20200137642A1 (en) | Method for implementing edge computing of network and device thereof | |
EP3203690B1 (en) | Message transmission method and apparatus, and electronic device | |
KR20160053596A (ko) | 디바이스가 다른 디바이스를 제어하는 방법 및 그 디바이스 | |
WO2017219497A1 (zh) | 消息生成方法及装置 | |
KR20190016671A (ko) | 통신 장치, 서버 및 통신 방법 | |
US20190268666A1 (en) | Display apparatus and operation method of the same | |
KR102051828B1 (ko) | 영상 통화 방법 및 영상 통화 중개 장치 | |
KR102360182B1 (ko) | 슬레이브 디바이스와 데이터 통신을 수행하는 디바이스 및 방법 | |
US20150163340A1 (en) | Portable terminal and a method for operating the same | |
US9900489B2 (en) | System and method of providing device use information | |
US20170358325A1 (en) | Method and playback device for controlling working state of mobile terminal, and storage medium | |
US20210072832A1 (en) | Contactless gesture control method, apparatus and storage medium | |
KR102173727B1 (ko) | 음향 신호 기반 정보 공유 방법 및 그 장치 | |
KR102315211B1 (ko) | 단말기 및 그것의 동작 방법 | |
KR102229101B1 (ko) | 긴급 상황 알림 시스템 및 그 방법 | |
KR20220152969A (ko) | 분실 위험이 없고 보안성이 강화된 가상 타임캡슐을 제공하는 서버, 방법 및 프로그램 |