KR102291740B1 - Image processing system - Google Patents

Image processing system Download PDF

Info

Publication number
KR102291740B1
KR102291740B1 KR1020190153474A KR20190153474A KR102291740B1 KR 102291740 B1 KR102291740 B1 KR 102291740B1 KR 1020190153474 A KR1020190153474 A KR 1020190153474A KR 20190153474 A KR20190153474 A KR 20190153474A KR 102291740 B1 KR102291740 B1 KR 102291740B1
Authority
KR
South Korea
Prior art keywords
voice
image
module
user
smart glasses
Prior art date
Application number
KR1020190153474A
Other languages
Korean (ko)
Other versions
KR20210064830A (en
Inventor
김현배
Original Assignee
주식회사 딥파인
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 딥파인 filed Critical 주식회사 딥파인
Priority to KR1020190153474A priority Critical patent/KR102291740B1/en
Publication of KR20210064830A publication Critical patent/KR20210064830A/en
Application granted granted Critical
Publication of KR102291740B1 publication Critical patent/KR102291740B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G06K9/20—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Acoustics & Sound (AREA)
  • Mathematical Physics (AREA)
  • Optics & Photonics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 음성인식 및 정보 가시화를 위한 영상처리 시스템에 관한 것으로, 통신망을 통해 상호 통신하는 스마트 글래스 및 정보제공서버를 포함하되, 상기 스마트 글래스는, 사용자의 안면에 착용되어 상기 정보제공서버로 사용자가 바라보는 물체를 촬영한 실물영상과, 사용자의 발화에 따른 음성명령을 제공하고, 상기 정보제공서버는, 상기 스마트 글래스로부터 상기 실물영상 및 상기 음성명령을 수신하여 상기 실물영상 및 상기 음성명령을 분석하고, 상기 실물영상 및/또는 상기 음성명령에 대응하는 증강현실 컨텐츠를 상기 스마트 글래스에게 제공하는 것을 특징으로 하는, 영상처리 시스템을 제공한다.The present invention relates to an image processing system for voice recognition and information visualization, comprising smart glasses and an information providing server that communicate with each other through a communication network, wherein the smart glasses are worn on a user's face and send the user to the information providing server Provides a real image of an object that is being looked at and a voice command according to a user's utterance, and the information providing server receives the real image and the voice command from the smart glasses to provide the real image and the voice command It provides an image processing system that analyzes and provides the real image and/or augmented reality content corresponding to the voice command to the smart glasses.

Description

영상처리 시스템{IMAGE PROCESSING SYSTEM}Image processing system {IMAGE PROCESSING SYSTEM}

본 발명은 영상처리 시스템에 관한 것으로, 더욱 상세하게는 음성인식 및 정보 가시화를 위한 영상처리 시스템에 관한 것이다.The present invention relates to an image processing system, and more particularly, to an image processing system for voice recognition and information visualization.

산업 현장에서는 양손을 쓰지 못하는 상황에서 발생할 수 있는 안전사고 발생가능성을 최소화할 수 있는 시스템 제어방법, 지식제안, 협업 도구를 위한 기술 개발이 절실히 필요하다.In the industrial field, there is an urgent need to develop technologies for system control methods, knowledge proposals, and collaboration tools that can minimize the possibility of safety accidents that can occur in situations where both hands cannot be used.

특히, 일반적인 스마트 글래스는 작업 도중 모션 및 터치를 실시하기 위하여 작업 시간을 지연시키고 안정상 문제가 발생할 가능성이 있으므로 해당 부분의 문제점을 개선하기 위한 필요성이 대두되고 있다.In particular, since general smart glasses delay work time to perform motion and touch during work, and there is a possibility that a stability problem may occur, the need to improve the problem of the corresponding part is emerging.

또한, 산업 현장의 생산성 향상을 위하여 화자의 의도를 분석하여 화자에게 보조지식을 전달할 수 있는 기술에 대한 개발도 필요한 상황이다.In addition, in order to improve productivity in the industrial field, it is also necessary to develop a technology capable of delivering auxiliary knowledge to the speaker by analyzing the speaker's intentions.

대한민국 공개특허공보 제10-2019-0101323호Republic of Korea Patent Publication No. 10-2019-0101323

본 발명이 해결하고자 하는 기술적 과제는 영상식별 기술을 통한 이미지 인식을 용이하도록 하여 설비 및 제조 현장에서 상품에 대한 정보를 실시간을 확인할 수 있는 영상처리 시스템을 제공하는 것이다.The technical problem to be solved by the present invention is to provide an image processing system capable of checking information on products in real time in facilities and manufacturing sites by facilitating image recognition through image identification technology.

또한, 본 발명이 해결하고자 하는 기술적 과제는 음성인식을 통한 마킹 기법을 적용하여 화면내에 표시할 수 있는 영상처리 시스템을 제공하는 것이다.In addition, the technical problem to be solved by the present invention is to provide an image processing system capable of displaying in a screen by applying a marking technique through voice recognition.

또한, 본 발명이 해결하고자 하는 기술적 과제는 화자의 의도를 분석하여 화자에게 보조지식을 전달할 수 있는 리모트 어시스턴스, 비전피킹, 원격 협업 등의 기술을 통해 현장의 생산성을 향상시킬 수 있는 영상처리 시스템을 제공하는 것이다.In addition, the technical problem to be solved by the present invention is an image processing system that can improve on-site productivity through technologies such as remote assistance, vision picking, and remote collaboration that can deliver auxiliary knowledge to the speaker by analyzing the speaker's intentions is to provide

본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical problems to be achieved by the present invention are not limited to the technical problems mentioned above, and other technical problems not mentioned can be clearly understood by those of ordinary skill in the art to which the present invention belongs from the description below. There will be.

상기 기술적 과제를 달성하기 위하여, 본 발명의 일실시예는 통신망을 통해 상호 통신하는 스마트 글래스 및 정보제공서버를 포함하되, 상기 스마트 글래스는, 사용자의 안면에 착용되어 상기 정보제공서버로 사용자가 바라보는 물체를 촬영한 실물영상과, 사용자의 발화에 따른 음성명령을 제공하고, 상기 정보제공서버는, 상기 스마트 글래스로부터 상기 실물영상 및 상기 음성명령을 수신하여 상기 실물영상 및 상기 음성명령을 분석하고, 상기 실물영상 및/또는 상기 음성명령에 대응하는 증강현실 컨텐츠를 상기 스마트 글래스에게 제공하는 것을 특징으로 하는, 영상처리 시스템을 제공한다.In order to achieve the above technical object, an embodiment of the present invention includes smart glasses and an information providing server that communicate with each other through a communication network, wherein the smart glasses are worn on the user's face and the user looks at the information providing server Provides a real image of a viewing object and a voice command according to a user's utterance, and the information providing server receives the real image and the voice command from the smart glasses and analyzes the real image and the voice command, , It provides an image processing system, characterized in that the augmented reality content corresponding to the real image and/or the voice command is provided to the smart glasses.

본 발명의 실시예에 있어서, 상기 스마트 글래스는, 사용자의 안면에 착용되는 프레임 및 렌즈로 이루어져 상기 프레임에 장착되며 기 설정된 좌표영역이 표시되도록 설정된 디스플레이부를 포함하는 글래스모듈, 상기 프레임에 설치되어 사용자의 시선 및/또는 이동에 따라 사용자가 바라보는 물체를 실시간으로 촬영하여 상기 실물영상을 생성하는 카메라 모듈, 상기 프레임에 적어도 하나가 설치되어 사용자의 음성을 입력 처리하는 음성입력모듈, 상기 프레임에 설치되어 서버와 통신하는 글래스통신모듈, 및 상기 글래스통신모듈을 통해 수신한 영상신호를 상기 글래스모듈의 디스플레이부에 표시되도록 처리하고, 상기 음성에 대응하여 기 설정된 동작을 수행하도록 처리하는 글래스제어모듈을 포함할 수 있다.In an embodiment of the present invention, the smart glasses include a frame and a lens that are worn on the user's face, are mounted on the frame, and include a display unit configured to display a preset coordinate area, a glass module installed in the frame and installed on the user A camera module for generating the real image by photographing an object viewed by the user in real time according to the gaze and/or movement of a glass communication module for communicating with a server, and a glass control module for processing an image signal received through the glass communication module to be displayed on a display unit of the glass module and performing a preset operation in response to the voice; may include

본 발명의 실시예에 있어서, 상기 글래스제어모듈은, 상기 정보제공서버로부터 수신한 증강현실 컨텐츠가 상기 글래스모듈에서 표시되도록 상기 증강현실 컨텐츠를 신호처리하여 상기 글래스모듈(110)로 제공하는 영상처리부, 상기 음성입력모듈로부터 수신한 음성을 명령으로 신호처리하여 상기 글래스통신모듈을 통해 상기 정보제공서버로 음성명령을 제공하는 음성처리부, 및 상기 음성입력모듈을 통해 사용자의 음성이 입력되면, 입력된 음성을 신호처리하도록 상기 음성처리부를 제어하거나, 상기 영상처리부를 통해 증강현실 컨텐츠를 영상신호로 신호처리하여 상기 글래스모듈로 표시할 때 상기 음성입력모듈을 통해 컨텐츠에 대한 실행을 명령하는 사용자의 음성이 입력되면 음성명령을 실행하도록 상기 영상처리부를 제어하는 메인제어부를 포함할 수 있다.In an embodiment of the present invention, the glass control module includes an image processing unit for signal processing the augmented reality content received from the information providing server and providing the augmented reality content to the glass module 110 to be displayed on the glass module. , a voice processing unit that processes the voice received from the voice input module as a command and provides a voice command to the information providing server through the glass communication module, and when the user's voice is inputted through the voice input module, the The voice of a user that controls the audio processing unit to process the audio signal or commands the execution of the content through the audio input module when the augmented reality content is signal-processed into an image signal through the image processing unit and displayed on the glass module It may include a main control unit for controlling the image processing unit to execute the voice command when this is input.

본 발명의 실시예에 있어서, 상기 음성처리부는, 사용자의 발화가 입력된 것으로 판단되면, 상기 음성으로부터 상기 디스플레이부에 설정된 좌표영역에 대한 좌표영역 키워드를 추출하거나, 증강현실 컨텐츠의 실행명령에 대한 실행명령 키워드를 추출하여 음성명령으로 신호처리하고 상기 정보제공서버에 음성명령을 제공할 수 있다.In an embodiment of the present invention, when it is determined that the user's utterance is input, the voice processing unit extracts a coordinate region keyword for the coordinate region set on the display unit from the voice, or responds to an execution command of augmented reality content. It is possible to extract the execution command keyword, process the signal as a voice command, and provide the voice command to the information providing server.

본 발명의 실시예에 있어서, 상기 정보제공서버는, 상기 글래스통신모듈과 무선 통신하는 서버통신모듈, 기 설정된 이미지 인식 모델을 이용하여 상기 스마트 글래스(100)로부터 수신된 영상으로부터 객체를 분석하고, 분석결과를 하기 컨텐츠제공모듈 및/또는 하기 서버제어모듈로 제공하는 영상분석모듈, 자연어 처리모델을 이용하여 상기 스마트 글래스로부터 수신한 음성명령으로부터 상기 음성명령에 포함된 키워드를 분석하고, 분석결과를 하기 컨텐츠제공모듈 및/또는 하기 서버제어모듈로 제공하는 음성명령분석모듈, 상기 영상분석모듈 및/또는 상기 음성명령분석모듈의 분석결과를 수신하여 기 저장된 증강현실 컨텐츠를 상기 스마트 글래스에 제공하고 상기 스마트 글래스에서 촬영한 영상에 대한 영상정보를 저장하고, 상기 영상정보, 상기 좌표영역 키워드 및 상기 실행명령 키워드에 대응하는 증강현실 컨텐츠를 저장하는 컨텐츠제공모듈, 및 상기 영상분석모듈 및/또는 상기 음성명령분석모듈로부터 분석결과를 수신하여 상기 실물영상, 상기 좌표영역 키워드 및 상기 실행명령 키워드에 대응하는 증강현실 컨텐츠를 매칭하여 상기 스마트 글래스에 제공하도록 상기 컨텐츠제공모듈을 제어하는 서버제어모듈을 포함할 수 있다.In an embodiment of the present invention, the information providing server analyzes an object from the image received from the smart glasses 100 using a server communication module that wirelessly communicates with the glass communication module, and a preset image recognition model, Analyzes the keywords included in the voice command from the voice command received from the smart glasses using the image analysis module and natural language processing model that provide the analysis result to the following content providing module and/or the following server control module, and analyzes the result A voice command analysis module provided by the following content providing module and/or the following server control module, receiving the analysis result of the image analysis module and/or the voice command analysis module, and providing pre-stored augmented reality content to the smart glasses, and A content providing module that stores image information about an image captured by smart glasses, and stores augmented reality content corresponding to the image information, the coordinate area keyword, and the execution command keyword, and the image analysis module and/or the voice A server control module that receives the analysis result from the command analysis module and controls the content providing module to match the real image, the coordinate area keyword, and the augmented reality content corresponding to the execution command keyword to provide to the smart glasses can

본 발명의 실시예에 있어서, 상기 영상분석모듈은, 형체 인식을 위한 이미지 분석 인공지능 프로그램으로 설정되는 상기 이미지 인식 모델을 이용하여 객체를 분석하되, 상기 이미지 인식 모델은, 상품 인식을 위한 1,2차원 바코드 데이터를 자동으로 생성하는 테스트 이미지 자동생성, 이미지 증식 기법을 포함하여 이미지 해상도 변경에 따른 패딩 자동 처리하는 데이터 아규먼트(data argument), 트레이닝 이미지의 해상도를 변경하였을 때 발생되는 바운딩 박스의 위치변화를 보정하기 위한 알고리즘을 도입하는 해상도 변경, 상품 및 형상 인식을 하기 위해 촬영된 이미지의 업스케일링을 위한 트레이닝 데이터를 자동 분류하는 이미지 복원을 위한 데이터셋 분리 중 적어도 하나를 포함하는 항목을 지원할 수 있다.In an embodiment of the present invention, the image analysis module analyzes an object using the image recognition model set as an image analysis artificial intelligence program for shape recognition, wherein the image recognition model is 1 for product recognition; Automatic creation of test image that automatically generates two-dimensional barcode data, data argument that automatically processes padding according to image resolution change including image multiplication technique, and the location of the bounding box that occurs when the resolution of the training image is changed Can support items including at least one of resolution change, which introduces an algorithm to correct the change, and data set separation for image restoration, which automatically classifies training data for upscaling of images taken for product and shape recognition have.

본 발명의 실시예에 있어서, 상기 음성명령분석모듈은, 노이즈와 음성을 분리하고, 분리된 노이즈와 음성을 딥러닝 학습하고, 딥러닝을 통해 학습된 인공지능 모델에 음성인식 기법을 적용하여 음성데이터를 텍스트로 변환하는 상기 자연어 처리모델을 이용하여 상기 음성명령을 분석할 수 있다.In an embodiment of the present invention, the voice command analysis module separates noise and voice, deep-learning the separated noise and voice, and applying a voice recognition technique to an artificial intelligence model learned through deep learning to make a voice The voice command may be analyzed using the natural language processing model that converts data into text.

본 발명의 실시예에 따르면, 영상식별 기술을 통한 이미지 인식을 용이하도록 하여 설비 및 제조 현장에서 상품에 대한 정보를 실시간을 확인할 수 있다.According to an embodiment of the present invention, by facilitating image recognition through image identification technology, information on products at facilities and manufacturing sites can be checked in real time.

또한, 본 발명의 실시예에 따르면, 음성인식을 통한 마킹 기법을 적용하여 화면내에 표시할 수 있다.In addition, according to an embodiment of the present invention, a marking technique through voice recognition may be applied to display on the screen.

또한, 본 발명의 실시예에 따르면, 음성인식 기술 및/또는 언어 처리 기술 도입으로 워크플로우를 원활하게 만들어 방해와 주의 분산을 없애 생산성을 향상시킬 수 있다.In addition, according to an embodiment of the present invention, it is possible to improve productivity by eliminating interference and distraction by making a workflow smooth by introducing a speech recognition technology and/or a language processing technology.

또한, 본 발명의 실시예에 따르면, 화자의 의도를 분석하여 화자에게 보조지식을 전달할 수 있는 리모트 어시스턴스, 비전피킹, 원격 협업 등의 기술을 통해 현장의 생산성을 향상시킬 수 있다.In addition, according to an embodiment of the present invention, it is possible to improve on-site productivity through technologies such as remote assistance, vision picking, and remote collaboration that can deliver auxiliary knowledge to the speaker by analyzing the speaker's intention.

본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.It should be understood that the effects of the present invention are not limited to the above-described effects, and include all effects that can be inferred from the configuration of the invention described in the detailed description or claims of the present invention.

도 1은 본 발명의 일 실시예에 따른 영상처리 시스템의 구성을 나타내는 도면이다.
도 2는 도 1의 스마트 글래스의 외형 및 구성을 예시적으로 나타내는 도면이다.
도 3은 도 1의 글래스제어모듈의 세부 구성을 예시적으로 나타내는 도면이다.
도 4는 눈금자 유저인터페이스를 적용한 증강현실 컨텐츠의 인터렉션 예시를 나타내는 도면이다.1 is a diagram showing the configuration of an image processing system according to an embodiment of the present invention.
FIG. 2 is a diagram exemplarily showing the appearance and configuration of the smart glasses of FIG. 1 .
3 is a diagram illustrating a detailed configuration of the glass control module of FIG. 1 by way of example.
4 is a diagram illustrating an example of interaction of augmented reality content to which a ruler user interface is applied.

이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, the present invention will be described with reference to the accompanying drawings. However, the present invention may be embodied in several different forms, and thus is not limited to the embodiments described herein. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결(접속, 접촉, 결합)"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 구비할 수 있다는 것을 의미한다.Throughout the specification, when a part is said to be “connected (connected, contacted, coupled)” with another part, it is not only “directly connected” but also “indirectly connected” with another member interposed therebetween. "Including cases where In addition, when a part "includes" a certain component, this means that other components may be further provided without excluding other components unless otherwise stated.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used herein are used only to describe specific embodiments, and are not intended to limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise. In this specification, terms such as "comprises" or "have" are intended to designate that the features, numbers, steps, operations, components, parts, or combinations thereof described in the specification exist, but one or more other features It should be understood that this does not preclude the existence or addition of numbers, steps, operations, components, parts, or combinations thereof.

이하 첨부된 도면을 참고하여 본 발명의 실시예를 상세히 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 영상처리 시스템의 구성을 나타내는 도면이다.1 is a diagram showing the configuration of an image processing system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 영상처리 시스템은 스마트 글래스(100) 및 정보제공서버(200)를 포함할 수 있다.Referring to FIG. 1 , an image processing system according to an embodiment of the present invention may include smart glasses 100 and an information providing server 200 .

상기 스마트 글래스(100)는 상기 정보제공서버(200)와 통신망으로 연결되고, 사용자의 안면에 착용되어 상기 정보제공서버(200)로 사용자가 바라보는 물체를 촬영한 영상을 실시간으로 제공할 수 있다. 이를 위하여, 상기 스마트 글래스(100)는 글래스모듈(110), 카메라모듈(120), 음성입력모듈(130), 글래스통신모듈(140) 및 글래스제어모듈(150)을 포함할 수 있다.The smart glasses 100 are connected to the information providing server 200 through a communication network, and are worn on the user's face to provide the information providing server 200 with an image of an object viewed by the user in real time. . To this end, the smart glasses 100 may include a glass module 110 , a camera module 120 , a voice input module 130 , a glass communication module 140 , and a glass control module 150 .

도 2를 더 참조하면, 상기 글래스모듈(110)은 사용자의 안면에 착용할 수 있도록 안경 형태의 형상으로 형성될 수 있다. 이를 위하여, 상기 글래스모듈(110)은 사용자의 안면에 착용되는 프레임(112) 및 렌즈로 이루어져 상기 프레임(112)에 장착되며 기 설정된 좌표영역이 표시되도록 설정된 디스플레이부(114)를 포함할 수 있다.Referring further to FIG. 2 , the glass module 110 may be formed in a shape of glasses to be worn on a user's face. To this end, the glass module 110 is made of a frame 112 and a lens worn on the user's face, is mounted on the frame 112, and may include a display unit 114 set to display a preset coordinate area. .

여기서, 상기 글래스모듈(110)은 상기 카메라모듈(120), 상기 음성입력모듈(130), 상기 글래스통신모듈(140) 및 상기 글래스제어모듈(150)을 상기 프레임(112)에 내장할 수 있다. 또한, 상기 글래스모듈(110)은 도 4에 도시된 바와 같이 눈금자 유저인터페이스로 상기 디스플레이부(114)에 좌표영역이 설정될 수 있다. 이를 위하여, 상기 글래스모듈(110)은 눈금자 유저인터페이스를 상기 디스플레이부(114)에서 별도의 고정출력신호에 따라 표시하거나, 눈금자 유저인터페이스가 포함된 영상신호를 수신하여 상기 디스플레이부(114)에서 출력할 수 있다.Here, the glass module 110 may embed the camera module 120 , the voice input module 130 , the glass communication module 140 , and the glass control module 150 into the frame 112 . . In addition, as shown in FIG. 4 , in the glass module 110 , a coordinate area may be set on the display unit 114 as a ruler user interface. To this end, the glass module 110 displays the ruler user interface on the display unit 114 according to a separate fixed output signal, or receives an image signal including the ruler user interface and outputs it on the display unit 114 . can do.

상기 카메라모듈(120)은 상기 프레임(112)의 일측에 설치되어 사용자의 시선 및/또는 이동에 따라 사용자가 바라보는 물체를 실시간으로 촬영하여 실물영상을 생성할 수 있다.The camera module 120 may be installed on one side of the frame 112 to capture an object viewed by the user in real time according to the user's gaze and/or movement to generate a real image.

상기 음성입력모듈(130)은 상기 프레임(112)의 일측에 적어도 하나가 설치되어 사용자의 음성을 입력 처리할 수 있다. 예를 들면, 상기 음성입력모듈(130)은 마이크로 구현되며, 상기 글래스모듈(110)을 착용한 사용자의 발화로부터 음성을 감지할 수 있다. 이때, 상기 음성입력모듈(130)이 감지하는 소리는 사용자에 의한 발화와, 사용자 이외에 다양한 요인에 의해 발생하는 소리를 포함할 수 있다.At least one voice input module 130 is installed on one side of the frame 112 to process a user's voice. For example, the voice input module 130 may be implemented as a microphone, and may detect a voice from the utterance of a user wearing the glass module 110 . In this case, the sound sensed by the voice input module 130 may include a user's utterance and a sound generated by various factors other than the user.

상기 글래스통신모듈(140)은 상기 프레임(112)의 일측에 설치되어 상기 정보제공서버(200)와 무선 통신할 수 있다. 이러한 상기 글래스통신모듈(140)은 상기 정보제공서버(200)의 통신 프로토콜(protocol)에 따라서 유선/무선을 통한 광역/근거리 네트워크나 로컬 접속 방식으로 상기 정보제공서버(200)에 접속할 수 있다.The glass communication module 140 is installed on one side of the frame 112 to perform wireless communication with the information providing server 200 . The glass communication module 140 can connect to the information providing server 200 through a wired/wireless wide area/local area network or a local access method according to the communication protocol of the information providing server 200 .

상기 글래스제어모듈(150)은 상기 글래스통신모듈(140)을 통해 수신한 영상신호를 상기 글래스모듈(110)의 디스플레이부(114)에 표시되도록 처리하고, 상기 음성에 대응하여 기 설정된 동작을 수행하도록 처리할 수 있다. 이를 위하여, 상기 글래스제어모듈(150)은 도 3에 도시된 바와 같이 영상처리부(152), 음성처리부(154), 메인제어부(156)를 포함할 수 있다.The glass control module 150 processes the image signal received through the glass communication module 140 to be displayed on the display unit 114 of the glass module 110 and performs a preset operation in response to the voice. can be processed to do so. To this end, the glass control module 150 may include an image processing unit 152 , an audio processing unit 154 , and a main control unit 156 as shown in FIG. 3 .

상기 영상처리부(152)는 상기 정보제공서버(200)로부터 수신한 증강현실 컨텐츠가 상기 글래스모듈(110)에서 표시되도록 상기 증강현실 컨텐츠를 신호처리하여 상기 글래스모듈(110)로 제공할 수 있다. 여기서, 상기 영상처리부(152)는 수신된 증강현실 컨텐츠에 포함된 영상신호에 대해 다양한 영상처리 프로세스를 수행할 수 있다. 또한, 상기 영상처리부(152)는 이러한 프로세스를 수행한 영상신호를 상기 글래스모듈(110)의 디스플레이부(114)을 통해 출력시킬 수 있다. 이를 통해, 상기 영상처리부(152)는 상기 디스플레이부(114)에 해당 영상신호에 기초하는 영상을 표시되게 만들 수 있다. 예를 들면, 상기 영상처리부(152)는 수신한 증강현실 컨텐츠로부터 해당 증강현실 컨텐츠에 대응하는 영상, 음성 및 부가데이터를 추출하고, 기 설정된 해상도로 조정하여 상기 글래스모듈(110)을 통해 출력시킬 수 있다.The image processing unit 152 may signal-process the augmented reality content received from the information providing server 200 and provide it to the glass module 110 so that the augmented reality content is displayed on the glass module 110 . Here, the image processing unit 152 may perform various image processing processes on the image signal included in the received augmented reality content. Also, the image processing unit 152 may output the image signal on which this process is performed through the display unit 114 of the glass module 110 . Through this, the image processing unit 152 may display an image based on the corresponding image signal on the display unit 114 . For example, the image processing unit 152 extracts images, audio, and additional data corresponding to the augmented reality content from the received augmented reality content, adjusts it to a preset resolution, and outputs it through the glass module 110 . can

상기 영상처리부(152)가 수행하는 영상처리 프로세스의 종류는 한정되지 않으며, 예를 들면 영상데이터의 영상 포맷에 대응하는 디코딩(decoding), 인터레이스(interlace) 방식의 영상데이터를 프로그레시브(progressive) 방식으로 변환하는 디인터레이싱(de-interlacing), 영상데이터를 기 설정된 해상도로 조정하는 스케일링(scaling), 영상 화질 개선을 위한 노이즈 감소(noise reduction), 디테일 강화(detail enhancement), 프레임 리프레시 레이트(frame refresh rate) 변환 등을 포함할 수 있다.The type of the image processing process performed by the image processing unit 152 is not limited, and for example, decoding corresponding to the image format of the image data, or interlace image data in a progressive manner. De-interlacing for conversion, scaling for adjusting image data to a preset resolution, noise reduction for image quality improvement, detail enhancement, frame refresh rate transformations, and the like.

상기 음성처리부(154)는 상기 음성입력모듈(130)로부터 수신한 음성을 명령으로 신호처리하여 상기 글래스통신모듈(140)을 통해 상기 정보제공서버(200)로 음성명령을 제공할 수 있다.The voice processing unit 154 may signal the voice received from the voice input module 130 as a command, and provide the voice command to the information providing server 200 through the glass communication module 140 .

구체적으로, 상기 음성처리부(154)는 상기 음성입력모듈(130)에 입력되는 음성 및/또는 소리에 대한 음성처리 프로세스를 수행할 수 있다. 여기서, 상기 음성처리부(154)는 상기 음성입력모듈(130)에 음성 및/또는 소리가 입력되면, 입력된 음성 및/또는 소리가 사용자에 의한 발화인지 아니면 기타 요인에 의하여 발생한 소리인지 여부를 판단할 수 있다. 그러나, 이러한 판단 방법은 다양한 구조가 적용될 수 있으므로 입력된 음성 및/또는 소리가 사람의 목소리에 대응하는 파장 및/또는 주파수 대역에 해당하는지 판단하거나, 또는 사전에 지정된 사용자의 음성의 프로파일에 해당하는지 판단하는 등의 방법을 사용할 수 있다.Specifically, the voice processing unit 154 may perform a voice processing process on the voice and/or sound input to the voice input module 130 . Here, when a voice and/or sound is input to the voice input module 130 , the voice processing unit 154 determines whether the input voice and/or sound is a utterance by the user or a sound generated by other factors. can do. However, since various structures may be applied to this determination method, it is determined whether the input voice and/or sound corresponds to a wavelength and/or frequency band corresponding to a human voice, or whether the inputted voice and/or sound corresponds to a user's voice profile specified in advance. You can use methods such as judging.

또한, 상기 음성처리부(154)는 사용자의 발화가 입력된 것으로 판단되면, 상기 음성으로부터 상기 디스플레이부(114)에 설정된 좌표영역에 대한 키워드(이하, 좌표영역 키워드)를 추출하거나, 증강현실 컨텐츠의 실행명령에 대한 키워드(실행명령 키워드)를 추출하여 음성명령으로 신호처리하고 상기 정보제공서버(200)에 음성명령을 제공할 수 있다. 이를 통해, 상기 음성처리부(154)는 사용자의 발화에 따라 기 설정된 대응 동작이 수행될 수 있도록 지원할 수 있다.In addition, when it is determined that the user's utterance is input, the voice processing unit 154 extracts a keyword (hereinafter, a coordinate region keyword) for a coordinate region set in the display unit 114 from the voice, or extracts a keyword of the augmented reality content. It is possible to extract a keyword (execution command keyword) for the execution command, process the signal as a voice command, and provide the voice command to the information providing server 200 . Through this, the voice processing unit 154 may support to perform a preset corresponding operation according to the user's utterance.

상기 메인제어부(156)는 상기 음성입력모듈(130)을 통해 사용자의 음성이 입력되면, 입력된 음성을 신호처리하도록 상기 음성처리부(154)를 제어할 수 있다. 또한, 상기 메인제어부(156)는 상기 영상처리부(152)를 통해 증강현실 컨텐츠를 영상신호로 신호처리하여 상기 글래스모듈(110)로 표시할 때 상기 음성입력모듈(130)을 통해 컨텐츠에 대한 실행을 명령하는 사용자의 음성이 입력되면 음성명령을 실행하도록 상기 영상처리부(152)를 제어할 수 있다.When a user's voice is input through the voice input module 130 , the main controller 156 may control the voice processor 154 to process the inputted voice as a signal. In addition, the main control unit 156 processes the augmented reality content as an image signal through the image processing unit 152 and displays the augmented reality content as an image signal through the voice input module 130 when the content is displayed on the glass module 110 . When the user's voice for command is input, the image processing unit 152 may be controlled to execute the voice command.

상기와 같은, 상기 글래스제어모듈(150)은 이러한 여러 기능을 통합시킨 SOC(system-on-chip), 또는 이러한 각 프로세스를 독자적으로 수행할 수 있는 개별적인 구성들이 인쇄회로기판 상에 장착됨으로써 영상처리보드(미도시)로 구현되어 상기 글래스모듈(110)에 내장될 수 있다.As described above, the glass control module 150 performs image processing by mounting a system-on-chip (SOC) that integrates these various functions, or individual components capable of independently performing each of these processes, on a printed circuit board. It may be implemented as a board (not shown) and embedded in the glass module 110 .

상기 정보제공서버(200)는 상기 스마트 글래스(100)와 통신망으로 연결되고 상기 스마트 글래스(100)로부터 상기 실물영상 및 상기 음성명령을 수신하여 상기 실물영상 및/또는 상기 음성명령을 분석하고, 상기 실물영상 및/또는 상기 음성명령에 대응하는 증강현실 컨텐츠를 상기 스마트 글래스(100)에게 제공할 수 있다.The information providing server 200 is connected to the smart glasses 100 through a communication network and receives the real image and the voice command from the smart glasses 100 to analyze the real image and/or the voice command, A real image and/or augmented reality content corresponding to the voice command may be provided to the smart glasses 100 .

이를 위하여, 상기 정보제공서버(200)는 서버통신모듈(210), 영상분석모듈(220), 음성명령분석모듈(230), 컨텐츠제공모듈(240), 서버제어모듈(250)을 포함할 수 있다.To this end, the information providing server 200 may include a server communication module 210 , an image analysis module 220 , a voice command analysis module 230 , a content providing module 240 , and a server control module 250 . have.

상기 서버통신모듈(210)은 상기 글래스통신모듈(140)과 무선 통신할 수 있다. 여기서, 상기 서버통신모듈(210)은 상기 글래스통신모듈(140)로부터 영상 및/또는 음성명령을 수신하고, 증강현실 컨텐츠를 영상신호로 송신할 수 있다.The server communication module 210 may wirelessly communicate with the glass communication module 140 . Here, the server communication module 210 may receive an image and/or a voice command from the glass communication module 140 and transmit the augmented reality content as an image signal.

상기 영상분석모듈(220)은 상기 스마트 글래스(100)로부터 수신된 영상으로부터 객체를 분석하고, 분석결과를 상기 컨텐츠제공모듈(240) 및/또는 상기 서버제어모듈(250)로 제공할 수 있다. 예를 들면, 상기 영상분석모듈(220)은 기 설정된 이미지 인식 모델을 이용하여 영상으로부터 객체를 구분하고, 구분된 객체를 생명체와 사물로 분석할 수 있다.The image analysis module 220 may analyze an object from the image received from the smart glasses 100 and provide the analysis result to the content providing module 240 and/or the server control module 250 . For example, the image analysis module 220 may classify an object from an image using a preset image recognition model, and analyze the divided object as a living thing and an object.

여기서, 상기 이미지 인식 모델은 형체 인식을 위한 이미지 분석 인공지능 프로그램으로 설정될 수 있으며, 상품 인식을 위한 1,2차원 바코드 데이터를 자동으로 생성하는 테스트 이미지 자동생성, 이미지 증식 기법을 포함하여 이미지 해상도 변경에 따른 패딩 자동 처리하는 데이터 아규먼트(data argument), 트레이닝 이미지의 해상도를 변경하였을 때 발생되는 바운딩 박스의 위치변화를 보정하기 위한 알고리즘을 도입하는 해상도 변경, 상품 및 형상 인식을 하기 위해 촬영된 이미지의 업스케일링을 위한 트레이닝 데이터를 자동 분류하는 이미지 복원을 위한 데이터셋 분리, (오브젝트 디텍션, OCR, 바코드 또는 QR코드, 객체 추적 등을) 시뮬레이션하는 인식처리 등의 항목을 지원할 수 있다.Here, the image recognition model may be set as an image analysis artificial intelligence program for shape recognition, and image resolution including automatic generation of test images for automatically generating 1,2-dimensional barcode data for product recognition, and image multiplication techniques Data argument that automatically processes padding according to change, resolution change that introduces an algorithm to correct the position change of the bounding box that occurs when the resolution of the training image is changed, and image taken for product and shape recognition It can support items such as data set separation for image restoration that automatically classifies training data for upscaling, and recognition processing that simulates (object detection, OCR, barcode or QR code, object tracking, etc.).

예를 들면, 상기 이미지 인식 모델은 상기 데이터 아규먼트가 적용된 이미지 데이터셋 약 1만장 기준으로 약 94% 이상의 정확도를 확보할 수 있다.For example, the image recognition model may secure an accuracy of about 94% or more based on about 10,000 image datasets to which the data argument is applied.

상기 음성명령분석모듈(230)은 상기 스마트 글래스(100)로부터 수신한 음성명령으로부터 상기 음성명령에 포함된 키워드를 분석하고, 상기 컨텐츠제공모듈(240) 및/또는 상기 서버제어모듈(250)로 제공할 수 있다. 예를 들면, 상기 음성명령분석모듈(230)은 상기 음성명령에 포함된 좌표영역 키워드 또는 실행명령 키워드를 분석할 수 있다. 이때, 상기 음성명령분석모듈(230)은 자연어 인식에 관련된 처리모델(이하, 자연어 처리모델)을 이용하여 음성명령을 분석할 수 있다.The voice command analysis module 230 analyzes a keyword included in the voice command from the voice command received from the smart glasses 100 , and sends it to the content providing module 240 and/or the server control module 250 . can provide For example, the voice command analysis module 230 may analyze a coordinate area keyword or an execution command keyword included in the voice command. In this case, the voice command analysis module 230 may analyze the voice command using a processing model related to natural language recognition (hereinafter, a natural language processing model).

여기서, 상기 자연어 처리모델은 노이즈와 음성을 분리하여 딥러닝 학습할 수 있다. 또한, 상기 자연어 처리모델은 딥러닝을 통해 학습된 인공지능 모델에 음성인식(speech-to-text) 기법을 적용하여 음성 데이터를 텍스트로 변환할 수 있다.Here, the natural language processing model can perform deep learning learning by separating noise and voice. In addition, the natural language processing model may convert voice data into text by applying a speech-to-text technique to an artificial intelligence model learned through deep learning.

또한, 상기 음성명령분석모듈(230)은 음성에 대한 감정 판별 엔진의 음성 감정 인식 특성(Voice Emotion Recognition Feature: VERF)을 이용하여 사용자의 감정을 분석할 수 있다.In addition, the voice command analysis module 230 may analyze the user's emotion by using a voice emotion recognition feature (VERF) of the emotion discrimination engine for voice.

예를 들면, 사용자의 음성에서 피치(pitch) 측면으로 소리가 떨리고 더듬거리며 같은 단어를 반복하는 경우, 또는 음색(timbre) 측면으로 사용자의 고유 습관이 있는 경우, 톤(tone) 측면으로 목소리 톤 변화가 크게 없거나 목소리 톤의 높낮이가 느껴지지만 인위적인 경우에, 상기 음성명령분석모듈(230)은 사용자의 다양한 감정을 분석할 수 있다. 즉, 음성명령분석모듈(230)은 사용자가 발화했을 때 불안해하는 부분, 서두르는 부분, 애매한 부분 등을 분석하여 분석 결과를 생성할 수 있다.For example, if the user's voice trembles and stutters and repeats the same word on the pitch side, or if the user has a unique habit on the timbre side, the tone of the voice changes in the tone side If there is not much or the pitch of the tone of the voice is felt but artificial, the voice command analysis module 230 may analyze various emotions of the user. That is, the voice command analysis module 230 may generate an analysis result by analyzing the part in which the user is anxious, the part in haste, the part that is ambiguous, etc. when the user speaks.

상기 컨텐츠제공모듈(240)은 상기 영상분석모듈(220) 및/또는 상기 음성명령분석모듈(230)의 분석결과를 수신하여 기 저장된 증강현실 컨텐츠를 상기 스마트 글래스(100)에 제공할 수 있다.The content providing module 240 may receive the analysis result of the image analysis module 220 and/or the voice command analysis module 230 to provide pre-stored augmented reality content to the smart glasses 100 .

여기서, 상기 컨텐츠제공모듈(240)은 상기 스마트 글래스(100)에서 촬영한 영상에 대한 정보(이하, 영상정보)를 저장하고, 상기 영상정보, 상기 좌표영역 키워드 또는 상기 실행명령 키워드에 대응하는 증강현실 컨텐츠를 저장하며, 상기 서버제어모듈(250)의 제어에 따라 증강현실 컨텐츠를 상기 스마트 글래스로 제공할 수 있다. 이때, 상기 컨텐츠제공모듈(240)은 상기 영상정보, 상기 좌표영역 키워드 및 상기 실행명령 키워드와, 상기 증강현실 컨텐츠를 상호 대응하게 맵핑하는 관계 데이터베이스를 저장할 수 있다.Here, the content providing module 240 stores information about the image captured by the smart glasses 100 (hereinafter, image information), and augments the image information, the coordinate area keyword or the execution command keyword corresponding to the keyword. The real content is stored, and the augmented reality content can be provided to the smart glasses according to the control of the server control module 250 . In this case, the content providing module 240 may store a relational database that maps the image information, the coordinate area keyword, the execution command keyword, and the augmented reality content to correspond to each other.

상기 서버제어모듈(250)은 상기 영상분석모듈(220) 및/또는 상기 음성명령분석모듈(230)로부터 분석결과를 수신하여 상기 영상정보, 상기 좌표영역 키워드 및 상기 실행명령 키워드에 대응하는 증강현실 컨텐츠를 매칭하여 상기 스마트 글래스(100)에 제공하도록 상기 컨텐츠제공모듈(240)을 제어할 수 있다.The server control module 250 receives the analysis result from the image analysis module 220 and/or the voice command analysis module 230 and augments reality corresponding to the image information, the coordinate area keyword, and the execution command keyword. The content providing module 240 may be controlled to match the content and provide it to the smart glasses 100 .

본 발명의 실시예에 따르면, 영상식별 기술을 통한 이미지 인식을 용이하도록 하여 설비 및 제조 현장에서 상품에 대한 정보를 실시간을 확인할 수 있다.According to an embodiment of the present invention, by facilitating image recognition through image identification technology, information on products at facilities and manufacturing sites can be checked in real time.

또한, 본 발명의 실시예에 따르면, 음성인식을 통한 마킹 기법을 적용하여 화면내에 표시할 수 있다.In addition, according to an embodiment of the present invention, a marking technique through voice recognition may be applied to display on the screen.

또한, 본 발명의 실시예에 따르면, 음성인식 기술 및/또는 언어 처리 기술 도입으로 워크플로우를 원활하게 만들어 방해와 주의 분산을 없애 생산성을 향상시킬 수 있다.In addition, according to an embodiment of the present invention, it is possible to improve productivity by eliminating interference and distraction by making a workflow smooth by introducing a speech recognition technology and/or a language processing technology.

또한, 본 발명의 실시예에 따르면, 화자의 의도를 분석하여 화자에게 보조지식을 전달할 수 있는 리모트 어시스턴스, 비전피킹, 원격 협업 등의 기술을 통해 현장의 생산성을 향상시킬 수 있다.In addition, according to an embodiment of the present invention, it is possible to improve on-site productivity through technologies such as remote assistance, vision picking, and remote collaboration that can deliver auxiliary knowledge to the speaker by analyzing the speaker's intention.

[실시예][Example]

도 4는 눈금자 유저인터페이스를 적용한 증강현실 컨텐츠의 인터랙션 예시를 나타내는 도면이다.4 is a diagram illustrating an example of interaction of augmented reality content to which a ruler user interface is applied.

도 4의 1번 영역(좌표영역)과 관련하여, 음성으로 좌표영역과 요구사항을 명령할 수 있도록 스마트 글래스에서 사용자에게 눈금자 유저인터페이스를 보여줄 수 있다.With respect to area 1 (coordinate area) of FIG. 4 , the ruler user interface may be shown to the user in smart glasses so that the coordinate area and requirements can be commanded by voice.

또한, 도 4의 2번 영역(챗봇영역)과 관련하여, 스마트 글래스는 리모트 어시스턴트를 위해 연결된 채널정보 및 리모트 어시스턴트측과의 커뮤니케이션 목록을 출력하여 사용자에게 보여줄 수 있다.In addition, with respect to area 2 (chatbot area) of FIG. 4 , the smart glasses may output connected channel information for the remote assistant and a communication list with the remote assistant to show to the user.

또한, 도 4의 3번 영역(파일공유영역)과 관련하여, 스마트 글래스는 리모트 어시스턴트 채널과 주고받은 파일의 목록으로 사용자가 전송한 파일과 수신할 파일을 보여줄 수 있다.In addition, with respect to area 3 (file sharing area) of FIG. 4 , the smart glasses may show files transmitted and received by the user as a list of files exchanged with the remote assistant channel.

또한, 도 4의 4번 영역(증강현실 컨텐츠 인터랙션)과 관련하여, 모션인식이 아닌 음성인식을 통한 마킹 기법을 적용하여 사용자가 궁금한 사항이나 요구사항을 화면 내에서 표기할 수 있다. 이때, 인터렉션은 드로우(draw), 텍스트(text), 하이라이트(highlight), 포인트(point), 인디케이터(indicator) 중 적어도 하나를 포함할 수 있다.In addition, with respect to area 4 (augmented reality content interaction) of FIG. 4, by applying a marking technique through voice recognition rather than motion recognition, a user's questions or requirements can be marked on the screen. In this case, the interaction may include at least one of a draw, a text, a highlight, a point, and an indicator.

만약, 사용자가 눈금자 유저인터페이스를 이용하여 “7콤마7에 원을 3cm크기로 그려줘”와 같이 명령하면, 정보제공서버에서는 사용자가 현재 보고 있는 화면(영상)에 원형 마킹이 적용된 증강현실 컨텐츠를 스마트 글래스로 전송하고, 스마트 글래스는 증강현실 컨텐츠를 출력하여 사용자에게 보여줄 수 있다.If the user commands using the ruler user interface, such as “Draw a circle in 7 comma 7 with a size of 3 cm”, the information providing server displays the augmented reality content with circular marking on the screen (video) that the user is currently viewing. It is transmitted to smart glasses, and the smart glasses can output augmented reality content and show it to the user.

또는, 사용자가 눈금자 유저인터페이스를 이용하여 “가로(x)라인 15~17, 세로(y)라인 0~5의 적재상태를 알려줘”와 같이 명령하면, 정보제공서버에서는 사용자가 보고 잇는 화면에 해당 영역에 사각 마킹을 적용하고 불량입니다 등으로 적재상태를 나타내는 증강현실 컨텐츠를 출력하여 사용자에게 보여줄 수 있다.Alternatively, if the user commands using the ruler user interface such as “Tell me the loading status of horizontal (x) lines 15 to 17 and vertical (y) lines 0 to 5”, the information providing server corresponds to the screen the user is viewing. It can be shown to the user by applying square marking to the area and outputting augmented reality content indicating the loading status as defective.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The description of the present invention described above is for illustration, and those of ordinary skill in the art to which the present invention pertains can understand that it can be easily modified into other specific forms without changing the technical spirit or essential features of the present invention. will be. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive. For example, each component described as a single type may be implemented in a distributed manner, and likewise components described as distributed may be implemented in a combined form.

본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the following claims, and all changes or modifications derived from the meaning and scope of the claims and their equivalent concepts should be construed as being included in the scope of the present invention.

100: 스마트 글래스
200: 정보제공서버100: smart glasses
200: information providing server

Claims (7)

통신망을 통해 상호 통신하는 스마트 글래스 및 정보제공서버를 포함하되,
상기 스마트 글래스는,
사용자의 안면에 착용되어 상기 정보제공서버로 사용자가 바라보는 물체를 촬영한 실물영상과, 사용자의 발화에 따른 음성명령을 제공하고,
상기 정보제공서버는,
상기 스마트 글래스로부터 상기 실물영상 및 상기 음성명령을 수신하여 상기 실물영상 및 상기 음성명령을 분석하고, 상기 실물영상 및/또는 상기 음성명령에 대응하는 증강현실 컨텐츠를 상기 스마트 글래스에게 제공하되,
상기 스마트 글래스는,
사용자의 안면에 착용되는 프레임 및 렌즈로 이루어져 상기 프레임에 장착되며 기 설정된 좌표영역이 표시되도록 설정된 눈금자 인터페이스를 사용자에게 보여주는 디스플레이부를 포함하는 글래스모듈;
상기 프레임에 설치되어 사용자의 시선 및/또는 이동에 따라 사용자가 바라보는 물체를 실시간으로 촬영하여 상기 실물영상을 생성하는 카메라 모듈;
상기 프레임에 적어도 하나가 설치되어 사용자의 음성을 입력 처리하는 음성입력모듈;
상기 프레임에 설치되어 서버와 통신하는 글래스통신모듈; 및
상기 글래스통신모듈을 통해 수신한 영상신호를 상기 글래스모듈의 디스플레이부에 표시되도록 처리하고, 상기 음성에 대응하여 기 설정된 동작을 수행하도록 처리하는 글래스제어모듈을 포함하고,
상기 스마트 글래스는,
상기 눈금자 유저인터페이스를 적용하여 상기 정보제공서버와 증강현실 콘텐츠의 인터랙션을 수행하는데 있어서,
사용자에게 상기 눈금자 유저인터페이스를 통해 음성으로 좌표영역과 요구사항의 명령을 지원하고,
리모트 어시스턴트를 위해 연결된 채널정보 및 리모트 어시스턴트측과의 커뮤니케이션 목록을 출력하고,
상기 리모트 어시스턴트 채널과 주고받은 파일의 목록으로 사용자가 전송한 파일과 수신할 파일을 표시하며,
음성인식을 통한 마킹 기법을 적용하여 사용자가 궁금한 사항이나 요구사항을 상기 디스플레이부를 통해 표기하여 사용자에게 보여주는 것을 특징으로 하는, 영상처리 시스템.

Including smart glasses and an information providing server that communicate with each other through a communication network,
The smart glasses,
It is worn on the user's face and provides a real image of an object viewed by the user with the information providing server, and a voice command according to the user's utterance,
The information providing server,
Receive the real image and the voice command from the smart glasses, analyze the real image and the voice command, and provide the real image and/or augmented reality content corresponding to the voice command to the smart glasses,
The smart glasses,
a glass module comprising a frame and a lens worn on the user's face, mounted on the frame, and including a display unit for displaying a ruler interface set to display a preset coordinate area to the user;
a camera module installed in the frame and generating the real image by photographing an object viewed by the user in real time according to the user's gaze and/or movement;
at least one voice input module installed in the frame to input and process a user's voice;
a glass communication module installed in the frame to communicate with a server; and
and a glass control module that processes the image signal received through the glass communication module to be displayed on the display unit of the glass module and performs a preset operation in response to the voice;
The smart glasses,
In performing the interaction between the information providing server and the augmented reality content by applying the ruler user interface,
Support the command of the coordinate area and requirements by voice through the ruler user interface to the user,
Outputs the channel information connected for the remote assistant and the communication list with the remote assistant,
Displays the file sent and received by the user as a list of files exchanged with the remote assistant channel,
An image processing system, characterized in that by applying a marking technique through voice recognition, the user's questions or requirements are marked through the display unit and displayed to the user.

 삭제delete 제1항에 있어서,
상기 글래스제어모듈은,
상기 정보제공서버로부터 수신한 증강현실 컨텐츠가 상기 글래스모듈에서 표시되도록 상기 증강현실 컨텐츠를 신호처리하여 상기 글래스모듈로 제공하는 영상처리부;
상기 음성입력모듈로부터 수신한 음성을 명령으로 신호처리하여 상기 글래스통신모듈을 통해 상기 정보제공서버로 음성명령을 제공하는 음성처리부; 및
상기 음성입력모듈을 통해 사용자의 음성이 입력되면, 입력된 음성을 신호처리하도록 상기 음성처리부를 제어하거나, 상기 영상처리부를 통해 증강현실 컨텐츠를 영상신호로 신호처리하여 상기 글래스모듈로 표시할 때 상기 음성입력모듈을 통해 컨텐츠에 대한 실행을 명령하는 사용자의 음성이 입력되면 음성명령을 실행하도록 상기 영상처리부를 제어하는 메인제어부;
를 포함하는 것을 특징으로 하는, 영상처리 시스템.
According to claim 1,
The glass control module,
an image processing unit for signal-processing the augmented reality content received from the information providing server and providing the augmented reality content to the glass module to be displayed on the glass module;
a voice processing unit that processes the voice received from the voice input module as a command and provides a voice command to the information providing server through the glass communication module; and
When a user's voice is inputted through the voice input module, the voice processing unit is controlled to process the inputted voice signal, or when the augmented reality content is signal-processed as an image signal through the image processing unit and displayed on the glass module, the a main control unit for controlling the image processing unit to execute a voice command when a user's voice commanding execution of content is input through the voice input module;
It characterized in that it comprises, the image processing system.
 제3항에 있어서,
상기 음성처리부는,
사용자의 발화가 입력된 것으로 판단되면, 상기 사용자의 음성으로부터 상기 디스플레이부에 설정된 좌표영역에 대한 좌표영역 키워드를 추출하거나, 증강현실 컨텐츠의 실행명령에 대한 실행명령 키워드를 추출하여 음성명령으로 신호처리하고 상기 정보제공서버에 음성명령을 제공하는 것을 특징으로 하는, 영상처리 시스템.
4. The method of claim 3,
The voice processing unit,
When it is determined that the user's utterance has been inputted, a coordinate area keyword for the coordinate area set on the display unit is extracted from the user's voice, or an execution command keyword for an execution command of the augmented reality content is extracted and signal is processed as a voice command. and providing a voice command to the information providing server.
 제4항에 있어서,
상기 정보제공서버는,
상기 글래스통신모듈과 무선 통신하는 서버통신모듈;
기 설정된 이미지 인식 모델을 이용하여 상기 스마트 글래스(100)로부터 수신된 영상으로부터 객체를 분석하고, 분석결과를 하기 컨텐츠제공모듈 및/또는 하기 서버제어모듈로 제공하는 영상분석모듈;
자연어 처리모델을 이용하여 상기 스마트 글래스로부터 수신한 음성명령으로부터 상기 음성명령에 포함된 키워드를 분석하고, 분석결과를 하기 컨텐츠제공모듈 및/또는 하기 서버제어모듈로 제공하는 음성명령분석모듈;
상기 영상분석모듈 및/또는 상기 음성명령분석모듈의 분석결과를 수신하여 기 저장된 증강현실 컨텐츠를 상기 스마트 글래스에 제공하고 상기 스마트 글래스에서 촬영한 영상에 대한 영상정보를 저장하고, 상기 영상정보, 상기 좌표영역 키워드 및 상기 실행명령 키워드에 대응하는 증강현실 컨텐츠를 저장하는 컨텐츠제공모듈; 및
상기 영상분석모듈 및/또는 상기 음성명령분석모듈로부터 분석결과를 수신하여 상기 영상정보, 상기 좌표영역 키워드 및 상기 실행명령 키워드에 대응하는 증강현실 컨텐츠를 매칭하여 상기 스마트 글래스에 제공하도록 상기 컨텐츠제공모듈을 제어하는 서버제어모듈;
을 포함하는 것을 특징으로 하는, 영상처리 시스템.
5. The method of claim 4,
The information providing server,
a server communication module that wirelessly communicates with the glass communication module;
an image analysis module that analyzes an object from the image received from the smart glasses 100 using a preset image recognition model and provides the analysis result to the following content providing module and/or the following server control module;
a voice command analysis module that analyzes a keyword included in the voice command from the voice command received from the smart glasses using a natural language processing model, and provides the analysis result to the following content providing module and/or the following server control module;
Receives the analysis result of the image analysis module and/or the voice command analysis module, provides pre-stored augmented reality content to the smart glasses, stores image information about the image captured by the smart glasses, and stores the image information, the a content providing module for storing augmented reality content corresponding to the coordinate area keyword and the execution command keyword; and
The content providing module receives the analysis result from the image analysis module and/or the voice command analysis module, matches the augmented reality content corresponding to the image information, the coordinate area keyword, and the execution command keyword, and provides it to the smart glasses a server control module for controlling the;
It characterized in that it comprises, the image processing system.
 제5항에 있어서,
상기 영상분석모듈은,
형체 인식을 위한 이미지 분석 인공지능 프로그램으로 설정되는 상기 이미지 인식 모델을 이용하여 객체를 분석하되,
상기 이미지 인식 모델은,
상품 인식을 위한 1,2차원 바코드 데이터를 자동으로 생성하는 테스트 이미지 자동생성, 이미지 증식 기법을 포함하여 이미지 해상도 변경에 따른 패딩 자동 처리하는 데이터 아규먼트(data argument), 트레이닝 이미지의 해상도를 변경하였을 때 발생되는 바운딩 박스의 위치변화를 보정하기 위한 알고리즘을 도입하는 해상도 변경, 상품 및 형상 인식을 하기 위해 촬영된 이미지의 업스케일링을 위한 트레이닝 데이터를 자동 분류하는 이미지 복원을 위한 데이터셋 분리 중 적어도 하나를 포함하는 항목을 지원하는 것을 특징으로 하는, 영상처리 시스템.
6. The method of claim 5,
The image analysis module,
Analyze the object using the image recognition model set as an image analysis artificial intelligence program for shape recognition,
The image recognition model is
Automatic creation of test image that automatically generates 1,2-dimensional barcode data for product recognition, data argument that automatically processes padding according to image resolution change, including image multiplication technique, when the resolution of training image is changed At least one of data set separation for image restoration that automatically classifies training data for upscaling of images taken for product and shape recognition, resolution change that introduces an algorithm to correct the position change of the bounding box that is generated An image processing system, characterized in that it supports an item containing.
 제5항에 있어서,
상기 음성명령분석모듈은,
노이즈와 음성을 분리하고, 분리된 노이즈와 음성을 딥러닝 학습하고, 딥러닝을 통해 학습된 인공지능 모델에 음성인식 기법을 적용하여 음성데이터를 텍스트로 변환하는 상기 자연어 처리모델을 이용하여 상기 음성명령을 분석하는 것을 특징으로 하는, 영상처리 시스템.
6. The method of claim 5,
The voice command analysis module,
The voice using the natural language processing model that separates noise and voice, learns the separated noise and voice by deep learning, and converts voice data into text by applying a voice recognition technique to an artificial intelligence model learned through deep learning An image processing system, characterized in that it analyzes the command.
KR1020190153474A 2019-11-26 2019-11-26 Image processing system KR102291740B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190153474A KR102291740B1 (en) 2019-11-26 2019-11-26 Image processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190153474A KR102291740B1 (en) 2019-11-26 2019-11-26 Image processing system

Publications (2)

Publication Number Publication Date
KR20210064830A KR20210064830A (en) 2021-06-03
KR102291740B1 true KR102291740B1 (en) 2021-08-23

Family

ID=76396908

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190153474A KR102291740B1 (en) 2019-11-26 2019-11-26 Image processing system

Country Status (1)

Country Link
KR (1) KR102291740B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023153544A1 (en) * 2022-02-14 2023-08-17 엘지전자 주식회사 Method for providing customized tour guide content and terminal for implementing same
KR20230127734A (en) * 2022-02-25 2023-09-01 계명대학교 산학협력단 Virtual Collaboration Non-Face-To-Face Real-Time Remote Experiment System

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015192117A1 (en) * 2014-06-14 2015-12-17 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
KR102251710B1 (en) * 2014-11-04 2021-05-14 넥시스 주식회사 System, method and computer readable medium for managing content of external device using wearable glass device
KR102541559B1 (en) * 2017-08-04 2023-06-08 삼성전자주식회사 Method and apparatus of detecting objects of interest
KR102071113B1 (en) * 2017-10-23 2020-03-02 주식회사 에이알미디어웍스 Exhibit space and exhibition guide system using smart glass based on augmented reality
KR20190101323A (en) 2019-08-12 2019-08-30 엘지전자 주식회사 Xr device for providing ar mode and vr mode and method for controlling the same

Also Published As

Publication number Publication date
KR20210064830A (en) 2021-06-03

Similar Documents

Publication Publication Date Title
US11854550B2 (en) Determining input for speech processing engine
US20210335381A1 (en) Artificial intelligence apparatus for converting text and speech in consideration of style and method for the same
CN108874126B (en) Interaction method and system based on virtual reality equipment
US20190188903A1 (en) Method and apparatus for providing virtual companion to a user
KR100948600B1 (en) System and method for integrating gesture and voice
US20140129207A1 (en) Augmented Reality Language Translation
WO2008069519A1 (en) Gesture/speech integrated recognition system and method
US11363078B2 (en) System and method for augmented reality video conferencing
US9870521B1 (en) Systems and methods for identifying objects
KR102291740B1 (en) Image processing system
KR102290549B1 (en) AR Contents Production System
JP7265667B2 (en) Work support system and work support method
JP2023153283A (en) Work support system, work support method and work support device
KR101950721B1 (en) Safety speaker with multiple AI module
WO2023220198A1 (en) Multi-stage summarization for customized, contextual summaries
JP2017182261A (en) Information processing apparatus, information processing method, and program
KR20230077178A (en) System for supporting Remote Collaboration
KR20150134252A (en) Dispaly apparatus, remote controll apparatus, system and controlling method thereof
KR20230127734A (en) Virtual Collaboration Non-Face-To-Face Real-Time Remote Experiment System
US20230145966A1 (en) Augmented reality device performing audio recognition and control method therefor
KR102605552B1 (en) Augmented Reality System
KR20230076411A (en) Manual Providing System
Kepuska et al. uC: Ubiquitous collaboration platform for multimodal team interaction support
JP2019144822A (en) Explicit knowledge formalization system and method of the same
KR20230076410A (en) Metaverse Shop Operation System

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right