KR101611427B1 - Image processing method and apparatus performing the same - Google Patents
Image processing method and apparatus performing the same Download PDFInfo
- Publication number
- KR101611427B1 KR101611427B1 KR1020140190266A KR20140190266A KR101611427B1 KR 101611427 B1 KR101611427 B1 KR 101611427B1 KR 1020140190266 A KR1020140190266 A KR 1020140190266A KR 20140190266 A KR20140190266 A KR 20140190266A KR 101611427 B1 KR101611427 B1 KR 101611427B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- modeling
- image processing
- work
- processing unit
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
Description
본 발명은 영상 처리 기술에 관한 것으로, 보다 상세하게는, 복수의 배경 영역들을 합성한 파노라마 영상 및 작업 대상에 대한 모델링 영상을 정합하는 영상 처리 방법 및 이를 수행하는 장치에 관한 것이다.
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing technique, and more particularly, to an image processing method for matching a panorama image synthesized with a plurality of background areas and a modeling image for a work object, and an apparatus performing the same.
입체 영상 표시 장치는 적어도 두 개의 카메라 또는 센서를 사용하여 입체 영상을 생성할 수 있다. 입체 영상 표시 장치는 적어도 두 개의 카메라 또는 센서를 사용하여 좌안 및 우안 영상들을 획득하고, 이들을 인코딩하여 컨텐츠 파일을 생성할 수 있다.The stereoscopic image display device can generate a stereoscopic image using at least two cameras or sensors. The stereoscopic image display device can acquire left and right eye images using at least two cameras or sensors, and can generate a content file by encoding them.
입체 영상은 깊이 및 공간에 대한 형상 정보를 동시에 제공하는 3차원 영상에 해당할 수 있다. 입체 영상 표시 장치는 컬러 영상 및 다양한 시점의 깊이 영상들을 부호화 및 복호화하여 임의 시점에 대응하는 입체 영상을 생성할 수 있다.The stereoscopic image may correspond to a three-dimensional image simultaneously providing shape information on depth and space. The stereoscopic image display apparatus can generate a stereoscopic image corresponding to a certain time by encoding and decoding color images and depth images at various viewpoints.
종래의 입체 영상 표시 장치는 입체 카메라가 촬상한 영상을 제공할 수 있으나, 주변 환경에 대한 정보를 충분히 제공하지 못하는 문제점이 존재한다. 즉, 입체 카메라 또는 센서를 통한 입체 영상이 제공되는 경우, 입체 카메라 또는 센서의 범위가 미치지 않는 지역에 대한 영상이 제공되지 않는 문제점이 존재한다.Conventional stereoscopic image display apparatuses can provide an image captured by a stereoscopic camera, but there is a problem that information on the surrounding environment can not be sufficiently provided. That is, when a stereoscopic camera or a stereoscopic image through a sensor is provided, there is a problem that an image is not provided for a stereoscopic camera or an area where the range of the sensor is not provided.
한국공개특허 제2011-0133677호는 3D 영상 처리 장치 및 그 방법에 관한 것으로, 하나의 카메라에 의해 촬영된 복수 개의 컬러 영상들과 복수 개의 깊이 영상들을 하나의 기준 좌표계를 기준으로 융합하여 다시점의 리얼 3차원 비디오를 생성할 수 있는 3D 영상 처리 장치 및 그 방법 에 대하여 개시한다.Korean Patent Laid-Open Publication No. 2011-0133677 relates to a 3D image processing apparatus and a method thereof. In the 3D image processing apparatus and method, a plurality of color images captured by a camera and a plurality of depth images are fused on the basis of one reference coordinate system, A 3D image processing apparatus capable of generating real three-dimensional video and a method thereof are disclosed.
한국등록특허 제1,454,333호는 실시간 전경 영상 및 배경 영상 합성 시스템에 관한 것으로, 외부 카메라로부터 수신된 카메라 영상에 대한 데이터 실시간 합성을 수행하여 적은 비용으로도 고가의 스튜디오 장비나 방송국 장비와 같은 효과를 발생하는 영상 합성 시스템에 대하여 개시한다.
Korean Patent No. 1,454,333 relates to a real-time foreground image and background image synthesis system, which performs real-time data synthesis on camera images received from an external camera, thereby achieving the same effects as expensive studio equipment and broadcasting station equipment at a low cost To a video synthesizing system.
본 발명의 일 실시예는 복수의 배경 영역들을 합성한 파노라마 영상 및 작업 대상에 대한 모델링 영상을 정합하고자 한다.One embodiment of the present invention intends to match a panorama image obtained by synthesizing a plurality of background regions and a modeling image of a work object.
본 발명의 일 실시예는 모델링 영상을 파노라마 영상과 별도로 제어할 수 있는 비주얼 가이던스를 제공하고자 한다.One embodiment of the present invention provides a visual guidance that can control a modeling image separately from a panorama image.
본 발명의 일 실시예는 작업 영상을 확대하거나 작업 영상을 별도의 영상으로 분리하여 다시점의 입체 영상을 제공하고자 한다.
In an embodiment of the present invention, a working image is enlarged or a working image is separated into separate images to provide a stereoscopic image of a multi-point.
실시예들 중에서, 영상 처리 장치는 작업 도구의 작업 방향을 향해 배치되고 작업 대상을 촬상하는 입체 카메라부, 서로 오버랩되는 복수의 배경 영역들을 촬상하고, 상기 복수의 배경 영역들 중 일부는 상기 작업 대상의 적어도 일부를 포함하는 파노라마 카메라부 및 상기 복수의 배경 영역들을 파노라마 영상으로 합성하고 상기 촬상된 작업 대상에 대한 모델링 영상을 생성하며, 상기 파노라마 영상과 상기 모델링 영상을 정합하여 작업 영상을 생성하는 영상 처리부를 포함한다.Among the embodiments, the image processing apparatus includes a stereoscopic camera section arranged toward a working direction of a work tool and capturing an image of a work object, a plurality of background areas overlapping each other, and a part of the plurality of background areas, A panoramic camera unit including at least a part of the panoramic image and a plurality of background areas, and a panoramic camera unit that synthesizes the plurality of background areas with a panoramic image, generates a modeling image of the captured work object, Processing unit.
일 실시예에서, 상기 영상 처리부는 사용자의 제어에 따라 상기 모델링 영상을 상기 파노라마 영상과 별도로 제어할 수 있는 비주얼 가이던스(Visual Guidance)를 제공할 수 있다.In one embodiment, the image processing unit may provide a visual guidance for controlling the modeling image separately from the panorama image according to a user's control.
일 실시예에서, 상기 영상 처리부는 상기 작업 도구를 통해 작업이 가능한 경우에는 상기 작업 영상에 오버레이 객체를 표현할 수 있다.In one embodiment, the image processing unit may represent an overlay object on the work image if the work tool allows the work.
일 실시예에서, 상기 영상 처리부는 상기 작업 도구를 통해 작업이 진행 중인 경우에는 상기 작업 영상과 상기 작업 대상이 오버레이(Overlay)되지 않게 비주얼 표시자를 표현할 수 있다.In one embodiment, the image processor may represent a visual indicator such that the work image and the work object are not overlapped when the work is being performed through the work tool.
일 실시예에서, 상기 영상 처리부는 상기 모델링 영상을 확대하거나 상기 모델링 영상을 별도의 영상으로 분리하여 가상 카메라를 통한 시점 변경이 가능할 수 있다.In one embodiment, the image processing unit may enlarge the modeling image or divide the modeling image into separate images and change the viewpoint through the virtual camera.
일 실시예에서, 상기 영상 처리부는 캘리브레이션을 통해 고정 마커를 지정하고, 상기 고정 마커를 기준으로 상기 복수의 배경 영역들을 합성하여 상기 파노라마 영상을 합성할 수 있다.In one embodiment, the image processing unit may specify a fixed marker through calibration, and may synthesize the panoramic image by combining the plurality of background areas with reference to the fixed marker.
일 실시예에서, 상기 영상 처리부는 상기 작업 영상 및 상기 작업 영상의 이전 영상을 비교하여 변화율을 검출하고, 상기 변화율이 임계값 이상이면 상기 파노라마 영상을 갱신할 수 있다.In one embodiment, the image processing unit may compare the operation image and the previous image of the operation image to detect a change rate, and update the panorama image if the change rate is equal to or greater than a threshold value.
실시예들 중에서, 작업 도구의 작업 방향을 향해 배치된 입체 카메라를 통해 작업 대상을 촬상하는 단계, 서로 오버랩되는 복수의 배경 영역들을 촬상하고, 상기 복수의 배경 영역들 중 일부는 상기 작업 대상의 적어도 일부를 포함하도록 촬상하는 단계 및 상기 복수의 배경 영역들을 파노라마 영상으로 합성하고 상기 촬상된 작업 대상에 대한 모델링 영상을 생성하며, 상기 파노라마 영상과 상기 모델링 영상을 정합하여 작업 영상을 생성하는 단계를 포함한다.
The image processing method according to any one of the preceding claims, further comprising the steps of: capturing an image of a work object through a stereoscopic camera arranged toward a working direction of a work tool; capturing a plurality of background areas overlapping each other; And combining the plurality of background areas with the panoramic image, generating a modeling image for the captured work object, and matching the panoramic image and the modeling image to generate a working image do.
본 발명의 일 실시예에 따른 영상 처리 장치는 복수의 배경 영역들을 합성한 파노라마 영상 및 작업 대상에 대한 모델링 영상을 정합할 수 있다.The image processing apparatus according to an embodiment of the present invention can match a panorama image synthesized with a plurality of background regions and a modeling image of a work object.
본 발명의 일 실시예에 따른 영상 처리 장치는 모델링 영상을 파노라마 영상과 별도로 제어할 수 있는 비주얼 가이던스를 제공할 수 있다.The image processing apparatus according to an embodiment of the present invention can provide a visual guidance that can control the modeling image separately from the panorama image.
본 발명의 일 실시예에 따른 영상 처리 장치는 작업 영상을 확대하거나 작업 영상을 별도의 영상으로 분리하여 다시점의 입체 영상을 제공할 수 있다.
The image processing apparatus according to an embodiment of the present invention can enlarge a working image or separate a working image into separate images to provide a stereoscopic image of a multi-point.
도 1은 본 발명의 일 실시예에 따른 영상 처리 장치를 설명하는 도면이다.
도 2는 도 1에 있는 영상 처리부에서 수행되는 파노라마 영상의 합성 과정을 설명하는 도면이다.
도 3은 도 1에 있는 영상 처리부에서 수행되는 파노라마 영상 및 모델링 영상의 정합 과정을 설명하는 도면이다.
도 4는 도 1에 있는 영상 처리 장치에서 수행되는 영상 처리 과정에 대한 순서도이다.1 is a view for explaining an image processing apparatus according to an embodiment of the present invention.
FIG. 2 is a view for explaining a process of composing a panorama image performed by the image processing unit shown in FIG. 1. FIG.
3 is a view for explaining a registration process of the panoramic image and the modeling image performed in the image processing unit of FIG.
4 is a flowchart illustrating an image processing process performed in the image processing apparatus of FIG.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.The description of the present invention is merely an example for structural or functional explanation, and the scope of the present invention should not be construed as being limited by the embodiments described in the text. That is, the embodiments are to be construed as being variously embodied and having various forms, so that the scope of the present invention should be understood to include equivalents capable of realizing technical ideas. Also, the purpose or effect of the present invention should not be construed as limiting the scope of the present invention, since it does not mean that a specific embodiment should include all or only such effect.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.Meanwhile, the meaning of the terms described in the present application should be understood as follows.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.The terms "first "," second ", and the like are intended to distinguish one element from another, and the scope of the right should not be limited by these terms. For example, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.It is to be understood that when an element is referred to as being "connected" to another element, it may be directly connected to the other element, but there may be other elements in between. On the other hand, when an element is referred to as being "directly connected" to another element, it should be understood that there are no other elements in between. On the other hand, other expressions that describe the relationship between components, such as "between" and "between" or "neighboring to" and "directly adjacent to" should be interpreted as well.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.It is to be understood that the singular " include " or "have" are to be construed as including the stated feature, number, step, operation, It is to be understood that the combination is intended to specify that it does not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.In each step, the identification code (e.g., a, b, c, etc.) is used for convenience of explanation, the identification code does not describe the order of each step, Unless otherwise stated, it may occur differently from the stated order. That is, each step may occur in the same order as described, may be performed substantially concurrently, or may be performed in reverse order.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한, 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The present invention can be embodied as computer-readable code on a computer-readable recording medium, and the computer-readable recording medium includes any type of recording device that stores data that can be read by a computer system . Examples of the computer-readable recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like, and also implemented in the form of a carrier wave (for example, transmission over the Internet) . In addition, the computer-readable recording medium may be distributed over network-connected computer systems so that computer readable codes can be stored and executed in a distributed manner.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
All terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs, unless otherwise defined. Commonly used predefined terms should be interpreted to be consistent with the meanings in the context of the related art and can not be interpreted as having ideal or overly formal meaning unless explicitly defined in the present application.
도 1은 본 발명의 일 실시예에 따른 영상 처리 장치를 설명하는 도면이다.1 is a view for explaining an image processing apparatus according to an embodiment of the present invention.
도 2는 도 1에 있는 영상 처리부에서 수행되는 파노라마 영상의 합성 과정을 설명하는 도면이고, 도 3은 도 1에 있는 영상 처리부에서 수행되는 파노라마 영상 및 모델링 영상의 정합 과정을 설명하는 도면이다.FIG. 2 is a view for explaining a process of synthesizing a panoramic image performed by the image processing unit of FIG. 1, and FIG. 3 is a view for explaining a matching process of a panoramic image and a modeling image performed by the image processing unit of FIG.
도 1 내지 3을 참조하면, 영상 처리 장치(100)는 입체 카메라부(110), 파노라마 카메라부(120), 영상 처리부(130) 및 매니퓰레이션 장치(140)를 포함한다. 일 실시예에서, 영상 처리 장치(100)는 작업 로봇에 내장되어 작업 로봇이 작업을 수행하기 위한 작업 영상을 제공할 수 있으나, 반드시 이에 한정되는 것은 아니고 실시예에 따라 변경될 수 있다. 일 실시예에서, 사용자는 작업 대상에 대한 비가시권에서 작업 로봇을 원격 제어할 수 있고, 영상 처리 장치(100)를 통해 작업 현장의 환경을 직관적으로 인식하여 작업을 수행할 수 있다.1 to 3, the
입체 카메라부(110)는 작업 도구의 작업 방향을 향해 배치되고 작업 대상(10)을 촬상할 수 있다. 일 실시예에서, 입체 카메라부(110)는 영상 처리 장치(100)의 전면에 배치될 수 있고, 스테레오 카메라(Stereoscopic Camera) 또는 입체 센서를 통해 구현될 수 있다. 여기에서, 입체 카메라부(110)의 위치는 반드시 이에 한정되는 것은 아니고 실시예에 따라 변경될 수 있다. 입체 카메라부(110)는 사용자가 필요로 하는 특정 방향의 모델링 영상(320)을 촬영하기 위하여 배치될 수 있다. 입체 카메라부(110)는 초점 및 노출 양을 조절할 수 있고 시점 이동을 통해 다시점 영상을 촬상할 수 있다. 입체 카메라부(110)는 작업 대상을 촬상하여 영상 처리부(130)에 제공할 수 있다. 모델링 영상(320)은 작업 도구의 작업 방향을 향해 배치된 작업 대상(10)에 대한 입체적 영상에 해당할 수 있다.The
일 실시예에서, 매니퓰레이션 장치(140)는 작업 도구 또는 로봇 팔을 통해 구현될 수 있다. 매니퓰레이션 장치(140)는 구조적 요소들(예를 들어, 복수의 축선들) 및 이들을 연결하는 관절들을 포함하고, 운동학적 용장성을 가지는 다관절식 작업 도구로 구현될 수 있다. 사용자는 생성된 작업 영상을 기초로 매니퓰레이션 장치(140)를 제어하여 작업을 수행할 수 있다. 영상 처리 장치(100)는 매니퓰레이션 장치(140)에 의한 작업 대상(10)의 상태 변화를 작업 영상에 반영할 수 있다. 즉, 영상 처리부(130)는 입체 카메라부(110) 및 파노라마 카메라부(120)에 의하여 수신되는 영상 이외에 매니퓰레이션 장치(140)의 동작을 통해 작업 대상(10)의 상태 변화를 인식하여 작업 영상에 반영할 수 있다.In one embodiment, the
파노라마 카메라부(120)는 서로 오버랩되는 복수의 배경 영역들(210)을 촬상하고, 복수의 배경 영역들 중 일부는 작업 대상(10)의 적어도 일부를 포함할 수 있다. 파노라마 카메라부(120)는 복수의 카메라들(120a, 120b, 120c)을 포함할 수 있다. 복수의 카메라들(120a, 120b, 120c)는 각각 다른 방향을 향하여, 각각의 배경 영역들(210)을 촬상할 수 있다. 파노라마 카메라부(120)는 복수의 배경 영역들(210)을 촬상하여, 영상 처리부(130)에 제공할 수 있다. 일 실시예에서, 복수의 카메라들(120a, 120b, 120c)이 적어도 하나의 장면이나 대상을 다른 시간이나 관점에서 촬영할 경우, 복수의 배경 영역들(210)은 서로 다른 좌표계에서 촬상될 수 있다. 영상 처리부(130)는 서로 다른 좌표계에서 촬상된 각각의 배경 영역들(210)을 파노라마 영상(220)으로 합성할 수 있다.The panoramic camera unit 120 may capture a plurality of overlapping
영상 처리부(130)는 복수의 배경 영역들(210)을 파노라마 영상(220)으로 합성하고, 촬상된 작업 대상(10)에 대한 모델링 영상(320)을 생성하며, 파노라마 영상(310)과 모델링 영상(320)을 정합하여 작업 영상을 생성할 수 있다. 영상 처리부(130)는 사용자의 제어에 따라 모델링 영상(320)을 파노라마 영상(310)과 별도로 제어할 수 있는 비주얼 가이던스(Visual Guidance)를 제공할 수 있다.The
일 실시예에서, 영상 처리부(130)는 작업 도구를 통해 작업이 가능한 경우에는 작업 영상에 오버레이 객체를 표현할 수 있다. 영상 처리부(130)는 작업 도구 및 작업 대상(10)간의 거리를 측정할 수 있다. 영상 처리부(130)는 작업 도구 및 작업 대상(10)간의 거리를 측정하여 작업 가능 여부를 판단할 수 있다. 영상 처리부(130)는 작업 대상(10)이 작업 도구의 작업 반경 내에 배치되었다고 판단할 수 있다. 즉, 영상 처리부(130)는 현재 작업이 진행 중이지는 않으나, 작업 도구의 반경 내에 작업 대상(10)이 배치되어 작업이 가능한 경우에는 작업 영상에 오버레이 객체를 표현할 수 있다. 작업 대상(10)은 오버레이 객체로 표현되어, 작업 영상으로부터 분리되어 표시될 수 있다. 예를 들어, 작업 대상(10)은 작업 영상으로부터 크기, 색 또는 테두리가 수정되어 오버레이 객체로 표현될 수 있다. 영상 처리부(130)는 작업 대상(10)의 현재 상태 또는 사용자의 조작에 의하여 오버레이 객체의 표현 방식을 변경할 수 있다. 영상 처리부(130)는 오버레이 객체를 별도로 제어할 수 있고, 사용자는 오버레이 객체를 통해 작업 대상(10)을 용이하게 특정할 수 있다.In one embodiment, the
일 실시예에서, 영상 처리부(130)는 작업 도구를 통해 작업이 진행 중인 경우에는 작업 영상과 작업 대상(10)이 오버레이(Overlay)되지 않게 비주얼 표시자를 표현할 수 있다. 비주얼 표시자는 작업 대상(10)의 일 측에 배치되어 사용자에게 작업 대상(10)의 존재 및 위치를 표시할 수 있다. 비주얼 표시자는 사용자에게 작업 대상(10)의 형상, 상태, 위치와 같은 현재 상태를 나타낼 수 있다. 예를 들어, 비주얼 표시자는 작업 대상(10)의 현재 상태를 메시지를 통해 사용자에게 전달할 수 있다. 비주얼 표시자의 표현 방법은 기 설정된 파라미터 또는 사용자의 제어에 의하여 변경될 수 있다. 따라서, 영상 처리부(130)는 비주얼 표시자를 통해 사용자에게 왜곡되지 않은 작업 영상을 제공할 수 있고, 사용자는 원활한 작업을 수행할 수 있다.In one embodiment, the
일 실시예에서, 영상 처리부(130)는 모델링 영상(320)을 확대하거나 모델링 영상(320)을 별도의 영상으로 분리하여 가상 카메라를 통한 시점 변경이 가능할 수 있다. 보다 구체적으로, 영상 처리부(130)는 작업을 수행 중이거나, 작업을 수행하기 위하여 모델링 영상(320)을 확대할 수 있다. 영상 처리부(130)는 작업 영상으로부터 모델링 영상(320)을 별도의 영상으로 분리하여, 사용자에게 다시점의 모델링 영상(320)을 제공할 수 있다. 영상 처리부(130)는 사용자의 제어에 의하여 모델링 영상(320)의 확대 비율 또는 모델링 영상(320)의 시점을 조절할 수 있다. 또한, 영상 처리부(130)는 매니퓰레이션 장치(140)에 의한 작업 대상(10)의 상태 변경에 대응하여 모델링 영상(320)의 확대 비율 및 시점을 조절할 수 있다. 따라서, 영상 처리부(130)는 사용자에게 다시점의 모델링 영상(320)을 제공하여, 사용자는 작업 대상(10)에 대한 정보를 명확하게 인지할 수 있다.In one embodiment, the
일 실시예에서, 영상 처리부(130)는 캘리브레이션(Calibration)을 통해 고정 마커를 지정하고, 고정 마커를 기준으로 복수의 배경 영역들을 합성하여 파노라마 영상을 합성할 수 있다. 보다 구체적으로, 영상 처리부(130)는 고정 마커를 지정할 수 있고, 절대 좌표계를 통해 고정 마커의 위치를 인식할 수 있다. 영상 처리부(130)는 파노라마 카메라부(120)의 촬상 위치가 변경되어도, 각각의 카메라들(120a, 120b, 120c)을 통해 획득한 복수의 배경 영역들(210)에서 고정 마커를 인식할 수 있다. 영상 처리부(130)는 인식된 고정 마커를 기준으로 복수의 배경 영역들(210)을 합성하여 파노라마 영상(220)을 생성할 수 있다. 즉, 영상 처리부(130)는 복수의 배경 영역들(210)을 합성하여 서로 오버랩되는 영역을 제거할 수 있다. 영상 처리부(130)는 고정 마커의 위치 및 방향을 기초로 작업 대상(10)의 위치 및 방향을 결정할 수 있다. 따라서, 영상 처리부(130)는 작업 대상(10)에 대한 모델링 영상(320)을 파노라마 영상(310)에 정합할 수 있다.In one embodiment, the
일 실시예에서, 영상 처리부(130)는 특징 영역을 인식하고, 특징 영역의 유사도를 판단하여 복수의 배경 영역들(210)을 합성할 수 있다. 보다 구체적으로, 영상 처리부(130)는 복수의 배경 영역들(210) 중 하나에서 제1 특징 영역을 인식할 수 있다. 영상 처리부(130)는 복수의 배경 영역들(210) 중 다른 하나에서 제2 특징 영역을 인식할 수 있다. 특징 영역은 특징 글자, 특징점, 특징 형상, 특징 모양, 특징 색깔 또는 특징 도형에 해당할 수 있다. 영상 처리부(130)는 제1 및 제2 특징 영역들의 유사도를 분석할 수 있다. 영상 처리부(130) 는 특징 영역들의 유사도에 따라 정합 여부를 판단할 수 있다. 예를 들어, 제1 및 제2 특징 영역들이 “출입문의 손잡이”에 해당하고 유사도가 높다고 분석되는 경우, 영상 처리부(130)는 특징 영역을 기초로 복수의 배경 영역들(210)을 합성할 수 있다. 한편, 제1 및 제2 특징 영역들의 유사도가 낮다고 분석되는 경우, 영상 처리부(130)는 서로 유사한 특징 영역들의 존재 여부를 검색할 수 있다. 영상 처리부(130)는 분석된 유사도를 기초로 복수의 배경 영역들(210)을 합성하여 파노라마 영상(220)을 생성할 수 있다.In one embodiment, the
일 실시예에서, 영상 처리부(130)는 파노라마 영상(310)을 모델링 영상(320)의 상단에 배치하여 작업 영상을 생성할 수 있다. 예를 들어, 영상 처리 장치(100)가 매니퓰레이션 장치(140)에 의하여 작업이 진행 중이거나 작업이 가능한 경우, 파노라마 영상(310)은 입체 카메라부(110)에 의하여 촬상이 제한되는 주변 환경에 대한 영상을 제공할 수 있다. 즉, 파노라마 영상(310)은 모델링 영상(320)의 범위 밖의 주변 환경에 대한 정보를 사용자에게 제공할 수 있다. 영상 처리 장치(100)는 파노라마 영상(310) 및 모델링 영상(320)을 별도로 제어하여, 영상 처리 속도를 향상시키고 저비용으로 구현될 수 있다. 영상 처리 장치(100)는 사용자에 의하여 또는 작업 상황에 대응하여 입체 카메라부(110) 및 파노라마 카메라부(120)의 촬상 방향을 제어할 수 있고, 작업 영상의 범위는 입체 카메라부(110) 및 파노라마 카메라부(120)의 촬상 방향에 따라 제어될 수 있다.In one embodiment, the
영상 처리부(130)는 입체 카메라부(110)에 의하여 촬상된 영상에 대한 객체의 배열, 시점, 텍스처 매핑 및 셰이딩 정보에 기초하여 모델링 영상(320)을 생성할 수 있다. 영상 처리부(130)는 입체 카메라부(110)의 내외부 파라미터를 추정하고, 추정된 파라미터를 이용하여 모델링 영상(320)의 생성을 위한 데이터를 획득할 수 있다.The
일 실시예에서, 영상 처리부(130)는 작업 영상 및 작업 영상의 이전 영상을 비교하여 변화율을 검출하고, 변화율이 임계값 이상이면 파노라마 영상을 갱신할 수 있다. 작업 영상은 매니퓰레이션 장치(140)에 의한 작업 대상(10)의 상태 변화에 의하여 변경될 수 있다. 예를 들어, 작업 대상(10)은 매니퓰레이션 장치(140)에 의하여 그 위치, 형상 및 상태가 변경될 수 있기 때문에, 작업 대상(10)을 포함하는 작업 영상이 변경될 수 있다. 작업 영상은 모델링 영상(320)의 시점 변화에 의하여 변경될 수 있다. 예를 들어, 모델링 영상(320)은 사용자에 의한 제어 또는 비주얼 가이던스에 의하여 시점이 변경될 수 있고, 영상 처리부(130)는 작업 대상(10)에 대하여 다시점의 작업 영상을 제공할 수 있다. 작업 영상은 영상 처리 장치(100)의 위치 변화에 의하여 변경될 수 있다. 영상 처리부(130)는 영상 처리 장치(100)의 위치 변화 정도에 따라 모델링 영상(320)만을 갱신하거나, 파노라마 영상(310) 및 모델링 영상(320) 모두를 갱신할 수 있다. 예를 들어, 영상 처리 장치(100)가 정지 상태에서 매니퓰레이션 장치(140)의 조작에 의해서만 작업을 수행하고 있는 경우 영상 처리부(130)는 파노라마 영상을 갱신하지 않는다. 한편, 영상 처리 장치(100)가 그 자신의 이동을 통해 작업 대상(10)을 이동시키는 경우 파노라마 영상을 갱신할 수 있다. 또한, 작업 영상은 입체 카메라부(110)의 촬상 방향 변화에 의하여 변경될 수 있다. 영상 처리부(130)는 작업 영상의 이전 영상을 저장하고, 이를 현재의 작업 영상과 비교할 수 있다. 영상 처리부(130)는 현재 작업 영상 및 이전 작업 영상을 비교하여 변화율을 검출할 수 있다. 여기에서, 변화율의 임계값은 사용자에 의하여 설정되거나, 영상 처리 장치(100)의 위치 또는 작업 내용에 의하여 기 설정된 값으로 조정될 수 있다. 변화율의 임계값은 작업 영상의 처리 시간 간격 및 작업 영상의 정확성을 고려하여 지정될 수 있다.In one embodiment, the
영상 처리부(130)는 입체 카메라부(110)를 통해 수신된 영상의 깊이 정보를 추출할 수 있다. 영상 처리부(130)는 소실선 또는 소실점을 이용하여 깊이 정보를 추출할 수 있다. 깊이 정보는 물체에 입체감을 부여하기 위하여 사용될 수 있다. 또한, 영상 처리부(130)는 사용자에 의하여 부여된 깊이 정보를 수신할 수 있다. 영상 처리부(130)는 사용자로부터 깊이 정보를 수신하는 경우 영상의 전처리 과정을 용이하게 수행할 수 있다.The
영상 처리 장치(100)는 영상 처리부(130)에서 생성된 작업 영상을 출력 장치를 통해 사용자에게 제공할 수 있다. 사용자는 작업 영상을 제공 받아 작업 대상(10) 또는 관심 영역에 대한 정보를 획득할 수 있다. 사용자는 작업 영상을 기초로 작업 환경에 대한 정보를 획득하고, 매니퓰레이션 장치(140)를 제어하여 작업을 수행할 수 있다.
The
도 4는 도 1에 있는 영상 처리 장치에서 수행되는 영상 처리 과정에 대한 순서도이다.4 is a flowchart illustrating an image processing process performed in the image processing apparatus of FIG.
입체 카메라부(110)는 작업 도구의 작업 방향을 향해 배치되고 작업 대상(10)을 촬상할 수 있다(단계 S410). 일 실시예에서, 입체 카메라부(110)는 영상 처리 장치(100)의 전면에 배치될 수 있고, 스테레오 카메라(Stereoscopic Camera) 또는 입체 센서를 통해 구현될 수 있다. 여기에서, 입체 카메라부(110)의 위치는 반드시 이에 한정되는 것은 아니고 실시예에 따라 변경될 수 있다. 입체 카메라부(110)는 사용자가 필요로 하는 특정 방향의 모델링 영상(320)을 촬영하기 위하여 배치될 수 있다. 입체 카메라부(110)는 초점 및 노출 양을 조절할 수 있고 시점 이동을 통해 다시점 영상을 촬상할 수 있다. 입체 카메라부(110)는 작업 대상을 촬상하여 영상 처리부(130)에 제공할 수 있다. 모델링 영상(320)은 작업 도구의 작업 방향을 향해 배치된 작업 대상(10)에 대한 입체적 영상에 해당할 수 있다.The
파노라마 카메라부(120)는 서로 오버랩되는 복수의 배경 영역들(210)을 촬상하고(단계 S420), 복수의 배경 영역들 중 일부는 작업 대상(10)의 적어도 일부를 포함할 수 있다. 파노라마 카메라부(120)는 복수의 카메라들(120a, 120b, 120c)을 포함할 수 있다. 복수의 카메라들(120a, 120b, 120c)는 각각 다른 방향을 향하여, 각각의 배경 영역들(210)을 촬상할 수 있다. 파노라마 카메라부(120)는 복수의 배경 영역들(210)을 촬상하여, 영상 처리부(130)에 제공할 수 있다. 일 실시예에서, 복수의 카메라들(120a, 120b, 120c)이 적어도 하나의 장면이나 대상을 다른 시간이나 관점에서 촬영할 경우, 복수의 배경 영역들(210)은 서로 다른 좌표계에서 촬상될 수 있다. 영상 처리부(130)는 서로 다른 좌표계에서 촬상된 각각의 배경 영역들(210)을 파노라마 영상(220)으로 합성할 수 있다.The panoramic camera unit 120 captures a plurality of overlapping background areas 210 (step S420), and a part of the plurality of background areas may include at least a part of the
영상 처리부(130)는 복수의 배경 영역들(210)을 파노라마 영상(220)으로 합성하고, 촬상된 작업 대상(10)에 대한 모델링 영상(320)을 생성하며, 파노라마 영상(310)과 모델링 영상(320)을 정합하여 작업 영상을 생성할 수 있다(단계 S430). 영상 처리부(130)는 사용자의 제어에 따라 모델링 영상(320)을 파노라마 영상(310)과 별도로 제어할 수 있는 비주얼 가이던스(Visual Guidance)를 제공할 수 있다. 영상 처리부(130)는 작업 도구를 통해 작업이 가능한 경우에는 작업 영상에 오버레이 객체를 표현할 수 있고, 작업 도구를 통해 작업이 진행 중인 경우에는 작업 영상과 작업 대상(10)이 오버레이되지 않게 비주얼 표시자를 표현할 수 있다.
The
영상 처리 장치(100)는 복수의 배경 영역들(210)을 합성한 파노라마 영상(310) 및 작업 대상(10)에 대한 모델링 영상(320)을 정합할 수 있다. 영상 처리 장치(100)는 모델링 영상(320)을 파노라마 영상(310)과 별도로 제어할 수 있는 비주얼 가이던스를 제공할 수 있다. 또한, 영상 처리 장치(100)는 작업 영상을 확대하거나 작업 영상을 별도의 영상으로 분리하여 다시점의 입체 영상을 제공할 수 있다. 영상 처리 장치(100)는 파노라마 영상(310) 및 모델링 영상(320)을 별도로 제어하여, 영상 처리 속도를 향상시킬 수 있다. 즉, 사용자는 영상 처리 장치(100)를 통해 작업 현장에 대한 상황을 직관적으로 파악할 수 있고, 비가시권에 배치된 작업 대상(10)에 대한 작업을 수행할 수 있다.
The
상기에서는 본 출원의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 출원을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit and scope of the present invention as defined by the following claims It can be understood that
100: 영상 처리 장치
110: 입체 카메라부
120: 파노라마 카메라부
130: 영상 처리부
140: 매니퓰레이션 장치
210: 복수의 배경 영역들
220: 파노라마 영상
310: 파노라마 영상
320: 모델링 영상100: image processing device
110: stereoscopic camera unit
120: panoramic camera unit
130:
140: Manipulation device
210: a plurality of background areas
220: Panoramic image
310: Panoramic image
320: Modeling video
Claims (8)
서로 오버랩되는 복수의 배경 영역들을 촬상하고, 상기 복수의 배경 영역들 중 일부는 상기 작업 대상의 적어도 일부를 포함하는 파노라마 카메라부; 및
상기 복수의 배경 영역들을 파노라마 영상으로 합성하고 상기 촬상된 작업 대상에 대한 모델링 영상을 생성하며, 상기 파노라마 영상과 상기 모델링 영상을 정합하여 작업 영상을 생성하고, 상기 모델링 영상의 확대 비율을 조절하여 상기 모델링 영상을 확대하거나, 상기 모델링 영상을 별도의 영상으로 분리하여 가상 카메라를 통한 시점 변경을 통해 다시점의 모델링 영상을 제공하는 영상 처리부를 포함하는 영상 처리 장치.
A stereoscopic camera part arranged toward the working direction of the working tool and picking up an object to be worked;
A panoramic camera part for picking up a plurality of background areas overlapping each other, the part of the plurality of background areas including at least a part of the object to be worked; And
Generating a working image by matching the panorama image with the modeling image, and adjusting an enlargement ratio of the modeling image to generate a working image by combining the panorama image and the modeling image, And an image processing unit for enlarging a modeling image, separating the modeling image into separate images, and providing a modeling image of a multi-viewpoint by changing a viewpoint through a virtual camera.
사용자의 제어에 따라 상기 모델링 영상을 상기 파노라마 영상과 별도로 제어할 수 있는 비주얼 가이던스(Visual Guidance)를 제공하는 것을 특징으로 하는 영상 처리 장치.
The apparatus of claim 1, wherein the image processing unit
Wherein the visual guidance provides a visual guidance for controlling the modeling image separately from the panoramic image according to a user's control.
상기 작업 도구를 통해 작업이 가능한 경우에는 상기 작업 영상에 오버레이 객체를 표현하는 것을 특징으로 하는 영상 처리 장치.
3. The apparatus of claim 2, wherein the image processing unit
Wherein the overlay object is represented on the work image when the work can be performed through the work tool.
상기 작업 도구를 통해 작업이 진행 중인 경우에는 상기 작업 영상과 상기 작업 대상이 오버레이(Overlay)되지 않게 비주얼 표시자를 표현하는 것을 특징으로 하는 영상 처리 장치.
4. The apparatus of claim 3, wherein the image processing unit
Wherein when the work is being performed through the work tool, a visual indicator is displayed so that the work image and the work subject are not overlapped.
캘리브레이션을 통해 고정 마커를 지정하고, 상기 고정 마커를 기준으로 상기 복수의 배경 영역들을 합성하여 상기 파노라마 영상을 생성하는 것을 특징으로 하는 영상 처리 장치.
The apparatus of claim 1, wherein the image processing unit
Wherein a fixed marker is designated through calibration, and the panorama image is generated by combining the plurality of background areas with reference to the fixed marker.
상기 작업 영상 및 상기 작업 영상의 이전 영상을 비교하여 변화율을 검출하고, 상기 변화율이 임계값 이상이면 상기 파노라마 영상을 갱신하는 것을 특징으로 하는 영상 처리 장치.
The apparatus of claim 1, wherein the image processing unit
Wherein the control unit detects the change rate by comparing the operation image and the previous image of the operation image, and updates the panorama image when the change rate is equal to or greater than a threshold value.
서로 오버랩되는 복수의 배경 영역들을 촬상하고, 상기 복수의 배경 영역들 중 일부는 상기 작업 대상의 적어도 일부를 포함하도록 촬상하는 단계; 및
상기 복수의 배경 영역들을 파노라마 영상으로 합성하고 상기 촬상된 작업 대상에 대한 모델링 영상을 생성하며, 상기 파노라마 영상과 상기 모델링 영상을 정합하여 작업 영상을 생성하고, 상기 모델링 영상의 확대 비율을 조절하여 상기 모델링 영상을 확대하거나, 상기 모델링 영상을 별도의 영상으로 분리하여 가상 카메라를 통한 시점 변경을 통해 다시점의 모델링 영상을 제공하는 단계를 포함하는 영상 처리 방법.
Imaging a work object through a stereoscopic camera disposed toward a working direction of the work tool;
Capturing a plurality of background areas overlapping each other, and capturing at least a part of the plurality of background areas so as to include at least a part of the work object; And
Generating a working image by matching the panorama image with the modeling image, and adjusting an enlargement ratio of the modeling image to generate a working image by combining the panorama image and the modeling image, Expanding a modeling image, separating the modeling image into separate images, and providing a modeling image of a multi-viewpoint by changing a viewpoint through a virtual camera.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140190266A KR101611427B1 (en) | 2014-12-26 | 2014-12-26 | Image processing method and apparatus performing the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140190266A KR101611427B1 (en) | 2014-12-26 | 2014-12-26 | Image processing method and apparatus performing the same |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101611427B1 true KR101611427B1 (en) | 2016-04-12 |
Family
ID=55801230
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020140190266A KR101611427B1 (en) | 2014-12-26 | 2014-12-26 | Image processing method and apparatus performing the same |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101611427B1 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101763314B1 (en) * | 2016-12-15 | 2017-08-01 | 프로비젼테크놀러지 주식회사 | Method and apparatus for providing image processing |
KR20200113326A (en) * | 2019-03-25 | 2020-10-07 | 주식회사마이크로컴퓨팅 | digital gardening content service system |
WO2021054757A1 (en) * | 2019-09-20 | 2021-03-25 | 주식회사 와이즈오토모티브 | Front image generation device for construction equipment |
US12035048B2 (en) | 2019-09-20 | 2024-07-09 | Wise Automotive Corporation | Front image generation device for heavy equipment |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004534315A (en) | 2001-06-29 | 2004-11-11 | ハネウェル・インターナショナル・インコーポレーテッド | Method and system for monitoring moving objects |
-
2014
- 2014-12-26 KR KR1020140190266A patent/KR101611427B1/en active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004534315A (en) | 2001-06-29 | 2004-11-11 | ハネウェル・インターナショナル・インコーポレーテッド | Method and system for monitoring moving objects |
Non-Patent Citations (1)
Title |
---|
김영욱 외2명, "지능 로보틱스 영상처리 기술동향", 정보과학회지 제26권 제4호, 2008.4. pp.5~11.* |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101763314B1 (en) * | 2016-12-15 | 2017-08-01 | 프로비젼테크놀러지 주식회사 | Method and apparatus for providing image processing |
KR20200113326A (en) * | 2019-03-25 | 2020-10-07 | 주식회사마이크로컴퓨팅 | digital gardening content service system |
KR102333912B1 (en) * | 2019-03-25 | 2021-12-07 | 이헌수 | digital gardening content service system |
WO2021054757A1 (en) * | 2019-09-20 | 2021-03-25 | 주식회사 와이즈오토모티브 | Front image generation device for construction equipment |
US12035048B2 (en) | 2019-09-20 | 2024-07-09 | Wise Automotive Corporation | Front image generation device for heavy equipment |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101761751B1 (en) | Hmd calibration with direct geometric modeling | |
JP5260705B2 (en) | 3D augmented reality provider | |
JP6474905B2 (en) | Remote operation system and operation support system | |
EP1985416B1 (en) | Mobile robot | |
JP6295645B2 (en) | Object detection method and object detection apparatus | |
JP2020535509A (en) | Methods, devices and systems for automatically annotating target objects in images | |
US20160300355A1 (en) | Method Of Estimating Imaging Device Parameters | |
EP1766580A2 (en) | Method and apparatus for machine-vision | |
WO2011078066A1 (en) | Device, method and program for image processing | |
JP6946087B2 (en) | Information processing device, its control method, and program | |
US9905016B2 (en) | Robot identification system | |
JP4834424B2 (en) | Information processing apparatus, information processing method, and program | |
JP2019083402A (en) | Image processing apparatus, image processing system, image processing method, and program | |
CN108629799B (en) | Method and equipment for realizing augmented reality | |
KR101611427B1 (en) | Image processing method and apparatus performing the same | |
JP2010109451A (en) | Vehicle surrounding monitoring device, and vehicle surrounding monitoring method | |
JP2015005925A (en) | Image processing apparatus and image processing method | |
JP2010131751A (en) | Mobile robot | |
JP6621565B2 (en) | Display control apparatus, display control method, and program | |
JP6405539B2 (en) | Label information processing apparatus for multi-viewpoint image and label information processing method | |
KR101945097B1 (en) | 3D image acquisition and delivery method of user viewpoint correspondence remote point | |
JP2019144958A (en) | Image processing device, image processing method, and program | |
KR101668649B1 (en) | Surrounding environment modeling method and apparatus performing the same | |
JP2020187557A (en) | Temperature image display device, temperature image display system and temperature image display program | |
JP2004336569A (en) | Mobile object monitor system and mobile object monitor method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20190313 Year of fee payment: 4 |