KR20150027346A - Apparatus and method for acquiring image for unmanned aerial vehicle - Google Patents

Apparatus and method for acquiring image for unmanned aerial vehicle Download PDF

Info

Publication number
KR20150027346A
KR20150027346A KR20130104136A KR20130104136A KR20150027346A KR 20150027346 A KR20150027346 A KR 20150027346A KR 20130104136 A KR20130104136 A KR 20130104136A KR 20130104136 A KR20130104136 A KR 20130104136A KR 20150027346 A KR20150027346 A KR 20150027346A
Authority
KR
South Korea
Prior art keywords
image
distance
subject
unit
camera
Prior art date
Application number
KR20130104136A
Other languages
Korean (ko)
Other versions
KR101592165B1 (en
Inventor
이원교
박찬형
Original Assignee
한국전력공사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전력공사 filed Critical 한국전력공사
Priority to KR1020130104136A priority Critical patent/KR101592165B1/en
Publication of KR20150027346A publication Critical patent/KR20150027346A/en
Application granted granted Critical
Publication of KR101592165B1 publication Critical patent/KR101592165B1/en

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Studio Devices (AREA)

Abstract

Disclosed are an apparatus and a method for acquiring an image of an unmanned airplane. The image acquiring apparatus mounted in an unmanned airplane according to the present invention comprises: an image acquiring unit which acquires the image; an analyzing unit which calculates a distance to a subject and a focal distance based on sharpness of the acquired image; and a control unit which controls a focal point of the image acquiring unit based on the focal distance calculated by the analyzing unit. According to the present invention, there are provided the apparatus and the method for acquiring an image of an unmanned airplane which calculate an optical focal distance to the subject to obtain a sharp image from the unmanned airplane.

Description

무인항공기의 영상취득장치 및 방법{APPARATUS AND METHOD FOR ACQUIRING IMAGE FOR UNMANNED AERIAL VEHICLE}[0001] APPARATUS AND METHOD FOR ACQUIRING IMAGE FOR UNMANNED AERIAL VEHICLE [0002]

본 발명은 무인항공기의 영상취득장치 및 방법에 관한 것으로서, 보다 상세하게는 취득된 영상을 기초로 피사체까지 최적의 초점거리를 계산하고 영상취득장치의 초점거리를 조절하여 선명한 영상을 취득할 수 있는 영상취득장치 및 방법에 관한 것이다.
The present invention relates to an apparatus and method for acquiring an image of an unmanned aerial vehicle, and more particularly, to an apparatus and method for acquiring a clear image by calculating an optimal focal distance from a captured image to an object, And an image acquiring apparatus and method.

무인항공기(Unmanned Aerial Vehicle)는 사람이 탑승하지 않는 항공기를 말한다.Unmanned Aerial Vehicle refers to aircraft that are not on board.

그래서 무인항공기는 위성 및 관성 항법 장치를 통해 지상의 조종자가 설정한 경로, 고도, 및 속도로 이동하거나, 무인항공기 내에 탑재된 제어시스템에 의하여 위치나 자세, 방향 등을 제어하여 비행하는 것이 가능하다. Therefore, the unmanned airplane can be moved at the route, altitude, and speed set by the ground operator through the satellite and inertial navigation device, or can be controlled by controlling the position, posture, and direction by a control system mounted in the unmanned airplane .

그리고 무인항공기는 주변 영상을 무인항공기를 원격으로 조종하는 조종사에게 전송하기 위한 운항용 카메라를 기본적으로 구비하고 있으며, 정밀 영상취득을 위한 장치를 부가적으로 설치하면 정밀한 영상을 취득할 수 있는 영상취득시스템 구성이 가능하다.The unmanned airplane is basically equipped with a navigation camera for transmitting the peripheral image to the pilot who manages the unmanned airplane remotely. When the apparatus for acquiring the precise image is additionally provided, the image acquisition System configuration is possible.

한편, 일반적으로 정밀 영상 취득 장비는 광학 렌즈를 이용하여 구성되며, 이에 따른 피사계 심도(Depth Of Field)라는 특성이 있다.On the other hand, in general, a precision image acquisition device is constituted by using an optical lens and has a property called depth of field.

피사계 심도란, 영상이 취득될 때 피사체에 초점을 맞추면 그 앞쪽과 뒤쪽의 일정한 거리 내에 있는 물체에 초점이 맞게 되는데, 여기서 초점이 맞게 되는 일정한 거리 범위를 이르는 말로 사진의 초점이 맞는 것으로 인식되는 범위를 말한다.The depth of field means that when an image is captured, the subject is focused on an object within a certain distance between the front and back of the subject. Here, a range of the distance that the subject is focused, .

이러한 피사계 심도는 영상 취득 장비의 조리개(렌즈를 통해 투과되어 이미지센서에 도달하는 빛의 양을 조절하는 장치) 개방 정도를 통해서 조절이 가능하다.This depth of field is adjustable through the aperture of the image acquisition device (the device that controls the amount of light reaching the image sensor through the lens).

영상이 선명하게 찍히는 구간인 심도구간을 넓게 하려고 조리개 개방을 작게 하는 경우, 영상 취득에 필요한 충분한 빛의 양이 이미지센서에 도달하는 시간을 확보하기 위해서는 조리개 개방 상태를 유지하는 시간이 조리개 개방이 보통일 때보다 길어진다.In order to secure a time for the amount of light necessary for acquiring the image to reach the image sensor, the time for maintaining the iris opening state is shorter than the normal iris opening It becomes longer than when it is.

이에 따라 영상을 취득하는 시간 동안에 카메라의 이동이 발생하면 피사체가 흔들린 이미지가 촬영되는 문제가 있다.Accordingly, when the movement of the camera occurs during the time of acquiring the image, there is a problem that the image of the subject is shaken.

그래서 이동수단에서 영상을 취득하는 장치는 조리개 조절을 통한 심도 조절을 사용하기 어렵다.Therefore, it is difficult to use the depth control through the aperture control in the apparatus for acquiring images from the moving means.

또한, 일반적인 영상 취득 장치의 피사계심도는 초점거리를 짧게(광각 렌즈 사용)하면 선명하게 찍히는 심도구간이 넓어지고, 초점거리를 길게(망원 렌즈 사용)하면 선명하게 찍히는 심도구간이 좁아지는 특징이 있어, 정밀한 영상을 취득하기 위해 초점거리가 긴 장치가 필요한 영상 취득 장치는 선명한 영상을 얻기 위해서 심도구간에 대한 초점 조절 위치를 정확하게 맞추어서 영상을 취득하는 것이 필요하다.  In addition, the depth of field of a general image capturing apparatus is characterized by narrowing the depth range that is clearly displayed when the focal distance is short (using the wide angle lens) and narrowing the depth range that is clearly displayed when the focal distance is long , It is necessary for an image acquisition apparatus which requires a device with a long focal length to acquire a precise image to acquire an image by accurately adjusting the focus adjustment position with respect to the depth section in order to obtain a clear image.

상술한 문제들로 인해 무인항공기에서 일정 품질 이상의 영상을 취득하기가 어려운 문제가 있다.There is a problem that it is difficult to acquire an image of a certain quality or higher on the UAV due to the above-mentioned problems.

본 발명의 배경기술은 대한민국 공개특허공보 제2001-0112782호(2001.12.22.공개, 발명의 명칭 : 촬영용 무인 헬리콥터)에 개시되어 있다.
Background Art [0002] The background art of the present invention is disclosed in Korean Patent Laid-Open Publication No. 2001-0112782 (published on Dec. 22, 2001, entitled: Unmanned Helicopter for Photographing).

본 발명은 피사체까지 최적의 초점거리를 계산해서, 무인항공기에서 선명한 영상을 취득할 수 있도록 하는 무인항공기의 영상취득장치 및 방법을 제공하는 데에 그 목적이 있다.
An object of the present invention is to provide an image acquisition apparatus and method of an unmanned aerial vehicle that can acquire a clear image from an unmanned airplane by calculating an optimal focal distance to a subject.

본 발명에 따른 무인항공기의 영상취득장치는 무인항공기에 탑재되는 영상취득장치로서, 영상을 취득하는 영상취득부; 취득된 영상의 선명도를 기초로 피사체까지의 거리와 초점거리를 계산하는 분석부; 및 분석부가 계산한 초점거리를 기초로 영상취득부의 초점을 제어하는 제어부를 포함하는 것을 특징으로 한다.An image acquisition apparatus of an unmanned aerial vehicle according to the present invention is an image acquisition apparatus mounted on an unmanned air vehicle, comprising: an image acquisition unit for acquiring an image; An analyzer for calculating a distance to the subject and a focal distance based on the sharpness of the acquired image; And a control unit for controlling the focus of the image acquisition unit on the basis of the focal distance calculated by the analysis unit.

본 발명에 따른 무인항공기의 영상취득장치의 영상취득부는 분석부의 피사체까지의 거리와 초점거리 계산에 이용되는 영상을 취득하는 제1 카메라와, 제1 카메라보다 정밀한 영상을 취득하는 제2 카메라를 포함하는 것을 특징으로 한다.The image acquisition unit of the image acquisition apparatus of the unmanned aerial vehicle according to the present invention includes a first camera that acquires an image used for calculating the distance to the subject and a focal length of the analysis unit and a second camera that acquires an image more precisely than the first camera .

본 발명에 따른 무인항공기의 영상취득장치의 분석부는 제1 카메라로부터 취득된 영상을 기초로 피사체까지의 거리와 초점거리를 계산하고, 제어부는 제2 카메라를 계산된 초점거리로 조절해서 영상을 취득하도록 제어하는 것을 특징으로 한다.The analysis unit of the image acquisition apparatus of the UAV according to the present invention calculates the distance to the subject and the focal distance on the basis of the image acquired from the first camera and the control unit adjusts the second camera to the calculated focal distance, And a control unit.

본 발명에 따른 무인항공기의 영상취득장치의 제1 카메라는 표준렌즈보다 영상의 심도를 깊게 만드는 광각렌즈 카메라인 것을 특징으로 한다.The first camera of the image acquisition apparatus of the UAV according to the present invention is a wide-angle lens camera which deepens the depth of the image than the standard lens.

본 발명에 따른 무인항공기의 영상취득장치의 제2 카메라는 표준렌즈보다 초점거리 내의 피사체를 선명하게 촬영하는 망원렌즈 카메라인 것을 특징으로 한다.The second camera of the image acquisition apparatus of the UAV according to the present invention is a telephoto lens camera that captures a subject in a focal distance more clearly than a standard lens.

본 발명에 따른 무인항공기의 영상취득장치의 제어부는 피사체까지의 거리를 기초로 무인항공기의 속도와 거리를 조절하도록 무인항공기를 제어하는 것을 특징으로 한다.The controller of the image acquisition apparatus of the UAV according to the present invention is characterized in that the UAV is controlled to adjust the speed and distance of the UAV based on the distance to the subject.

본 발명에 따른 무인항공기의 영상취득장치의 제어부는 미리 설정된 시간동안 영상취득부로부터 취득된 영상을 전달받지 못하는 경우에 경고 신호를 발생시키는 것을 특징으로 한다.The control unit of the image acquisition apparatus of the unmanned aerial vehicle according to the present invention generates a warning signal when an image acquired from the image acquisition unit is not received for a preset time.

본 발명에 따른 무인항공기의 영상취득장치는 취득된 영상을 외부 장치에 전송하는 통신부를 더 포함하는 것을 특징으로 한다.The apparatus for acquiring an image of an unmanned aerial vehicle according to the present invention further comprises a communication unit for transmitting the acquired image to an external apparatus.

본 발명에 따른 무인항공기의 영상취득장치는 취득된 영상을 저장하는 저장부를 더 포함하는 것을 특징으로 한다.The apparatus for acquiring an image of an unmanned aerial vehicle according to the present invention further includes a storage unit for storing the acquired image.

본 발명에 따른 무인항공기의 영상취득방법은 무인항공기에 탑재된 영상취득부가 영상을 취득하는 단계; 분석부가 취득된 영상을 기초로 피사체까지의 거리와 초점거리를 계산하는 단계; 제어부가 계산된 초점거리로 영상취득부의 초점을 조절하는 단계; 및 제어부에 의해 초점거리가 변경된 영상취득부가 영상을 취득하는 단계를 포함하는 것을 특징으로 한다.A method for acquiring an image of an unmanned aerial vehicle according to the present invention includes the steps of acquiring an image acquisition unit mounted on an unmanned aerial vehicle; Calculating a distance to a subject and a focal distance on the basis of the image obtained by the analysis unit; The control unit adjusting the focus of the image acquisition unit to the calculated focal distance; And a step of acquiring a video acquiring unit image whose focal distance has been changed by the control unit.

본 발명에 따른 무인항공기의 영상취득방법은 영상취득부가 취득한 영상을 외부 장치에 전송하는 단계를 더 포함하는 것을 특징으로 한다.The method for acquiring an image of an unmanned aerial vehicle according to the present invention further includes transmitting the acquired image to an external device.

본 발명에 따른 무인항공기의 영상취득방법의 분석부가 피사체까지의 거리와 초점거리를 계산하는 단계에서, 분석부는 취득된 영상의 피사체 윤곽을 검출해서, 검출된 윤곽선을 분석하여 피사체까지의 거리와 초점거리를 계산하는 것을 특징으로 한다.In the step of calculating distance and focal distance to the analyzing part of the unmanned aerial vehicle according to the present invention, the analyzing part detects the object outline of the acquired image, analyzes the detected outline, And calculates the distance.

본 발명에 따른 무인항공기의 영상취득방법은 제어부가 계산된 피사체까지의 거리를 기초로 무인항공기의 속도와 거리를 조절하도록 무인항공기를 제어하는 단계를 더 포함하는 것을 특징으로 한다.
The method for acquiring an image of an unmanned aerial vehicle according to the present invention is characterized in that the control unit controls the unmanned aerial vehicle to adjust the speed and distance of the unmanned airplane based on the distance to the calculated object.

본 발명에 따른 무인항공기의 영상취득장치 및 방법은 비행 중인 무인항공기에서 피사체의 선명한 영상을 취득할 수 있도록 한다.The apparatus and method for acquiring an image of an unmanned aerial vehicle according to the present invention can acquire a clear image of a subject in an unmanned airplane in flight.

또한, 본 발명은 특성이 다른 복수개의 카메라를 이용할 수 있어서, 용도에 따라 최적의 특성을 갖는 카메라를 이용하여 영상을 취득할 수 있다.
Further, the present invention can use a plurality of cameras having different characteristics, so that an image can be acquired using a camera having an optimum characteristic according to the use.

도 1은 본 발명의 일실시예에 따른 무인항공기의 영상취득장치의 기능 블록도이다.
도 2는 본 발명의 일실시예에 따른 무인항공기의 영상취득장치의 영상취득부와 피사계 심도를 나타내는 개념도이다.
도 3은 본 발명의 일실시예에 따른 무인항공기의 영상취득장치의 초점 계산 알고리즘을 나타내는 개념도이다.
도 4는 본 발명의 일실시예에 따른 무인항공기의 영상취득장치의 초점 계산을 나타내는 예시도이다.
도 5는 본 발명의 일실시예에 따른 무인항공기의 영상취득장치의 피사체까지의 거리 계산 알고리즘을 나타내는 그래프이다.
도 6은 본 발명의 일실시예에 따른 무인항공기의 영상취득방법을 나타내는 흐름도이다.
1 is a functional block diagram of an image acquisition apparatus for an unmanned aerial vehicle according to an embodiment of the present invention.
2 is a conceptual diagram illustrating an image acquisition unit and depth of field of an image acquisition apparatus of an unmanned aerial vehicle according to an embodiment of the present invention.
3 is a conceptual diagram illustrating a focus calculation algorithm of an image acquisition apparatus of an unmanned aerial vehicle according to an embodiment of the present invention.
4 is an exemplary diagram illustrating focus calculation of an image acquisition apparatus for an unmanned aerial vehicle according to an embodiment of the present invention.
5 is a graph illustrating a distance calculation algorithm to a subject of an image acquisition apparatus of an unmanned aerial vehicle according to an embodiment of the present invention.
6 is a flowchart illustrating an image acquisition method for an unmanned aerial vehicle according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명에 따른 무인항공기의 영상취득장치 및 방법의 일실시예를 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로, 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, an embodiment of an apparatus and method for acquiring an image of an unmanned aerial vehicle according to the present invention will be described with reference to the accompanying drawings. In this process, the thicknesses of the lines and the sizes of the components shown in the drawings may be exaggerated for clarity and convenience of explanation. In addition, the terms described below are defined in consideration of the functions of the present invention, which may vary depending on the intention or custom of the user, the operator. Therefore, definitions of these terms should be made based on the contents throughout this specification.

도 1은 무인항공기의 영상취득장치의 기능 블록도이고, 도 2는 무인항공기의 영상취득장치의 영상취득부와 피사계 심도를 나타내는 개념도이다.FIG. 1 is a functional block diagram of an image acquisition apparatus for an unmanned aerial vehicle, and FIG. 2 is a conceptual diagram illustrating an image acquisition unit and depth of field of an image acquisition apparatus for an unmanned aerial vehicle.

그리고 도 3은 무인항공기의 영상취득장치의 초점 계산 알고리즘을 나타내는 개념도이고, 도 4는 무인항공기의 영상취득장치의 초점 계산을 나타내는 예시도이다.FIG. 3 is a conceptual diagram showing a focus calculation algorithm of an image acquisition device of an unmanned aerial vehicle, and FIG. 4 is an exemplary view showing focus calculation of an image acquisition device of an unmanned aerial vehicle.

또한, 도 5는 무인항공기의 영상취득장치의 피사체까지의 거리 계산 알고리즘을 나타내는 예시도이고, 도 6은 무인항공기의 영상취득방법을 나타내는 흐름도이다.FIG. 5 is a diagram illustrating an algorithm for calculating a distance to an object of an image acquisition device of an unmanned aerial vehicle, and FIG. 6 is a flowchart illustrating an image acquisition method of an unmanned aerial vehicle.

도 1에 도시된 바와 같이 본 발명의 일실시예에 따른 무인항공기의 영상취득장치는 영상취득부(100), 분석부(200), 및 제어부(300)를 포함한다.As shown in FIG. 1, an image acquisition apparatus for an unmanned aerial vehicle according to an embodiment of the present invention includes an image acquisition unit 100, an analysis unit 200, and a control unit 300.

영상취득부(100)는 무인항공기에 탑재되어, 무인항공기 주변의 영상을 취득한다.The image acquisition unit 100 is mounted on an unmanned airplane and acquires an image around the unmanned airplane.

영상취득부(100)는 복수개의 카메라를 포함하여 구성될 수 있으며, 분석부(200)의 피사체까지의 거리와 초점거리 계산에 이용되는 영상을 취득하는 제1 카메라(120)와, 제1 카메라(120)보다 정밀한 영상을 취득하는 제2 카메라(140)를 포함할 수 있다.The image capturing unit 100 may include a plurality of cameras. The image capturing unit 100 may include a first camera 120 that acquires an image used for calculating the distance to the subject and the focal length of the analyzer 200, And a second camera 140 for acquiring a more precise image than the first camera 120.

그리고 제1 카메라(120)는 표준렌즈보다 영상의 심도(피사계 심도)를 깊게 만드는 광각렌즈 카메라를 포함할 수 있고, 제2 카메라(140)는 표준렌즈보다 초점거리 내의 피사체를 선명하게 촬영하는 망원렌즈 카메라를 포함할 수 있다.The first camera 120 may include a wide-angle lens camera that deepens the depth of the image (depth of field) than the standard lens. The second camera 140 may include a telephoto lens And a lens camera.

여기서 표준렌즈란, 카메라 화면의 대각선과 거의 같은 길이의 초점거리를 갖는 렌즈를 말하며 사각(寫角)이 50°내외의 것을 말한다.Here, the standard lens refers to a lens having a focal length approximately equal to the diagonal line of the camera screen, and has a square angle of about 50 °.

또한, 제1 카메라(120)와 제2 카메라(140)는 필요에 따라 복수개의 카메라로 구성될 수 있다.In addition, the first camera 120 and the second camera 140 may be composed of a plurality of cameras as needed.

예를 들면 도 2에 도시된 바와 같이, 제1 카메라(120)가 피사계 심도가 깊은 영상을 취득할 수 있고, 제2 카메라(140)가 초점거리 내의 피사체(굵은 실선으로 표현된 송전선)를 선명하게 촬영할 수 있다.For example, as shown in FIG. 2, the first camera 120 can acquire an image having a deep depth of field, and the second camera 140 can acquire a subject (a transmission line represented by a thick solid line) .

여기서 영상의 심도는 발명의 배경이 되는 기술에서 상술한 바 있고, 초점거리는 렌즈나 구면 거울 따위의 중심에서 초점까지의 거리를 의미한다.Here, the depth of the image has been described in the background of the invention, and the focal distance means the distance from the center of the lens or spherical mirror to the focal point.

분석부(200)는 영상취득부(100)가 취득한 영상을 전달받아, 취득된 영상의 선명도를 기초로 피사체까지의 거리와 초점거리를 계산한다.The analysis unit 200 receives the image acquired by the image acquisition unit 100, and calculates the distance to the subject and the focal distance on the basis of the acquired image sharpness.

분석부(200)가 영상취득부(100)에 의해 취득된 영상을 기초로 피사체까지의 거리와 초점거리를 계산하는 것에 대해 이하 설명한다.A description will now be given of the case where the analyzing unit 200 calculates the distance to the subject and the focal length based on the image acquired by the image acquiring unit 100. FIG.

도 3을 참고하면, 영상취득부(100)가 렌즈 초점이 최소인 위치와 최대인 위치 구간을 일정 시간 동안에 영상 취득하는데, 상기 일정시간은 영상취득부(100)의 셔터 속도를 고려하여 영상취득 처리할 수 있는 시간을 의미한다.3, the image capturing unit 100 captures an image at a position where the lens focus is minimum and a position interval that is the maximum at a certain time, and the predetermined time is obtained by taking the image capturing speed in consideration of the shutter speed of the image capturing unit 100 It means the time that can be processed.

그리고 영상취득부(100)는 취득한 영상을 초점 조절 위치별로 등분한다.Then, the image acquisition unit 100 divides the acquired image by the focus adjustment position.

등분된 영상은 도 3의 (A)와 같고, 등분된 영상이 필터링과 간략화를 거치게 되면 간단한 영상(도 3의 (B))으로 변환된다.The divided image is as shown in (A) of FIG. 3. When the divided image is subjected to filtering and simplification, it is converted into a simple image ((B) of FIG. 3).

분석부(200)는 윤곽선 분석 알고리즘을 이용하여 상기 변환된 영상들 중에서 최적의 초점 거리인 영상(도 3의 (C))을 구하게 된다.The analysis unit 200 obtains an image (FIG. 3 (C)) having an optimal focal length from among the converted images using a contour analysis algorithm.

여기서 윤곽선 분석 알고리즘은 계산 대상인 영상(이미지)의 빛의 세기(intensity)나 명암(contrast)을 기반으로 피사체의 경계를 검출하고, 검출된 피사체의 경계를 토대로 선명도(sharpness)를 계산해서 초점이 맞은 정도인 초점 점수(focus score)를 계산하는 과정을 거치는 것을 말한다.Here, the contour analysis algorithm detects the boundary of the object based on the intensity or the contrast of the image to be calculated and calculates the sharpness based on the boundary of the detected object. And a process of calculating a focus score that is about the same as the above-mentioned process.

피사체의 초점이 맞은 정도를 계산하는 기술은 이른바 자동 초점(auto focus) 기술과 동일하며 자동 초점 방식은 초음파나 적외선을 이용하는 능동 방식과 물체로부터 자연적으로 반사된 빛을 이용하는 수동 방식 등으로 나누어지는데, 자동 초점 기술은 공지된 기술이므로 자세한 설명은 생략한다.The technique of calculating the degree of focus of a subject is the same as the so-called auto focus technique. The auto focus method is divided into an active mode using ultrasound or infrared rays and a manual mode using naturally reflected light from the object. Since the auto focus technique is a known technique, a detailed description thereof will be omitted.

이에 따라 도 4에 도시된 바와 같이, 분석부(200)는 일정시간 동안 취득된 영상의 선명도를 토대로 초점이 맞은 정도인 초점 점수를 계산할 수 있고, 이에 따라 5번, 6번 영상이 163점의 초점 점수로 최적의 초점 조절 위치인 것으로 판단할 수 있다.Accordingly, as shown in FIG. 4, the analyzer 200 can calculate the focus score, which is the degree of focus based on the sharpness of the acquired image for a predetermined time, It can be determined that the focus position is the optimal focus adjustment position.

그리고 최적의 초점 조절 위치를 기초로 피사체까지의 거리를 계산하는 것에 대해 이하 설명한다.The calculation of the distance to the subject based on the optimum focus adjustment position will be described below.

분석부(200)는 미리 계산된 초점 점수와 피사체까지의 거리 간의 관계를 기초로 피사체까지의 거리를 계산할 수 있는데, 분석부(200)는 피사체의 실제 크기와 피사체와 영상취득부(100) 간의 거리에 따른 초점 점수에 대한 수치를 저장하고 있어서 취득된 영상의 초점 점수를 기초로 피사체까지의 거리를 계산할 수 있다.The analysis unit 200 can calculate the distance to the subject based on the relationship between the focus point calculated beforehand and the distance to the subject. The analysis unit 200 calculates the distance between the subject and the actual size of the subject, And the distance to the subject can be calculated based on the focus point of the acquired image.

예를 들면 도 5에 도시된 바와 같이, 분석부(200)는 초점 점수와 거리 간 그래프를 토대로 각 초점 점수별 피사체까지의 거리를 계산할 수 있다.For example, as shown in FIG. 5, the analyzer 200 can calculate a distance to a subject by each focus point based on a graph between a focus point and a distance.

그래서 분석부(200)는 취득된 영상의 초점 점수가 100인 경우 피사체까지의 거리가 0.7m 인 것으로 계산할 수 있고, 취득된 영상의 초점 점수가 30인 경우 피사체까지의 거리가 1.7m 인 것으로 계산할 수 있다.Therefore, the analysis unit 200 can calculate that the distance to the subject is 0.7 m when the focal point of the acquired image is 100, and the distance to the subject is 1.7 m when the focal point of the acquired image is 30 .

이는 분석부(200)의 피사체까지 거리 계산에 대한 설명을 위한 예시적인 내용으로, 피사체의 실제 크기와, 사용자나 설계자의 의도에 따라 다양하게 설정될 수 있다.This is an exemplary content for explaining the distance calculation to the subject of the analysis unit 200, and may be variously set according to the actual size of the subject and the intention of the user or the designer.

그리고 분석부(200)는 계산된 피사체까지의 거리를 바탕으로 초점거리를 계산할 수 있다.Then, the analysis unit 200 can calculate the focal distance based on the distance to the calculated subject.

초점거리 = (피사체까지의 거리×필름의 수직 높이)/(피사체의 높이) 이므로, 예를 들어 피사체까지의 거리가 200m이고 높이 50m인 송전탑을 높이 24mm의 필름에 촬영하고자 하면 초점거리는 9.6cm으로 계산된다.Focal distance = (distance to subject x vertical height of film) / (height of subject). For example, if you want to shoot a transmission tower with a height of 50m and a distance of 200m to a 24mm film, the focal length is 9.6cm .

여기서 피사체까지의 거리를 바탕으로 초점거리를 계산하는 방법은 공지된 기술로서, 영상취득부(100)가 사용하는 렌즈의 종류 및 크기, 및 취득되는 영상의 사이즈에 따라 달라질 수 있으며 이외에 사용자나 설계자의 의도에 따라 다양하게 설정될 수 있다.Here, the method of calculating the focal distance based on the distance to the subject is a well-known technique. The method may vary depending on the type and size of the lens used by the image acquisition unit 100 and the size of the acquired image, May be variously set according to the intention of the user.

제어부(300)는 분석부(200)가 계산한 초점거리를 기초로 영상취득부(100)의 초점을 제어한다.The control unit 300 controls the focus of the image capturing unit 100 based on the focal distance calculated by the analyzing unit 200.

그리고 제어부(300)는 변경된 초점거리로 영상취득부(100)가 영상을 취득하도록 제어한다.Then, the control unit 300 controls the image acquisition unit 100 to acquire the image with the changed focal distance.

예를 들면, 영상취득부(100)의 제1 카메라(120)로부터 취득된 영상을 기초로 분석부(200)가 피사체까지의 거리와 초점거리를 계산하고, 제어부(300)는 영상취득부(100)의 제2 카메라(140)를 계산된 초점거리로 조절해서 영상을 취득하도록 제어한다.For example, the analysis unit 200 calculates the distance to the subject and the focal length based on the image acquired from the first camera 120 of the image acquisition unit 100, and the control unit 300 acquires the distance 100 to the calculated focal distance so as to acquire an image.

그리고 제어부(300)는 분석부(200)가 계산한 피사체까지의 거리를 기초로 무인항공기의 속도와 거리를 조절하도록 무인항공기를 제어할 수 있다.The control unit 300 may control the UAV to adjust the speed and distance of the UAV based on the distance to the subject calculated by the analysis unit 200.

제어부(300)는 피사체까지의 거리를 이용해서 무인항공기가 피사체와 가까운 거리에 있다면 충돌을 방지하기 위해 무인항공기의 이동 속도를 줄이고 피사체와의 거리를 유지하거나 멀어지도록 제어할 수 있으며, 이는 제어부(300)가 무인항공기 제어부(600)에 제어 신호를 전달하여 무인항공기 제어부(600)가 무인항공기를 동작시키는 과정에 의한다.The control unit 300 may control the distance of the UAV to keep the distance from the subject or to move away from the UAV in order to prevent collision if the UAV is close to the subject by using the distance to the subject, 300 transmits a control signal to the unmanned airplane control unit 600 and the unmanned airplane control unit 600 operates the unmanned airplane.

또한, 제어부(300)는 영상취득부(100)로부터 취득된 영상을 전달받지 못하는 경우에 경고 신호를 발생시킨다.In addition, the control unit 300 generates a warning signal when the image acquired from the image acquisition unit 100 is not received.

무인항공기의 영상취득장치가 정상적으로 작동되고 있음에도 일정시간 이상 영상취득부(100)로부터 영상이 전달되지 않으면, 제어부(300)는 경고 신호를 발생시켜서 지상의 조종사나, 통제 시스템에 이를 알릴 수 있다. If an image is not transmitted from the image capturing unit 100 for a predetermined period of time even though the image capturing apparatus of the unmanned aerial vehicle is normally operated, the control unit 300 may generate a warning signal to notify the pilots on the ground or the control system.

한편, 무인항공기의 영상취득장치는 통신부(400)와 저장부(500)를 더 포함할 수 있다.Meanwhile, the image acquisition apparatus of the unmanned aerial vehicle may further include a communication unit 400 and a storage unit 500.

통신부(400)는 취득된 영상을 외부 장치에 전송한다.The communication unit 400 transmits the acquired image to the external device.

여기서 외부 장치란 무인항공기의 영상취득장치 이외의 장치를 말하며, 예를 들면 지상의 통제 시스템이나 무인항공기의 조종 단말기 등과 같은 장치를 말한다.Here, the external device is a device other than the image acquisition device of the UAV, for example, a device such as a ground control system or a control terminal of an unmanned airplane.

그리고 통신부(400)는 상술한 제어부(300)의 경고 신호를 전송하는 역할도 한다.The communication unit 400 also transmits the warning signal of the control unit 300 described above.

저장부(500)는 취득된 영상을 저장한다.The storage unit 500 stores the acquired image.

이에 따라, 취득된 영상은 통신부(400)를 통해 외부 장치로 전송될 수 있을 뿐만 아니라, 저장부(500)에 저장 보관되어 필요에 따라 다른 장치로 복사, 이동, 및 전송될 수 있다.
Accordingly, not only the acquired image can be transmitted to the external device through the communication unit 400, but also can be stored and stored in the storage unit 500 and copied, moved, and transferred to another device as needed.

이하, 도 1 내지 도 6, 및 상기 각 구성의 설명을 바탕으로 무인항공기의 영상취득장치 동작의 일례와 무인항공기의 영상취득방법을 설명한다.Hereinafter, an example of the operation of the image acquisition device of the UAV and the image acquisition method of the UAV will be described based on FIGS. 1 to 6 and the description of the respective configurations.

도 6에 도시된 바와 같이, 먼저 영상취득부(100)가 영상을 취득한다(S10).As shown in Fig. 6, first, the image acquisition unit 100 acquires an image (S10).

분석부(200)는 취득된 영상을 기초로 피사체까지의 거리 및 초점거리를 계산한다(S20).The analyzer 200 calculates the distance to the subject and the focal distance on the basis of the acquired image (S20).

그리고 제어부(300)는 분석부(200)가 계산한 초점거리로 영상취득부(100)의 초점을 조절한다(S30).The control unit 300 adjusts the focus of the image capturing unit 100 to the focal distance calculated by the analysis unit 200 (S30).

초점거리가 변경된 영상취득부(100)가 정밀 영상을 취득하고(S40), 통신부(400)에 의해 취득된 정밀 영상은 외부 장치로 전송된다(S50).The image capturing unit 100 having the focal distance changed acquires the precise image (S40), and the precise image acquired by the communication unit 400 is transmitted to the external apparatus (S50).

그리고 제어부(300)는 분석부(200)가 계산한 피사체까지의 거리를 기초로 무인항공기의 속도와 거리를 조절하도록 무인항공기 제어부(600)에 무인항공기 동작에 대한 제어 신호를 전송할 수 있다.The control unit 300 may transmit a control signal for the operation of the unmanned airplane to the unmanned airplane control unit 600 to adjust the speed and distance of the unmanned airplane based on the distance to the object calculated by the analysis unit 200. [

여기서 분석부(200)가 피사체까지의 거리와 초점거리를 계산하는 과정과 구체적인 예시는 상술한 무인항공기의 영상취득장치의 설명에서 서술한 바 있다.
Here, the process of calculating the distance to the subject and the focal distance by the analyzer 200 and a specific example are described in the description of the image acquisition apparatus of the unmanned aerial vehicle described above.

이와 같이, 본 발명에 따른 무인항공기의 영상취득장치 및 방법은 비행 중인 무인항공기에서 피사체의 선명한 영상을 취득할 수 있도록 한다.As described above, the apparatus and method for acquiring an image of an unmanned aerial vehicle according to the present invention can acquire a clear image of a subject in an unmanned airplane in flight.

또한, 본 발명은 특성이 다른 복수개의 카메라를 이용할 수 있어서, 용도에 따라 최적의 특성을 갖는 카메라를 이용하여 영상을 취득할 수 있다.
Further, the present invention can use a plurality of cameras having different characteristics, so that an image can be acquired using a camera having an optimum characteristic according to the use.

본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. I will understand. Accordingly, the technical scope of the present invention should be defined by the following claims.

100 : 영상취득부 120 : 제1 카메라
140 : 제2 카메라 200 : 분석부
300 : 제어부 400 : 통신부
500 : 저장부 600 : 무인항공기 제어부
100: image acquisition unit 120: first camera
140: second camera 200:
300: control unit 400:
500: storage unit 600: unmanned airplane control unit

Claims (13)

무인항공기에 탑재되는 영상취득장치로서,
영상을 취득하는 영상취득부;
상기 취득된 영상의 선명도를 기초로 피사체까지의 거리와 초점거리를 계산하는 분석부; 및
상기 분석부가 계산한 상기 초점거리를 기초로 상기 영상취득부의 초점을 제어하는 제어부를 포함하는 것을 특징으로 하는 무인항공기의 영상취득장치.
1. An image acquisition device mounted on an unmanned air vehicle,
A video acquiring unit for acquiring a video;
An analyzer for calculating a distance to the subject and a focal distance based on the acquired sharpness of the image; And
And a control unit for controlling the focus of the image acquisition unit based on the focal distance calculated by the analysis unit.
제1항에 있어서,
상기 영상취득부는 상기 분석부의 피사체까지의 거리와 초점거리 계산에 이용되는 영상을 취득하는 제1 카메라와, 상기 제1 카메라보다 정밀한 영상을 취득하는 제2 카메라를 포함하는 것을 특징으로 하는 무인항공기의 영상취득장치.
The method according to claim 1,
Wherein the image acquiring unit includes a first camera that acquires an image used for calculating the distance to the subject and the focal length of the analyzing unit and a second camera that acquires an image finer than the first camera, Image acquisition device.
제2항에 있어서,
상기 분석부는 상기 제1 카메라로부터 취득된 영상을 기초로 상기 피사체까지의 거리와 상기 초점거리를 계산하고,
상기 제어부는 상기 제2 카메라를 상기 계산된 초점거리로 조절해서 영상을 취득하도록 제어하는 것을 특징으로 하는 무인항공기의 영상취득장치.
3. The method of claim 2,
Wherein the analyzing unit calculates the distance to the subject and the focal distance on the basis of the image acquired from the first camera,
Wherein the control unit controls the second camera to obtain an image by adjusting the calculated focal distance.
제2항에 있어서,
상기 제1 카메라는 표준렌즈보다 영상의 심도를 깊게 만드는 광각렌즈 카메라인 것을 특징으로 하는 무인항공기의 영상취득장치.
3. The method of claim 2,
Wherein the first camera is a wide-angle lens camera that deepens the depth of the image than the standard lens.
제2항에 있어서,
상기 제2 카메라는 표준렌즈보다 초점거리 내의 피사체를 선명하게 촬영하는 망원렌즈 카메라인 것을 특징으로 하는 무인항공기의 영상취득장치.
3. The method of claim 2,
Wherein the second camera is a telephoto lens camera for capturing a subject in a focal distance more clearly than a standard lens.
제1항에 있어서,
상기 제어부는 상기 피사체까지의 거리를 기초로 상기 무인항공기의 속도와 거리를 조절하도록 상기 무인항공기를 제어하는 것을 특징으로 하는 무인항공기의 영상취득장치.
The method according to claim 1,
Wherein the control unit controls the unmanned airplane to adjust a speed and a distance of the unmanned airplane based on a distance to the unattended airplane.
제1항에 있어서,
상기 제어부는 미리 설정된 시간 동안 상기 영상취득부로부터 상기 취득된 영상을 전달받지 못하는 경우에 경고 신호를 발생시키는 것을 특징으로 하는 무인항공기의 영상취득장치.
The method according to claim 1,
Wherein the control unit generates a warning signal when the acquired image is not received from the image acquisition unit for a predetermined time.
제1항에 있어서,
상기 취득된 영상을 외부 장치에 전송하는 통신부를 더 포함하는 것을 특징으로 하는 무인항공기의 영상취득장치.
The method according to claim 1,
Further comprising a communication unit for transmitting the acquired image to an external device.
제1항에 있어서,
상기 취득된 영상을 저장하는 저장부를 더 포함하는 것을 특징으로 하는 무인항공기의 영상취득장치.
The method according to claim 1,
Further comprising: a storage unit for storing the acquired image.
무인항공기에 탑재된 영상취득부가 영상을 취득하는 단계;
분석부가 상기 취득된 영상을 기초로 피사체까지의 거리와 초점거리를 계산하는 단계;
제어부가 상기 계산된 초점거리로 상기 영상취득부의 초점을 조절하는 단계; 및
상기 제어부에 의해 초점거리가 변경된 상기 영상취득부가 영상을 취득하는 단계를 포함하는 것을 특징으로 하는 무인항공기의 영상취득방법.
Acquiring an image acquisition unit image mounted on the unmanned airplane;
Calculating a distance to the subject and a focal distance based on the acquired image;
The control unit adjusting the focal point of the image acquisition unit to the calculated focal distance; And
And acquiring an image of the image acquiring unit whose focal distance has been changed by the control unit.
제10항에 있어서,
상기 영상취득부가 취득한 상기 영상을 외부 장치에 전송하는 단계를 더 포함하는 것을 특징으로 하는 무인항공기의 영상취득방법.
11. The method of claim 10,
Further comprising the step of transmitting the image acquired by the image acquiring unit to an external apparatus.
제10항에 있어서,
상기 분석부가 상기 피사체까지의 거리와 초점거리를 계산하는 단계에서, 상기 분석부는 상기 취득된 영상의 피사체 윤곽을 검출해서, 검출된 윤곽선을 분석하여 상기 피사체까지의 거리와 초점거리를 계산하는 것을 특징으로 하는 무인항공기의 영상취득방법.
11. The method of claim 10,
The analyzing unit calculates the distance to the subject and the focal distance by analyzing the detected contour line by detecting the subject outline of the acquired image in the step of calculating the distance to the subject and the focal distance, A method of acquiring an image of an unmanned aerial vehicle.
제10항에 있어서,
상기 제어부가 상기 계산된 피사체까지의 거리를 기초로 상기 무인항공기의 속도와 거리를 조절하도록 상기 무인항공기를 제어하는 단계를 더 포함하는 것을 특징으로 하는 무인항공기의 영상취득방법.
11. The method of claim 10,
Further comprising controlling the unmanned airplane to adjust the speed and distance of the unmanned airplane based on the calculated distance to the subject.
KR1020130104136A 2013-08-30 2013-08-30 Apparatus and method for acquiring image for unmanned aerial vehicle KR101592165B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130104136A KR101592165B1 (en) 2013-08-30 2013-08-30 Apparatus and method for acquiring image for unmanned aerial vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130104136A KR101592165B1 (en) 2013-08-30 2013-08-30 Apparatus and method for acquiring image for unmanned aerial vehicle

Publications (2)

Publication Number Publication Date
KR20150027346A true KR20150027346A (en) 2015-03-12
KR101592165B1 KR101592165B1 (en) 2016-02-11

Family

ID=53022700

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130104136A KR101592165B1 (en) 2013-08-30 2013-08-30 Apparatus and method for acquiring image for unmanned aerial vehicle

Country Status (1)

Country Link
KR (1) KR101592165B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107015568A (en) * 2015-10-07 2017-08-04 松下知识产权经营株式会社 The control method of autonomous flight device, autonomous flight device
CN107326845A (en) * 2017-06-28 2017-11-07 太仓迪米克斯节能服务有限公司 A kind of intelligence cleaning system and method for building waste
CN110892321A (en) * 2018-07-18 2020-03-17 深圳市大疆创新科技有限公司 Image shooting method and unmanned aerial vehicle
WO2022141401A1 (en) * 2020-12-31 2022-07-07 深圳市大疆创新科技有限公司 Image processing method and apparatus, personal terminal and storage medium
WO2023197841A1 (en) * 2022-04-15 2023-10-19 深圳市道通智能航空技术股份有限公司 Focusing method, photographic apparatus, unmanned aerial vehicle, and storage medium

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180070948A (en) 2016-12-19 2018-06-27 (주)에이지광학 Super-wide angle lens module for unmanned aerial vehicle

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005345833A (en) * 2004-06-03 2005-12-15 Ricoh Co Ltd Imaging device and its focusing control method
JP2006502675A (en) * 2002-10-22 2006-01-19 暁林 張 Bio-type automatic vision and gaze control system based on biological eye movement system
JP2007065593A (en) * 2005-09-02 2007-03-15 Fujinon Corp Autofocus system
JP2012140101A (en) * 2011-01-04 2012-07-26 Topcon Corp Flight control system for flying object

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006502675A (en) * 2002-10-22 2006-01-19 暁林 張 Bio-type automatic vision and gaze control system based on biological eye movement system
JP2005345833A (en) * 2004-06-03 2005-12-15 Ricoh Co Ltd Imaging device and its focusing control method
JP2007065593A (en) * 2005-09-02 2007-03-15 Fujinon Corp Autofocus system
JP2012140101A (en) * 2011-01-04 2012-07-26 Topcon Corp Flight control system for flying object

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107015568A (en) * 2015-10-07 2017-08-04 松下知识产权经营株式会社 The control method of autonomous flight device, autonomous flight device
CN107326845A (en) * 2017-06-28 2017-11-07 太仓迪米克斯节能服务有限公司 A kind of intelligence cleaning system and method for building waste
CN110892321A (en) * 2018-07-18 2020-03-17 深圳市大疆创新科技有限公司 Image shooting method and unmanned aerial vehicle
CN110892321B (en) * 2018-07-18 2021-09-03 深圳市大疆创新科技有限公司 Image shooting method and unmanned aerial vehicle
WO2022141401A1 (en) * 2020-12-31 2022-07-07 深圳市大疆创新科技有限公司 Image processing method and apparatus, personal terminal and storage medium
WO2023197841A1 (en) * 2022-04-15 2023-10-19 深圳市道通智能航空技术股份有限公司 Focusing method, photographic apparatus, unmanned aerial vehicle, and storage medium

Also Published As

Publication number Publication date
KR101592165B1 (en) 2016-02-11

Similar Documents

Publication Publication Date Title
KR101592165B1 (en) Apparatus and method for acquiring image for unmanned aerial vehicle
CN105472252B (en) A kind of unmanned plane obtains the system and method for image
US10656503B2 (en) Gimbal control
CN108323190B (en) Obstacle avoidance method and device and unmanned aerial vehicle
WO2018072657A1 (en) Image processing method, image processing device, multi-camera photographing device, and aerial vehicle
KR102363163B1 (en) Spectrum camera control device, spectrum camera control program, spectrum camera control system, aircraft equipped with this system and spectrum imaging method
KR100931029B1 (en) Unmanned aerial vehicle control method for aerial photography
US20210112207A1 (en) Method, control apparatus and control system for controlling an image capture of movable device
JP2018160228A (en) Route generation device, route control system, and route generation method
US20180275659A1 (en) Route generation apparatus, route control system and route generation method
JP6957304B2 (en) Overhead line photography system and overhead line photography method
US10331120B2 (en) Remote control device, control system and method of controlling
CN110139038B (en) Autonomous surrounding shooting method and device and unmanned aerial vehicle
JP2019144804A5 (en)
AU2016359553A1 (en) Aerial photography camera system
JP2021096865A (en) Information processing device, flight control instruction method, program, and recording medium
US20150168809A1 (en) Focus control apparatus and focus control method
JP6405344B2 (en) Mobile object, obstacle detection method for mobile object, and obstacle detection program for mobile object
JP6719738B2 (en) Autonomous mobile shooting control system and autonomous mobile body
EP3495846A1 (en) Hybrid lidar system
JP6163358B2 (en) Underwater imaging device and underwater imaging method
JP6733981B2 (en) Structure
KR102013423B1 (en) A Drone system contained zoom camera using data extracted method for auto focus
WO2021026754A1 (en) Focus control method and apparatus for photography apparatus, and unmanned aircraft
KR101747335B1 (en) POV shot by Quad ropteo automatic way and it has a camera mounted POV-oriented member function

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200121

Year of fee payment: 5