KR102415063B1 - Auto-focusing method and camera - Google Patents

Auto-focusing method and camera Download PDF

Info

Publication number
KR102415063B1
KR102415063B1 KR1020170093695A KR20170093695A KR102415063B1 KR 102415063 B1 KR102415063 B1 KR 102415063B1 KR 1020170093695 A KR1020170093695 A KR 1020170093695A KR 20170093695 A KR20170093695 A KR 20170093695A KR 102415063 B1 KR102415063 B1 KR 102415063B1
Authority
KR
South Korea
Prior art keywords
area
threshold value
luminance difference
camera
ratio
Prior art date
Application number
KR1020170093695A
Other languages
Korean (ko)
Other versions
KR20190011127A (en
Inventor
김철호
김대봉
노주혜
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to KR1020170093695A priority Critical patent/KR102415063B1/en
Publication of KR20190011127A publication Critical patent/KR20190011127A/en
Application granted granted Critical
Publication of KR102415063B1 publication Critical patent/KR102415063B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N5/23212
    • H04N5/225

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Abstract

자동 포커싱 방법은 단계들 (a) 내지 (e)를 포함한다. 단계 (a)에서, 영상의 전체 영역은 중앙 영역 및 주변 영역들로 구획한다. 단계 (b)에서, 중앙 영역 및 주변 영역들 각각에서, 인접 화소들에 대한 각 화소의 휘도 차이 값이 구해진다. 단계 (c)에서, 주변 영역들 각각에 대하여, 제1 문턱 값보다 큰 휘도 차이 값을 가진 에지(edge) 화소들의 비율이 구해진다. 단계 (d)에서, 중앙 영역에 대하여, 제1 문턱 값 미만의 제2 문턱 값보다 큰 휘도 차이 값을 가진 에지(edge) 화소들의 비율이 구해진다. 단계 (e)에서, 에지(edge) 화소들의 비율이 가장 높은 영역은 포커싱 대상 영역으로 설정된다.The automatic focusing method includes steps (a) to (e). In step (a), the entire area of the image is divided into a central area and peripheral areas. In step (b), in each of the central region and the peripheral regions, a luminance difference value of each pixel with respect to adjacent pixels is obtained. In step (c), for each of the peripheral regions, a ratio of edge pixels having a luminance difference value greater than a first threshold is obtained. In step (d), with respect to the central region, a ratio of edge pixels having a luminance difference value greater than a second threshold value less than a first threshold value is obtained. In step (e), an area having the highest ratio of edge pixels is set as a focusing target area.

Description

자동 포커싱 방법 및 카메라{Auto-focusing method and camera}Auto-focusing method and camera

본 발명은, 자동 포커싱 방법 및 카메라에 관한 것으로서, 보다 상세하게는, 카메라의 제어부에 의하여 수행되는 자동 포커싱 방법 및 이 방법을 채용한 카메라에 관한 것이다.The present invention relates to an automatic focusing method and a camera, and more particularly, to an automatic focusing method performed by a controller of a camera and a camera employing the method.

일반적인 카메라는 포커스 렌즈, 촬영 센서 및 제어부를 구비한다. 촬영 센서는 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal-Oxide- Semiconductor)에 의하여 형성된다.A typical camera includes a focus lens, a photographing sensor, and a control unit. The imaging sensor is formed by a CCD (Charge Coupled Device) or CMOS (Complementary Metal-Oxide-Semiconductor).

이와 같은 카메라의 자동 포커싱 방법에 있어서, 포커스 렌즈와 촬영 센서 사이의 거리가 변하면서 최대 포커스 값을 발생시키는 위치가 찾아진다. In such an automatic focusing method of a camera, a position generating the maximum focus value is found while the distance between the focus lens and the photographing sensor is changed.

예를 들어, 포커스 모터가 구비된 카메라의 경우, 촬영 센서가 고정된 상태에서 포커스 렌즈가 이동하면서 최대 포커스 값을 발생시키는 위치가 찾아진다.For example, in the case of a camera equipped with a focus motor, a position generating the maximum focus value is found while the focus lens is moved while the photographing sensor is fixed.

이와 반대로, 촬영 센서 모터가 구비된 카메라의 경우, 포커스 렌즈가 고정된 상태에서 촬영 센서가 이동하면서 최대 포커스 값을 발생시키는 위치가 찾아진다. 이와 같이 촬영 센서 모터가 구비된 카메라인 경우, 포커스 렌즈가 교체되면서 다양하게 사용될 수 있다. Conversely, in the case of a camera equipped with a photographing sensor motor, a position generating the maximum focus value is found while the photographing sensor moves while the focus lens is fixed. As described above, in the case of a camera equipped with a photographing sensor motor, it can be used in various ways while the focus lens is replaced.

상기와 같은 자동 포커싱 방법 및 카메라에 있어서, 종래에는, 영상 프레임의 중심과 동일한 중심을 가진 단일 부분 영역에 대하여만 자동 포커싱이 수행되었다. 하지만, 단일 부분 영역에서 에지(edge) 성분의 영상이 존재하지 않은 경우, 찾아진 최종 포커스 위치는 최적의 포커스 위치가 되지 못한다. 예를 들어, 매끈한 벽면의 영상이 단일 부분 영역에 위치한 경우, 찾아진 최종 포커스 위치가 최적의 포커스 위치가 될 확률이 높지 않다.In the automatic focusing method and camera as described above, conventionally, automatic focusing is performed only on a single partial region having the same center as the center of the image frame. However, when an image of an edge component does not exist in the single partial region, the found final focus position does not become an optimal focus position. For example, when an image of a smooth wall is located in a single partial area, the probability that the final focus position found is not an optimal focus position is not high.

이와 같은 문제점을 개선하기 위하여, 설정 전체 영역을 복수의 영역들로 분할하고, 각 영역 중에서 고주파 성분의 비율이 가장 높은 영역을 포커싱 대상 영역으로 설정하는 자동 포커싱 방법(통상적으로 다중점 포커싱 방법이라 함)이 사용되고 있다. 이와 같은 종래의 다중점 포커싱 방법에 의하면, 중앙 영역과 어느 한 주변 영역이 비슷하게 높은 고주파 성분의 비율을 가질 경우, 중앙 영역이 아니라 어느 한 주변 영역이 포커싱 대상 영역으로 설정되는 문제점이 있다. 즉, 중앙 영역과 주변 영역들의 가중치가 동일함으로 인하여, 찾아진 최종 포커스 위치가 최적의 포커스 위치가 될 확률이 높지 않다. In order to improve such a problem, an automatic focusing method (commonly referred to as a multi-point focusing method) in which the entire setting area is divided into a plurality of areas, and an area having the highest ratio of high-frequency components among each area is set as a focusing target area ) is used. According to such a conventional multi-point focusing method, when the central region and any one peripheral region have a similarly high ratio of high-frequency components, there is a problem in that one peripheral region is set as the focusing target region instead of the central region. That is, since the weights of the central region and the peripheral regions are the same, the probability that the final focus position found is the optimal focus position is not high.

상기 배경 기술의 문제점은, 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 내용으로서, 반드시 본 발명의 출원 전에 일반 공중에게 공지된 내용이라 할 수는 없다.The problem with the background art is that the inventor possessed for the purpose of derivation of the present invention or acquired during the derivation process of the present invention, and it cannot necessarily be said that the content is known to the general public prior to the filing of the present invention.

대한민국 공개특허공보 제2004-32378호 (출원인 : 한화테크윈 주식회사, 발명의 명칭 : 이차 함수를 이용한 자동 포커싱 방법 및 카메라).Korean Patent Laid-Open Publication No. 2004-32378 (Applicant: Hanwha Techwin Co., Ltd., Title of Invention: Automatic focusing method and camera using a quadratic function).

본 발명의 실시예는, 다중점 포커싱 방법에서 중앙 영역과 어느 한 주변 영역이 비슷하게 높은 고주파 성분의 비율을 가질 경우, 중앙 영역이 아니라 주변 영역이 포커싱 대상 영역으로 설정되는 문제점을 자연스럽게 개선할 수 있는 자동 포커싱 방법 및 카메라를 제공하고자 한다.According to an embodiment of the present invention, when the central region and any one peripheral region have similarly high ratios of high-frequency components in the multi-point focusing method, the problem that the peripheral region, not the central region, is set as the focusing target region can be naturally improved. An object of the present invention is to provide an automatic focusing method and a camera.

본 발명의 일 측면의 방법은, 카메라의 제어부에 의하여 수행되는 자동 포커싱 방법에 있어서, 단계들 (a) 내지 (e)를 포함한다.The method of one aspect of the present invention comprises steps (a) to (e) in an automatic focusing method performed by a controller of a camera.

상기 단계 (a)에서, 상기 제어부는 영상의 전체 영역을 중앙 영역 및 복수의 주변 영역들로 구획한다.In step (a), the controller divides the entire area of the image into a central area and a plurality of peripheral areas.

상기 단계 (b)에서, 상기 제어부는, 상기 중앙 영역 및 복수의 주변 영역들 각각에서, 인접 화소들에 대한 각 화소의 휘도 차이 값을 구한다.In step (b), the controller obtains a luminance difference value of each pixel with respect to adjacent pixels in each of the central region and the plurality of peripheral regions.

상기 단계 (c)에서, 상기 제어부는, 상기 복수의 주변 영역들 각각에 대하여, 제1 문턱 값보다 큰 휘도 차이 값을 가진 에지(edge) 화소들의 비율을 구한다.In step (c), the controller obtains a ratio of edge pixels having a luminance difference value greater than a first threshold value for each of the plurality of peripheral regions.

상기 단계 (d)에서, 상기 제어부는, 상기 중앙 영역에 대하여, 상기 제1 문턱 값 미만의 제2 문턱 값보다 큰 휘도 차이 값을 가진 에지(edge) 화소들의 비율을 구한다.In step (d), the control unit obtains a ratio of edge pixels having a luminance difference value greater than a second threshold value less than the first threshold value with respect to the central region.

상기 단계 (e)에서, 상기 제어부는, 상기 중앙 영역 및 복수의 주변 영역들 중에서 상기 에지(edge) 화소들의 비율이 가장 높은 영역을 포커싱 대상 영역으로 설정하고, 설정된 포커싱 대상 영역에 대하여 포커싱을 수행한다.In step (e), the controller sets an area having the highest ratio of edge pixels among the central area and the plurality of peripheral areas as a focusing target area, and performs focusing on the set focusing target area do.

본 발명의 다른 측면의 카메라는 상기 자동 포커싱 방법을 채용한다.The camera of another aspect of the present invention employs the above automatic focusing method.

본 발명의 실시예의 자동 포커싱 방법 및 카메라에 의하면, 상기 중앙 영역에 대한 상기 제2 문턱 값은 상기 복수의 주변 영역들 각각에 대한 상기 제1 문턱 값보다 적다.According to the automatic focusing method and camera according to an embodiment of the present invention, the second threshold value for the central region is less than the first threshold value for each of the plurality of peripheral regions.

따라서, 상기 중앙 영역과 어느 한 주변 영역이 비슷하게 높은 고주파 성분의 비율을 가질 경우, 상기 중앙 영역에서의 에지(edge) 화소들의 비율이 상기 어느 한 주변 영역에서의 것에 비하여 높아진다. 이로 인하여, 중앙 영역이 아니라 주변 영역이 포커싱 대상 영역으로 설정되는 문제점이 자연스럽게 개선될 수 있다.Accordingly, when the central region and any one peripheral region have similarly high ratios of high frequency components, the ratio of edge pixels in the central region is higher than that in the one peripheral region. Due to this, the problem that the peripheral region rather than the central region is set as the focusing target region may be naturally improved.

따라서, 본 발명의 실시예의 자동 포커싱 방법 및 카메라에 의하면, 찾아진 최종 포커스 위치가 최적의 포커스 위치가 될 확률이 자연스럽게 높아질 수 있다.Accordingly, according to the automatic focusing method and camera according to the embodiment of the present invention, the probability that the final focus position found becomes the optimal focus position may naturally increase.

도 1은 본 발명의 실시예의 자동 포커싱 방법을 채용한 카메라의 제1 예를 보여주는 도면이다.
도 2는 본 발명의 실시예의 자동 포커싱 방법을 채용한 카메라의 제2 예를 보여주는 도면이다.
도 3은 도 1 또는 2의 제어부에 의하여 수행되는 본 발명의 실시예의 자동 포커싱 방법을 보여주는 흐름도이다.
도 4는 도 3의 단계 S301의 수행 결과의 제1 예를 보여주는 도면이다.
도 5는 도 3의 단계 S301의 수행 결과의 제2 예를 보여주는 도면이다.
도 6은 도 3의 단계 S303을 일반적으로 설명하기 위한 도면이다.
도 7은 도 3의 단계 S303을 예를 들어 설명하기 위한 도면이다.
도 8은 도 3의 단계 S317을 예를 들어 설명하기 위한 도면이다.
1 is a view showing a first example of a camera employing an automatic focusing method according to an embodiment of the present invention.
2 is a view showing a second example of a camera employing an automatic focusing method according to an embodiment of the present invention.
3 is a flowchart illustrating an automatic focusing method according to an embodiment of the present invention performed by the control unit of FIG. 1 or 2 .
FIG. 4 is a view showing a first example of a result of performing step S301 of FIG. 3 .
FIG. 5 is a view showing a second example of a result of performing step S301 of FIG. 3 .
FIG. 6 is a diagram for generally explaining step S303 of FIG. 3 .
7 is a view for explaining step S303 of FIG. 3 as an example.
8 is a view for explaining step S317 of FIG. 3 as an example.

하기의 설명 및 첨부된 도면은 본 발명에 따른 동작을 이해하기 위한 것이며, 본 기술 분야의 통상의 기술자가 용이하게 구현할 수 있는 부분은 생략될 수 있다. The following description and accompanying drawings are for understanding the operation according to the present invention, and parts that can be easily implemented by those skilled in the art may be omitted.

또한 본 명세서 및 도면은 본 발명을 제한하기 위한 목적으로 제공된 것은 아니고, 본 발명의 범위는 청구의 범위에 의하여 정해져야 한다. 본 명세서에서 사용된 용어들은 본 발명을 가장 적절하게 표현할 수 있도록 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.In addition, the specification and drawings are not provided for the purpose of limiting the present invention, and the scope of the present invention should be defined by the claims. The terms used in this specification should be interpreted with meanings and concepts consistent with the technical idea of the present invention so that the present invention can be most appropriately expressed.

이하 첨부된 도면들을 참조하여 본 발명의 실시예가 상세히 설명된다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시예의 자동 포커싱 방법을 채용한 카메라(1)의 제1 예를 보여준다.1 shows a first example of a camera 1 employing the automatic focusing method of the embodiment of the present invention.

도 1을 참조하면, 본 발명의 실시예의 자동 포커싱 방법을 채용한 카메라(1) 예를 들어, 감시 카메라는 광학계(OPS), 촬영 센서(OEC), 아날로그-디지털 변환부(101), 제어부(107), 비디오-신호 발생부(108), 및 인터페이스부(12)를 포함한다.1, the camera 1 employing the automatic focusing method of the embodiment of the present invention, for example, a surveillance camera is an optical system (OPS), an imaging sensor (OEC), an analog-to-digital converter 101, a control unit ( 107 ), a video-signal generating unit 108 , and an interface unit 12 .

렌즈부와 필터부를 포함한 광학계(OPS)는 피사체로부터의 빛을 광학적으로 처리한다. 광학계(OPS)의 렌즈부는 줌 렌즈 및 포커스 렌즈를 포함한다. An optical system (OPS) including a lens unit and a filter unit optically processes light from a subject. The lens unit of the optical system OPS includes a zoom lens and a focus lens.

CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal-Oxide- Semiconductor)의 촬영 센서(OEC)는 광학계(OPS)로부터의 빛을 전기적 아날로그 신호로 변환시킨다. 여기에서, 제어부(107)는 타이밍 회로(102)를 제어하여 촬영 센서(OEC)와 아날로그-디지털 변환부(101)의 동작을 제어한다. An imaging sensor (OEC) of a Charge Coupled Device (CCD) or Complementary Metal-Oxide- Semiconductor (CMOS) converts light from an optical system (OPS) into an electrical analog signal. Here, the controller 107 controls the timing circuit 102 to control operations of the imaging sensor OEC and the analog-to-digital converter 101 .

아날로그-디지털 변환부(101)는 촬영 센서(OEC)로부터의 아날로그 영상 신호를 처리하여 디지털 영상 신호를 발생시킨다. 보다 상세하게는, 아날로그-디지털 변환부(101)는, 촬영 센서(OEC)로부터의 아날로그 영상 신호를 처리하여, 그 고주파 노이즈를 제거하고 진폭을 조정한 후, 디지털 영상 데이터로 변환시킨다. 이 디지털 영상 데이터는 제어부(107)에 입력된다. The analog-to-digital converter 101 generates a digital image signal by processing the analog image signal from the photographing sensor OEC. More specifically, the analog-to-digital converter 101 processes the analog video signal from the photographing sensor OEC, removes the high-frequency noise, adjusts the amplitude, and converts the analog video signal into digital video data. This digital image data is input to the control unit 107 .

제어부(107) 예를 들어, 디지털 신호 처리기(DSP : Digital Signal Processor)는 광학계(OPS), 촬영 센서(OEC) 및 아날로그-디지털 변환부(101)의 동작을 제어하면서 아날로그-디지털 변환부(101)로부터의 디지털 영상 신호의 형식을 변환한다. 보다 상세하게는, 제어부(107)는 아날로그-디지털 변환부 소자(101)로부터의 디지털 신호를 처리하여 휘도 및 색도 신호로 분류된 디지털 영상 신호를 발생시킨다. The controller 107, for example, a digital signal processor (DSP) controls the operation of the optical system (OPS), the photographing sensor (OEC), and the analog-to-digital converter 101 , while controlling the analog-to-digital converter 101 . ) to convert the format of the digital video signal from More specifically, the controller 107 processes the digital signal from the analog-to-digital converter element 101 to generate a digital image signal classified into luminance and chromaticity signals.

비디오-신호 발생부(108)는, 제어부(107)로부터의 디지털 영상 신호를 아날로그 영상 신호인 비디오 신호(Svid1)로 변환한다.The video-signal generator 108 converts the digital image signal from the controller 107 into a video signal Svid1 that is an analog image signal.

제어부(107)는, 인터페이스부(12)를 통하여 호스트 장치(도시되지 않음)와 통신하면서, 비디오-신호 발생부(108)로부터의 비디오 신호(Svid1)를 호스트 장치에 전송한다.The control unit 107 transmits the video signal Svid1 from the video-signal generator 108 to the host device while communicating with a host device (not shown) through the interface unit 12 .

한편, 제어부(107)에 의하여 동작하는 마이크로-컴퓨터(113)는 구동부(110)를 제어하여 줌 모터(Mz) 및 포커스 모터(Mf)를 구동한다. 줌 모터(Mz)는 줌 렌즈를 구동하고, 포커스 모터(Mf)는 포커스 렌즈를 구동한다. Meanwhile, the micro-computer 113 operated by the control unit 107 controls the driving unit 110 to drive the zoom motor Mz and the focus motor Mf. The zoom motor Mz drives the zoom lens, and the focus motor Mf drives the focus lens.

또한, 마이크로-컴퓨터(113)는 제어부(107)로부터의 제어에 따라 조명부(115)를 구동한다. Also, the micro-computer 113 drives the lighting unit 115 under control from the control unit 107 .

인터페이스부(12)는, 입력 교류 전압(ACin)을 정류하여 직류 전압을 각 부에 제공하고, 제어부(107)와 외부의 호스트 장치 사이에서 통신 신호들(Sco)을 인터페이싱한다. The interface unit 12 rectifies the input AC voltage ACin to provide a DC voltage to each unit, and interfaces the communication signals Sco between the control unit 107 and an external host device.

또한, 인터페이스부(12)는, 비디오-신호 발생부(108)로부터의 비디오 신호(Svid1)를 인터페이싱하여 그 결과의 비디오 신호(Svid)를 비엔씨(BNC : Bayonet Neil-Concelman) 리셉터클을 통하여 출력하고, 제어부(107)와 외부 센서들 사이에서 통신 신호(Sse)를 인터페이싱한다.In addition, the interface unit 12 interfaces the video signal Svid1 from the video-signal generator 108 and outputs the resulting video signal Svid through a BNC (Bayonet Neil-Concelman) receptacle, , to interface the communication signal Sse between the control unit 107 and external sensors.

도 2는 본 발명의 실시예의 자동 포커싱 방법을 채용한 카메라(2)의 제2 예를 보여준다. 도 2에서 도 1과 동일한 참조 부호는 동일한 기능의 대상을 가리킨다. 도 2의 카메라(2)가 도 1의 카메라(1)에 대하여 갖는 유일한 차이점은 다음과 같다.2 shows a second example of the camera 2 employing the automatic focusing method of the embodiment of the present invention. In FIG. 2 , the same reference numerals as those of FIG. 1 indicate objects having the same function. The only difference that the camera 2 of FIG. 2 has with respect to the camera 1 of FIG. 1 is the following.

즉, 도 1의 카메라(1)에서는 촬영 센서(OEC)의 모터 대신에 포커스 모터(Mf)가 채용되었지만, 도 2의 카메라(2)에서는 포커스 모터 대신에 촬영 센서(OEC)의 모터(Ms)가 채용된다. 나머지 구성 요소들은 도 1을 참조하여 상세히 설명된 바와 같다. That is, in the camera 1 of FIG. 1 , the focus motor Mf is employed instead of the motor of the photographing sensor OEC, but in the camera 2 of FIG. 2 , the motor Ms of the photographing sensor OEC instead of the focus motor is employed The remaining components are as described in detail with reference to FIG. 1 .

이와 같이 촬영 센서(OEC)의 구동 모터(Ms)가 채용된 카메라(2)의 경우, 광학계(OPS) 내의 포커스 렌즈가 고정된 상태에서 촬영 센서(OEC)가 이동하면서 최대 포커스 값을 발생시키는 위치가 찾아진다. 이에 따라 포커스 렌즈가 교체되면서 다양하게 사용될 수 있다. In the case of the camera 2 employing the driving motor Ms of the photographing sensor OEC as described above, the position at which the photographing sensor OEC moves while the focus lens in the optical system OPS is fixed and generates the maximum focus value is found Accordingly, it can be used in various ways while the focus lens is replaced.

도 3은 도 1 또는 2의 제어부(107)에 의하여 수행되는 본 발명의 실시예의 자동 포커싱 방법을 보여준다. 도 4는 도 3의 단계 S301의 수행 결과의 제1 예를 보여준다. 도 5는 도 3의 단계 S301의 수행 결과의 제2 예를 보여준다. 도 6은 도 3의 단계 S303을 일반적으로 설명하기 위한 도면이다. 도 7은 도 3의 단계 S303을 예를 들어 설명하기 위한 도면이다.FIG. 3 shows an automatic focusing method according to an embodiment of the present invention performed by the controller 107 of FIG. 1 or 2 . FIG. 4 shows a first example of a result of performing step S301 of FIG. 3 . FIG. 5 shows a second example of the execution result of step S301 of FIG. 3 . FIG. 6 is a diagram for generally explaining step S303 of FIG. 3 . 7 is a view for explaining step S303 of FIG. 3 as an example.

도 1 내지 7을 참조하여 도 3의 자동 포커싱 방법을 설명하기로 한다.The automatic focusing method of FIG. 3 will be described with reference to FIGS. 1 to 7 .

제어부(107)는 영상의 전체 영역(401)을 중앙 영역(Ac) 및 복수의 주변 영역들(Ap1 내지 Ap8)로 구획한다(단계 S301).The controller 107 divides the entire region 401 of the image into a central region Ac and a plurality of peripheral regions Ap1 to Ap8 (step S301).

도 4를 참조하면, 중앙 영역(Ac) 및 복수의 주변 영역들(Ap1 내지 Ap8) 각각은 동일한 면적을 가진다. 하지만, 현재의 줌 배율이 기준 배율보다 높으면, 중앙 영역(Ac)의 면적이 주변 영역들(Ap1 내지 Ap8)의 평균 면적보다 넓게 설정된다(도 5 참조). 왜냐하면, 현재의 줌 배율이 기준 배율보다 높으면, 주변 영역들(Ap1 내지 Ap8)에 비하여 중앙 영역(Ac)에서의 고주파 성분의 비율이 낮기 때문이다. 이와 같이 가변적인 영역 구획에 의하면, 하기 단계들 S311과 S313에서 보다 효과적으로 에지(edge) 화소들을 검출할 수 있다. Referring to FIG. 4 , each of the central area Ac and the plurality of peripheral areas Ap1 to Ap8 has the same area. However, if the current zoom magnification is higher than the reference magnification, the area of the central region Ac is set to be larger than the average area of the peripheral regions Ap1 to Ap8 (refer to FIG. 5 ). This is because, when the current zoom magnification is higher than the reference magnification, the ratio of the high frequency component in the central region Ac is lower than that of the peripheral regions Ap1 to Ap8 . According to this variable region partitioning, it is possible to more effectively detect edge pixels in the following steps S311 and S313.

다음에, 제어부(107)는 중앙 영역(Ac) 및 복수의 주변 영역들(Ap1 내지 Ap8) 각각에서, 인접 화소들에 대한 각 화소의 휘도 차이 값을 구한다(단계 S303).Next, the control unit 107 obtains a luminance difference value of each pixel with respect to the adjacent pixels in each of the central area Ac and the plurality of peripheral areas Ap1 to Ap8 (step S303 ).

도 6에서 참조 부호 Pm (n-1), Pmn, 및 Pm(n+1)은 화소들을, Bm (n-1), Bmn, 및 Bm(n+1)은 휘도 값들을, Cm(n-1), Cmn, Cm(n+1)은 필터 계수들을, 그리고 Dmn은 화소 Pmn의 휘도 차이 값을 각각 가리킨다. 대상 화소(Pmn)의 필터 계수(Cmn)는 정극성이고, 인접 화소들(Pm (n-1), Pm (n+1))의 필터 계수들(Cm(n-1), Cm(n+1))은 부극성이다. 도 6을 참조하면, 화소 Pmn의 휘도 차이 값 Dmn은 아래의 수학식 1에 의하여 구해진다. In FIG. 6 , reference signs P m (n-1) , P mn , and P m(n+1) denote pixels, and B m (n-1) , B mn , and B m(n+1) denote luminance values. where C m(n-1) , C mn , C m(n+1) denote filter coefficients, and D mn denotes the luminance difference value of the pixel P mn , respectively. The filter coefficient C mn of the target pixel P mn is positive, and the filter coefficients C m(n-1) of the adjacent pixels P m (n-1) , P m (n+1) ) , C m(n+1) ) is negative. Referring to FIG. 6 , the luminance difference value D mn of the pixel P mn is obtained by Equation 1 below.

Figure 112017071065810-pat00001
Figure 112017071065810-pat00001

예를 들어 도 7을 참조하면, 화소 P12의 휘도 차이 값 D12는 180 임을 알 수 있다. 이렇게 구해진 휘도 차이 값들은 그대로 사용될 수도 있고, 0 내지 1 사이의 값으로 정규화되어 사용될 수도 있다.For example, referring to FIG. 7 , it can be seen that the luminance difference value D 12 of the pixel P 12 is 180. The luminance difference values obtained in this way may be used as they are, or may be used after being normalized to a value between 0 and 1.

다음에, 제어부(107)는, 복수의 주변 영역들(Ap1 내지 Ap8) 각각에 대하여, 제1 문턱 값보다 큰 휘도 차이 값을 가진 에지(edge) 화소들의 비율을 구한다(단계 S311).Next, the controller 107 obtains a ratio of edge pixels having a luminance difference value greater than a first threshold value for each of the plurality of peripheral regions Ap1 to Ap8 (step S311 ).

또한, 제어부(107)는, 중앙 영역(Ac)에 대하여, 상기 제1 문턱 값 미만의 제2 문턱 값보다 큰 휘도 차이 값을 가진 에지(edge) 화소들의 비율을 구한다(단계 S313).In addition, the controller 107 calculates a ratio of edge pixels having a luminance difference value greater than a second threshold value less than the first threshold value with respect to the central region Ac (step S313 ).

상기 단계들 S311과 S313에 있어서, 제1 문턱 값과 제2 문턱 값은, 카메라(1, 2)의 전체적 특성에 따라 설정되어야 한다. 본 실시예의 경우, 제1 문턱 값은 제2 문턱 값의 열 배로 설정된다. 예를 들어, 상기 휘도 차이 값들이 0 내지 1 사이의 값으로 정규화된 경우, 제1 문턱 값은 0.1 이고 제2 문턱 값은 0.01 이다. In steps S311 and S313 , the first threshold value and the second threshold value should be set according to the overall characteristics of the cameras 1 and 2 . In this embodiment, the first threshold value is set to ten times the second threshold value. For example, when the luminance difference values are normalized to a value between 0 and 1, the first threshold value is 0.1 and the second threshold value is 0.01.

한편, 촬영 센서(OEC)의 감도(感度)가 높아질 경우, 노이즈(noise)를 가진 화소들이 에지(edge) 화소들로 계수됨으로 인하여 에지(edge) 화소들의 비율이 부정확하게 구해질 수 있다. 이에 따라, 본 실시예의 경우, 제1 문턱 값 및 제2 문턱 값은 촬영 센서(OEC)의 감도(感度)에 따라 변한다. 예를 들어, 제1 문턱 값 및 제2 문턱 값은 촬영 센서(OEC)의 감도(感度)에 비례한다. 이에 따라, 노이즈(noise)를 가진 화소들이 에지(edge) 화소들로 계수되는 오류가 적절히 줄어들 수 있다.Meanwhile, when the sensitivity of the imaging sensor OEC is increased, the ratio of edge pixels may be obtained inaccurately because pixels having noise are counted as edge pixels. Accordingly, in the present embodiment, the first threshold value and the second threshold value change according to the sensitivity of the imaging sensor OEC. For example, the first threshold value and the second threshold value are proportional to the sensitivity of the imaging sensor OEC. Accordingly, an error in which pixels having noise are counted as edge pixels can be appropriately reduced.

다음에, 제어부(107)는, 중앙 영역(Ac) 및 복수의 주변 영역들(Ap1 내지 Ap8) 중에서 에지(edge) 화소들의 비율이 가장 높은 영역을 포커싱 대상 영역으로 설정한다(단계 S315).Next, the controller 107 sets an area having the highest ratio of edge pixels among the central area Ac and the plurality of peripheral areas Ap1 to Ap8 as the focusing target area (step S315 ).

그리고, 제어부(107)는 설정된 포커싱 대상 영역에 대하여 포커싱을 수행한다(단계 S317). 즉, 제어부(107)는, 설정된 포커싱 대상 영역에서 최대 포커스 값을 발생시키는 포커스 렌즈의 위치 또는 촬영 센서(OEC)의 위치를 찾는다.Then, the control unit 107 performs focusing on the set focusing target area (step S317). That is, the control unit 107 searches for a position of a focus lens generating a maximum focus value or a position of the photographing sensor OEC in the set focusing target area.

종료 신호가 발생되지 않으면서 화면 전환이 이루어지지 않는 동안에, 제어부(107)는 설정된 포커싱 대상 영역에 대하여 포커싱을 수행한다(단계들 S317, S319, S321). 감시 카메라의 경우, 화면 전환은 패닝(panning) 또는 틸팅(tilting)에 의하여 이루어진다. While no end signal is generated and no screen change is made, the control unit 107 performs focusing on the set focusing target area (steps S317, S319, and S321). In the case of a surveillance camera, screen switching is performed by panning or tilting.

종료 신호가 발생되지 않으면서 화면 전환이 이루어진 경우(단계들 S319, S321), 제어부(107)는 상기 단계 S303 및 그 다음 단계들을 다시 수행한다.When the screen is changed without generating an end signal (steps S319 and S321), the control unit 107 performs the step S303 and subsequent steps again.

도 8은 도 3의 포커싱 수행 단계(S317)를 예를 들어 설명하기 위한 도면이다. 도 1 및 8을 참조하여 이를 설명하기로 한다.FIG. 8 is a view for explaining the focusing operation step S317 of FIG. 3 by way of example. This will be described with reference to FIGS. 1 and 8 .

포커스 렌즈(또는 도 2의 촬영 센서)는 그 위치 값이 영(0)인 지점에서 출발하여 제1 간격으로 단계적으로 이동하고, 제어부(107)는 각 위치에서의 포커스 값을 구한다. The focus lens (or the imaging sensor of FIG. 2 ) moves step by step at first intervals starting from a point where its position value is zero (0), and the control unit 107 obtains a focus value at each position.

A 지점까지 포커스 값이 상승하지 않는 경우, 0 ~ A의 구간은 초기 이동 구간이라 불리어진다.When the focus value does not rise until the point A, the section from 0 to A is called an initial movement section.

A 지점을 통과하면서부터 포커스 값이 상승하는 도중에 D 지점에서 최초로 포커스 값이 하강한 경우, A ~ D의 구간은 상승 이동 구간이라 불리어진다.When the focus value first falls at point D while the focus value increases while passing through point A, the section A to D is called an upward movement section.

포커스 값이 상승하는 도중에 최초의 하강 지점(D 지점)이 검출되면, 제어부(107)는 상승 이동 구간(A~D)에서 검출되었던 최대 포커스 값의 지점(예를 들어, B 지점)과 최초의 하강 지점(D 지점) 사이에서 피크 포커스 값의 위치를 다시 검색한다. 이 경우, D ~ B의 구간은 피크 검색 구간이라 불리어진다. 피크 검색 구간(D~B)에서의 단계 이동 간격은 상기 제1 간격보다 좁다.When the first falling point (point D) is detected while the focus value is rising, the controller 107 controls the point (eg, point B) of the maximum focus value detected in the rising movement section A to D and the first falling point (point D). The position of the peak focus value is searched again between the descent points (point D). In this case, the section from D to B is called a peak search section. The step movement interval in the peak search period D to B is narrower than the first interval.

피크 검색 구간(D~B)에서 C 지점이 피크 포커스 값의 위치로서 찾아진 경우, C 지점은 포커싱 완료 시점이 된다.When the point C is found as the position of the peak focus value in the peak search period D to B, the point C becomes the focus completion point.

이상 설명된 바와 같이, 본 실시예의 자동 포커싱 방법 및 카메라에 의하면, 중앙 영역에 대한 제2 문턱 값은 복수의 주변 영역들 각각에 대한 제1 문턱 값보다 적다.As described above, according to the automatic focusing method and camera of the present embodiment, the second threshold value of the central region is smaller than the first threshold value of each of the plurality of peripheral regions.

따라서, 중앙 영역과 어느 한 주변 영역이 비슷하게 높은 고주파 성분의 비율을 가질 경우, 상기 중앙 영역에서의 에지(edge) 화소들의 비율이 상기 어느 한 주변 영역에서의 것에 비하여 높아진다. 이로 인하여, 중앙 영역이 아니라 주변 영역이 포커싱 대상 영역으로 설정되는 문제점이 자연스럽게 개선될 수 있다.Accordingly, when the central region and any one peripheral region have similarly high ratios of high frequency components, the ratio of edge pixels in the central region is higher than that in the one peripheral region. Due to this, the problem that the peripheral region rather than the central region is set as the focusing target region may be naturally improved.

따라서, 본 발명의 실시예의 자동 포커싱 방법 및 카메라에 의하면, 찾아진 최종 포커스 위치가 최적의 포커스 위치가 될 확률이 자연스럽게 높아질 수 있다.Accordingly, according to the automatic focusing method and camera according to the embodiment of the present invention, the probability that the final focus position found becomes the optimal focus position may naturally increase.

이제까지 본 발명에 대하여 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. So far, the present invention has been focused on preferred embodiments. Those of ordinary skill in the art to which the present invention pertains will understand that the present invention can be implemented in modified forms without departing from the essential characteristics of the present invention.

그러므로 상기 개시된 실시예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 특허청구범위에 의해 청구된 발명 및 청구된 발명과 균등한 발명들은 본 발명에 포함된 것으로 해석되어야 한다.Therefore, the disclosed embodiments are to be considered in an illustrative rather than a restrictive sense. The scope of the present invention is indicated in the claims rather than the above description, and the invention claimed by the claims and inventions equivalent to the claimed invention should be construed as being included in the present invention.

카메라의 수동 포커싱 과정에서도 보조적으로 이용될 가능성이 있다.It has the potential to be used as an auxiliary in the manual focusing process of the camera.

1, 2 : 카메라, 12 : 인터페이스부,
OPS : 광학계, OEC : 촬영 센서,
101 : 디지털 신호 발생부, 102 : 타이밍 회로,
107 : 제어부, 108 : 비디오-신호 발생부,
110 : 구동부, 113 : 마이크로-컴퓨터,
115 : 조명부, Mf : 포커스 모터,
Mz : 줌 모터, Ms : 촬영 센서 모터,
401 : 영상의 전체 영역, Ac : 중앙 영역,
Ap1 내지 Ap8 : 주변 영역들, Pm(n-1),Pmn,Pm (n+1) : 화소들,
Bm(n-1),Bmn,Bm(n+1) : 휘도 값들, Cm(n-1),Cmn,Cm(n+1) : 필터 계수들,
Dmn : 화소 Pmn의 휘도 차이 값, P11,P12,P13 : 화소들,
D12 : 화소 P12의 휘도 차이 값.
1, 2: camera, 12: interface unit,
OPS: optical system, OEC: shooting sensor,
101: digital signal generator, 102: timing circuit;
107: control unit, 108: video-signal generator,
110: drive unit, 113: micro-computer,
115: lighting unit, Mf: focus motor,
Mz: zoom motor, Ms: shooting sensor motor,
401: the entire area of the image, Ac: the center area,
Ap1 to Ap8: surrounding areas, Pm(n-1),Pmn,Pm (n+1): pixels,
Bm(n-1),Bmn,Bm(n+1) : luminance values, Cm(n-1),Cmn,Cm(n+1) : filter coefficients,
Dmn : Pixel Pmnluminance difference value of, P11,P12,P13 : pixels,
D12: Pixel P12of the luminance difference value.

Claims (6)

카메라의 제어부에 의하여 수행되는 자동 포커싱 방법에 있어서,
(a) 영상의 전체 영역을 중앙 영역 및 복수의 주변 영역들로 구획함;
(b) 상기 중앙 영역 및 복수의 주변 영역들 각각에서, 인접 화소들에 대한 각 화소의 휘도 차이 값을 구함;
(c) 상기 복수의 주변 영역들 각각에 대하여, 제1 문턱 값보다 큰 휘도 차이 값을 가진 에지(edge) 화소들의 비율을 구함;
(d) 상기 중앙 영역에 대하여, 상기 제1 문턱 값 미만의 제2 문턱 값보다 큰 휘도 차이 값을 가진 에지(edge) 화소들의 비율을 구함; 및
(e) 상기 중앙 영역 및 복수의 주변 영역들 중에서 상기 에지(edge) 화소들의 비율이 가장 높은 영역을 포커싱 대상 영역으로 설정하고, 설정된 포커싱 대상 영역에 대하여 포커싱을 수행함;을 포함하고,
상기 각 화소의 휘도 차이 값은, 대상 화소 및 상기 대상 화소의 좌우 수평방향으로 인접한 좌우 인접 화소들 각각의 휘도 값과 필터 계수의 곱을 합한 값인, 자동 포커싱 방법.
In the automatic focusing method performed by the control unit of the camera,
(a) partitioning the entire area of the image into a central area and a plurality of peripheral areas;
(b) obtaining a luminance difference value of each pixel with respect to adjacent pixels in the central region and each of the plurality of peripheral regions;
(c) obtaining a ratio of edge pixels having a luminance difference value greater than a first threshold value for each of the plurality of peripheral regions;
(d) obtaining a ratio of edge pixels having a luminance difference value greater than a second threshold value less than the first threshold value with respect to the central region; and
(e) setting an area having the highest ratio of edge pixels among the central area and a plurality of peripheral areas as a focusing target area, and performing focusing on the set focusing target area;
The luminance difference value of each pixel is a value obtained by summing a product of a filter coefficient and a luminance value of a target pixel and each of the left and right adjacent pixels adjacent in the left and right horizontal directions of the target pixel.
카메라의 제어부에 의하여 수행되는 자동 포커싱 방법에 있어서,
(a) 영상의 전체 영역을 중앙 영역 및 복수의 주변 영역들로 구획함;
(b) 상기 중앙 영역 및 복수의 주변 영역들 각각에서, 인접 화소들에 대한 각 화소의 휘도 차이 값을 구함;
(c) 상기 복수의 주변 영역들 각각에 대하여, 제1 문턱 값보다 큰 휘도 차이 값을 가진 에지(edge) 화소들의 비율을 구함;
(d) 상기 중앙 영역에 대하여, 상기 제1 문턱 값 미만의 제2 문턱 값보다 큰 휘도 차이 값을 가진 에지(edge) 화소들의 비율을 구함; 및
(e) 상기 중앙 영역 및 복수의 주변 영역들 중에서 상기 에지(edge) 화소들의 비율이 가장 높은 영역을 포커싱 대상 영역으로 설정하고, 설정된 포커싱 대상 영역에 대하여 포커싱을 수행함;을 포함하고,
현재의 줌 배율이 기준 배율보다 높으면, 상기 중앙 영역의 면적이 상기 주변 영역들의 평균 면적보다 넓은, 자동 포커싱 방법.
In the automatic focusing method performed by the control unit of the camera,
(a) partitioning the entire area of the image into a central area and a plurality of peripheral areas;
(b) obtaining a luminance difference value of each pixel with respect to adjacent pixels in the central region and each of the plurality of peripheral regions;
(c) obtaining a ratio of edge pixels having a luminance difference value greater than a first threshold value for each of the plurality of peripheral regions;
(d) obtaining a ratio of edge pixels having a luminance difference value greater than a second threshold value less than the first threshold value with respect to the central region; and
(e) setting an area having the highest ratio of edge pixels among the central area and a plurality of peripheral areas as a focusing target area, and performing focusing on the set focusing target area;
If the current zoom magnification is higher than the reference magnification, the area of the central region is larger than the average area of the peripheral regions.
청구항 1에 있어서, 상기 단계 (e)에서,
상기 설정된 포커싱 대상 영역에서 최대 포커스 값을 발생시키는 포커스 렌즈의 위치 또는 촬영 센서의 위치를 찾는, 자동 포커싱 방법.
The method according to claim 1, wherein in step (e),
An automatic focusing method of finding a position of a focus lens or a photographing sensor that generates a maximum focus value in the set focusing target area.
청구항 3에 있어서, 상기 단계들 (c)와 (d)에서,
상기 제1 문턱 값 및 상기 제2 문턱 값은 상기 촬영 센서의 감도(感度)에 따라 변하는, 자동 포커싱 방법.
The method according to claim 3, wherein in steps (c) and (d),
and the first threshold value and the second threshold value change according to a sensitivity of the imaging sensor.
청구항 4에 있어서, 상기 단계들 (c)와 (d)에서,
상기 제1 문턱 값 및 상기 제2 문턱 값은 상기 촬영 센서의 감도(感度)에 비례하는, 자동 포커싱 방법.
The method according to claim 4, wherein in steps (c) and (d),
and the first threshold value and the second threshold value are proportional to a sensitivity of the imaging sensor.
청구항 1 내지 5 중에서 어느 한 청구항의 자동 포커싱 방법을 채용한 카메라.A camera employing the automatic focusing method of any one of claims 1 to 5.
KR1020170093695A 2017-07-24 2017-07-24 Auto-focusing method and camera KR102415063B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170093695A KR102415063B1 (en) 2017-07-24 2017-07-24 Auto-focusing method and camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170093695A KR102415063B1 (en) 2017-07-24 2017-07-24 Auto-focusing method and camera

Publications (2)

Publication Number Publication Date
KR20190011127A KR20190011127A (en) 2019-02-01
KR102415063B1 true KR102415063B1 (en) 2022-06-30

Family

ID=65368031

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170093695A KR102415063B1 (en) 2017-07-24 2017-07-24 Auto-focusing method and camera

Country Status (1)

Country Link
KR (1) KR102415063B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004037733A (en) * 2002-07-02 2004-02-05 Minolta Co Ltd Automatic focusing device
JP2007336172A (en) * 2006-06-14 2007-12-27 Fujifilm Corp Image signal processor and image signal processing method
JP2010219870A (en) * 2009-03-17 2010-09-30 Alps Electric Co Ltd Image processor and image processing method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100468871B1 (en) 2002-10-09 2005-01-29 삼성테크윈 주식회사 Method for automatic focusing within camera wherein second-order function is utilized
KR100706953B1 (en) * 2005-07-11 2007-04-12 삼성전기주식회사 Auto focusing apparatus of camera and method of auto focusing
KR101015779B1 (en) * 2009-07-16 2011-02-22 삼성전기주식회사 Auto-focusing controller and the auto-focusing control method which uses this

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004037733A (en) * 2002-07-02 2004-02-05 Minolta Co Ltd Automatic focusing device
JP2007336172A (en) * 2006-06-14 2007-12-27 Fujifilm Corp Image signal processor and image signal processing method
JP2010219870A (en) * 2009-03-17 2010-09-30 Alps Electric Co Ltd Image processor and image processing method

Also Published As

Publication number Publication date
KR20190011127A (en) 2019-02-01

Similar Documents

Publication Publication Date Title
EP2793457B1 (en) Image processing device, image processing method, and recording medium
US11095806B2 (en) Display control apparatus, display control method, and image capturing apparatus
EP2882181A1 (en) Image capturing apparatus and control method thereof
US20180241949A1 (en) Image pickup apparatus, control method for image pickup apparatus
US9609220B2 (en) Image pickup apparatus, image pickup method, and program
JP7271188B2 (en) Control device, imaging device, control method, and program
JP2011150281A (en) Imaging apparatus, method for controlling the imaging apparatus, and computer program
JP2016197231A (en) Display control device and method, and imaging device
JP6838894B2 (en) Focus control device, its control method and program
US10313602B2 (en) Image capture apparatus and method for controlling the same
KR102415063B1 (en) Auto-focusing method and camera
JP6072632B2 (en) Imaging apparatus, imaging method, and imaging system
JP2014056153A (en) Focus adjustment device, imaging device, and control method therefor
JP6164978B2 (en) FOCUS ADJUSTMENT DEVICE, ITS CONTROL METHOD, CONTROL PROGRAM, AND IMAGING DEVICE
JP6778340B2 (en) Imaging device, imaging method, and program
JP7023673B2 (en) Focus control device, focus control method, and image pickup device
JP2013160925A (en) Imaging device and focus control method
KR102282469B1 (en) Zoom tracking method
KR102095557B1 (en) Auto-focusing method of photographing apparatus
KR102565418B1 (en) Auto-exposing method of camera
US9641741B2 (en) Focus detection apparatus and method for controlling the same
JPWO2020044835A1 (en) Signal processing equipment, signal processing methods, signal processing programs and imaging equipment
JP2002277730A (en) Method, device and program for automatic focusing control of electronic camera
US11012609B2 (en) Image pickup apparatus and its control method, and storage medium
KR102244083B1 (en) Auto-focusing method of photographing apparatus

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant