KR20000060509A - 과일의 색상 및 외형상태 선별방법 - Google Patents

Abstract

과일을 자동으로 선별하는 자동선별장치의 이송장치에 놓여진 과일을 카메라를 이용하여 촬영하여 과일의 색상과 과일의 외형상태를 판별하여 과일의 상품등급을 자동으로 선별할 수 있도록 하는 과일의 색상 및 외형상태 선별방법이 개시되어 있다. 먼저, 선별에 들어가기 앞서 표준색지에 의해 카메라의 RGB신호를 보정한다. 이어서 과일선별장치의 과일접시가 센서에 의해 감지되면 카메라를 이용하여 과일접시에 놓여진 과일을 촬영하고, 카메라에 의해 촬영된 과일의 화상신호로부터 과일의 색상신호인 RGB신호를 산출해낸다. 상기 RGB신호를 표준색지와 비교하여 RGB신호를 보정한다. 상기 RGB신호를 보정하여 산출된 이론적인 NTSC RGB를 얻고, 이 신호를 바탕으로 메모리부에 저장되어 있는 L*a*b좌표계의 a*값을 얻는다. 상기 L*a*b좌표계의 a*값이 착색화소인지를 판정한다. 이와 같은 작업을 모든 사과화소에 대해 수행하여 과일의 내부의 총 착색화소수를 구하여 착색비율을 얻고 과일의 등급을 결정하게 된다. 또한, 과일의 화상신호로부터 장축과 단축의 길이를 측정하여 장축길이와 단축길이의 비율이 설정된 값보다 크게되면 기형과일로 판단하게 되므로 자동으로 신속하고 정확하게 과일의 색상등급 및 기형여부를 판단하여 과일의 품질등급을 결정한다.

Description

과일의 색상 및 외형상태 선별방법{Method for selecting a apple with a shape and color}

본 발명은 과일 선별방법에 관한 것으로, 보다 상세하게는 과일을 자동으로 선별하는 자동선별장치의 이송장치의 접시위에 놓여진 과일을 카메라를 이용하여 촬영하여 과일의 색상과 과일의 외형상태를 판별하여 과일의 상품등급을 자동으로 부여할 수 있도록 하는 과일의 색상 및 외형상태 선별방법에 관한 것이다.

일반적으로 과일선별장치는 과일을 중량별로 분류하도록 된 중량식 과일 선별장치가 많이 선택되어 사용되고 있다. 상기 과일선별장치의 과일접시에 자동으로 과일이 적재되도록 과일접시는 과일적재대에 인접하도록 이동을 한다. 상기 과일접시가 과일적재대에 인접하면서 이동하는 중에 과일적재대에 있는 과일이 자동으로 과일접시에 놓여지게 되며, 상기 과일접시에 과일이 놓여진 상태에서 과일접시는 이동하여 과일의 무게를 재는 스프링저울의 원리로 과일을 선별한다. 이와같은 중량식 과일선별장치를 이용하여 과일을 선별하면 과일의 색상 및 외형상태는 판별할 수 없으므로, 과일의 상품성 판단에 큰 기준이 되는 색상 및 외형상태는 사람이 직접 판별해야 하는 불편함이 있다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 이송장치의 과일접시에 놓여진 과일을 카메라로 촬영하여 과일의 화상신호를 분석하여 과일의 색상과 과일의 외형상태를 판별하여 과일의 상품등급을 자동으로 선별할 수 있도록 하는 과일의 색상 및 외형상태 선별방법을 제공하는데 있다.

도 1은 본 발명에 따른 과일의 색상 및 외형상태 선별방법을 개략적으로 나타낸 흐름도이다.

도 2는 도 1의 제2단계의 동작을 상세히 나타낸 흐름도이다.

도 3은 도 1의 제3단계의 동작을 상세히 나타낸 흐름도이다.

도 4는 도 1의 제4단계의 동작을 상세히 나타낸 흐름도이다.

도 5는 도 1의 제5단계의 동작을 상세히 나타낸 흐름도이다.

상기 목적을 달성하기 위하여 본 발명은, 과일의 색상등급을 비교판단할 기준 색좌표인 L*a*b*값(이중에서 a*값)을 측정하기 위한 기준설정단계; 카메라에 의해 촬영된 표준색지의 화상신호로부터 기준색좌표인 L*a*b*좌표의 a*값을 컴퓨터에 저장시키는 저장단계; 자동선별장치의 과일접시에 놓여진 과일을 카메라에 의해 촬영하고 입력된 화상신호를 분석하여 과일이 과일접시에 놓여져 있는지를 판단하는 감지단계; 상기 과일접시에 놓여진 과일의 화상신호를 기준색좌표인 L*a*b*좌표의 a*값으로 변환한 후 사과의 총 착색화소수를 측정하여 과일의 색상등급(1등급, 2등급, 3등급 그리고 등외등급)을 판별하는 색상등급판별단계; 카메라로부터 인가되는 화상신호를 체인코딩기법을 이용하여 과일의 장축길이와 단축길이를 산출하여 과일의 외형상태가 기형인가를 판단하는 외형등급판단단계; 그리고 과일의 색상등급과 기형여부를 비교판단하여 과일의 품질등급을 결정하는 품질등급판단단계를 포함하는 과일의 색상 및 외형상태 선별방법을 제공한다.

본 발명에 따르면, 먼저 카메라를 이용하여 과일의 색 측정을 위해 표준색지를 사용하여 카메라의 기준색도값을 설정한 후, 센서에 의해 과일접시의 위치가 감지되면 카메라를 이용하여 과일접시에 놓여진 과일을 촬영하고, 카메라에 의해 촬영된 과일의 화상신호로부터 과일의 색상신호인 RGB신호를 산출해낸다. 상기 RGB신호를 보정하여 이론적인 NTSC RGB신호를 얻는다. 이 신호를 바탕으로 메모리부에 저장되어 있는 L*a*b*좌표계의 a*값을 얻고, 이 a*값이 착색화소인지를 판정한다. 이와 같은 작업을 모든 사과화소에 대해 수행하여 과일의 내부의 총 착색화소수를 구하여 착색비율을 얻고 과일의 등급을 결정하게 된다. 또한, 과일의 화상신호로부터 장축과 단축의 길이를 측정하여 장축길이와 단축길이의 비율이 설정된 값보다 크게되면 기형과일로 판단하게 되므로 자동으로 신속하고 정확하게 과일의 색상등급 및 기형여부를 판단하여 과일의 품질등급을 결정한다.

이하, 첨부된 도면을 참조하여 본 발명을 설명하면 다음과 같다.

도 1은 본 발명에 따른 과일의 색상 및 외형상태 선별방법을 개략적으로 나타낸 흐름도이고, 도 2는 도 1의 제2단계의 동작을 상세히 나타낸 흐름도이고, 도 3은 도 1의 제3단계의 동작을 상세히 나타낸 흐름도이고, 도 4는 도 1의 제4단계의 동작을 상세히 나타낸 흐름도이다.

도 1 내지 도 4를 참조하여 과일의 색상 및 외형상태 선별방법을 설명하면, 먼저, 과일의 색상 및 기형상태에 따른 품질등급을 결정하여 자동으로 선별하는 자동선별장치(도시 안됨)를 과일의 색상등급을 비교판단할 기준 색좌표인 L*a*b*좌표중의 a*값을 설정하기 위한 모드로 전환(S100)시킨다. 카메라에 의해 촬영된 표준색지(도시 안됨)의 화상신호로부터 기준색좌표인 L*a*b*좌표의 a*값을 설정하여 컴퓨터(도시 안됨)에 저장시키게 된다(S200). 자동판별장치의 과일접시(도시 안됨)에 놓여진 과일을 촬영하는 카메라(도시 안됨)에 의해 촬영되는 화상신호를 분석하여 과일이 과일접시에 놓여져 있는지를 판단(S300)하게 된다. 상기 과일접시에 놓여진 과일의 화상신호를 기준색좌표인 L*a*b*좌표의 a*값과 비교하여 과일의 색상등급(1등급 내지 3등급, 그리고 등외등급)을 판별하게 된다(S400). 카메라로부터 인가되는 화상신호를 체인코딩기법을 이용하여 과일의 장축길이와 단축길이를 산출하여 과일의 외형상태가 기형인가를 판단하게 된다(S500). 과일의 색상등급과 기형여부를 비교판단하여 과일의 품질등급을 결정하게 된다(S600).

좀더 상세하게 설명하면, 상기 저장단계(S200)에서는 다수개의 색지로 구성된 표준색지판(예를 들면 : 96개의 색지를 하나의 판에 구성시킴)을 이루는 각각의 표준색지를 측색계(colorimeter)를 이용하여 촬영하고, 상기 측색계에 의해 촬영되어 얻어진 각각의 표준색지가 갖는 색도값을 모두 컴퓨터(도시 안됨)에 저장한다(S210)(이때 표준색지판의 빨간색 색지가 255의 색도값을 갖을 수 있고, 검은색은 0 의 색도값을 갖을 수 있다).

상기 96개의 표준색지를 표준색지판에 구성시킨 후 카메라를 이용하여 촬영한다. 상기 카메라에 의해 촬영된 표준색지판의 화상신호로부터 각 표준색지의 기준색도값을 산출해낸다(이때 상기 카메라에 의해 촬영된 표준색지의 빨간색 색지가 250의 색도값을 갖을 수 있고, 검은색은 2의 색도값을 갖을 수 있다).

상기 카메라에 의해 촬영된 표준색지판의 화상신호로부터 얻어진 각 표준색지의 색도값을 컴퓨터에 입력시킨다(S220). 상기 컴퓨터는 카메라에 의해 촬영된 화상신호로부터 얻어진 표준색지의 기준색도값과 저장된 측색계에 의해 얻어진 표준색도값을 비교하여 기준색도값이 표준색도값을 갖도록 보정한다(S230). 따라서, 컴퓨터는 카메라로부터 입력되는 빨간색의 기준색도값이 250일 때 상기 기준색도값 250은 255로 간주를 하게 된다. 또한, 상기 컴퓨터는 카메라로부터 입력되는 빨간색의 기준색도값이 250보다 낮은 값을 갖게 되면 신경회로망의 학습에 의해 자동으로 보정되어 255보다 낮은 임의의 값을 갖게 된다(S240)(예를 들면, 카메라로부터 입력되는 빨간색의 기준색도값이 250보다 낮은 245의 값을 갖게 되면 신경회로망의 학습에 의해 자동으로 보정되어 255보다 낮은 250의 값을 갖게 된다).

상기 신경회로망의 학습에 의해 보정된 각 색도값은 이론적인 NTSC색도값에 해당하며, 상기 NTSC색도값을 색변환공식(color coordinate system)에 적용함으로써 색도값에 해당하는 참조표(LUT : Look up table)(도시 안됨)를 만들어 컴퓨터에 저장한다(S250). 상기 컴퓨터에 저장된 참조표로부터 L*a*b*좌표의 a*값(Red 및 Green에 해당하는 색)을 산출하여 컴퓨터에 저장시킨다(S260). 상기 L*a*b*좌표계의 L*은 밝기에 관계된 값을 나타내고, a*는 Red 및 Green에 관계된 값을 나타내며, b*는 blue 및 yellow에 관계된 값을 나타낸다.

상기 감지단계(S300)에서는 컴퓨터는 카메라에 의해 촬영된 화면의 화상신호가 입력되면 화상신호인 화면의 중앙상단에서부터 하단으로 빨간색(Red)에 해당하는 화면의 화소값을 스캐닝(scanning)한다(S310). 상기 화면의 중앙상단에서부터 스캐닝한 빨간색에 해당하는 화소값이 설정값(threshold)보다 큰가를 비교판단한다(S320). 만약에 화면의 중앙상단에서부터 스캐닝한 빨간색에 해당하는 화소값이 설정값보다 크면 누적화소값을 1증가시킨다(S330). 상기 화면의 중앙상단에서부터 하단으로 스캐닝하여 스캐닝 위치가 화면의 중앙에 해당하면 누적화소값이 설정값(예; 20)보다 큰가를 비교판단한다(S340). 상기 누적화소값이 설정값보다 크면 과일접시위에 과일(예; 사과)이 놓여진 것으로 판정(S350)하고, 반대로 누적화소값이 설정값보다 작으면 과일접시위에 과일이 없는 것으로 판정한다(S360).

상기 색상등급판별단계(S400)에서는 카메라로부터 입력되는 화상신호의 하나의 화소에 대한 색도값을 산출(S410)하여 저장된 참조표(LUT)(도시 안됨)에서 해당하는 L*a*b*좌표계의 a*값을 구한 후 설정값과 L*a*b*좌표계의 a*값의 크기를 비교판단한다(S420).

만약에 L*a*b*좌표계의 a*값이 설정값보다 크게되면 착색화소수를 1증가시키고, L*a*b*좌표계의 a*값이 설정값보다 작으면 착색화소수를 증가시키지 않는다(S430).

상기 L*a*b*좌표계의 a*값이 설정값보다 크면 착색화소수를 1증가시킨 후 과일의 화상신호의 모든 화소에 대해 착색정도를 검사하였는가를 판단한다(S440).

상기 과일의 화상신호의 모든 화소에 대해 착색정도를 검사하였으면 착색화소수와 화소수를 비교하여 화소수에 대한 착색화소수의 비율에 해당하는 착색비율을 산출해낸다(S450).

상기 착색비율이 제1설정값보다 큰가를 판단(S460)하여 착색비율이 제1설정값보다 크면 색1등급으로 결정하고(S465), 착색비율이 제1설정값보다 작으면 제2설정값보다 큰가를 판단(S470)하여 착색비율이 제2설정값보다 크면 색2등급으로 결정하고(S475), 착색비율이 제2설정값보다 작으면 제3설정값보다 큰가를 판단(S480)하여 착색비율이 제3설정값보다 크면 색3등급으로 결정하고(S485), 착색비율이 제3설정값보다 작으면 등외등급으로 결정(S490)한다.

상기 외형등급판단단계(S500)에서는 카메라로부터 인가되는 과일의 화상신호중에서 과일의 외곽선에 해당하는 하나의 화소를 선택한다(S510). 선택된 화소를 기준으로 반시계방향으로 이동을 하면서 체인코딩기법을 이용하여 과일의 외곽선을 표시하게 된다(S520). 상기 체인코딩기법을 이용하여 과일의 외곽선을 표시한 후 최초 시작위치인가를 판단(S530)하여 최초시작위치가 아니면 과일의 외곽선을 표시하는 단계(S520)를 반복실행하고, 화상신호의 화소가 최초 시작위치이면 외곽선을 기준으로 과일의 중심을 계산하여 결정한다(S540). 상기 외곽선의 일측점들로부터 과일의 중심을 통과하는 다수개의 직선을 만든후 각각의 직선의 길이를 계산한다(S550). 상기 과일의 중심을 지나는 직선들의 길이를 산출하여 가장 긴 직선인 장축길이와 가장 짧은 직선인 단축길이를 비교하여 장단축비를 결정(S560)한다. 상기 장축길이와 단축길이의 비에 해당하는 장단축비가 설정된 값보다 큰가를 비교판단(S570)하여 장단축비가 설정된 값보다 크면 기형과일로 판단(S580)하고, 장단축비가 설정된 값보다 작으면 정상적인 과일로 판단한다(S560).

상기 품질등급판단단계(S600)에서는 색상등급판별단계(S400)와 외형등급판단단계(S500)를 비교하여 과일의 품질등급을 판정한다. 즉, 상기 색상등급판별단계(S400)에서 산출되는 과일의 색등급(색1등급, 색2등급, 색3등급 및 등외등급)과 외형등급판단단계(S500)에서 산출되는 과일의 외형상태(기형과일 및 정상과일)를 혼합비교함으로써 과일의 품질등급을 판정한다. 예를 들면, 과일의 색등급이 색1등급이면서 외형이 정상이면 특상품으로 판정하고, 과일의 색등급이 색2등급이면서 외형이 정상이면 상품으로 판정하며, 과일의 색등급이 색1등급이면서 외형이 기형과일이면 중품으로 판정하게 된다.

이상에서 설명한 바와같이, 본 발명은 과일선별장치의 과일접시에 과일이 놓여진 것이 감지되면 카메라를 이용하여 과일접시에 놓여진 과일을 촬영하고, 카메라에 의해 촬영된 과일의 화상신호로부터 과일의 색상신호인 RGB신호를 산출해낸다. 상기 RGB신호를 보정하여 산출된 NTSC RGB를 이용하여 L*a*b*좌표계의 a*값을 얻는다. 상기 L*a*b*좌표계의 a*값을 설정된 착색화소의 a*값과 비교하여 과일의 착색비율을 산출하여 과일의 등급을 결정하게 된다. 또한, 과일의 화상신호로부터 장축과 단축의 길이를 측정하여 장축길이와 단축길이의 비율이 설정된 값보다 크게되면 기형과일로 판단하게 되므로 자동으로 신속하고 정확하게 과일의 색상등급 및 기형여부를 판단하여 과일의 품질등급을 결정한다.

Claims (6)

1. 과일의 색상 및 기형상태에 따른 품질등급을 결정하여 자동으로 선별하는 자동선별장치를 과일의 색상등급을 비교판단할 기준 색좌표인 L*a*b*좌표중의 a값을 설정하기 위한 모드로 전환시키는 모드전환단계; 카메라에 의해 촬영된 표준색지의 화상신호로부터 기준색좌표인 L*a*b*좌표의 a값을 설정하여 컴퓨터에 저장시키는 저장단계; 자동판별장치의 과일접시에 놓여진 과일을 촬영하는 카메라에 의해 촬영되는 화상신호를 분석하여 과일이 과일접시에 놓여져 있는지를 판단하는 감지단계; 상기 과일접시에 놓여진 과일의 화상신호를 기준색좌표인 L*a*b*좌표의 a값과 비교하여 과일의 색상등급(1등급 내지 3등급, 그리고 등외등급)을 판별하는 색상등급판별단계; 카메라로부터 인가되는 화상신호를 체인코딩기법을 이용하여 과일의 장축길이와 단축길이를 산출하여 과일의 외형상태가 기형인가를 판단하는 외형등급판단단계; 그리고 과일의 색상등급과 기형여부를 비교판단하여 과일의 품질등급을 결정하는 품질등급판단단계를 포함하는 과일의 색상 및 외형상태 선별방법.
2. 제1 항에 있어서, 상기 저장단계는 다수개의 색지로 구성된 표준색지판의 표준색지를 측색계로 촬영하여 각각의 표준색지가 갖는 색도값을 모두 컴퓨터에 저장하는 제210단계; 상기 표준색지를 표준색지판에 구성시킨 후 카메라를 이용하여 촬영하여 각 표준색지의 기준색도값을 산출하여 각 표준색지의 기준색도값을 컴퓨터에 입력시키는 제220단계; 상기 컴퓨터는 카메라에 의해 촬영된 화상신호로부터 얻어진 표준색지의 기준색도값과 저장된 측색계에 의해 얻어진 표준색도값을 비교하여 기준색도값이 표준색도값을 갖도록 보정하는 제230단계; 상기 컴퓨터는 카메라로부터 입력되는 빨간색의 기준색도값이 설정된값보다 낮은 값을 갖게 되면 신경회로망의 학습에 의해 자동으로 보정되어 설정된값보다 낮은 임의의 값을 갖도록 하는 제240단계; 상기 신경회로망의 학습에 의해 보정하여 얻어지는 NTSC색도값을 색변환공식에 적용함으로써 색도값에 해당하는 참조표(LUT)를 만들어 컴퓨터에 저장하는 제250단계; 그리고 상기 컴퓨터에 저장된 참조표로부터 L*a*b*좌표계의 a*값을 산출하여 컴퓨터에 저장하는 제260단계로 이루어지는 것을 특징으로 하는 과일의 색상 및 외형상태 선별방법.
3. 제1 항에 있어서, 상기 감지단계는 컴퓨터가 카메라에 의해 촬영된 화면의 화상신호가 입력되면 화상신호인 화면의 중앙상단에서부터 하단으로 빨간색(Red)에 해당하는 화면의 화소값을 스캐닝하는 제310단계; 상기 화면의 중앙상단에서부터 스캐닝한 빨간색에 해당하는 화소값이 설정값보다 큰가를 비교판단하는 제320단계; 화면의 중앙상단에서부터 스캐닝한 빨간색에 해당하는 화소값이 설정값보다 크면 누적화소값을 1증가시키는 제330단계; 화면의 중앙상단에서부터 하단으로 스캐닝하여 스캐닝 위치가 화면의 중앙에 해당하면 누적화소값이 설정값보다 큰가를 비교판단하는 제340단계; 그리고 상기 누적화소값이 설정값보다 크면 과일접시위에 과일이 놓여진 것으로 판단하고, 누적화소값이 설정값보다 작으면 과일접시위에 과일이 없는 것으로 판단하는 제350단계로 이루어지는 것을 특징으로 하는 과일의 색상 및 외형상태 선별방법.
4. 제1 항에 있어서, 상기 색상등급판별단계는 카메라로부터 입력되는 화상신호의 하나의 화소에 대한 색도값을 산출하는 제410단계; 컴퓨터에 저장된 참조표(LUT)에서 해당하는 a*값을 구한 후 착색기준으로 설정한 a*값의 크기를 비교판단하는 제420단계; a*값이 설정값보다 크게되면 착색화소수를 1증가시키고, a*값이 설정값보다 작으면 착색화소수를 증가시키지 않는 제430단계; 상기 L*a*b*좌표계의 a*값이 설정값보다 크면 착색화소수를 1증가시킨 후 과일의 화상신호의 모든 화소에 대해 착색정도를 검사하였는가를 판단하는 제440단계; 상기 과일의 화상신호의 모든 화소에 대해 착색정도를 검사하였으면 착색화소수와 화소수를 비교하여 화소수에 대한 착색화소수의 비율에 해당하는 착색비율을 산출해내는 제450단계; 상기 착색비율이 제1설정값보다 크면 색1등급으로 판단하는 제460단계; 착색비율이 제1설정값보다 작고 제2설정값보다 크면 색2등급으로 판단하는 제470단계; 그리고 착색비율이 제2설정값보다 작고 제3설정값보다 크면 색3등급으로 판단하고 착색비율이 제3설정값보다 작으면 등외등급으로 판단하는 제480단계로 이루어지는 것을 특징으로 하는과일의 색상 및 외형상태 선별방법.
5. 제1 항에 있어서, 상기 외형등급판단단계는 카메라로부터 인가되는 과일의 화상신호중에서 과일의 외곽선에 해당하는 하나의 화소를 선택하는 제510단계; 선택된 화소를 기준으로 반시계방향으로 이동을 하면서 체인코딩기법을 이용하여 과일의 외곽선을 표시하는 제520단계; 상기 체인코딩기법을 이용하여 과일의 외곽선을 표시한 후 최초 시작위치인가를 확인하는 제530단계; 화상신호의 화소가 최초 시작위치이면 외곽선을 기준으로 과일의 중심점을 계산하여 결정하는 제540단계; 상기 외곽선의 일측점들로부터 과일의 중심을 통과하는 다수개의 직선을 만든후 각각의 직선의 길이를 계산하는 제550단계; 그리고 상기 과일의 중심을 지나는 직선들의 길이를 산출하여 가장 긴 직선인 장축길이와 가장 짧은 직선인 단축길이의 비에 해당하는 장단축비가 설정된 값보다 큰가를 비교판단하여 장단축비가 설정된 값보다 크면 기형과일로 판단하고, 장단축비가 설정된 값보다 작으면 정상적인 과일로 판단하는 제560단계로 이루어지는 것을 특징으로 하는 과일의 색상 및 외형상태 선별방법.
6. 제1 항에 있어서, 상기 품질등급판단단계는 색상등급판별단계에서 산출되는 과일의 색등급(색1등급, 색2등급, 색3등급 및 등외등급)과 외형등급판단단계에서 산출되는 과일의 외형상태(기형과일 및 정상과일)를 혼합비교함으로써 과일의 품질등급을 판정하는 것을 특징으로 하는 과일의 색상 및 외형상태 선별방법.