KR101989177B1 - 인공지능 기반의 세탁물 처리기기 및 그의 제어 방법 - Google Patents

Abstract

본 발명의 실시 예에 따른 인공지능 기반의 세탁물 처리기기는, 외부 커버와 내부 글라스를 포함하고, 세탁물 출입구를 개폐하는 도어, 상기 내부 글라스를 향하도록 배치되어 이미지 데이터를 획득하는 적어도 하나의 이미지 센서, 머신 러닝 기반의 이미지 인식 모델을 통해, 상기 이미지 데이터로부터 세제 거품을 인식하는 세제 거품 인식부, 및 상기 인식 결과에 기초하여 헹굼 행정의 추가 수행을 제어하는 제어부를 포함한다.

Description

인공지능 기반의 세탁물 처리기기 및 그의 제어 방법{WASHING MACHINE BASED ON ARTIFICIAL INTELLIGENCE AND METHOD FOR CONTROLLING THEREOF}

본 발명은 세탁물 처리기기에 관한 것으로서, 특히 인공지능 기반의 잔여 세제 감지 및 그에 따른 추가 헹굼 동작을 수행하는 세탁물 처리기기 및 그의 제어방법에 관한 것이다.

일반적으로, 세탁물 처리기기는 세탁, 헹굼, 탈수, 및/또는 건조 등의 여러 행정을 통해 세탁물을 처리하는 기기이다.

세탁물 처리기기는 세탁물의 오염을 제거하기 위한 과정으로서 세탁 행정, 헹굼 행정, 탈수 행정을 포함하는 세탁운전을 수행할 수 있다.

세탁 행정은 세제와 세탁수를 이용하여 세탁물의 오염물을 제거하는 행정이고, 헹굼 행정은 세탁수를 이용하여 세제와 오염물을 세탁물로부터 제거하는 행정이며, 탈수 행정은 세탁물의 물기를 제거하는 행정일 수 있다.

이 중, 헹굼 행정은 터브 또는 드럼 내의 세제와 오염물을 외부로 배출하는 행정으로서, 헹굼 행정의 완료 이후에는 상기 터브 또는 드럼 내에 잔여 세제가 존재하지 않는 것이 바람직하다. 그러나, 종래의 세탁물 처리기기의 경우, 헹굼 행정의 완료 이후에도 세탁물이나 드럼 내부(도어의 내부 글라스 등)에 세제가 잔존하는 문제가 발생할 수 있다. 세제가 잔존한 채로 세탁운전이 완료되고 세탁물이 건조되면, 세탁물의 변질이나 사용자의 피부에 피해가 발생할 우려가 있다.

그러나, 사용자가 헹굼 행정의 완료 이후에 잔여 세제의 존재 여부를 직접 확인하는 것은 어렵고, 잔여 세제를 확인하여 헹굼 행정이 추가 수행되도록 세탁물 처리기기를 조작하는 것은 번거롭다.

이와 관련하여, 하기 특허문헌 1(공개특허공보 제10-1995-0018824호)의 경우, 광센서의 탁도감지전압을 통해 거품량과 거품제거율을 계산하고 거품제거도를 판단하여 헹굼 횟수를 결정하는 구성이 개시되어 있다. 그러나 상기 종래 문헌의 경우, 거품제거도를 판단하기 위해서는 세탁 행정부터 헹굼 행정까지 거품량과 거품제거율을 지속적으로 계산하여야 하므로, 세탁 행정과 헹굼 행정이 진행되는 동안 지속적으로 상기 탁도감지전압을 측정하여야 하는 비효율이 존재할 수 있다.

한편, 최근에는 인공지능(artificial intelligence) 기술에 대한 관심이 증가하고 있다. 상기 인공지능 기술의 여러 분야 중 인간의 학습 능력을 컴퓨터 상에서 실현하기 위한 기술로서 머신 러닝이 존재한다.

종래의 머신 러닝은 통계학 기반의 분류, 회귀, 군집 모델이 중심이었다. 특히, 분류, 회귀 모델의 지도 학습에서는 학습 데이터의 특성과 이러한 특성을 기반으로 새로운 데이터를 구별하는 학습 모델이 사전에 정의되었다. 이와 달리, 최근 빅데이터 개념의 등장과 함께 관심도가 증가하는 딥러닝은, 방대한 양의 데이터를 이용하여 컴퓨터가 스스로 특성을 찾아내고 판별하는 것이다.

최근 이러한 딥러닝과 관련되어 오픈소스로 제공되는 딥러닝 프레임워크들이 등장하였고, 이에 따라 효과적인 학습 및 인식을 위해, 딥러닝 알고리즘 외에 학습 과정, 학습 방법, 학습에 사용되는 데이터의 추출 및 선정과 관련된 기술이 더욱 중요해지고 있다. 또한, 머신 러닝을 다양한 제품이나 서비스에 이용하기 위한 연구가 증가하고 있다.

1. 공개특허공보 제10-1995-0018824호 (1995.07.22. 자 공개)

본 발명이 해결하고자 하는 과제는, 헹굼 행정의 완료 후 잔여 세제의 존재 여부를 정확히 인식할 수 있는 인공지능 기반의 세탁물 처리기기를 제공하는 것이다.

본 발명이 해결하고자 하는 다른 과제는, 잔여 세제의 존재 여부에 기초하여 효율적인 추가 헹굼 행정을 수행할 수 있는 세탁물 처리기기를 제공하는 것이다.

본 발명의 실시 예에 따른 세탁물 처리기기는, 도어의 내부 글라스를 향하도록 배치된 적어도 하나의 이미지 센서로부터 이미지 데이터를 획득하고, 머신 러닝 기반의 이미지 인식 모델을 통해 상기 이미지 데이터로부터 내부 글라스에 존재하는 세제 거품을 보다 정확히 인식함으로써, 보다 효율적인 헹굼 행정이 수행되도록 할 수 있다.

상기 세탁물 처리기기는, 상기 이미지 데이터로부터 세제 거품이 인식된 경우 상기 이미지 데이터를 처리하여 상기 내부 글라스의 면적 대비 상기 세제 거품의 면적의 비율을 연산하고, 연산된 비율에 기초하여 상기 헹굼 행정의 추가 횟수나 시간을 효율적으로 설정할 수 있다.

상기 세탁물 처리기기는, 상기 획득된 이미지 데이터와, 포량 정보, 세제 투입량 정보, 및 세탁 모드 정보 중 적어도 하나의 정보를 이용하여 상기 이미지 인식 모델을 업데이트함으로써, 사용 패턴에 최적화된 학습을 통한 정확한 이미지 인식 모델을 제공할 수 있다.

상기 세탁물 처리기기에 포함된 상기 적어도 하나의 이미지 센서는, 상기 도어의 외부 커버와 내부 글라스 사이에 배치되어, 외부 또는 내부로부터의 충격이나 접촉에 따른 손상이나 고장을 효과적으로 방지할 수 있다.

실시 예에 따라, 상기 세탁물 처리기기는 세탁물 출입구의 내둘레면에 구비되는 적어도 하나의 광원을 더 포함하고, 상기 광원은 상기 이미지 데이터의 획득 시 온 됨으로써, 내부 글라스에 존재하는 세제 거품을 보다 효과적으로 나타낼 수 있다.

실시 예에 따라, 상기 이미지 인식 모델은, 딥 러닝 기반의 학습에 기초하여 구축된 심층신경망을 포함할 수 있다.

실시 예에 따라, 상기 세탁물 처리기기는 학습 서버로부터 획득되는 학습 데이터를 이용하여 상기 이미지 인식 모델을 업데이트함으로써, 학습 서버가 획득한 방대한 양의 데이터에 기초한 학습 데이터를 통해 정확한 이미지 인식 모델을 제공할 수 있다.

본 발명의 실시 예에 따르면, 세탁물 처리기기는 인공지능의 일 분야인 머신 러닝 기반의 이미지 인식 모델을 통해, 헹굼 행정의 완료 후 획득된 이미지 데이터에 세제 거품이 존재하는지 여부를 정확히 인식할 수 있다. 이에 따라, 헹굼 행정의 효율적인 수행이 가능하고, 세탁물 처리기기에 대한 사용자의 만족도를 향상시킬 수 있다.

또한, 세탁물 처리기기는 이미지 센서로부터 획득된 이미지 데이터로부터 세제 거품의 비율에 따라 헹굼 행정을 추가적으로 수행함으로써, 헹굼 행정 이후에 잔존하는 세제로 인한 세탁물의 변질이나 손상을 효과적으로 방지하고, 사용자의 피부에 피해가 발생하는 것을 방지할 수 있다. 또한, 사용자가 헹굼 행정의 완료 후 직접 세제의 잔존 여부를 확인하는 번거로움을 해소할 수 있다.

뿐만 아니라, 세탁물 처리기기는 포량, 세제 투입량, 또는 세탁 모드에 대한 정보와 상기 획득된 이미지 데이터를 이용하여 상기 이미지 인식 모델의 학습 과정을 수행함으로써, 세탁물 처리기기의 사용 패턴에 최적화된 학습을 통한 정확한 이미지 인식 모델의 제공이 가능하다.

도 1은 본 발명의 일 실시 예에 따른 세탁물 처리기기의 사시도이다.
도 2는 본 발명의 실시 예에 따른 세탁물 처리기기의 내부 구성을 보여주는 종단면도이다.
도 3은 본 발명의 일 실시 예에 따른 세탁물 처리기기의 제어 구성을 나타내는 도면이다.
도 4는 도 3에 도시된 추가 헹굼 제어 모듈의 상세 구성의 일 실시 예를 보여주는 도면이다.
도 5와 도 6은 도 4의 세제 거품 인식부에 적용되는 인공지능의 일례로서 딥러닝(deep learning)을 설명하기 위한 도면들이다.
도 7은 본 발명의 일 실시 예에 따른 세탁물 처리기기의 제어 동작을 설명하기 위한 플로우차트이다.
도 8은 본 발명의 실시 예에 따른 세탁물 처리기기에 포함된 이미지 센서의 배치 위치의 일례를 나타내는 도면이다.
도 9는 본 발명의 실시 예에 따른 세탁물 처리기기가 이미지 데이터로부터 세제 거품을 인식하는 동작을 보다 상세히 설명하기 위한 플로우차트이다.
도 10 내지 도 11은 도 9에 도시된 세탁물 처리기기의 동작과 관련된 예시도들이다.
도 12는 본 발명의 실시 예에 따른 세탁물 처리기기의 추가 헹굼 제어 모듈에 포함된 세제 거품 인식부의 인식 동작 및 학습 동작을 설명하기 위한 도면이다.
도 13은 본 발명의 실시 예에 따른 세탁물 처리기기의 사용자 맞춤형 학습 동작을 설명하기 위한 플로우차트이다.
도 14는 본 발명의 실시 예에 따른 세탁물 처리기기로 학습 데이터를 제공하는 학습 서버의 개략적인 도면이다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명한다. 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

도 1은 본 발명의 일 실시 예에 따른 세탁물 처리기기의 사시도이고, 도 2는 본 발명의 실시 예에 따른 세탁물 처리기기의 내부 구성을 보여주는 종단면도이다.

이하에서는 세탁물 처리기기의 한 종류인 세탁기를 예로 들어 설명하기로 한다.

도 1 및 도 2를 참조하면, 본 발명의 실시 예에 따른 제어 방법이 구현되는 세탁물 처리기기(1)는, 외관을 형성하는 캐비닛(2)과, 상기 캐비닛(2)의 내측에 배치되는 터브(8)와, 상기 터브(8)의 내측에 배치되는 드럼(10)과, 상기 드럼(10)의 내주면에 장착되는 리프터(12)와, 상기 드럼(10)을 회전시키는 구동부(모터; 14)와, 상기 캐비닛(2)의 전면에 장착되는 캐비닛 커버(16)와, 상기 캐비닛 커버(16)에 결합되는 도어(18)와, 상기 세탁물 처리 장치의 작동 명령을 입력하기 위한 컨트롤 패널(20)을 포함할 수 있다.

상세히, 상기 터브(8)는, 상기 캐비닛(2)의 내측에 스프링(4)과 댐퍼(6)에 의해 완충 가능하게 설치되고 내부에 세탁수가 수용된다. 그리고, 상기 드럼(10)은, 상기 터브(8)의 내측에 회전 가능하게 배치되고 세탁수가 통과되는 복수 개의 통공(10A)이 형성된다. 그리고, 상기 드럼(10)의 내부에 포가 수용된다.

그리고, 상기 리프터(12)는, 상기 드럼(10)의 내면에 설치되어 드럼(10)의 회전시 포가 중력에 의해 낙하되도록 일정 높이까지 포를 퍼올리는 기능을 한다. 상기 구동부는, 상기 터브(8)의 후방부에 설치되어 드럼(10)을 회전시킨다.

그리고, 상기 캐비닛 커버(16)는, 상기 캐비닛(2)의 전방에 장착되고 중앙에 세탁물 출입구(16A)가 형성된다. 그리고, 상기 도어(18)는 상기 캐비닛 커버(16)에 회동 가능하게 설치되어 세탁물 출입구(16A)를 개폐한다. 그리고, 상기 컨트롤 패널(20)은, 상기 캐비닛 커버(16)의 상측에 배치되어, 세탁기의 작동 상태를 표시함과 아울러, 세탁기의 작동 명령을 위한 입력키를 구비한다.

여기서, 캐비닛(2)의 상면에는 탑 플레이트(22)가 장착되고, 상기 탑 플레이트(22)의 하측에는 급수 호스(32)와, 급수 밸브(34) 및 급수 밸로우즈(36)로 구성된 급수부(30)가 구비된다. 그리고, 상기 급수부(30)를 통하여, 상기 세탁물 처리 장치의 외부로부터 상기 터브(8) 내부로 세탁수가 공급된다.

상기 급수부(30)에 의해 급수되는 물과 함께 터브(8)로 세제가 공급될 수 있도록, 급수호스(32)와 급수밸로우즈(36) 사이에는 세제공급부(60)가 개재된다. 그리고, 세탁 및 헹굼 등에 사용된 세탁수를 외부로 배출하기 위해 배수 호스(42)와 배수펌프(44) 및 배수 밸로우즈(46)로 구성된 배수부(40)가 터브(8)의 하측에 설치된다.

실시 예에 따라, 세탁물 처리기기(1)는 상기 터브(8)에 급수된 세탁수의 수위를 감지하는 수위감지부(50)를 포함할 수 있다. 상기 수위감지부(50)는, 일단이 상기 터브(8)의 하부에 연통되게 연결되고 내부에 공기가 채워진 에어호스(52)와, 상기 에어호스(52)의 타단에 연통되게 연결되어 에어호스(52)를 통해 전달되는 공기의 압력 변화에 따른 주파수 변동량으로 상기 터브(8) 내의 수위를 측정하는 수위센서(54)를 포함한다.

상기 에어호스(52)의 일단은 상기 터브(8)의 하부에 직접 연결되거나, 상기 배수 밸로우즈(46)와 상기 터브(8)의 하부 중 어느 하나에 형성된 에어챔버(56)에 연결될 수 있다.

상세히, 상기 에어챔버(56)는 공기가 내부에 채워진 통 형상의 구조물로써, 일측이 상기 배수 밸로우즈(46)에 연통되게 끼워져 내부로 세탁수가 유출입되고, 타측에는 상기 에어호스(52)가 연결된다.

그리고, 상기 수위센서(54)는 상기 에어호스(52)에 의해 전달되는 공기압의 변화로부터 상기 터브(8) 내의 세탁수 수위를 측정한다. 즉, 상기 터브(8)에 공급되는 세탁수의 수위가 변경되면, 상기 에어챔버(56)의 내부로 세탁수가 유출입되면서 에어호스(52)에 작용하는 공기 압력이 변하게 된다. 상기 에어호스(52)는 공기를 매개로 수위센서(54)에 수압을 전달하게 되며, 수위센서(54)는 압력의 변화에 따라 달라지는 주파수 변동량에 기반하여 상기 터브(8)에 수용된 세탁수의 수위를 감지하게 된다.

이러한 세탁물 처리기기(1)는 사용자가 오염된 세탁물을 드럼(10) 내로 투입하면, 세제와 세탁수가 적절히 혼합되어 세탁 운전을 수행할 수 있다. 예컨대, 세탁 운전은 세탁 행정, 헹굼 행정, 및 탈수 행정을 포함할 수 있다. 개략적으로, 세탁 행정은 세제와 세탁수를 이용하여 세탁물의 오염물을 제거하는 행정이고, 헹굼 행정은 세탁수를 이용하여 세제와 오염물을 세탁물로부터 제거하는 행정이며, 탈수 행정은 세탁물의 물기를 제거하는 행정일 수 있다.

이 중, 헹굼 행정은 드럼(10) 내의 세제와 오염물을 외부로 배출하는 행정으로서, 헹굼 행정의 완료 이후에는 드럼(10) 내에 잔여 세제가 존재하지 않는 것이 바람직하다. 그러나, 종래의 세탁물 처리기기의 경우, 헹굼 행정의 완료 이후에도 세탁물이나 드럼(10) 내부(도어(18)의 내부 글라스 등)에 세제가 잔존하는 문제가 발생할 수 있다. 세제가 잔존한 채로 세탁운전이 완료되고 세탁물이 건조되면, 세탁물의 변질이나 사용자의 피부에 피해가 발생할 우려가 있다.

그러나, 사용자가 헹굼 행정의 완료 이후에 잔여 세제의 존재 여부를 직접 확인하는 것은 어렵고, 잔여 세제를 확인하여 헹굼 행정이 추가 수행되도록 세탁물 처리기기를 조작하는 것은 번거롭다.

본 발명의 실시 예에 따른 세탁물 처리기기(1)는, 헹굼 행정의 완료 후 잔여 세제의 존재 여부를 스스로 확인하여 헹굼 행정의 추가 수행을 제어함으로써, 상술한 사용자의 번거로움을 해소하고 제품에 대한 만족도를 향상시킬 수 있다. 이하 도 3 내지 도 14를 참조하여 본 발명의 실시 예에 따른 세탁물 처리기기(1)에 대해 구체적으로 설명한다.

도 3은 본 발명의 일 실시 예에 따른 세탁물 처리기기의 제어 구성을 나타내는 도면이다.

도 3을 참조하면, 세탁물 처리기기(1)는 입력부(310), 센서부(320), 출력부(330), 메모리(340), 통신부(350), 제어부(360), 및 전원 공급부(370)를 포함할 수 있다. 도 3에 도시된 구성들은 세탁물 처리기기(1)를 구현하는 데 있어 필수적인 것은 아닌 바, 세탁물 처리기기(1)는 보다 많거나 적은 구성 요소들을 포함할 수 있다.

입력부(310)는 사용자의 조작에 의해 소정 신호 또는 데이터를 세탁물 처리기기(1)로 입력하는 적어도 하나의 입력 수단을 포함할 수 있다. 예컨대, 상기 적어도 하나의 입력 수단은 버튼, 다이얼, 터치패드, 마이크로폰(microphone) 등을 포함할 수 있다. 이러한 입력부(310)는 도 1의 컨트롤 패널(20)에 배치될 수 있으나, 반드시 그러한 것만은 아니다.

센서부(320)는 세탁물 처리기기(1)의 세탁운전 중 각종 데이터를 센싱하는 적어도 하나의 센서를 포함할 수 있다.

예컨대, 본 발명의 실시 예에 따른 센서부(320)는 이미지 센서(322)와 세제 투입량 감지 센서(324)를 포함할 수 있으나, 실시 예에 따라 센서부(320)는 보다 다양한 종류의 센서들을 포함할 수 있다.

이미지 센서(322)는 피사체로부터 반사되는 광에 기초하여 피사체의 이미지를 감지하고, 감지 결과에 상응하는 이미지 데이터를 생성할 수 있다. 이미지 센서(322)는 세탁물 처리기기(1)의 내부 또는 외부에 설치되는 적어도 하나의 카메라 각각에 포함될 수 있다. 상기 적어도 하나의 카메라 각각은, 하나의 이미지 센서(322)를 이용하여 상기 이미지 데이터를 생성하는 일반적인 카메라이거나, 복수의 이미지 센서들(322)을 이용하여 피사체와의 거리 정보를 포함하는 이미지 데이터를 생성하는 스테레오 카메라로 구현될 수 있다.

본 발명의 실시 예에 따르면, 이미지 센서(322)는 도어(18)의 내부 글라스(182; 도 8 참조)를 향하도록 배치되어, 내부 글라스(182)를 포함하는 이미지 데이터를 획득할 수 있다. 이에 대해서는 추후 도 7 내지 도 10을 통해 보다 상세히 설명하기로 한다.

세제 투입량 감지 센서(324)는 세탁운전 시 세제 공급부(60) 또는 드럼(10) 내부로 투입된 세제의 양을 감지할 수 있다. 예컨대, 세제 투입량 감지 센서(324)는 세제 공급부(60)의 무게 변화를 감지하여 세제 투입량을 감지하도록 구현되거나, 드럼(10) 내부로 세제가 투입된 후, 세탁수의 세제 농도를 측정하여 세제 투입량을 감지하도록 구현될 수 있으나, 이에 한정되는 것은 아니다.

한편, 세제 투입량 감지 센서(324)가 세제 공급부(60)의 무게 변화를 감지하도록 구현되는 경우, 제어부(360)는 추후 도 12 내지 도 14에서 후술할 학습 동작에 따라 축적된 데이터에 기초하여, 세탁운전 시 적정 세제 투입량에 대한 정보를 출력부(330) 등을 통해 사용자에게 제공할 수 있다. 또는, 세제 공급부(60)가 자동으로 세제를 투입하는 기능을 갖는 경우, 제어부(360)는 상기 적정 세제 투입량에 따라 세제가 드럼(10) 내로 투입되도록 세제 공급부(60)를 제어할 수도 있다.

출력부(330)는, 세탁물 처리기기(1)의 동작과 관련된 다양한 정보를 사용자에게 알리기 위한 출력 수단을 구비할 수 있다. 예컨대, 출력부(330)는 오디오 출력 수단으로서 스피커나 버저(buzzer)를 포함할 수 있고, 그래픽 또는 텍스트 출력 수단으로서 디스플레이를 포함할 수 있다. 예컨대, 출력부(330)는 도 1의 컨트롤 패널(20)에 배치될 수 있으나, 이에 한정되는 것은 아니다.

메모리(340)에는, 세탁물 처리기기(1)의 동작 제어를 위한 제어 데이터, 입력된 세탁 설정 데이터, 세탁 설정에 따라 산출되는 세탁 시간이나 세탁 코스에 대한 데이터, 세탁물 처리기기(1)의 에러 발생 여부를 판단하기 위한 데이터 등의 각종 데이터가 저장될 수 있다.

또한, 메모리(340)에는 세탁물 처리기기(1)의 동작 중 센서부(320)를 통해 감지 또는 측정되는 데이터와, 통신부(350)를 통해 송수신되는 데이터가 저장될 수 있다.

통신부(350)는, 세탁물 처리기기(1)를 서버나 사용자의 단말기 등과 연결하기 위한 적어도 하나의 통신 모듈을 포함할 수 있다. 예컨대, 통신부(350)는 블루투스, NFC(near field communication)와 같은 근거리 통신 모듈, Wi-Fi 등의 무선 인터넷 모듈이나 이동 통신 모듈을 포함할 수 있다. 제어부(360)는 통신부(350)를 통해 상기 서버나 단말기로 세탁물 처리기기(1)의 상태 정보나 동작 정보를 전송할 수 있다.

제어부(360)는 세탁물 처리기기(1)의 전반적인 동작을 제어할 수 있다. 제어부(360)는 세탁 행정, 헹굼 행정, 탈수 행정, 및 건조 행정을 포함하는 세탁운전을 제어할 수 있다. 제어부(360)는 미리 설정된 알고리즘에 따라 상기 세탁운전을 진행할 수 있고, 각 행정에 따라 모터(14), 급수밸브(34), 배수펌프(44) 등의 구동을 제어할 수 있다.

제어부(360)는 세탁운전 시 드럼(10)에 수용된 포의 양을 감지하는 포량 감지 동작을 수행할 수 있다. 제어부(360)가 포량을 감지하는 방법은 다양할 수 있다. 일례로서, 제어부(360)는 사용자에 의해 세탁 모드가 설정되고, 세탁운전의 개시 명령을 입력받으면, 모터(14)를 제어하여 드럼(10)을 일정 시간 동안 일정 회전속도로 회전시킬 수 있다. 이 후, 제어부(360)는 드럼(10)의 감속 시간을 측정하여 포량을 감지할 수 있다. 예컨대, 드럼(10)의 감속 시간이 길수록 포량이 많을 수 있다.

또한, 제어부(360)는 상술한 바와 같이 세탁운전 시 세제 투입량 감지 센서(326)를 제어하여 세제 투입량을 감지할 수 있다.

전원 공급부(370)는 제어부(360)의 제어 하에서, 외부의 전원을 인가받아 세탁물 처리기기(1)에 포함된 각 구성요소들에 전원을 공급할 수 있다.

한편, 본 발명의 실시 예에 따른 제어부(360)는, 헹굼 행정의 완료 후 이미지 센서(322)를 제어하여 이미지 데이터를 획득할 수 있다. 제어부(360)는 획득된 이미지 데이터를 머신 러닝(machine learning)으로 기학습된 인공신경망(artificial neural network; ANN)의 입력 데이터로 사용하여 잔여 세제의 존재 여부를 인식할 수 있다.

이와 관련하여, 제어부(360)는 머신 러닝으로 기학습된 데이터에 기반하여 헹굼 행정의 완료 후 잔여 세제의 존재 여부를 인식하고, 인식 결과에 따라 헹굼 행정의 추가 수행을 제어하는 추가 헹굼 제어 모듈(100)을 포함할 수 있다.

도 3에서는 추가 헹굼 제어 모듈(100)이 제어부(360)에 포함되는 것으로 도시되어 있으나, 실시 예에 따라 추가 헹굼 제어 모듈(100)은 제어부(360)와 별도의 칩이나 모듈로서 구현될 수도 있다. 이 경우, 추가 헹굼 제어 모듈(100)은 제어부(360)와 내부 인터페이스를 통해 데이터를 송수신할 수 있다.

이하, 도 4를 참조하여 추가 헹굼 제어 모듈(100)에 대해 보다 상세히 설명한다.

도 4는 도 3에 도시된 추가 헹굼 제어 모듈의 상세 구성의 일 실시 예를 보여주는 도면이다.

도 4를 참조하면, 추가 헹굼 제어 모듈(100)은 이미지 데이터로부터 세제 거품의 존재 여부를 인식하는 세제 거품 인식부(110)를 포함할 수 있다.

구체적으로, 세제 거품 인식부(110)는 인공지능(artificial intelligence)의 일 분야인 머신 러닝 기반의 이미지 인식 모델을 이용하여, 이미지 센서(322)에 의해 획득된 이미지 데이터로부터 세제 거품의 존재 여부를 인식할 수 있다. 예컨대, 상기 이미지 인식 모델은 소프트웨어 또는 하드웨어 형태의 인공신경망(ANN)을 포함할 수 있다. 예를 들어, 상기 인공신경망은 딥러닝(deep learning)으로 학습된 CNN(convolutional neural network), RNN(recurrent neural network), DBN(deep belief network) 등 심층신경망(deep neural network; DNN)을 포함할 수 있다.

세제 거품 인식부(110)는 상기 이미지 데이터가 입력되면, 입력된 이미지 데이터로부터 일정한 패턴을 발견하여 특징맵을 형성할 수 있다. 예컨대, 세제 거품 인식부(110)는 이미지 데이터의 하위레벨 특징, 중간레벨 특징, 및 상위레벨 특징을 추출하여 세제 거품의 존재 여부를 인식할 수 있다. 상기 패턴 및 특징들은 이전 입력된 다수의 이미지 데이터로부터 학습된 것일 수 있다.

실시 예에 따라, 세제 거품 인식부(110)는 입력된 이미지 데이터의 사이즈 조절 등과 같은 전처리 과정을 수행한 후 상기 특징맵을 형성할 수도 있다.

이하 도 5와 도 6을 참조하여, 추가 헹굼 제어 모듈(100)의 세제 거품 인식부(110)에 적용되는 인공지능 기술의 일례로서 딥 러닝에 대해 보다 상세히 설명한다.

도 5와 도 6은 도 4의 세제 거품 인식부에 적용되는 인공지능의 일례로서 딥러닝(deep learning)을 설명하기 위한 도면들이다.

인공지능이란 인간의 지능으로 할 수 있는 사고, 학습, 자기 개발 등을 컴퓨터가 할 수 있도록 하는 방법을 연구하는 컴퓨터 공학 및 정보기술의 일 분야에 해당한다. 이러한 인공지능의 연구 분야 중 하나인 머신 러닝은 경험적 데이터를 기반으로 예측을 수행하고, 학습을 통해 스스로의 성능을 향상시키는 시스템을 의미할 수 있다. 머신 러닝의 일종인 딥러닝 기술은 데이터를 기반으로 다단계로 깊은 수준까지 내려가 학습하는 것이다.

딥러닝은 단계를 높여갈수록 복수의 데이터로부터 핵심적인 데이터를 추출하는 머신 러닝 알고리즘의 집합을 나타낼 수 있다.

딥러닝 구조는 인공신경망(artificial neural network(ANN))을 포함할 수 있고, 예를 들어 딥러닝 구조는 CNN(convolutional neural network), RNN(recurrent neural network), DBN(deep belief network) 등 심층신경망(deep neural network)으로 구성될 수 있다.

도 5를 참조하면, 인공신경망은 입력 레이어(Input Layer), 히든 레이어(Hidden Layer), 및 출력 레이어(Output Layer)를 포함할 수 있다. 각 레이어는 복수의 노드들을 포함하고, 각 레이어는 다음 레이어와 연결된다. 인접한 레이어 사이의 노드들은 웨이트(weight)를 가지고 서로 연결될 수 있다.

도 6을 참조하면, 컴퓨팅 장치(머신)는 투입된 입력 데이터(610)로부터 일정한 패턴을 발견해 특징맵(feature map)을 형성할 수 있다. 예컨대, 컴퓨팅 장치(머신)는 하위레벨 특징(620)부터, 중간레벨 특징(630), 및 상위레벨 특징(640)을 추출하여, 대상을 인식하고 그 결과를 출력(650)할 수 있다.

인공신경망은 다음 순서의 레이어로 갈수록 더욱 상위레벨의 특징으로 추상화할 수 있다.

도 5와 도 6을 참조하면, 각 노드들은 활성화 모델에 기초하여 동작할 수 있고, 활성화 모델에 따라 입력값에 대응하는 출력값이 결정될 수 있다.

임의의 노드, 예를 들어, 하위레벨 특징(620)의 출력값은 해당 노드와 연결된 다음 레이어, 예를 들어, 중간레벨 특징(630)의 노드로 입력될 수 있다. 다음 레이어의 노드, 예를 들어, 중간레벨 특징(630)의 노드는 하위레벨 특징(620)의 복수의 노드들로부터 출력되는 값들을 입력받을 수 있다.

이 때, 각 노드의 입력값은 이전 레이어의 노드의 출력값에 웨이트(weight)가 적용된 값일 수 있다. 웨이트는 노드 간의 연결 강도를 의미할 수 있다.

또한, 딥러닝 과정은 적절한 웨이트를 찾아내는 과정으로도 볼 수 있다.

한편, 임의의 노드, 예를 들어, 중간레벨 특징(630)의 출력값은 해당 노드와 연결된 다음 레이어, 예를 들어, 상위레벨 특징(640)의 노드로 입력될 수 있다. 다음 레이어의 노드, 예를 들어, 상위레벨 특징(640)의 노드는 중간레벨 특징(630)의 복수의 노드로부터 출력되는 값들을 입력받을 수 있다.

인공신경망은 각 레벨에 대응하는 학습된 레이어(layer)를 이용하여, 각 레벨에 대응하는 특징 정보를 추출할 수 있다. 인공신경망은 순차적으로 추상화하여, 가장 상위 레벨의 특징 정보를 활용하여 소정 대상을 인식할 수 있다.

예를 들어, 딥러닝에 의한 얼굴인식 과정을 살펴보면, 컴퓨터는 입력 영상으로부터, 픽셀의 밝기에 따라 밝은 픽셀과 어두운 픽셀을 구분하고, 테두리, 에지 등 단순한 형태를 구분한 후, 조금 더 복잡한 형태와 사물을 구분할 수 있다. 최종적으로 컴퓨터는 인간의 얼굴을 규정하는 형태를 파악할 수 있다.

본 발명에 따른 딥러닝 구조는 공지된 다양한 구조를 이용할 수 있다. 예를 들어, 본 발명에 따른 딥러닝 구조는 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), DBN(Deep Belief Network) 등일 수 있다.

RNN(Recurrent Neural Network)은, 자연어 처리 등에 많이 이용되고 있으며, 시간의 흐름에 따라 변하는 시계열 데이터(Time-series data) 처리에 효과적인 구조로 매 순간마다 레이어를 쌓아올려 인공신경망 구조를 구성할 수 있다.

DBN(Deep Belief Network)은 딥러닝 기법인 RBM(Restricted Boltzman Machine)을 다층으로 쌓아 구성되는 딥러닝 구조이다. RBM(Restricted Boltzman Machine) 학습을 반복하여, 일정 수의 레이어가 되면 해당 개수의 레이어를 가지는 DBN(Deep Belief Network)를 구성할 수 있다.

CNN(Convolutional Neural Network)은 사람이 물체를 인식할 때 물체의 기본적인 특징들을 추출한 다음 뇌 속에서 복잡한 계산을 거쳐 그 결과를 기반으로 물체를 인식한다는 가정을 기반으로 만들어진 사람의 뇌 기능을 모사한 모델이다.

한편, 인공신경망의 학습은 주어진 입력에 대하여 원하는 출력이 나오도록 노드간 연결선의 웨이트(weight)를 조정(필요한 경우 바이어스(bias) 값도 조정)함으로써 이루어질 수 있다. 또한, 인공신경망은 학습에 의해 웨이트(weight) 값을 지속적으로 업데이트시킬 수 있다. 또한, 인공신경망의 학습에는 역전파(Back Propagation) 등의 방법이 사용될 수 있다.

한편, 메모리(340)에는 세제 거품을 인식하기 위한 입력 데이터, 상기 인공신경망을 학습하기 위한 데이터가 저장될 수 있다. 상기 입력 데이터는 이미지 센서(322)로부터 획득되는 이미지 데이터일 수 있다.

또한, 실시 예에 따라서는, 메모리(340)에는 인공신경망 구조를 이루는 웨이트, 바이어스들이 저장될 수 있다. 또는, 실시 예에 따라서는, 상기 인공신경망 구조를 이루는 웨이트, 바이어스들은 추가 헹굼 제어 모듈(100)의 임베디드 메모리에 저장될 수도 있다.

한편, 추가 헹굼 제어 모듈(100)은 헹굼 행정의 완료 후 이미지 센서(322)로부터 이미지 데이터가 획득될 때마다, 획득된 이미지 데이터를 이용하여 세제 거품 인식부(110)의 학습 과정을 수행할 수 있다.

즉, 추가 헹굼 제어 모듈(100)은 이미지 데이터를 이용하여 세제 거품의 존재 여부를 인식할 때마다 인식 결과를 추가하여 웨이트 등 인공신경망 구조를 업데이트할 수 있다.

또는, 세탁물 처리기기(1)는 통신부(350)를 통해 상기 획득된 이미지 데이터를 서버로 전송하고, 서버로부터 머신 러닝과 관련된 데이터를 수신할 수도 있다. 이 경우, 상기 서버는 학습 모듈을 포함하여, 세탁물 처리기기(1)로부터 수신된 감지 데이터를 이용한 학습 과정을 수행할 수 있다. 이 경우, 세탁물 처리기기(1)는 서버로부터 수신된 머신 러닝과 관련된 데이터에 기초하여 추가 헹굼 제어 모듈(100)의 세제 거품 인식부(110)을 업데이트할 수 있다.

상기 학습 과정에 대해서는 추후 도 12 내지 도 14를 참조하여 보다 상세히 설명하기로 한다.

다시 도 4를 참조하면, 추가 헹굼 제어 모듈(100)은 세제 거품 인식부(110)에 의해 이미지 데이터에 세제 거품이 존재함이 인식되면, 상기 이미지 데이터로부터 세제 거품이 존재하는 영역을 추출하기 위한 이미지 전처리부(120)를 포함할 수 있다.

이미지 센서(322)에 의해 획득된 이미지 데이터에는 세제 거품뿐만 아니라 드럼(10) 내의 세탁물 등 다른 오브젝트가 포함될 수 있다. 이미지 전처리부(120)는 이미지 데이터 내의 세제 거품 영역을 추출하기 위해, 이미지 데이터를 전처리(pre-processing)할 수 있다. 이미지 전처리부(120)는 세제 거품 인식부(110)에 의해 이미지 데이터에 세제 거품이 존재함이 인식된 경우에만 상기 이미지 데이터를 전처리함으로써, 불필요한 이미지 전처리 동작을 방지할 수 있다.

예컨대, 상기 이미지 전처리 과정은, 이미지 데이터의 컨트라스트(contrast)를 조절하여 세제 거품을 다른 오브젝트와 대비시키고, 배경 제거(background subtraction) 알고리즘을 통해 이미지 데이터 중 세제 거품 영역을 추출할 수 있다. 상기 배경 제거 알고리즘은 기 공지된 다양한 알고리즘이 적용될 수 있다.

예를 들어, 이미지 전처리부(120)는 이미지 센서(322)로부터 헹굼 행정의 수행 전 또는 헹굼 행정의 수행 중 복수의 이미지 데이터를 획득하고, 획득된 복수의 이미지 데이터와 헹굼 행정의 완료 후 획득된 이미지 데이터의 비교를 통해 배경 영역과 세제 거품 영역을 구분하여 배경 영역을 제거할 수 있다.

또는, 이미지 전처리부(120)는 세제 거품 인식부(110)에 의해 이미지 데이터로부터 추출된 세제 거품의 특징점을 이용하여 배경 영역과 세제 거품 영역을 구분하여 배경 영역을 제거할 수도 있다.

또는, 이미지 센서(322)가 스테레오 카메라 형태로 구현된 경우, 이미지 데이터에 거리 정보가 포함될 수 있다. 이미지 전처리부(120)는 상기 거리 정보에 기초하여 이미지 데이터 내의 배경 영역과 세제 거품 영역을 구분하여 배경 영역을 제거할 수도 있다.

상기 배경 영역을 제거함이란, 이미지 데이터 중 배경 영역에 해당하는 픽셀값을 조절(예컨대, 블랙 색상으로 조절)하여 세제 거품 영역과 배경 영역을 명확히 구분하는 것을 의미한다.

추가 헹굼 제어 모듈(100)은, 이미지 데이터로부터 추출된 세제 거품 영역에 기초하여, 세제 거품의 비율을 연산하는 거품 비율 연산부(130)를 포함할 수 있다. 예컨대, 상기 세제 거품의 비율은 도어(18)의 내부 글라스(182)의 면적 대비 세제 거품 영역의 면적의 비율에 해당할 수 있다. 내부 글라스(182)의 면적에 대한 정보는 메모리(340) 또는 추가 헹굼 제어 모듈(100)에 포함된 별도의 메모리에 기 저장되어 있을 수 있다.

또는, 상기 세제 거품의 비율은 이미지 데이터의 픽셀 수 대비 세제 거품 영역의 픽셀 수에 기초하여 연산될 수 있다. 이를 위해, 거품 비율 연산부(130)는 이미지 데이터 중 세제 거품 영역에 해당하는 픽셀들의 수를 산출하여 상기 세제 거품의 비율을 연산할 수 있다.

추가 헹굼 제어 모듈(100)은, 거품 비율 연산부(130)에 의해 연산된 세제 거품의 비율에 기초하여 추가 헹굼 행정을 설정하는 추가 헹굼 설정부(140)를 포함할 수 있다.

추가 헹굼 설정부(140)는 연산된 세제 거품의 비율에 기초하여 헹굼 행정의 추가 횟수 및/또는 추가 시간을 설정할 수 있다. 추가 헹굼 설정부(140)는 연산된 세제 거품의 비율을 기 설정된 적어도 하나의 기준 비율과 비교하여 헹굼 행정의 추가 횟수 및/또는 추가 시간을 설정할 수 있다.

일례로, 추가 헹굼 설정부(140)는 연산된 세제 거품의 비율이 제1 비율(예컨대, 50%) 이상인 경우, 헹굼 행정의 추가 횟수를 제1 횟수(예컨대, 3회)로 설정할 수 있다. 추가 헹굼 설정부(140)는 연산된 세제 거품의 비율이 제2 비율(예컨대, 30%) 이상 제1 비율(50%) 미만인 경우, 헹굼 행정의 추가 횟수를 제2 횟수(예컨대, 2회)로 설정할 수 있다. 추가 헹굼 설정부(140)는 연산된 세제 거품의 비율이 제2 비율(30%) 미만인 경우, 헹굼 행정의 추가 횟수를 제3 횟수(예컨대, 1회)로 설정할 수 있다.

한편, 실시 예에 따라 추가 헹굼 제어 모듈(100)에 추가 헹굼 설정부(140)가 포함되지 않고, 제어부(360)가 상기 추가 헹굼 설정부의 기능을 수행할 수도 있다.

즉, 본 발명의 실시 예에 따른 세탁물 처리기기(1)는 인공지능 기반의 이미지 인식 모델을 이용하여, 이미지 데이터로부터 잔여 세제(세제 거품)의 존재 여부를 인식하고, 인식 결과에 기초하여 헹굼 행정의 추가 수행을 제어함으로써, 세탁운전 중 헹굼 행정이 보다 효과적으로 수행되도록 할 수 있다.

도 7은 본 발명의 일 실시 예에 따른 세탁물 처리기기의 제어 동작을 설명하기 위한 플로우차트이다.

도 7을 참조하면, 세탁물 처리기기(1)는 세탁운전 중 헹굼행정이 완료되면(S100), 이미지 센서(322)로부터 도어(18)의 내부 글라스를 포함하는 이미지 데이터를 획득할 수 있다(S110).

세탁물 처리기기(1)의 제어부(360)는, 입력부(310) 등을 통해 사용자로부터 세탁 모드(세탁 코스)의 설정 및 개시 요청이 입력되면, 세탁물 처리기기(1)에 포함된 구성요소들을 제어하여 세탁운전을 수행할 수 있다.

제어부(360)는 세탁운전 중 헹굼 행정이 완료되면, 이미지 센서(322)를 제어하여 도어(18)의 내부 글라스를 포함하는 이미지 데이터를 획득할 수 있다.

이미지 센서(322)는 상기 내부 글라스를 향하도록 배치되어, 상기 이미지 데이터를 획득할 수 있다. 이와 관련하여, 세탁물 처리기기(1)에 배치되는 이미지 센서(322) 또는 상기 이미지 센서(322)를 포함하는 카메라 모듈의 배치 실시 예에 대해 도 8을 참조하여 설명한다.

도 8은 본 발명의 실시 예에 따른 세탁물 처리기기에 포함된 이미지 센서의 배치 위치의 일례를 나타내는 도면이다.

도 8을 참조하면, 세탁물 처리기기(1)의 도어(18)는 외부 커버(181)와 내부 글라스(182)를 포함할 수 있다. 외부 커버(181)와 내부 글라스(182) 각각은 투명 재질(예컨대, 플라스틱 등)로 구현되어, 사용자는 도어(18)를 통해 드럼(10) 내부를 육안으로 확인할 수 있다.

한편, 외부 커버(181)와 내부 글라스(182) 사이에는 공간이 형성되고, 이미지 센서(322) 또는 이미지 센서(322)를 포함하는 카메라 모듈은 상기 공간 내에 배치될 수 있다. 상기 이미지 센서(322) 또는 카메라 모듈이 상기 공간 내에 배치되므로, 세탁물 처리기기(1)의 외부로부터의 충격이나 이물, 및 드럼(10) 내의 세탁수나 세탁물에 의한 오염이나 접촉이 효과적으로 방지될 수 있다.

일례로, 도 8에 도시된 바와 같이 외부 커버(181)와 내부 글라스(182) 사이에는 복수의 카메라 모듈(322a, 322b)이 배치될 수 있다. 제1 카메라 모듈(322a)은 복수의 이미지 센서들을 포함하는 스테레오 카메라(또는 3D 카메라)로 구현될 수 있고, 제2 카메라 모듈(322b)은 하나의 이미지 센서를 포함하는 2D 카메라로 구현될 수 있으나, 이에 한정되는 것은 아니다.

복수의 카메라 모듈(322a, 322b) 각각은 내부 글라스(182)를 향하도록 외부 커버(181)의 내벽에 체결되고, 제어부(360)의 제어에 따라 내부 글라스(182)를 포함하는 이미지 데이터를 획득할 수 있다. 제어부(360)는 복수의 카메라 모듈(322a, 322b) 각각에 의해 획득된 이미지 데이터를 처리하여 병합하거나, 어느 하나의 이미지 데이터를 선택하여 추가 헹굼 제어 모듈(100)로 입력할 수 있다.

한편, 실시 예에 따라 세탁물 출입구(16a)의 내둘레면에는 적어도 하나의 광원(161)이 구비될 수 있다. 적어도 하나의 광원(161)은 상기 이미지 데이터의 획득 시 내부 글라스(182)를 향하여 광을 조사하여, 내부 글라스(182)에 존재하는 세제 거품을 다른 오브젝트에 비해 부각시킬 수 있다. 이에 따라, 카메라 모듈(322a, 322b)에 의해 획득된 이미지 데이터에 상기 세제 거품이 보다 선명하게 나타날 수 있다.

이 경우, 카메라 모듈(322a, 322b)은 광원(161)을 직접 촬영하지 않도록 배치되어, 내부 글라스(182)에 대한 보다 선명한 이미지 데이터의 획득이 가능하다. 도 8에 도시된 바와 같이 광원(161)이 세탁물 출입구(16a)의 내둘레면 중 상측에 배치된 경우, 카메라 모듈(322a, 322b) 각각 또한 외부 커버(181)의 상측에서 소정 각도 하측을 향하도록 배치될 수 있다.

다시 도 7을 설명한다.

세탁물 처리기기(1)는 머신 러닝 기반의 이미지 인식 모델을 통해, 상기 획득된 이미지 데이터로부터 세제 거품의 존재 여부를 인식할 수 있다(S120). 세탁물 처리기기(1)는, 세제 거품의 인식 결과에 기초하여 헹굼 행정의 추가 수행을 제어할 수 있다(S130).

세탁물 처리기기(1)의 추가 헹굼 제어 모듈(100)은, 상기 획득된 이미지 데이터로부터 세제 거품을 인식하여 잔여 세제의 존재 여부를 인식하고, 인식 결과에 따라 헹굼 행정의 추가 수행을 제어할 수 있다.

S120 단계와 S130 단계에 대해서는 도 9 내지 도 11을 참조하여 보다 상세히 설명한다.

도 9는 본 발명의 실시 예에 따른 세탁물 처리기기가 이미지 데이터로부터 세제 거품을 인식하는 동작을 보다 상세히 설명하기 위한 플로우차트이고, 도 10 내지 도 11은 도 9에 도시된 세탁물 처리기기의 동작과 관련된 예시도들이다.

도 9를 참조하면, 세탁물 처리기기(1)는 획득된 이미지 데이터로부터 세제 거품을 인식할 수 있다(S121).

구체적으로, 세탁물 처리기기(1)의 추가 헹굼 제어 모듈(100)에 포함된 세제 거품 인식부(110)는, 인공지능의 일 분야인 머신 러닝 기반의 이미지 인식 모델(인공 신경망)을 이용하여, 획득된 이미지 데이터에 포함된 오브젝트 중 세제 거품이 포함되어 있는지 여부를 인식할 수 있다.

세제 거품 인식부(110)는 상기 이미지 데이터로부터 복수의 특징점들을 추출하고, 추출된 특징점들을 상기 인공 신경망에 입력하여 세제 거품의 포함 여부를 인식할 수 있다.

세제 거품 인식부(110)로부터 세제 거품이 인식되는 경우(S122의 YES), 세탁물 처리기기(1)는 이미지 전처리를 통해, 상기 이미지 데이터 중 세제 거품 영역을 추출할 수 있다(S123).

추가 헹굼 제어 모듈(100)의 이미지 전처리부(120)는, 세제 거품이 포함된 것으로 인식된 이미지 데이터에 대한 전처리 과정을 수행할 수 있다. 도 4에서 상술한 바와 같이, 이미지 전처리부(120)는 컨트라스트 조절 및 배경 제거 알고리즘 등의 전처리 기법을 통해, 이미지 데이터 중 세제 거품 영역을 추출할 수 있다. 세제 거품 영역이 추출됨에 따라, 전처리된 이미지 데이터는 세제 거품 영역의 픽셀값이 배경 영역의 픽셀값과 구분될 수 있다.

이와 관련하여 도 10을 참조하면, 이미지 전처리부(120)는 세제 거품(BB)이 인식된 이미지 데이터(1000)를 전처리할 수 있다. 구체적으로, 이미지 전처리부(120)는 이미지 데이터(1000)의 컨트라스트 조절을 통해, 세제 거품(BB)을 제외한 나머지 영역(배경 영역)의 컨트라스트를 낮추고, 세제 거품(BB)에 해당하는 영역의 컨트라스트를 증가시킬 수 있다. 또한, 이미지 전처리부(120)는 배경 제거 알고리즘을 통해, 상기 배경 영역을 제거(예컨대, 픽셀값을 블랙에 해당하도록 처리)하여 세제 거품(BB)이 부각된 전처리된 이미지 데이터(1010)를 제공할 수 있다.

세탁물 처리기기(1)는 추출된 세제 거품 영역에 기초하여, 세제 거품의 비율을 산출(연산)할 수 있다(S124).

추가 헹굼 제어 모듈(100)의 거품 비율 연산부(120)는, S123 단계에 따라 전처리된 이미지 데이터에서 세제 거품 비율을 산출할 수 있다. 상기 세제 거품 비율은 내부 글라스(182)의 면적 대비 세제 거품 면적의 비율이거나, 이미지 데이터의 픽셀 수 대비 세제 거품 영역의 픽셀 수의 비율에 해당할 수 있다.

세탁물 처리기기(1)는 산출된 비율에 기초하여 헹굼 행정의 추가 수행을 제어할 수 있다(S130).

추가 헹굼 제어 모듈(100)의 추가 헹굼 설정부(140) 또는 제어부(360)는, 거품 비율 연산부(120)에 의해 연산된 세제 거품 비율에 기초하여, 헹굼 행정의 추가 횟수 및/또는 추가 시간을 설정하고, 설정된 추가 횟수 및/또는 추가 시간에 기초하여 헹굼 행정을 수행하도록 구성 요소들(예컨대, 급수밸브(34), 배수펌프(44), 모터(14) 등)을 제어할 수 있다.

상기 추가 횟수 및/또는 추가 시간은, 연산된 세제 거품 비율이 높을수록 증가할 수 있다. 예컨대, 연산된 세제 거품 비율이 제1 비율인 경우, 상기 추가 횟수는 제1 횟수로 설정될 수 있고, 연산된 세제 거품 비율이 제1 비율보다 낮은 제2 비율인 경우, 상기 추가 횟수는 제1 횟수 또는 제1 횟수보다 작은 제2 횟수로 설정될 수 있다.

이와 관련하여 도 11을 참조하면, 거품 비율 연산부(120)는 전처리된 이미지 데이터에 기초하여 세제 거품 비율을 연산할 수 있다. 도 11에서는 도 10과 달리 세제 거품 영역(BB)을 배경 영역(BG)보다 어둡게 표시한 이미지 데이터(1100, 1110, 1120)가 도시되어 있으나, 이는 설명의 편의를 위함이다.

도 11에서, 제1 이미지 데이터(1100)에 대해 연산된 세제 거품 비율이 제1 비율인 경우, 제2 이미지 데이터(1110)에 대해 연산된 세제 거품 비율은 상기 제1 비율보다 낮은 제2 비율이고, 제3 이미지 데이터(1120)에 대해 연산된 세제 거품 비율은 상기 제2 비율보다 낮은 제3 비율일 수 있다. 이 경우, 추가 헹굼 설정부(140) 또는 제어부(360)는, 제1 비율에 대한 추가 횟수를 제1 횟수로 설정하고, 제2 비율에 대한 추가 횟수를 제1 횟수 또는 제1 횟수보다 작은 제2 횟수로 설정하며, 제3 비율에 대한 추가 횟수를 제2 횟수 또는 제2 횟수보다 작은 제3 횟수로 설정할 수 있다.

상기 헹굼 행정이 추가적으로 수행된 후, 세탁물 처리기기(1)는 S100 단계 내지 S120 단계를 재 수행하여, 잔여 세제가 제거되었는지 여부를 인식할 수 있다.

한편, 세탁물 처리기기(1)는 세제 거품의 비율에 기초하여 헹굼 행정과 관련된 추가적인 제어 동작을 수행할 수도 있다.

실시 예에 따라, 추가 헹굼 설정부(140) 또는 제어부(360)는, 상기 세제 거품의 비율에 기초하여, 헹굼 행정의 추가 수행 시 드럼(10)의 회전 속도 및/또는 회전 방향을 설정할 수도 있다.

예컨대, 추가 헹굼 설정부(140) 또는 제어부(360)는 상기 세제 거품의 비율이 높을수록 드럼(10)의 회전 속도를 높게 설정하여, 세탁물에 존재하는 세제를 보다 효과적으로 제거할 수 있다. 제어부(360)는 헹굼 행정의 추가 수행 시 드럼(10)이 상기 설정된 회전 속도로 회전하도록 모터(14)를 제어할 수 있다.

예컨대, 제어부(360)는 상기 세제 거품의 비율이 기설정된 비율 미만인 경우, 헹굼 행정의 추가 수행 시 드럼(10)이 일 방향으로 회전하도록 모터(14)를 제어할 수 있다. 반면, 기설정된 비율 이상인 경우, 제어부(360)는 상기 헹굼 행정의 추가 수행 시 드럼(10)이 소정 횟수의 일 방향 회전과, 소정 횟수의 타 방향 회전이 교대로 수행되도록 모터(14)를 제어하여, 세탁물이나 내부 글라스(182)에 존재하는 잔여 세제를 보다 효과적으로 제거할 수 있다.

다른 실시 예에 따라, 추가 헹굼 설정부(140) 또는 제어부(360)는, 상기 세제 거품의 비율에 기초하여, 헹굼 행정의 추가 수행 시 헹굼 패턴 또는 급수 속성을 설정할 수 있다. 상기 헹굼 패턴은 헹굼 행정 중 급수 단계와 배출 단계 사이의 시간 간격을 의미할 수 있고, 급수 속성은 급수 단계 시 급수량이나 급수 온도 등을 의미할 수 있다.

예컨대, 추가 헹굼 설정부(140) 또는 제어부(360)는, 세제 거품의 비율이 높을수록 급수 단계와 배출 단계 사이의 시간 간격을 증가시키거나, 급수량 또는 급수 온도를 증가시킬 수 있다. 이에 따라, 세탁물 처리기기(1)는 추가 헹굼 행정 시 세탁물이나 내부 글라스(182)에 존재하는 잔여 세제를 보다 효과적으로 제거할 수 있다.

또 다른 실시 예에 따라, 추가 헹굼 설정부(140) 또는 제어부(360)는 상기 세제 거품의 비율에 기초하여, 추가 헹굼 행정 중 수행되는 간이 탈수 단계의 횟수나 시간을 설정할 수도 있다. 상기 간이 탈수 단계는, 헹굼 행정 중 드럼(10) 내로 급수된 물이 세제나 오염물과 함께 배출된 후 수행되는 탈수 단계를 의미할 수 있다. 예컨대, 추가 헹굼 설정부(140) 또는 제어부(360)는, 세제 거품의 비율이 높을수록 상기 간이 탈수 단계의 횟수 및/또는 시간을 증가시킴으로써, 세제와 혼합된 물을 드럼(10) 외부로 보다 효과적으로 배출시킬 수 있다.

상술한 다양한 예들은 어느 하나가 선택적으로 수행되거나, 복수의 예들이 동시에 수행될 수도 있다.

한편, 세제 거품 인식부(110)로부터 세제 거품이 인식되지 않는 경우(S122의 NO), 세탁물 처리기기(1)는 헹굼 행정의 다음 행정을 수행할 수 있다(S132).

여기서 세제 거품이 인식되지 않는 경우는, 내부 글라스(182) 또는 드럼(10) 내에 세제가 더 이상 존재하지 않거나, 세제의 잔존량이 소정량 미만으로 미소한 상태일 수 있다.

제어부(360)는 세제 거품 인식부(110)로부터 세제 거품이 인식되지 않는 경우, 헹굼 행정의 다음 행정(예컨대, 탈수 행정)을 수행하도록 구성 요소들(예컨대, 모터(14) 및 배수펌프(44) 등)을 제어할 수 있다.

즉, 본 발명의 실시 예에 따른 세탁물 처리기기(1)는 이미지 센서(322)로부터 획득된 이미지 데이터로부터 세제 거품의 비율(또는 양)을 연산하고, 연산된 세제 거품의 비율에 따라 헹굼 행정을 추가적으로 수행함으로써, 헹굼 행정 이후에 잔존하는 세제로 인한 세탁물의 변질이나 손상을 효과적으로 방지하고, 사용자의 피부에 피해가 발생하는 것을 방지할 수 있다. 또한, 사용자가 헹굼 행정의 완료 후 직접 세제의 잔존 여부를 확인하는 번거로움을 해소할 수 있다.

특히, 세탁물 처리기기(1)는 인공지능의 일 분야인 머신 러닝 기반의 이미지 인식 모델을 통해, 이미지 데이터에 세제 거품이 존재하는지 여부를 보다 정확히 인식함으로써, 헹굼 행정의 효율적인 수행을 가능하게 한다. 따라서, 세탁물 처리기기(1)에 대한 사용자의 만족도를 향상시킬 수 있다.

이하, 도 12 내지 도 14를 참조하여 세제 거품 인식부(110)의 학습 동작과 관련된 실시 예들을 설명한다.

도 12는 본 발명의 실시 예에 따른 세탁물 처리기기의 추가 헹굼 제어 모듈에 포함된 세제 거품 인식부의 인식 동작 및 학습 동작을 설명하기 위한 도면이다. 도 12의 세제 거품 인식기(116)는 세제 거품 인식부(110)에 포함된 인공 신경망 구조를 의미할 수 있다.

도 12를 참조하면, 도 4 등에서 상술한 바와 같이, 세제 거품 인식부(110)는 이미지 데이터가 입력되면, 입력된 이미지 데이터로부터 특징점을 추출(112)하고, 추출된 특징점들을 통해 이미지 데이터에 세제 거품이 존재하는지 여부를 인식(116)하고 인식 결과를 출력하는 인식 동작을 수행할 수 있다. 실시 예에 따라, 세제 거품 인식부(110)는 1회의 인식 결과를 최종 인식 결과로서 출력할 수 있으나, 복수 회의 인식 동작(116)을 수행하고, 복수 회의 인식 결과에 기초하여 최종 인식 결과를 출력함으로써, 세제 거품의 인식 결과의 정확도를 더욱 향상시킬 수 있다.

한편, 세제 거품 인식부(110)는 이미지 센서(322)에 의해 누적 획득된 다수의 이미지 데이터를 수집하여 데이터베이스(실환경 DB)를 구축하고, 획득된 이미지 데이터로부터 추출된 특징점들과, 세제 거품의 인식 결과를 이용하여 세제 거품 인식기의 학습(114)을 수행할 수 있다. 세제 거품 인식기의 학습을 통해, 세제 거품 인식부(110)에 포함된 인공신경망의 파라미터들(웨이트 및 바이어스)이 업데이트될 수 있다. 상기 데이터베이스는 세탁물 처리기기(1)의 메모리(340) 또는 추가 헹굼 제어 모듈(100)의 임베디드 메모리에 저장되거나, 서버의 메모리에 저장될 수 있다.

한편, 세제 거품 인식부(110)는 상기 학습 동작 시, 세탁물 처리기기(1)의 사용 패턴과 관련된 정보를 추가적으로 활용함으로써, 사용자 맞춤형 학습을 수행할 수도 있다.

도 13은 본 발명의 실시 예에 따른 세탁물 처리기기의 사용자 맞춤형 학습 동작을 설명하기 위한 플로우차트이다.

도 13을 참조하면, 세탁물 처리기기(1)는 이미지 센서(322)를 통해 이미지 데이터를 획득할 수 있다(S200). S200 단계는 도 7의 S100 단계와 실질적으로 동일한 바, 이에 대한 설명은 생략하기로 한다.

실시 예에 따라, 세탁물 처리기기(1)는 포량, 세제 투입량, 및 현재 세탁모드 중 적어도 하나의 정보를 획득할 수 있다(S210).

도 3에서 상술한 바와 같이, 제어부(360)는 세탁운전 시 드럼(10)에 수용된 포의 양을 감지하여 포량 정보를 획득하거나, 세제 투입량 감지 센서(326)를 제어하여 세제 투입량 정보를 획득할 수 있다. 또한, 세탁물 처리기기(1)는 입력부(310)를 통해 세탁 모드 정보를 획득할 수 있다. 상기 포량 정보, 세제 투입량 정보, 및 세탁 모드 정보는 세탁물 처리기기(1)의 사용 패턴과 관련된 정보에 해당할 수 있다.

세탁물 처리기기(1)는, 획득된 이미지 데이터와 S210 단계에서 획득된 적어도 하나의 정보를 이용하여, 세제 거품 인식부(110)를 업데이트할 수 있다(S220).

즉, 세제 거품 인식부(110)는 상기 이미지 데이터와 상기 획득된 적어도 하나의 정보를 이용하여 인공 신경망의 학습 과정을 수행함으로써, 세탁물 처리기기(1)의 사용자 맞춤형 학습을 수행할 수 있다.

한편, 사용자 맞춤형 학습을 통해 세제 거품 인식부(110)가 업데이트되는 경우, 세제 거품 인식부(110)는 이미지 데이터로부터 세제 거품을 인식하는 인식 동작의 수행 시, 상기 적어도 하나의 정보와 이미지 데이터를 인공 신경망에 함께 입력하여 인식 동작을 수행할 수도 있다.

즉, 세탁물 처리기기(1)는 포량, 세제 투입량, 또는 세탁 모드와 같은 사용 패턴과 관련된 정보와, 이미지 센서(322)로부터 획득된 이미지 데이터를 이용하여 학습 과정을 수행함으로써, 세탁물 처리기기(1)의 사용 패턴에 최적화된 학습을 통한 정확한 이미지 인식 모델의 제공이 가능하다.

도 14는 본 발명의 실시 예에 따른 세탁물 처리기기로 학습 데이터를 제공하는 학습 서버의 개략적인 도면이다.

도 12 내지 도 13에서는 세탁물 처리기기(1)가 자체 학습을 통해 세제 거품 인식부(110)를 업데이트하는 실시 예를 설명하였다.

그러나, 실시 예에 따라서는 세탁물 처리기기(1)와 연결되는 별도의 서버(예컨대, 학습 서버)가 상술한 학습 과정을 수행할 수도 있다.

이와 관련하여 도 14를 참조하면, 세탁물 처리기기(1)는 통신부(350)를 통해 서버(400)와 연결될 수 있다. 서버(400)는 세탁물 처리기기(1) 등 홈 어플라이언스 제조사가 운영하는 서버 또는 서비스 제공자가 운영하는 서버일 수 있고, 일종의 클라우드(cloud) 서버일 수 있다.

이러한 서버(400)는 프로세서(410), 통신부(420), 메모리(430), 및 학습 모듈(440)을 포함할 수 있다.

프로세서(410)는 서버(400)의 전반적인 동작을 제어할 수 있다.

통신부(420)는 세탁물 처리기기(1)나 게이트웨이 등으로부터 상태 정보나 동작 정보 등 각종 데이터를 수신할 수 있다. 그리고, 통신부(420)는 수신된 각종 정보에 대응하는 데이터를 세탁물 처리기기(1)나 게이트웨이 등으로 송신할 수 있다. 이를 위해, 통신부(420)는 인터넷 모듈, 이동 통신 모듈 등 적어도 하나의 통신 모듈을 포함할 수 있다.

특히, 통신부(420)는 세탁물 처리기기(1)로부터 내부 글라스(182)를 포함하는 이미지 데이터를 수신할 수 있다. 또한, 통신부(420)는 거품 비율 연산부(130)에 의해 연산된 세제 거품 비율을 기초로 추가 헹굼 설정부(130)에 의해 설정되는 헹굼 행정의 추가 횟수 및/또는 추가 시간에 대한 정보를 수신할 수 있다.

메모리(430)는 세탁물 처리기기(1) 등으로부터 수신된 정보를 저장하고, 이에 대응하는 결과 정보 생성을 위한 데이터를 구비할 수 있다.

또한, 메모리(430)는 머신 러닝에 사용되는 각종 데이터를 저장할 수 있다.

학습 모듈(440)은, 세탁물 처리기기(1)로부터 수신된 이미지 데이터, 및 헹굼 행정의 추가 횟수 및/또는 추가 시간에 대한 정보에 기초하여 학습 동작을 수행할 수 있다. 이러한 학습 모듈(440)은 인공신경망, 예를 들어 도 5 내지 도 6에서 상술한 CNN, RNN, DBN 등 심층신경망을 포함할 수 있고, 심층신경망을 학습할 수 있다.

학습 모듈(440)의 학습 방법으로는 자율학습(unsupervised learning)과 지도학습(supervised learning)이 모두 사용될 수 있다.

프로세서(410)는 학습 모듈(440)의 학습 후, 세탁물 처리기기(1)의 세제 거품 인식부(110)에 포함된 인공신경망 구조를 학습된 인공신경망 구조로 업데이트시키기 위한 학습 데이터를 통신부(420)를 통해 세탁물 처리기기(1)로 송신할 수 있다.

세탁물 처리기기(1)의 세제 거품 인식부(110)는 서버(400)로부터 수신된 학습 데이터에 기초하여 인공신경망 구조를 업데이트할 수 있다.

실시 예에 따라, 서버(400)는 다수의 사용자들 각각의 세탁물 처리기기(1)로부터 수신되는 이미지 데이터에 기초하여 학습 동작을 수행할 수 있다. 이 경우, 방대한 이미지 데이터를 이용한 학습 동작이 수행될 수 있으므로, 보다 정확한 이미지 인식 모델의 제공이 가능할 수 있다.

한편, 세탁물 처리기기(1)는 도 12 내지 도 13에서 상술한 자체 학습과, 도 14에서 설명한 서버(400)를 통한 학습을 복합적으로 활용하여 세제 거품 인식부(110)를 업데이트할 수도 있다.

비록 도시되지는 않았으나, 세탁물 처리기기(1)는 학습 결과에 기초하여 세탁운전 개시 시 최적의 헹굼 행정이나 세제 투입량에 대한 정보를 사용자에게 안내하거나, 상기 정보에 기초한 자동 설정을 수행할 수도 있다.

구체적으로, 제어부(360)는 세탁운전 개시 시 포량 정보, 세제 투입량 정보, 및/또는 세탁모드 정보를 획득하고, 획득된 정보와 기학습된 데이터에 기초하여 헹굼 행정의 최적 속성을 출력부(330) 등을 통해 사용자에게 안내하거나, 상기 최적 속성으로 헹굼 행정을 자동으로 설정할 수 있다. 상기 헹굼 행정의 속성은, 헹굼 행정의 횟수, 시간, 드럼(10)의 회전속도나 방향, 급수량, 급수온도, 급수단계와 배출단계 간의 간격, 간이 탈수 단계의 횟수나 시간 등과 같이 헹굼 행정과 관련하여 설정가능한 다양한 속성들을 포함할 수 있다.

또한, 제어부(360)는 세탁운전 개시 시 상기 포량 정보 및/또는 세탁모드 정보에 기초하여 최적의 세제 투입량에 대한 정보를 출력부(330) 등을 통해 사용자에게 안내할 수 있다. 실시 예에 따라, 세제 공급부(60)가 자동 세제 투입 기능을 구비한 경우, 제어부(360)는 상기 최적의 세제 투입량에 대한 정보에 기초하여 세제를 드럼(10) 내로 투입하도록 세제 공급부(60)를 제어할 수도 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.

따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다.

본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (20)

1. 외부 커버와 내부 글라스를 포함하고, 세탁물 출입구를 개폐하는 도어;
   상기 내부 글라스를 향하도록 배치되어 이미지 데이터를 획득하는 적어도 하나의 이미지 센서;
   머신 러닝(machine learning) 기반의 이미지 인식 모델을 통해, 상기 이미지 데이터로부터 세제 거품을 인식하는 세제 거품 인식부;
   상기 세제 거품이 인식된 경우, 상기 이미지 데이터를 처리하여 상기 내부 글라스의 면적 대비 상기 세제 거품의 면적의 비율을 연산하는 거품 비율 연산부; 및
   상기 거품 비율 연산부에 의해 산출된 비율에 기초하여 헹굼 행정의 추가 수행을 제어하는 제어부를 포함하는 세탁물 처리기기.
2. 삭제
3. 제1항에 있어서,
   상기 제어부는,
   상기 획득된 이미지 데이터와, 포량 정보, 세제 투입량 정보, 및 세탁 모드 정보 중 적어도 하나의 정보를 이용하여, 상기 세제 거품 인식부의 상기 이미지 인식 모델을 업데이트하는 세탁물 처리기기.
4. 제1항에 있어서,
   상기 제어부는,
   상기 산출된 비율에 기초하여 상기 헹굼 행정의 추가 수행 횟수를 설정하는 세탁물 처리기기.
5. 제4항에 있어서,
   상기 제어부는,
   상기 산출된 비율이 제1 비율인 경우, 상기 추가 수행 횟수를 제1 횟수로 설정하고,
   상기 산출된 비율이 상기 제1 비율보다 높은 제2 비율인 경우, 상기 추가 수행 횟수를 상기 제1 횟수 이상인 제2 횟수로 설정하는 세탁물 처리기기.
6. 제1항에 있어서,
   상기 제어부는,
   상기 산출된 비율이 높을수록 상기 헹굼 행정의 추가 수행 시간을 증가시키는 세탁물 처리기기.
7. 제1항에 있어서,
   상기 제어부는,
   상기 헹굼 행정이 완료된 경우, 상기 이미지 데이터를 획득하도록 상기 적어도 하나의 이미지 센서를 제어하는 세탁물 처리기기.
8. 제1항에 있어서,
   상기 제어부는,
   상기 이미지 데이터로부터 상기 세제 거품이 인식되지 않는 경우, 상기 헹굼 행정의 다음 행정을 수행하는 세탁물 처리기기.
9. 제1항에 있어서,
   상기 적어도 하나의 이미지 센서는 상기 외부 커버와 상기 내부 글라스 사이에 배치되는 세탁물 처리기기.
10. 제9항에 있어서,
    상기 적어도 하나의 이미지 센서는,
    상기 외부 커버의 내벽에 체결되는 세탁물 처리기기.
11. 제1항에 있어서,
    상기 세탁물 출입구의 내둘레면에 구비되는 적어도 하나의 광원을 더 포함하고,
    상기 제어부는,
    상기 이미지 데이터의 획득 시, 상기 적어도 하나의 광원을 온 시키는 세탁물 처리기기.
12. 제1항에 있어서,
    상기 이미지 인식 모델은,
    딥 러닝(deep learning) 기반의 학습에 기초하여 구축된 심층신경망(deep neural network)을 포함하는 세탁물 처리기기.
13. 제1항에 있어서,
    상기 획득된 이미지 데이터, 또는 상기 거품 비율 연산부에 의해 연산된 비율을 기초로 하는 추가 헹굼 수 또는 시간 중 적어도 하나 이상의 데이터를 서버 또는 단말기로 전송하는 통신부를 더 포함하는 세탁물 처리기기.
14. 제13항에 있어서,
    상기 제어부는,
    상기 통신부를 통해 상기 서버로부터 업데이트된 학습 데이터를 수신하고, 수신된 학습 데이터에 기초하여, 상기 세제 거품 인식부의 상기 이미지 인식 모델을 업데이트하는 세탁물 처리기기.
15. 세탁물의 헹굼 행정을 수행하는 단계;
    상기 헹굼 행정의 완료 후, 도어의 내부 글라스를 포함하는 이미지 데이터를 획득하는 단계;
    머신 러닝 기반의 이미지 인식 모델을 통해, 상기 이미지 데이터로부터 세제 거품을 인식하는 단계; 및
    상기 인식 결과에 기초하여, 상기 헹굼 행정의 추가 수행을 제어하는 단계를 포함하고,
    상기 헹굼 행정의 추가 수행을 제어하는 단계는,
    상기 세제 거품이 인식된 경우, 상기 이미지 데이터를 처리하여 상기 내부 글라스의 면적 대비 상기 세제 거품의 면적의 비율을 산출하는 단계; 및
    산출된 비율에 기초하여 상기 헹굼 행정의 추가 수행을 제어하는 단계를 포함하는 세탁물 처리기기의 동작 방법.
16. 삭제
17. 제15항에 있어서,
    포량 정보, 세제 투입량 정보, 및 세탁 모드 정보 중 적어도 하나의 정보를 획득하는 단계; 및
    상기 획득된 적어도 하나의 정보 및 상기 이미지 데이터를 이용하여, 상기 이미지 인식 모델을 업데이트하는 단계를 더 포함하는 세탁물 처리기기의 동작 방법.
18. 제15항에 있어서,
    산출된 비율에 기초하여 상기 헹굼 행정의 추가 수행을 제어하는 단계는,
    상기 산출된 비율에 기초하여 상기 헹굼 행정의 추가 수행 횟수 또는 추가 수행 시간을 설정하는 단계인 세탁물 처리기기의 동작 방법.
19. 제18항에 있어서,
    상기 설정된 추가 수행 횟수 또는 추가 수행 시간에 대한 데이터와, 상기 이미지 데이터를 서버 또는 단말기로 전송하는 단계를 더 포함하는 세탁물 처리기기의 동작 방법.
20. 제19항에 있어서,
    상기 서버로부터, 상기 전송한 데이터에 기초하여 업데이트된 학습 데이터를 수신하는 단계; 및
    수신된 학습 데이터에 기초하여 상기 이미지 인식 모델을 업데이트하는 단계를 더 포함하는 세탁물 처리기기의 동작 방법.

Images