KR20210090914A

KR20210090914A - 인공 지능 조리 기기 및 조리 기기의 동작 방법

Info

Publication number: KR20210090914A
Application number: KR1020200004248A
Authority: KR
Inventors: 김보은
Original assignee: 엘지전자 주식회사
Priority date: 2020-01-13
Filing date: 2020-01-13
Publication date: 2021-07-21
Also published as: US20230068718A1; EP4093155A1; WO2021145511A1; EP4093155A4

Abstract

본 개시의 실시 예들은 인공 지능을 이용한 조리 기기 및 그 동작 방법에 관한 것으로, 인공 지능 조리 기기는 조리 대상 제품을 조리하기 위한 구동 장치, 상기 조리 대상 제품과 연관된 이미지를 획득하는 이미지 센서 및 상기 구동 장치 및 상기 이미지 센서와 작동적으로 연결된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 조리 기기가, 상기 조리 대상 제품과 연관된 이미지를 획득하고, 상기 이미지에 기초하여 상기 조리 대상 제품의 조리 정보를 획득하고, 상기 조리 정보에 기초하여 상기 조리 대상 제품의 조리를 수행하도록 제어할 수 있다.

Description

인공 지능 조리 기기 및 조리 기기의 동작 방법{ARTIFICIAL INTELLIGENCE COOKING APPLIANCE AND OPERATING METHOD FOR THE SAME}

다양한 실시 예들은 인공 지능을 이용한 조리 기기 및 그 동작 방법에 관한 것이다.

기술의 발전에 따라, 인공 지능(AI: Artificial Intelligence)을 갖춘 기기들이 널리 소개되고 있다. 특히, 인공 지능을 이용하여 문자 또는 이미지를 인식함으로써 정보를 검색할 수 있는 기술이 널리 사용되고 있으며 이러한 인공 지능을 이용한 서비스는 조리 기기를 비롯한 가전 기기(Home appliance)에도 적용되고 있다.

일반적으로, 조리 기기는 각종 열원을 이용하여 음식물을 조리하는 기구로, 열원에 따라 다양한 종류의 제품들이 출시되고 있다. 이중에서 전자레인지는 마이크로파를 이용하는 조리 기기로서 전자레인지의 전면 패널부에 형성된 입력부를 통해 입력되는 조리 시간, 조리 방식, 조리 대상 제품에 따라 음식물을 가열할 수 있다.

최근에는 전자레인지를 이용하여 간편하게 조리할 수 있는 가정 간편식(home meal replacement, HMR)의 수가 다양해지고 있으나, 사용자가 제품에 대한 조리 방법을 숙지하지 못한 상태에서는 조리 대상 제품에 따라 추천된 조리 방법을 조리 기기를 이용한 조리 과정에 적용하지 못하는 단점이 존재한다.

본 개시가 해결하기 위한 과제는 인공 지능을 이용하여 조리 대상 제품의 이미지로부터 조리 방법을 인식하고, 이를 조리 동작에 적용하기 위한 인공 지능 조리 기기 및 인공 지능 조리 기기의 동작 방법을 제공하는 것에 있다.

본 개시에서 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 개시의 다양한 실시 예들에 따른 인공 지능 조리 기기는 조리 대상 제품을 조리하기 위한 구동 장치, 상기 조리 대상 제품과 연관된 이미지를 획득하는 이미지 센서 및 상기 구동 장치 및 상기 이미지 센서와 작동적으로 연결된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 조리 기기가, 상기 조리 대상 제품과 연관된 이미지를 획득하고, 상기 획득한 이미지에 기초하여 상기 조리 대상 제품의 조리 정보를 획득하고, 상기 획득한 조리 정보에 기초하여 상기 조리 대상 제품의 조리를 수행하도록 제어할 수 있다.

본 개시의 다양한 실시 예들에 따른 전자 장치는 적어도 하나의 조리 기기와 데이터 통신을 수행하도록 구성되는 통신 회로, 상기 통신 회로와 작동적으로 연결되는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 전자 장치가, 조리 대상 제품과 연관된 이미지를 획득하고, 상기 획득된 이미지로부터 상기 조리 대상 제품의 조리 정보를 획득하고, 상기 획득한 조리 정보를 상기 적어도 하나의 조리 기기로 전송하도록 제어할 수 있다.

본 개시의 다양한 실시 예들에 따른 인공 지능 조리 기기의 동작 방법은 조리 대상 제품과 연관된 이미지를 획득하는 동작, 상기 획득한 이미지에 기초하여 상기 조리 대상 제품의 조리 정보를 획득하는 동작 및 상기 획득한 조리 정보에 기초하여 상기 조리 대상 제품의 조리를 수행하는 동작을 포함할 수 있다.

본 개시의 다양한 실시 예들에 따른 전자 장치의 동작 방법은 조리 대상 제품과 연관된 이미지를 획득하는 동작, 상기 획득한 이미지에 기초하여 상기 조리 대상 제품의 조리 정보를 획득하는 동작 및 상기 획득한 조리 정보를 적어도 하나의 조리 기기로 전송하는 동작을 포함할 수 있다.

본 개시의 실시 예들에 따른 인공 지능 조리 기기는 텍스트 인식을 통해 조리 대상 제품에 대한 이미지로부터 조리 정보를 획득하고, 획득된 조리 정보에 따라 조리 기기를 자동으로 제어하여 조리 기기에 대한 사용자 경험을 향상시킬 수 있다.

본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 다양한 실시 예들에 따른 AI(artificial intelligence) 시스템을 도시한 도면이다.
도 2는 다양한 실시 예에 따른 인공지능 기술을 포함하는 AI 서버를 도시한 도면이다.
도 3은 다양한 실시 예에 따른 조기 기기를 개념적으로 나타낸 도면이다.
도 4는 완전 연결된 인공 신경망 구조의 일 예를 도시한 도면이다.
도 5는 심층 신경망의 일종인 합성곱 신경망(convolutional neural network, CNN) 구조의 일 예를 도시한 도면이다.
도 6a는 다양한 실시 예에 따른 조리 기기를 설명하기 위한 도면이다.
도 6b는 다양한 실시 예에 따른 조리 기기에서 조리 대상 제품의 이미지로부터 조리 방법을 인식하는 동작을 설명하기 위한 도면이다.
도 7은 본 개시의 실시 예들에 따른 조리 기기의 동작 방법을 나타내는 흐름도이다.
도 8은 본 개시의 실시 예들에 따른 적어도 하나의 외부 장치의 동작 방법을 나타내는 흐름도이다.
도 9는 본 개시의 실시 예들에 따른 적어도 하나의 외부 장치에서 조리 정보를 전송하는 동작을 나타내는 흐름도이다.
도 10은 본 개시의 다양한 실시 예에 따른 외부 장치에서 타겟 기기를 선택하는 동작을 설명하기 위한 도면이다.
도 11은 본 개시의 실시 예들에 따른 조리 시스템에서 조리 동작을 수행하는 동작을 나타내는 도면이다.
도 12는 본 개시의 실시 예들에 따른 조리 시스템에서 조리 동작을 수행하는 다른 동작을 나타내는 도면이다.
도 13은 본 개시의 실시 예들에 따른 조리 시스템에서 조리 동작을 수행하는 또다른 동작을 나타내는 도면이다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략될 수 있다.

이하의 설명에서 사용되는 구성요소에 대한 접미사 ‘모듈’ 또는 ‘부’는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, ‘모듈’ 또는 ‘부’는 소프트웨어 구성요소 또는 FPGA(field programmable gate array), ASIC(application specific integrated circuit)과 같은 하드웨어 구성요소를 의미할 수 있으며, '부' 또는 '모듈'은 어떤 역할들을 수행한다. 그렇지만 '부' 또는 '모듈'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '부' 또는 '모듈'은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '부' 또는 '모듈'은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함할 수 있다. 구성요소들과 '부' 또는 '모듈'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '부' 또는 '모듈'들로 결합되거나 추가적인 구성요소들과 '부' 또는 '모듈'들로 더 분리될 수 있다.

본 개시의 몇몇 실시 예들과 관련하여 설명되는 방법 또는 알고리즘의 단계는 프로세서에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM, 또는 당업계에 알려진 임의의 다른 형태의 기록 매체에 상주할 수도 있다. 예시적인 기록 매체는 프로세서에 커플링 되며, 그 프로세서는 기록 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 기록 매체는 프로세서와 일체형일 수도 있다. 프로세서 및 기록 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC은 사용자 단말기 내에 상주할 수도 있다.

본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 개시의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제 1, 제 2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

어떤 구성요소가 다른 구성요소에 ‘연결되어’ 있다거나 ‘접속되어’ 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 ‘직접 연결되어’ 있다거나 ‘직접 접속되어’ 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

또한, 이하의 설명에서 언급되는 인공 지능은 인공적인 지능 또는 이를 만들 수 있는 방법론을 연구하는 분야를 의미하며, 기계 학습은 인공 지능 분야에서 다루는 다양한 문제를 정의하고 그것을 해결하는 방법론을 연구하는 분야를 의미한다. 또한, 기계 학습은 어떠한 작업에 대하여 꾸준한 경험을 통해 그 작업에 대한 성능을 높이는 알고리즘으로 정의하기도 한다.

도 1은 다양한 실시 예들에 따른 AI(artificial intelligence) 시스템(1)을 도시한 도면이다.

도 1을 참조하면, AI 시스템(1)은 AI 서버(200), 로봇(100a), 차량(100b), XR 장치(100c), 스마트폰(100d) 또는 가전(100e) 중에서 적어도 하나 이상이 클라우드 네트워크(5)를 통해 연결될 수 있다.

클라우드 네트워크(5)는 클라우드 컴퓨팅 인프라의 일부를 구성하거나 클라우드 컴퓨팅 인프라 안에 존재하는 네트워크를 의미할 수 있다. 여기서, 클라우드 네트워크(5)는 3G 네트워크, 4G 또는 LTE(Long Term Evolution) 네트워크 또는 5G 네트워크 등을 이용하여 구성될 수 있다.

다양한 실시 예들에 따라, AI 시스템(1)을 구성하는 각 전자 장치들(100a 내지 100e 및 200)은 클라우드 네트워크(5)를 통해 서로 연결될 수 있다. 일 실시 예에 따라, 각 전자 장치들(100a 내지 100e 및 200)은 기지국 또는 AP(access point)를 통해서 서로 통신할 수도 있지만, 기지국 또는 AP를 통하지 않고 직접 서로 통신할 수도 있다.

AI 서버(200)는 인공지능 프로세싱을 수행하는 서버와 빅 데이터에 대한 연산을 수행하는 서버를 포함할 수 있다.

AI 서버(200)는 AI 시스템(1)을 구성하는 인공지능 기술을 포함하는 전자 장치들인 로봇(100a), 차량(100b), XR 장치(100c), 스마트폰(100d) 또는 가전(100e) 중에서 적어도 하나 이상과 클라우드 네트워크(5)를 통하여 연결되고, 연결된 전자 장치들(100a 내지 100e)의 인공지능 프로세싱의 적어도 일부를 도울 수 있다.

다양한 실시 예들에 따라, AI 서버(200)는 전자 장치들(100a 내지 100e)을 대신하여 기계 학습 알고리즘에 따라 인공 신경망을 학습시킬 수 있고, 학습 모델을 직접 저장하거나 전자 장치들(100a 내지 100e)에 전송할 수 있다.

다양한 실시 예들에 따라, AI 서버(200)는 전자 장치들(100a 내지 100e)로부터 입력 데이터를 수신하고, 학습 모델을 이용하여 수신한 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성하여 전자 장치들(100a 내지 100e)로 전송할 수 있다.

다른 다양한 실시 예들에 따라, 전자 장치들(100a 내지 100e)은 직접 학습 모델을 이용하여 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성할 수도 있다. 일 실시 예에 따르면, 가전(100e)은 AI 기술이 적용될 수 있으며, 이하의 도 6a 내지 도 13을 통해 후술하는 바와 같이, 조리 대상 제품의 이미지로부터 조리 방법을 인식하고, 이를 조리 동작에 적용할 수 있는 조리 기기를 포함할 수 있다. 예를 들어, 가전(100e)은 마그네트론에 의해 발생되는 마이크로파를 이용하여 식품 내에 함유된 물분자를 진동케 하고, 이 진동에 의해 생긴 마찰열로 식품을 빠르게 가열시키는 전자레인지를 포함할 수 있다. 그러나, 이는 예시적일 뿐, 본 개시의 실시 예가 이에 한정되는 것이 아니다. 예컨대, 가전(100e)은 전자 오븐, 가스 오븐, 가스레인지 등과 같이 식품을 조리할 수 있는 다양한 기기를 포함할 수도 있다.

도 2는 다양한 실시 예에 따른 인공지능 기술을 포함하는 AI 서버(200)를 도시한 도면이다.

도 2를 참조하면, AI 서버(200)는 기계 학습 알고리즘을 이용하여 인공 신경망을 학습시키거나 학습된 인공 신경망을 이용하는 장치를 의미할 수 있다. 여기서, AI 서버(200)는 복수의 서버들로 구성되어 분산 처리를 수행할 수도 있고, 5G 네트워크로 정의될 수도 있다. 일 실시 예에 따라, AI 서버(200)는 AI 시스템(1)을 구성하는 적어도 하나의 전자 장치(예를 들어, 도 1의 100a 내지 100e)의 일부 구성으로 포함될 수 있다. 또한, AI 서버(200)는 인공지능 프로세싱 중 적어도 일부를 AI 시스템(1)을 구성하는 적어도 하나의 전자 장치(100a 내지 100e)와 함께 수행할 수도 있다. 일 실시 예로, 적어도 하나의 전자 장치(100a 내지 100e)의 컴퓨팅 파워가 부족할 경우 적어도 하나의 전자 장치(100a 내지 100e)는 AI 서버(200)에 인공지능 프로세싱 중 적어도 일부 또는 전부를 수행하도록 요청할 수 있다.

AI 서버(200)는 통신 회로(210), 메모리(230), 러닝 프로세서(240) 및 프로세서(260)를 포함할 수 있다.

다양한 실시 예에 따르면, 통신 회로(210)는 적어도 하나의 외부 장치(예를 들어, 적어도 하나의 전자 장치(100a 내지 100e))와 데이터를 송수신할 수 있다. 일 실시 예에 따라 통신 회로(210)는 클라우드 네트워크(5)를 통해 외부 장치와 데이터를 송수신할 수 있거나, 다른 실시 예에 따라 통신 회로(210)는 외부 장치와 직접 데이터를 송수신할 수 있다.

다양한 실시 예에 따르면, 메모리(230)는 모델 저장부(231)를 포함할 수 있다. 모델 저장부(231)는 러닝 프로세서(240)를 통하여 학습 중인 또는 학습된 모델(또는 인공 신경망(231a))을 저장할 수 있다.

다양한 실시 예에 따르면, 러닝 프로세서(240)는 학습 데이터를 이용하여 인공 신경망(231a)을 학습시킨 학습 모델을 생성할 수 있다. 학습 모델은 인공 신경망의 AI 서버(200)에 탑재된 상태에서 이용되거나, 외부 장치에 탑재되어 이용될 수도 있다. 일 실시 예에 따르면, 학습 모델은 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 학습 모델의 일부 또는 전부가 소프트웨어로 구현되는 경우 학습 모델을 구성하는 하나 이상의 명령어(instruction)는 메모리(230)에 저장될 수 있다.

다양한 실시 예에 따르면, 프로세서(260)는 학습 모델을 이용하여 새로운 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성할 수 있다.

도 3은 다양한 실시 예에 따른 조기 기기(100)(예를 들어, 인공 지능 조리 기기)를 개념적으로 도시한 도면이다. 그리고, 도 6a는 다양한 실시 예에 따른 조리 기기(100)를 설명하기 위한 도면(600)이고, 도 6b는 다양한 실시 예에 따른 조리 기기(100)에서 조리 대상 제품의 이미지로부터 조리 방법을 인식하는 동작을 설명하기 위한 도면(640)이다. 도 3에 도시된 조리 기기(100)는 도 1을 통해 전술한 가전(100e)일 수 있다.

도 3을 참조하면, 조리 기기(100)는 통신 회로(110), 입력 장치(120), 정보 수집 장치(130), 출력 장치(140), 러닝 프로세서(150), 메모리(160), 구동 장치(170) 및 프로세서(180)를 포함할 수 있다.

다양한 실시 예들에 따르면, 통신 회로(110)는 유무선 통신 기술을 이용하여 다른 전자 장치나 AI 서버(200)와 같은 외부 장치들과 데이터를 송수신하도록 구성될 수 있다. 예컨대, 통신 회로(110)는 외부 장치들과 센서 정보, 사용자 입력, 학습 모델, 제어 신호 등을 송수신할 수 있다. 일 실시 예에 따르면, 통신 회로(110)는 GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), LTE(Long Term Evolution), 5G (fifth generation communication), WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), DSRC(dedicated short range communication), 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), ZigBee, NFC(Near Field Communication) 등을 포함하는 무선 통신 기술 또는 LAN(local area network), WAN(wide area network), MAN(metropolitan area network), 이더넷 등을 포함하는 유선 통신 기술을 이용할 수 있다.

다양한 실시 예들에 따르면, 입력 장치(120)는 조리 기기(100)의 구성요소(예를 들어, 프로세서(180))에 사용될 명령 또는 데이터를 조리 기기(100)의 외부(예를 들어, 사용자)로부터 수신할 수 있다. 예를 들어, 입력 장치(120)는 조리의 시작신호를 입력하기 위한 버튼, 조리 방식(예를 들어, 조리 시간, 출력 레벨 등)을 선택하기 위한 버튼 등을 포함할 수 있다. 그러나, 이는 예시적일 뿐, 본 개시의 실시 예가 이에 한정되는 것이 아니다. 예컨대, 입력 장치(120)는 마이크, 터치 센서 등으로 구현될 수도 있다.

다양한 실시 예들에 따르면, 정보 수집 장치(130)는 조리 기기(100)의 구성요소(예를 들어, 프로세서(180))에 사용될 다양한 종류의 데이터를 획득할 수 있다. 일 실시 예에 따르면, 정보 수집 장치(130)는 모델 학습을 위한 학습 데이터 및 학습 모델을 이용하여 출력을 획득할 때 사용될 입력 데이터 등을 획득할 수 있다. 이러한 경우, 정보 수집 장치(130)는 가공되지 않은 입력 데이터를 획득할 수도 있으며, 프로세서(180) 또는 러닝 프로세서(150)는 입력 데이터에 대하여 전처리로써 입력 특징 점(input feature)을 추출할 수 있다. 예를 들어, 정보 수집 장치(130)는 영상 신호 입력을 위한 이미지 센서, 초음파 센서, 근접 센서, 중량 센서 또는 광센서 등과 같은 적어도 하나의 센서를 포함할 수 있으나, 이에 한정되는 것은 아니다.

다양한 실시 예들에 따르면, 출력 장치(140)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시킬 수 있다. 출력 장치(140)는 시각 정보를 출력하는 디스플레이 및/또는 LED, 청각 정보를 출력하는 스피커, 촉각 정보를 출력하는 햅틱 모듈 등을 포함할 수 있다.

다양한 실시 예들에 따르면, 러닝 프로세서(150)는 데이터 마이닝, 데이터 분석, 지능형 의사 결정, 및 기계 학습 알고리즘 및 기술을 위해 이용될 정보를 수신, 분류, 저장 및 출력하도록 구성될 수 있다.

일 실시 예에 따르면, 러닝 프로세서(150)는 조리 기기(100)에 의해 수신, 검출, 감지, 생성, 사전 정의 또는 다른 방식으로 출력되거나 수신, 검출, 감지, 생성, 사전 정의 또는 다른 방식으로 다른 컴포넌트, 디바이스, 전자 장치 또는 전자 장치와 통신하는 장치에 의해 출력되는 데이터를 저장하도록 구성된 하나 이상의 메모리 유닛을 포함 할 수 있다. 예를 들어, 러닝 프로세서(150)는 조리 기기(100)에 통합되거나 구현된 메모리(160)를 사용하여 구현될 수 있다. 다른 예로, 러닝 프로세서(150)는 조리 기기(100)에 직접 결합된 외부 메모리 또는 조리 기기(100)와 통신하는 서버에서 유지되는 메모리를 사용하여 구현될 수 있다. 또 다른 예로, 러닝 프로세서(150)는 클라우드 컴퓨팅 환경에서 유지되는 메모리, 또는 네트워크와 같은 통신 방식을 통해 조리 기기(100)에 의해 액세스 가능한 다른 원격 메모리 위치를 이용하여 구현될 수 있다. 또 다른 예로, 러닝 프로세서(150)는 조리 기기(100)의 프로세서(180)와 통합되어 구현될 수 있다.

일 실시 예에 따르면, 러닝 프로세서(150)는 지도 학습, 비지도 학습, 강화 학습, 데이터 마이닝, 예측 분석 또는 다른 전자 장치에서 사용하기 위해 데이터를 식별, 색인화, 카테고리화, 조작, 저장, 검색 및 출력하기 위해 데이터를 하나 이상의 데이터베이스에 저장하도록 구성될 수 있다.

예를 들어, 러닝 프로세서(150)에 의해 저장된 정보는 다양한 유형의 데이터 분석 알고리즘 및 기계 학습 알고리즘 중 임의의 것을 사용하여 조리 기기(100)의 구성요소(예를 들어, 프로세서(180))에 의해 이용될 수 있다. 이러한, 알고리즘의 예로는, k-최근 인접 시스템, 퍼지 논리 (예: 가능성 이론), 신경 회로망, 볼츠만 기계, 벡터 양자화, 펄스 신경망, 지원 벡터 기계, 최대 마진 분류기, 힐 클라이밍, 유도 논리 시스템 베이지안 네트워크, 페리트넷 (예: 유한 상태 머신, 밀리 머신, 무어 유한 상태 머신), 분류기 트리 (예: 퍼셉트론 트리, 지원 벡터 트리, 마코프 트리, 의사 결정 트리 포리스트, 임의의 포리스트), 판돈 모델 및 시스템, 인공 융합, 센서 융합, 이미지 융합, 보강 학습, 증강 현실, 패턴 인식, 자동화된 계획 등을 포함할 수 있다.

일 실시 예에 따르면, 러닝 프로세서(150)는 기계 학습 알고리즘에서 사용하는 인공 신경망(artificial neural network, ANN) 모델을 메모리(160)에 저장할 수 있고, 인공 신경망 모델을 학습시킨 학습 모델을 생성하여 메모리(160)에 저장하고 있을 수 있으며, 학습 모델을 이용하여 입력되는 데이터에 기초하여 분류, 검출, 인지와 같은 작업을 수행할 수 있다. 인공 신경망은 기계 학습에서 사용되는 모델로서, 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)들로 구성되는, 문제 해결 능력을 가지는 모델 전반을 의미할 수 있다. 인공 신경망은 다른 레이어의 뉴런들 사이의 연결 패턴, 모델 파라미터를 갱신하는 학습 과정, 출력 값을 생성하는 활성화 함수(Activation Function)에 의해 정의될 수 있다. 예를 들어, 인공 신경망은 이하의 도 4를 통해 후술하는 바와 같이, 완전 연결된 인공 신경망 구조를 포함할 수 있다.

일 실시 예에 따르면, 러닝 프로세서(150)는 학습 데이터를 이용하여 인공 신경망으로 구성된 모델들(161a, 161b)을 학습시킬 수 있다. 예를 들어, 러닝 프로세서(150)는 복수의 인공 신경망으로 구성된 모델들(161a, 161b)을 학습시킬 수 있는데, 이 경우, 각 모델을 위한 학습 데이터는 각 모델의 목적에 따라 상이할 수 있다. 여기서, 학습된 인공 신경망을 학습 모델이라 칭할 수 있다. 학습 모델은 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 학습 모델은 학습 데이터가 아닌 새로운 입력 데이터에 대하여 결과 값을 추론해 내는데 사용될 수 있고, 추론된 값은 어떠한 동작을 수행하기 위한 판단의 기초로 이용될 수 있다. 일 실시 예에 따라, 러닝 프로세서(150)는 AI 서버(200)의 러닝 프로세서(240)과 함께 인공지능 프로세싱을 수행할 수 있다.

다양한 실시 예들에 따르면, 메모리(160)는 조리 기기(100)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 예컨대, 메모리(160)는 입력 장치(120) 및/또는 정보 수집 장치(130)에서 획득한 입력 데이터, 학습 데이터, 학습 모델, 학습 히스토리, 러닝 프로세서(150)를 위한 명령어, 프로세서(180)를 위한 명령어, 러닝 프로세서(150)를 통하여 학습 중인 또는 학습된 모델(또는 인공 신경망) 등을 저장할 수 있다.

다양한 실시 예에 따르면, 구동 장치(170)는 전기의 입력에 의해 열을 발산하는 적어도 하나의 열원을 포함할 수 있다. 예를 들어, 적어도 하나의 열원은 마그네트론 또는 히터 중 적어도 하나를 포함할 수 있다. 또한, 추가적으로 또는 선택적으로, 구동 장치(170)는 조리 기기(100) 내부의 공기를 유동시키기 위한 적어도 하나의 팬 또는 조리 기기(100)에 전원을 공급하도록 구동된 전원 공급 장치 중 적어도 하나를 포함할 수도 있다.

다양한 실시 예에 따르면, 프로세서(180)는 조리 기기(100)의 전반적인 동작을 제어하도록 구성될 수 있다. 일 실시 예에 따르면, 프로세서(180)는, 메모리(160)에 저장된 소프트웨어(예를 들어, 프로그램)를 실행하여, 프로세서(180)에 연결된 구성 요소(예를 들어, 통신 회로(110), 입력 장치(120), 정보 수집 장치(130), 출력 장치(140), 러닝 프로세서(150), 메모리(160) 또는 구동 장치(170)) 중 적어도 하나의 구성 요소를 제어할 수 있다. 예를 들어, 프로세서(180)는 연산 처리 기능을 가지는 프로세서를 포함할 수 있다. 예컨대, 프로세서(180)는 CPU(central processing unit), MCU(micro computer unit) 또는 GPU(graphics processing unit) 등의 연산처리장치를 포함할 수 있으나, 이에 한정되는 것은 아니다.

다양한 한 실시 예에 따르면, 프로세서(180)는, 조리 대상 제품의 이미지로부터 조리 방법을 인식하고 이를 조리 동작에 적용하기 위한 이하의 동작을 제어할 수 있다.

일 실시 예에 따르면, 프로세서(180)는 적어도 하나의 조리 대상 제품에 대한 이미지를 획득할 수 있다. 프로세서(180)는 조리 기기(100)의 정보 수집 장치(130)를 통해 조리 대상 제품에 대한 적어도 하나의 이미지를 획득할 수 있다. 예를 들어, 정보 수집 장치(130)는, 도 6a에 도시된 바와 같이, 조리 기기(100) 외부에 배치(610)되거나 또는 조리 기기(100) 내부에 배치(620)될 수 있다. 예를 들어, 정보 수집 장치(130)는 본체 전면에 구비된 도어(611)의 우측 전면 패널에, 입력 장치(예를 들어, 조리시간 설정 다이얼(613) 및 다수의 입력 버튼(615)) 및 출력 장치(617)와 함께 배치된 이미지 센서(619)를 포함할 수 있다. 다른 예로, 정보 수집 장치(130)는 도어(611)가 개방된 상태에서 노출되는 조리 기기(100) 내부(621)의 상부에 배치되는 이미지 센서(623)를 포함할 수도 있으나, 정보 수집 장치(130)의 배치가 이에 한정되는 것은 아니다.

일 실시 예에 따르면, 프로세서(180)는 획득된 이미지로부터 조리 정보를 획득할 수 있다. 조리 정보는 조리 대상 제품의 포장 등에 인쇄된 조리 방법일 수 있다. 예를 들어, 프로세서(180)는 텍스트 인식(optical character recognition)에 기초하여 이미지로부터 조리 정보를 획득할 수 있다. 예컨대, 프로세서(180)는, 도 6b에 도시된 바와 같이, 이미지(642)로부터 조리 기기, 조리 온도, 조리 시간 중 적어도 하나를 포함하는 텍스트(예를 들어, 전자레인지에 약 1분 돌리세요)(644)의 적어도 일부를 조리 정보로 획득할 수 있다.

일 실시 예에 따르면, 조리 정보 획득에 응답하여, 프로세서(180)는 조리 정보에 기초하여 조리를 시작할 수 있다. 예를 들어, 프로세서(180)는 이미지로부터 획득된 조리 온도 또는 조리 시간 중 적어도 하나에 따라 조리가 자동으로 수행되도록 구동 장치(170)를 제어할 수 있다. 또한, 선택적으로 또는 추가적으로, 프로세서(180)는 조리를 시작하기 전에, 획득된 조리 정보를 사용자에게 통지할 수 있으며, 이러한 경우, 프로세서(180)는 사용자 입력을 수신하여 조리를 수행할 수도 있다.

일 실시 예에 따르면, 조리 정보의 획득이 실패하는 경우, 프로세서(180)는 적어도 하나의 외부 장치(예를 들어, 도 1에 도시된 AI 서버(200), 로봇(100a), 차량(100b), XR 장치(100c), 스마트폰(100d) 또는 가전(100e))로부터 조리 정보를 획득할 수 있다. 예를 들어, 적어도 하나의 외부 장치는 조리 기기(100)보다 높은 텍스트 인식 능력을 가질 수 있다. 예컨대, 프로세서(180)는 정보 수집 장치(130)를 통해 획득된 적어도 하나의 이미지를 적어도 하나의 외부 장치로 전송하고, 이에 대한 응답으로 외부 장치로부터 획득된 조리 정보를 수신할 수 있다.

도 4는 완전 연결된 인공 신경망 구조의 일 예를 도시한 도면이다. 그리고, 도 5는 심층 신경망의 일종인 합성곱 신경망(convolutional neural network, CNN) 구조의 일 예를 도시한 도면이다.

도 4를 참조하면, 인공 신경망은 입력 층(Input Layer)(10), 출력 층(Output Layer)(20), 그리고 선택적으로 하나 이상의 은닉 층(Hidden Layer)(31, 33)을 포함할 수 있다. 각 층은 신경망의 뉴런에 대응되는 하나 이상의 노드를 포함하고, 인공 신경망은 한 층의 노드와 다른 층의 노드 간을 연결하는 시냅스를 포함할 수 있다. 인공 신경망에서 노드는 시냅스를 통해 입력되는 입력 신호들을 받고, 각 입력 신호들에 대한 가중치 및 편향에 대한 활성 함수에 기초하여 출력 값을 생성할 수 있다. 각 노드의 출력 값은 시냅스를 통해 다음 층의 입력 신호로 작용할 수 있다. 한 층의 모든 노드와 다음 층의 모든 노드가 시냅스를 통해 모두 연결된 경우의 인공 신경망을 완전 연결된 인공 신경망이라 칭할 수 있다.

인공 신경망 모델의 파라미터는 학습을 통해 결정되는 파라미터를 의미하며, 시냅스 연결의 가중치와 뉴런의 편향 등이 포함될 수 있다. 그리고, 하이퍼 파라미터는 기계 학습 알고리즘에서 학습 전에 설정되어야 하는 파라미터를 의미하며, 학습률(Learning Rate), 반복 횟수, 미니 배치 크기, 초기화 함수 등이 포함될 수 있다.

인공 신경망 중에서 복수의 은닉 층을 포함하는 심층 신경망(deep neural network, DNN)으로 구현되는 기계 학습을 심층 학습(Deep Learning)이라 부르기도 하며, 심층 학습은 기계 학습의 일부이다. 이하에서, 기계 학습은 심층 학습을 포함하는 의미로 사용될 수 있다.

일 실시 예에 따르면, 심층 신경망은 합성곱 신경망(convolutional neural network, CNN)을 포함할 수 있다. 이미지, 동영상, 문자열과 같은 구조적 공간 데이터를 식별하는 데 있어서는 도 3에 도시된 것과 같은 합성곱 신경망 구조가 더 효과적일 수 있다. 합성곱 신경망은 이미지의 공간 정보를 유지하면서 인접 이미지와의 특징을 효과적으로 인식할 수 있다. 예를 들어, 도 5에 도시된 바와 같이, 합성곱 신경망은 특징 추출 층(60)과 분류 층(70)을 포함할 수 있다. 특징 추출 층(60)은 합성곱(convolution)을 이용하여 이미지에서 공간적으로 가까이에 위치한 것들을 합성하여 이미지의 특징을 추출할 수 있다.

특징 추출 층(60)은 합성곱 층(61, 65)과 풀링 층(63, 67)을 복수 개 쌓은 형태로 구성될 수 있다. 합성곱 층(61, 65)은 입력 데이터에 필터를 적용한 후 활성화 함수를 적용한 것일 수 있다. 합성곱 층(61, 65)은 복수의 채널을 포함할 수 있으며, 각각의 채널은 서로 상이한 필터 및/또는 서로 상이한 활성화 함수를 적용한 것일 수 있다. 합성곱 층(61, 65)의 결과는 특징 지도(feature map)일 수 있다. 특징 지도는 2차원 행렬 형태의 데이터일 수 있다. 풀링 층(63, 67)은 합성곱 층(61, 65)의 출력 데이터, 즉 특징 지도를 입력으로 받아서 출력 데이터의 크기를 줄이거나, 특정 데이터를 강조하는 용도로 사용될 수 있다. 풀링 층(63, 67)은 합성곱 층(61, 65)의 출력 데이터의 일부 데이터 중에서 가장 큰 값을 선택하는 맥스 풀링(max pooling), 평균값을 선택하는 평균 풀링(average pooling), 최소 값을 선택하는 민 풀링(min pooling)의 함수를 적용하여 출력 데이터를 생성할 수 있다.

일련의 합성곱 층과 풀링 층을 거치면서 생성되는 특징 지도는 그 크기가 점점 작아질 수 있다. 마지막 합성곱 층과 풀링 층을 거쳐 생성된 최종 특징 지도는 1차원 형태로 변환되어 분류 층(70)으로 입력될 수 있다. 분류 층(70)은 도 4에 도시된 완전 연결된 인공 신경망 구조일 수 있다. 분류 층(70)의 입력 노드의 개수는 최종 특징 지도의 행렬의 원소 수에 채널의 수를 곱한 것과 동일할 수 있다.

심층 신경망 구조로 상술한 합성곱 신경망 외에도 순환신경망(recurrent neural network, RNN), LSTM(long short term memory network), GRU(gated recurrent units)등이 사용될 수도 있다. 순환신경망은 순차적인 데이터를 학습하여 분류 또는 예측을 수행할 수 있는 것으로 내부에 순환 구조가 들어 있어 과거 시간의 학습이 가중치와 곱해져 현재 학습에 반영될 수 있은 구조이다. 따라서 현재의 출력 결과는 과거 시간에서의 출력 결과에 영향을 받으며, 은닉 층은 일종의 메모리 기능을 수행한다. 순환신경망은 음성 파형을 분석하여 기계 번역을 수행하거나, 텍스트의 문장 앞 뒤 성분을 파악하여 텍스트를 생성하거나, 음성 인식을 위해 사용될 수 있다.

인공 신경망 학습의 목적은 손실 함수를 최소화하는 모델 파라미터를 결정하는 것으로 볼 수 있다. 손실 함수는 인공 신경망의 학습 과정에서 최적의 모델 파라미터를 결정하기 위한 지표로 이용될 수 있다. 완전 연결된 인공 신경망의 경우, 학습에 의하여 각 시냅스의 가중치가 결정될 수 있으며, 합성곱 신경망의 경우, 학습에 의하여 특징 지도를 추출하기 위한 합성곱 층의 필터가 결정될 수 있다.

기계 학습은 학습 방식에 따라 지도 학습(Supervised Learning), 비지도 학습(Unsupervised Learning), 강화 학습(Reinforcement Learning)으로 분류할 수 있다.

지도 학습은 학습 데이터에 대한 레이블(label)이 주어진 상태에서 인공 신경망을 학습시키는 방법을 의미하며, 레이블이란 학습 데이터가 인공 신경망에 입력되는 경우 인공 신경망이 추론해 내야 하는 정답(또는 결과 값)을 의미할 수 있다. 비지도 학습은 학습 데이터에 대한 레이블이 주어지지 않는 상태에서 인공 신경망을 학습시키는 방법을 의미할 수 있다. 강화 학습은 어떤 환경 안에서 정의된 에이전트가 각 상태에서 누적 보상을 최대화하는 행동 혹은 행동 순서를 선택하도록 학습시키는 학습 방법을 의미할 수 있다.

도 7은 본 개시의 실시 예들에 따른 조리 기기(100)(예를 들어, 인공 지능 조리 기기)의 동작 방법을 나타내는 흐름도(700)이다. 이하 실시 예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 또한, 이하의 동작들은 조리 기기(100)의 프로세서(180)에 의해 수행되거나 프로세서(180)에 의해 실행 가능한 명령어들로 구현될 수 있다.

도 7을 참조하면, 다양한 실시 예에 따른 조리 기기(100)는, S710 동작에서 조리 이벤트를 감지할 수 있다. 일 실시 예에 따르면, 조리 이벤트는 적어도 하나의 조리 대상 제품을 조리 기기(100)를 이용하여 조리하는 상황일 수 있다. 예를 들어, 조리 이벤트는 조리 기기(100) 외부에 배치된 정보 수집 장치(130)의 동작 버튼이 입력되거나 정보 수집 장치(130)로 조리 대상 제품이 접근하는 것을 감지하는 상황일 수 있다. 다른 예로, 조리 이벤트는 조리 기기(100) 내부 공간에 배치된 정보 수집 장치(130)에 의해 조리 대상 제품이 감지되는 상황을 포함할 수도 있다.

다양한 실시 예에 따른 조리 기기(100)는, 조리 이벤트 감지에 응답하여, S720 동작에서 조리 대상 제품과 관련된 이미지를 획득할 수 있다. 일 실시 예에 따르면, 조리 기기(100)는 조리 대상 제품을 촬영하여 조리 대상 제품의 이미지를 획득할 수 있다. 예컨대, 획득되는 이미지는 조리 대상 제품의 포장, 조리 대상 제품의 로고(예를 들어, 제품명) 또는 조리 대상 제품의 내용물 중 적어도 하나를 포함할 수 있으나, 본 개시가 이에 제한되는 것은 아니다.

다양한 실시 예에 따른 조리 기기(100)는, 조리 이벤트 감지에 응답하여, S730 동작에서 텍스트 인식을 통해 이미지로부터 조리 정보가 획득되는지 여부를 판단할 수 있다. 조리 정보는 조리 대상 제품의 포장 등에 인쇄된 조리 방법일 수 있다. 일 실시 예에 따르면, 조리 기기(100)는 이미지로부터 조리 기기, 조리 온도, 조리 시간 중 적어도 하나와 관련된 텍스트를 조리 정보로 획득할 수 있다. 다른 일 실시 예에 따르면, 조리 기기(100)는 조리 대상 제품의 포장 또는 로고 또는 제품명 또는 내용물에 연관하여 조리 방법을 메모리(160)에 저장하고 있을 수 있다. 그리고, 조리 기기(100)는 획득한 이미지에서 텍스트 인식을 통해 조리 정보를 획득하지 못하면 획득한 이미지에 포함되어 있는 조리 대상 제품의 포장 또는 로고 또는 제품명 또는 내용물에 대응한 조리 방법이 메모리(160)에 저장되어 있는 경우, 메모리(160)로부터 대응하는 조리 방법을 획득할 수 있다.

다양한 실시 예에 따른 조리 기기(100)는, 조리 정보의 획득에 성공하는 것에 응답하여, S740 동작에서 조리 정보에 기초하여 조리를 시작할 수 있다. 일 실시 예에 따르면, 조리 기기(100)는 이미지로부터 획득된 조리 온도 또는 조리 시간 중 적어도 하나에 따라 조리가 자동으로 수행되도록 구동 장치(170)를 제어할 수 있다.

다양한 실시 예에 따른 조리 기기(100)는, 조리 정보의 획득에 실패하는 것에 응답하여, S750 동작에서 적어도 하나의 외부 장치로부터 조리 정보를 획득할 수 있다. 일 실시 예에 따르면, 적어도 하나의 외부 장치는 AI 기술이 적용된 장치로서, 도 1에 도시된 AI 서버(200), 로봇(100a), 차량(100b), XR 장치(100c), 스마트폰(100d) 또는 가전(100e) 중 적어도 하나를 포함할 수 있다. 예를 들어, 조리 기기(100)는 정보 수집 장치(130)를 통해 획득된 적어도 하나의 이미지를 적어도 하나의 외부 장치로 전송하고, 이에 대한 응답으로 외부 장치에 의해 획득된 조리 정보를 수신할 수 있다. 이러한 경우, 조리 기기(100)는, S740 동작에서 외부 장치로부터 획득된 조리 정보에 기초하여 조리를 시작할 수 있다. 일 실시 예에 따르면, 적어도 하나의 이미지와 조리 정보는 조리 기기(100)와 외부 장치 사이에 형성된 유선 통신(예를 들어, LAN(local area network)) 채널 또는 무선 통신(예를 들어, 5G, LTE, Bluetooth, Wi-Fi 등) 채널을 통해 송수신될 수 있다.

다양한 실시 예에 따른 조리 기기(100)는 전술한 바와 같이, 제품 포장에 인쇄된 조리 방법을 인식하여 조리 동작을 수행함으로써, 조리 대상 제품과 조리 방법을 정의한 별도의 레시피를 저장하지 않고도 조리 대상 제품에 추천된 조리 방법에 따라 조리 기기(100)를 자동으로 제어할 수 있다.

다양한 실시 예에 따르면, 도 7을 통해 설명된 조리 기기(100)의 동작 중 적어도 하나의 동작은 생략되거나 다른 동작이 추가될 수 있다. 일 실시 예에 따르면, 조리 기기(100)의 S750 동작은 생략될 수도 있으며, 조리 기기(100)는 S740 동작을 수행하기 전에 획득된 조리 정보를 사용자에게 통지하는 동작 및/또는 조리 시작을 지시하는 사용자 입력을 수신하는 추가적인 동작을 수행할 수도 있다.

도 8은 본 개시의 실시 예들에 따른 적어도 하나의 외부 장치의 동작 방법을 나타내는 흐름도(800)이다. 또한, 이하 설명에서 언급되는 적어도 하나의 외부 장치는 조리 기기(100)와 통신을 형성할 수 있는 장치로서, 도 1에 도시된 AI 서버(200), 로봇(100a), 차량(100b), XR 장치(100c), 스마트폰(100d) 또는 가전(100e) 중 적어도 하나를 포함할 수 있다. 이하 실시 예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 또한, 이하의 동작들은 적어도 하나의 외부 장치의 프로세서에 의해 수행되거나 프로세서에 의해 실행 가능한 명령어들로 구현될 수 있다.

도 8을 참조하면, 다양한 실시 예에 따른 외부 장치(예를 들어, AI 서버(200) 또는 스마트폰(100d))는, S810 동작에서 조리 대상 제품과 관련된 이미지를 획득할 수 있다. 이미지는 도 7을 통해 전술한 바와 같이, 조리 대상 제품의 포장, 조리 대상 제품의 로고(예를 들어, 제품명) 또는 조리 대상 제품의 내용물 중 적어도 하나를 포함할 수 있으나, 본 개시가 이에 제한되는 것은 아니다. 일 실시 예에 따르면, 외부 장치는 외부 장치에 구비된 정보 수집 장치(예: 이미지 센서)를 이용하여 조리 대상 제품과 관련된 이미지를 획득할 수 있다. 다른 실시 예에 따르면, 외부 장치는 통신이 형성된 적어도 하나의 조리 기기(100)로부터 조리 대상 제품과 관련된 이미지를 수신할 수도 있다.

다양한 실시 예에 따른 외부 장치(예를 들어, AI 서버(200) 또는 스마트폰(100d))는, S820 동작에서 이미지에 포함된 텍스트 데이터를 인식할 수 있다. 일 실시 예에 따르면, 외부 장치는 조리 대상 제품의 포장 등에 인쇄된 조리 방법을 인식하여 조리 정보를 획득할 수 있다.

다양한 실시 예에 따른 외부 장치(예를 들어, AI 서버(200) 또는 스마트폰(100d))는, S830 동작에서 텍스트 인식을 통해 조리 정보가 획득되는지 여부를 판단할 수 있다. 일 실시 예에 따르면, 외부 장치는 조리 기기, 조리 온도, 조리 시간 중 적어도 하나와 연관된 텍스트가 이미지로부터 인식되는지 여부를 판단할 수 있다.

다양한 실시 예에 따른 외부 장치(예를 들어, AI 서버(200) 또는 스마트폰(100d))는, 텍스트 인식을 통해 조리 정보의 획득에 성공하는 것에 응답하여, S840 동작에서 이미지를 통해 획득된 조리 정보를 조리 기기(100)로 전송할 수 있다. 일 실시 예에 따르면, 외부 장치는 조리 정보를 요청한 조리 기기(100)로 조리 정보를 전송할 수 있다. 다른 실시 예에 따르면, 외부 장치는 조리 정보에 기초하여, 조리 대상인 타겟 기기를 결정하고 결정된 타겟 기기로 조리 정보를 전송할 수도 있다. 예를 들어, 외부 장치는 이미지로부터 “전자레인지에 약 1분 돌리세요”라는 조리 정보를 획득하는 경우, 전자레인지를 타겟 대상으로 결정하고, “약 1분”이라는 조리 정보를 전송할 수 있다.

다양한 실시 예에 따른 외부 장치(예를 들어, AI 서버(200) 또는 스마트폰(100d))는, 텍스트 인식을 통해 조리 정보의 획득에 실패하는 것에 응답하여, S850 동작에서 이미지 인식을 통해 조리 대상을 식별할 수 있다. 일 실시 예에 따르면, 외부 장치는 조리 대상 제품의 로고(예를 들어, 제품명) 또는 조리 대상 제품의 내용물을 이미지 인식 결과로 획득하고 이에 기초하여 조리 대상을 식별할 수 있다.

다양한 실시 예에 따른 외부 장치(예를 들어, AI 서버(200) 또는 스마트폰(100d))는, 조리 대상 식별에 응답하여, S860 동작에서, 저장된 조리 정보 중 식별된 조리 대상과 관련된 조리 정보를 획득할 수 있다. 일 실시 예에 따르면, 외부 장치는 조리 대상 제품과 조리 방법을 정의한 별도의 레시피를 저장할 수 있으며, 이러한 저장된 레시피 중 조리 대상에 대응하는 레시피를 조리 정보로 획득할 수 있다. 이러한 경우, 외부 장치는 S840 동작에서 저장된 레시피로부터 획득된 조리 정보를 조리 기기(100)로 전송할 수 있다. 일 실시 예에 따르면, 외부 장치는 머신 러닝(예를 들어, 딥 러닝)을 통해 조리 대상을 식별하고 저장된 레시피를 갱신하는 동작을 수행할 수도 있다.

도 9는 본 개시의 실시 예들에 따른 적어도 하나의 외부 장치에서 조리 정보를 전송하는 동작을 나타내는 흐름도(900)이다. 그리고, 도 10은 본 개시의 다양한 실시 예에 따른 외부 장치에서 타겟 기기를 선택하는 동작을 설명하기 위한 도면(1000)이다. 이하 설명되는 도 9의 동작들은, 도 8의 S840 동작의 다양한 실시 예를 나타낸 것일 수 있다. 또한, 이하 실시 예에서 각 동작들은 반드시 순차적으로 수행되는 것은 아니며, 개시된 동작 중 적어도 하나의 동작이 생략되거나 다른 동작이 추가될 수도 있다.

도 9를 참조하면, 다양한 실시 예에 따른 외부 장치(예를 들어, AI 서버(200) 또는 스마트폰(100d))는, S910 동작에서 복수의 조리 정보가 획득되는지 여부를 판단할 수 있다. 복수의 조리 정보는 복수의 조리 기기(100)를 이용하여 조리 대상 제품을 조리하는 방법일 수 있다. 예를 들어, 복수의 조리 정보가 획득된 상황은, 제 1 조리 기기(예를 들어, 전자레인지)를 이용하는 제 1 조리 방법과 제 2 조리 기기(예를 들어, 오븐)를 이용하는 제 2 조리 방법이 포함된 이미지에 대한 인식 결과가 획득되는 상황일 수 있다. 반대로 복수의 조리 정보가 획득되지 않는 상황은 제 1 조리 기기(예를 들어, 전자레인지) 또는 제 2 조리 기기(예를 들어, 오븐)를 이용하는 조리 방법이 포함된 이미지에 대한 인식 결과가 획득되는 상황일 수 있다.

다양한 실시 예에 따른 외부 장치(예를 들어, AI 서버(200) 또는 스마트폰(100d))는, 복수의 조리 정보가 획득되는 것에 응답하여, S920 동작에서 조리 기기(100)가 식별되는지 여부를 판단할 수 있다. 일 실시 예에 따르면, 조리 기기(100)의 식별은 조리 정보의 요청 여부와 연관될 수 있다. 다른 실시 예에 따르면, 조리 기기(100)의 식별은 조리 정보에 기초하여 타겟 기기가 결정되는지 여부와 연관될 수 있다.

다양한 실시 예에 따른 외부 장치(예를 들어, AI 서버(200) 또는 스마트폰(100d))는, 하나의 조리 정보가 획득되거나 조리 기기(100)가 식별되는 것에 응답하여, S930 동작에서 획득된 조리 정보를 조리 기기(100)로 전송할 수 있다. 이때, 외부 장치는, 전술한 바와 같이, 조리 정보를 요청한 조리 기기(100) 또는 조리 정보에 기초하여 결정된 타겟 기기로 조리 정보를 전송할 수 있다.

다양한 실시 예에 따른 외부 장치(예를 들어, AI 서버(200) 또는 스마트폰(100d))는, 조리 기기(100)가 식별되지 않는 것에 응답하여, S940 동작 내지 S960 동작을 통해 사용자 입력에 기초하여 조리 정보를 전송할 수 있다. 일 실시 예에 따르면, 외부 장치는 S940 동작과 같이 획득된 조리 정보를 출력한 후 S950 동작과 같이 조리 정보 선택을 위한 입력을 수신할 수 있다. 또한, 외부 장치는 S960 동작과 같이 입력에 대응하는 조리 정보를 조리 기기(100)로 전송할 수 있다. 예를 들어, 외부 장치는 도 10에 도시된 바와 같이, 전자레인지를 이용한 제 1 조리 정보와 오븐을 이용한 제 2 조리 정보(1010)를 출력하고, 이러한 조리 정보 중 적어도 하나를 선택하는 사용자 입력을 수신할 수 있다. 이때, 외부 장치는 디스플레이, 스피커 등과 같은 다양한 출력 장치를 이용하여 조리 정보를 출력할 수 있다. 또한, 외부 장치는 터치 입력, 버튼 입력, 음성 입력 등과 같은 다양한 사용자 입력을 수신할 수도 있다.

도 11은 본 개시의 실시 예들에 따른 조리 시스템에서 조리 동작을 수행하는 동작을 나타내는 도면(1100)이다. 다양한 실시 예에 따른 조리 시스템은 조리 기기(1102)(예를 들어, 조리 기기(100))와 외부 장치(1104)(예를 들어, AI 서버(200) 또는 스마트폰(100d)))로 구성될 수 있다.

도 11을 참조하면, 다양한 실시 예에 따르면, 1110 동작에서, 외부 장치(1104)는 적어도 하나의 이미지를 획득할 수 있다. 일 실시 예에 따르면, 외부 장치(1104)는 외부 장치(1104)에 구비된 정보 수집 장치(예를 들어, 이미지 센서)를 이용하여 조리 대상 제품과 관련된 이미지를 획득할 수 있다. 이러한 이미지는, 조리 대상 제품의 포장, 조리 대상 제품의 로고(예를 들어, 제품명) 또는 조리 대상 제품의 내용물 중 적어도 하나를 포함할 수 있으나, 본 개시가 이에 제한되는 것은 아니다.

다양한 실시 예에 따르면, 1120 동작에서, 외부 장치(1104)는 텍스트 인식을 통해 조리 정보를 획득할 수 있다. 이때, 외부 장치(1104)는 조리 대상 제품의 포장을 촬영한 이미지로부터 조리 방법을 인식하여 조리 정보를 획득할 수 있다.

다양한 실시 예에 따르면, 선택적으로 1120 동작에서, 외부 장치(1104)는 조리 정보를 선택할 수 있다. 일 실시 예에 따르면, 외부 장치(1104)는 텍스트 인식을 통해 획득된 복수의 조리 정보 중 조리 기기(1102)로 전송할 조리 정보를 선택할 수 있다. 이러한 경우, 외부 장치(1104)는 획득된 조리 정보를 출력하는 동작과 출력된 조리 정보 중 하나를 선택하는 사용자 입력을 수신하는 동작을 수행할 수 있다.

다양한 실시 예에 따르면, 1140 동작에서, 외부 장치(1104)는 조리 정보를 조리 기기(1102)로 전송할 수 있다. 일 실시 예에 따르면, 외부 장치(1104)는 유선 통신 채널 또는 무선 통신 채널을 통해 조리 정보를 전송할 수 있다.

다양한 실시 예에 따르면, 1150 동작에서, 조리 기기(1102)는 외부 장치(1104)로부터 수신된 조리 정보에 기초하여 조리를 수행할 수 있다. 일 실시 예에 따르면, 조리 정보는 시간 정보와 온도 정보를 포함할 수 있다. 그러나, 이는 예시적일 뿐, 본 개시의 실시 예가 이에 한정되는 것이 아니다. 예컨대, 조리 정보에는 조리에 필요한 다양한 정보(예를 들어, 조리 중 제품의 위치를 변경하도록 유도하는 정보 등)가 추가로 포함될 수 있다. 예를 들어, 조리 기기(1102)는 조리 정보에 포함된 시간 정보에 대응하도록 조리 시간을 설정하고 온도 정보에 대응하도록 온도 정보를 출력한 후, 설정에 따라 조리가 수행되도록 제어할 수 있다. 또한, 조리 기기(1102)는 조리 중 추가 정보에 대응하는 동작을 유도하기 위한 가이드 정보(예를 들어, 제품의 위치를 변경해주세요)를 출력할 수도 있다.

도 12는 본 개시의 실시 예들에 따른 조리 시스템에서 조리 동작을 수행하는 다른 동작을 나타내는 도면(1200)이다. 다양한 실시 예에 따른 조리 시스템은 조리 기기(1202)(예를 들어, 조리 기기(100))와 외부 장치(1204)(예를 들어, AI 서버(200) 또는 스마트폰(100d))로 구성될 수 있으며, 도 11에 도시된 시스템과 비교하면 외부 장치(1204)는 이미지 획득을 위한 별도의 구성을 포함하지 않는다는 면에서 차이가 있다.

도 12을 참조하면, 다양한 실시 예에 따르면, 1210 동작에서, 조리 기기(1202)는 적어도 하나의 이미지를 획득할 수 있다. 일 실시 예에 따르면, 조리 기기(1202)는 조리 기기(1202)에 구비된 정보 수집 장치(예를 들어, 이미지 센서)를 이용하여 조리 대상 제품과 관련된 이미지를 획득할 수 있다.

다양한 실시 예에 따르면, 1220 동작에서 조리 기기(1202)는 획득된 이미지를 외부 장치(1204)로 전송할 수 있으며, 1230 동작에서 외부 장치(1204)는 텍스트 인식을 통해 수신된 이미지로부터 조리 정보를 획득할 수 있다. 일 실시 예에 따르면, 조리 기기(1202)는 유선 통신 채널 또는 무선 통신 채널을 통해 이미지를 외부 장치로 전송할 수 있다.

다양한 실시 예에 따르면, 선택적으로 1240 동작에서, 외부 장치(1204)는 조리 정보를 선택할 수 있다. 일 실시 예에 따르면, 외부 장치(1204)는 텍스트 인식을 통해 획득된 복수의 조리 정보 중 조리 기기(1202)로 전송할 조리 정보를 선택할 수 있다. 이러한 경우, 외부 장치(1204)는 획득된 조리 정보를 출력하는 동작과 출력된 조리 정보 중 하나를 선택하는 사용자 입력을 수신하는 동작을 수행할 수 있다.

다양한 실시 예에 따르면, 1250 동작에서, 외부 장치(1204)는 조리 정보를 조리 기기(1202)로 전송할 수 있다. 일 실시 예에 따르면, 외부 장치(1204)는 유선 통신 채널 또는 무선 통신 채널을 통해 조리 정보를 조리 기기(1202)로 전송할 수 있다.

다양한 실시 예에 따르면, 1260 동작에서, 조리 기기(1202)는 외부 장치(1204)로부터 수신된 조리 정보에 기초하여 조리를 수행할 수 있다. 일 실시 예에 따르면, 조리 기기(1202)는 조리 정보에 포함된 시간 정보, 온도 정보 또는 추가 정보 중 적어도 하나에 따라 조리가 수행되도록 제어할 수 있다.

도 13은 본 개시의 실시 예들에 따른 조리 시스템에서 조리 동작을 수행하는 또다른 동작을 나타내는 도면(1300)이다. 다양한 실시 예에 따른 조리 시스템은 조리 기기(1302)(예를 들어, 조리 기기(100)), 제 1 외부 장치(1304)(예를 들어, 스마트폰(100d)) 및 제 2 외부 장치(1306)(예를 들어, AI 서버(200))로 구성될 수 있다. 또한, 제 1 외부 장치(1304)는 이미지 획득을 위한 별도의 구성(예를 들어, 이미지 센서)을 포함하고, 이미지 인식 능력은 제 2 외부 장치(1306)가 가질 수 있다.

도 13을 참조하면, 다양한 실시 예에 따르면, 1310 동작에서, 제 1 외부 장치(1304)는 적어도 하나의 이미지를 획득할 수 있다. 일 실시 예에 따르면, 제 1 외부 장치(1304)는 제 1 외부 장치(1304)에 구비된 정보 수집 장치를 이용하여 조리 대상 제품과 관련된 이미지를 획득할 수 있다.

다양한 실시 예에 따르면, 1320 동작에서 제 1 외부 장치(1304)는 획득된 이미지를 제 2 외부 장치(1306)로 전송할 수 있다. 일 실시 예에 따르면, 제 1 외부 장치(1304)는 유선 통신 채널 또는 무선 통신 채널을 통해 이미지를 전송할 수 있다.

다양한 실시 예에 따르면, 1330 동작에서 제 2 외부 장치(1306)는 수신된 이미지로부터 조리 정보를 획득할 수 있다. 일 실시 예에 따르면, 제 2 외부 장치(1306)는 이미지에 대한 텍스트 인식을 통해 조리 정보를 획득할 수 있다. 다른 실시 예에 따르면, 제 2 외부 장치는 이미지 인식을 통해 조리 대상을 식별하고, 저장된 조리 정보 중 식별된 조리 대상과 관련된 조리 정보를 획득할 수도 있다.

다양한 실시 예에 따르면, 선택적으로 1340 동작에서 제 2 외부 장치(1306)는 획득된 조리 정보를 제 1 외부 장치(1304)로 전송할 수 있다. 일 실시 예에 따르면, 제 2 외부 장치(1306)는 유선 통신 채널 또는 무선 통신 채널을 통해 조리 정보를 전송할 수 있다.

다양한 실시 예에 따르면, 선택적으로 1350 동작에서, 제 1 외부 장치(1304)는 조리 정보를 선택할 수 있다. 일 실시 예에 따르면, 제 1 외부 장치(1304)는 제 2 외부 장치(1306)에 의해 획득된 복수의 조리 정보 중 조리 기기(1302)로 전송할 조리 정보를 선택할 수 있다. 이러한 경우, 제 1 외부 장치(1304)는 획득된 조리 정보를 출력하는 동작과 출력된 조리 정보 중 하나를 선택하는 사용자 입력을 수신하는 동작을 수행할 수 있다.

다양한 실시 예에 따르면, 선택적으로 1360 동작에서, 제 1 외부 장치(1304)는 선택된 조리 정보를 나타내는 선택 정보를 제 2 외부 장치(1306)로 전송할 수 있다. 일 실시 예에 따르면, 제 1 외부 장치(1304)는 유선 통신 채널 또는 무선 통신 채널을 통해 선택 정보를 전송할 수 있다.

다양한 실시 예에 따르면, 1370 동작에서, 제 2 외부 장치(1306)는 수신된 선택 정보에 기초하여 조리 정보를 조리 기기(1302)로 전송할 수 있다. 일 실시 예에 따르면, 제 2 외부 장치(1306)는 유선 통신 채널 또는 무선 통신 채널을 통해 조리 정보를 전송할 수 있다.

다양한 실시 예에 따르면, 1380 동작에서, 조리 기기(1302)는 제 2 외부 장치(1306)로부터 수신된 조리 정보에 기초하여 조리를 수행할 수 있다. 일 실시 예에 따르면, 조리 기기(1302)는 조리 정보에 포함된 시간 정보, 온도 정보 또는 추가 정보 중 적어도 하나에 따라 조리가 수행되도록 제어할 수 있다.

본 개시의 다양한 실시 예에 따른 인공 지능 조리 기기(예를 들어, 조리 기기(100))는 조리 대상 제품을 조리하기 위한 구동 장치(예를 들어, 도 3의 구동 장치(170)), 상기 조리 대상 제품과 연관된 이미지를 획득하는 이미지 센서(예를 들어, 도 3의 정보 수집 장치(130)) 및 상기 구동 장치와 상기 이미지 센서를 제어하도록 구성된 적어도 하나의 프로세서(예를 들어, 도 3의 프로세서(180) 및/또는 러닝 프로세서(150))를 포함할 수 있다. 일 실시 예에 따르면, 상기 적어도 하나의 프로세서는, 상기 조리 기기가, 상기 조리 대상 제품과 연관된 이미지를 획득하고, 상기 획득된 이미지에 기초하여 상기 조리 대상 제품의 조리 정보를 획득하고, 상기 획득한 조리 정보에 기초하여 상기 조리 대상 제품의 조리를 수행하도록 제어할 수 있다. 예를 들어, 상기 조리 정보는, 시간 정보 또는 온도 정보 중 적어도 하나를 포함할 수 있다.

다양한 실시 예에 따르면, 상기 적어도 하나의 프로세서와 작동적으로 연결된 메모리를 더 포함하고, 상기 메모리는 제품의 포장, 로고, 제품명 또는 내용물 중 적어도 하나와 연관하여 조리 방법을 저장하고 있을 수 있다. 그리고 상기 적어도 하나의 프로세서는 상기 조리 기기가, 상기 획득한 이미지에 포함된 텍스트 데이터를 인식하여 상기 조리 정보를 획득하거나 또는 상기 획득한 이미지에 포함된 상기 조리 대상 제품의 포장, 로고, 제품명, 또는 내용물 중 적어도 하나와 대응하는 조리 정보를 상기 메모리로부터 읽어 들여 상기 조리 정보를 획득하도록 제어할 수 있다.

다양한 실시 예에 따르면, 상기 적어도 하나의 프로세서는 상기 조리 기기가, 학습된 인공 신경망 모델을 이용하여 상기 텍스트 데이터를 인식하거나 또는 상기 획득한 이미지가 상기 조리 대상 제품의 포장, 로고, 제품명, 또는 내용물 중 적어도 하나를 포함하는 지를 판단하도록 제어할 수 있다.

다양한 실시 예에 따르면, 상기 적어도 하나의 프로세서와 작동적으로 연결되고, 적어도 하나의 외부 장치와 데이터 통신을 수행하도록 구성되는 통신 회로를 더 포함하고, 상기 적어도 하나의 프로세서는 상기 조리 기기가, 상기 획득된 이미지로부터 상기 조리 정보의 획득에 실패하는 경우, 상기 적어도 하나의 외부 장치로 상기 획득된 이미지를 전송하고, 상기 전송에 대한 응답으로, 상기 적어도 하나의 외부 장치로부터 조리 정보를 수신하도록 제어할 수 있다.

다양한 실시 예에 따르면, 상기 적어도 하나의 프로세서는, 상기 조리 기기가, 상기 조리 대상 제품의 포장에 인쇄된 조리 방법을 인식하여 상기 조리 정보를 획득하도록 제어할 수 있다.

본 개시의 다양한 실시 예에 따른 전자 장치(예를 들어, AI 서버(200) 또는 스마트폰(100d))는, 적어도 하나의 조리 기기와 데이터 통신을 수행하도록 구성되는 통신 회로 및 상기 통신 회로와 작동적으로 연결되는 적어도 하나의 프로세서를 포함할 수 있다. 일 실시 예에 따르면, 상기 적어도 하나의 프로세서는, 상기 전자 장치가, 조리 대상 제품과 연관된 이미지를 획득하고, 상기 획득된 이미지로부터 상기 조리 대상 제품의 조리 정보를 획득하고, 상기 획득한 조리 정보를 상기 적어도 하나의 조리 기기로 전송하도록 제어할 수 있다. 예를 들어, 상기 조리 정보는 시간 정보 또는 온도 정보 중 적어도 하나를 포함할 수 있다.

다양한 실시 예에 따르면, 상기 적어도 하나의 프로세서와 작동적으로 연결되는 이미지 센서를 더 포함하고, 상기 적어도 하나의 프로세서는 상기 외부 장치가, 상기 적어도 하나의 조리 기기로부터 상기 조리 대상 제품과 연관된 이미지를 수신하거나 상기 이미지 센서를 이용하여 상기 조리 대상 제품과 연관된 이미지를 획득하도록 제어할 수 있다.

다양한 실시 예에 따르면, 상기 전자 장치는 상기 적어도 하나의 프로세서와 작동적으로 연결된 메모리를 더 포함하고, 상기 메모리는 제품의 포장, 로고, 제품명 또는 내용물 중 적어도 하나와 연관하여 조리 방법을 저장하고 있을 수 있다. 그리고 상기 적어도 하나의 프로세서는 상기 전자 장치가, 상기 획득한 이미지에 포함된 텍스트 데이터를 인식하여 상기 조리 정보를 획득하거나, 또는 상기 획득한 이미지에 포함된 상기 조리 대상 제품의 포장, 로고, 제품명, 또는 내용물 중 적어도 하나와 대응하는 조리 정보를 상기 메모리로부터 읽어 들여 상기 조리 정보를 획득하도록 제어할 수 잇다.

다양한 실시 예에 따르면, 상기 적어도 하나의 프로세서는 상기 전자 장치가, 학습된 인공 신경망 모델을 이용하여 상기 텍스트 데이터를 인식하거나 또는 상기 획득한 이미지가 상기 조리 대상 제품의 포장, 로고, 제품명, 또는 내용물 중 적어도 하나를 포함하는 지를 판단하도록 제어할 수 있다.

다양한 실시 예에 따르면, 상기 적어도 하나의 프로세서는 상기 전자 장치가, 상기 조리 대상 제품에 대해 복수의 조리 정보가 획득되는 경우, 상기 복수의 조리 정보 중 하나의 조리 정보를 선택하고, 상기 적어도 하나의 조리 기기 중 상기 선택된 조리 정보에 대응하는 조리 기기로 상기 선택한 조리 정보를 전송하도록 제어할 수 있다. 예를 들어, 상기 복수의 조리 정보는 상기 적어도 하나의 조리 기기 중 제 1 조리 기기와 연관된 제 1 조리 정보와 제 2 조리 기기와 연관된 제 2 조리 정보를 포함할 수 있다.

다양한 실시 예에 따르면, 상기 적어도 하나의 프로세서는 상기 전자 장치가, 사용자가 인지할 수 있도록 상기 복수의 조리 정보를 출력하고, 상기 출력된 복수의 조리 정보 중 하나를 선택하는 사용자의 입력을 수신하도록 제어하여 상기 복수의 조리 정보 중 하나의 조리 정보를 선택하도록 제어할 수 있다.

다양한 실시 예에 따르면, 상기 적어도 하나의 프로세서는, 상기 전자 장치가, 상기 외부 장치와 통신을 형성한 서버로 상기 이미지를 전송하여 조리 정보를 요청하도록 제어할 수 있다.

본 개시의 다양한 실시 예에 따른 인공 지능 조리 기기(예를 들어, 조리 기기(100))의 동작 방법은, 조리 대상 제품과 연관된 이미지를 획득하는 동작, 상기 획득된 이미지에 기초하여 상기 조리 대상 제품의 조리 정보를 획득하는 동작 및 상기 획득한 조리 정보에 기초하여 상기 조리 대상 제품의 조리를 수행하는 동작을 포함할 수 있다. 예를 들어, 상기 조리 정보는, 시간 정보 또는 온도 정보 중 적어도 하나를 포함할 수 있다.

다양한 실시 예에 따르면, 상기 획득한 이미지에 기초하여 상기 조리 대상 제품의 조리 정보를 획득하는 동작은 상기 획득한 이미지에 포함된 텍스트 데이터를 인식하여 상기 조리 정보를 획득하는 동작 또는 상기 획득한 이미지에 포함된 상기 조리 대상 제품의 포장, 로고, 제품명, 또는 내용물 중 적어도 하나와 대응하는 조리 정보를 메모리로부터 읽어 들여 상기 조리 정보를 획득하는 동작 중의 적어도 하나를 포함할 수 있다.

다양한 실시 예에 따르면, 상기 획득한 이미지에 기초하여 상기 조리 대상 제품의 조리 정보를 획득하는 동작은 학습된 인공 신경망 모델을 이용하여 상기 텍스트 데이터를 인식하는 동작 또는 학습된 인공 신경망 모델을 이용하여 상기 획득한 이미지가 상기 조리 대상 제품의 포장, 로고, 제품명, 또는 내용물 중 적어도 하나를 포함하는 지를 판단하는 동작 중의 적어도 하나를 더 포함할 수 있다.

다양한 실시 예에 따르면, 상기 인공 지능 조리 기기의 동작 방법은 상기 획득된 이미지로부터 상기 조리 정보의 획득에 실패하는 경우, 적어도 하나의 외부 장치로 상기 획득된 이미지를 전송하는 동작 및 상기 전송에 대한 응답으로 상기 적어도 하나의 외부 장치로부터 조리 정보를 수신하는 동작을 더 포함할 수 있다.

다양한 실시 예에 따르면, 상기 조리 정보를 획득하는 동작은 상기 조리 대상 제품의 포장에 인쇄된 조리 방법을 인식하는 동작을 포함할 수 있다.

본 개시의 다양한 실시 예에 따른 전자 장치(예를 들어, AI 서버(200) 또는 스마트폰(100d))의 동작 방법은 조리 대상 제품과 연관된 이미지를 획득하는 동작, 상기 획득된 이미지에 기초하여 상기 조리 대상 제품의 조리 정보를 획득하는 동작 및 상기 획득한 조리 정보를 적어도 하나의 조리 기기로 전송하는 동작을 포함할 수 있다. 예를 들어, 상기 조리 정보는, 시간 정보 또는 온도 정보 중 적어도 하나를 포함할 수 있다.

다양한 실시 예에 따르면, 상기 조리 대상 제품과 연관된 이미지를 획득하는 동작은 상기 적어도 하나의 조리 기기로부터 상기 조리 대상 제품과 연관된 이미지를 수신하는 동작 또는 이미지 센서를 이용하여 상기 조리 대상 제품과 연관된 이미지를 획득하는 동작 중의 적어도 하나를 포함할 수 있다.

다양한 실시 예에 따르면, 상기 조리 대상 제품과 연관된 이미지를 획득하는 동작은 상기 전자 장치와 데이터 통신을 형성한 서버로 상기 조리 대상 제품과 연관된 이미지를 전송하는 동작 및 상기 서버로부터 상기 조리 대상 제품의 조리 정보를 수신하는 동작을 포함할 수 있다.

다양한 실시 예에 따르면, 상기 획득한 이미지에 기초하여 상기 조리 대상 제품의 조리 정보를 획득하는 동작은 상기 획득한 이미지에 포함된 텍스트 데이터를 인식하여 상기 조리 정보를 획득하는 동작 또는 상기 획득한 이미지에 포함된 상기 조리 대상 제품의 포장, 로고, 제품명, 또는 내용물 중 적어도 하나와 대응하는 조리 정보를 상기 메모리로부터 읽어 들여 상기 조리 정보를 획득하는 동작 중의 적어도 하나를 포함할 수 있다.

다양한 실시 예에 따르면, 상기 획득한 이미지에 기초하여 상기 조리 대상 제품의 조리 정보를 획득하는 동작은 학습된 인공 신경망 모델을 이용하여 상기 텍스트 데이터를 인식하는 동작 또는 상기 획득한 이미지가 상기 조리 대상 제품의 포장, 로고, 제품명, 또는 내용물 중 적어도 하나를 포함하는 지를 판단하는 동작 중의 적어도 하나를 더 포함할 수 있다.

다양한 실시 예에 따르면, 상기 획득한 이미지에 기초하여 상기 조리 대상 제품의 조리 정보를 획득하는 동작은 상기 조리 대상 제품에 대해 복수의 조리 정보가 획득되는 경우, 상기 복수의 조리 정보 중 하나의 조리 정보를 선택하는 동작을 포함하고, 상기 획득한 조리 정보를 적어도 하나의 조리 기기로 전송하는 동작은 상기 적어도 하나의 조리 기기 중 상기 선택된 조리 정보에 대응하는 조리 기기로 상기 선택한 조리 정보를 전송하는 동작을 포함할 수 있다. 예를 들어, 상기 복수의 조리 정보는 상기 적어도 하나의 조리 기기 중 제 1 조리 기기와 연관된 제 1 조리 정보와 제 2 조리 기기와 연관된 제 2 조리 정보를 포함할 수 있다.

다양한 실시 예에 따르면, 상기 복수의 조리 정보 중 하나의 조리 정보를 선택하는 동작은 사용자가 인지할 수 있도록 상기 복수의 조리 정보를 출력하는 동작 및 상기 출력된 복수의 조리 정보 중 하나를 선택하는 사용자의 입력을 수신하는 동작을 포함할 수 있다.

다양한 실시 예에 따르면, 상기 이미지는 상기 조리 대상 제품의 포장을 촬영한 이미지를 포함할 수 있다.

본 개시의 다양한 실시 예에 따른 인공 지능을 이용한 조리 시스템은 서버, 전자 장치 및 상기 전자 장치로부터 제공되는 조리 정보에 따라 조리를 수행하는 조리 기기를 포함할 수 있다.

다양한 실시 예에 따르면, 상기 전자 장치는 조리 대상 제품과 연관된 이미지를 획득하고, 상기 획득된 이미지로부터 상기 조리 대상 제품의 조리 정보를 획득하고, 상기 획득한 조리 정보를 상기 조리 기기로 전송하도록 제어할 수 있다. 예를 들어, 상기 조리 정보는, 시간 정보 또는 온도 정보 중 적어도 하나를 포함할 수 있다. 예를 들어 상기 전자 장치는 스마트 폰, 퍼스널 컴퓨터를 포함하는 사용자 단말일 수 있다.

다양한 실시 예에 따르면, 상기 전자 장치는, 상기 조리 기기로부터 상기 조리 대상 제품과 연관된 이미지를 수신하거나 상기 전자 장치에 구비된 이미지 센서를 이용하여 상기 조리 대상 제품과 연관된 이미지를 획득할 수 있다.

다양한 실시 예에 따르면, 상기 전자 장치는 상기 서버로 상기 조리 대상 제품과 연관된 이미지를 전송하고, 상기 서버로부터 상기 조리 대상 제품의 조리 정보를 획득할 수 있다.

다양한 실시 예에 따르면, 상기 서버는 상기 획득한 이미지에 포함된 텍스트 데이터를 인식하여 상기 조리 정보를 획득하거나 또는 상기 획득한 이미지에 포함된 상기 조리 대상 제품의 포장, 로고, 제품명, 또는 내용물 중 적어도 하나와 대응하는 조리 정보를 메모리로부터 읽어 들여 상기 조리 정보를 획득할 수 있다. 예를 들면, 상기 서버는, 학습된 인공 신경망을 이용한 이미지 인식을 이용하여 조리 대상을 식별하고, 저장된 레시피 중 식별된 조리 대상에 대응하는 레시피를 상기 조리 정보로 획득할 수 있다.

본 개시의 실시 예들에 따른 조리 기기(예를 들어, 조리 기기(100))의 동작 방법은 컴퓨터로 판독 가능한 저장 매체에 저장되어 프로세서(예를 들어, 도 3의 프로세서(180) 또는 러닝프로세서(150))에 의해 실행될 수 있는 명령어들로 구현될 수 있다.

또한, 본 개시의 실시 예들에 따른 전자 장치(예를 들어, AI 서버(200) 또는 스마트폰(100d))의 동작 방법은 컴퓨터로 판독 가능한 저장 매체에 저장되어 프로세서(예를 들어, 도 2의 프로세서(260) 또는 러닝 프로세서(240))에 의해 실행될 수 있는 명령어들로 구현될 수 있다.

저장 매체는, 직접 및/또는 간접적이든, 원시 상태, 포맷화된 상태, 조직화된 상태 또는 임의의 다른 액세스 가능한 상태이든 관계없이, 관계형 데이터베이스, 비관계형 데이터베이스, 인-메모리(in-memory) 데이터베이스, 또는 데이터를 저장할 수 있고 저장 제어기를 통해 이러한 데이터에 대한 액세스를 허용할 수 있는 다른 적절한 데이터베이스와 같이 분산형을 포함하는 데이터베이스를 포함할 수 있다. 또한, 저장 매체는, 1차 저장 장치(storage), 2차 저장 장치, 3차 저장 장치, 오프라인 저장 장치, 휘발성 저장 장치, 비휘발성 저장 장치, 반도체 저장 장치, 자기 저장 장치, 광학 저장 장치, 플래시 저장 장치, 하드 디스크 드라이브 저장 장치, 플로피 디스크 드라이브, 자기 테이프, 또는 다른 적절한 데이터 저장 매체와 같은 임의의 타입의 저장 장치를 포함할 수 있다.

본 개시는 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 개시의 진정한 기술적 보호 범위는

Claims

인공 지능 조리 기기에 있어서,
조리 대상 제품을 조리하기 위한 구동 장치;
상기 조리 대상 제품과 연관된 이미지를 획득하는 이미지 센서; 및
상기 구동 장치 및 상기 이미지 센서와 작동적으로 연결된 적어도 하나의 프로세서를 포함하고,
상기 적어도 하나의 프로세서는, 상기 조리 기기가,
상기 조리 대상 제품과 연관된 이미지를 획득하고,
상기 이미지에 기초하여 상기 조리 대상 제품의 조리 정보를 획득하고,
상기 조리 정보에 기초하여 상기 조리 대상 제품의 조리를 수행하도록 제어하고,
상기 조리 정보는, 시간 정보 또는 온도 정보 중 적어도 하나를 포함하는, 인공 지능 조리 기기.
제 1 항에 있어서,
상기 적어도 하나의 프로세서와 작동적으로 연결된 메모리를 더 포함하고,
상기 메모리는 제품의 포장, 로고, 제품명 또는 내용물 중 적어도 하나와 연관하여 조리 방법을 저장하고 있고,
상기 적어도 하나의 프로세서는, 상기 조리 기기가,
상기 이미지에 포함된 텍스트 데이터를 인식하여 상기 조리 정보를 획득하거나
또는 상기 이미지에 포함된 상기 조리 대상 제품의 포장, 로고, 제품명, 또는 내용물 중 적어도 하나와 대응하는 조리 정보를 상기 메모리로부터 읽어 들여 상기 조리 정보를 획득하도록 제어하는, 인공 지능 조리 기기.
제 2 항에 있어서,
상기 적어도 하나의 프로세서는, 상기 조리 기기가,
학습된 인공 신경망 모델을 이용하여 상기 텍스트 데이터를 인식하거나 또는 상기 이미지가 상기 조리 대상 제품의 포장, 로고, 제품명, 또는 내용물 중 적어도 하나를 포함하는 지를 판단하도록 제어하는, 인공 지능 조리 기기.
제 1 항에 있어서,
상기 적어도 하나의 프로세서와 작동적으로 연결되고, 적어도 하나의 외부 장치와 데이터 통신을 수행하도록 구성되는 통신 회로를 더 포함하고,
상기 적어도 하나의 프로세서는, 상기 조리 기기가,
상기 이미지로부터 상기 조리 정보의 획득에 실패하는 경우, 상기 적어도 하나의 외부 장치로 상기 이미지를 전송하고,
상기 전송에 대한 응답으로, 상기 적어도 하나의 외부 장치로부터 조리 정보를 수신하도록 제어하는, 인공 지능 조리 기기.
전자 장치에 있어서,
적어도 하나의 조리 기기와 데이터 통신을 수행하도록 구성되는 통신 회로; 및
상기 통신 회로와 작동적으로 연결되는 적어도 하나의 프로세서를 포함하고,
상기 적어도 하나의 프로세서는, 상기 전자 장치가,
조리 대상 제품과 연관된 이미지를 획득하고,
상기 이미지로부터 상기 조리 대상 제품의 조리 정보를 획득하고,
상기 조리 정보를 상기 적어도 하나의 조리 기기로 전송하도록 제어하며,
상기 조리 정보는, 시간 정보 또는 온도 정보 중 적어도 하나를 포함하는, 전자 장치.
제 5 항에 있어서,
상기 적어도 하나의 프로세서와 작동적으로 연결되는 이미지 센서를 더 포함하고,
상기 적어도 하나의 프로세서는, 상기 전자 장치가,
상기 적어도 하나의 조리 기기로부터 상기 조리 대상 제품과 연관된 이미지를 수신하거나 또는 상기 이미지 센서를 이용하여 상기 조리 대상 제품과 연관된 이미지를 획득하도록 제어하는, 전자 장치.
제 5 항에 있어서,
상기 적어도 하나의 프로세서와 작동적으로 연결된 메모리를 더 포함하고,
상기 메모리는 제품의 포장, 로고, 제품명 또는 내용물 중 적어도 하나와 연관하여 조리 방법을 저장하고 있고,
상기 적어도 하나의 프로세서는, 상기 전자 장치가,
상기 이미지에 포함된 텍스트 데이터를 인식하여 상기 조리 정보를 획득하거나
또는 상기 이미지에 포함된 상기 조리 대상 제품의 포장, 로고, 제품명, 또는 내용물 중 적어도 하나와 대응하는 조리 정보를 상기 메모리로부터 읽어 들여 상기 조리 정보를 획득하도록 제어하는, 전자 장치.
제 7 항에 있어서,
상기 적어도 하나의 프로세서는, 상기 전자 장치가,
학습된 인공 신경망 모델을 이용하여 상기 텍스트 데이터를 인식하거나 또는 상기 이미지가 상기 조리 대상 제품의 포장, 로고, 제품명, 또는 내용물 중 적어도 하나를 포함하는 지를 판단하도록 제어하는, 인공 지능 조리 기기.
제 5 항에 있어서,
상기 적어도 하나의 프로세서는, 상기 전자 장치가,
상기 조리 대상 제품에 대해 복수의 조리 정보가 획득되는 경우, 상기 복수의 조리 정보 중 하나의 조리 정보를 선택하고,
상기 적어도 하나의 조리 기기 중 상기 선택된 조리 정보에 대응하는 조리 기기로 상기 선택한 조리 정보를 전송하도록 제어하며,
상기 복수의 조리 정보는,
상기 적어도 하나의 조리 기기 중 제 1 조리 기기와 연관된 제 1 조리 정보와 제 2 조리 기기와 연관된 제 2 조리 정보를 포함하는, 전자 장치.
제 9 항에 있어서,
상기 적어도 하나의 프로세서는, 상기 전자 장치가,
사용자가 인지할 수 있도록 상기 복수의 조리 정보를 출력하고,
상기 출력된 복수의 조리 정보 중 하나를 선택하는 사용자의 입력을 수신하도록 제어하여 상기 복수의 조리 정보 중 하나의 조리 정보를 선택하도록 제어하는, 전자 장치.
제 5 항에 있어서,
상기 적어도 하나의 프로세서는, 상기 전자 장치가,
서버로 상기 조리 대상 제품과 연관된 이미지를 전송하고,
상기 전송에 대한 응답으로, 상기 서버로부터 조리 정보를 수신하도록 제어하는, 전자 장치.
인공 지능 조리 기기의 동작 방법에 있어서,
조리 대상 제품과 연관된 이미지를 획득하는 동작;
상기 이미지에 기초하여 상기 조리 대상 제품의 조리 정보를 획득하는 동작; 및
상기 조리 정보에 기초하여 상기 조리 대상 제품의 조리를 수행하는 동작을 포함하되,
상기 조리 정보는, 시간 정보 또는 온도 정보 중 적어도 하나를 포함하는, 방법.
제 12 항에 있어서,
상기 이미지에 기초하여 상기 조리 대상 제품의 조리 정보를 획득하는 동작은,
상기 이미지에 포함된 텍스트 데이터를 인식하여 상기 조리 정보를 획득하는 동작,
또는 상기 이미지에 포함된 상기 조리 대상 제품의 포장, 로고, 제품명, 또는 내용물 중 적어도 하나와 대응하는 조리 정보를 메모리로부터 읽어 들여 상기 조리 정보를 획득하는 동작 중의 적어도 하나를 포함하는, 방법.
제 13 항에 있어서,
상기 이미지에 기초하여 상기 조리 대상 제품의 조리 정보를 획득하는 동작은,
학습된 인공 신경망 모델을 이용하여 상기 텍스트 데이터를 인식하는 동작,
또는 학습된 인공 신경망 모델을 이용하여 상기 이미지가 상기 조리 대상 제품의 포장, 로고, 제품명, 또는 내용물 중 적어도 하나를 포함하는 지를 판단하는 동작 중의 적어도 하나를 더 포함하는, 방법.
제 12 항에 있어서,
상기 이미지로부터 상기 조리 정보의 획득에 실패하는 경우, 적어도 하나의 외부 장치로 상기 이미지를 전송하는 동작; 및
상기 전송에 대한 응답으로, 상기 적어도 하나의 외부 장치로부터 조리 정보를 수신하는 동작을 더 포함하는, 방법.
전자 장치의 동작 방법에 있어서,
조리 대상 제품과 연관된 이미지를 획득하는 동작;
상기 이미지에 기초하여 상기 조리 대상 제품의 조리 정보를 획득하는 동작; 및
상기 조리 정보를 적어도 하나의 조리 기기로 전송하는 동작을 포함하되,
상기 조리 정보는, 시간 정보 또는 온도 정보 중 적어도 하나를 포함하는, 방법.
제 16 항에 있어서,
상기 조리 대상 제품과 연관된 이미지를 획득하는 동작은,
상기 적어도 하나의 조리 기기로부터 상기 조리 대상 제품과 연관된 이미지를 수신하는 동작;
또는 이미지 센서를 이용하여 상기 조리 대상 제품과 연관된 이미지를 획득하는 동작 중의 적어도 하나를 포함하는, 방법.
제 16 항에 있어서,
상기 이미지에 기초하여 상기 조리 대상 제품의 조리 정보를 획득하는 동작은,
상기 이미지에 포함된 텍스트 데이터를 인식하여 상기 조리 정보를 획득하는 동작;
또는 상기 이미지에 포함된 상기 조리 대상 제품의 포장, 로고, 제품명, 또는 내용물 중 적어도 하나와 대응하는 조리 정보를 상기 메모리로부터 읽어 들여 상기 조리 정보를 획득하는 동작 중의 적어도 하나를 포함하는, 방법.
제 18 항에 있어서,
상기 이미지에 기초하여 상기 조리 대상 제품의 조리 정보를 획득하는 동작은,
학습된 인공 신경망 모델을 이용하여 상기 텍스트 데이터를 인식하는 동작;
또는 상기 이미지가 상기 조리 대상 제품의 포장, 로고, 제품명, 또는 내용물 중 적어도 하나를 포함하는 지를 판단하는 동작 중의 적어도 하나를 더 포함하는, 방법.
제 16 항에 있어서,
상기 이미지에 기초하여 상기 조리 대상 제품의 조리 정보를 획득하는 동작은,
상기 조리 대상 제품에 대해 복수의 조리 정보가 획득되는 경우, 상기 복수의 조리 정보 중 하나의 조리 정보를 선택하는 동작을 포함하고,
상기 조리 정보를 적어도 하나의 조리 기기로 전송하는 동작은,
상기 적어도 하나의 조리 기기 중 상기 선택된 조리 정보에 대응하는 조리 기기로 상기 선택한 조리 정보를 전송하는 동작을 포함하고,
상기 복수의 조리 정보는,
상기 적어도 하나의 조리 기기 중 제 1 조리 기기와 연관된 제 1 조리 정보와 제 2 조리 기기와 연관된 제 2 조리 정보를 포함하는, 방법.
제 20 항에 있어서,
상기 복수의 조리 정보 중 하나의 조리 정보를 선택하는 동작은,
사용자가 인지할 수 있도록 상기 복수의 조리 정보를 출력하는 동작; 및
상기 출력된 복수의 조리 정보 중 하나를 선택하는 사용자의 입력을 수신하는 동작을 포함하는, 방법.
제 16 항에 있어서,
서버로 상기 조리 대상 제품과 연관된 이미지를 전송하는 동작; 및
상기 전송에 대한 응답으로, 상기 서버로부터 조리 정보를 수신하는 동작을 더 포함하는, 방법.