WO2019203421A1 - 디스플레이 장치 및 디스플레이 장치의 제어 방법 - Google Patents

디스플레이 장치 및 디스플레이 장치의 제어 방법 Download PDF

Info

Publication number
WO2019203421A1
WO2019203421A1 PCT/KR2019/000174 KR2019000174W WO2019203421A1 WO 2019203421 A1 WO2019203421 A1 WO 2019203421A1 KR 2019000174 W KR2019000174 W KR 2019000174W WO 2019203421 A1 WO2019203421 A1 WO 2019203421A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
server
cooking
image
refrigerator
Prior art date
Application number
PCT/KR2019/000174
Other languages
English (en)
French (fr)
Inventor
양관식
김재홍
이상경
정지학
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP19788486.9A priority Critical patent/EP3739896A4/en
Priority to US16/980,280 priority patent/US11606619B2/en
Priority to CN201980022877.1A priority patent/CN111989930A/zh
Publication of WO2019203421A1 publication Critical patent/WO2019203421A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/47815—Electronic shopping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2400/00—General features of, or devices for refrigerators, cold rooms, ice-boxes, or for cooling or freezing apparatus not covered by any other subclass
    • F25D2400/36—Visual displays
    • F25D2400/361—Interactive visual displays

Definitions

  • the present disclosure relates to a content providing method using a display device, and more particularly, to a display device for providing cooking broadcast content in response to a command related to a refrigerator and a control method thereof.
  • a user may have to check current food ingredients and search cooking broadcasting content related thereto.
  • a display apparatus includes a display, a communication unit, a processor, and a memory, and when the processor receives an input for requesting information related to a refrigerator, the display device includes a camera included in the refrigerator.
  • the communication unit controls the communication unit to transmit a request command for transmitting the acquired image to the refrigerator, and in response to the request command, receives at least one image from the refrigerator through the communication unit, and transmits the image to the at least one image.
  • Control the communication unit to obtain first information related to the name of the food material according to the recognition of the included food material, transmit the first information to a server, and receive the cooking broadcast content acquired by the server, and display the display Control to display the cooking broadcast content and the image together Instructions may be stored, and the cooking broadcast content may be obtained by using the second information related to cooking information recognized by the server from the first information and media content previously stored in the server.
  • the first information is first text related to a name of a food ingredient included in the at least one image
  • the second information related to the cooking information is stored in the server.
  • the image frames included in the stored media content may be identified to obtain at least one image frame related to cooking information
  • the second text may be obtained by identifying the at least one image frame.
  • the cooking information may include at least one of a recipe or a name of ingredients.
  • the cooking broadcast content may include media content corresponding to the second information when the name of the food material included in the first information is included in the second information. Can be obtained.
  • the cooking broadcast content may include a video clip obtained by using an image frame related to cooking information among a plurality of image frames constituting the media content previously stored in the server. have.
  • the memory may store instructions configured to play the selected cooking broadcast content when the processor receives an input of a user to select the cooking broadcast content displayed on the display.
  • the memory may store instructions configured to identify, by the processor, food ingredients to be purchased using the selected cooking broadcast content and the first information.
  • the memory may store instructions configured to display, by the processor, the food material to be purchased in a user interface that guides the purchase of food material.
  • a refrigerator includes a camera, a communication unit, a processor, and a memory, and when the processor receives an input for requesting information related to the refrigerator, at least one image is acquired using the camera. Acquire, obtain first information related to the food material name according to recognition of a food material included in the at least one image, transmit the first information to a server, and receive the cooked broadcast content obtained by the server. Control the communication unit, and control the communication unit to store instructions set to transmit the cooking broadcast content and the image to an external device, wherein the cooking broadcast content is media stored in the server by the first information and the server.
  • a refrigerator obtained by using second information related to cooking information recognized from the content.
  • the server may include a communication unit, a processor, and a memory.
  • the server may include a camera included in the refrigerator.
  • Controlling the communication unit to transmit a request command for requesting transmission of an image acquired using the refrigerator to receive the at least one image from the refrigerator through the communication unit in response to the request command; Recognizes food ingredients included in the image to obtain first information related to the name of the food ingredients, and acquires cooking broadcast content using second information related to cooking information recognized from the first information and pre-stored media content.
  • control the communication unit to transmit the cooking broadcast content and the image to an external device. You may store lock set command.
  • a control method of a display apparatus may include: transmitting a request command for requesting transmission of an image acquired by using a camera included in the refrigerator, in response to receiving an input for requesting information related to the refrigerator.
  • receiving at least one image from the refrigerator In response to the request command, receiving at least one image from the refrigerator, acquiring first information related to a name of the food material according to recognition of a food material included in the at least one image, Transmitting the first information to a server, receiving the cooking broadcasting content acquired by the server, and displaying the cooking broadcasting content and the image together, wherein the cooking broadcasting content is displayed by the server.
  • Information and second information related to cooking information recognized from media content previously stored in the server It may be obtained using.
  • the first information is first text related to a name of a food ingredient included in the at least one image
  • the second information related to the cooking information is And at least one image frame associated with cooking information by identifying image frames included in media content previously stored in a server, and second text obtained by identifying the at least one image frame.
  • the cooking broadcast content is media content corresponding to the second information when the name of the food material included in the first information is included in the second information. It can be obtained using.
  • the cooking broadcast content is a video clip obtained by using an image frame associated with cooking information from among a plurality of image frames constituting the media content previously stored in the server. It may include.
  • the control method of the display apparatus may include playing back the selected cooking broadcast content according to a user input for selecting the displayed cooking broadcast content.
  • the control method of the display apparatus may include an operation of identifying food ingredients to be purchased using the cooking broadcast content and the first information.
  • the control method of the display apparatus may include an operation of displaying the food material including the food material required for purchase in a user interface for guiding the purchase of food material.
  • a method of controlling a refrigerator includes obtaining at least one image including food using a camera according to a reception of an input for requesting information related to a refrigerator, the method being included in the at least one image. Acquiring first information related to the name of the foodstuff according to the recognition of food ingredients, transmitting the first information to a server, receiving the cooking broadcast content acquired by the server, and the cooking broadcast content and the image And transmitting the cooking broadcast content to the external device, wherein the cooking broadcast content is obtained by using the second information related to cooking information recognized by the server from the first information and media content previously stored in the server. .
  • a method of controlling a server may include: a request command for requesting transmission of an image including food ingredients photographed using a camera included in the refrigerator according to reception of an input for requesting information related to a refrigerator. Transmitting to the refrigerator, receiving at least one image from the refrigerator in response to the request command, recognizing a food material included in the at least one image, and obtaining first information related to the name of the food material Acquiring cooking broadcast content using second information related to cooking information recognized from the first text and pre-stored media content, and transmitting the cooking broadcast content and the image to an external device. can do.
  • a computer program product including a computer readable recording medium storing instructions for executing in a computer may be configured to include a camera included in the refrigerator in response to an input for requesting information relating to the refrigerator. Transmitting, to the refrigerator, a request command for requesting the transmission of an image, the receiving of at least one image from the refrigerator, in response to the request command, of the food material included in the at least one image. Acquiring first information related to the name of the food material according to recognition, transmitting the first information to a server, receiving the cooked broadcast content acquired by the server, and combining the cooked broadcast content and the image together And displaying, by the server, the first information. It may be obtained using a second information relating to the cooking information recognized from a pre-stored media content on the server.
  • the display device may provide cooking broadcast content using ingredients stored in a refrigerator.
  • the display device may provide cooking broadcast content to a user using text acquired from a food image stored in a refrigerator and text obtained from cooking broadcast content stored in a server.
  • the display device may guide the purchase of ingredients included in the recipe included in the cooking broadcast content.
  • FIG. 1A is a diagram illustrating a situation in which a function is executed by using a user's command input to a display device in a content recommendation system according to an exemplary embodiment.
  • FIG. 1B is a diagram illustrating a situation in which a function is executed by using a command of a user input to a display device in a content recommendation system according to an exemplary embodiment.
  • FIG. 2 is a schematic block diagram of a display apparatus according to an exemplary embodiment.
  • FIG. 3 is a diagram for describing another method of displaying, by a display apparatus, an image including ingredients and a list of cooking broadcast contents, according to an exemplary embodiment.
  • FIG. 4 is a diagram illustrating a situation in which a display device displays a user interface for purchasing food ingredients, according to an exemplary embodiment.
  • FIG. 5 is a diagram for describing a method of playing, by an electronic device, a selected cooking information content according to an exemplary embodiment.
  • FIG. 6 is a diagram illustrating a situation in which a function is executed by using a command of a user input to a refrigerator in a content recommendation system according to an exemplary embodiment.
  • FIG. 7 is a schematic block diagram of a refrigerator according to one embodiment.
  • FIG. 8 is a diagram illustrating a situation in which a function is executed by using a command of a user input to a server in a content recommendation system according to an exemplary embodiment.
  • FIG. 9 is a schematic block diagram of a server according to an embodiment.
  • FIG. 10 is a flowchart illustrating a situation in which a function is executed by using a command of a user input to a display device in a content recommendation system according to an exemplary embodiment.
  • FIG. 11 is a flowchart illustrating a situation in which a function is executed by using a command of a user input to a refrigerator in a content recommendation system according to an exemplary embodiment.
  • FIG. 12 is a flowchart illustrating a situation in which a function is executed by using a user's command input to a server in a content recommendation system according to an exemplary embodiment.
  • FIG. 13 is a block diagram of a processor according to an embodiment.
  • FIG. 14 is a block diagram illustrating a configuration of a display apparatus according to another exemplary embodiment.
  • Some embodiments of the present disclosure may be represented by functional block configurations and various processing steps. Some or all of these functional blocks may be implemented in various numbers of hardware and / or software configurations that perform particular functions.
  • the functional blocks of the present disclosure may be implemented by one or more microprocessors or by circuit configurations for a given function.
  • the functional blocks of the present disclosure may be implemented in various programming or scripting languages.
  • the functional blocks may be implemented in algorithms running on one or more processors.
  • the present disclosure may employ the prior art for electronic configuration, signal processing, and / or data processing. Terms such as “mechanism”, “element”, “means” and “configuration” may be used widely and are not limited to mechanical and physical configurations.
  • connecting lines or connecting members between the components shown in the drawings are merely illustrative of functional connections and / or physical or circuit connections. In an actual device, the connections between components may be represented by various functional connections, physical connections, or circuit connections that are replaceable or added.
  • FIG. 1A is a diagram illustrating a situation in which a function is executed by using a user's command input to a display device in a content recommendation system according to an exemplary embodiment.
  • the content recommendation system 1 may include a display device 10, a refrigerator 20, or a server 40.
  • the components constituting the content recommendation system 1 are not limited thereto, and components necessary for the operation of the content recommendation system 1 may be added, or one of the components may be excluded.
  • the display apparatus 10, the refrigerator 20, and the server 40 may perform direct communication by using a communication unit included in each device.
  • the display apparatus 10, the refrigerator 20, and the server 40 may establish a communication network using a wired or wireless communication method.
  • the display apparatus 10, the refrigerator 20, and the server 40 may include a wireless communication unit (eg, a cellular communication module, a near field communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication unit (eg, for example, it may include a local area network (LAN) communication module or a power line communication module, and a local area communication network such as a Bluetooth, WiFi direct, or infrared data association (IrDA) using a corresponding communication unit.
  • a wireless communication unit eg, a cellular communication module, a near field communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • wired communication unit eg, for example, it may include a local area network (LAN) communication module or a power line communication module, and a local area communication network such as a Bluetooth, WiFi direct, or infrared data association
  • a second network eg, a telecommunication network such as a cellular network, the Internet, or a computer network (eg, a LAN or a WAN)
  • the display apparatus 10, the refrigerator 20, and the server 40 may each include a communication unit implemented as one chip or implemented as a separate chip.
  • the display apparatus 10 may be an image display apparatus (eg, a television (TV)) capable of processing an image signal received from the outside and visually displaying the processed image.
  • the display device 10 may include a mobile phone, a smartphone, a tablet PC, a digital camera, a camcorder, a laptop computer, a tablet PC, and the like.
  • a desktop an e-book device, a digital broadcasting terminal, a personal digital assistant (PDA), a portable multimedia player (PMP), an MP3 player, a wearable device, and the like.
  • the device 10 may be fixed or mobile and may be a digital broadcast receiver capable of digital broadcast reception.
  • the display apparatus 10 provides a service required by a user through an app (or an application program) (eg, an alarm app, a photo (gallery) app, etc.) stored therein. can do.
  • an app or an application program
  • an application program eg, an alarm app, a photo (gallery) app, etc.
  • the server 40 may receive a user's voice input from the display device 10 or other device (for example, artificial intelligence speaker, etc.) connected through a communication network and change the text data into text data. have.
  • server 40 may generate (or select) a command to execute at least one or more functions based on text data.
  • the command may include information on an operation (or process) for executing at least one function or information on a parameter for executing the operation.
  • the command may include a sequence of operations for executing at least one function.
  • the display apparatus 10 may receive a command generated by the server 40, select an app (or a function) according to the command, and execute an operation according to the command in the selected app.
  • the server 40 may include a plurality of servers including a first server and a second server.
  • the first server may be a server that stores media content
  • the second server may be a server that performs a function related to speech recognition.
  • the server 40 may perform both a function of storing media content and a function related to speech recognition.
  • the refrigerator 20 is a home appliance that can store food freshly, including a storage compartment for storing food and a cold air supply device for supplying cold air to the storage compartment.
  • the refrigerator 20 may further include a camera.
  • the refrigerator 20 may acquire an image by photographing food stored in a storage room using a camera.
  • the display apparatus 10 may receive a history (eg, utterance) of a user requesting information related to a refrigerator.
  • a history eg, utterance
  • the display apparatus 10 may receive a user input for requesting information related to a refrigerator using a microphone (not shown) included in the display apparatus 10.
  • the user's input for requesting information relating to the refrigerator is, for example, "display a broadcast related to the ingredients in the refrigerator", “what food can be made from the ingredients in the refrigerator?" Or “What's in the fridge right now?" It may be at least one of.
  • the user input is not limited thereto and may include various user inputs for requesting information related to the refrigerator.
  • the display apparatus 10 may transmit the user's speech to the server 40.
  • the server 40 may recognize a user's speech using a speech recognition algorithm (or a speech recognition module) and perform a function related to the recognized speech.
  • the function related to the recognized speech may be, for example, a function of recommending cooking broadcast content related to the material stored in the refrigerator 20.
  • the server 40 may recognize a user's speech using an artificial intelligence algorithm that performs voice recognition, and perform a function related to the speech. For example, the server 40 may recognize the contents included in the user's speech by applying the user's speech to the learned data recognition model using the voice and the result of the speech recognition.
  • the server 40 may transmit a request command to the refrigerator 20 to transmit the image acquired using the camera included in the refrigerator 20 according to the speech recognition result.
  • the refrigerator 20 may acquire at least one image by using a camera included in the refrigerator 20 in response to the received request command.
  • the refrigerator 20 may acquire at least one image by using a plurality of cameras capable of photographing the inside of the refrigerator 20.
  • the server 40 may receive at least one image acquired by the refrigerator 20.
  • the server 40 may pre-store an image of a storage room of the refrigerator 20. In this case, the server 40 may omit the above-described operations 3 to 5.
  • the server 40 may recognize the food material included in the image received from the refrigerator 20 to obtain first information (eg, first text) related to the name of the food material.
  • first information eg, first text
  • the server 40 may recognize an object (eg, a food material) included in the image. For example, the server 40 may change the image into an image emphasizing the edge area, and then analyze the shape of the edge to recognize the shape of the object.
  • an object eg, a food material
  • the server 40 may identify the name of the recognized object to obtain the first text related to the name of the food material.
  • the server 40 may acquire a first text related to the name of the food material by recognizing the food material included in the image using an artificial intelligence algorithm. For example, the server 40 applies the image including the object and the name of the object as training data to apply the at least one image of the inside of the refrigerator 20 to the learned data recognition model to relate to the name of the food material.
  • the first text may be obtained.
  • the server 40 may include first information (eg, first text) and second information (eg, second text) related to cooking information recognized by the server 40 from media content. ) Can be used to create cooking broadcast content.
  • first information eg, first text
  • second information eg, second text
  • the server 40 may recognize the cooking information in the form of text in the media content stored in the server 40.
  • the server 40 may recognize a text by applying a text recognition method (for example, an optical character reader (OCR) technique) to each of the image frames included in the media content in a video form.
  • OCR optical character reader
  • the server 40 determines at least one image frame related to cooking information (for example, a name or a recipe of a food ingredient) among media content, and relates to the cooking information by using text included in the image frame.
  • the second text may be obtained.
  • a plurality of second texts may be generated according to the number of media contents stored in the server 40.
  • the server 40 may classify an image frame related to cooking information and an image frame not related to cooking information among a plurality of image frames included in the media content in a video form.
  • the image frame associated with the cooking information may be, for example, an image frame having text including ingredients, cooking methods, and the like in the text recognition result text.
  • the server 40 may obtain cooking broadcast content to be transmitted to the display apparatus 10 from the media content by using the first text related to the name of the food ingredient and the second text related to the cooking information. .
  • the server 40 may identify the second text including a name identical or similar to a name of a food ingredient included in the first text among the plurality of second texts.
  • the server 40 may obtain (or add) media content corresponding to the identified at least one second text as cooking broadcast content.
  • the server 40 may acquire media content viewed by a third party having the same food ingredient as the food ingredient included in the first text.
  • the server 40 may identify the second text including the same or similar name as the name of the food material included in the first text among the second texts corresponding to the obtained media content.
  • the server 40 may obtain media content corresponding to the identified at least one or more second texts as cooking broadcast content.
  • the server 40 may acquire the media content most played over a period of time (eg, last three months, six months, or one year).
  • the server 40 may identify the second text including the same or similar name as the name of the food material included in the first text among the second texts corresponding to the obtained media content.
  • the server 40 may obtain media content corresponding to the identified at least one or more second texts as cooking broadcast content.
  • the server 40 may transmit at least one of the acquired cooking broadcast content and the second text related to the cooking information to the display apparatus 10.
  • the display apparatus 10 may display the received cooking broadcast content together with the image including the ingredients.
  • the display apparatus 10 divides the display area 11 into two to display an image 110 including ingredients in a first area, and display cooking content 120 in a second area. can do.
  • the display apparatus 10 may display the cooking broadcast content 120 in a list form when there are a plurality of cooking broadcast content 120.
  • the method of displaying the image 110 including the cooking broadcast content 120 and the food ingredients by the display apparatus 10 is not limited thereto.
  • the display apparatus 10 may display the received second text together with the image including the food material.
  • the display apparatus 10 may acquire only the contents of the cooking process from the second text and display the image with the food ingredients.
  • the content recommendation system 1 may recognize a user's speech related to a refrigerator and provide cooking-related content required by the user.
  • FIG. 1B is a diagram illustrating a situation in which a function is executed by using a command of a user input to a display device in a content recommendation system according to an exemplary embodiment.
  • the content recommendation system 1 may include a display device 10, a server 40, a refrigerator 20, or a home gateway 30.
  • the components constituting the content recommendation system 1 are not limited thereto, and components necessary for the operation of the content recommendation system 1 may be added, or one of the components may be excluded.
  • the display apparatus 10, the server 40, the refrigerator 20, or the home gateway 30 may all be connected through a communication network.
  • the display apparatus 10 and the refrigerator 20 may be connected to the home gateway 30 through a communication network
  • the home gateway 30 may be connected to the server 40 through a communication network.
  • the connection structure through the communication network is not limited thereto and may be formed in various structures.
  • the display apparatus 10, the server 40, the refrigerator 20, or the home gateway 30 may establish a communication network using a wired or wireless communication method.
  • the display apparatus 10, the server 40, the refrigerator 20, or the home gateway 30 may be a wireless communication unit (eg, a cellular communication module, a short range wireless communication module, or a global navigation satellite system (GNSS) communication module).
  • a wired communication unit for example, a local area network (LAN) communication module or a power line communication module
  • a first network for example, Bluetooth, WiFi direct or IrDA (infrared data) using a corresponding communication unit.
  • the display apparatus 10, the server 40, the refrigerator 20, or the home gateway 30 may be implemented as one chip or each communication unit implemented as a separate chip.
  • the display apparatus 10 may receive a user's speech as a user input.
  • the display apparatus 10 may receive a user's speech and generate a command for operating the app based on the user's speech.
  • the display apparatus 10 may receive the user's speech and change the text data into text data.
  • the display apparatus 10 may generate (or select) a command to execute at least one or more functions based on text data.
  • the command may include information on an operation (or process) for executing at least one function or information on a parameter for executing the operation.
  • the command may include a sequence of operations for executing at least one function.
  • the display apparatus 10 may select an app (or a function) according to a command and execute an operation according to the command in the selected app.
  • the server 40 or the home gateway 30 may receive a voice input of the user from a display device 10 or other device (for example, an artificial intelligence speaker, etc.) connected through a communication network to receive text data ( text data).
  • server 40 or home gateway 30 may generate (or select) a command to execute at least one or more functions based on text data.
  • the command may include information on an operation (or process) for executing at least one function or information on a parameter for executing the operation.
  • the command may include a sequence of operations for executing at least one function.
  • the display apparatus 10 may receive a command generated by the server 40 or the home gateway 30, select an app (or a function) according to the command, and execute an operation according to the command in the selected app.
  • the display apparatus 10 may receive a user input (eg, utterance) requesting information related to the refrigerator.
  • a user input eg, utterance
  • the display apparatus 10 may receive a user input for requesting information related to a refrigerator using a microphone (not shown) included in the display apparatus 10.
  • the user's input for requesting information relating to the refrigerator is, for example, "display a broadcast related to the ingredients in the refrigerator", “what food can be made from the ingredients in the refrigerator?" Or “What's in the fridge right now?" It may be at least one of.
  • the user input is not limited thereto and may include various user inputs for requesting information related to the refrigerator.
  • the display apparatus 10 may recognize a user's speech using a voice recognition algorithm (or a voice recognition module) stored therein and perform a function related to the recognized speech.
  • the function related to the recognized speech may be, for example, a function of recommending cooking broadcast content related to the material stored in the refrigerator 20.
  • the display apparatus 10 may transmit a request command to the refrigerator 20 to request the transmission of the image acquired using the camera included in the refrigerator 20.
  • the display apparatus 10 may transmit a request command for requesting transmission of an image to the refrigerator 20 by using the home gateway 30.
  • the display apparatus 10 transmits a user's speech input to the home gateway 30, and the home gateway 30 recognizes the user's speech input by using a speech recognition algorithm, and recognizes the recognized speech.
  • the home gateway 30 may transmit a request command for requesting image transmission to the refrigerator 20 by using a command related to the recognized utterance.
  • the refrigerator 20 may acquire at least one image by using a camera included in the refrigerator 20 in response to the received request command.
  • the refrigerator 20 may acquire at least one image by using a plurality of cameras capable of photographing the inside of the refrigerator 20.
  • the display apparatus 10 may receive at least one image acquired by the refrigerator 20 through the home gateway 30.
  • the display apparatus 10 may pre-store an image of a storage room of the refrigerator 20. In this case, the display apparatus 10 may omit the above-described operations 3 to 5.
  • the display apparatus 10 may recognize the food ingredients included in the image received from the refrigerator 20 to obtain first information (eg, first text) related to the name of the food ingredients.
  • first information eg, first text
  • the display apparatus 10 may recognize an object (eg, a food material) included in an image.
  • the display apparatus 10 may recognize the shape of an object by analyzing the shape of the edge after changing the image to an image emphasizing the edge area.
  • the display apparatus 10 may identify the name of the recognized object to obtain first text related to the name of the food material.
  • the display apparatus 10 may acquire a first text related to the name of the food material by recognizing the food material included in the image using an artificial intelligence algorithm. For example, the display apparatus 10 applies the image including the object and the name of the object as the training data to apply the at least one image of the inside of the refrigerator 20 to the learned data recognition model to the name of the food material. An associated first text may be obtained.
  • the display apparatus 10 may transmit the acquired first text to the server 40 through the home gateway 30.
  • the server 40 receives the first information (e.g., the first text) and the second information (e.g., the second text) related to the cooking information recognized by the server 40 from the media content.
  • the cooking broadcast content may be generated.
  • the server 40 may recognize the cooking information in the form of text in the media content stored in the server 40.
  • the server 40 may recognize a text by applying a text recognition method (for example, an optical character reader (OCR) technique) to each of the image frames included in the media content in a video form.
  • OCR optical character reader
  • the server 40 determines at least one image frame related to cooking information (for example, a name or a recipe of a food ingredient) among media content, and relates to the cooking information by using text included in the image frame.
  • the second text may be obtained.
  • a plurality of second texts may be generated according to the number of media contents stored in the server 40.
  • the server 40 may classify an image frame related to cooking information and an image frame not related to cooking information among a plurality of image frames included in the media content in a video form.
  • the image frame associated with the cooking information may be, for example, an image frame having text including ingredients, cooking methods, and the like in the text recognition result text.
  • the server 40 may obtain cooking broadcast content to be transmitted to the display apparatus 10 from the media content by using the first text related to the name of the food ingredient and the second text related to the cooking information. .
  • the server 40 may identify the second text including a name identical or similar to a name of a food ingredient included in the first text among the plurality of second texts.
  • the server 40 may obtain (or add) media content corresponding to the identified at least one second text as cooking broadcast content.
  • the server 40 may acquire media content viewed by a third party having the same food ingredient as the food ingredient included in the first text.
  • the server 40 may identify the second text including the same or similar name as the name of the food material included in the first text among the second texts corresponding to the obtained media content.
  • the server 40 may obtain media content corresponding to the identified at least one or more second texts as cooking broadcast content.
  • the server 40 may acquire the media content most played over a period of time (eg, last three months, six months, or one year).
  • the server 40 may identify the second text including the same or similar name as the name of the food material included in the first text among the second texts corresponding to the obtained media content.
  • the server 40 may obtain media content corresponding to the identified at least one or more second texts as cooking broadcast content.
  • the display apparatus 10 may receive at least one of the second text related to the cooking information acquired by the server 40 and the cooking broadcast content acquired by the server 40 through the home gateway 30. have.
  • the display apparatus 10 may display the received cooking broadcast content together with an image including ingredients.
  • the display apparatus 10 divides the display area 11 into two to display an image 110 including ingredients in a first area, and display cooking content 120 in a second area. can do.
  • the display apparatus 10 may display the cooking broadcast content 120 in a list form when there are a plurality of cooking broadcast content 120.
  • the method of displaying the image 110 including the cooking broadcast content 120 and the food ingredients by the display apparatus 10 is not limited thereto.
  • the display apparatus 10 may recognize a user's utterance related to a refrigerator and provide cooking-related content required by the user.
  • FIG. 2 is a schematic block diagram of a display apparatus according to an exemplary embodiment.
  • the display apparatus 10 may include a processor 210, a communication unit 220, a display 230, an input unit 250, and a memory 240. However, it is not limited thereto.
  • the display apparatus 10 may further include components or may not include some components.
  • the processor 210 may control the overall operation of the display apparatus 10. For example, the processor 210 may control the input unit 250 to receive a user input. The processor 210 may control the display 230 to display an image. The processor 210 may control the memory 240 to execute a program stored in the memory 240, and load or store necessary information.
  • the request command for requesting the transmission of an image acquired using a camera located inside the refrigerator 20 includes a refrigerator.
  • the communication unit 220 may be controlled to be transmitted to.
  • the processor 210 may receive at least one image from the refrigerator 20, recognize a food material included in the at least one image, and acquire first text related to the name of the food material.
  • the processor 210 controls the communicator 220 to transmit the first text to the server 40, and the processor 210 is related to cooking information recognized by the server 40 from the first text and the media content.
  • the cooking broadcast content acquired using the 2 texts may be received.
  • the processor 210 may control the display 230 to simultaneously display an image including cooking broadcast content and ingredients.
  • the display 230 may display an image, a video, and / or an execution screen of an application.
  • the display 230 may display an image received from the refrigerator 20, a content list received from the server 40, and the like based on the control of the processor 210.
  • the communication unit 220 may connect the display apparatus 10 to an external device under the control of the processor 210.
  • the communication unit 220 may include one of components that implement various wired or wireless communication methods, such as wireless LAN, Bluetooth, and wired Ethernet, in response to the performance and structure of the display apparatus 10.
  • the memory 240 may be a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (eg, SD or XD memory, etc.), RAM (RAM, Random Access Memory) SRAM (Static Random Access Memory), ROM (ROM, Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory)
  • RAM Random Access Memory
  • SRAM Static Random Access Memory
  • ROM Read-Only Memory
  • EEPROM Electrical Erasable Programmable Read-Only Memory
  • PROM Program Memory
  • At least one type of storage medium may include a magnetic memory, a magnetic disk, and an optical disk.
  • the memory 240 transmits an image acquired by using a camera located inside the refrigerator 20.
  • the control unit 220 controls the communication unit 220 to transmit a request command to the refrigerator 20, receives at least one image from the refrigerator 20, recognizes a food material included in the at least one image, and associates the name with the name of the food material.
  • Control the communication unit 220 to obtain the first text to be transmitted, and transmit the first text to the server 40, and display the second text related to the cooking information recognized by the server 40 from the first text and the media content.
  • Commands configured to receive the cooking broadcast content acquired using the control unit and to control the display 230 to display the cooking broadcast content and the image including the ingredients together may be stored.
  • the input unit 250 may receive a user input from a user.
  • the input unit 250 may receive a user input from a connected external device (eg, a keyboard, a headset, etc.).
  • the input unit 250 may include a microphone capable of receiving a user's speech as a voice signal.
  • FIG. 3 is a diagram for describing another method of displaying, by a display device, an image including food and cooking broadcast content, according to an exemplary embodiment.
  • the display apparatus 10 may simultaneously display an image including cooking broadcast content and ingredients.
  • the display apparatus 10 may divide the display into two and display an image 110 including food ingredients in a first area, and display cooking broadcast content 120 in a second area.
  • the display apparatus 10 may display the cooking broadcast content 120 in a list form when there are a plurality of cooking broadcast content 120.
  • the display apparatus 10 may change the position where the image 110 including the food material is displayed and the position where the cooking broadcast content 120 is displayed.
  • the display apparatus 10 may display the selected cooking broadcast content and the corresponding food ingredients separately from the other food ingredients.
  • the display apparatus 10 may receive an input for selecting the displayed cooking broadcast content.
  • the display apparatus 10 may receive a user input for selecting cooking broadcast content through a control device (for example, a remote controller or a smartphone).
  • the display apparatus 10 may receive a speech of a user who selects cooking broadcast content. The display apparatus 10 may recognize the user's speech and select content according to the recognized result.
  • the display apparatus 10 may enlarge and display the selected content 330 in the area where the cooking broadcast content 120 is displayed in the display area 11.
  • the display apparatus 10 may identify a recipe or ingredient name included in the selected content.
  • the display apparatus 10 may distinguish and display an object corresponding to a recipe or ingredient name included in selected content among objects included in the image 110 received from the refrigerator 20 from other objects.
  • the display apparatus 10 may compare the second text corresponding to the selected content with the first text including the name of the ingredient.
  • the display apparatus 10 may identify names of ingredients included in the first text and the second text at the same time.
  • the display apparatus 10 may identify an object corresponding to the name of the identified food material and display it separately from other objects.
  • the display apparatus 10 may display the food materials 310 and 320 corresponding to the name of the food material identified using the box display 305 separately from other food materials.
  • the display apparatus 10 may classify and display the food materials 310 and 320 corresponding to the name of the identified food material using a symbol (for example, a circle shape, a star shape, an arrow, etc.). .
  • the display apparatus 10 may display a speaker or the like simultaneously or sequentially. Names of the identified ingredients 310 and 320 may be output.
  • the display apparatus 10 when one content is selected by a user, the display apparatus 10 does not enlarge and display the selected content as shown in FIG.
  • the selected content can be displayed separately from other content.
  • the display apparatus 10 may display various effects such as an arrow and a dotted line between the selected content and the identified ingredients 310 and 320. Further, according to various embodiments.
  • the display apparatus 10 may blur the other cooking broadcast content except the selected cooking broadcast content.
  • the display apparatus 10 may distinguish and display the selected cooking broadcasting content and the remaining cooking broadcasting content except for the selected content by using various methods.
  • FIG. 4 is a diagram illustrating a situation in which a display device displays a user interface for purchasing food ingredients, according to an exemplary embodiment.
  • the display apparatus 10 may display the selected cooking broadcast content and the corresponding food material separately from other food ingredients.
  • the display apparatus 10 may display the food materials 310 and 320 corresponding to the name of the food material identified using the box display 305 separately from other food materials.
  • the display apparatus 10 may display the food materials 310 and 320 corresponding to the name of the identified food material using a symbol (for example, a circle shape, a star shape, an arrow, etc.).
  • the display apparatus 10 may display a user interface 410 for purchasing food ingredients corresponding to the selected cooking broadcast content.
  • the display apparatus 10 may identify a recipe corresponding to the selected cooking broadcast content.
  • the display apparatus 10 may identify the content corresponding to the recipe in the second text corresponding to the selected cooking broadcast content.
  • the display apparatus 10 may identify names of ingredients included in the identified recipe.
  • the display apparatus 10 may identify the food ingredients not included in the first text by comparing the names of the identified food ingredients with the names of food ingredients included in the first text.
  • the display apparatus 10 may determine a food material that is not in the first text but included in the recipe as a food material to be purchased.
  • the display apparatus 10 may display a user interface 410 for purchasing foodstuffs in order to purchase foodstuffs that require purchase.
  • the display apparatus 10 may access a food shopping website and display a search result for foods that need to be purchased.
  • the display apparatus 10 may transmit information about food ingredients that need to be purchased to the external electronic device 420.
  • the display apparatus 10 may identify a recipe corresponding to the selected cooking broadcast content.
  • the display apparatus 10 may identify the content corresponding to the recipe in the second text corresponding to the selected cooking broadcast content.
  • the display apparatus 10 may identify names of ingredients included in the identified recipe.
  • the display apparatus 10 may identify the food ingredients not included in the first text by comparing the names of the identified food ingredients with the names of food ingredients included in the first text.
  • the display apparatus 10 may determine a food material that is not in the first text but included in the recipe as a food material to be purchased.
  • the display apparatus 10 transmits information about food materials to be purchased and an address (eg, a uniform resource locator (URL)) of a user interface from which the food materials can be purchased to the external electronic device 420.
  • an address eg, a uniform resource locator (URL)
  • the display apparatus 10 may display an address of a food shopping website and information about ingredients that need to be purchased, such as an external electronic device 420 (eg, a smartphone or a tablet PC) connected to the display apparatus 10. , Wearable devices, etc.).
  • an external electronic device 420 eg, a smartphone or a tablet PC
  • the external electronic device 420 may access the food shopping web site 430 using the URL of the received food shopping web site and information on the food ingredients to be purchased, and display the search result for the food ingredients to be purchased. have.
  • server 40 may identify names of ingredients included in the identified recipes.
  • the server 40 may identify the food ingredients not included in the first text by comparing the names of the identified food ingredients with the names of food ingredients included in the first text.
  • the server 40 may determine a food material not included in the first text but included in the recipe as food material to be purchased.
  • the server 40 may transmit information about the food ingredients to be purchased and an address (eg, a uniform resource locator (URL)) of a user interface from which the food materials can be purchased to the external electronic device 420.
  • an address eg, a uniform resource locator (URL)
  • the display apparatus 10 may display an address of a food shopping website and information about ingredients that need to be purchased, such as an external electronic device 420 connected to the display apparatus 10 (eg, a smartphone or a tablet PC). , Wearable devices, etc.).
  • the external electronic device 420 may access the food shopping web site 430 using the URL of the received food shopping web site and information on the food ingredients to be purchased, and display the search result for the food ingredients to be purchased. have.
  • FIG. 5 is a diagram for describing a method of playing, by an electronic device, a selected cooking information content according to an exemplary embodiment.
  • the display apparatus 10 may display a cooking broadcast content 120 and an image 110 including food ingredients.
  • the display apparatus 10 divides the display area 11 into two to display an image 110 including ingredients in a first area, and display cooking content 120 in a second area. can do. According to various embodiments of the present disclosure, the display apparatus 10 may change the position where the image 110 including the food material is displayed and the position where the cooking broadcast content 120 is displayed.
  • the display apparatus 10 may play the corresponding content.
  • the display apparatus 10 may receive cooking broadcast content acquired by the server 40.
  • the server 40 may include at least one image related to cooking information (for example, a recipe or a ingredient name) among a plurality of image frames constituting the media content previously stored in the server 40.
  • the frame can be determined.
  • the server 40 may obtain the second text including the cooking information by using the text included in the image frame related to the cooking information.
  • the server 40 obtains cooking broadcast content to be transmitted to an external device (eg, the display device 10 or the refrigerator 20) using at least one image frame related to the cooking information. can do.
  • the server 40 may identify a frame related to the cooking information among the image frames included in the pre-stored media content, and generate a video clip composed only of the image frame related to the cooking information. have.
  • the video clip may mean, for example, a bundle of short still images or moving image content corresponding to about 1 to 3 minutes.
  • the display apparatus 10 may play the selected video clip when a user's input for selecting the video clip is received.
  • the video clip consists only of image frames including cooking information, the user can watch only contents in which cooking information such as recipes or ingredients are introduced, without having to watch the entire contents of the cooking broadcasting content.
  • the server 40 may transmit the representative image frame of the acquired cooking broadcast content to the display apparatus 10.
  • the server 40 may transmit an image frame including a broadcast title of cooking broadcast content.
  • the user may select the preferred broadcasting content by looking at the title of the cooking broadcasting content displayed on the display 10.
  • the display apparatus 10 when watching a video clip in which a recipe or ingredient is introduced, receives a user input for requesting reproduction of the entire content of the selected video clip.
  • the entire contents can be downloaded and played back from the server 40 using a method such as streaming.
  • the server 40 may transmit the entire image frames constituting the obtained cooking broadcast content to the display apparatus 10.
  • the display apparatus 10 may analyze the image frames included in the received cooking broadcast content by using an OCR method, and identify an image frame including a recipe or ingredients.
  • the display apparatus 10 may play back from the identified image frame.
  • the display apparatus 10 may play the selected cooking broadcast content from the beginning in response to a user input for selecting the received cooking broadcast content.
  • FIG. 6 is a diagram illustrating a situation in which a function is executed by using a command of a user input to a refrigerator in a content recommendation system according to an exemplary embodiment.
  • the content recommendation system 1 may include a display device 10, a server 40, a refrigerator 20, a home gateway 30, or an artificial intelligence speaker 50.
  • the display apparatus 10, the server 40, the refrigerator 20, the artificial intelligence speaker 50, or the home gateway 30 may all be connected through a communication network.
  • the artificial intelligence speaker 50, the display device 10, and the refrigerator 20 are connected to the home gateway 30 through a communication network
  • the home gateway 30 is connected to the server 40 through a communication network.
  • the connection structure through the communication network is not limited thereto and may be formed in various structures.
  • the artificial intelligence speaker 50, the display device 10, the refrigerator 20, and the server 40 may perform direct communication using a communication unit included in each device.
  • the artificial intelligence speaker 50, the display device 10, and the refrigerator 20 communicate with the server 40 through the home gateway 30 to describe the content as configuring the recommendation system 1.
  • the present invention is not limited thereto, and the artificial intelligence speaker 50, the display apparatus 10, and the refrigerator 20 communicate directly with the server 40, and transmit and receive necessary data or signals to the content recommendation system 1. Can be configured.
  • the artificial intelligence speaker 50 may receive a user's speech as a user input.
  • the artificial intelligence speaker 50 may receive a user's speech and generate a command for operating the app based on the user's speech.
  • the artificial intelligence speaker 50 may receive the user's speech and change the text into text data.
  • the artificial intelligence speaker 50 may generate (or select) a command to execute at least one or more functions based on text data.
  • the command may include information on an operation (or process) for executing at least one function or information on a parameter for executing the operation.
  • the command may include a sequence of operations for executing at least one function.
  • the artificial intelligence speaker 50 may select an app (or a function) according to a command and execute an operation according to the command in the selected app.
  • the artificial intelligence speaker 50 may receive a user input (eg, utterance) requesting information related to the refrigerator.
  • a user input eg, utterance
  • the artificial intelligence speaker 50 may receive a user input for requesting information related to a refrigerator by using a microphone (not shown) included in the artificial intelligence speaker 50.
  • the user's input for requesting information relating to the refrigerator is, for example, "display a broadcast related to the ingredients in the refrigerator", “what food can be made from the ingredients in the refrigerator?" Or “What's in the fridge right now?" It may be at least one of.
  • the user input is not limited thereto and may include various user inputs for requesting information related to the refrigerator.
  • the artificial intelligence speaker 50 may recognize a user's speech using a voice recognition algorithm (or voice recognition module) stored therein, and generate a command for performing a function related to the recognized speech.
  • the command for performing a function related to the recognized speech may be, for example, a function of recommending cooking broadcast content related to a material stored in the refrigerator 20.
  • the artificial intelligence speaker 50 may transmit a command generated based on the user's speech to the refrigerator 20 through the home gateway 30.
  • the artificial intelligence speaker 50 transmits a user's speech input to the server 40 through the home gateway 30, and the server 40 receives the user's speech input using a voice recognition algorithm or the like. Recognize and receive instructions generated to perform a function related to the recognized speech. In this case, the artificial intelligence speaker 50 may perform subsequent operations, such as requesting the refrigerator 20 to transmit an image by using the received commands.
  • the refrigerator 20 may acquire at least one image using a camera included in the refrigerator 20 in response to the received command.
  • the refrigerator 20 may acquire at least one image by using a plurality of cameras capable of photographing the inside of the refrigerator 20.
  • the refrigerator 20 may acquire the name of the food material by recognizing the food material included in the at least one image.
  • the refrigerator 20 may recognize an object (eg, a food material) included in the image.
  • the refrigerator 20 may change the image into an image emphasizing the edge area, and then analyze the shape of the edge to recognize the shape of the object.
  • the refrigerator 20 may identify the name of the recognized object to obtain first information (eg, first text) related to the name of the food material.
  • first information eg, first text
  • the refrigerator 20 may transmit the obtained first text to the server 40 through the home gateway 30.
  • the server 40 may generate the cooking broadcast content using the first text and the second information (eg, the second text) related to the cooking information recognized by the server 40 from the media content. have.
  • the server 40 may recognize the cooking information in the form of text in the media content stored in the server 40.
  • the server 40 may recognize a text by applying a text recognition method (for example, an optical character reader (OCR) technique) to each of the image frames included in the media content in a video form.
  • OCR optical character reader
  • the server 40 determines at least one image frame related to cooking information (for example, a food ingredient name or a recipe) among media contents, identifies a character included in the image frame, and associates the cooking information with the cooking information.
  • the second text may be obtained.
  • a plurality of second texts may be generated according to the number of media contents stored in the server 40.
  • the server 40 may obtain cooking broadcast content to be transmitted to the display apparatus 10 from the media content by using the first text including the name of the food and the second text related to the cooking information. .
  • the server 40 may identify the second text including a name identical or similar to a name of a food ingredient included in the first text among the plurality of second texts.
  • the server 40 may obtain (or add) cooking broadcast content using media content corresponding to the identified at least one second text.
  • the server 40 may acquire media content viewed by a third party having the same food ingredient as the food ingredient included in the first text.
  • the server 40 may identify the second text including the same or similar name as the name of the food material included in the first text among the second texts corresponding to the obtained media content.
  • the server 40 may obtain media content corresponding to the identified at least one or more second texts as cooking broadcast content.
  • the server 40 may acquire the media content most played over a period of time (eg, last three months, six months, or one year).
  • the server 40 may identify the second text including the same or similar name as the name of the food material included in the first text among the second texts corresponding to the obtained media content.
  • the server 40 may obtain media content corresponding to the identified at least one or more second texts as cooking broadcast content.
  • the refrigerator 20 may receive at least one of the second text related to the cooking information acquired by the server 40 and the cooking broadcast content obtained by the server 40 through the home gateway 30. .
  • the refrigerator 20 may transmit the acquired image to the server 40.
  • the refrigerator 20 may obtain the first text from the image by the server 40 using an object recognition algorithm and the like, and receive the cooking broadcast content obtained using the first text.
  • the refrigerator 20 may generate an image including the received cooking broadcast content and ingredients as one content.
  • the refrigerator 20 may transmit the content generated using the image including the cooking broadcast content and the ingredients to the display apparatus 10 through the home gateway 30.
  • the display apparatus 10 may display the received cooking broadcast content and an image including food ingredients together.
  • the display apparatus 10 divides the display area 11 into two to display an image 110 including ingredients in a first area, and display cooking content 120 in a second area. can do.
  • the display apparatus 10 may display the cooking broadcast content 120 in a list form when there are a plurality of cooking broadcast content 120.
  • the method of displaying the image 110 including the cooking broadcast content 120 and the food ingredients by the display apparatus 10 is not limited thereto.
  • the display device 10 displays the image including the cooking broadcast content and ingredients together. can do.
  • FIG. 7 is a schematic block diagram of a refrigerator according to one embodiment.
  • the refrigerator 20 may include a processor 710, a communication unit 720, a memory 730, and a camera 740. However, it is not limited thereto.
  • the refrigerator 20 may further include components, or may not include some components.
  • the processor 710 may control the overall operation of the refrigerator 20.
  • the processor 710 may receive a user input through the communication unit 720.
  • the processor 710 may control the memory 730 to execute a stored program, and load or store necessary information.
  • the processor 710 when the processor 710 receives an input for requesting information related to the refrigerator 20 through the communication unit 720, the processor 710 may acquire at least one image using the camera 740. The processor 710 may acquire the first text related to the name of the food material by recognizing the food material included in the at least one image.
  • the processor 710 controls the communication unit 720 to transmit the first text to the server 40, and the processor 710 is related to cooking information recognized by the server 40 from the first text and the media content.
  • the cooking broadcast content acquired using the 2 texts may be received.
  • the processor 710 may generate an image including the received cooking broadcast content and ingredients as one content and transmit the image to the display apparatus 10 through the home gateway 30.
  • the communication unit 720 may connect the refrigerator 20 to an external device under the control of the processor 710.
  • the communication unit 720 may include one of components that implement various wired or wireless communication methods such as wireless LAN, Bluetooth, and wired Ethernet in response to the performance and structure of the refrigerator 20.
  • the memory 730 obtains at least one image using the camera 740 and includes the at least one image in the at least one image. Recognizes the prepared food material, obtains a first text related to the name of the food material, controls the communication unit 720 to transmit the first text to the server 40, and the server 40 recognizes the first text and the media content. Commands configured to receive the cooking broadcast content acquired by using the second text related to one cooking information and to control the communication unit may store the instructions set to transmit the cooking broadcast content and the image to the display apparatus 10.
  • the camera 740 may generate an image by photographing the food ingredients stored in the refrigerator 20 under the control of the processor 710.
  • FIG. 8 is a diagram illustrating a situation in which a function is executed by using a command of a user input to a server in a content recommendation system according to an exemplary embodiment.
  • the content recommendation system 1 may include a display device 10, a server 40, a refrigerator 20, a home gateway 30, or an artificial intelligence speaker 50.
  • the display apparatus 10, the server 40, the refrigerator 20, the artificial intelligence speaker 50, or the home gateway 30 may all be connected through a communication network.
  • the artificial intelligence speaker 50, the display device 10, and the refrigerator 20 are connected to the home gateway 30 through a communication network
  • the home gateway 30 is connected to the server 40 through a communication network.
  • the connection structure through the communication network is not limited thereto and may be formed in various structures.
  • the artificial intelligence speaker 50, the display device 10, the refrigerator 20, and the server 40 may perform direct communication using a communication unit included in each device.
  • the artificial intelligence speaker 50, the display device 10, and the refrigerator 20 communicate with the server 40 through the home gateway 30 to describe the content as configuring the recommendation system 1.
  • the present invention is not limited thereto, and the artificial intelligence speaker 50, the display apparatus 10, and the refrigerator 20 communicate directly with the server 40, and transmit and receive necessary data or signals to the content recommendation system 1. Can be configured.
  • the artificial intelligence speaker 50 may receive a user input (eg, utterance) requesting information related to the refrigerator.
  • a user input eg, utterance
  • the artificial intelligence speaker 50 may receive a user input for requesting information related to a refrigerator by using a microphone (not shown) included in the artificial intelligence speaker 50.
  • the user's input for requesting information relating to the refrigerator is, for example, "display a broadcast related to the ingredients in the refrigerator", “what food can be made from the ingredients in the refrigerator?" Or “What's in the fridge right now?" It may be at least one of.
  • the user input is not limited thereto and may include various user inputs for requesting information related to the refrigerator.
  • the artificial intelligence speaker 50 may recognize a user's speech using a voice recognition algorithm (or voice recognition module) stored therein, and generate a command for performing a function related to the recognized speech.
  • the command for performing a function related to the recognized speech may be, for example, a function of recommending cooking broadcast content related to a material stored in the refrigerator 20.
  • the artificial intelligence speaker 50 may transmit a command generated based on the user's speech to the server 40 through the home gateway 30.
  • the server 40 may transmit a request command to the refrigerator 20 to request the transmission of the captured image using a camera included in the refrigerator 20. have.
  • the server 40 may transmit a request command to the refrigerator 20 to request the refrigerator 20 to transmit an image using the home gateway 30.
  • the home gateway 30 may recognize a user's speech using a voice recognition algorithm (or a voice recognition module) stored therein and generate a command for performing a function related to the recognized speech. .
  • the home gateway 30 may transmit a request command to the refrigerator 20 requesting to transmit the image captured by the camera included in the refrigerator 20 to the server 40.
  • the refrigerator 20 may acquire at least one image by using a camera included in the refrigerator 20 in response to the received request command.
  • the refrigerator 20 may acquire at least one image by using a plurality of cameras capable of photographing the inside of the refrigerator 20.
  • the server 40 may receive at least one image acquired by the refrigerator 20 through the home gateway 30.
  • the server 40 may acquire the name of the food material by recognizing the food material included in the at least one image received from the refrigerator 20.
  • the server 40 may recognize an object (eg, a food material) included in at least one image. For example, the server 40 may change the image into an image emphasizing the edge area, and then analyze the shape of the edge to recognize the shape of the object.
  • an object eg, a food material
  • the server 40 may change the image into an image emphasizing the edge area, and then analyze the shape of the edge to recognize the shape of the object.
  • the server 40 may identify the name of the recognized object to obtain first information (eg, first text) related to the name of the food material.
  • first information eg, first text
  • the server 40 may generate the cooking broadcast content using the first text and the second information (for example, the second text) related to the cooking information recognized by the server 40 from the media content. have.
  • the server 40 may recognize the cooking information in the form of text in the media content stored in the server 40.
  • the server 40 may recognize a text by applying a text recognition method (for example, an optical character reader (OCR) technique) to each of the image frames included in the media content in a video form.
  • OCR optical character reader
  • the server 40 determines at least one image frame related to cooking information (for example, a food ingredient name or a recipe) among media contents, identifies a character included in the image frame, and associates the cooking information with the cooking information.
  • the second text may be obtained.
  • a plurality of second texts may be generated according to the number of media contents stored in the server 40.
  • the server 40 may acquire the cooking broadcast content to be transmitted to the display apparatus 10 from the cooking broadcast content using the first text including the name of the food and the second text related to the cooking information. have.
  • the server 40 may identify the second text including a name identical or similar to a name of a food ingredient included in the first text among the plurality of second texts.
  • the server 40 may obtain (or add) cooking broadcast content using media content corresponding to the identified at least one second text.
  • the server 40 may acquire media content viewed by a third party having the same food ingredient as the food ingredient included in the first text.
  • the server 40 may identify the second text including the same or similar name as the name of the food material included in the first text among the second texts corresponding to the obtained media content.
  • the server 40 may obtain media content corresponding to the identified at least one or more second texts as cooking broadcast content.
  • the server 40 may acquire the media content most played over a period of time (eg, last three months, six months, or one year).
  • the server 40 may identify the second text including the same or similar name as the name of the food material included in the second text among the second texts corresponding to the obtained media content.
  • the server 40 may obtain media content corresponding to the identified at least one or more second texts as cooking broadcast content.
  • the display apparatus 10 may receive at least one of the second text related to the cooking information acquired by the server 40 and the list of cooking broadcast contents obtained by the server 40 through the home gateway 30. Can be.
  • the display apparatus 10 may display the received cooking broadcast content and an image including food ingredients together.
  • the display apparatus 10 may divide the display into two and display an image 110 including food ingredients in a first area, and display cooking broadcast content 120 in a second area.
  • the method of displaying the image 110 including the cooking broadcast content 120 and the food ingredients by the display apparatus 10 is not limited thereto.
  • FIG. 9 is a schematic block diagram of a server according to an embodiment.
  • the server 40 may include a processor 910, a communication unit 920, and a memory 930. However, it is not limited thereto. For example, server 40 may further include components, or may not include some components.
  • the processor 910 may control the overall operation of the server 40.
  • the processor 910 may receive a user input through the communication unit 920.
  • the processor 910 may control the memory 930 to execute a stored program, and load or store necessary information.
  • the processor 910 when the processor 910 receives an input for requesting information related to the refrigerator 20 through the communication unit 920, the processor 910 transmits an image, which is obtained by using a camera included in the refrigerator 20.
  • the communication unit 920 may be controlled to transmit the request request command to the refrigerator 20.
  • the processor 910 in response to the request command, receives at least one image from the refrigerator 20 through the communication unit 920, recognizes the food material included in the at least one image name of the food material A first text related to may be obtained.
  • the processor 910 acquires the cooking broadcast content using the second text related to the cooking information recognized from the first text and the media content, and controls the communication unit 920 to control the cooking broadcast content. Images containing food can be sent to external devices.
  • the communication unit 920 may connect the server 40 with an external device under the control of the processor 910.
  • the communication unit 920 may include one of components that implement various wired or wireless communication methods, such as wireless LAN, Bluetooth, and wired Ethernet, in response to the performance and structure of the server 40.
  • the memory 930 is obtained by using a camera located inside the refrigerator 20.
  • the control unit 920 controls the communication unit 920 to transmit a request command requesting transmission of the data to the refrigerator 20, and receives at least one image from the refrigerator 20 through the communication unit 920 in response to the request command. Recognizes the food ingredients contained in the to obtain the first text associated with the name of the food ingredients, and obtains the cooking broadcast content using the second text associated with the cooking information recognized from the first text and the media content, the communication unit 920 ) To store cooking broadcast content and images set to be transmitted to an external device.
  • FIG. 10 is a flowchart illustrating a situation in which a function is executed by using a command of a user input to a display device in a content recommendation system according to an exemplary embodiment.
  • the display apparatus 10 may receive an input for requesting information related to a refrigerator.
  • the display apparatus 10 may request the refrigerator to transmit an image acquired by using a camera located inside the refrigerator.
  • the display apparatus 10 may receive at least one image.
  • the display apparatus 10 may acquire first text related to a name of a food ingredient. For example, the display apparatus 10 may identify a food material included in at least one image to obtain the first text.
  • the display apparatus 10 may transmit the first text to the server 40.
  • the server 40 may acquire the cooking broadcast content using the first text and the second text related to the cooking information obtained from the media content.
  • the server 40 may transmit the cooking broadcast content to the display device 10.
  • the display apparatus 10 may display cooking broadcast content and an ingredient image.
  • FIG. 11 is a flowchart illustrating a situation in which a function is executed by using a command of a user input to a refrigerator in a content recommendation system according to an exemplary embodiment.
  • the refrigerator 20 may receive an input for requesting information related to the refrigerator.
  • the refrigerator 20 may acquire at least one image by using a camera included in the refrigerator.
  • the refrigerator 20 may obtain first text related to a name of a food ingredient.
  • the refrigerator 20 may identify a food material included in at least one image to obtain the first text.
  • the refrigerator 20 may transmit the first text to the server 40.
  • the server 40 may obtain cooking broadcast content using the first text and the second text related to the cooking information obtained from the media content.
  • the server 40 may transmit cooking broadcast content to the refrigerator 20.
  • the refrigerator 20 may generate the cooking broadcast content and the food image as one content and transmit the same to the external device (for example, the display device). However, it is not limited thereto. For example, the refrigerator 20 may transmit cooking broadcast content and a food image to an external device, respectively.
  • FIG. 12 is a flowchart illustrating a situation in which a function is executed by using a user's command input to a server in a content recommendation system according to an exemplary embodiment.
  • the server 40 may receive an input for requesting information related to the refrigerator.
  • the server 40 may request the refrigerator to transmit an image acquired by using a camera included in the refrigerator.
  • the server 40 may receive at least one image.
  • the server 40 may obtain first text related to the name of the food ingredient. For example, the server 40 may obtain a first text by identifying food ingredients included in at least one image.
  • the server 40 may acquire the cooking broadcast content using the second text related to the cooking information obtained from the first text and the media content.
  • the server 40 may generate the cooking broadcast content and the food image as one content and transmit the same to the external device. However, it is not limited thereto. For example, the server 40 may transmit the cooking broadcast content and the food image to the external device, respectively.
  • FIG. 13 is a block diagram of a processor according to an embodiment.
  • a processor 1310 may include a data learner 1320 and a data recognizer 1330.
  • the processor 1310 may include a processor 210 of FIG. 2, a processor 710 of FIG. 7, and a processor 910 of 9.
  • the data learner 1320 may learn such that the data recognition model has a criterion for estimating cooking broadcast content.
  • the data learner 1320 may learn to have a criterion about what learning data the data recognition model will use to estimate cooking broadcast content and how to estimate cooking broadcast content using the training data.
  • the data learner 1320 uses the food recognition information as the training data, for example, the food ingredient information (eg, the name of the food ingredient, the image of the food ingredient), and the cooking broadcast content associated with the food ingredient information. I can learn.
  • the food ingredient information eg, the name of the food ingredient, the image of the food ingredient
  • the cooking broadcast content associated with the food ingredient information I can learn.
  • the training data may be a flour image, a strawberry image, and cooking broadcast content including flour and strawberries in a recipe.
  • the training data may be a meat image, a kimchi image, and cooking broadcast content including meat and kimchi in a recipe.
  • the data learner 1320 may train the data recognition model using cooking broadcast content including various food ingredient information and recipes related to the food ingredient information as learning data.
  • the data recognizer 1330 may estimate cooking broadcast content based on various types of recognition data.
  • the data recognizing unit 1330 may estimate the cooking broadcast content based on the input food material information (for example, the name of the food material, the image of the food material, etc.) using the learned data recognition model.
  • the data recognizing unit 1330 may use the result of estimating the cooking broadcast content and the user's response to the estimation result to update the data recognition model by using the input material information as an input value of the data recognition model. have.
  • the data recognizing unit 1330 may obtain cooking broadcast content including flour, eggs, and sweet potatoes in a recipe.
  • the data recognition model may be constructed in consideration of the application field of the recognition model, the purpose of learning, or the computer performance of the device.
  • the data recognition model may be, for example, a model based on a neural network.
  • Data recognition models can be designed to simulate the human brain structure on a computer.
  • the data recognition model may include a plurality of weighted network nodes that simulate neurons in a human neural network. A plurality of network nodes may each form a connection relationship to simulate the synaptic activity of neurons that send and receive signals through synapses.
  • the data recognition model may include, for example, a neural network model or a deep learning model developed from the neural network model.
  • a plurality of network nodes may be located at different depths (or layers) and exchange data according to a convolutional connection relationship.
  • a data recognition model such as a deep neural network (DNN), a recurrent neural network (RNN), and a bidirectional recurrent deep neural network (BRDNN) may be used, but is not limited thereto.
  • At least one of the data learner 1320 and the data recognizer 1330 may be manufactured in the form of at least one hardware chip and mounted on the electronic device.
  • at least one of the data learner 1320 and the data recognizer 1330 may be manufactured in the form of a dedicated hardware chip for artificial intelligence (AI), or an existing general purpose processor (eg, a CPU).
  • AI artificial intelligence
  • the electronic device may be manufactured as a part of an application processor or a graphics dedicated processor (eg, a GPU) and mounted on the aforementioned various electronic devices.
  • a dedicated hardware chip for artificial intelligence is a dedicated processor specialized for probabilistic computation, and has higher parallelism performance than a conventional general-purpose processor, so that a computational task in an artificial intelligence field such as machine learning can be processed quickly.
  • the data learner 1320 and the data recognizer 1330 may be mounted on one electronic device or may be mounted on separate electronic devices, respectively.
  • one of the data learner 1320 and the data recognizer 1330 may be included in the display apparatus 10 or the refrigerator 20, and the other may be included in the server 40.
  • the data learner 1320 and the data recognizer 1330 may provide model information constructed by the data learner 1320 to the data recognizer 1330 through a wired or wireless connection.
  • the data input to 1330 may be provided to the data learner 1320 as additional learning data.
  • At least one of the data learner 1320 and the data recognizer 1330 may be implemented as a software module.
  • the software module may be a computer readable non-transitory computer. It may be stored in a non-transitory computer readable media.
  • at least one software module may be provided by an operating system (OS) or by a predetermined application.
  • OS operating system
  • OS operating system
  • OS operating system
  • others may be provided by a predetermined application.
  • FIG. 14 is a block diagram illustrating a configuration of a display apparatus according to another exemplary embodiment.
  • the display apparatus 10 may include a tuner unit 1410 and a sensing unit 1420 in addition to the processor 210, the display 230, the communication unit 220, the input unit 250, and the memory 240. ) May further include an input / output unit 1430, a video processor 1440, an audio processor 1450, and an audio output unit 1460.
  • the processor 210, the display 230, the communication unit 220, the input unit 250, and the memory 240 the same contents as those described with reference to FIG. 2 will be omitted in FIG. 14.
  • the tuner 1410 tunes only a frequency of a channel to be received by the display apparatus 10 among many propagation components through amplification, mixing, and resonance of a broadcast signal received by wire or wirelessly. can be selected by tuning.
  • the broadcast signal includes audio, video, and additional information (eg, an EPG).
  • the tuner 1410 may receive a broadcast signal in a frequency band corresponding to a channel number according to a user input.
  • the tuner 1410 may receive broadcast signals from various sources such as terrestrial broadcast, cable broadcast, satellite broadcast, and internet broadcast.
  • the tuner 1410 may receive a broadcast signal from a source such as analog broadcast or digital broadcast.
  • the broadcast signal received through the tuner unit 1410 is decoded (eg, audio decoded, video decoded, or side information decoded) and separated into audio, video and / or side information.
  • the separated audio, video and / or additional information may be stored in the memory 240 under the control of the processor 210.
  • the tuner 1410 of the display apparatus 10 may be one or plural.
  • the tuner unit 1410 may be implemented as an all-in-one with the display device 10 or have a separate device (eg, a set-top box) having a tuner unit electrically connected to the display device 10. top box, not shown), and a tuner unit (not shown) connected to the input / output unit 1430).
  • the communication unit 220 may connect the display apparatus 10 to an external device (for example, an audio device) under the control of the processor 210.
  • the processor 210 may transmit / receive content to an external device connected through the communication unit 220, download an application from the external device, or perform web browsing.
  • the communication unit 220 may include one of wireless LAN, Bluetooth, and wired Ethernet in response to the performance and structure of the display apparatus 10.
  • the communication unit 220 may include a combination of a wireless LAN, Bluetooth, and wired Ethernet.
  • the communication unit 220 may receive a control signal of a control device (for example, a remote controller and a smartphone) under the control of the processor 210.
  • the control signal may be implemented in a Bluetooth type, an RF signal type or a Wi-Fi type.
  • the communication unit 220 may further include other short-range communication (eg, near field communication (NFC) (not shown)) and Bluetooth low energy (BLE) (not shown) in addition to Bluetooth.
  • NFC near field communication
  • BLE Bluetooth low energy
  • the sensor 1420 detects a user's voice, a user's image, or a user's interaction, and may include a microphone, a camera, and a light receiver.
  • the microphone receives the uttered voice of the user.
  • the microphone may convert the received voice into an electrical signal and output the converted signal to the processor 210.
  • the user voice may include, for example, a voice corresponding to a menu or a function of the display apparatus 10.
  • the camera unit may receive an image (eg, a continuous frame) corresponding to the motion of the user including the gesture in the camera recognition range.
  • the processor 210 may select a menu displayed on the display apparatus 10 or perform control corresponding to the motion recognition result by using the received motion recognition result. For example, it may include channel adjustment, volume adjustment, indicator movement, and cursor movement.
  • the light receiver receives an optical signal (including a control signal) received from an external control device through a light window (not shown) of the bezel of the display 230.
  • the light receiver may receive an optical signal corresponding to a user input (for example, touch, press, touch gesture, voice, or motion) from the control device.
  • the control signal may be extracted from the received optical signal by the control of the processor 320.
  • the input / output unit 1430 may control video (eg, a video), audio (eg, voice, music, etc.) and additional information (eg, from the outside of the display apparatus 10 under the control of the processor 210). , EPG, etc.).
  • the input / output unit 1430 may include one of a high-definition multimedia interface (HDMI) port, a component jack, a PC port, and a USB port.
  • HDMI high-definition multimedia interface
  • the input / output unit 1430 may include a combination of an HDMI port, a component jack, a PC port, and a USB port.
  • the processor 210 controls the overall operation of the display apparatus 10 and the signal flow between the internal components of the display apparatus 10, and performs a function of processing data.
  • the processor 210 may execute an operating system (OS) and various applications stored in the memory 240 when there is a user input or satisfies a preset and stored condition.
  • OS operating system
  • the video processor 1440 may process image data to be displayed on the display 230, and may perform various image processing operations such as decoding, rendering, scaling, noise filtering, frame rate conversion, and resolution conversion on the image data. have.
  • the display 230 may display image data processed by the video processor 1440.
  • the display 230 may display the video included in the broadcast signal received through the tuner unit 1410 under the control of the processor 210.
  • the display 230 may display content (for example, a video) input through the communication unit 220 or the input / output unit 1430.
  • the display 230 may output an image stored in the memory 240 under the control of the processor 210.
  • the display 230 may include a voice user interface (eg, including a voice command guide) for performing a voice recognition task corresponding to voice recognition or a motion for performing a motion recognition task corresponding to motion recognition.
  • UI eg, including a user motion guide for motion recognition
  • the display 230 When the display 230 is implemented as a touch screen, the display 230 may be used as an input device in addition to the output device.
  • the display 230 includes a liquid crystal display, a thin film transistor-liquid crystal display, an organic light-emitting diode, a flexible display, and a three-dimensional display (3D). display, an electrophoretic display.
  • the display apparatus 10 may include two or more displays 230.
  • the audio processor 1450 processes the audio data.
  • the audio processor 1450 may perform various processing such as decoding, amplification, noise filtering, or the like on the audio data.
  • the audio processor 1450 may include a plurality of audio processing modules to process audio corresponding to a plurality of contents.
  • the audio output unit 1460 outputs audio included in a broadcast signal received through the tuner unit 1410 under the control of the processor 210.
  • the audio output unit 1460 may output audio (for example, voice and sound) input through the communication unit 220 or the input / output unit 1430.
  • the audio output unit 1460 may output audio stored in the memory 240 under the control of the processor 210.
  • the audio output unit 1460 may include at least one of a speaker 1541, a headphone output terminal 1462, or a Sony / Philips Digital Interface (S / PDIF) output terminal 1463.
  • the audio output unit 1460 may include a combination of a speaker 1541, a headphone output terminal 1462, and an S / PDIF output terminal 1463.
  • the user input unit 1470 means a means for a user to input data for controlling the display apparatus 10.
  • the user input unit 1470 may correspond to the input unit 250 of FIG. 2.
  • the user input unit 1470 may include a key pad, a dome switch, a touch pad (contact capacitive type, pressure resistive type, infrared sensing type, surface ultrasonic conduction type, and integral type). Tension measurement method, piezo effect method, etc.), a jog wheel, a jog switch, and the like, but are not limited thereto.
  • the user input may include an input for moving the position of the focus or an input for selecting an application in which the current focus is located.
  • the user input unit 1470 is configured as a keypad or a dome switch
  • the user input for moving the position of the focus may be an input for clicking or pressing a key corresponding to a specific direction.
  • the user input unit 1445 is configured as a touch pad
  • the user input unit 1445 may be an input for touching a key corresponding to a specific direction, but is not limited thereto.
  • module may include a unit implemented in hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic block, component, or circuit.
  • the module may be an integral part or a minimum unit or part of the component, which performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present disclosure may be implemented as software that includes one or more instructions stored on a storage medium (eg, memory 240) that can be read by a machine (eg, display device 10).
  • a processor eg, the processor 210) of the device (eg, the display device 10) may call and execute at least one of the one or more instructions stored from the storage medium. This enables the device to be operated to perform at least one function in accordance with the at least one command invoked.
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' means only that the storage medium is a tangible device and does not contain a signal (e.g., electromagnetic waves), which is the case when data is stored semi-permanently on the storage medium. It does not distinguish cases where it is temporarily stored.
  • a signal e.g., electromagnetic waves
  • the method according to various embodiments of the present disclosure may be provided in a computer program product.
  • the computer program product may be traded between the seller and the buyer as a product.
  • the computer program product is distributed in the form of a device-readable storage medium (e.g. compact disc read only memory (CD-ROM)), or through an application store (e.g. Play Store TM) or two user devices ( Example: smartphones) can be distributed (eg downloaded or uploaded) directly or online.
  • a device-readable storage medium such as a server of a manufacturer, a server of an application store, or a relay server, or may be temporarily created.
  • each component eg, a module or a program of the above-described components may include a singular or plural object.
  • one or more components or operations of the above-described corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg, a module or a program
  • the integrated component may perform one or more functions of the component of each of the plurality of components the same as or similar to that performed by the corresponding component of the plurality of components before the integration. .
  • operations performed by a module, program, or other component may be executed sequentially, in parallel, repeatedly, or heuristically, or one or more of the operations may be executed in a different order, or may be omitted. Or one or more other operations may be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Thermal Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

디스플레이 장치가 개시된다. 개시되는 디스플레이 장치는, 디스플레이, 통신부, 프로세서 및 메모리를 포함하고, 상기 메모리는, 상기 프로세서가, 냉장고와 관련되는 정보를 요청하는 입력이 수신되면, 상기 냉장고에 포함된 카메라를 이용하여 획득된 이미지의 전송을 요청하는 요청 명령이 상기 냉장고로 전송되도록 상기 통신부를 제어하고, 상기 요청 명령에 대응하여, 상기 냉장고로부터 적어도 하나의 이미지를 상기 통신부를 통해 수신하고, 상기 적어도 하나의 이미지에 포함된 식재료의 인식에 따른 상기 식재료의 명칭에 관련되는 제1 정보를 획득하고, 상기 제1 정보를 서버로 전송하고, 상기 서버가 획득한 요리 방송 콘텐트를 수신하도록 상기 통신부를 제어하고, 상기 디스플레이를 제어하여, 상기 요리 방송 콘텐트와 상기 이미지를 함께 표시하도록 설정된 명령어들을 저장하고, 상기 요리 방송 콘텐트는 상기 서버가 상기 제1 정보와 상기 서버에 기 저장된 미디어 콘텐트로부터 인식한 요리 정보와 관련되는 제2 정보를 이용하여 획득한 것일 수 있다. 또한, 상기 서버의 적어도 일부는 규칙 기반 모델 또는 기계 학습, 신경망 또는 딥러닝 알고리즘 중 적어도 하나에 따라서 학습 된 인공 지능 데이터 인식 모델을 이용할 수 있다. 상기 규칙 기반 모델 또는 인공 지능 데이터 인식 모델은 식재료 정보를 입력값으로 하여 요리 방송 콘텐트를 추정할 수 있다.

Description

디스플레이 장치 및 디스플레이 장치의 제어 방법
본 개시는 디스플레이 장치를 이용하는 콘텐트 제공 방법으로서, 특히 냉장고와 관련되는 명령에 대응하여 요리 방송 콘텐트를 제공하는 디스플레이 장치 및 그의 제어 방법에 관한 것이다.
최근 요리와 관련된 다양한 컨텐츠가 생성되고 있다. 예를 들어, 신선한 식재료를 구입하는 방법, 식재료를 활용한 다양한 요리 방법 등에 관한 미디어 콘텐트가 생성되어, 사용자는 언제든지 원하는 컨텐츠를 확인하고 식재료를 구입하거나 직접 요리를 할 수 있게 되었다.
사용자는 원하는 요리 방법 컨텐츠를 찾기 위해 현재 보유하고 있는 식재료를 확인하고 이와 관련되는 요리 방송 콘텐트를 검색하여야 하는 번거로움이 있을 수 있다.
따라서 사용자의 냉장고에 저장된 식재료를 바탕으로 다양한 요리 방송 콘텐트들 중에서 저장된 식재료와 관련성이 높은 요리 방송 콘텐트가 제공될 필요성이 요구 된다.
일 실시예에 따른 디스플레이 장치는, 디스플레이, 통신부, 프로세서 및 메모리를 포함하고, 상기 메모리는, 상기 프로세서가, 냉장고와 관련되는 정보를 요청하는 입력이 수신되면, 상기 냉장고에 포함된 카메라를 이용하여 획득된 이미지의 전송을 요청하는 요청 명령이 상기 냉장고로 전송되도록 상기 통신부를 제어하고, 상기 요청 명령에 대응하여, 상기 냉장고로부터 적어도 하나의 이미지를 상기 통신부를 통해 수신하고, 상기 적어도 하나의 이미지에 포함된 식재료의 인식에 따른 상기 식재료의 명칭에 관련되는 제1 정보를 획득하고, 상기 제1 정보를 서버로 전송하고, 상기 서버가 획득한 요리 방송 콘텐트를 수신하도록 상기 통신부를 제어하고, 상기 디스플레이를 제어하여, 상기 요리 방송 콘텐트와 상기 이미지를 함께 표시하도록 설정된 명령어들을 저장하고, 상기 요리 방송 콘텐트는 상기 서버가 상기 제1 정보와 상기 서버에 기 저장된 미디어 콘텐트로부터 인식한 요리 정보와 관련되는 제2 정보를 이용하여 획득한 것일 수 있다.
일 실시예에 따른 디스플레이 장치에 있어서, 상기 제1 정보는, 상기 적어도 하나의 이미지에 포함된 식재료의 명칭에 관련되는 제1 텍스트이고, 상기 요리 정보와 관련되는 제2 정보는, 상기 서버에 기 저장된 미디어 콘텐트에 포함되는 이미지 프레임을 식별하여 요리 정보와 관련되는 적어도 하나의 이미지 프레임을 획득하고, 상기 적어도 하나의 이미지 프레임을 식별하여 획득한 제2 텍스트일 수 있다.
일 실시예에 따른 디스플레이 장치에 있어서, 상기 요리 정보는, 요리법 또는 식재료의 명칭 중 적어도 하나를 포함할 수 있다.
일 실시예에 따른 디스플레이 장치에 있어서, 상기 요리 방송 콘텐트는, 상기 제1 정보에 포함된 상기 식재료의 명칭이 상기 제2 정보에 포함되는 경우에, 상기 제2 정보에 대응하는 미디어 콘텐트를 이용하여 획득될 수 있다.
일 실시예에 따른 디스플레이 장치에 있어서, 상기 요리 방송 콘텐트는, 상기 서버에 기 저장된 미디어 콘텐트를 구성하는 복수 개의 이미지 프레임들 중에서 요리 정보와 관련되는 이미지 프레임을 이용하여 획득되는 비디오 클립을 포함할 수 있다.
일 실시예에 따른 디스플레이 장치에 있어서, 상기 메모리는, 상기 프로세서가, 상기 디스플레이에 표시된 상기 요리 방송 콘텐트를 선택하는 사용자의 입력이 수신되면, 선택된 요리 방송 콘텐트를 재생하도록 설정된 명령어들을 저장할 수 있다.
일 실시예에 따른 디스플레이 장치에 있어서, 상기 메모리는, 상기 프로세서가, 상기 선택된 요리 방송 콘텐트와 상기 제1 정보를 이용하여 구매가 필요한 식재료를 식별하도록 설정된 명령어들을 저장할 수 있다.
일 실시예에 따른 디스플레이 장치에 있어서, 상기 메모리는, 상기 프로세서가, 식재료의 구매를 안내하는 사용자 인터페이스에 상기 구매가 필요한 식재료를 포함하여 표시하도록 설정된 명령어들을 저장할 수 있다.
일 실시예에 따른 냉장고는, 카메라, 통신부, 프로세서 및 메모리를 포함하고, 상기 메모리는, 상기 프로세서가, 냉장고와 관련되는 정보를 요청하는 입력을 수신하면, 상기 카메라를 이용하여 적어도 하나의 이미지를 획득하고, 상기 적어도 하나의 이미지에 포함된 식재료의 인식에 따른 상기 식재료 명칭에 관련되는 제1 정보를 획득하고, 상기 제1 정보를 서버로 전송하고, 상기 서버가 획득한 요리 방송 콘텐트를 수신하도록 상기 통신부를 제어하고, 상기 통신부를 제어하여, 상기 요리 방송 콘텐트와 상기 이미지를 외부 장치로 전송하도록 설정된 명령어들을 저장하고, 상기 요리 방송 콘텐트는 상기 서버가 상기 제1 정보와 상기 서버에 기 저장된 미디어 콘텐트로부터 인식한 요리 정보와 관련되는 제2 정보를 이용하여 획득한 것인, 냉장고.
일 실시예에 따른 서버는, 통신부, 프로세서 및 메모리를 포함하고, 상기 메모리는, 상기 프로세서가, 상기 통신부를 통해, 냉장고와 관련되는 정보를 요청하는 입력이 수신되면, 상기 냉장고에 포함된 카메라를 이용하여 획득된 이미지의 전송을 요청하는 요청 명령이 상기 냉장고로 전송되도록 상기 통신부를 제어하고, 상기 요청 명령에 대응하여, 상기 냉장고로부터 적어도 하나의 이미지를 상기 통신부를 통해 수신하고, 상기 적어도 하나의 이미지에 포함된 식재료를 인식하여 상기 식재료의 명칭에 관련되는 제1 정보를 획득하고, 상기 제1 정보와 기 저장된 미디어 콘텐트로부터 인식한 요리 정보와 관련되는 제2 정보를 이용하여 요리 방송 콘텐트를 획득하고, 상기 통신부를 제어하여, 상기 요리 방송 콘텐트와 상기 이미지를 외부 장치로 전송하도록 설정된 명령어들을 저장할 수 있다.
일 실시예에 따른 디스플레이 장치의 제어 방법은, 냉장고와 관련되는 정보를 요청하는 입력의 수신에 따라서, 상기 냉장고에 포함된 카메라를 이용하여 획득된 이미지의 전송을 요청하는 요청 명령을 상기 냉장고에게 전송하는 동작, 상기 요청 명령에 대응하여, 상기 냉장고로부터 적어도 하나의 이미지를 수신하는 동작, 상기 적어도 하나의 이미지에 포함된 식재료의 인식에 따른 상기 식재료의 명칭에 관련되는 제1 정보를 획득하는 동작, 상기 제1 정보를 서버로 전송하고, 상기 서버가 획득한 요리 방송 콘텐트를 수신하는 동작 및 상기 요리 방송 콘텐트와 상기 이미지를 함께 표시하는 동작을 포함하고, 상기 요리 방송 콘텐트는 상기 서버가 상기 제1 정보와 상기 서버에 기 저장된 미디어 콘텐트로부터 인식한 요리 정보와 관련되는 제2 정보를 이용하여 획득한 것일 수 있다.
일 실시예에 따른 디스플레이 장치의 제어 방법에 있어서, 상기 제1 정보는, 상기 적어도 하나의 이미지에 포함된 식재료의 명칭에 관련되는 제1 텍스트이고, 상기 요리 정보와 관련되는 제2 정보는, 상기 서버에 기 저장된 미디어 콘텐트에 포함되는 이미지 프레임을 식별하여 요리 정보와 관련되는 적어도 하나의 이미지 프레임을 획득하고, 상기 적어도 하나의 이미지 프레임을 식별하여 획득한 제2 텍스트인, 디스플레이 장치의 제어 방법.
일 실시예에 따른 디스플레이 장치의 제어 방법에 있어서, 상기 요리 방송 콘텐트는, 상기 제1 정보에 포함된 상기 식재료의 명칭이 상기 제2 정보에 포함되는 경우에, 상기 제2 정보에 대응하는 미디어 콘텐트를 이용하여 획득될 수 있다.
일 실시예에 따른 디스플레이 장치의 제어 방법에 있어서, 상기 요리 방송 콘텐트는, 상기 서버에 기 저장된 미디어 콘텐트를 구성하는 복수 개의 이미지 프레임들 중에서 요리 정보와 관련되는 이미지 프레임을 이용하여 획득되는 비디오 클립을 포함할 수 있다.
상기 디스플레이 장치의 제어 방법은, 상기 표시되는 요리 방송 콘텐트를 선택하는 사용자의 입력에 따라서, 선택된 요리 방송 콘텐트를 재생하는 동작을 포함할 수 있다.
일 실시예에 따른 디스플레이 장치의 제어 방법은, 상기 요리 방송 콘텐트와 상기 제1 정보를 이용하여 구매가 필요한 식재료를 식별하는 동작을 포함할 수 있다.
일 실시예에 따른 디스플레이 장치의 제어 방법은, 식재료의 구매를 안내하는 사용자 인터페이스에 상기 구매가 필요한 식재료를 포함하여 표시하는 동작을 포함할 수 있다.
일 실시예에 따른 냉장고의 제어 방법은, 냉장고와 관련되는 정보를 요청하는 입력의 수신에 따라서, 카메라를 이용하여 식재료를 포함하는 적어도 하나의 이미지를 획득하는 동작, 상기 적어도 하나의 이미지에 포함된 식재료의 인식에 따른 상기 식재료의 명칭에 관련되는 제1 정보를 획득하는 동작, 상기 제1 정보를 서버로 전송하고, 상기 서버가 획득한 요리 방송 콘텐트를 수신하는 동작 및 상기 요리 방송 콘텐트와 상기 이미지를 외부 장치로 전송하는 동작을 포함하고, 상기 요리 방송 콘텐트는 상기 서버가 상기 제1 정보와 상기 서버에 기 저장된 미디어 콘텐트로부터 인식한 요리 정보와 관련되는 제2 정보를 이용하여 획득한 것일 수 있다.
일 실시예에 따른 서버의 제어 방법은, 냉장고와 관련되는 정보를 요청하는 입력의 수신에 따라서, 상기 냉장고에 포함된 카메라를 이용하여 촬영된, 식재료를 포함하는 이미지의 전송을 요청하는 요청 명령을 상기 냉장고에게 전송하는 동작, 상기 요청 명령에 대응하여, 상기 냉장고로부터 적어도 하나의 이미지의 수신하는 동작, 상기 적어도 하나의 이미지에 포함된 식재료를 인식하여 상기 식재료의 명칭에 관련되는 제1 정보를 획득하는 동작, 상기 제1 텍스트와 기 저장된 미디어 콘텐트로부터 인식한 요리 정보와 관련되는 제2 정보를 이용하여 요리 방송 콘텐트를 획득하는 동작 및 상기 요리 방송 콘텐트와 상기 이미지를 외부 장치로 전송하는 동작을 포함할 수 있다.
일 실시예에 따른 컴퓨터에서 실행시키기 위한 명령어들을 저장하는 컴퓨터로 읽을 수 있는 기록 매체를 포함하는 컴퓨터 프로그램 제품은, 냉장고와 관련되는 정보를 요청하는 입력의 수신에 따라서, 상기 냉장고에 포함된 카메라를 이용하여 획득된, 이미지의 전송을 요청하는 요청 명령을 상기 냉장고에게 전송하는 동작, 상기 요청 명령에 대응하여, 상기 냉장고로부터 적어도 하나의 이미지를 수신하는 동작, 상기 적어도 하나의 이미지에 포함된 식재료의 인식에 따른 상기 식재료의 명칭에 관련되는 제1 정보를 획득하는 동작, 상기 제1 정보를 서버로 전송하고, 상기 서버가 획득한 요리 방송 콘텐트를 수신하는 동작 및 상기 요리 방송 콘텐트와 상기 이미지를 함께 표시하는 동작을 포함하고, 상기 요리 방송 콘텐트는 상기 서버가 상기 제1 정보와 상기 서버에 기 저장된 미디어 콘텐트로부터 인식한 요리 정보와 관련되는 제2 정보를 이용하여 획득한 것일 수 있다.
본 개시의 일 실시예에 따르면, 디스플레이 장치는 냉장고에 저장된 식재료를 이용하는 요리 방송 콘텐트를 제공할 수 있다.
본 개시의 일 실시예에 따르면, 디스플레이 장치는 냉장고에 저장된 식재료 이미지에서 획득한 텍스트와, 서버에 저장된 요리 방송 콘텐트에서 획득한 텍스트를 이용하여 사용자에게 요리 방송 콘텐트를 제공할 수 있다.
본 개시의 일 실시예에 따르면, 디스플레이 장치는 요리 방송 콘텐트에 포함된 요리법에 포함되는 식재료의 구매를 안내할 수 있다.
도 1a는 일 실시예에 따른 콘텐트 추천 시스템에서 디스플레이 장치에 입력되는 사용자의 명령을 이용하여 기능을 실행하는 상황을 설명하는 도면이다.
도 1b는 일 실시예에 따른 콘텐트 추천 시스템에서 디스플레이 장치에 입력되는 사용자의 명령을 이용하여 기능을 실행하는 상황을 설명하는 도면이다.
도 2는 일 실시예에 따른 디스플레이 장치의 대략적인 블록도이다.
도 3은 일 실시예에 따른 디스플레이 장치가 식재료를 포함하는 이미지와 요리 방송 콘텐트 목록을 함께 표시하는 다른 방법을 설명하는 도면들이다.
도 4는 일 실시예에 따른 디스플레이 장치가 식재료 구매를 진행하는 사용자 인터페이스를 표시하는 상황을 설명하는 도면들이다.
도 5는 일 실시예에 따른 전자 장치가 선택된 요리 정보 콘텐트를 재생하는 방법을 설명하기 위한 도면들이다.
도 6은 일 실시예에 따른 콘텐트 추천 시스템에서 냉장고에 입력되는 사용자의 명령을 이용하여 기능을 실행하는 상황을 설명하는 도면이다.
도 7은 일 실시예에 따른 냉장고의 대략적인 블록도이다.
도 8은 일 실시예에 따른 콘텐트 추천 시스템에서 서버에 입력되는 사용자의 명령을 이용하여 기능을 실행하는 상황을 설명하는 도면이다.
도 9는 일 실시예에 따른 서버의 대략적인 블록도이다.
도 10은 일 실시예에 따른 콘텐트 추천 시스템에서 디스플레이 장치에 입력되는 사용자의 명령을 이용하여 기능을 실행하는 상황을 설명하는 흐름도이다.
도 11은 일 실시예에 따른 콘텐트 추천 시스템에서 냉장고에 입력되는 사용자의 명령을 이용하여 기능을 실행하는 상황을 설명하는 흐름도이다.
도 12는 일 실시예에 따른 콘텐트 추천 시스템에서 서버에 입력되는 사용자의 명령을 이용하여 기능을 실행하는 상황을 설명하는 흐름도이다.
도 13은 일 실시예에 따른 프로세서의 블록도이다.
도 14는 다른 실시예에 따른 디스플레이 장치의 구성을 나타내는 블록도이다.
아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시 예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 또한, 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시에서 사용되는 용어는, 본 개시에서 언급되는 기능을 고려하여 현재 사용되는 일반적인 용어로 기재되었으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 다양한 다른 용어를 의미할 수 있다. 따라서 본 개시에서 사용되는 용어는 용어의 명칭만으로 해석되어서는 안되며, 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 해석되어야 한다.
또한, 본 개시에서 사용된 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것이며, 본 개시를 한정하려는 의도로 사용되는 것이 아니다. 단수의 표현은 문맥상 명백하게 단수를 뜻하지 않는 한, 복수의 의미를 포함한다. 또한, 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
본 명세서, 특히, 특허 청구 범위에서 사용된 “상기” 및 이와 유사한 지시어는 단수 및 복수 모두를 지시하는 것일 수 있다. 또한, 본 개시에 따른 방법을 설명하는 단계들의 순서를 명백하게 지정하는 기재가 없다면, 기재된 단계들은 적당한 순서로 행해질 수 있다. 기재된 단계들의 기재 순서에 따라 본 개시가 한정되는 것은 아니다.
본 명세서에서 다양한 곳에 등장하는 "일부 실시예에서" 또는 "일 실시예에서" 등의 어구는 반드시 모두 동일한 실시예를 가리키는 것은 아니다.
본 개시의 일부 실시예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “메커니즘”, “요소”, “수단” 및 “구성”등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다.
또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1a는 일 실시예에 따른 콘텐트 추천 시스템에서 디스플레이 장치에 입력되는 사용자의 명령을 이용하여 기능을 실행하는 상황을 설명하는 도면이다.
도 1a을 참조하면, 콘텐트 추천 시스템(1)은 디스플레이 장치(10), 냉장고(20), 또는 서버(40)를 포함할 수 있다. 그러나 콘텐트 추천 시스템(1)을 구성하는 구성 요소들은 이에 한정되지는 않고, 콘텐트 추천 시스템(1)의 동작을 위해 필요한 구성 요소가 추가되거나, 또는 구성 요소들 중 하나가 제외될 수 있다.
디스플레이 장치(10), 냉장고(20), 및 서버(40)는 각 장치에 포함된 통신부를 이용하여 직접 통신을 수행할 수 있다.
일 실시예에 따르면, 디스플레이 장치(10), 냉장고(20), 및 서버(40)는 유선 또는 무선 통신 방법을 이용하여 통신망을 수립할 수 있다. 디스플레이 장치(10), 냉장고(20), 및 서버(40)는 무선 통신부(예를 들면, 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신부(예를 들면, LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함하고, 그 중 해당하는 통신부 이용하여 제1 네트워크(예를 들면, 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제2 네트워크(예를 들면, 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 디스플레이 장치(10), 냉장고(20), 및 서버(40)는 하나의 칩으로 구현되거나 또는 각각 별도의 칩으로 구현된 통신부를 각각 포함할 수 있다.
일 실시예에 따르면, 디스플레이 장치(10)는 외부에서 수신되는 영상 신호를 처리하고, 처리된 영상을 시각적으로 표시할 수 있는 영상 표시 장치(예를 들면, 텔레비전(television, TV)일 수 있으나, 이에 한정되지 않으며, 메모리와 프로세서를 포함하는 장치로 구현될 수 있다. 예를 들어, 디스플레이 장치(10)는 휴대폰, 스마트폰, 태블릿 PC, 디지털 카메라, 캠코더, 노트북 컴퓨터(laptop computer), 태블릿 PC, 데스크탑, 전자책 단말기, 디지털 방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), MP3 플레이어, 착용형 기기(wearable device) 등과 같은 다양한 영상 표시 장치로 구현될 수 있다. 또한, 디스플레이 장치(10)는 고정형 또는 이동형일 수 있으며, 디지털 방송 수신이 가능한 디지털 방송 수신기일 수 있다.
일 실시예에 따르면, 디스플레이 장치(10)는 내부에 저장된 앱(app)(또는, 어플리케이션 프로그램(application program))(예: 알람 앱, 사진(갤러리) 앱 등)을 통해 사용자에게 필요한 서비스를 제공할 수 있다.
일 실시예에 따르면, 서버(40)는 통신망을 통해 연결된 디스플레이 장치(10) 또는 기타 장치(예를 들면, 인공 지능 스피커 등)로부터 사용자의 음성 입력을 수신하여 텍스트 데이터(text data)로 변경할 수 있다. 다양한 실시예에 다르면, 서버(40)는 텍스트 데이터에 기초하여 적어도 하나 이상의 기능을 실행시키는 명령을 생성(또는 선택)할 수 있다. 명령은 적어도 하나의 기능을 실행하기 위한 동작(또는 과정)에 대한 정보 또는 상기 동작을 실행하기 위한 파라미터에 대한 정보를 포함할 수 있다. 상기 명령은 적어도 하나의 기능을 실행하기 위한 동작의 순서를 포함할 수 있다. 디스플레이 장치(10)는 서버(40)가 생성한 명령을 수신하고, 명령에 따라서 앱(또는 기능)을 선택하고, 선택된 앱에서 상기 명령에 따른 동작을 실행할 수 있다.
다양한 실시예에 따르면, 서버(40)는 제1 서버와 제2 서버를 포함하는 복수 개의 서버들로 이루어질 수 있다. 예를 들어, 제1 서버는 미디어 콘텐트를 저장하는 서버이고, 제2 서버는 음성 인식과 관련되는 기능을 수행하는 서버일 수 있다. 그러나 이에 한정되는 것은 아니다. 예를 들어, 서버(40)는 미디어 콘텐트를 저장하는 기능과 음성 인식과 관련되는 기능을 모두 수행할 수도 있다.
일 실시예에 따르면, 냉장고(20)는 식품을 보관하는 저장실과 저장실에 냉기를 공급하는 냉기 공급 장치를 포함하는, 식품을 신선하게 보관할 수 있는 가전 기기이다. 냉장고(20)는 카메라를 더 포함할 수 있다. 일 실시예에 따르면, 냉장고(20)는 카메라를 이용하여 저장실에 저장된 식품을 촬영하여 이미지를 획득할 수 있다.
이하에서, 일 실시예에 따른 콘텐트 추천 시스템(1)을 이용하는 방법을 설명한다.
동작 ①에서, 디스플레이 장치(10)는 냉장고와 관련되는 정보를 요청하는 사용자의 이력(예를 들면, 발화)을 수신할 수 있다. 예를 들어, 디스플레이 장치(10)는 디스플레이 장치(10)에 포함된 마이크(미도시)를 이용하여 냉장고와 관련되는 정보를 요청하는 사용자의 입력을 수신할 수 있다.
냉장고와 관련되는 정보를 요청하는 사용자의 입력은, 예를 들면, "냉장고에 있는 식재료와 관련되는 방송을 표시해 줘", "냉장고에 있는 재료로 어떤 음식을 만들 수 있어?" 또는 "지금 냉장고에 뭐 있어?" 중 적어도 하나일 수 있다. 그러나 사용자의 입력은 이에 한정되지 않고, 냉장고와 관련된 정보를 요청하는 다양한 사용자의 입력을 포함할 수 있다.
일 실시예에 따르면, 디스플레이 장치(10)는 사용자의 발화를 서버(40)로 전송할 수 있다.
동작 ②에서, 서버(40)는 음성 인식 알고리즘(또는, 음성 인식 모듈)을 이용하여 사용자의 발화를 인식하고, 인식한 발화와 관련되는 기능을 수행할 수 있다. 인식된 발화와 관련되는 기능은, 예를 들면, 냉장고(20)에 저장된 재료와 관련되는 요리 방송 콘텐트를 추천하는 기능일 수 있다.
다양한 실시예에 따르면, 서버(40)는 음성 인식을 수행하는 인공 지능 알고리즘을 이용하여 사용자의 발화를 인식하고, 발화와 관련되는 기능의 수행할 수 있다. 예를 들어, 서버(40)는 음성과 음성을 인식한 결과를 이용하여 학습된 데이터 인식 모델에 사용자의 발화를 적용하여 사용자의 발화에 포함된 내용을 인식할 수 있다.
동작 ③에서, 서버(40)는, 발화 인식 결과에 따라서, 냉장고(20)에 포함된 카메라를 이용하여 획득한 이미지의 전송을 요청 명령을 냉장고(20)에게 전송할 수 있다.
동작 ④에서, 냉장고(20)는 수신된 요청 명령에 대응하여, 냉장고(20)에 포함된 카메라를 이용하여 적어도 하나의 이미지를 획득할 수 있다. 예를 들면, 냉장고(20)는 냉장고(20)의 내부를 촬영할 수 있는 복수 개의 카메라를 이용하여 적어도 하나의 이미지를 획득할 수 있다.
동작 ⑤에서, 서버(40)는 냉장고(20)가 획득한 적어도 하나의 이미지를 수신할 수 있다.
다양한 실시예에 따르면, 서버(40)는 냉장고(20)의 저장실을 촬영한 이미지를 기 저장하고 있을 수 있다. 이 경우, 서버(40)는 상술한 동작 ③ 내지 동작 ⑤를 생략할 수도 있다.
동작 ⑥에서, 서버(40)는 냉장고(20)로부터 수신한 이미지에 포함된 식재료를 인식하여 식재료의 명칭에 관련되는 제1 정보(예를 들면, 제1 텍스트)를 획득할 수 있다.
일 실시예에 따르면, 서버(40)는 이미지에 포함된 객체(예를 들면, 식재료)를 인식할 수 있다. 서버(40)는, 예를 들면, 이미지를 에지 영역을 강조하는 이미지로 변경한 후, 에지의 형상을 분석하여 객체의 형상을 인식할 수 있다.
일 실시예에 따르면, 서버(40)는 인식된 객체의 명칭을 식별하여 식재료의 명칭에 관련되는 제1 텍스트를 획득할 수 있다.
다양한 실시예에 따르면, 서버(40)는 인공 지능 알고리즘을 이용하여 이미지에 포함된 식재료를 인식하여 식재료의 명칭에 관련되는 제1 텍스트를 획득할 수 있다. 예를 들어, 서버(40)는 객체를 포함하는 이미지와 객체의 명칭을 학습용 데이터로 하여 학습된 데이터 인식 모델에 냉장고(20)의 내부를 촬영한 적어도 하나의 이미지를 적용하여 식재료의 명칭에 관련되는 제1 텍스트를 획득할 수 있다.
일 실시예에 따르면, 서버(40)는 제1 정보(예를 들면, 제1 텍스트)와 서버(40)가 미디어 콘텐트로부터 인식한 요리 정보와 관련되는 제2 정보(예를 들면, 제2 텍스트)를 이용하여 요리 방송 콘텐트를 생성할 수 있다.
일 실시예에 따르면, 서버(40)는 서버(40)에 저장된 미디어 콘텐트에서 요리 정보를 텍스트 형태로 인식할 수 있다. 예를 들면, 서버(40)는 동영상 형태의 미디어 콘텐트에 포함된 각각의 이미지 프레임들에 텍스트 인식 방법(예를 들면, OCR(optical character reader) 기술)을 적용하여 텍스트를 인식할 수 있다. 구체적으로, 서버(40)는 미디어 콘텐트 중에서 요리 정보(예를 들면, 식재료의 명칭 또는 조리법 등)와 관련되는 적어도 하나의 이미지 프레임을 결정하고, 이미지 프레임에 포함된 텍스트를 이용하여 요리 정보와 관련되는 제2 텍스트를 획득할 수 있다. 이 경우, 제2 텍스트는 서버(40)가 저장하고 있는 미디어 콘텐트의 개수에 따라 복수 개가 생성될 수 있다.
다양한 실시예에 따르면, 서버(40)는 동영상 형태의 미디어 콘텐트에 포함된 복수 개의 이미지 프레임들 중에서, 요리 정보와 관련되는 이미지 프레임, 요리 정보와 관련되지 않는 이미지 프레임을 구분할 수 있다. 요리 정보와 관련되는 이미지 프레임은, 예를 들면, 텍스트 인식 결과 텍스트에 식재료, 요리 방법 등을 포함하는 글자가 있는 이미지 프레임일 수 있다.
일 실시예에 따르면, 서버(40)는 식재료의 명칭에 관련되는 제1 텍스트와 요리 정보와 관련되는 제2 텍스트를 이용하여 미디어 콘텐트 중에서 디스플레이 장치(10)로 전송할 요리 방송 콘텐트를 획득할 수 있다.
예를 들어, 서버(40)는 복수 개의 제2 텍스트들 중에서 제1 텍스트에 포함된 식재료의 명칭과 동일 또는 유사한 명칭을 포함하고 있는 제2 텍스트를 식별할 수 있다. 서버(40)는 식별된 적어도 하나 이상의 제2 텍스트에 대응하는 미디어 콘텐트를 요리 방송 콘텐트로 획득(또는, 추가) 할 수 있다.
다양한 실시예에 따르면, 서버(40)는 제1 텍스트에 포함된 식재료와 동일 유사한 식재료를 가지고 있는 제3 자가 시청한 미디어 콘텐트를 획득할 수 있다. 서버(40)는 획득한 미디어 콘텐트에 대응하는 제2 텍스트들 중에서 제1 텍스트에 포함된 식재료의 명칭과 동일 또는 유사한 명칭을 포함하고 있는 제2 텍스트를 식별할 수 있다. 서버(40)는 식별된 적어도 하나 이상의 제2 텍스트에 대응하는 미디어 콘텐트를 요리 방송 콘텐트로 획득할 수 있다.
다양한 실시예에 따르면, 서버(40)는 일정 기간(예를 들면, 최근 3개월, 6개월, 또는 1년)동안 가장 많이 재생된 미디어 콘텐트를 획득할 수 있다. 서버(40)는 획득한 미디어 콘텐트에 대응하는 제2 텍스트들 중에서 제1 텍스트에 포함된 식재료의 명칭과 동일 또는 유사한 명칭을 포함하고 있는 제2 텍스트를 식별할 수 있다. 서버(40)는 식별된 적어도 하나 이상의 제2 텍스트에 대응하는 미디어 콘텐트를 요리 방송 콘텐트로 획득할 수 있다.
동작 ⑦에서, 서버(40)는 획득한 요리 방송 콘텐트 및 요리 정보와 관련되는 제2 텍스트 중 적어도 하나를 디스플레이 장치(10)로 전송할 수 있다.
동작 ⑧에서, 디스플레이 장치(10)는 수신된 요리 방송 콘텐트를 식재료를 포함하는 이미지와 함께 표시할 수 있다.
일 실시예에 따르면, 디스플레이 장치(10)는 표시 영역(11)을 2개로 분할하여 제1 영역에는 식재료를 포함하는 이미지(110)를 표시하고, 제2 영역에는 요리 방송 콘텐트(120)를 표시할 수 있다. 디스플레이 장치(10)는 요리 방송 콘텐트(120)가 복수 개인 경우, 목록 형태로 요리 방송 콘텐트(120)를 표시할 수 있다. 그러나 디스플레이 장치(10)가 요리 방송 콘텐트(120)와 식재료를 포함하는 이미지(110)를 표시하는 방법은 이에 한정되지는 않는다.
다양한 실시예에 따르면, 디스플레이 장치(10)는 수신된 제2 텍스트를 식재료를 포함하는 이미지와 함께 표시할 수 있다. 또한, 디스플레이 장치(10)는 제2 텍스트에서 요리 과정에 대한 내용만을 획득하여 식재료를 포함하는 이미지와 함께 표시할 수 있다.
이와 같이, 본 개시의 일 실시예에 따른 콘텐트 추천 시스템(1)은 냉장고와 관련되는 사용자의 발화를 인식하고, 사용자에게 필요한 요리 관련 콘텐트를 제공할 수 있다.
도 1b는 일 실시예에 따른 콘텐트 추천 시스템에서 디스플레이 장치에 입력되는 사용자의 명령을 이용하여 기능을 실행하는 상황을 설명하는 도면이다.
도 1b를 참조하면, 콘텐트 추천 시스템(1)은 디스플레이 장치(10), 서버(40), 냉장고(20), 또는 홈 게이트웨이(30)를 포함할 수 있다. 그러나 콘텐트 추천 시스템(1)을 구성하는 구성 요소들은 이에 한정되지는 않고, 콘텐트 추천 시스템(1)의 동작을 위해 필요한 구성 요소가 추가되거나, 또는 구성 요소들 중 하나가 제외될 수 있다.
일 실시예에 따르면, 디스플레이 장치(10), 서버(40), 냉장고(20), 또는 홈 게이트웨이(30)는 모두 통신망을 통해 연결될 수 있다. 예를 들면, 디스플레이 장치(10)와 냉장고(20)가 홈 게이트웨이(30)에 통신망을 통해 연결되고, 홈 게이트웨이(30)는 서버(40)와 통신망을 통해 연결될 수 있다. 그러나 통신망을 통한 연결 구조는 이에 한정되지 않고 다양한 구조로 이루어질 수 있다.
일 실시예에 따르면, 디스플레이 장치(10), 서버(40), 냉장고(20), 또는 홈 게이트웨이(30)는 유선 또는 무선 통신 방법을 이용하여 통신망을 수립할 수 있다. 디스플레이 장치(10), 서버(40), 냉장고(20), 또는 홈 게이트웨이(30)는 무선 통신부(예를 들면, 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신부(예를 들면, LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함하고, 그 중 해당하는 통신부 이용하여 제1 네트워크(예를 들면, 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제2 네트워크(예를 들면, 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 디스플레이 장치(10), 서버(40), 냉장고(20), 또는 홈 게이트웨이(30)는 하나의 칩으로 구현되거나 또는 각각 별도의 칩으로 구현된 통신부를 각각 포함할 수 있다.
일 실시예에 따르면, 디스플레이 장치(10)는 사용자의 발화를 사용자 입력으로 수신할 수 있다. 디스플레이 장치(10)는 사용자의 발화를 수신하고, 사용자의 발화에 기초하여 앱을 동작시키는 명령을 생성할 수 있다. 예를 들면, 디스플레이 장치(10)는 사용자의 발화를 수신하여 텍스트 데이터(text data)로 변경할 수 있다. 다양한 실시예에 다르면, 디스플레이 장치(10)는 텍스트 데이터에 기초하여 적어도 하나 이상의 기능을 실행시키는 명령을 생성(또는 선택)할 수 있다. 명령은 적어도 하나의 기능을 실행하기 위한 동작(또는 과정)에 대한 정보 또는 상기 동작을 실행하기 위한 파라미터에 대한 정보를 포함할 수 있다. 상기 명령은 적어도 하나의 기능을 실행하기 위한 동작의 순서를 포함할 수 있다. 디스플레이 장치(10)는 명령에 따라서 앱(또는 기능)을 선택하고, 선택된 앱에서 상기 명령에 따른 동작을 실행할 수 있다.
일 실시예에 따르면, 서버(40) 또는 홈 게이트웨이(30)는 통신망을 통해 연결된 디스플레이 장치(10) 또는 기타 장치(예를 들면, 인공 지능 스피커 등)로부터 사용자의 음성 입력을 수신하여 텍스트 데이터(text data)로 변경할 수 있다. 다양한 실시예에 다르면, 서버(40) 또는 홈 게이트웨이(30)는 텍스트 데이터에 기초하여 적어도 하나 이상의 기능을 실행시키는 명령을 생성(또는 선택)할 수 있다. 명령은 적어도 하나의 기능을 실행하기 위한 동작(또는 과정)에 대한 정보 또는 상기 동작을 실행하기 위한 파라미터에 대한 정보를 포함할 수 있다. 상기 명령은 적어도 하나의 기능을 실행하기 위한 동작의 순서를 포함할 수 있다. 디스플레이 장치(10)는 서버(40) 또는 홈 게이트웨이(30)가 생성한 명령을 수신하고, 명령에 따라서 앱(또는 기능)을 선택하고, 선택된 앱에서 상기 명령에 따른 동작을 실행할 수 있다.
이하에서, 다양한 실시예에 따른 콘텐트 추천 시스템(1)을 이용하는 방법을 설명한다.
동작 ①에서, 디스플레이 장치(10)는 냉장고와 관련되는 정보를 요청하는 사용자의 입력(예를 들면, 발화)을 수신할 수 있다. 예를 들어, 디스플레이 장치(10)는 디스플레이 장치(10)에 포함된 마이크(미도시)를 이용하여 냉장고와 관련되는 정보를 요청하는 사용자의 입력을 수신할 수 있다.
냉장고와 관련되는 정보를 요청하는 사용자의 입력은, 예를 들면, "냉장고에 있는 식재료와 관련되는 방송을 표시해 줘", "냉장고에 있는 재료로 어떤 음식을 만들 수 있어?" 또는 "지금 냉장고에 뭐 있어?" 중 적어도 하나일 수 있다. 그러나 사용자의 입력은 이에 한정되지 않고, 냉장고와 관련된 정보를 요청하는 다양한 사용자의 입력을 포함할 수 있다.
동작 ②에서, 디스플레이 장치(10)는 내부에 저장된 음성 인식 알고리즘(또는, 음성 인식 모듈)을 이용하여 사용자의 발화를 인식하고, 인식된 발화와 관련되는 기능을 수행할 수 있다. 인식된 발화와 관련되는 기능은, 예를 들면, 냉장고(20)에 저장된 재료와 관련되는 요리 방송 콘텐트를 추천하는 기능일 수 있다.
동작 ③에서, 발화 인식 결과에 따라서, 디스플레이 장치(10)는 냉장고(20)에 포함된 카메라를 이용하여 획득된 이미지의 전송을 요청하는 요청 명령을 냉장고(20)에게 전송할 수 있다.
일 실시예에 따르면, 디스플레이 장치(10)는 홈 게이트웨이(30)를 이용하여 냉장고(20)에게 이미지의 전송을 요청하는 요청 명령을 전송할 수 있다.
다양한 실시예에 따르면, 디스플레이 장치(10)는 사용자의 발화 입력을 홈 게이트웨이(30)로 전송하고, 홈 게이트웨이(30)가 음성 인식 알고리즘 등을 이용하여 사용자의 발화 입력을 인식하고, 인식된 발화와 관련되는 기능을 수행하기 위해 생성한 명령어들을 수신 받아서 이후의 동작을 수행할 수 있다.
다양한 실시예에 따르면, 홈 게이트웨이(30)가 인식된 발화와 관련된 명령어를 이용하여 냉장고(20)에 이미지 전송을 요청하는 요청 명령을 전송할 수 있다.
동작 ④에서, 냉장고(20)는 수신된 요청 명령에 대응하여, 냉장고(20)에 포함된 카메라를 이용하여 적어도 하나의 이미지를 획득할 수 있다. 예를 들면, 냉장고(20)는 냉장고(20)의 내부를 촬영할 수 있는 복수 개의 카메라를 이용하여 적어도 하나의 이미지를 획득할 수 있다.
동작 ⑤에서, 디스플레이 장치(10)는 홈 게이트웨이(30)를 통해 냉장고(20)가 획득한 적어도 하나 이상의 이미지를 수신할 수 있다.
다양한 실시예에 따르면, 디스플레이 장치(10)는 냉장고(20)의 저장실을 촬영한 이미지를 기 저장하고 있을 수 있다. 이 경우, 디스플레이 장치(10)는 상술한 동작 ③ 내지 동작 ⑤를 생략할 수도 있다.
동작 ⑥에서, 디스플레이 장치(10)는 냉장고(20)로부터 수신한 이미지에 포함된 식재료를 인식하여 식재료의 명칭에 관련되는 제1 정보(예를 들면, 제1 텍스트)를 획득할 수 있다.
일 실시예에 따르면, 디스플레이 장치(10)는 이미지에 포함된 객체(예를 들면, 식재료)를 인식할 수 있다. 디스플레이 장치(10)는, 예를 들면, 이미지를 에지 영역을 강조하는 이미지로 변경한 후, 에지의 형상을 분석하여 객체의 형상을 인식할 수 있다.
일 실시예에 따르면, 디스플레이 장치(10)는 인식된 객체의 명칭을 식별하여 식재료의 명칭에 관련되는 제1 텍스트를 획득할 수 있다.
다양한 실시예에 따르면, 디스플레이 장치(10)는 인공 지능 알고리즘을 이용하여 이미지에 포함된 식재료를 인식하여 식재료의 명칭에 관련되는 제1 텍스트를 획득할 수 있다. 예를 들어, 디스플레이 장치(10)는 객체를 포함하는 이미지와 객체의 명칭을 학습용 데이터로 하여 학습된 데이터 인식 모델에 냉장고(20)의 내부를 촬영한 적어도 하나의 이미지를 적용하여 식재료의 명칭에 관련되는 제1 텍스트를 획득할 수 있다.
동작 ⑦에서, 디스플레이 장치(10)는 획득한 제1 텍스트를 홈 게이트웨이(30)를 통해 서버(40)로 전송할 수 있다.
동작 ⑧에서, 서버(40)는 제1 정보(예를 들면, 제1 텍스트)와 서버(40)가 미디어 콘텐트로부터 인식한 요리 정보와 관련되는 제2 정보(예를 들면, 제2 텍스트)를 이용하여 요리 방송 콘텐트를 생성할 수 있다.
일 실시예에 따르면, 서버(40)는 서버(40)에 저장된 미디어 콘텐트에서 요리 정보를 텍스트 형태로 인식할 수 있다. 예를 들면, 서버(40)는 동영상 형태의 미디어 콘텐트에 포함된 각각의 이미지 프레임들에 텍스트 인식 방법(예를 들면, OCR(optical character reader) 기술)을 적용하여 텍스트를 인식할 수 있다. 구체적으로, 서버(40)는 미디어 콘텐트 중에서 요리 정보(예를 들면, 식재료의 명칭 또는 조리법 등)와 관련되는 적어도 하나의 이미지 프레임을 결정하고, 이미지 프레임에 포함된 텍스트를 이용하여 요리 정보와 관련되는 제2 텍스트를 획득할 수 있다. 이 경우, 제2 텍스트는 서버(40)가 저장하고 있는 미디어 콘텐트의 개수에 따라 복수 개가 생성될 수 있다.
다양한 실시예에 따르면, 서버(40)는 동영상 형태의 미디어 콘텐트에 포함된 복수 개의 이미지 프레임들 중에서, 요리 정보와 관련되는 이미지 프레임, 요리 정보와 관련되지 않는 이미지 프레임을 구분할 수 있다. 요리 정보와 관련되는 이미지 프레임은, 예를 들면, 텍스트 인식 결과 텍스트에 식재료, 요리 방법 등을 포함하는 글자가 있는 이미지 프레임일 수 있다.
일 실시예에 따르면, 서버(40)는 식재료의 명칭에 관련되는 제1 텍스트와 요리 정보와 관련되는 제2 텍스트를 이용하여 미디어 콘텐트 중에서 디스플레이 장치(10)로 전송할 요리 방송 콘텐트를 획득할 수 있다.
예를 들어, 서버(40)는 복수 개의 제2 텍스트들 중에서 제1 텍스트에 포함된 식재료의 명칭과 동일 또는 유사한 명칭을 포함하고 있는 제2 텍스트를 식별할 수 있다. 서버(40)는 식별된 적어도 하나 이상의 제2 텍스트에 대응하는 미디어 콘텐트를 요리 방송 콘텐트로 획득(또는, 추가) 할 수 있다.
다양한 실시예에 따르면, 서버(40)는 제1 텍스트에 포함된 식재료와 동일 유사한 식재료를 가지고 있는 제3 자가 시청한 미디어 콘텐트를 획득할 수 있다. 서버(40)는 획득한 미디어 콘텐트에 대응하는 제2 텍스트들 중에서 제1 텍스트에 포함된 식재료의 명칭과 동일 또는 유사한 명칭을 포함하고 있는 제2 텍스트를 식별할 수 있다. 서버(40)는 식별된 적어도 하나 이상의 제2 텍스트에 대응하는 미디어 콘텐트를 요리 방송 콘텐트로 획득할 수 있다.
다양한 실시예에 따르면, 서버(40)는 일정 기간(예를 들면, 최근 3개월, 6개월, 또는 1년)동안 가장 많이 재생된 미디어 콘텐트를 획득할 수 있다. 서버(40)는 획득한 미디어 콘텐트에 대응하는 제2 텍스트들 중에서 제1 텍스트에 포함된 식재료의 명칭과 동일 또는 유사한 명칭을 포함하고 있는 제2 텍스트를 식별할 수 있다. 서버(40)는 식별된 적어도 하나 이상의 제2 텍스트에 대응하는 미디어 콘텐트를 요리 방송 콘텐트로 획득할 수 있다.
동작 ⑨에서, 디스플레이 장치(10)는 서버(40)가 획득한 요리 정보와 관련되는 제2 텍스트 및 서버(40)가 획득한 요리 방송 콘텐트 중 적어도 하나를 홈 게이트웨이(30)를 통해 수신할 수 있다.
동작 ⑩에서, 디스플레이 장치(10)는 수신된 요리 방송 콘텐트를 식재료를 포함하는 이미지를 함께 표시할 수 있다.
일 실시예에 따르면, 디스플레이 장치(10)는 표시 영역(11)을 2개로 분할하여 제1 영역에는 식재료를 포함하는 이미지(110)를 표시하고, 제2 영역에는 요리 방송 콘텐트(120)를 표시할 수 있다. 디스플레이 장치(10)는 요리 방송 콘텐트(120)가 복수 개인 경우, 목록 형태로 요리 방송 콘텐트(120)를 표시할 수 있다. 그러나 디스플레이 장치(10)가 요리 방송 콘텐트(120)와 식재료를 포함하는 이미지(110)를 표시하는 방법은 이에 한정되지는 않는다.
이와 같이, 본 개시의 일 실시예에 따른 콘텐트 추천 시스템(1)을 이용하면, 디스플레이 장치(10)는 냉장고와 관련되는 사용자의 발화를 인식하고, 사용자에게 필요한 요리 관련 콘텐트를 제공할 수 있다.
도 2는 일 실시예에 따른 디스플레이 장치의 대략적인 블록도이다.
도 2를 참조하면, 디스플레이 장치(10)는 프로세서(210), 통신부(220), 디스플레이(230), 입력부(250), 및 메모리(240)를 포함할 수 있다. 그러나 이에 한정되지는 않는다. 예를 들어, 디스플레이 장치(10)는 구성 요소를 더 포함하거나, 일부 구성 요소를 포함하지 않을 수 있다.
일 실시예에 따르면, 프로세서(210)는 디스플레이 장치(10)의 전반적인 동작을 제어할 수 있다. 예를 들어, 프로세서(210)는 입력부(250)를 제어하여 사용자의 입력을 수신할 수 있다. 프로세서(210)는 디스플레이(230)를 제어하여 이미지를 표시할 수 있다. 프로세서(210)는 메모리(240)를 제어하여 메모리(240)에 저장된 프로그램을 실행시키고, 필요한 정보를 불러오거나 저장할 수 있다.
일 실시예에 따르면, 프로세서(210)는 냉장고(20)와 관련되는 정보를 요청하는 입력이 수신되면, 냉장고(20) 내부에 위치한 카메라를 이용하여 획득된 이미지의 전송을 요청하는 요청 명령이 냉장고에 전송되도록 통신부(220)를 제어할 수 있다.
일 실시예에 따르면, 프로세서(210)는 냉장고(20)로부터 적어도 하나의 이미지를 수신하고, 적어도 하나의 이미지에 포함된 식재료를 인식하여 식재료의 명칭에 관련되는 제1 텍스트를 획득할 수 있다.
일 실시예에 따르면, 프로세서(210)는 제1 텍스트를 서버(40)로 전송하도록 통신부(220)를 제어하고, 서버(40)가 제1 텍스트와 미디어 콘텐트로부터 인식한 요리 정보와 관련되는 제2 텍스트를 이용하여 획득한 요리 방송 콘텐트를 수신할 수 있다.
일 실시예에 따르면, 프로세서(210)는 디스플레이(230)를 제어하여, 요리 방송 콘텐트와 식재료를 포함하는 이미지를 함께 표시할 수 있다.
일 실시예에 따르면, 디스플레이(230)는, 이미지나 비디오, 및/또는 어플리케이션의 실행 화면을 표시할 수 있다.
일 실시예에 따르면, 디스플레이(230)는 프로세서(210)의 제어에 기반하여, 냉장고(20)로부터 수신한 이미지, 서버(40)로부터 수신한 콘텐트 목록 등을 표시할 수 있다.
일 실시예에 따르면, 통신부(220)는 프로세서(210)의 제어에 의해 디스플레이 장치(10)를 외부 장치와 연결할 수 있다. 통신부(220)는 디스플레이 장치(10)의 성능 및 구조에 대응하여 무선 랜, 블루투스, 및 유선 이더넷(Ethernet) 등 다양한 유선 또는 무선 통신 방법을 구현하는 구성 요소들 중 하나를 포함할 수 있다.
일 실시예에 따르면, 메모리(240)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
일 실시예에 따르면, 메모리(240)는 프로세서(210)가 냉장고(20)와 관련되는 정보를 요청하는 입력을 수신하면, 냉장고(20) 내부에 위치한 카메라를 이용하여 획득된 이미지의 전송을 냉장고(20)에게 요청하는 요청 명령이 냉장고에 전송되도록 통신부(220)를 제어하고, 냉장고(20)로부터 적어도 하나의 이미지를 수신하고, 적어도 하나의 이미지에 포함된 식재료를 인식하여 식재료의 명칭에 관련되는 제1 텍스트를 획득하고, 제1 텍스트를 서버(40)로 전송하도록 통신부(220)를 제어하고, 서버(40)가 제1 텍스트와 미디어 콘텐트로부터 인식한 요리 정보와 관련되는 제2 텍스트를 이용하여 획득한 요리 방송 콘텐트를 수신하고, 디스플레이(230)를 제어하여, 요리 방송 콘텐트와 식재료를 포함하는 이미지를 함께 표시하도록 설정된 명령어들을 저장할 수 있다.
일 실시예에 따르면, 입력부(250)는 사용자로부터 사용자 입력을 수신할 수 있다. 예를 들어, 입력부(250)는 연결된 외부 장치(예를 들면, 키보드, 헤드셋 등)로부터 사용자 입력을 수신할 수 있다. 입력부(250)는 사용자의 발화를 음성 신호로 수신할 수 있는 마이크를 포함할 수 있다.
도 3은 일 실시예에 따른 디스플레이 장치가 식재료를 포함하는 이미지와 요리 방송 콘텐트를 함께 표시하는 다른 방법을 설명하는 도면들이다.
도 3의 (a)를 참조하면, 디스플레이 장치(10)는 요리 방송 콘텐트와 식재료를 포함하는 이미지를 함께 표시할 수 있다.
일 실시예에 따르면, 디스플레이 장치(10)는 디스플레이를 2개로 분할하여 제1 영역에는 식재료를 포함하는 이미지(110)를 표시하고, 제2 영역에는 요리 방송 콘텐트(120)를 표시할 수 있다. 디스플레이 장치(10)는 요리 방송 콘텐트(120)가 복수 개인 경우, 목록 형태로 요리 방송 콘텐트(120)를 표시할 수 있다. 다양한 실시예에 따르면, 디스플레이 장치(10)는 식재료를 포함하는 이미지(110)가 표시되는 위치와 요리 방송 콘텐트(120)가 표시되는 위치를 서로 변경할 수 있다.
도 3의 (b)를 참조하면, 디스플레이 장치(10)는 선택된 요리 방송 콘텐트와 이에 대응하는 식재료를 다른 식재료와 구분하여 표시할 수 있다.
일 실시예에 따르면, 디스플레이 장치(10)는 표시된 요리 방송 콘텐트를 선택하는 입력을 수신할 수 있다. 예를 들면, 디스플레이 장치(10)는 제어 장치(예를 들면, 리모컨, 스마트폰 등)를 통해 요리 방송 콘텐트를 선택하는 사용자의 입력을 수신할 수 있다. 다양한 실시예에 따르면, 디스플레이 장치(10)는 요리 방송 콘텐트를 선택하는 사용자의 발화를 수신할 수 있다. 디스플레이 장치(10)는 사용자의 발화를 인식하고, 인식한 결과에 따라서 콘텐트를 선택할 수 있다.
예를 들어, 디스플레이 장치(10)는 표시 영역(11) 중에서 요리 방송 콘텐트(120)가 표시되던 영역에 선택된 콘텐트(330)를 확대하여 표시할 수 있다.
일 실시예에 따르면, 디스플레이 장치(10)는 선택된 콘텐트에 포함된 요리법 또는 식재료 명칭을 식별할 수 있다. 디스플레이 장치(10)는 냉장고(20)로부터 수신한 이미지(110)에 포함된 객체 중 선택된 콘텐트에 포함된 요리법 또는 식재료 명칭에 대응하는 객체를 다른 객체들과 구분하여 표시할 수 있다.
예를 들면, 디스플레이 장치(10)는 선택된 콘텐트에 대응하는 제2 텍스트와 식재료의 명칭을 포함하는 제1 텍스트를 비교할 수 있다. 디스플레이 장치(10)는 제1 텍스트와 제2 텍스트에 동시에 포함되는 식재료의 명칭을 식별할 수 있다. 디스플레이 장치(10)는 식별된 식재료의 명칭에 대응하는 객체를 식별하여 다른 객체들과 구분하여 표시할 수 있다.
일 실시예에 따르면, 디스플레이 장치(10)는 박스 표시(305)를 이용하여 식별된 식재료의 명칭에 대응하는 식재료들(310, 320)을 다른 식재료와 구분하여 표시할 수 있다. 그러나 이에 한정되지는 않는다. 예를 들면, 디스플레이 장치(10)는 기호(예를 들면, 원 모양, 별 모양, 화살표 등)를 이용하여 식별된 식재료의 명칭에 대응하는 식재료들(310, 320)을 구분하여 표시할 수 있다.
다양한 실시예에 따르면, 디스플레이 장치(10)는 상술한 바와 같이 식별된 식재료의 명칭에 대응하는 식재료들(310, 320)을 다른 식재료와 구분하여 표시할 때, 이와 동시에 또는 순차적으로, 스피커 등을 이용하여 식별된 식재료들(310, 320)의 명칭을 출력할 수 있다.
다양한 실시예에 따르면, 디스플레이 장치(10)는 사용자에 의해 하나의 콘텐트가 선택되는 경우에, 도 3의 (b)와 같이 선택된 콘텐트를 확대하여 표시하지 않고, 목록 형태로 요리 방송 콘텐트를 표시한 채, 선택된 콘텐트를 다른 콘텐트와 구분하여 표시할 수 있다. 이 경우, 디스플레이 장치(10)는 선택된 콘텐트와 식별된 식재료들(310, 320) 사이에 화살표, 점선 등 다양한 효과를 표시할 수 있다. 또한, 다양한 실시예에 따르면. 디스플레이 장치(10)는 선택된 요리 방송 콘텐트를 제외한 나머지 요리 방송 콘텐트를 흐리게 표시할 수 있다.
그러나 이에 한정되는 것은 아니다. 디스플레이 장치(10)는 다양한 방법을 이용하여 선택된 요리 방송 콘텐트와 선택된 콘텐트를 제외한 나머지 요리 방송 콘텐트를 구분하여 표시할 수 있다.
도 4는 일 실시예에 따른 디스플레이 장치가 식재료 구매를 진행하는 사용자 인터페이스를 표시하는 상황을 설명하는 도면들이다.
도 4의 (a)를 참조하면, 디스플레이 장치(10)는 선택된 요리 방송 콘텐트와 이에 대응하는 식재료를 다른 식재료와 구분하여 표시할 수 있다.
일 실시예에 따르면, 디스플레이 장치(10)는 박스 표시(305)를 이용하여 식별된 식재료의 명칭에 대응하는 식재료들(310, 320)을 다른 식재료와 구분하여 표시할 수 있다. 그러나 이에 한정되지는 않는다. 예를 들면, 디스플레이 장치(10)는 기호(예를 들면, 원 모양, 별 모양, 화살표 등)를 이용하여 식별된 식재료의 명칭에 대응하는 식재료들(310, 320)을 표시할 수 있다.
도 4의 (b)를 참조하면, 디스플레이 장치(10)는 선택된 요리 방송 콘텐트에 대응하는 식재료를 구입할 수 있는 사용자 인터페이스(410)를 표시할 수 있다.
일 실시예에 따르면, 디스플레이 장치(10)는 선택된 요리 방송 콘텐트에 대응하는 조리법을 식별할 수 있다. 예를 들면, 디스플레이 장치(10)는 선택된 요리 방송 콘텐트에 대응하는 제2 텍스트에서 조리법에 해당하는 내용을 식별할 수 있다.
일 실시예에 따르면, 디스플레이 장치(10)는 식별된 조리법에 포함되는 식재료의 명칭들을 식별할 수 있다. 디스플레이 장치(10)는 식별된 식재료의 명칭들을 제1 텍스트에 포함된 식재료의 명칭과 비교하여, 제1 텍스트에 없지만 상기 조리법에는 포함되는 식재료를 식별할 수 있다. 디스플레이 장치(10)는 제1 텍스트에 없지만 상기 조리법에는 포함되는 식재료를 구매가 필요한 식재료로 결정할 수 있다.
일 실시예에 따르면, 디스플레이 장치(10)는 구매가 필요한 식재료를 구매하기 위하여 식재료를 구입할 수 있는 사용자 인터페이스(410)를 표시할 수 있다. 예를 들어, 디스플레이 장치(10)는 식재료 쇼핑 웹사이트에 접속하고, 구매가 필요한 식재료에 대하여 검색한 결과를 표시할 수 있다.
도 4의 (c)를 참조하면, 디스플레이 장치(10)는 외부 전자 장치(420)로 구매가 필요한 식재료에 대한 정보를 전송할 수 있다.
일 실시예에 따르면, 디스플레이 장치(10)는 선택된 요리 방송 콘텐트에 대응하는 조리법을 식별할 수 있다. 예를 들면, 디스플레이 장치(10)는 선택된 요리 방송 콘텐트에 대응하는 제2 텍스트에서 조리법에 해당하는 내용을 식별할 수 있다.
일 실시예에 따르면, 디스플레이 장치(10)는 식별된 조리법에 포함되는 식재료의 명칭들을 식별할 수 있다. 디스플레이 장치(10)는 식별된 식재료의 명칭들을 제1 텍스트에 포함된 식재료의 명칭과 비교하여, 제1 텍스트에 없지만 상기 조리법에는 포함되는 식재료를 식별할 수 있다. 디스플레이 장치(10)는 제1 텍스트에 없지만 상기 조리법에는 포함되는 식재료를 구매가 필요한 식재료로 결정할 수 있다.
일 실시예에 따르며, 디스플레이 장치(10)는 구매가 필요한 식재료에 대한 정보와 식재료를 구입할 수 있는 사용자 인터페이스의 주소(예를 들어, URL(uniform resource locator))를 외부 전자 장치(420)로 전송할 수 있다. 예를 들어, 디스플레이 장치(10)는 식재료 쇼핑 웹 사이트의 주소와 구매가 필요한 식재료에 대한 정보를 디스플레이 장치(10)와 통신이 연결된 외부 전자 장치(420)(예를 들면, 스마트 폰, 태블릿 PC, 웨어러블 장치 등)로 전송할 수 있다.
외부 전자 장치(420)는 수신된 식재료 쇼핑 웹 사이트의 URL과 구매가 필요한 식재료에 대한 정보를 이용하여 식재료 쇼핑 웹 사이트(430)에 접속하고, 구매가 필요한 식재료에 대하여 검색한 결과를 표시할 수 있다.
다양한 실시예에 따르면, 서버(40)는 식별된 조리법에 포함되는 식재료의 명칭들을 식별할 수 있다. 서버(40)는 식별된 식재료의 명칭들을 제1 텍스트에 포함된 식재료의 명칭과 비교하여, 제1 텍스트에 없지만 상기 조리법에는 포함되는 식재료를 식별할 수 있다. 서버(40)는 제1 텍스트에 없지만 상기 조리법에는 포함되는 식재료를 구매가 필요한 식재료로 결정할 수 있다.
일 실시예에 따르며, 서버(40)는 구매가 필요한 식재료에 대한 정보와 식재료를 구입할 수 있는 사용자 인터페이스의 주소(예를 들어, URL(uniform resource locator))를 외부 전자 장치(420)로 전송할 수 있다. 예를 들어, 디스플레이 장치(10)는 식재료 쇼핑 웹 사이트의 주소와 구매가 필요한 식재료에 대한 정보를 디스플레이 장치(10)와 통신이 연결된 외부 전자 장치(420)(예를 들면, 스마트폰, 태블릿 PC, 웨어러블 장치 등)로 전송할 수 있다.
외부 전자 장치(420)는 수신된 식재료 쇼핑 웹 사이트의 URL과 구매가 필요한 식재료에 대한 정보를 이용하여 식재료 쇼핑 웹 사이트(430)에 접속하고, 구매가 필요한 식재료에 대하여 검색한 결과를 표시할 수 있다.
도 5는 일 실시예에 따른 전자 장치가 선택된 요리 정보 콘텐트를 재생하는 방법을 설명하기 위한 도면들이다.
도 5의 (a)를 참조하면, 디스플레이 장치(10)는 요리 방송 콘텐트(120)와 식재료를 포함하는 이미지(110)를 함께 표시할 수 있다.
일 실시예에 따르면, 디스플레이 장치(10)는 표시 영역(11)을 2개로 분할하여 제1 영역에는 식재료를 포함하는 이미지(110)를 표시하고, 제2 영역에는 요리 방송 콘텐트(120)를 표시할 수 있다. 다양한 실시예에 따르면, 디스플레이 장치(10)는 식재료를 포함하는 이미지(110)가 표시되는 위치와 요리 방송 콘텐트(120)가 표시되는 위치를 서로 변경할 수 있다.
도 5의 (b)를 참조하면, 디스플레이 장치(10)는 콘텐트를 선택하는 입력이 수신되면, 해당 콘텐트를 재생할 수 있다.
일 실시예에 따르면, 디스플레이 장치(10)는 도 2에서 상술한 바와 같이, 서버(40)가 획득한 요리 방송 콘텐트를 수신할 수 있다.
일 실시예에 따르면, 서버(40)는 서버(40)에 기 저장된 미디어 콘텐트를 구성하는 복수 개의 이미지 프레임들 중에서 요리 정보(예를 들면, 요리법, 또는 식재료 명칭 등)와 관련되는 적어도 하나의 이미지 프레임을 결정할 수 있다. 서버(40)는 요리 정보와 관련되는 이미지 프레임에 포함된 텍스트를 이용하여 요리 정보를 포함하는 제2 텍스트를 획득할 수 있다.
일 실시예에 따르면, 서버(40)는 요리 정보와 관련되는 적어도 하나의 이미지 프레임을 이용하여 외부 장치(예를 들면, 디스플레이 장치(10) 또는 냉장고(20) 등)으로 전송할 요리 방송 콘텐트를 획득할 수 있다. 예를 들어, 서버(40)는 기 저장된 미디어 콘텐트에 포함된 이미지 프레임들 중에서 요리 정보와 관련되는 프레임을 식별하고, 요리 정보와 관련되는 이미지 프레임으로만 이루어진 비디오 클립(video clip)을 생성할 수 있다. 비디오 클립은, 예를 들면, 1분 내지 3분 정도에 해당하는 짧은 정지 영상의 묶음 또는 동영상 콘텐트를 의미할 수 있다.
일 실시예에 따르면, 디스플레이 장치(10)는 비디오 클립을 선택하는 사용자의 입력이 수신되면, 선택된 비디오 클립을 재생할 수 있다. 이 경우, 비디오 클립은 요리 정보를 포함하는 이미지 프레임으로만 이루어져 있으므로 사용자는 요리 방송 콘텐트의 전체 내용을 시청할 필요 없이, 요리법 또는 식재료 등 요리 정보가 소개되는 내용만을 시청할 수 있다.
다양한 실시예에 따르면, 서버(40)는 획득한 요리 방송 콘텐트의 대표 이미지 프레임을 디스플레이 장치(10)로 전송할 수 있다. 예를 들어. 서버(40)는 요리 방송 콘텐트의 방송 제목이 포함된 이미지 프레임을 전송할 수 있다. 이로 인해, 사용자는 디스플레이(10)에 표시된 요리 방송 콘텐트의 제목을 보고 선호하는 방송 콘텐트를 선택할 수 있다.
다양한 실시예에 따르면, 상술한 바와 같이, 요리법 또는 식재료가 소개되는 비디오 클립을 시청하는 경우에, 디스플레이 장치(10)는 선택한 비디오 클립의 전체 내용의 재생을 요청하는 사용자의 입력이 수신되면. 서버(40)로부터 스트리밍 등의 방법을 사용하여 전체 내용을 다운로드하여 재생할 수 있다.
다양한 실시예에 따르면, 서버(40)는 획득한 요리 방송 콘텐트를 구성하는 전체 이미지 프레임들을 디스플레이 장치(10)로 전송할 수도 있다. 이 경우, 디스플레이 장치(10)는 수신된 요리 방송 콘텐트에 포함된 이미지 프레임들을 OCR 방법 등으로 분석하여, 요리법 또는 식재료 명칭이 포함되는 이미지 프레임을 식별할 수 있다. 이 경우, 디스플레이 장치(10)는 식별된 이미지 프레임부터 재생할 수 있다. 그러나 이에 한정되지는 않는다. 예를 들면, 디스플레이 장치(10)는 수신된 요리 방송 콘텐트를 선택하는 사용자의 입력에 대응하여 선택된 요리 방송 콘텐트를 처음부터 재생할 수도 있다.
도 6은 일 실시예에 따른 콘텐트 추천 시스템에서 냉장고에 입력되는 사용자의 명령을 이용하여 기능을 실행하는 상황을 설명하는 도면이다.
도 6을 참조하면, 콘텐트 추천 시스템(1)은 디스플레이 장치(10), 서버(40), 냉장고(20), 홈 게이트웨이(30), 또는 인공 지능 스피커(50)를 포함할 수 있다.
일 실시예에 따르면, 디스플레이 장치(10), 서버(40), 냉장고(20), 인공 지능 스피커(50) 또는 홈 게이트웨이(30)는 모두 통신망을 통해 연결될 수 있다. 예를 들면, 인공 지능 스피커(50), 디스플레이 장치(10), 및 냉장고(20)가 홈 게이트웨이(30)에 통신망을 통해 연결되고, 홈 게이트웨이(30)는 서버(40)와 통신망을 통해 연결될 수 있다. 그러나 통신망을 통한 연결 구조는 이에 한정되지 않고 다양한 구조로 이루어질 수 있다.
예를 들면, 인공 지능 스피커(50), 디스플레이 장치(10), 냉장고(20), 및 서버(40)는 각 장치에 포함된 통신부를 이용하여 직접 통신을 수행할 수 있다. 이하에서, 인공 지능 스피커(50), 디스플레이 장치(10), 및 냉장고(20)가 홈 게이트웨이(30)를 통해 서버(40)와 통신을 수행하여 콘텐트를 추천 시스템(1)을 구성하는 것으로 기재하였으나, 이에 한정되지 않고, 인공 지능 스피커(50), 디스플레이 장치(10), 및 냉장고(20)는 서버(40)와 직접 통신을 수행하고, 필요한 데이터 또는 신호를 송수신하여 콘텐트 추천 시스템(1)을 구성할 수 있다.
일 실시예에 따르면, 인공 지능 스피커(50)는 사용자의 발화를 사용자 입력으로 수신할 수 있다. 인공 지능 스피커(50)는 사용자의 발화를 수신하고, 사용자의 발화에 기초하여 앱을 동작시키는 명령을 생성할 수 있다. 예를 들면, 인공 지능 스피커(50)는 사용자의 발화를 수신하여 텍스트 데이터(text data)로 변경할 수 있다. 다양한 실시예에 다르면, 인공 지능 스피커(50)는 텍스트 데이터에 기초하여 적어도 하나 이상의 기능을 실행시키는 명령을 생성(또는 선택)할 수 있다. 명령은 적어도 하나의 기능을 실행하기 위한 동작(또는 과정)에 대한 정보 또는 상기 동작을 실행하기 위한 파라미터에 대한 정보를 포함할 수 있다. 상기 명령은 적어도 하나의 기능을 실행하기 위한 동작의 순서를 포함할 수 있다. 인공 지능 스피커(50)는 명령에 따라서 앱(또는 기능)을 선택하고, 선택된 앱에서 상기 명령에 따른 동작을 실행할 수 있다.
동작 ①에서, 인공 지능 스피커(50)는 냉장고와 관련되는 정보를 요청하는 사용자의 입력(예를 들면, 발화)을 수신할 수 있다. 예를 들어, 인공 지능 스피커(50)는 인공 지능 스피커(50)에 포함된 마이크(미도시)를 이용하여 냉장고와 관련되는 정보를 요청하는 사용자의 입력을 수신할 수 있다.
냉장고와 관련되는 정보를 요청하는 사용자의 입력은, 예를 들면, "냉장고에 있는 식재료와 관련되는 방송을 표시해 줘", "냉장고에 있는 재료로 어떤 음식을 만들 수 있어?" 또는 "지금 냉장고에 뭐 있어?" 중 적어도 하나일 수 있다. 그러나 사용자의 입력은 이에 한정되지 않고, 냉장고와 관련된 정보를 요청하는 다양한 사용자의 입력을 포함할 수 있다.
동작 ②에서, 인공 지능 스피커(50)는 내부에 저장된 음성 인식 알고리즘(또는, 음성 인식 모듈)을 이용하여 사용자의 발화를 인식하고, 인식된 발화와 관련된 기능을 수행하는 명령어를 생성할 수 있다. 인식된 발화와 관련된 기능을 수행하는 명령어는, 예를 들면, 냉장고(20)에 저장된 재료와 관련되는 요리 방송 콘텐트를 추천하는 기능일 수 있다.
동작 ③에서, 발화 인식 결과에 따라서, 인공 지능 스피커(50)는 사용자의 발화에 기반하여 생성된 명령어를 홈 게이트웨이(30)를 통해 냉장고(20)에 전송할 수 있다.
다양한 실시예에 따르면, 인공 지능 스피커(50)는 사용자의 발화 입력을 홈 게이트웨이(30)를 통해 서버(40)로 전송하고, 서버(40)가 음성 인식 알고리즘 등을 이용하여 사용자의 발화 입력을 인식하여 인식된 발화와 관련되는 기능을 수행하기 위해 생성한 명령어들을 수신받을 수 있다. 이 경우, 인공 지능 스피커(50)는 수신된 명령어들을 이용하여 냉장고(20)에 이미지의 전송을 요청하는 등 이후의 동작들을 수행할 수 있다.
동작 ④에서, 냉장고(20)는 수신된 명령어에 대응하여, 냉장고(20)에 포함된 카메라를 이용하여 적어도 하나의 이미지를 획득할 수 있다. 예를 들면, 냉장고(20)는 냉장고(20)의 내부를 촬영할 수 있는 복수 개의 카메라를 이용하여 적어도 하나의 이미지를 획득할 수 있다.
동작 ④에서, 냉장고(20)는 적어도 하나의 이미지에 포함된 식재료를 인식하여 식재료의 명칭을 획득할 수 있다.
일 실시예에 따르면, 냉장고(20)는 이미지에 포함된 객체(예를 들면, 식재료)를 인식할 수 있다. 냉장고(20)는, 예를 들면, 이미지를 에지 영역을 강조하는 이미지로 변경한 후, 에지의 형상을 분석하여 객체의 형상을 인식할 수 있다.
일 실시예에 따르면, 냉장고(20)는 인식된 객체의 명칭을 식별하여 식재료의 명칭에 관련되는 제1 정보(예를 들면, 제1 텍스트)를 획득할 수 있다.
동작 ⑤에서, 냉장고(20)는 획득한 제1 텍스트를 홈 게이트웨이(30)를 통해 서버(40)로 전송할 수 있다.
동작 ⑥에서, 서버(40)는 제1 텍스트와 서버(40)가 미디어 콘텐트로부터 인식한 요리 정보와 관련되는 제2 정보(예를 들면, 제2 텍스트)를 이용하여 요리 방송 콘텐트를 생성할 수 있다.
일 실시예에 따르면, 서버(40)는 서버(40)에 저장된 미디어 콘텐트에서 요리 정보를 텍스트 형태로 인식할 수 있다. 예를 들면, 서버(40)는 동영상 형태의 미디어 콘텐트에 포함된 각각의 이미지 프레임들에 텍스트 인식 방법(예를 들면, OCR(optical character reader) 기술)을 적용하여 텍스트를 인식할 수 있다. 구체적으로, 서버(40)는 미디어 콘텐트 중에서 요리 정보(예를 들면, 식재료 명칭 또는 조리법 등)와 관련되는 적어도 하나의 이미지 프레임을 결정하고, 이미지 프레임에 포함된 문자를 식별하여 요리 정보와 관련되는 제2 텍스트를 획득할 수 있다. 이 경우, 제2 텍스트는 서버(40)가 저장하고 있는 미디어 콘텐트의 개수에 따라 복수 개가 생성될 수 있다.
일 실시예에 따르면, 서버(40)는 식재료의 명칭이 포함된 제1 텍스트와 요리 정보와 관련되는 제2 텍스트를 이용하여 미디어 콘텐트 중에서 디스플레이 장치(10)로 전송할 요리 방송 콘텐트를 획득할 수 있다.
예를 들어, 서버(40)는 복수 개의 제2 텍스트들 중에서 제1 텍스트에 포함된 식재료의 명칭과 동일 또는 유사한 명칭을 포함하고 있는 제2 텍스트를 식별할 수 있다. 서버(40)는 식별된 적어도 하나 이상의 제2 텍스트에 대응하는 미디어 콘텐트를 이용하여 요리 방송 콘텐트를 획득(또는, 추가)할 수 있다.
다양한 실시예에 따르면, 서버(40)는 제1 텍스트에 포함된 식재료와 동일 유사한 식재료를 가지고 있는 제3 자가 시청한 미디어 콘텐트를 획득할 수 있다. 서버(40)는 획득한 미디어 콘텐트에 대응하는 제2 텍스트들 중에서 제1 텍스트에 포함된 식재료의 명칭과 동일 또는 유사한 명칭을 포함하고 있는 제2 텍스트를 식별할 수 있다. 서버(40)는 식별된 적어도 하나 이상의 제2 텍스트에 대응하는 미디어 콘텐트를 요리 방송 콘텐트로 획득할 수 있다.
다양한 실시예에 따르면, 서버(40)는 일정 기간(예를 들면, 최근 3개월, 6개월, 또는 1년)동안 가장 많이 재생된 미디어 콘텐트를 획득할 수 있다. 서버(40)는 획득한 미디어 콘텐트에 대응하는 제2 텍스트들 중에서 제1 텍스트에 포함된 식재료의 명칭과 동일 또는 유사한 명칭을 포함하고 있는 제2 텍스트를 식별할 수 있다. 서버(40)는 식별된 적어도 하나 이상의 제2 텍스트에 대응하는 미디어 콘텐트를 요리 방송 콘텐트로 획득할 수 있다.
동작 ⑦에서, 냉장고(20)는 서버(40)가 획득한 요리 정보와 관련되는 제2 텍스트 및 서버(40)가 획득한 요리 방송 콘텐트 중 적어도 하나를 홈 게이트웨이(30)를 통해 수신할 수 있다.
다양한 실시예에 따르면, 냉장고(20)는 획득한 이미지를 서버(40)로 전송할 수 있다. 냉장고(20)는 서버(40)가 객체 인식 알고리즘 등을 이용하여 이미지로부터 제1 텍스트를 획득하고, 제1 텍스트를 이용하여 획득한 요리 방송 콘텐트를 수신할 수도 있다.
동작 ⑧에서, 냉장고(20)는 수신된 요리 방송 콘텐트와 식재료를 포함하는 이미지를 하나의 콘텐트로 생성할 수 있다.
동작 ⑨에서, 냉장고(20)는 요리 방송 콘텐트와 식재료를 포함하는 이미지를 이용하여 생성한 콘텐트를 홈 게이트웨이(30)를 통해 디스플레이 장치(10)로 전송할 수 있다.
동작 ⑩에서, 디스플레이 장치(10)는 수신된 요리 방송 콘텐트와 식재료를 포함하는 이미지를 함께 표시할 수 있다.
일 실시예에 따르면, 디스플레이 장치(10)는 표시 영역(11)을 2개로 분할하여 제1 영역에는 식재료를 포함하는 이미지(110)를 표시하고, 제2 영역에는 요리 방송 콘텐트(120)를 표시할 수 있다. 디스플레이 장치(10)는 요리 방송 콘텐트(120)가 복수 개인 경우, 목록 형태로 요리 방송 콘텐트(120)를 표시할 수 있다. 그러나 디스플레이 장치(10)가 요리 방송 콘텐트(120)와 식재료를 포함하는 이미지(110)를 표시하는 방법은 이에 한정되지는 않는다.
다양한 실시예에 따르면, 냉장고(20)가 수신된 요리 방송 콘텐트와 식재료를 포함하는 이미지를 디스플레이 장치(10)로 전송하면, 디스플레이 장치(10)가 요리 방송 콘텐트와 식재료를 포함하는 이미지를 함께 표시할 수 있다.
도 7은 일 실시예에 따른 냉장고의 대략적인 블록도이다.
도 7을 참조하면, 냉장고(20)는 프로세서(710), 통신부(720), 메모리(730), 및 카메라(740)를 포함할 수 있다. 그러나 이에 한정되지는 않는다. 예를 들어, 냉장고(20)는 구성 요소를 더 포함하거나, 일부 구성 요소를 포함하지 않을 수 있다.
일 실시예에 따르면, 프로세서(710)는 냉장고(20)의 전반적인 동작을 제어할 수 있다. 예를 들어, 프로세서(710)는 통신부(720)를 통해 사용자의 입력을 수신할 수 있다. 프로세서(710)는 메모리(730)를 제어하여 저장된 프로그램을 실행시키고, 필요한 정보를 불러오거나 저장할 수 있다.
일 실시예에 따르면, 프로세서(710)는 통신부(720)를 통해 냉장고(20)와 관련되는 정보를 요청하는 입력을 수신하면, 카메라(740)를 이용하여 적어도 하나의 이미지를 획득할 수 있다. 프로세서(710)는 적어도 하나의 이미지에 포함되는 식재료를 인식하여 식재료의 명칭에 관련되는 제1 텍스트를 획득할 수 있다.
일 실시예에 따르면, 프로세서(710)는 제1 텍스트를 서버(40)로 전송하도록 통신부(720)를 제어하고, 서버(40)가 제1 텍스트와 미디어 콘텐트로부터 인식한 요리 정보와 관련되는 제2 텍스트를 이용하여 획득한 요리 방송 콘텐트를 수신할 수 있다.
일 실시예에 따르면, 프로세서(710)는 수신한 요리 방송 콘텐트와 식재료를 포함하는 이미지를 하나의 콘텐트로 생성하고, 홈 게이트웨이(30)를 통해 디스플레이 장치(10)로 전송할 수 있다.
일 실시예에 따르면, 통신부(720)는 프로세서(710)의 제어에 의해 냉장고(20)를 외부 장치와 연결할 수 있다. 통신부(720)는 냉장고(20)의 성능 및 구조에 대응하여 무선 랜, 블루투스, 및 유선 이더넷(Ethernet) 등 다양한 유선 또는 무선 통신 방법을 구현하는 구성 요소들 중 하나를 포함할 수 있다.
일 실시예에 따르면, 메모리(730)는 프로세서가(710) 냉장고와 관련되는 정보를 요청하는 입력을 수신하면, 카메라(740)를 이용하여 적어도 하나의 이미지를 획득하여, 적어도 하나의 이미지에 포함된 식재료를 인식하여 식재료의 명칭에 관련되는 제1 텍스트를 획득하고, 제1 텍스트를 서버(40)로 전송하도록 통신부(720)를 제어하고, 서버(40)가 제1 텍스트와 미디어 콘텐트로부터 인식한 요리 정보와 관련되는 제2 텍스트를 이용하여 획득한 요리 방송 콘텐트를 수신하고, 통신부를 제어하여, 요리 방송 콘텐트와 이미지를 디스플레이 장치(10)로 전송하도록 설정된 명령어들을 저장할 수 있다.
일 실시예에 따르면, 카메라(740)는 프로세서(710)의 제어에 따라 냉장고(20)의 내부에 저장된 식재료를 촬영하여 이미지를 생성할 수 있다.
도 8은 일 실시예에 따른 콘텐트 추천 시스템에서 서버에 입력되는 사용자의 명령을 이용하여 기능을 실행하는 상황을 설명하는 도면이다.
도 8을 참조하면, 콘텐트 추천 시스템(1)은 디스플레이 장치(10), 서버(40), 냉장고(20), 홈 게이트웨이(30), 또는 인공 지능 스피커(50)를 포함할 수 있다.
일 실시예에 따르면, 디스플레이 장치(10), 서버(40), 냉장고(20), 인공 지능 스피커(50) 또는 홈 게이트웨이(30)는 모두 통신망을 통해 연결될 수 있다. 예를 들면, 인공 지능 스피커(50), 디스플레이 장치(10), 및 냉장고(20)가 홈 게이트웨이(30)에 통신망을 통해 연결되고, 홈 게이트웨이(30)는 서버(40)와 통신망을 통해 연결될 수 있다. 그러나 통신망을 통한 연결 구조는 이에 한정되지 않고 다양한 구조로 이루어질 수 있다.
예를 들면, 인공 지능 스피커(50), 디스플레이 장치(10), 냉장고(20), 및 서버(40)는 각 장치에 포함된 통신부를 이용하여 직접 통신을 수행할 수 있다. 이하에서, 인공 지능 스피커(50), 디스플레이 장치(10), 및 냉장고(20)가 홈 게이트웨이(30)를 통해 서버(40)와 통신을 수행하여 콘텐트를 추천 시스템(1)을 구성하는 것으로 기재하였으나, 이에 한정되지 않고, 인공 지능 스피커(50), 디스플레이 장치(10), 및 냉장고(20)는 서버(40)와 직접 통신을 수행하고, 필요한 데이터 또는 신호를 송수신하여 콘텐트 추천 시스템(1)을 구성할 수 있다.
동작 ①에서, 인공 지능 스피커(50)는 냉장고와 관련되는 정보를 요청하는 사용자의 입력(예를 들면, 발화)을 수신할 수 있다. 예를 들어, 인공 지능 스피커(50)는 인공 지능 스피커(50)에 포함된 마이크(미도시)를 이용하여 냉장고와 관련되는 정보를 요청하는 사용자의 입력을 수신할 수 있다.
냉장고와 관련되는 정보를 요청하는 사용자의 입력은, 예를 들면, "냉장고에 있는 식재료와 관련되는 방송을 표시해 줘", "냉장고에 있는 재료로 어떤 음식을 만들 수 있어?" 또는 "지금 냉장고에 뭐 있어?" 중 적어도 하나일 수 있다. 그러나 사용자의 입력은 이에 한정되지 않고, 냉장고와 관련된 정보를 요청하는 다양한 사용자의 입력을 포함할 수 있다.
동작 ②에서, 인공 지능 스피커(50)는 내부에 저장된 음성 인식 알고리즘(또는, 음성 인식 모듈)을 이용하여 사용자의 발화를 인식하고, 인식된 발화와 관련된 기능을 수행하는 명령어를 생성할 수 있다. 인식된 발화와 관련된 기능을 수행하는 명령어는, 예를 들면, 냉장고(20)에 저장된 재료와 관련되는 요리 방송 콘텐트를 추천하는 기능일 수 있다.
동작 ③에서, 발화 인식 결과에 따라서, 인공 지능 스피커(50)는 사용자의 발화에 기반하여 생성된 명령어를 홈 게이트웨이(30)를 통해 서버(40)에 전송할 수 있다.
동작 ④에서, 서버(40)는 수신된 명령어에 대응하여, 서버(40)는 냉장고(20)에 포함된 카메라를 이용하여 촬영된 이미지의 전송을 요청하는 요청 명령을 냉장고(20)에게 전송할 수 있다.
일 실시예에 따르면, 서버(40)는 홈 게이트웨이(30)를 이용하여 냉장고(20)에게 이미지의 전송을 요청하는 요청 명령을 냉장고(20)에게 전송할 수 있다.
다양한 실시예에 따르면, 홈 게이트웨이(30)는 내부에 저장된 음성 인식 알고리즘(또는, 음성 인식 모듈)을 이용하여 사용자의 발화를 인식하고, 인식된 발화와 관련된 기능을 수행하는 명령어를 생성할 수 있다. 이 경우, 홈 게이트웨이(30)는 냉장고(20)에 포함된 카메라를 이용하여 촬영된 이미지를 서버(40)로 전송할 것을 요청하는 요청 명령을 냉장고(20)에게 전송할 수 있다.
동작 ⑤에서, 냉장고(20)는 수신된 요청 명령에 대응하여, 냉장고(20)에 포함된 카메라를 이용하여 적어도 하나의 이미지를 획득할 수 있다. 예를 들면, 냉장고(20)는 냉장고(20)의 내부를 촬영할 수 있는 복수 개의 카메라를 이용하여 적어도 하나 이상의 이미지를 획득할 수 있다.
동작 ⑥에서, 서버(40)는 홈 게이트웨이(30)를 통해 냉장고(20)가 획득한 적어도 하나 이상의 이미지를 수신할 수 있다.
동작 ⑦에서, 서버(40)는 냉장고(20)로부터 수신한 적어도 하나의 이미지에 포함된 식재료를 인식하여 식재료의 명칭을 획득할 수 있다.
일 실시예에 따르면, 서버(40)는 적어도 하나의 이미지에 포함된 객체(예를 들면, 식재료)를 인식할 수 있다. 서버(40)는, 예를 들면, 이미지를 에지 영역을 강조하는 이미지로 변경한 후, 에지의 형상을 분석하여 객체의 형상을 인식할 수 있다.
일 실시예에 따르면, 서버(40)는 인식된 객체의 명칭을 식별하여 식재료의 명칭에 관련되는 제1 정보(예를 들면, 제1 텍스트)를 획득할 수 있다.
동작 ⑦에서, 서버(40)는 제1 텍스트와 서버(40)가 미디어 콘텐트로부터 인식한 요리 정보와 관련되는 제2 정보(예를 들면, 제2 텍스트)를 이용하여 요리 방송 콘텐트를 생성할 수 있다.
일 실시예에 따르면, 서버(40)는 서버(40)에 저장된 미디어 콘텐트에서 요리 정보를 텍스트 형태로 인식할 수 있다. 예를 들면, 서버(40)는 동영상 형태의 미디어 콘텐트에 포함된 각각의 이미지 프레임들에 텍스트 인식 방법(예를 들면, OCR(optical character reader) 기술)을 적용하여 텍스트를 인식할 수 있다. 구체적으로, 서버(40)는 미디어 콘텐트 중에서 요리 정보(예를 들면, 식재료 명칭 또는 조리법 등)와 관련되는 적어도 하나의 이미지 프레임을 결정하고, 이미지 프레임에 포함된 문자를 식별하여 요리 정보와 관련되는 제2 텍스트를 획득할 수 있다. 이 경우, 제2 텍스트는 서버(40)가 저장하고 있는 미디어 콘텐트의 개수에 따라 복수 개가 생성될 수 있다.
일 실시예에 따르면, 서버(40)는 식재료의 명칭이 포함된 제1 텍스트와 요리 정보와 관련되는 제2 텍스트를 이용하여 요리 방송 콘텐트 중에서 디스플레이 장치(10)로 전송할 요리 방송 콘텐트를 획득할 수 있다.
예를 들어, 서버(40)는 복수 개의 제2 텍스트들 중에서 제1 텍스트에 포함된 식재료의 명칭과 동일 또는 유사한 명칭을 포함하고 있는 제2 텍스트를 식별할 수 있다. 서버(40)는 식별된 적어도 하나 이상의 제2 텍스트에 대응하는 미디어 콘텐트를 이용하여 요리 방송 콘텐트를 획득(또는, 추가)할 수 있다.
다양한 실시예에 따르면, 서버(40)는 제1 텍스트에 포함된 식재료와 동일 유사한 식재료를 가지고 있는 제3 자가 시청한 미디어 콘텐트를 획득할 수 있다. 서버(40)는 획득한 미디어 콘텐트에 대응하는 제2 텍스트들 중에서 제1 텍스트에 포함된 식재료의 명칭과 동일 또는 유사한 명칭을 포함하고 있는 제2 텍스트를 식별할 수 있다. 서버(40)는 식별된 적어도 하나 이상의 제2 텍스트에 대응하는 미디어 콘텐트를 요리 방송 콘텐트로 획득할 수 있다.
다양한 실시예에 따르면, 서버(40)는 일정 기간(예를 들면, 최근 3개월, 6개월, 또는 1년)동안 가장 많이 재생된 미디어 콘텐트를 획득할 수 있다. 서버(40)는 획득한 미디어 콘텐트에 대응하는 제2 텍스트들 중에서 제2 텍스트에 포함된 식재료의 명칭과 동일 또는 유사한 명칭을 포함하고 있는 제2 텍스트를 식별할 수 있다. 서버(40)는 식별된 적어도 하나 이상의 제2 텍스트에 대응하는 미디어 콘텐트를 요리 방송 콘텐트로 획득할 수 있다.
동작 ⑧에서, 디스플레이 장치(10)는 서버(40)가 획득한 요리 정보와 관련되는 제2 텍스트 및 서버(40)가 획득한 요리 방송 콘텐트 목록 중 적어도 하나를 홈 게이트웨이(30)를 통해 수신할 수 있다.
동작 ⑨에서, 디스플레이 장치(10)는 수신된 요리 방송 콘텐트와 식재료를 포함하는 이미지를 함께 표시할 수 있다.
일 실시예에 따르면, 디스플레이 장치(10)는 디스플레이를 2개로 분할하여 제1 영역에는 식재료를 포함하는 이미지(110)를 표시하고, 제2 영역에는 요리 방송 콘텐트(120)를 표시할 수 있다. 그러나 디스플레이 장치(10)가 요리 방송 콘텐트(120)와 식재료를 포함하는 이미지(110)를 표시하는 방법은 이에 한정되지는 않는다.
도 9는 일 실시예에 따른 서버의 대략적인 블록도이다.
도 9를 참조하면, 서버(40)는 프로세서(910), 통신부(920), 및 메모리(930)를 포함할 수 있다. 그러나 이에 한정되는 것은 아니다. 예를 들면, 서버(40)는 구성 요소를 더 포함하거나, 또는 일부 구성 요소를 포함하지 않을 수 있다.
일 실시예에 따르면, 프로세서(910)는 서버(40)의 전반적인 동작을 제어할 수 있다. 예를 들어, 프로세서(910)는 통신부(920)를 통해 사용자의 입력을 수신할 수 있다. 프로세서(910)는 메모리(930)를 제어하여 저장된 프로그램을 실행시키고, 필요한 정보를 불러오거나 저장할 수 있다.
일 실시 예 따르면, 프로세서(910)는 통신부(920)를 통해 냉장고(20)와 관련되는 정보를 요청하는 입력을 수신하면, 냉장고(20)에 포함된 카메라를 이용하여 획득된, 이미지의 전송을 요청하는 요청 명령이 냉장고(20)로 전송되도록 통신부(920)를 제어할 수 있다.
일 실시예에 따르면, 요청 명령에 대응하여, 냉장고(20)로부터 적어도 하나의 이미지를 프로세서(910)는 통신부(920)를 통해 수신하여, 적어도 하나의 이미지에 포함된 식재료를 인식하여 식재료의 명칭에 관련되는 제1 텍스트를 획득할 수 있다.
* 일 실시예에 따르면, 프로세서(910)는 제1 텍스트와 미디어 콘텐트로부터 인식한 요리 정보와 관련되는 제2 텍스트를 이용하여 요리 방송 콘텐트를 획득하고, 통신부(920)를 제어하여 요리 방송 콘텐트와 식재료를 포함하는 이미지를 외부 장치로 전송할 수 있다.
일 실시예에 따르면, 통신부(920)는 프로세서(910)의 제어에 의해 서버(40)를 외부 장치와 연결할 수 있다. 통신부(920)는 서버(40)의 성능 및 구조에 대응하여 무선 랜, 블루투스, 및 유선 이더넷(Ethernet) 등 다양한 유선 또는 무선 통신 방법을 구현하는 구성 요소들 중 하나를 포함할 수 있다.
일 실시예에 따르면, 메모리(930)는 프로세서가(910) 통신부(920)를 통해 냉장고와 관련되는 정보를 요청하는 입력을 수신하면, 냉장고(20) 내부에 위치한 카메라를 이용하여 획득된, 이미지의 전송을 요청하는 요청 명령이 냉장고(20)로 전송되도록 통신부(920)를 제어하고, 요청 명령에 대응하여 냉장고(20)로부터 적어도 하나의 이미지를 통신부(920)를 통해 수신하여 적어도 하나의 이미지에 포함된 식재료를 인식하여 식재료의 명칭에 관련되는 제1 텍스트를 획득하고, 제1 텍스트와 미디어 콘텐트로부터 인식한 요리 정보와 관련되는 제2 텍스트를 이용하여 요리 방송 콘텐트를 획득하고, 통신부(920)를 제어하여, 요리 방송 콘텐트와 이미지를 외부 장치로 전송하도록 설정된 명령어들을 저장할 수 있다.
도 10은 일 실시예에 따른 콘텐트 추천 시스템에서 디스플레이 장치에 입력되는 사용자의 명령을 이용하여 기능을 실행하는 상황을 설명하는 흐름도이다.
동작 1010에서, 디스플레이 장치(10)는 냉장고와 관련되는 정보를 요청하는 입력을 수신할 수 있다.
동작 1020에서, 디스플레이 장치(10)는 냉장고 내부에 위치한 카메라를 이용하여 획득된 이미지의 전송을 냉장고에 요청할 수 있다.
동작 1030에서, 디스플레이 장치(10)는 적어도 하나의 이미지를 수신할 수 있다.
동작 1040에서, 디스플레이 장치(10)는 식재료의 명칭에 관련되는 제1 텍스트를 획득할 수 있다. 예를 들면, 디스플레이 장치(10)는 적어도 하나의 이미지에 포함된 식재료를 식별하여 제1 텍스트를 획득할 수 있다.
동작 1050에서, 디스플레이 장치(10)는 제1 텍스트를 서버(40)로 전송할 수 있다.
동작 1060에서, 서버(40)는 제1 텍스트와 미디어 콘텐트로부터 획득한 요리 정보와 관련되는 제2 텍스트를 이용하여 요리 방송 콘텐트를 획득할 수 있다.
동작 1070에서, 서버(40)는 요리 방송 콘텐트를 디스플레이 장치(10)로 전송할 수 있다.
동작 1080에서, 디스플레이 장치(10)는 요리 방송 콘텐트와 식재료 이미지를 표시할 수 있다.
도 11은 일 실시예에 따른 콘텐트 추천 시스템에서 냉장고에 입력되는 사용자의 명령을 이용하여 기능을 실행하는 상황을 설명하는 흐름도이다.
동작 1110에서. 냉장고(20)는 냉장고와 관련되는 정보를 요청하는 입력을 수신할 수 있다.
동작 1120에서. 냉장고(20)는 냉장고에 포함된 카메라를 이용하여 적어도 하나의 이미지를 획득할 수 있다.
동작 1130을 참조하면, 냉장고(20)는 식재료의 명칭에 관련되는 제1 텍스트를 획득할 수 있다. 예를 들면, 냉장고(20)는 적어도 하나의 이미지에 포함된 식재료를 식별하여 제1 텍스트를 획득할 수 있다.
동작 1140을 참조하면, 냉장고(20)는 제1 텍스트를 서버(40)로 전송할 수 있다.
동작 1150을 참조하면, 서버(40)는 제1 텍스트와 미디어 콘텐트로부터 획득한 요리 정보와 관련되는 제2 텍스트를 이용하여 요리 방송 콘텐트를 획득할 수 있다.
동작 1160에서, 서버(40)는 요리 방송 콘텐트를 냉장고(20)로 전송할 수 있다.
동작 1170에서. 냉장고(20)는 요리 방송 콘텐트와 식재료 이미지를 하나의 콘텐트로 생성하고 외부 장치(예를 들면, 디스플레이 장치)로 전송할 수 있다. 그러나 이에 한정되지는 않는다. 예를 들면, 냉장고(20)는 요리 방송 콘텐트와 식재료 이미지를 각각 외부 장치로 전송할 수 있다.
도 12는 일 실시예에 따른 콘텐트 추천 시스템에서 서버에 입력되는 사용자의 명령을 이용하여 기능을 실행하는 상황을 설명하는 흐름도이다.
동작 1210에서, 서버(40)는 냉장고와 관련되는 정보를 요청하는 입력을 수신할 수 있다.
동작 1220에서, 서버(40)는 냉장고에 포함된 카메라를 이용하여 획득된 이미지의 전송을 냉장고에 요청할 수 있다.
동작 1230에서, 서버(40)는 적어도 하나의 이미지를 수신할 수 있다.
동작 1240에서, 서버(40)는 식재료의 명칭에 관련되는 제1 텍스트를 획득할 수 있다. 예를 들면, 서버(40)는 적어도 하나의 이미지에 포함된 식재료를 식별하여 제1 텍스트를 획득할 수 있다.
동작 1250에서, 서버(40)는 제1 텍스트와 미디어 콘텐트로부터 획득한 요리 정보와 관련되는 제2 텍스트를 이용하여 요리 방송 콘텐트를 획득할 수 있다.
동작 1260에서, 서버(40)는 요리 방송 콘텐트와 식재료 이미지를 하나의 콘텐트로 생성하고 외부 장치로 전송할 수 있다. 그러나 이에 한정되지는 않는다. 예를 들면, 서버(40)는 요리 방송 콘텐트와 식재료 이미지를 각각 외부 장치로 전송할 수 있다.
도 13은 일 실시예에 따른 프로세서의 블록도이다.
도 13을 참조하면, 다양한 실시예에 따른 프로세서(1310)는 데이터 학습부(1320) 및 데이터 인식부(1330)를 포함할 수 있다. 프로세서(1310)는 도 2의 프로세서(210), 도 7의 프로세서(710), 및 9의 프로세서(910)를 포함할 수 있다.
데이터 학습부(1320)는 데이터 인식 모델이 요리 방송 콘텐트를 추정하는 기준을 갖도록 학습할 수 있다. 데이터 학습부(1320)는 데이터 인식 모델이 요리 방송 콘텐트를 추정하기 위해 어떤 학습용 데이터를 이용할지, 학습용 데이터를 이용하여 요리 방송 콘텐트를 어떻게 추정할 지에 관한 기준을 갖도록 학습할 수 있다.
일 실시예에 따르면, 데이터 학습부(1320)는 학습용 데이터로서, 식재료 정보(예를 들면, 식재료의 명칭, 식재료의 이미지 등), 상기 식재료 정보와 관련되는 요리 방송 콘텐트를 이용하여 데이터 인식 모델을 학습시킬 수 있다.
예를 들어, 학습용 데이터는 밀가루 이미지, 딸기 이미지와, 요리법에 밀가루, 딸기를 포함하는 요리 방송 콘텐트일 수 있다.
다양한 실시예에 따르면, 학습용 데이터는 고기 이미지, 김치 이미지와, 요리법에 고기, 김치를 포함하는 요리 방송 콘텐트일 수 있다.
이와 같이, 데이터 학습부(1320)는 다양한 식재료 정보 및 상기 식재료 정보와 관련되는 요리법을 포함하는 요리 방송 콘텐트를 학습용 데이터로 이용하여 데이터 인식 모델을 학습시킬 수 있다.
데이터 인식부(1330)는 다양한 종류의 인식용 데이터에 기초하여, 요리 방송 콘텐트를 추정할 수 있다. 데이터 인식부(1330)는 학습된 데이터 인식 모델을 이용하여 입력된 식재료 정보(예를 들면, 식재료의 명칭, 식재료의 이미지 등)에 기초하여, 요리 방송 콘텐트를 추정할 수 있다.
일 실시예에 따르면, 데이터 인식부(1330)는 입력된 식재료 정보를 데이터 인식 모델의 입력 값으로 하여 요리 방송 콘텐트를 추정한 결과와 추정 결과에 대한 사용자의 응답을 데이터 인식 모델을 갱신하는데 이용할 수 있다.
예를 들어, 밀가루, 계란, 고구마를 포함하는 식재료의 명칭을 포함하는 텍스트가 입력되는 경우, 데이터 인식부(1330)는 조리법에 밀가루, 계란, 고구마를 포함하는 요리 방송 콘텐트를 획득할 수 있다.
데이터 인식 모델은, 인식 모델의 적용 분야, 학습의 목적 또는 장치의 컴퓨터 성능 등을 고려하여 구축될 수 있다. 데이터 인식 모델은, 예를 들어, 신경망(Neural Network)을 기반으로 하는 모델일 수 있다. 데이터 인식 모델은 인간의 뇌 구조를 컴퓨터상에서 모의하도록 설계될 수 있다. 데이터 인식 모델은 인간의 신경망의 뉴런(neuron)을 모의하는, 가중치를 가지는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워크 노드들은 시냅스(synapse)를 통하여 신호를 주고받는 뉴런의 시냅틱(synaptic) 활동을 모의하도록 각각 연결 관계를 형성할 수 있다. 데이터 인식 모델은, 일 예로, 신경망 모델, 또는 신경망 모델에서 발전한 딥러닝 모델을 포함할 수 있다. 딥러닝 모델에서 복수의 네트워크 노드들은 서로 다른 깊이(또는, 레이어)에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고받을 수 있다. 예컨대, DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network)과 같은 데이터 인식 모델이 사용될 수 있으나, 이에 한정되지 않는다.
데이터 학습부(1320) 및 데이터 인식부(1330) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 학습부(1320) 및 데이터 인식부(1330) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치에 탑재될 수도 있다.
일 실시예에 따르면, 인공 지능을 위한 전용 하드웨어 칩은 확률 연산에 특화된 전용 프로세서로서, 기존의 범용 프로세서보다 병렬처리 성능이 높아 기계 학습과 같은 인공 지능 분야의 연산 작업을 빠르게 처리할 수 있다.
데이터 학습부(1320) 및 데이터 인식부(1330)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 학습부(1320) 및 데이터 인식부(1330) 중 하나는 디스플레이 장치(10), 또는 냉장고(20)에 포함되고, 나머지 하나는 서버(40)에 포함될 수 있다. 또한, 데이터 학습부(1320) 및 데이터 인식부(1330)는 유선 또는 무선으로 통하여, 데이터 학습부(1320)가 구축한 모델 정보를 데이터 인식부(1330)로 제공할 수도 있고, 데이터 인식부(1330)로 입력된 데이터가 추가 학습 데이터로서 데이터 학습부(1320)로 제공될 수도 있다.
한편, 데이터 학습부(1320) 및 데이터 인식부(1330) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 학습부(1320) 및 데이터 인식부(1330) 중 적어도 하나가 소프트웨어 모듈(또는, 인스터력션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비 일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
도 14는 다른 실시예에 따른 디스플레이 장치의 구성을 나타내는 블록도이다.
도 14에 도시된 바와 같이, 디스플레이 장치(10)는, 프로세서(210), 디스플레이(230), 통신부(220), 입력부(250) 및 메모리(240) 이외에 튜너부(1410), 감지부(1420), 입출력부(1430), 비디오 처리부(1440), 오디오 처리부(1450), 및 오디오 출력부(1460)를 더 포함할 수 있다. 프로세서(210), 디스플레이(230), 통신부(220), 입력부(250) 및 메모리(240)에 대하여, 도 2에서 설명한 내용과 동일한 내용은 도 14에서 생략하기로 한다.
튜너부(1410)는 유선 또는 무선으로 수신되는 방송 신호를 증폭(amplification), 혼합(mixing), 공진(resonance)등을 통하여 많은 전파 성분 중에서 디스플레이 장치(10)에서 수신하고자 하는 채널의 주파수만을 튜닝(tuning)시켜 선택할 수 있다. 방송 신호는 오디오(audio), 비디오(video) 및 부가 정보(예를 들어, EPG(Electronic Program Guide))를 포함한다.
튜너부(1410)는 사용자 입력에 따라 채널 번호에 대응되는 주파수 대역에서 방송 신호를 수신할 수 있다.
튜너부(1410)는 지상파 방송, 케이블 방송, 위성 방송, 인터넷 방송 등과 같이 다양한 소스로부터 방송 신호를 수신할 수 있다. 튜너부(1410)는 아날로그 방송 또는 디지털 방송 등과 같은 소스로부터 방송 신호를 수신할 수도 있다. 튜너부(1410)를 통해 수신된 방송 신호는 디코딩(decoding, 예를 들어, 오디오 디코딩, 비디오 디코딩 또는 부가 정보 디코딩)되어 오디오, 비디오 및/또는 부가 정보로 분리된다. 분리된 오디오, 비디오 및/또는 부가 정보는 프로세서(210)의 제어에 의해 메모리(240)에 저장될 수 있다.
디스플레이 장치(10)의 튜너부(1410)는 하나이거나 복수일 수 있다. 튜너부(1410)는 디스플레이 장치(10)와 일체형(all-in-one)으로 구현되거나 또는 디스플레이 장치(10)와 전기적으로 연결되는 튜너부를 가지는 별개의 장치(예를 들어, 셋탑박스(set-top box, 도시되지 아니함), 입출력부(1430)에 연결되는 튜너부(도시되지 아니함))로 구현될 수 있다.
통신부(220)는 프로세서(210)의 제어에 의해 디스플레이 장치(10)를 외부 장치(예를 들어, 오디오 장치 등)와 연결할 수 있다. 프로세서(210)는 통신부(220)를 통해 연결된 외부 장치로 콘텐트를 송/수신, 외부 장치에서부터 어플리케이션(application)을 다운로드 하거나 또는 웹 브라우징을 할 수 있다. 통신부(220)는 디스플레이 장치(10)의 성능 및 구조에 대응하여 무선 랜, 블루투스, 및 유선 이더넷(Ethernet) 중 하나를 포함할 수 있다.
또한, 통신부(220)는 무선랜, 블루투스, 및 유선 이더넷(Ethernet)의 조합을 포함할 수 있다. 통신부(220)는 프로세서(210)의 제어에 의해 제어 장치(예를 들면, 리모컨, 스마트폰)의 제어 신호를 수신할 수 있다. 제어 신호는 블루투스 타입, RF 신호 타입 또는 와이파이 타입으로 구현될 수 있다. 통신부(220)는 블루투스 외에 다른 근거리 통신(예를 들어, NFC(near field communication, 도시되지 아니함), BLE(bluetooth low energy, 도시되지 아니함)를 더 포함할 수 있다.
감지부(1420)는 사용자의 음성, 사용자의 영상, 또는 사용자의 인터랙션을 감지하며, 마이크, 카메라부, 및 광 수신부를 포함할 수 있다.
마이크는 사용자의 발화(utterance)된 음성을 수신한다. 마이크는 수신된 음성을 전기 신호로 변환하여 프로세서(210)로 출력할 수 있다. 사용자 음성은 예를 들어, 디스플레이 장치(10)의 메뉴 또는 기능에 대응되는 음성을 포함할 수 있다.
카메라부(미도시)는 카메라 인식 범위에서 제스처를 포함하는 사용자의 모션에 대응되는 영상(예를 들어, 연속되는 프레임)을 수신할 수 있다. 프로세서(210)는, 수신된 모션의 인식 결과를 이용하여, 디스플레이 장치(10)에 표시되는 메뉴를 선택하거나 모션 인식 결과에 대응되는 제어를 할 수 있다. 예를 들어, 채널 조정, 볼륨 조정, 지시자 이동, 커서 이동을 포함할 수 있다.
광 수신부(미도시)는, 외부의 제어 장치에서부터 수신되는 광 신호(제어 신호를 포함)를 디스플레이(230)의 베젤의 광창(도시되지 아니함) 등을 통해 수신한다. 광 수신부는 제어 장치로부터 사용자 입력(예를 들어, 터치, 눌림, 터치 제스처, 음성, 또는 모션)에 대응되는 광신호를 수신할 수 있다. 수신된 광신호로부터 프로세서(320)의 제어에 의해 제어 신호가 추출될 수 있다.
입출력부(1430)는 프로세서(210)의 제어에 의해 디스플레이 장치(10)의 외부에서부터 비디오(예를 들어, 동영상 등), 오디오(예를 들어, 음성, 음악 등) 및 부가 정보(예를 들어, EPG 등) 등을 수신한다. 입출력부(1430)는 HDMI 포트(High-Definition Multimedia Interface port), 컴포넌트 잭(component jack), PC 포트(PC port), 및 USB 포트(USB port) 중 하나를 포함할 수 있다. 입출력부(1430)는 HDMI 포트, 컴포넌트 잭, PC 포트, 및 USB 포트의 조합을 포함할 수 있다.
프로세서(210)는, 디스플레이 장치(10)의 전반적인 동작 및 디스플레이 장치(10)의 내부 구성 요소들 사이의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 프로세서(210)는 사용자의 입력이 있거나 기 설정되어 저장된 조건을 만족하는 경우, 메모리(240)에 저장된 OS(Operation System) 및 다양한 어플리케이션을 실행할 수 있다.
비디오 처리부(1440)는, 디스플레이(230)에 표시될 영상 데이터를 처리하며, 영상 데이터에 대한 디코딩, 렌더링, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 및 해상도 변환 등과 같은 다양한 영상 처리 동작을 수행할 수 있다.
디스플레이(230)는, 비디오 처리부(1440)에서 처리된 영상 데이터를 표시할 수 있다. 디스플레이(230)는 프로세서(210)의 제어에 의해 튜너부(1410)를 통해 수신된 방송 신호에 포함된 비디오를 표시할 수 있다. 또한, 디스플레이(230)는 통신부(220) 또는 입출력부(1430)를 통해 입력되는 콘텐트(예를 들어, 동영상)를 표시할 수 있다. 디스플레이(230)는 프로세서(210)의 제어에 의해 메모리(240)에 저장된 영상을 출력할 수 있다. 또한, 디스플레이(230)는 음성 인식에 대응되는 음성 인식 태스크를 수행하기 위한 음성 UI(User Interface: 예를 들어, 음성 명령어 가이드를 포함하는) 또는 모션 인식에 대응되는 모션 인식 태스크를 수행하기 위한 모션 UI(예를 들어, 모션 인식을 위한 사용자 모션 가이드를 포함)를 표시할 수 있다.
디스플레이(230)가 터치 스크린으로 구현되는 경우, 디스플레이(230)는 출력 장치 이외에 입력 장치로 사용될 수 있다. 디스플레이(230)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기 영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다.
또한, 디스플레이 장치(10)의 구현 형태에 따라, 디스플레이 장치(10)는 디스플레이(230)를 2개 이상 포함할 수 있다.
오디오 처리부(1450)는 오디오 데이터에 대한 처리를 수행한다. 오디오 처리부(1450)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다. 한편, 오디오 처리부(1450)는 복수의 콘텐트에 대응되는 오디오를 처리하기 위해 복수의 오디오 처리 모듈을 구비할 수 있다.
오디오 출력부(1460)는, 프로세서(210)의 제어에 의해 튜너부(1410)를 통해 수신된 방송 신호에 포함된 오디오를 출력한다. 오디오 출력부(1460)는 통신부(220) 또는 입출력부(1430)를 통해 입력되는 오디오(예를 들어, 음성, 사운드)를 출력할 수 있다. 또한, 오디오 출력부(1460)는 프로세서(210)의 제어에 의해 메모리(240)에 저장된 오디오를 출력할 수 있다. 오디오 출력부(1460)는 스피커(1461), 헤드폰 출력 단자(1462) 또는 S/PDIF(Sony/Philips Digital Interface) 출력 단자(1463) 중 적어도 하나를 포함할 수 있다. 오디오 출력부(1460)는 스피커(1461), 헤드폰 출력 단자(1462) 및 S/PDIF 출력 단자(1463)의 조합을 포함할 수 있다.
사용자 입력부(1470)는, 사용자가 디스플레이 장치(10)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 사용자 입력부(1470)는 도 2의 입력부(250)에 대응할 수 있다. 예를 들어, 사용자 입력부(1470)는 키 패드(key pad), 돔 스위치(dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
예를 들어, 사용자 입력은, 포커스의 위치를 이동시키는 입력 또는 현재 포커스가 위치하는 어플리케이션을 선택하는 입력 등을 포함할 수 있다. 사용자 입력부(1470)가 키 패드 또는 돔 스위치로 구성되는 경우, 포커스의 위치를 이동시키는 사용자 입력은 특정 방향에 대응되는 키를 클릭(click)하거나 누르는 입력일 수 있다. 또한, 사용자 입력부(1445)가 터치 패드로 구성되는 경우, 특정 방향에 대응하는 키를 터치하는 입력일 수 있으나, 전술한 예에 한정되지 않는다.
본 개시에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 개시의 다양한 실시 예들은 기기(machine)(예: 디스플레이 장치(10)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 메모리(240))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어로서 구현될 수 있다. 예를 들면, 기기(예: 디스플레이 장치(10))의 프로세서(예: 프로세서(210))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어™)를 통해 또는 두 개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시 예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시 예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (15)

  1. 디스플레이;
    통신부;
    프로세서; 및
    메모리; 를 포함하고,
    상기 메모리는, 상기 프로세서가,
    냉장고와 관련되는 정보를 요청하는 입력이 수신되면, 상기 냉장고에 포함된 카메라를 이용하여 획득(obtain)된 이미지의 전송을 요청하는 요청 명령이 상기 냉장고로 전송되도록 상기 통신부를 제어하고,
    상기 요청 명령에 대응하여, 상기 냉장고로부터 적어도 하나의 이미지를 상기 통신부를 통해 수신하고,
    상기 적어도 하나의 이미지에 포함된 식재료의 인식에 따른 상기 식재료의 명칭에 관련되는 제1 정보를 획득하고,
    상기 제1 정보를 서버로 전송하고, 상기 서버가 획득한 요리 방송 콘텐트를 수신하도록 상기 통신부를 제어하고,
    상기 디스플레이를 제어하여, 상기 요리 방송 콘텐트와 상기 이미지를 함께 표시하도록 설정된 명령어(instruction)들을 저장하고,
    상기 요리 방송 콘텐트는 상기 서버가 상기 제1 정보와 상기 서버에 기 저장된 미디어 콘텐트로부터 인식한 요리 정보와 관련되는 제2 정보를 이용하여 획득한 것인, 디스플레이 장치.
  2. 제1항에 있어서,
    상기 제1 정보는,
    상기 적어도 하나의 이미지에 포함된 식재료의 명칭에 관련되는 제1 텍스트이고,
    상기 요리 정보와 관련되는 제2 정보는,
    상기 서버에 기 저장된 미디어 콘텐트에 포함되는 이미지 프레임을 식별하여 요리 정보와 관련되는 적어도 하나의 이미지 프레임을 획득하고, 상기 적어도 하나의 이미지 프레임을 식별하여 획득한 제2 텍스트인, 디스플레이 장치.
  3. 제1항에 있어서,
    상기 요리 정보는,
    요리법 또는 식재료의 명칭 중 적어도 하나를 포함하는, 디스플레이 장치.
  4. 제1항에 있어서,
    상기 요리 방송 콘텐트는,
    상기 제1 정보에 포함된 상기 식재료의 명칭이 상기 제2 정보에 포함되는 경우에, 상기 제2 정보에 대응하는 미디어 콘텐트를 이용하여 획득되는, 디스플레이 장치.
  5. 제1항에 있어서,
    상기 요리 방송 콘텐트는,
    상기 서버에 기 저장된 미디어 콘텐트를 구성하는 복수 개의 이미지 프레임들 중에서 요리 정보와 관련되는 이미지 프레임을 이용하여 획득되는 비디오 클립을 포함하는, 디스플레이 장치.
  6. 제1항에 있어서,
    상기 메모리는, 상기 프로세서가,
    상기 디스플레이에 표시된 상기 요리 방송 콘텐트를 선택하는 사용자의 입력이 수신되면, 선택된 요리 방송 콘텐트를 재생하도록 설정된 명령어들을 저장하는, 디스플레이 장치.
  7. 제1항에 있어서,
    상기 메모리는, 상기 프로세서가,
    상기 선택된 요리 방송 콘텐트와 상기 제1 정보를 이용하여 구매가 필요한 식재료를 식별하도록 설정된 명령어들을 저장하는, 디스플레이 장치.
  8. 제7항에 있어서,
    상기 메모리는, 상기 프로세서가,
    식재료의 구매를 안내하는 사용자 인터페이스에 상기 구매가 필요한 식재료를 포함하여 표시하도록 설정된 명령어들을 저장하는, 디스플레이 장치.
  9. 카메라;
    통신부;
    프로세서; 및
    메모리; 를 포함하고,
    상기 메모리는, 상기 프로세서가,
    냉장고와 관련되는 정보를 요청하는 입력을 수신하면, 상기 카메라를 이용하여 적어도 하나의 이미지를 획득하고,
    상기 적어도 하나의 이미지에 포함된 식재료의 인식에 따른 상기 식재료 명칭에 관련되는 제1 정보를 획득하고,
    상기 제1 정보를 서버로 전송하고, 상기 서버가 획득한 요리 방송 콘텐트를 수신하도록 상기 통신부를 제어하고,
    상기 통신부를 제어하여, 상기 요리 방송 콘텐트와 상기 이미지를 외부 장치로 전송하도록 설정된 명령어들을 저장하고,
    상기 요리 방송 콘텐트는 상기 서버가 상기 제1 정보와 상기 서버에 기 저장된 미디어 콘텐트로부터 인식한 요리 정보와 관련되는 제2 정보를 이용하여 획득한 것인, 냉장고.
  10. 통신부;
    프로세서; 및
    메모리; 를 포함하고,
    상기 메모리는, 상기 프로세서가,
    상기 통신부를 통해, 냉장고와 관련되는 정보를 요청하는 입력이 수신되면, 상기 냉장고에 포함된 카메라를 이용하여 획득된 이미지의 전송을 요청하는 요청 명령이 상기 냉장고로 전송 되도록 상기 통신부를 제어하고,
    상기 요청 명령에 대응하여, 상기 냉장고로부터 적어도 하나의 이미지를 상기 통신부를 통해 수신하고,
    상기 적어도 하나의 이미지에 포함된 식재료를 인식하여 상기 식재료의 명칭에 관련되는 제1 정보를 획득하고,
    상기 제1 정보와 기 저장된 미디어 콘텐트로부터 인식한 요리 정보와 관련되는 제2 정보를 이용하여 요리 방송 콘텐트를 획득하고,
    상기 통신부를 제어하여, 상기 요리 방송 콘텐트와 상기 이미지를 외부 장치로 전송하도록 설정된 명령어들을 저장하는, 서버.
  11. 냉장고와 관련되는 정보를 요청하는 입력의 수신에 따라서, 상기 냉장고에 구비된 카메라를 이용하여 획득된 이미지의 전송을 요청하는 요청 명령을 상기 냉장고에게 전송하는 동작;
    상기 요청 명령에 대응하여, 상기 냉장고로부터 적어도 하나의 이미지를 수신하는 동작;
    상기 적어도 하나의 이미지에 포함된 식재료의 인식에 따른 상기 식재료의 명칭에 관련되는 제1 정보를 획득하는 동작;
    상기 제1 정보를 서버로 전송하고, 상기 서버가 획득한 요리 방송 콘텐트를 수신하는 동작; 및
    상기 요리 방송 콘텐트와 상기 이미지를 함께 표시하는 동작; 을 포함하고,
    상기 요리 방송 콘텐트는 상기 서버가 상기 제1 정보와 상기 서버에 기 저장된 미디어 콘텐트로부터 인식한 요리 정보와 관련되는 제2 정보를 이용하여 획득한 것인, 디스플레이 장치의 제어 방법.
  12. 제11항에 있어서,
    상기 제1 정보는,
    상기 적어도 하나의 이미지에 포함된 식재료의 명칭에 관련되는 제1 텍스트이고,
    상기 요리 정보와 관련되는 제2 정보는,
    상기 서버에 기 저장된 미디어 콘텐트에 포함되는 이미지 프레임을 식별하여 요리 정보와 관련되는 적어도 하나의 이미지 프레임을 획득하고, 상기 적어도 하나의 이미지 프레임을 식별하여 획득한 제2 텍스트인, 디스플레이 장치의 제어 방법.
  13. 제11항에 있어서,
    상기 요리 방송 콘텐트는,
    상기 제1 정보에 포함된 상기 식재료의 명칭이 상기 제2 정보에 포함되는 경우에, 상기 제2 정보에 대응하는 미디어 콘텐트를 이용하여 획득되는, 디스플레이 장치의 제어 방법.
  14. 제11항에 있어서,
    상기 요리 방송 콘텐트는,
    상기 서버에 기 저장된 미디어 콘텐트를 구성하는 복수 개의 이미지 프레임들 중에서 요리 정보와 관련되는 이미지 프레임을 이용하여 획득되는 비디오 클립을 포함하는, 디스플레이 장치의 제어 방법.
  15. 제11항에 있어서,
    상기 디스플레이 장치의 제어 방법은,
    상기 표시되는 요리 방송 콘텐트를 선택하는 사용자의 입력에 따라서, 선택된 요리 방송 콘텐트를 재생하는 동작; 을 포함하는, 디스플레이 장치의 제어 방법.
PCT/KR2019/000174 2018-04-17 2019-01-07 디스플레이 장치 및 디스플레이 장치의 제어 방법 WO2019203421A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP19788486.9A EP3739896A4 (en) 2018-04-17 2019-01-07 DISPLAY DEVICE AND DISPLAY DEVICE CONTROL PROCESS
US16/980,280 US11606619B2 (en) 2018-04-17 2019-01-07 Display device and display device control method
CN201980022877.1A CN111989930A (zh) 2018-04-17 2019-01-07 显示装置和显示装置的控制方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0044562 2018-04-17
KR1020180044562A KR102535152B1 (ko) 2018-04-17 2018-04-17 디스플레이 장치 및 디스플레이 장치의 제어 방법

Publications (1)

Publication Number Publication Date
WO2019203421A1 true WO2019203421A1 (ko) 2019-10-24

Family

ID=68239671

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/000174 WO2019203421A1 (ko) 2018-04-17 2019-01-07 디스플레이 장치 및 디스플레이 장치의 제어 방법

Country Status (5)

Country Link
US (1) US11606619B2 (ko)
EP (1) EP3739896A4 (ko)
KR (1) KR102535152B1 (ko)
CN (1) CN111989930A (ko)
WO (1) WO2019203421A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210020702A (ko) * 2019-08-16 2021-02-24 엘지전자 주식회사 인공지능 서버
KR102313279B1 (ko) * 2021-01-18 2021-10-14 김현환 식재료 기반 최적 레시피 제공 장치
CN113723498A (zh) * 2021-08-26 2021-11-30 广东美的厨房电器制造有限公司 食物熟度识别方法、装置、***、电器、服务器及介质
KR20240036413A (ko) * 2022-09-13 2024-03-20 삼성전자주식회사 서버 장치, 가전기기 관리 시스템 및 서버 장치의 제어방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200164614Y1 (ko) * 1999-07-28 2000-02-15 박지헌 가정용 컴퓨터와 통신하여 저장중인 음식 재료의 종류를 파악하여 조리 가능한 음식물 종류 및 조리 방법을 제공하는 기능을 가지며, 냉장고의 상태를 파악하고, 냉장고 저장물 및 생활용품 목록을 원거리에 위치한 사용자에게 전송할 수 있는기능을 가진 컴퓨터와 결합된 냉장고 시스템
JP2002156181A (ja) * 2000-11-16 2002-05-31 Yozan Inc 冷蔵庫
JP2011039846A (ja) * 2009-08-12 2011-02-24 Nec Corp コンテンツ一斉配信システム、コンテンツ選択装置、その選択方法、そのプログラム及びプログラム記録媒体
KR20140139736A (ko) * 2013-05-28 2014-12-08 삼성전자주식회사 냉장고 및 그 제어 방법
KR101754372B1 (ko) * 2016-05-26 2017-07-19 주식회사 원더풀플랫폼 식재료 관리 시스템 및 식재료 관리 방법

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004086684A (ja) 2002-08-28 2004-03-18 Nec Fielding Ltd お料理レシピ問い合わせシステム、お料理レシピ問い合わせ方法、及びお料理レシピ問い合わせ用プログラム
KR20090070075A (ko) 2007-12-26 2009-07-01 전자부품연구원 상황 맞춤형 요리추천 서비스 시스템 및 그 방법
US20170185596A1 (en) * 2012-07-16 2017-06-29 Gary Spirer Trigger-based content presentation
KR20140026917A (ko) 2012-08-24 2014-03-06 엘지전자 주식회사 조리법 추천 서비스 제공 장치 및 방법
KR102011836B1 (ko) 2013-01-17 2019-08-19 엘지전자 주식회사 식재료 안내 방법
JP6402353B2 (ja) 2013-03-29 2018-10-10 パナソニックＩｐマネジメント株式会社 冷蔵庫及び冷蔵庫システム
KR20150005131A (ko) * 2013-07-04 2015-01-14 엘지전자 주식회사 영상표시장치 및 영상표시장치 동작방법
EP3040773B1 (en) * 2013-08-28 2019-02-06 Toshiba Lifestyle Products & Services Corporation Camera device for refrigerator and refrigerator comprising same
CN104239433B (zh) * 2014-08-27 2017-12-01 百度在线网络技术（北京）有限公司 可联网冰箱及其信息推荐方法和***
WO2016205548A1 (en) * 2015-06-17 2016-12-22 Wal-Mart Stores, Inc. Systems and methods for selecting media for meal plans
JP6570898B2 (ja) 2015-06-30 2019-09-04 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 食材位置提示方法及び冷蔵庫
CN105091499B (zh) 2015-08-18 2017-06-16 小米科技有限责任公司 信息生成方法及装置
CN108463780A (zh) * 2015-11-16 2018-08-28 厨师步骤有限公司 数据整合和个性化远程控制的烹饪设备
CN106871567B (zh) * 2015-12-14 2020-06-26 北京奇虎科技有限公司 基于智能冰箱的食物推荐处理方法、装置及智能冰箱
CN106885441A (zh) 2015-12-16 2017-06-23 北京奇虎科技有限公司 食材智能管理方法、装置及***
KR20170076992A (ko) 2015-12-26 2017-07-05 삼성전자주식회사 냉장고
US20170284733A1 (en) 2016-03-29 2017-10-05 Teco Electric & Machinery Co., Ltd. Remote food management system
JP6696269B2 (ja) 2016-03-31 2020-05-20 京セラドキュメントソリューションズ株式会社 情報処理装置、情報処理方法
CN105930533B (zh) 2016-06-17 2019-03-08 腾讯科技（深圳）有限公司 多媒体节目展示方法及装置
KR20180005521A (ko) * 2016-07-06 2018-01-16 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR20180025754A (ko) * 2016-09-01 2018-03-09 삼성전자주식회사 디스플레이장치 및 그 제어방법
US11016634B2 (en) * 2016-09-01 2021-05-25 Samsung Electronics Co., Ltd. Refrigerator storage system having a display
US9965798B1 (en) * 2017-01-31 2018-05-08 Mikko Vaananen Self-shopping refrigerator
CN107477971B (zh) * 2017-08-04 2020-09-18 三星电子（中国）研发中心 一种对冰箱内食物的管理方法和设备
CN107610750A (zh) * 2017-08-30 2018-01-19 合肥美的智能科技有限公司 膳食健康信息管理的方法、***、冰箱

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200164614Y1 (ko) * 1999-07-28 2000-02-15 박지헌 가정용 컴퓨터와 통신하여 저장중인 음식 재료의 종류를 파악하여 조리 가능한 음식물 종류 및 조리 방법을 제공하는 기능을 가지며, 냉장고의 상태를 파악하고, 냉장고 저장물 및 생활용품 목록을 원거리에 위치한 사용자에게 전송할 수 있는기능을 가진 컴퓨터와 결합된 냉장고 시스템
JP2002156181A (ja) * 2000-11-16 2002-05-31 Yozan Inc 冷蔵庫
JP2011039846A (ja) * 2009-08-12 2011-02-24 Nec Corp コンテンツ一斉配信システム、コンテンツ選択装置、その選択方法、そのプログラム及びプログラム記録媒体
KR20140139736A (ko) * 2013-05-28 2014-12-08 삼성전자주식회사 냉장고 및 그 제어 방법
KR101754372B1 (ko) * 2016-05-26 2017-07-19 주식회사 원더풀플랫폼 식재료 관리 시스템 및 식재료 관리 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3739896A4 *

Also Published As

Publication number Publication date
US20210044871A1 (en) 2021-02-11
CN111989930A (zh) 2020-11-24
EP3739896A1 (en) 2020-11-18
KR20190121064A (ko) 2019-10-25
EP3739896A4 (en) 2021-03-24
US11606619B2 (en) 2023-03-14
KR102535152B1 (ko) 2023-05-22

Similar Documents

Publication Publication Date Title
WO2021071115A1 (en) Electronic device for processing user utterance and method of operating same
WO2019203421A1 (ko) 디스플레이 장치 및 디스플레이 장치의 제어 방법
WO2020246844A1 (en) Device control method, conflict processing method, corresponding apparatus and electronic device
EP3676830A1 (en) Method of providing service based on location of sound source and speech recognition device therefor
WO2016018004A1 (en) Method, apparatus, and system for providing translated content
WO2018117685A1 (en) System and method of providing to-do list of user
WO2016108660A1 (en) Method and device for controlling home device
WO2019225961A1 (en) Electronic device for outputting response to speech input by using application and operation method thereof
EP3552163A1 (en) System and method of providing to-do list of user
WO2019135621A1 (ko) 영상 재생 장치 및 그의 제어 방법
WO2020209693A1 (ko) 인공지능 모델을 갱신하는 전자 장치, 서버 및 그 동작 방법
WO2020218686A1 (en) Display device and controlling method of display device
WO2016013705A1 (ko) 원격제어장치 및 그의 동작 방법
EP3997695A1 (en) Apparatus and method for providing voice assistant service
WO2019041851A1 (zh) 家电售后咨询方法、电子设备和计算机可读存储介质
WO2019146844A1 (en) Display apparatus and method for displaying screen of display apparatus
WO2022025423A1 (en) Video quality assessing method and apparatus
EP4088452A1 (en) Video quality assessment method and apparatus
WO2020017827A1 (ko) 전자 장치, 및 전자 장치의 제어 방법
WO2019091128A1 (zh) 新接入信源的信号预览方法及电视机
WO2022050785A1 (ko) 디스플레이 기기 및 그의 동작 방법
WO2021137629A1 (en) Display device, mobile device, video calling method performed by the display device, and video calling method performed by the mobile device
WO2019059579A1 (en) DEVICE AND METHOD FOR PROVIDING AN ANSWER TO A DEVICE USE INTERROGATION
WO2018097504A2 (en) Electronic device and method for updating channel map thereof
WO2020045858A1 (en) Electronic apparatus and method of controlling the same

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19788486

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019788486

Country of ref document: EP

Effective date: 20200810

NENP Non-entry into the national phase

Ref country code: DE