JP6771563B2 - シミュレーションシステム、シミュレーション方法及び冷蔵庫 - Google Patents

Description

本発明は、シミュレーションシステム、シミュレーション方法及び冷蔵庫に関し、特に、冷蔵庫に収納予定物を収納することができるか否かを判断するためのシミュレーションシステム、シミュレーション方法、及び、このシミュレーションシステムにより収納予定物を収納することができるか否かを判断する対象となる冷蔵庫に関する。

従来より、冷蔵庫内の収納状況を確認するために、庫内を撮像するカメラを冷蔵庫内に設置する技術が提案されている。
例えば、特許文献１及び特許文献２では、冷蔵庫内にカメラを設置し、このカメラで撮像された庫内の収納状況を携帯電話等の表示端末により確認できるシステムが提案されている。

また、特許文献３では、収納されていない状況の庫内映像と、収納物が収納されている使用中の庫内映像とを比較して、収納状況を把握し、空きスペースを演算するシステムが提案されている。

特開２００２−２３６７９８号公報 特開２００２−８１８１８号公報 特開２０１４−２０９０４８号公報

特許文献１又は特許文献２に記載されているような従来のシステムは、収納室内を撮像して収納状況を表示端末等で確認することができるようにしているが、新たに収納したい収納予定物が収納できるかどうかを、容易に判断することは困難であった。
さらに、特許文献３に記載されているシステムのように、空きスペースが明示的に表示されたとしても、空きスペースの寸法と収納予定物の寸法とを比較することができないため、収納できるかどうかを容易に判断することは困難であった。

そのため、空きスペース以上の収納予定物（食材等）を購入してしまい、冷蔵庫からあふれて収納できないという事態を引き起こしたり、収納予定物が冷蔵庫に収納しきれないことをおそれて、購入したいものを購入できなかったり、という事態が引き起こされていた。

そこで、本発明は、収納予定物を収納することができるか否かを容易に判定することができるようにすることを目的とする。

本発明の一態様に係るシミュレーションシステムは、冷蔵庫内に収納予定物を収納することができるか否かを判断するためのシミュレーションシステムであって、前記冷蔵庫内の画像を撮像画像として撮像する撮像部と、前記冷蔵庫内の予め定められた部分の寸法を示す寸法情報を含む冷蔵庫構造情報を記憶する冷蔵庫構造情報記憶部と、画像を表示する表示部と、複数の商品から所望する商品を選択するための商品選択画像を前記表示部に表示させる商品選択画像提供部と、前記表示部に表示された前記商品選択画像を介して、選択された商品を前記収納予定物とする収納予定物指定部と、前記収納予定物の前記撮像画像内における寸法に基づき前記収納予定物の第１の外形画像を生成し、当該第１の外形画像を前記撮像画像に合成することで第１のシミュレーション画像を生成するシミュレーション画像生成部と、前記選択された商品の外形及び寸法を示す形状情報を前記シミュレーション画像生成部に提供する商品形状情報提供部と、前記撮像画像内における前記予め定められた部分の寸法と、前記寸法情報で示される前記予め定められた部分の寸法と、前記形状情報で示される外径及び寸法とを比較することで、前記収納予定物の前記撮像画像内における寸法を算出し、前記収納予定物を収納することができるか否かを判定する収納可否判定部と、を備え、前記シミュレーション画像生成部は、前記形状情報に基づいて、前記第１の外形画像を生成し、前記表示部は、前記第１のシミュレーション画像を表示することを特徴とする。

本発明の一態様に係るシミュレーション方法は、冷蔵庫内に収納予定物を収納することができるか否かを判断するためのシミュレーション方法であって、前記冷蔵庫内の画像を撮像画像として撮像し、前記冷蔵庫内の予め定められた部分の寸法と、前記撮像画像内における前記予め定められた部分の寸法と、前記収納予定物の外形及び寸法とを比較することで、前記収納予定物の前記撮像画像内における寸法を算出し、前記算出された寸法で前記収納予定物の第１の外形画像を生成し、前記第１の外形画像を前記撮像画像に合成することで第１のシミュレーション画像を生成し、前記収納予定物を収納することができるか否かを判定することを特徴とする。

本発明の第１の態様に係る冷蔵庫は、庫内の画像を撮像画像として撮像する撮像部と、外部ネットワークと接続され、前記庫内に収納する収納予定物の形状を示す形状情報を受信する通信部と、前記庫内の予め定められた部分の寸法を示す寸法情報を含む冷蔵庫構造情報を記憶する冷蔵庫構造情報記憶部と、前記撮像画像内における前記予め定められた部分の寸法と、前記寸法情報で示される前記予め定められた部分の寸法とを比較することで、前記形状情報に基づいて、前記収納予定物の前記撮像画像内における寸法を算出し、前記収納予定物を収納することができるか否かを判定する収納可否判定部と、を備えることを特徴とする。

本発明の第２の態様に係る冷蔵庫は、庫内の画像を撮像画像として撮像する撮像部と、外部ネットワークと接続され、前記庫内に収納する収納予定物の形状を示す形状情報と前記庫内の予め定められた部分の寸法を示す寸法情報を含む冷蔵庫構造情報とを受信する通信部と、前記撮像画像内における前記予め定められた部分の寸法と、前記寸法情報で示される前記予め定められた部分の寸法とを比較することで、前記形状情報に基づいて、前記収納予定物の前記撮像画像内における寸法を算出し、前記収納予定物を収納することができるか否かを判定する収納可否判定部と、を備えることを特徴とする。

本発明の一態様によれば、収納予定物を収納することができるか否かを容易に判定することができる。

収納状況シミュレーションシステムの構成を概略的に示すブロック図である。 （Ａ）及び（Ｂ）は、ハードウェア構成の一例を示すブロック図である。 収納状況シミュレーションシステムでの処理を示すフローチャートである。 商品選択画像の一例を示す概略図である。 収納室の撮像画像の一例を示す概略図である。 （Ａ）〜（Ｄ）は、購入希望商品の斜視画像の一例を示す概略図である。 シミュレーション画像の第１の例を示す概略図である。 シミュレーション画像の第２の例を示す概略図である。 シミュレーション画像の第３の例を示す概略図である。 シミュレーション画像の第４の例を示す概略図である。 シミュレーション画像の第５の例を示す概略図である。 シミュレーション画像の第６の例を示す概略図である。 シミュレーション画像の第７の例を示す概略図である。 シミュレーション画像の第８の例を示す概略図である。 第１の変形例における収納状況シミュレーションシステムの構成を概略的に示すブロック図である。 第２の変形例における収納状況シミュレーションシステムの構成を概略的に示す別のブロック図である。 第３の変形例における収納状況シミュレーションシステムの構成を概略的に示す別のブロック図である。

図１は、実施の形態に係る収納状況シミュレーションシステム１００の構成を概略的に示すブロック図である。
収納状況シミュレーションシステム１００は、収納予定物を冷蔵庫に収納することができるか否かを判断するためのシミュレーションシステムである。なお、収納状況シミュレーションシステム１００で行われる方法が、シミュレーション方法である。

収納状況シミュレーションシステム１００は、冷蔵庫１１０と、操作端末１２０と、商店サーバ１３０と、クラウドサーバ１４０とを備える。
冷蔵庫１１０は、物を収納して、収納された物を冷やす。ここでは、使用者は、収納予定物である購入希望商品を冷蔵庫１１０に収納しようとしているものとする。
操作端末１２０は、使用者が操作する端末である。
商店サーバ１３０は、使用者が商品を購入する商店の物品情報サーバである。
クラウドサーバ１４０は、収納状況シミュレーションのサービスを提供するシミュレーションサーバである。
冷蔵庫１１０、操作端末１２０、商店サーバ１３０及びクラウドサーバ１４０は、インターネット等の通信回線１５０に接続されており、通信を行うことができる。通信回線１５０は、外部ネットワークである。

収納状況シミュレーションシステム１００は、冷蔵庫１１０、操作端末１２０、商店サーバ１３０及びクラウドサーバ１４０を含んでいるが、収納状況シミュレーションシステム１００の構成は、このような例に限定されるものではない。例えば、冷蔵庫１１０が、クラウドサーバ１４０の機能を含んでいてもよい。また、商店サーバ１３０が、クラウドサーバ１４０の機能を含んでいてもよい。さらに、冷蔵庫１１０が、操作端末１２０の機能を含んでいてもよい。

冷蔵庫１１０は、撮像部１１１と、冷蔵庫型番情報提供部１１２と、通信部１１３とを備える。
撮像部１１１は、冷蔵庫１１０の収納室内の画像を撮像画像として撮像する。例えば、撮像部１１１は、カメラにより構成することができる。そして、撮像部１１１は、撮像された画像である撮像画像を、通信部１１３を介して、クラウドサーバ１４０に提供する。

冷蔵庫型番情報提供部１１２は、冷蔵庫１１０を識別するための冷蔵庫識別情報である型番情報を、通信部１１３を介して、クラウドサーバ１４０に提供する。型番情報は、冷蔵庫１１０の型番を示す情報であり、冷蔵庫１１０の形状を特定するために使用される。従って、冷蔵庫識別情報は、冷蔵庫１１０の形状が一意に特定できる情報であれば、型番情報以外の情報であってもよい。なお、冷蔵庫型番情報提供部１１２は、型番情報を記憶する型番情報記憶部１１２ａを備えるものとする。型番情報記憶部１１２ａは、例えば、不揮発性メモリにより構成することができる。
通信部１１３は、通信回線１５０を介して、通信を行う。例えば、通信部１１３は、ＮＩＣ（Ｎｅｔｏｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）により構成することができる。

以上に記載された冷蔵庫型番情報提供部１１２の一部又は全部は、例えば、図２（Ａ）に示されているように、メモリ１０と、メモリ１０に格納されているプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサ１１とにより構成することができる。このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて提供されてもよい。

また、冷蔵庫型番情報提供部１１２の一部又は全部は、例えば、図２（Ｂ）に示されているように、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）又はＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の処理回路１２で構成することもできる。

図１に戻り、操作端末１２０は、表示部１２１と、入力部１２２と、購入希望商品指定部１２３と、収納姿勢選択部１２４と、収納サイド変更部１２５と、収納位置指定部１２６と、通信部１２７とを備える。
表示部１２１は、収納状況シミュレーションシステム１００に関する様々な画像を表示する。
入力部１２２は、使用者からの指示の入力を受け付ける。
表示部１２１及び入力部１２２は、例えば、タッチパネルにより構成することができる。

購入希望商品指定部１２３は、表示部１２１に表示された商品選択画像に基づいて、入力部１２２を介して使用者が購入を希望する商品の指定を受ける。ここで指定された商品が、冷蔵庫１１０に収納する収納予定物となるため、購入希望商品指定部１２３は、商品選択画像を介して、選択された商品を収納予定物とする収納予定物指定部として機能する。購入希望商品指定部１２３は、指定された購入希望商品を、通信部１２７を介して、商店サーバに通知する。
収納姿勢選択部１２４は、表示部１２１に表示されたシミュレーション画像に基づいて、入力部１２２を介して、使用者が購入希望商品を冷蔵庫１１０内に収納する予定の姿勢を選択する。収納姿勢選択部１２４は、選択された収納姿勢を、通信部１２７を介して、クラウドサーバ１４０に通知する。

収納サイド変更部１２５は、表示部１２１に表示されたシミュレーション画像に基づいて、入力部１２２を介して、使用者が購入希望商品を冷蔵庫１１０内に収納する予定のサイドを変更する。例えば、使用者は、購入希望商品を冷蔵庫１１０の向かって右サイドに収納するのか、向かって左サイドに収納するのかを変更することができる。収納サイド変更部１２５は、変更されたサイドを、通信部１２７を介して、クラウドサーバ１４０に通知する。
収納位置指定部１２６は、表示部１２１に表示されたシミュレーション画像に基づいて、入力部１２２を介して、使用者が購入希望商品を冷蔵庫１１０内に収納する予定の位置の指定を受ける。収納位置指定部１２６は、指定された収納位置を、通信部１２７を介して、クラウドサーバ１４０に通知する。
通信部１２７は、通信回線１５０を介して、通信を行う。例えば、通信部１２７は、ＮＩＣにより構成することができる。

以上に記載された購入希望商品指定部１２３、収納姿勢選択部１２４、収納サイド変更部１２５及び収納位置指定部１２６の一部又は全部は、例えば、図２（Ａ）に示されているように、メモリ１０と、メモリ１０に格納されているプログラムを実行するＣＰＵ等のプロセッサ１１とにより構成することができる。このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて提供されてもよい。

また、購入希望商品指定部１２３、収納姿勢選択部１２４、収納サイド変更部１２５及び収納位置指定部１２６の一部又は全部は、例えば、図２（Ｂ）に示されているように、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ又はＦＰＧＡ等の処理回路１２で構成することもできる。

図１に戻り、商店サーバ１３０は、商品選択画像提供部１３１と、購入希望商品記憶部１３２と、商品形状情報提供部１３３と、商品好適収納室情報提供部１３４と、通信部１３５とを備える。
商品選択画像提供部１３１は、複数の商品から所望する商品を選択するための商品選択画像を表示部１２１に表示させる。例えば、商品選択画像提供部１３１は、通信部１３５を介して、商店サーバ１３０で取り扱っている商品の中から商品を選択するための商品選択画像を操作端末１２０に提供する。例えば、商品選択画像提供部１３１は、商店サーバ１３０で取り扱っている商品に関する商品情報と、商品選択画像を生成するための画像情報とを記憶する商品画像情報記憶部１３１ａを備えている。
購入希望商品記憶部１３２は、操作端末１２０の購入希望商品指定部１２３によって指定された購入希望商品を識別するための購入希望商品識別情報である物品ＩＤを記憶する。

商品形状情報提供部１３３は、通信部１３５を介して、操作端末１２０の購入希望商品指定部１２３によって指定された購入希望商品の形状を示す形状情報をクラウドサーバ１４０に提供する。例えば、商品形状情報提供部１３３は、商店サーバ１３０で取り扱っている商品の形状を示す商品形状情報を記憶する商品形状情報記憶部１３３ａを備えている。そして、商品形状情報提供部１３３は、商品形状情報の中から、購入希望商品に関する情報を抽出し、抽出された情報を形状情報とする。ここで、商品形状情報は、商品の外形及び寸法、並びに、商品に複数の収納姿勢が設定されている場合には、それぞれの収納姿勢における商品の外形及び寸法を示す。収納姿勢は、具体的には、縦置き及び横置き等の姿勢である。商品によっては、収納姿勢によって、液体がこぼれたり、破損したりすることがあるため、収納姿勢が１種類のものもあれば、複数種類のものもある。

商品好適収納室情報提供部１３４は、通信部１３５を介して、操作端末１２０の購入希望商品指定部１２３によって指定された購入希望商品に好適な収納室情報をクラウドサーバ１４０に提供する。例えば、商品好適収納室情報提供部１３４は、商店サーバ１３０で取り扱っている商品を収納すべき、冷蔵庫１１０の収納室を示す商品好適収納室情報を記憶する商品好適収納室情報記憶部１３４ａを備えている。そして、商品好適収納室情報提供部１３４は、商品好適収納室情報の中から、購入希望商品に関する情報を抽出し、抽出された情報を収納室情報とする。

通信部１３５は、通信回線１５０を介して、通信を行う。例えば、通信部１３５は、ＮＩＣにより構成することができる。

以上に記載された商品選択画像提供部１３１、商品形状情報提供部１３３及び商品好適収納室情報提供部１３４の一部又は全部は、例えば、図２（Ａ）に示されているように、メモリ１０と、メモリ１０に格納されているプログラムを実行するＣＰＵ等のプロセッサ１１とにより構成することができる。このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて提供されてもよい。

また、商品選択画像提供部１３１、商品形状情報提供部１３３及び商品好適収納室情報提供部１３４の一部又は全部は、例えば、図２（Ｂ）に示されているように、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ又はＦＰＧＡ等の処理回路１２で構成することもできる。

なお、商品画像情報記憶部１３１ａ、購入希望商品記憶部１３２、商品形状情報記憶部１３３ａ及び商品好適収納室情報記憶部１３４ａは、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の記憶装置又は不揮発性メモリにより構成することができる。

クラウドサーバ１４０は、冷蔵庫構造情報提供部１４１と、収納可否判定部１４３と、シミュレーション画像生成部１４２と、通信部１４４とを備える。
冷蔵庫構造情報提供部１４１は、冷蔵庫１１０の冷蔵庫型番情報提供部１１２から提供された型番情報に基づいて、冷蔵庫１１０の内部構造を示す情報を、収納可否判定部１４３及びシミュレーション画像生成部１４２に提供する。例えば、冷蔵庫構造情報提供部１４１は、様々な冷蔵庫１１０の内部構造を示す冷蔵庫構造情報を記憶する冷蔵庫構造情報記憶部１４１ａを備えている。そして、冷蔵庫構造情報提供部１４１は、冷蔵庫構造情報から、通知された型番情報に対応する情報を抽出し、抽出された情報を通知する。

冷蔵庫構造情報は、収納室の形状、寸法及び位置、並びに、収容室を構成している構造物の形状、寸法及び位置を示す構造情報を含む。より具体的には、構造情報は、冷蔵庫の収納室内の内寸、並びに、収納室に設けられている棚等の構造物の形状、寸法及び位置を示す。
また、冷蔵庫構造情報は、冷蔵庫の予め定められた部分の寸法を示す寸法情報を含む。予め定められた部分とは、収納室又は収納室を構成している構造物の何れかの部分である。後述する収納予定物の撮像画像内における寸法と比較するために、その部分を予め特定しておく。
さらに、収納室を構成している複数の構造物の中に、位置を移動させることのできる移動構造物が含まれている場合には、冷蔵庫構造情報は、移動構造物の形状、寸法及び移動可能範囲を示す移動可能範囲情報をさらに含む。ここで、移動可能範囲は、移動構造物の位置を移動させることのできる範囲である。
また、収納室を構成している複数の構造物の中に、取り外すことのできる着脱構造物が含まれている場合には、冷蔵庫構造情報は、着脱構造物の形状、寸法及び位置を示す着脱情報をさらに含む。

シミュレーション画像生成部１４２は、冷蔵庫１１０から送られてきた撮像画像の内、商店サーバ１３０から送られてきた収納室情報で示される収納室の撮像画像に、商店サーバ１３０から送られてきた形状情報で示される外形及び寸法の商品の商品画像（外形画像）を合成したシミュレーション画像を生成する。
例えば、シミュレーション画像生成部１４２は、使用者が選択した購入希望商品を収納予定物とする。そして、シミュレーション画像生成部１４２は、撮像画像内における予め定められた部分の寸法と、冷蔵庫構造情報に含まれている寸法情報で示される寸法とを比較することで、収納予定物の撮像画像内における寸法を算出し、算出された寸法で、収納予定物の外形画像である斜視画像（第１の外形画像）を生成する。シミュレーション画像生成部１４２は、撮像画像の予め定められた位置に斜視画像を合成することで、シミュレーション画像（第１のシミュレーション画像）を生成する。
また、シミュレーション画像生成部１４２は、冷蔵庫１１０を構成している構造物の中に、位置を移動させることのできる移動構造物が含まれている場合には、シミュレーション画像に、その移動構造物の移動可能範囲を示す。

そして、シミュレーション画像生成部１４２は、生成されたシミュレーション画像を、通信部１４４を介して、操作端末１２０に与える。このようなシミュレーション画像を受け取った操作端末は、表示部１２１にその画像を表示する。

表示部１２１に表示されたシミュレーション画像を介して、収納予定物を収納する収納姿勢の選択指示を収納姿勢選択部１２４が受けた場合には、シミュレーション画像生成部１４２は、上述のようにして算出された寸法で、選択された収納姿勢における収納予定物の斜視画像（第２の外形画像）を生成し、生成された斜視画像を撮像画像に合成することでシミュレーション画像（第２のシミュレーション画像）を生成（更新）する。このようにして生成されたシミュレーション画像は、表示部１２１に送られ、表示される。

また、表示部１２１に表示されたシミュレーション画像を介して、収納予定物を冷蔵庫１１０に収納するサイドの変更指示を収納サイド変更部１２５が受けた場合には、シミュレーション画像生成部１４２は、上述のようにして算出された寸法で、変更されたサイドに収納する際の収納予定物の斜視画像を生成し、生成された斜視画像を撮像画像に合成することでシミュレーション画像を生成（更新）する。このようにして生成されたシミュレーション画像は、表示部１２１に送られ、表示される。

さらに、表示部１２１に表示されたシミュレーション画像を介して、収納予定物を収納する収納位置の指定を収納位置指定部１２６が受けた場合には、シミュレーション画像生成部１４２は、上述のようにして算出された寸法で、指定された収納位置に収納する際の収納予定物の斜視画像（第３の外形画像）を生成し、生成された斜視画像を指定された収納位置において撮像画像に合成することでシミュレーション画像（第３のシミュレーション画像）を生成（更新）する。このようにして生成されたシミュレーション画像は、表示部１２１に送られ、表示される。

また、シミュレーション画像生成部１４２は、収納可否判定部１４３からの判定結果に応じて、シミュレーション画像を更新する。

収納可否判定部１４３は、シミュレーション画像を用いて収納位置指定部１２６により収納位置が指定された場合には、冷蔵庫１１０から送られてきた撮像画像及び冷蔵庫構造情報提供部１４１から送られてくる情報に基づいて、指定された収納位置に、商店サーバ１３０から送られてきた形状情報で示される外形及び寸法の商品を収納することができるか否かを判定する。
例えば、収納可否判定部１４３は、冷蔵庫１１０から送られてきた撮像画像に基づいて、冷蔵庫１１０内に既に収納されている収納物を特定するとともに、冷蔵庫構造情報提供部１４１から送られてくる情報に基づいて、指定された収納位置に収納予定物を収納する場合に、冷蔵庫１１０に既に収納されている収納物又は冷蔵庫１１０を構成する構造物により、収納予定物の収納が妨げられるか否かを判断する。そして、収納可否判定部１４３は、収納予定物の収納が妨げられる場合には、収納予定物を収納することができないと判断し、収納予定物の収納が妨げられない場合には、収納予定物を収納することができると判断する。

なお、収納可否判定部１４３は、上記の判定を行うために必要な情報を記憶する判定用情報記憶部１４３ａを備えている。
そして、収納可否判定部１４３は、その判定結果をシミュレーション画像生成部１４２に与える。そのような判定結果を受けて、シミュレーション画像生成部１４２は、収納予定物の収納が妨げられる場合には、シミュレーション画像を更新して、収納の妨げとなっている収納予定物の部分を示す。

なお、収納可否判定部１４３は、冷蔵庫１１０を構成している構造物の中に、位置を移動させることのできる移動構造物が含まれている場合には、このような移動構造物を移動させて、収納可否の判断を行うことができる。
例えば、収納可否判定部１４３は、移動可能範囲情報を参照して、移動構造物を移動させることで、収納予定物の収納が妨げられなくなる場合には、収納予定物の収納が妨げられなくなる、移動構造物の位置を移動位置として特定する。そして、収納可否判定部１４３は、その移動位置をシミュレーション画像生成部１４２に通知する。
シミュレーション画像生成部１４２は、そのような通知を受けて、シミュレーション画像を更新して、通知された移動位置に移動構造物を移動させることで、収納予定物を収納することができることを示す。

また、収納可否判定部１４３は、冷蔵庫１１０を構成している構造物の中に、取り外し可能な着脱構造物が含まれている場合には、このような着脱構造物が取り外された場合を考慮して、収納可否の判断を行うことができる。
例えば、収納可否判定部１４３は、着脱情報を参照して、着脱構造物を取り外すことで、収納予定物の収納が妨げられなくなる場合には、収納予定物の収納が妨げられなくなる、着脱構造物を特定し、その着脱構造物をシミュレーション画像生成部１４２に通知する。
シミュレーション画像生成部１４２は、そのような通知を受けて、シミュレーション画像を更新して、通知された着脱構造物を取り外すことで、収納予定物を収納することができることを示す。

通信部１４４は、通信回線１５０を介して、通信を行う。例えば、通信部１４４は、ＮＩＣにより構成することができる。

以上に記載された冷蔵庫構造情報提供部１４１、シミュレーション画像生成部１４２及び収納可否判定部１４３の一部又は全部は、例えば、図２（Ａ）に示されているように、メモリ１０と、メモリ１０に格納されているプログラムを実行するＣＰＵ等のプロセッサ１１とにより構成することができる。このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて提供されてもよい。

また、冷蔵庫構造情報提供部１４１、シミュレーション画像生成部１４２及び収納可否判定部１４３の一部又は全部は、例えば、図２（Ｂ）に示されているように、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ又はＦＰＧＡ等の処理回路１２で構成することもできる。

なお、冷蔵庫構造情報記憶部１４１ａ及び判定用情報記憶部１４３ａは、ＨＤＤ等の記憶装置又は不揮発性メモリにより構成することができる。

図３は、収納状況シミュレーションシステム１００での処理を示すフローチャートである。
まず、撮像部１１１は、冷蔵庫１１０の収納室内の画像を撮像する（Ｓ１０）。冷蔵庫１１０が、冷蔵室、野菜室及び冷凍室のように、複数の収納室で構成されている場合には、それぞれの収納室に撮像部１１１が設置されている場合もある。撮像部１１１は、撮像画像を通信部１１３から通信回線１５０を経由して、シミュレーション画像生成部１４２に送信する。

また、冷蔵庫型番情報提供部１１２は、型番情報記憶部１１２ａに記憶されている型番情報を、通信部１１３から通信回線１５０を経由して、冷蔵庫構造情報提供部１４１に送信する（Ｓ１１）。

冷蔵庫構造情報提供部１４１は、冷蔵庫構造情報記憶部１４１ａに記憶されている冷蔵庫構造情報から、型番情報で示される型番を用いて、冷蔵庫１１０の内部構造を示す情報を検索する（Ｓ１２）。そして、冷蔵庫構造情報提供部１４１は、冷蔵庫１１０に対応する情報をシミュレーション画像生成部１４２に与える。

商品選択画像提供部１３１は、商店サーバ１３０で取り扱っている商品の中から商品を選択するための商品選択画像を生成して、通信部１１３から通信回線１５０を経由して、操作端末１２０へ送信する。そして、操作端末１２０の表示部１２１は、その商品選択画像を表示する（Ｓ１３）。

図４は、商品選択画像の一例を示す概略図である。
商品選択画像ＩＭ１には、第１の商品ＰＤ１、第２の商品ＰＤ２及び第３の商品ＰＤ３が表示されている。これらの商品は、いずれも商店サーバ１３０で取り扱っている商品である。
使用者が、入力部１２２を用いて、操作ボタンＢ１、Ｂ２の実行指示を入力することで、商品選択画像ＩＭ１に表示される商品を変更することができる。
そして、商品選択画像ＩＭ１において、使用者は、入力部１２２を用いて、選択枠ＳＬを動かし、所望の商品を指定して選択指示を入力する（Ｓ１４）。これにより、購入希望商品指定部１２３は、通信部１１３から通信回線１５０を経由して、選択された位置を示す情報を購入希望商品情報として商品選択画像提供部１３１に送信する。このような情報を受けて、商品選択画像提供部１３１は、選択された位置に対応する購入希望商品の物品ＩＤを購入希望商品記憶部１３２に記憶する。物品ＩＤは、商店サーバ１３０で取り扱っている商品を一意に特定できる情報であればよく、情報のデータフォーマットは、特定のものを指定するものではない。

図３に戻り、商品形状情報提供部１３３は、商品形状情報記憶部１３３ａに記憶されている商品形状情報から、購入希望商品記憶部１３２に記憶されている購入希望商品の物品ＩＤを用いて、購入希望商品の形状情報を検索する（Ｓ１５）。そして、商品形状情報提供部１３３は、通信部１３５から通信回線１５０を経由して、購入希望商品の形状情報をシミュレーション画像生成部１４２に送信する。

また、商品好適収納室情報提供部１３４は、商品好適収納室情報記憶部１３４ａに記憶されている商品好適収納室情報から、購入希望商品記憶部１３２に記憶されている購入希望商品の物品ＩＤを用いて、購入希望商品の収納室情報を検索する（Ｓ１６）。そして、商品好適収納室情報提供部１３４は、通信部１３５から通信回線１５０を経由して、購入希望商品の収納室情報をシミュレーション画像生成部１４２に送信する。

次に、シミュレーション画像生成部１４２は、シミュレーション画像を生成する（Ｓ１７）。
例えば、シミュレーション画像生成部１４２は、商品好適収納室情報提供部１３４から送信された収納室情報に基づいて、購入希望商品を収納すべき収納室を決定する。そして、シミュレーション画像生成部１４２は、冷蔵庫構造情報提供部１４１から受け取った寸法情報に基づいて、決定された収納室の寸法と、撮像画像における決定された収納室の寸法との間の比率である寸法比率を算出する。

図５は、収納室の撮像画像の一例を示す概略図である。
撮像画像ＩＭ２には、冷蔵庫１１０の収納室１６０が含まれており、収納室１６０には、既に、収納物１６１、１６２が収納されている。
例えば、シミュレーション画像生成部１４２は、冷蔵庫構造情報提供部１４１から受け取った情報に、点Ｐ１及び点Ｐ２の三次元における位置情報が含まれている場合には、その点Ｐ１及び点Ｐ２間の距離と、撮像画像に含まれている点Ｐ１及び点Ｐ２間の距離とにより、寸法比率を算出する。即ち、シミュレーション画像生成部１４２は、現実の収納室の寸法と、撮像画像における収納室の寸法との間の寸法比率を算出する。

次に、シミュレーション画像生成部１４２は、算出された寸法比率に合わせて、商品形状情報提供部１３３から送信された形状情報で示される外形及び寸法の購入希望商品の三次元における外形画像である斜視画像を作成する。
例えば、シミュレーション画像生成部１４２は、形状情報で示される購入希望商品の現実の寸法を、上述の寸法比率で、撮像画像における寸法に修正し、修正された寸法で、形状情報で示される形状の斜視画像を作成する。

図６（Ａ）〜（Ｄ）は、購入希望商品の斜視画像の一例を示す概略図である。
図６（Ａ）は、収納室の向かって左側を収納位置にして、購入希望商品を縦置きで収納する場合の斜視画像である。
図６（Ｂ）は、収納室の向かって左側を収納位置にして、購入希望商品を横置きで収納する場合の斜視画像である。
図６（Ｃ）は、収納室の向かって右側を収納位置にして、購入希望商品を横置きで収納する場合の斜視画像である。
図６（Ｄ）は、収納室の向かって右側を収納位置にして、購入希望商品を縦置きで収納する場合の斜視画像である。
ここでは、シミュレーション画像生成部１４２は、図６（Ａ）〜（Ｄ）に示された斜視画像の内、予め定められた一つの斜視画像を作成すればよい。

図３に戻り、シミュレーション画像生成部１４２は、撮像部１１１から送信された収納室の撮像画像に、上述のように作成された購入希望商品の斜視画像を合成することで、収納室内の収納状況を示すシミュレーション画像を生成する（Ｓ１７）。例えば、シミュレーション画像生成部１４２には、初期設定で、画像の右側及び左側の何れに購入希望商品を設置するか、及び、購入機能商品の設置姿勢が定められており、これらに対応する斜視画像が合成される。

図７は、シミュレーション画像の一例を示す概略図である。
図７に示されているシミュレーション画像ＩＭ３は、図４に示されている撮像画像ＩＭ２に、図６（Ｂ）に示されている斜視画像を合成することで、作成されている。
ここで、シミュレーション画像ＩＭ３に示されている操作ボタンＢ３は、購入希望商品ＰＲＤの収納姿勢が縦置きでも横置きでも可能である場合に、その収納姿勢を縦置きにすることを選択する縦置き選択ボタンである。
また、操作ボタンＢ４は、その収納姿勢を横置きにすることを選択する横置き選択ボタンである。
図７に示されているシミュレーション画像ＩＭ３では、横置きが選択されているため、下部に描画されている購入希望商品ＰＲＤの斜視画像は、横置きで描かれている。

また、冷蔵庫１１０の収納室内の構造物の一つである棚が移動棚であり、冷蔵庫構造情報提供部１４１から、この移動棚の移動可能範囲が通知された場合には、シミュレーション画像生成部１４２は、シミュレーション画像にこの移動棚の移動可能範囲を表示する。
例えば、図８に示されているようなシミュレーション画像ＩＭ４のように、移動棚ＳＳが、位置ＳＰ１から位置ＳＰ２まで移動できるとすると、このような移動可能範囲を示すために、位置ＳＰ１から位置ＳＰ２まで色付けされていてもよく、位置ＳＰ１から位置ＳＰ２まで矢印が付けられていてもよい。

図３に戻り、生成されたシミュレーション画像は、通信部１３５から通信回線１５０を経由して、操作端末１２０に送信されて、表示部１２１で表示される（Ｓ１８）。

使用者は、表示部１２１に表示されているシミュレーション画像において、入力部１２２を介して、購入希望商品の収納姿勢を選択した場合（Ｓ１９でＹｅｓ）には、処理はステップＳ２０に進む。
ステップＳ２０では、収納姿勢選択部１２４は、選択された収納姿勢を、通信部１３５から通信回線１５０を経由して、シミュレーション画像生成部１４２に通知する。シミュレーション画像生成部１４２は、通知された収納姿勢に応じて、シミュレーション画像を更新し、更新したシミュレーション画像を、通信部１３５から通信回線１５０を経由して、操作端末１２０に送信する。そして、処理はステップＳ１８に戻る。

図７は、前述のとおり、収納室の向かって左側に、購入希望商品ＰＲＤを横置きで収納しようとした場合のシミュレーション画像ＩＭ３である。例えば、シミュレーション画像ＩＭ３において、操作ボタンＢ３を指定した実行指示が入力された場合には、シミュレーション画像生成部１４２は、図９に示されているようなシミュレーション画像ＩＭ５を生成する。シミュレーション画像ＩＭ５は、収納室の向かって左側に、購入希望商品ＰＲＤを縦置きで収納しようとした場合の画像である。

図３に戻り、使用者は、表示部１２１に表示されているシミュレーション画像において、入力部１２２を介して、購入希望商品の収納サイドを変更した場合（Ｓ２１でＹｅｓ）には、処理はステップＳ２２に進む。
ステップＳ２２では、収納サイド変更部１２５は、変更後のサイドを、通信部１３５から通信回線１５０を経由して、シミュレーション画像生成部１４２に通知する。シミュレーション画像生成部１４２は、通知されたサイドに応じて、シミュレーション画像を更新し、更新したシミュレーション画像を、通信部１３５から通信回線１５０を経由して、操作端末１２０に送信する。そして、処理はステップＳ１８に戻る。

図７では、前述のとおり、収納室の向かって左側に、購入希望商品ＰＲＤを横置きで収納しようとした場合のシミュレーション画像ＩＭ３である。例えば、シミュレーション画像ＩＭ３において、購入希望商品ＰＲＤを右側にシフトさせる操作が入力部１２２に入力された場合のように、収納サイドが収納室の向かって右側に変更された場合は、シミュレーション画像生成部１４２は、図１０に示されているシミュレーション画像ＩＭ６のように、収納室の向かって右側に、横置きで収納しようとした場合の購入希望商品ＰＲＤの斜視画像を生成して、その画像を撮像画像に合成する。

また、図９に示されているシミュレーション画像ＩＭ５において、収納サイドが収納室の向かって右側に変更された場合は、シミュレーション画像生成部１４２は、図１１に示されているシミュレーション画像ＩＭ７のように、収納室の向かって右側に、縦置きで収納しようとした場合の購入希望商品ＰＲＤの斜視画像を生成して、その画像を撮像画像に合成する。

図３に戻り、使用者は、表示部１２１に表示されているシミュレーション画像において、入力部１２２を介して、購入希望商品の収納位置を指定した場合（Ｓ２３でＹｅｓ）には、処理はステップＳ２４に進む。
ステップＳ２４では、収納位置指定部１２６は、指定された収納位置を、通信部１３５から通信回線１５０を経由して、シミュレーション画像生成部１４２に通知する。シミュレーション画像生成部１４２は、通知された収納位置に応じて、シミュレーション画像を更新し、更新したシミュレーション画像を、通信部１３５から通信回線１５０を経由して、操作端末１２０に送信する。そして、処理はステップＳ１８に戻る。

例えば、図７に示されているシミュレーション画像ＩＭ３において、購入希望商品ＰＲＤを棚ＳＥＬの上にシフトさせる操作が入力部１２２に入力された場合のように、収納位置が収納室内に変更された場合には、収納可否判定部１４３は、指定された収納室内の収納位置に購入希望商品を収納することができるか否かを判断する。

具体的には、まず、収納可否判定部１４３は、冷蔵庫１１０から送られてきた撮像画像から、冷蔵庫１１０に既に収納されている収納物の範囲を推定する。例えば、収納可否判定部１４３は、冷蔵庫１１０に物が収納される前の収納室の撮像画像を判定用情報記憶部１４３ａに記憶しておくことで、このような推定を行うことができる。また、例えば、冷蔵庫１１０の棚に圧力センサを設置しておき、その検出値を受け取ることでも、収納可否判定部１４３は、このような推定を行うことができる。

次に、収納可否判定部１４３は、収納位置指定部１２６によって指定された収納位置に収納した場合の購入希望商品の範囲を、商品形状情報提供部１３３から提供される形状情報から算出する。
次に、収納可否判定部１４３は、冷蔵庫構造情報提供部１４１から提供される冷蔵庫１１０の収納室の構造情報で示される構造物の範囲及び推定した収納物の範囲と、算出された購入希望商品の範囲とが、互いに重なり合うか否かを判定する。そして、重なり合わない場合には、収納可否判定部１４３は、購入希望商品の収納が妨げられずに、これを収納可と判断する。重なり合う場合には、購入希望商品の収納が妨げられ、これを収納不可と判断する。

収納可否判定部１４３は、収納可否判定の判定結果をシミュレーション画像生成部１４２に与える。ここで、判定結果が収納不可である場合には、収納可否判定部１４３は、重なり合う範囲の内、購入希望商品に対応する部分の範囲を示す妨害範囲情報もシミュレーション画像生成部１４２に与える。
判定結果が収納可である場合には、シミュレーション画像生成部１４２は、指定された収納位置に、選択された収納姿勢で、購入希望商品の斜視画像を合成することで、シミュレーション画像を更新する。
一方、判定結果が収納不可である場合には、シミュレーション画像生成部１４２は、指定された収納位置に、選択された収納姿勢で、購入希望商品の斜視画像を合成するとともに、妨害範囲を示す画像も合成することで、シミュレーション画像を更新する。例えば、シミュレーション画像生成部１４２は、妨害範囲情報で示される範囲から、購入希望商品を収納位置に収納する場合に、収納物及び構造物と接触して、収納の妨げとなる部分を特定し、その部分を妨害範囲とする画像を生成して、撮像画像に合成する。

図１２は、判定結果が収納不可である場合のシミュレーション画像を示す概略図である。
図１２に示されているシミュレーション画像ＩＭ８では、購入希望商品ＰＲＤが、指定された収納位置に、選択された縦置きで収納されている。
但し、シミュレーション画像ＩＭ８では、購入希望商品ＰＲＤの形状範囲のうち、位置ＳＰ２の移動棚ＳＳと重なり合う範囲が、妨害範囲ＩＴＡとして示されている。例えば、シミュレーション画像生成部１４２は、このような妨害範囲ＩＴＡを示す画像を合成することで、このような妨害範囲ＩＴＡを示すことができる。

シミュレーション画像生成部１４２は、生成したシミュレーション画像ＩＭ８を表示部１２１に表示させる。
図１２に示されているようなシミュレーション画像ＩＭ８を、表示部１２１で確認した使用者は、購入希望商品ＰＲＤを購入したとしても、冷蔵庫１１０には収納できないと、容易に認識することができる。

また、収納可否判定部１４３は、収納可否の判定において、購入希望商品の収納を妨げている棚が、移動可能な移動棚又は取り外し可能な着脱棚である場合等、冷蔵庫１１０の収納室の状態を変更することができる場合には、収納室の状態を変更して、判定を行うことができる。

例えば、購入希望商品ＰＲＤの収納を妨げている棚が、図８に示されているような移動棚ＳＳである場合、位置ＳＰ２に設置されている移動棚ＳＳは、位置ＳＰ１まで移動させることができる。
そこで、収納可否判定部１４３は、冷蔵庫構造情報提供部１４１から提供される構造情報に含まれている移動棚の可動範囲情報に基づいて、移動棚ＳＳが位置ＳＰ１まで移動したと仮定した場合の、収納可否判定を行う。ここで、収納可否判定の結果が、重なり合わず、収納可能である場合には、収納可否判定部１４３は、収納可の判定結果と、収納可にするための条件とをシミュレーション画像生成部１４２に与える。収納可にするための条件は、ここでは、移動棚ＳＳを位置ＳＰ１まで移動させることである。

図１３は、収納可にするための条件が示された場合のシミュレーション画像の一例を示す概略図である。
この場合には、妨害範囲はないので、シミュレーション画像ＩＭ９には、妨害範囲は示されていない。但し、シミュレーション画像ＩＭ９では、収納可とするための条件を示したメッセージ欄ＭＥＡ１が表示されている。
図１３に示されたメッセージ欄ＭＥＡ１は、移動棚ＳＳを位置ＳＰ１まで移動したと仮定した場合のシミュレーション画像であることを、使用者に通知している。
シミュレーション画像生成部１４２は、シミュレーション画像ＩＭ９を表示部１２１に表示させる。
なお、シミュレーション画像生成部１４２は、移動棚ＳＳを位置ＳＰ１に移動するように撮像画像を加工して、図１３に示されているシミュレーション画像ＩＭ９を生成しているが、このような加工を行わなくてもよい。

図１３に示されたようなシミュレーション画像ＩＭ９を、表示部１２１で確認した使用者は、移動棚ＳＳを位置ＳＰ１に移動すれば、購入希望商品ＰＲＤを購入しても、冷蔵庫１１０には収納できると容易に認識できる。

また、購入希望商品ＰＲＤの収納を妨げている棚が、取り外し可能な着脱棚である場合には、このような棚を取り外すことができる。
そこで、収納可否判定部１４３は、冷蔵庫構造情報提供部１４１から提供される構造情報に含まれている着脱棚の着脱情報に基づいて、着脱棚を取り外したと仮定した場合の、収納可否判定を行う。ここで、収納可否判定の結果が、重なり合わず、収納可能である場合には、収納可否判定部１４３は、収納可の判定結果と、収納可にするための条件とをシミュレーション画像生成部１４２に与える。収納可にするための条件は、ここでは、着脱棚を取り外すことである。

図１４は、収納可にするための条件が示された場合のシミュレーション画像の一例を示す概略図である。
この場合には、妨害範囲はないので、シミュレーション画像ＩＭ１０には、妨害範囲は示されていない。但し、シミュレーション画像ＩＭ１０では、収納可とするための条件を示したメッセージ欄ＭＥＡ２が表示されている。
図１４に示されたメッセージ欄ＭＥＡ２は、着脱棚を取り外したと仮定した場合のシミュレーション画像であることを、使用者に通知している。
シミュレーション画像生成部１４２は、シミュレーション画像ＩＭ１０を表示部１２１に表示させる。

図１４に示されたようなシミュレーション画像ＩＭ１０を、表示部１２１で確認した使用者は、着脱棚を取り外せば、購入希望商品ＰＲＤを購入しても、冷蔵庫１１０には収納できると容易に認識できる。
なお、シミュレーション画像生成部１４２は、着脱棚を消去するように撮像画像を加工して、図１４に示されているシミュレーション画像ＩＭ１０を生成しているが、このような加工を行わなくてもよい。

以上に記載した実施の形態によれば、冷蔵庫１１０の収納室内の撮像画像と、その撮像画像の寸法比率と同じ寸法比率を有する収納予定物の斜視画像とを比較できるので、使用者は、収納予定物を冷蔵庫１１０の収納室内に収納できるかどうかを正確に知ることができる。このため、収納予定物を購入したが冷蔵庫１１０に収納できないという事態が発生したり、収納予定物が冷蔵庫１１０に収納しきれないことをおそれて購入機会を逸するという事態が発生したりすることを防止できる。

以上に記載した実施の形態によれば、冷蔵庫１１０の収納室の構造情報を、冷蔵庫１１０の型番情報から、検索して入手することができるので、冷蔵庫１１０の収納室内の構造情報を、システムの使用者が入力する手間を省くことができ、かつ、正確な収納室内の構造情報を使用できる。

以上に記載した実施の形態によれば、収納予定物の形状情報を、収納予定物の物品ＩＤから、検索して入手することができるので、収納予定物の形状情報を、システムの使用者が入力する手間を省くことができ、かつ、正確な収納予定物の形状情報を使用できる。

以上に記載した実施の形態によれば、収納予定物に適した収納室情報を、収納予定物の物品ＩＤから、検索して入手することができるので、収納予定物に適した収納室情報を、システムの使用者が入力する手間を省くことができる。また、収納予定物に適した収納室以外の収納室内の撮像画像と、収納予定物の斜視画像とを比較してしまい、収納予定物が収納できるかどうかの判断を間違えてしまう危険を防止できる。

以上に記載した実施の形態によれば、収納室内の撮像画像と、収納予定物に予め設定されている複数の収納姿勢の斜視画像とを比較することができるので、複数の収納姿勢で収納できるかどうかを判断できる。これにより、ある収納姿勢では収納が難しいが、他の収納姿勢では収納ができるというような試行ができ、実際には収納できるのに、収納できないと判断してしまう危険を防止することができる。

以上に記載した実施の形態によれば、収納室内の撮像画像から、冷蔵庫１１０に既に収納されている収納物の位置を推定し、既収納物と、収納予定物とが互いに衝突せず、収納可能か否かを判定するため、システムの使用者が、この収納予定物に適した収納室以外の収納室内の撮像画像と、収納予定物の斜視画像とを比較するだけで収納可否判断をするよりも、より容易、かつ、正確に収納可否判断ができる。

以上に記載した実施の形態によれば、収納室内の構造物の位置と形状情報とから、構造物と、収納予定物とが衝突せず、収納可能か否かを判定するため、システムの使用者が、この収納予定物に適した収納室以外の収納室内の撮像画像と、収納予定物の斜視画像とを比較するだけで収納可否判断をするよりも、より容易、かつ、正確に収納可否判断ができる。

以上に記載した実施の形態によれば、収納室内の構造物の位置が変更できる場合に、この構造物が取り得る位置に設置された場合の構造物と、収納予定物とが衝突せず、収納可能か判定するため、システムの使用者が、この収納予定物に適した収納室以外の収納室内の撮像画像と、収納予定物の斜視画像とを比較するだけで収納可否判断をするよりも、より容易、かつ、正確に収納可否判断ができる。

＜第１の変形例＞
ところで、冒頭で述べたように、冷蔵庫１１０がクラウドサーバ１４０の機能を含んでいてもよい。また、冷蔵庫１１０は、操作端末１２０の機能を含んでいてもよい。
図１５は、第１の変形例における冷蔵庫２１０と、その冷蔵庫２１０を含めた収納状況シミュレーションシステム２００の構成を概略的に示すブロック図である。
冷蔵庫２１０が、クラウドサーバ１４０の機能を取り込んでいる。
冷蔵庫２１０は、撮像部１１１と、冷蔵庫型番情報提供部１１２と、通信部１１３と、冷蔵庫構造情報記憶部１４１ａを有する冷蔵庫構造情報提供部１４１と、収納可否判定部１４３とを備えている。

撮像部１１１は、冷蔵庫２１０の庫内の画像を撮像画像として撮像する。
冷蔵庫型番情報提供部１１２は、型番情報記憶部１１２ａに記憶されている型番情報を、冷蔵庫構造情報提供部１４１に与える。
通信部１１３は、通信回線１５０と接続され、庫内への収納予定物の形状情報を受信する。

冷蔵庫構造情報記憶部１４１ａは、庫内の予め定められた部分の寸法を示す寸法情報を含む冷蔵庫構造情報を記憶する。
収納可否判定部１４３は、撮像画像内における予め定められた部分の寸法と、寸法情報で示される寸法とを比較することで、庫内への収納予定物の撮像画像内における寸法を算出し、収納予定物を収納することができるか否かを判定する。収納予定物を収納することができるか否かの判定については、既に説明したとおりである。
なお、冷蔵庫構造情報記憶部１４１ａについては、冷蔵庫２１０に備えなくてもよく、通信回線１５０を介して通信部１１３が冷蔵庫２１０の庫内の予め定められた部分の寸法を示す寸法情報を受信してもよい。

また、冷蔵庫２１０は、シミュレーション画像生成部１４２を備えてもよい。シミュレーション画像生成部１４２は、収納可否判定部１４３で算出された撮像画像内における寸法に基づき収納予定物の第１の商品画像（外形画像）を生成し、この商品画像を撮像画像に合成することでシミュレーション画像（第１のシミュレーション画像）を生成する。通信部１１３は、通信回線１５０を介して、そのシミュレーション画像を操作端末１２０に送信する。操作端末１２０は、表示部１２１を備えている。受信されたシミュレーション画像は、表示部１２１に表示される。
なお、シミュレーション画像生成部１４２については、冷蔵庫２１０に備えなくてもよく、操作端末１２０に備えられても良い。この場合、通信部１１３は、通信回線１５０を介して、収納可否判定部１４３で算出された撮像画像内における寸法を操作端末１２０に送信する。

＜第２の変形例＞
また、冒頭で述べたように、冷蔵庫１１０が操作端末１２０の機能を含んでいてもよい。
図１６は、第２の変形例における冷蔵庫３１０と、その冷蔵庫３１０を含めた収納状況シミュレーションシステム３００の構成を概略的に示すブロック図である。
冷蔵庫３１０が、操作端末１２０の機能を取り込んでいる。
この場合、クラウドサーバ１４０に備えられた収納可否判定部１４３は、収納予定物を収納することができるか否かの可否判定を行う。そして、シミュレーション画像生成部１４２は、収納可否判定部１４３で算出された撮像画像内における寸法に基づき収納予定物の第１の商品画像（外形画像）を生成し、この商品画像を撮像画像に合成することでシミュレーション画像（第１のシミュレーション画像）を生成する。通信部１１３は、通信回線１５０を介して、シミュレーション画像を受信する。表示部１２１は、受信されたシミュレーション画像を表示する。

＜第３の変形例＞
また、冷蔵庫１１０がクラウドサーバ１４０及び操作端末１２０の機能を含んでいてもよい。図１７は、第３の変形例における冷蔵庫４１０と、その冷蔵庫４１０を含めた収納状況シミュレーションシステム４００の構成を概略的に示すブロック図である。
この場合、冷蔵庫４１０の内部で、収納予定物を収納することができるか否かの可否判定、シミュレーション画像の生成、及びシミュレーション画像の表示を行う。通信部１１３は、通信回線１５０を介して、商店サーバ１３０と通信を行い、使用者が商品を購入する商店の物品情報等を受信する。

１００，２００，３００，４００ 収納状況シミュレーションシステム、 １１０，２１０，３１０，４１０ 冷蔵庫、 １１１ 撮像部、 １１２ 冷蔵庫型番情報提供部、 １１３ 通信部、 １２０ 操作端末、 １２１ 表示部、 １２２ 入力部、 １２３ 購入希望商品指定部、 １２４ 収納姿勢選択部、 １２５ 収納サイド変更部、 １２６ 収納位置指定部、 １２７ 通信部、 １３０ 商店サーバ、 １３１ 商品選択画像提供部、 １３２ 購入希望商品記憶部、 １３３ 商品形状情報提供部、 １３４ 商品好適収納室情報提供部、 １３５ 通信部、 １４０ クラウドサーバ、 １４１ 冷蔵庫構造情報提供部、 １４３ 収納可否判定部、 １４２ シミュレーション画像生成部、 １４４ 通信部、 １０ メモリ、 １１ プロセッサ、 １２ 処理回路。

Claims (15)

1. 冷蔵庫内に収納予定物を収納することができるか否かを判断するためのシミュレーションシステムであって、
   前記冷蔵庫内の画像を撮像画像として撮像する撮像部と、
   前記冷蔵庫内の予め定められた部分の寸法を示す寸法情報を含む冷蔵庫構造情報を記憶する冷蔵庫構造情報記憶部と、
   画像を表示する表示部と、
   複数の商品から所望する商品を選択するための商品選択画像を前記表示部に表示させる商品選択画像提供部と、
   前記表示部に表示された前記商品選択画像を介して、選択された商品を前記収納予定物とする収納予定物指定部と、
   前記収納予定物の前記撮像画像内における寸法に基づき前記収納予定物の第１の外形画像を生成し、当該第１の外形画像を前記撮像画像に合成することで第１のシミュレーション画像を生成するシミュレーション画像生成部と、
   前記選択された商品の外形及び寸法を示す形状情報を前記シミュレーション画像生成部に提供する商品形状情報提供部と、
   前記撮像画像内における前記予め定められた部分の寸法と、前記寸法情報で示される前記予め定められた部分の寸法と、前記形状情報で示される外径及び寸法とを比較することで、前記収納予定物の前記撮像画像内における寸法を算出し、前記収納予定物を収納することができるか否かを判定する収納可否判定部と、を備え、
   前記シミュレーション画像生成部は、前記形状情報に基づいて、前記第１の外形画像を生成し、
   前記表示部は、前記第１のシミュレーション画像を表示すること
   を特徴とするシミュレーションシステム。
2. 前記表示部に表示された前記第１のシミュレーション画像を介して、前記収納予定物を収納する収納姿勢の選択指示を受ける収納姿勢選択部をさらに備え、
   前記シミュレーション画像生成部は、前記算出された寸法で、選択された収納姿勢における前記収納予定物の第２の外形画像を生成し、当該第２の外形画像を前記撮像画像に合成することで第２のシミュレーション画像を生成し、
   前記表示部は、前記第２のシミュレーション画像を表示すること
   を特徴とする請求項１に記載のシミュレーションシステム。
3. 前記表示部に表示された前記第１のシミュレーション画像を介して、前記収納予定物を収納する収納位置の指定を受ける収納位置指定部をさらに備え、
   前記シミュレーション画像生成部は、前記算出された寸法で、指定された収納位置に収納する際の前記収納予定物の第３の外形画像を生成し、当該第３の外形画像を前記指定された収納位置において前記撮像画像に合成することで第３のシミュレーション画像を生成し、
   前記表示部は、前記第３のシミュレーション画像を表示すること
   を特徴とする請求項１に記載のシミュレーションシステム。
4. 前記表示部に表示された前記第２のシミュレーション画像を介して、前記収納予定物を収納する収納位置の指定を受ける収納位置指定部をさらに備え、
   前記シミュレーション画像生成部は、前記算出された寸法で、指定された収納位置に収納する際の前記収納予定物の第３の外形画像を生成し、当該第３の外形画像を前記指定された収納位置において前記撮像画像に合成することで第３のシミュレーション画像を生成し、
   前記表示部は、前記第３のシミュレーション画像を表示すること
   を特徴とする請求項２に記載のシミュレーションシステム。
5. 前記冷蔵庫構造情報には、前記冷蔵庫内に設けられている複数の構造物の形状、寸法及び位置を示す構造情報がさらに含まれており、
   前記収納可否判定部は、前記冷蔵庫内に既に収納されている収納物を前記撮像画像から特定するとともに、前記構造情報を参照して、前記収納位置に前記収納予定物を収納する場合に、当該収納物又は前記複数の構造物により、前記収納予定物の収納が妨げられるか否かを判断し、
   前記収納予定物の収納が妨げられる場合には、前記シミュレーション画像生成部は、前記第３のシミュレーション画像において、収納の妨げとなる前記収納予定物の部分を示すこと
   を特徴とする請求項３又は４に記載のシミュレーションシステム。
6. 前記複数の構造物には、位置を移動させることのできる移動構造物が含まれており、
   前記冷蔵庫構造情報は、前記移動構造物の形状、寸法及び移動可能範囲を示す移動可能範囲情報をさらに含み、
   前記収納可否判定部は、前記移動可能範囲情報を参照して、前記移動構造物を移動させることで、前記収納予定物の収納が妨げられなくなる場合には、前記収納予定物の収納が妨げられなくなる、前記移動構造物の位置を移動位置として特定し、
   前記シミュレーション画像生成部は、前記第３のシミュレーション画像において、前記移動位置に前記移動構造物を移動させることで、前記収納予定物を収納することができるか否かを示すこと
   を特徴とする請求項５に記載のシミュレーションシステム。
7. 前記複数の構造物には、取り外し可能な着脱構造物が含まれており、
   前記冷蔵庫構造情報は、前記着脱構造物の形状、寸法及び位置を示す着脱情報をさらに含み、
   前記収納可否判定部は、前記着脱情報を参照して、前記着脱構造物を取り外すことで、前記収納予定物の収納が妨げられなくなる場合には、前記収納予定物の収納が妨げられなくなる、前記着脱構造物を特定し、
   前記シミュレーション画像生成部は、前記第３のシミュレーション画像において、前記特定された着脱構造物を取り外すことで、前記収納予定物を収納することができるか否かを示すこと
   を特徴とする請求項５に記載のシミュレーションシステム。
8. 前記複数の構造物には、位置を移動させることのできる移動構造物が含まれており、
   前記冷蔵庫構造情報は、前記移動構造物の形状、寸法及び移動可能範囲を示す移動可能範囲情報をさらに含み、
   前記シミュレーション画像生成部は、前記第１のシミュレーション画像に、前記移動可能範囲を示すこと
   を特徴とする請求項５に記載のシミュレーションシステム。
9. 前記冷蔵庫には、複数の収納室が設けられており、
   前記撮像部は、前記複数の収納室内の画像を撮像し、
   前記選択された商品を収納する収納室を示す収納室情報を前記シミュレーション画像生成部に提供する商品好適収納室情報提供部をさらに備え、
   前記シミュレーション画像生成部は、前記収納室情報で示される収納室内の撮像画像に前記第１の外形画像を合成すること
   を特徴とする請求項１から８の何れか一項に記載のシミュレーションシステム。
10. 冷蔵庫内に収納予定物を収納することができるか否かを判断するためのシミュレーション方法であって、
    前記冷蔵庫内の画像を撮像画像として撮像し、
    前記冷蔵庫内の予め定められた部分の寸法と、前記撮像画像内における前記予め定められた部分の寸法と、前記収納予定物の外形及び寸法とを比較することで、前記収納予定物の前記撮像画像内における寸法を算出し、
    前記算出された寸法で前記収納予定物の第１の外形画像を生成し、
    前記第１の外形画像を前記撮像画像に合成することで第１のシミュレーション画像を生成し、前記収納予定物を収納することができるか否かを判定すること
    を特徴とするシミュレーション方法。
11. 庫内の画像を撮像画像として撮像する撮像部と、
    外部ネットワークと接続され、前記庫内に収納する収納予定物の形状を示す形状情報を受信する通信部と、
    前記庫内の予め定められた部分の寸法を示す寸法情報を含む冷蔵庫構造情報を記憶する冷蔵庫構造情報記憶部と、
    前記撮像画像内における前記予め定められた部分の寸法と、前記寸法情報で示される前記予め定められた部分の寸法とを比較することで、前記形状情報に基づいて、前記収納予定物の前記撮像画像内における寸法を算出し、前記収納予定物を収納することができるか否かを判定する収納可否判定部と、を備えること
    を特徴とする冷蔵庫。
12. 庫内の画像を撮像画像として撮像する撮像部と、
    外部ネットワークと接続され、前記庫内に収納する収納予定物の形状を示す形状情報と前記庫内の予め定められた部分の寸法を示す寸法情報を含む冷蔵庫構造情報とを受信する通信部と、
    前記撮像画像内における前記予め定められた部分の寸法と、前記寸法情報で示される前記予め定められた部分の寸法とを比較することで、前記形状情報に基づいて、前記収納予定物の前記撮像画像内における寸法を算出し、前記収納予定物を収納することができるか否かを判定する収納可否判定部と、を備えること
    を特徴とする冷蔵庫。
13. 前記通信部は、前記収納予定物の前記撮像画像内における寸法を前記外部ネットワークに送信すること
    を特徴とする請求項１１又は１２に記載の冷蔵庫。
14. 前記収納予定物の前記撮像画像内における寸法に基づき前記収納予定物の第１の外形画像を生成し、当該第１の外形画像を前記撮像画像に合成することで第１のシミュレーション画像を生成するシミュレーション画像生成部と、
    前記第１のシミュレーション画像を表示する表示部と、をさらに備えること
    を特徴とする請求項１１又は１２に記載の冷蔵庫。
15. 冷蔵庫内に収納予定物を収納することができるか否かを判断するためのシミュレーションシステムであって、
    前記収納予定物の外形及び寸法を示す形状情報を取得する通信部と、
    前記冷蔵庫内の画像を撮像画像として撮像する撮像部と、
    前記冷蔵庫内の予め定められた部分の寸法を示す寸法情報を含む冷蔵庫構造情報を記憶する冷蔵庫構造情報記憶部と、
    前記撮像画像内における前記予め定められた部分の寸法と、前記寸法情報で示される前記予め定められた部分の寸法と、前記形状情報で示される外形及び寸法とを比較することで、前記収納予定物の前記撮像画像内における寸法を算出し、前記算出された寸法で前記収納予定物の第１の外形画像を生成し、前記第１の外形画像を前記撮像画像に合成することで第１のシミュレーション画像を生成し、前記収納予定物を収納することができるか否かを判定する収納可否判定部と、を備えること
    を特徴とするシミュレーションシステム。

Images