JP2020020982A - 制御装置、庫内撮影システム、物品保管庫、庫内撮影方法およびプログラム - Google Patents

Abstract

【課題】庫内の撮影画像の視認性を向上させることができる制御装置、庫内撮影システム、物品保管庫、庫内撮影方法およびプログラムを提供する。【解決手段】制御装置２１は、冷蔵庫の扉が開状態または閉状態のいずれであるかを判定する開閉判定部２１１と、撮像装置２２を冷蔵庫の庫内における複数の位置のうちのいずれか１つに移動させるための移動制御情報を生成して移動装置２５へ出力する移動制御部２１３と、冷蔵庫の扉が開状態であると判定されると、光源２４の発光強度を最大発光強度にして光源２４を点灯させるための光源制御情報を生成して点灯装置２６へ出力し、扉が閉状態であると判定されると、光源２４の発光強度を撮像装置２２の位置に応じた発光強度にして光源２４を点灯させるための光源制御情報を生成して点灯装置２６へ出力する光源制御部２１２と、を備える。【選択図】図３

Description

本発明は、制御装置、庫内撮影システム、物品保管庫、庫内撮影方法およびプログラムに関する。

冷蔵庫内をＣＣＤカメラで撮影して得られる庫内の画像を携帯端末へ出力することにより冷蔵庫内の在庫状況を携帯端末で確認できるようにする技術が提案されている（例えば特許文献１参照）。特許文献１に記載された冷蔵庫は、庫内において上下に区画形成された複数の庫室を有する冷蔵庫であって、庫内を上下方向に昇降可能なＣＣＤカメラを備え、携帯端末からの操作でＣＣＤカメラによる昇降と撮影を行い、１つのＣＣＤカメラで複数の庫室それぞれの画像を携帯端末へ出力する。近年の冷蔵庫の大型化の傾向に伴い、特許文献１に記載された冷蔵庫のような、昇降可能な１台のＣＣＤカメラを用いて庫内を撮影することにより、庫内の撮影に必要なＣＣＤカメラの台数を減らし、冷蔵庫のコストを低減させることが注目されつつある。

特開２００２−３０３４８０号公報

ところで、特許文献１に記載された冷蔵庫のような、庫内を撮影するカメラを備えた冷蔵庫は、通常、庫内を照明する光源を備えており、その光源を点灯させた状態でカメラにより庫内を撮影する。この場合、庫内における光源からの距離に依って庫内の各所における明るさが異なってしまう。そうすると、庫内におけるカメラの位置によって撮影対象である収納物の明るさにバラツキが生じてしまい、利用者が得られた撮影画像を見にくいと感じてしまう虞がある。

本発明は、上記事由に鑑みてなされたものであり、庫内の撮影画像の視認性を向上させることができる制御装置、庫内撮影システム、物品保管庫、庫内撮影方法およびプログラムを提供することを目的とする。

上記目的を達成するため、本発明に係る制御装置は、
物品保管庫の庫内を照明する光源を光源制御情報に基づいて点灯または消灯させる点灯装置と、前記庫内を撮影する撮像装置と、前記庫内において前記撮像装置を移動制御情報に基づいて移動させる移動装置と、を制御する制御装置であって、
前記物品保管庫の扉が開状態または閉状態のいずれであるかを判定する開閉判定部と、
前記撮像装置に前記庫内を移動させるための移動制御情報を生成して前記移動装置へ出力する移動制御部と、
前記開閉判定部により前記扉が開状態であると判定されると、前記光源の発光強度を予め設定された発光強度にして前記光源を点灯させるための光源制御情報を生成して前記点灯装置へ出力し、前記開閉判定部により前記扉が閉状態であると判定されると、前記光源の発光強度を前記撮像装置の位置に応じた発光強度にして前記光源を点灯させるための光源制御情報を生成して前記点灯装置へ出力する光源制御部と、を備える。

本発明によれば、光源制御部が、開閉判定部により物品保管庫の扉が開状態であると判定されると、光源の発光強度を予め設定された発光強度にして光源を点灯させるための光源制御情報を生成して出力する。一方、光源制御部は、開閉判定部により扉が閉状態であると判定されると、光源の発光強度を撮像装置の位置に応じた発光強度にして光源を点灯させるための光源制御情報を生成して出力する。これにより、庫内における撮像装置の位置の違いによる撮影対象である物品の明るさのバラツキが抑制されるので、撮像装置によって撮影されることにより得られた庫内の撮影画像の視認性を向上させることができる。

本発明の実施の形態に係る庫内画像閲覧システムの概略構成図 実施の形態に係る冷蔵庫の一例の概略正面図 実施の形態に係る庫内撮影システムの構成を示すブロック図 実施の形態に係る発光強度記憶部が記憶する情報を示す図 （Ａ）は実施の形態に係る撮像装置の位置を示す図、（Ｂ）は実施の形態に係る各位置における発光部の光照射方向を示す図 （Ａ）は実施の形態に係るサーバの構成を示すブロック図、（Ｂ）は実施の形態に係る端末装置の構成を示すブロック図 実施の形態に係る庫内画像閲覧システムの動作を示すシーケンス図 実施の形態に係る庫内画像閲覧システムの動作を示すシーケンス図 実施の形態に係る制御装置が実行する庫内撮影処理の流れの一例を示すフローチャート 実施の形態に係る制御装置が実行する画像転送処理の流れの一例を示すフローチャート 実施の形態に係るサーバが実行するサーバ制御処理の流れの一例を示すフローチャート 実施の形態に係る端末装置が実行する画像閲覧処理の流れの一例を示すフローチャート 変形例に係る庫内撮影システムの構成を示すブロック図 変形例に係る制御装置が実行する庫内撮影処理の流れの一例を示すフローチャート （Ａ）は変形例に係る冷蔵庫の一例の概略正面図、（Ｂ）は他の変形例に係る冷蔵庫の一例の概略正面図 変形例に係る庫内撮影システムの構成を示すブロック図 変形例に係るサブ光源記憶部が記憶する情報を示す図 変形例に係る庫内撮影システムの構成を示すブロック図 変形例に係るサブ光源記憶部が記憶する情報を示す図 変形例に係る制御装置が実行する庫内撮影処理の流れの一例を示すフローチャート 変形例に係る制御装置が実行する画像転送処理の流れの一例を示すフローチャート

以下、本発明の実施の形態に係る制御装置および当該制御装置を備えた庫内撮影システムについて、添付図面を参照しながら説明する。本実施の形態に係る制御装置は、物品保管庫である冷蔵庫の庫内を照明する光源を光源制御情報に基づいて点灯させる点灯装置と、庫内を撮影する撮像装置と、庫内において撮像装置を移動制御情報に基づいて移動させる移動装置と、を制御する。制御装置は、開閉判定部と移動制御部と光源制御部とを備える。開閉判定部は、冷蔵庫の扉が開状態または閉状態のいずれであるかを判定する。移動制御部は、撮像装置を庫内における予め設定された複数の位置のうちのいずれか１つに移動させるための移動制御情報を生成して移動装置へ出力する。光源制御部は、開閉判定部により冷蔵庫の扉が開状態であると判定されると、光源の発光強度を予め設定された最大発光強度にして光源を点灯させるための光源制御情報を生成して点灯装置へ出力する。一方、光源制御部は、開閉判定部により冷蔵庫の扉が閉状態であると判定されると、光源の発光強度を撮像装置の位置に応じた発光強度にして光源を点灯させるための光源制御情報を生成して点灯装置へ出力する。

図１に示すように、本実施の形態に係る庫内画像閲覧システム１００は、本実施の形態に係る庫内撮影システム２を有する冷蔵庫１と、ルータ３と、サーバ５と、端末装置４と、を備える。庫内撮影システム２は、ルータ３およびネットワークＮＴを介して、サーバ５と通信可能となっている。また、サーバ５は、ネットワークＮＴを介して端末装置４と通信可能となっている。ここで、ネットワークＮＴは、例えば公衆回線を用いた広域ネットワークである。ルータ３は、例えば無線ＬＡＮ（Local Area Network）ルータであり、庫内撮影システム２との間で無線ＬＡＮ規格またはＢｌｕｅｔｏｏｔｈ（登録商標）規格に適合した通信方式で通信する。

冷蔵庫１は、例えば図２に示すように、前面が開放された矩形箱状であり、内側に食品を含む物品を冷蔵する冷蔵室３０、物品を冷凍する冷凍室（図示せず）および野菜室（図示せず）を有する本体１ａを備える。ここで、冷蔵室３０、冷凍室（図示せず）および野菜室（図示せず）が、冷蔵庫１の庫内に相当する。また、冷蔵庫１は、本体１ａの冷蔵室３０に対応する開放部分を覆う２つの扉３１、３２と、本体１ａの冷凍室に対応する部分に据え付けられた引き出し３５と、本体１ａの野菜室に対応する部分に据え付けられた引き出し３６と、を備える。本体１ａの冷蔵室３０の内側には、物品が載置される棚３３、３４が設けられ、本体１ａにおける冷蔵室３０の前面側には、２つの扉３１、３２が設けられている。また、冷蔵庫１は、図示しない圧縮機、蒸発器、循環ファン、温度センサ、ブザー等を備え、庫内の物品を冷却する。なお、図２に示す例では、本体１ａの冷蔵室３０に２つの棚３３、３４が設けられているが、棚の数は１つでもよいし或いは３つ以上でもよい。また、本体１ａにおける冷蔵室３０の前面側に設けられた扉の数は、２つに限定されるものではなく１つであってもよい。

また、冷蔵庫１は、開閉センサ２３と光源２４と点灯装置２６と撮像装置２２と移動装置２５と制御装置２１とを備える。開閉センサ２３は、扉３１、３２それぞれの開閉状態を検知するためのセンサであり、本体１ａの冷蔵室３０に対応する開放部分における上端部の２箇所に設けられている。開閉センサ２３としては、例えば磁気センサまたは赤外線センサを採用することができる。開閉センサ２３は、扉３１、３２が開状態になると開検知信号を出力する。なお、開閉センサ２３の位置は、本体１ａの冷蔵室３０に対応する開放部分における上端部の２箇所に限定されるものではない。

光源２４は、本体１ａの冷蔵室３０の天井部分に配設されている。光源２４としては、例えばＬＥＤ（Light Emitting Diode）素子または有機ＥＬ素子を利用した光源或いは蛍光灯または白熱灯を採用することができる。点灯装置２６は、制御装置２１から入力される光源制御信号に基づいて、冷蔵室３０に保管された物品の識別が可能な程度の予め設定された複数種類の発光強度で光源２４を点灯させる。点灯装置２６は、例えば昇降圧チョッパ回路を有し、光源制御信号の信号電圧に応じて光源２４を調光する。また、点灯装置２６は、制御装置２１から入力される光源制御信号に基づいて、光源２４を消灯させる。

撮像装置２２は、例えばＣＣＤカメラであり、制御装置２１から入力される制御信号に基づいて、冷蔵室３０内を撮影する。撮像装置２２は、扉３１が閉じられた状態で、図２における左右方向の中央部から冷蔵室３０内を撮影する。また、撮像装置２２は、冷蔵室３０内を撮影する際、撮影画像に対応する画像信号を制御装置２１へ出力する。移動装置２５は、図２における左側の扉３１の先端部に設けられ、撮像装置２２を鉛直方向へ移動させる。移動装置２５は、例えば撮像装置２２を保持するスライド体（図示せず）と、扉３１の先端部に沿って配置された長尺のボール螺子（図示せず）と、ボール螺子をその長手方向に沿った中心軸周りに回転させるモータ２５０１と、を有する。移動装置２５は、モータ２５０１によってボール螺子を回転させることにより、スライド体に保持された撮像装置２２を昇降させる。なお、撮像装置２２および移動装置２５の位置は、図２における左側の扉３１の先端部に限定されるものではなく、例えば図２における右側の扉３２或いは冷蔵室３０内の必要な範囲を撮影できる他の位置であってもよい。

制御装置２１は、冷蔵室３０の上方に配置されている。なお、制御装置２１の位置は、冷蔵室３０の上方に限定されるものではなく他の位置であってもよい。制御装置２１は、図３に示すように、ＣＰＵ（Central Processing Unit）２０１と主記憶部２０２と補助記憶部２０３と無線モジュール２０４と、センサインタフェース（以下、「Ｉ／Ｆ」と称する。）２５１と撮像装置Ｉ／Ｆ２５２と移動装置Ｉ／Ｆ２５３と光源Ｉ／Ｆ２５４とこれらを相互に接続するバス２０９とを備える。主記憶部２０２は、揮発性メモリであり、ＣＰＵ２０１の作業領域として用いられる。補助記憶部２０３は、磁気ディスク、半導体フラッシュメモリ等の不揮発性メモリであり、制御装置２１の各種機能を実現するためのプログラムを記憶する。無線モジュール２０４は、ルータ３を介してネットワークＮＴに接続されている。無線モジュール２０４は、無線ＬＡＮ規格（例えばＩＥＥＥ８０２．１１ｂ／ｇ／ｎ）に適合した通信方式でルータ３と通信する。

センサＩ／Ｆ２５１は、開閉センサ２３に接続され、開閉センサ２３から開検知信号が入力されている間、開検知情報をＣＰＵ２０１へ繰り返し出力する。撮像装置Ｉ／Ｆ２５２は、撮像装置２２に接続され、ＣＰＵ２０１から撮像装置２２に冷蔵室３０内の撮影を指令するための撮影指令情報が入力されると、撮像装置２２に冷蔵室３０内の撮影をさせるための制御信号を生成して撮像装置２２へ出力する。また、撮像装置Ｉ／Ｆ２５２は、撮像装置２２から前述の画像信号が入力されると、入力された画像信号に対応する画像情報を生成する。更に、撮像装置Ｉ／Ｆ２５２は、例えばＤＭＡ（Direct Memory Access）コントローラを有し、生成した画像情報を補助記憶部２０３へＤＭＡ転送する。

移動装置Ｉ／Ｆ２５３は、移動装置２５が有するモータ２５０１を駆動するドライバ２５０２に接続されている。移動装置Ｉ／Ｆ２５３は、ＣＰＵ２０１から撮像装置２２を移動させるためにモータ２５０１を駆動するための移動制御情報が入力されると、入力された移動制御情報に応じた期間だけ制御信号をドライバ２５０２へ出力し続ける。光源Ｉ／Ｆ２５４は、点灯装置２６に接続され、光源制御信号を点灯装置２６へ出力することにより光源２４を点灯させる。光源Ｉ／Ｆ２５４は、ＣＰＵ２０１から入力される光源制御情報に基づいて、対応する光源制御信号を生成して点灯装置２６へ出力する。

ＣＰＵ２０１は、補助記憶部２０３が記憶するプログラムを主記憶部２０２に読み出して実行することにより、開閉判定部２１１、光源制御部２１２、移動制御部２１３、撮影制御部２１４および転送部２１５として機能する。なお、ＣＰＵ２０１は、更に、扉３１、３２が開状態で維持されている時間に相当する開時間を計測する開時間計測部（図示せず）と、開時間が予め設定された基準時間以上であるか否かを判定する開時間判定部（図示せず）と、開時間判定部により開時間が基準時間以上であると判定されるとブザーを鳴動させる報知部（図示せず）としても機能する。また、補助記憶部２０３は、画像記憶部２３１と発光強度記憶部２３２と撮像位置記憶部２３３とを有する。画像記憶部２３１は、撮像装置２２により撮影された画像を示す画像情報を記憶する。更に、主記憶部２０２は、画像記憶部２３１が記憶する画像情報のサーバ５への転送が完了したか否かを示す完了フラグ情報を記憶する。この完了フラグ情報は、「ＯＦＦ」状態の場合、画像情報のサーバ５への転送が完了していないことを示し、「ＯＮ」状態の場合、画像情報のサーバ５への転送が完了していることを示す。

発光強度記憶部２３２は、例えば図４に示すように、光源２４の発光強度を示す発光強度情報を、撮像装置２２の位置を示す撮像位置情報に対応づけて記憶する。ここで、例えば図５（Ａ）に示すように、光源２４が冷蔵室３０の上部に設けられている場合、位置Ｐｏｓ１が最も光源２４に近く、位置Ｐｏｓ３が最も光源２４から遠くなる。また、位置Ｐｏｓ１は、棚３３と冷蔵室３０の天井との間の鉛直方向における中間位置Ｃ１よりも上方に位置する。位置Ｐｏｓ２は、棚３３と棚３４の間の鉛直方向における中間位置Ｃ２よりも上方に位置する。位置Ｐｏｓ３は、棚３４と冷蔵室３０の底との間の鉛直方向における中間位置Ｃ３よりも上方に位置する。そして、図５（Ｂ）に示すように、撮像装置２２は、各位置Ｐｏｓ１、Ｐｏｓ２、Ｐｏｓ３において、棚３３、３４または冷蔵室３０の底に載置された物品を上方から見下ろすように俯角を持って撮像する（図５（Ｂ）中の領域Ａ１、Ａ２、Ａ３参照）。発光強度情報は、光源２４と撮像装置２２との間の距離が大きいほど、光源２４の発光強度が大きくなるように設定されている。例えば図４に示すように、発光強度情報ＬＵ［１］、ＬＵ［２］、ＬＵ［３］が、それぞれ位置Ｐｏｓ１、Ｐｏｓ２、Ｐｏｓ３の撮像位置情報に対応付けられているとする。この場合、発光強度情報ＬＵ［１］が示す発光強度が最も小さく、発光強度情報ＬＵ［３］が示す発光強度が最も大きい。そして、発光強度情報ＬＵ［２］が示す発光強度は、発光強度情報ＬＵ［１］が示す発光強度よりも大きく、発光強度情報ＬＵ［３］が示す発光強度よりも小さく設定されている。撮像位置記憶部２３３は、例えば撮像装置２２を初期位置から位置Ｐｏｓ１、Ｐｏｓ２、Ｐｏｓ３それぞれへ移動させる際のモータ２５０１の回転数を、撮像位置情報に対応づけて記憶している。

図３に戻って、開閉判定部２１１は、センサＩ／Ｆ２５１からの開検知情報の入力有無に基づいて、冷蔵庫１の扉３１、３２が開状態または閉状態のいずれであるかを判定する。開閉判定部２１１は、センサＩ／Ｆ２５１から開検知情報が入力されている間、扉３１、３２が開状態であると判定し、センサＩ／Ｆ２５１から開検知情報が入力されなくなると、扉３１、３２が開状態であると判定する。

移動制御部２１３は、撮像装置２２を冷蔵室３０における予め設定された３つの位置Ｐｏｓ１、Ｐｏｓ２、Ｐｏｓ３のうちのいずれか１つに移動させるための移動制御情報を生成して移動装置２５へ出力する。ここで、移動制御部２１３は、撮像装置２２を最初に位置Ｐｏｓ１へ移動させてから位置Ｐｏｓ２、Ｐｏｓ３の順に撮像装置２２を移動させるものであってもよいし、最初に位置Ｐｏｓ３へ移動させてから位置Ｐｏｓ２、Ｐｏｓ１の順に撮像装置２２を移動させるものであってもよい。また、移動制御部２１３は、撮像装置２２の位置Ｐｏｓ１、Ｐｏｓ２、Ｐｏｓ３への移動が完了すると、その旨を通知する移動完了通知を撮影制御部２１４へ通知する。

撮影制御部２１４は、移動制御部２１３から前述の移動完了通知が通知されると、前述の撮影指令情報を生成して撮像装置Ｉ／Ｆ２５２へ出力する。

光源制御部２１２は、開閉判定部２１１により扉３１、３２が開状態であると判定されると、光源２４の発光強度を予め設定された最大発光強度にして光源２４を点灯させるための光源制御情報を生成して光源Ｉ／Ｆ２５４へ出力する。一方、光源制御部２１２は、開閉判定部２１１により扉３１、３２が閉状態であると判定されると、光源２４の発光強度を撮像装置２２の位置Ｐｏｓ１、Ｐｏｓ２、Ｐｏｓ３に応じた発光強度にして光源２４を点灯させるための光源制御情報を生成して光源Ｉ／Ｆ２５４へ出力する。更に、光源制御部２１２は、光源２４を消灯させる場合、光源２４を消灯させるための光源制御情報を生成して光源Ｉ／Ｆ２５４へ出力する。また、光源制御部２１２は、開閉判定部２１１により扉３１、３２が閉状態であると判定されると、光源２４と撮像装置２２との間の距離が大きいほど、光源２４の発光強度が大きくなるように光源制御情報を生成する。具体的には、光源制御部２１２は、例えば図４に示すように、位置Ｐｏｓ１、Ｐｏｓ２、Ｐｏｓ３に対応づけられ、光源２４と撮像装置２２との間の距離が大きいほど発光強度が大きくなるように設定された発光強度情報に基づいて、光源制御情報を生成する。

図３に戻って、転送部２１５は、画像記憶部２３１が記憶する画像情報を、無線モジュール２０４、ルータ３およびネットワークＮＴを介してサーバ５へ転送する。

図６（Ａ）に示すように、サーバ５は、ＣＰＵ５０１と主記憶部５０２と補助記憶部５０３と通信部５０４とこれらを相互に接続するバス５０９と、を有する。主記憶部５０２は、主記憶部２０２と同様に、揮発性メモリであり、補助記憶部５０３は、補助記憶部２０３と同様に、不揮発性メモリであり、サーバ５の各種機能を実現するためのプログラムを記憶する。通信部５０４は、無線モジュールまたは有線通信インタフェースであり、ネットワークＮＴを介して、庫内撮影システム２との間で通信する。

ＣＰＵ５０１は、補助記憶部５０３が記憶するプログラムを主記憶部５０２に読み出して実行することにより、画像取得部５１１、状態判定部５１２、画像送信部５１３および認証部５１４として機能する。補助記憶部５０３は、庫内撮影システム２から受信した画像情報を記憶する画像記憶部５３１と、端末装置４の認証情報を記憶する認証情報記憶部５３２と、を有する。ここで、認証情報は、例えば端末装置４に固有の識別情報、端末装置４の利用者に付与されたパスワードを示すパスワード情報等を含む。

画像取得部５１１は、庫内撮影システム２から送信される冷蔵庫１の冷蔵室３０内を撮影して得られる画像を示す画像情報を取得し、取得した画像情報を画像記憶部５３１に記憶させる。状態判定部５１２は、ＣＰＵ５０１の負荷量を示す負荷量情報を取得し、取得した負荷量情報が示す負荷量が予め設定された基準負荷量以下であるか否かを判定する。また、状態判定部５１２は、画像記憶部５３１の空き容量を示す空き容量情報を取得し、取得した空き容量情報が示す空き容量が予め設定された基準空き容量以上であるか否かを判定する。

画像送信部５１３は、サーバ５に対して画像情報の送信を要求する画像送信要求情報に含まれる端末装置４の識別情報に基づいて、画像記憶部５３１が記憶する画像情報の中から画像送信要求情報の送信元の端末装置４に対応する画像情報を取得する。そして、画像送信部５１３は、取得した画像情報を、前述の画像送信要求情報の送信元の端末装置４へ送信する。認証部５１４は、画像送信要求情報を受信すると、認証情報記憶部５３２が記憶する認証情報を参照して、受信した画像送信要求情報に含まれる端末装置４の識別情報、パスワード情報等に基づいて、端末装置４について認証処理を実行する。

図６（Ｂ）に示すように、端末装置４は、例えば携帯端末であり、ＣＰＵ４０１と主記憶部４０２と補助記憶部４０３と通信部４０４と表示部４０５と入力部４０６とこれらを相互に接続するバス４０９とを有する。主記憶部４０２は、主記憶部２０２と同様に、揮発性メモリであり、補助記憶部４０３は、補助記憶部２０３と同様に、不揮発性メモリであり、端末装置４の各種機能を実現するためのプログラムを記憶する。通信部４０４は、無線モジュールまたは有線通信インタフェースであり、ネットワークＮＴを介して、サーバ５との間で通信する。表示部４０５は、液晶ディスプレイのような表示装置とインタフェースとを有し、ＣＰＵ４０１から入力される情報を表示する。入力部４０６は、例えばタッチパネルとインタフェースとを有し、端末装置４の利用者による操作に応じた操作情報をＣＰＵ４０１へ出力する。

ＣＰＵ４０１は、補助記憶部４０３が記憶するプログラムを主記憶部４０２に読み出して実行することにより、操作受付部４１１、画像取得部４１２および表示制御部４１３として機能する。補助記憶部４０３は、サーバ５から受信した画像情報を記憶する画像記憶部４３１を有する。

操作受付部４１１は、端末装置４の利用者が入力部４０６を操作すると、その操作内容に応じた操作情報を受け付ける。画像取得部４１２は、サーバ５に対して画像情報の送信を要求する画像送信要求情報を生成してサーバ５へ送信することによりサーバ５から画像情報を取得し、取得した画像情報を画像記憶部４３１に記憶させる。ここで、画像送信要求情報には、前述のように端末装置４の識別情報、パスワード情報等が含まれる。端末装置４の表示制御部４１３は、操作受付部４１１が受け付けた操作情報に基づいて、画像記憶部４３１が記憶する画像情報を取得して表示部４０５へ出力する。

次に、本実施の形態に係る庫内画像閲覧システム１００の動作について図７および図８を参照しながら説明する。まず、図７に示すように、庫内撮影システム２は、冷蔵庫１の扉３１、３２が閉状態であると判定すると（ステップＳ１）、光源２４の発光強度を撮像装置２２の位置（例えば位置Ｐｏｓ１）に対応する発光強度に設定して点灯させる（ステップＳ２）。次に、庫内撮影システム２は、撮像装置２２を位置（例えば位置Ｐｏｓ１）へ移動させる（ステップＳ３）。続いて、庫内撮影システム２は、撮像装置２２が撮像位置に移動した後、冷蔵室３０内の撮影を実行する（ステップＳ４）。その後、庫内撮影システム２は、撮影して得られた画像を示す画像情報を画像記憶部２３１に記憶させる（ステップＳ５）。そして、庫内撮影システム２は、冷蔵庫１の扉３１、３２が閉状態であると判定される限り、冷蔵室３０内における予め設定された複数の位置Ｐｏｓ１、Ｐｏｓ２、Ｐｏｓ３それぞれに撮像装置２２を移動させた状態での撮影が全て完了するまでステップＳ２からＳ５までの処理を繰り返し実行する。

そして、庫内撮影システム２は、冷蔵室３０内の撮影が完了したと判定したとする（ステップＳ６）。ここで、庫内撮影システム２は、冷蔵室３０内における予め設定された複数の位置Ｐｏｓ１、Ｐｏｓ２、Ｐｏｓ３それぞれに撮像装置２２を移動させた状態での撮影が全て完了したときに冷蔵室３０内の撮影が完了したと判定する。この場合、サーバ５に対して画像情報の転送の許可を要求する転送許可要求情報が、庫内撮影システム２からサーバ５へ送信される（ステップＳ７）。

一方、サーバ５は、転送許可要求情報を受信すると、画像記憶部５３１の空き容量を示す空き容量情報とＣＰＵ５０１の負荷量を示す負荷量情報とを取得する（ステップＳ８）。ここで、サーバ５は、画像記憶部５３１の空き容量が予め設定された基準容量以上であり、ＣＰＵ５０１の負荷量が予め設定された基準負荷量以下であると判定したとする（ステップＳ９）。この場合、庫内撮影システム２に対して画像情報の転送の許可を通知する転送許可情報が、サーバ５から庫内撮影システム２へ送信される（ステップＳ１０）。そして、庫内撮影システム２が転送許可情報を受信すると、画像情報が、庫内撮影システム２からサーバ５へ転送される（ステップＳ１１）。一方、サーバ５は、画像情報を受信すると、受信した画像情報を画像記憶部５３１に記憶させる（ステップＳ１２）。

その後、利用者が端末装置４の入力部４０６を介して表示部４０５に冷蔵室３０内の画像を表示させるための操作を行ったとする。この場合、端末装置４は、利用者が入力部４０６に対して行った操作に対応する操作情報を受け付ける（ステップＳ１３）。そうすると、図８に示すように、サーバ５に対して画像情報の送信を要求する画像送信要求情報が、端末装置４からサーバ５へ送信される（ステップＳ１４）。一方、サーバ５は、画像送信要求情報を受信すると、認証情報記憶部５３２が記憶する認証情報を参照して、受信した画像送信要求情報に含まれる端末装置４の識別情報、パスワード情報等に基づいて、端末装置４について認証処理を実行する（ステップＳ１５）。そして、サーバ５は、認証処理が成功すると、画像情報の端末装置４への送信を許可すると判定する（ステップＳ１６）。この場合、サーバ５において端末装置４の識別情報に基づいて画像記憶部５３１から選出された画像情報が、サーバ５から画像送信要求情報の送信元の端末装置４へ送信される（ステップＳ１７）。一方、端末装置４は、画像情報を受信すると、受信した画像情報が示す冷蔵室３０内の画像を表示部４０５に表示させる（ステップＳ１８）。

次に、本実施の形態に係る制御装置２１が実行する庫内撮影処理について図９を参照しながら説明する。この庫内撮影処理は、例えば制御装置２１を含む庫内撮影システム２を備える冷蔵庫１へ電源が投入されたことを契機として開始される。また、主記憶部２０２が記憶する冷蔵室３０内の撮影が完了しているか否かを示す完了フラグ情報は、「ＯＦＦ」状態に設定されているものとする。まず、開閉判定部２１１は、冷蔵庫１の扉３１、３２が閉状態であるか否かを判定する（ステップＳ１０１）。開閉判定部２１１により扉３１、３２が開状態と判定される限り（ステップＳ１０１：Ｎｏ）、ステップＳ１０１の処理が繰り返し実行される。

一方、開閉判定部２１１が、扉３１、３２が閉状態であると判定すると（ステップＳ１０１：Ｙｅｓ）、光源制御部２１２が、冷蔵室３０内における予め設定された複数の位置Ｐｏｓ１、Ｐｏｓ２、Ｐｏｓ３それぞれに撮像装置２２を移動させた状態での撮影が全て完了して冷蔵室３０内の撮影が完了したか否かを判定する（ステップＳ１０２）。光源制御部２１２は、冷蔵室３０内の撮影が未だ完了していないと判定すると（ステップＳ１０２：Ｎｏ）、光源２４の発光強度を未だ撮影を実行していない撮像装置２２の位置に対応する発光強度に設定するための光源制御情報を生成して光源Ｉ／Ｆ２５４へ出力する（ステップＳ１０３）。このとき、光源Ｉ／Ｆ２５４は、光源制御情報に対応する光源制御信号を点灯装置２６へ出力し、点灯装置２６は、光源制御信号に基づいて設定された発光強度で光源２４を点灯させる。

次に、移動制御部２１３は、撮像装置２２を未だ撮影を実行していない位置へ移動させるための移動制御情報を生成して移動装置Ｉ／Ｆ２５３へ出力する（ステップＳ１０４）。このとき、移動装置Ｉ／Ｆ２５３は、移動制御情報に対応する移動制御信号を生成して移動装置２５へ出力し、移動装置２５は、入力される移動制御信号に基づいて、撮像装置２２を移動させる。ここで、移動制御部２１３は、撮像装置２２の移動が完了すると移動完了通知を撮影制御部２１４へ通知する。

続いて、撮影制御部２１４は、移動制御部２１３から移動完了通知が通知されると、前述の撮影指令情報を生成して撮像装置Ｉ／Ｆ２５２へ出力する（ステップＳ１０５）。このとき、撮像装置Ｉ／Ｆ２５２は、撮影指令情報が入力されると撮像装置２２に冷蔵室３０内の撮影をさせるための制御信号を生成して撮像装置２２へ出力し、撮像装置２２は、制御信号が入力されると冷蔵室３０内の撮影を実行する。撮像装置２２は、撮影した画像を示す画像信号を撮像装置Ｉ／Ｆ２５２へ出力し、撮像装置Ｉ／Ｆ２５２は、入力された画像信号に対応する画像情報を生成して画像記憶部２３１へ転送する。そして、画像記憶部２３１が、撮像装置Ｉ／Ｆ２５２から転送された画像情報を記憶する（ステップＳ１０６）。その後、後述のステップＳ１０９の処理が実行される。なお、画像記憶部２３１がステップＳ１０６において画像情報を記憶するのと同時に、開閉判定部２１１が後述のステップＳ１０９の処理を実行してもよい。この場合、後述のステップＳ１０９において、開閉判定部２１１により扉３１、３２が閉状態であると判定されてから（ステップＳ１０９：Ｎｏ）、再び前述のステップＳ１０１からステップＳ１０３を経て、前述のステップＳ１０４の処理が実行されるまでの時間が、ＣＰＵ２０１の処理能力が高いほど短くなる。例えばＣＰＵ２０１の動作周波数が高ければ、撮像装置２２が移動を停止することなく、冷蔵室３０内の撮影を完了することができる。

また、光源制御部２１２は、ステップＳ１０２の処理において、冷蔵室３０内の撮影が完了していると判定すると（ステップＳ１０２：Ｙｅｓ）、光源２４を消灯させるための光源制御情報を生成して光源Ｉ／Ｆ２５４へ出力する（ステップＳ１０７）。このとき、光源Ｉ／Ｆ２５４は、光源制御情報を受けて点灯装置２６への光源制御信号の出力を停止し、点灯装置２６が光源２４を消灯させる。次に、画像転送処理が実行される（ステップＳ１０８）。

この画像転送処理では、例えば図１０に示すように、まず、転送部２１５が、主記憶部２０２が記憶する完了フラグ情報が「ＯＦＦ」状態に設定されているか否かを判定する（ステップＳ２０１）。転送部２１５により完了フラグ情報が「ＯＮ」状態に設定されていると判定されると（ステップＳ２０１：Ｎｏ）、そのまま後述するステップＳ１０９の処理が実行される。

一方、転送部２１５は、完了フラグ情報が「ＯＦＦ」状態に設定されていると判定すると（ステップＳ２０１：Ｙｅｓ）、転送許可要求情報を生成してサーバ５へ送信する（ステップＳ２０２）。次に、転送部２１５は、サーバ５から転送許可情報を受信したか否かを判定する（ステップＳ２０３）。転送部２１５は、サーバ５から転送許可情報を受信したと判定すると（ステップＳ２０３：Ｙｅｓ）、画像記憶部２３１が記憶する画像情報をサーバ５へ転送する（ステップＳ２０４）。続いて、転送部２１５は、完了フラグ情報を「ＯＮ」状態に設定し（ステップＳ２０５）、後述するステップＳ１０９の処理が実行される。

一方、転送部２１５は、サーバ５から転送許可情報を受信していないと判定すると（ステップＳ２０３：Ｎｏ）、予め設定された転送待機基準時間が経過したか否かを判定する（ステップＳ２０６）。転送部２１５により転送待機基準時間が経過していないと判定されると（ステップＳ２０６：Ｎｏ）、そのまま後述するステップＳ１０９の処理が実行される。一方、転送部２１５は、転送待機基準時間が経過したと判定すると（ステップＳ２０６：Ｙｅｓ）、完了フラグ情報を「ＯＮ」状態に設定する。

図９に戻って、その後、開閉判定部２１１は、冷蔵庫１の扉３１、３２が開状態であるか否かを判定する（ステップＳ１０９）。開閉判定部２１１により扉３１、３２が閉状態であると判定されると（ステップＳ１０９：Ｎｏ）、再びステップＳ１０１の処理が実行される。一方、開閉判定部２１１が、扉３１、３２が開状態であると判定すると（ステップＳ１０９：Ｙｅｓ）、撮影制御部２１４は、撮影停止指令情報を生成して撮像装置Ｉ／Ｆ２５２へ出力する（ステップＳ１１０）。このとき、撮像装置Ｉ／Ｆ２５２は、撮影停止指令情報が入力されると撮像装置２２に撮影を停止させるための制御信号を生成して撮像装置２２へ出力し、撮像装置２２は、制御信号が入力されると撮影を停止する。

次に、転送部２１５は、主記憶部２０２が記憶する完了フラグ情報を「ＯＦＦ」状態に設定する（ステップＳ１１１）。続いて、光源制御部２１２は、光源２４を最大発光強度で発光させるための光源制御情報を生成して光源Ｉ／Ｆ２５４へ出力する（ステップＳ１１２）。このとき、光源Ｉ／Ｆ２５４は、光源制御情報に対応する光源制御信号を点灯装置２６へ出力し、点灯装置２６は、光源制御信号に基づいて最大発光強度で光源２４を点灯させる。その後、再びステップＳ１０１の処理が実行される。

次に、本実施の形態に係るサーバ５が実行するサーバ制御処理について図１１を参照しながら説明する。このサーバ制御処理は、例えばサーバ５へ電源が投入されたことを契機として開始される。まず、状態判定部５１２は、庫内撮影システム２から画像情報の転送の許可を要求する転送許可要求情報を受信したか否かを判定する（ステップＳ３０１）。状態判定部５１２は、転送許可要求情報を受信していないと判定すると（ステップＳ３０１：Ｎｏ）、後述するステップＳ３０６の処理を実行する。

一方、状態判定部５１２は、転送許可要求情報を受信したと判定すると（ステップＳ３０１：Ｙｅｓ）、画像記憶部５３１の空き容量を示す空き容量情報およびＣＰＵ５０１の負荷量を示す負荷量情報を取得する（ステップＳ３０２）。次に、状態判定部５１２は、取得した負荷量情報が示す負荷量が前述の基準負荷量以下であり且つ取得した空き容量情報が示す空き容量が前述の基準空き容量以上であるか否かを判定する（ステップＳ３０３）。状態判定部５１２によりＣＰＵ５０１の負荷量が基準負荷量を超えている或いは画像記憶部５３１の空き容量が基準空き容量未満であると判定されると（ステップＳ３０３：Ｎｏ）、後述するステップＳ３０６の処理が実行される。

一方、状態判定部５１２が、ＣＰＵ５０１の負荷量が基準負荷量以下であり且つ画像記憶部５３１の空き容量が基準空き容量以上であると判定すると（ステップＳ３０３：Ｙｅｓ）、画像取得部５１１は、転送許可情報を生成して庫内撮影システム２へ送信する（ステップＳ３０４）。続いて、画像取得部５１１は、庫内撮影システム２から画像情報を受信し、受信した画像情報を画像記憶部５３１に記憶させる（ステップＳ３０５）。

その後、認証部５１４は、端末装置４から画像情報の送信を要求する画像送信要求情報を受信したか否かを判定する（ステップＳ３０６）。認証部５１４により画像送信要求情報を受信していないと判定されると（ステップＳ３０６：Ｎｏ）、再びステップＳ３０１の処理が実行される。一方、認証部５１４は、端末装置４から画像送信要求情報を受信したと判定したとする（ステップＳ３０６：Ｙｅｓ）。この場合、認証部５１４は、認証情報記憶部５３２が記憶する認証情報を参照して、受信した画像送信要求情報に含まれる端末装置４の識別情報、パスワード情報等に基づいて、端末装置４について認証処理を実行する（ステップＳ３０７）。次に、認証部５１４が、認証処理に失敗し、画像情報の端末装置４への送信を許可しないと判定すると（ステップＳ３０８：Ｎｏ）、再びステップＳ３０１の処理が実行される。一方、認証部５１４が、認証処理に成功し、画像情報の端末装置４への送信を許可すると判定したとする（ステップＳ３０８：Ｙｅｓ）。この場合、画像送信部５１３は、画像送信要求情報の送信元の端末装置４の識別情報に基づいて、画像記憶部５３１から画像情報を選出し、選出した画像情報を、画像送信要求情報の送信元の端末装置４へ送信する（ステップＳ３０９）。その後、再びステップＳ３０１の処理が実行される。

次に、本実施の形態に係る端末装置４が実行する画像閲覧処理について図１２を参照しながら説明する。この画像閲覧処理は、例えば端末装置４へ電源が投入された後、端末装置４において冷蔵庫１の冷蔵室３０内の画像を閲覧するためのプログラムが起動されたことを契機として開始される。まず、操作受付部４１１は、表示部４０５に冷蔵室３０内の画像を表示させるための操作に対応する操作情報を受け付けたか否かを判定する（ステップＳ４０１）。例えば端末装置４の利用者が、端末装置４の入力部４０６を介して表示部４０５に冷蔵室３０内の画像を表示させるための操作を行うと、操作受付部４１１が前述の操作情報を受け付ける。操作受付部４１１は、前述の操作情報を受け付けない限り（ステップＳ４０１：Ｎｏ）、ステップＳ４０１の処理を繰り返し実行する。

一方、操作受付部４１１が、前述の操作情報を受け付けたと判定すると（ステップＳ４０１：Ｙｅｓ）、画像取得部４１２は、サーバ５からの画像情報の送信を要求する画像送信要求情報をサーバ５へ送信する（ステップＳ４０２）。次に、画像取得部４１２は、画像送信要求情報を送信した後、画像情報を受信したか否かを判定する（ステップＳ４０３）。画像取得部４１２が、画像送信要求情報を送信した後、予め設定された画像情報受信待機期間内に画像情報を受信しない場合（ステップＳ４０３：Ｎｏ）、再びステップＳ４０１の処理が実行される。

一方、画像取得部４１２が、画像情報を受信した場合（ステップＳ４０３：Ｙｅｓ）、受信した画像情報を画像記憶部４３１に記憶させる。そして、表示制御部４１３は、画像記憶部４３１から画像取得部４１２により取得された画像情報が示す冷蔵室３０内の画像を表示部４０５に表示させる（ステップＳ４０４）。その後、再びステップＳ４０１の処理が実行される。

以上説明したように、本実施の形態に係る庫内撮影システム２によれば、光源制御部２１２が、開閉判定部２１１により冷蔵庫１の扉３１、３２が開状態であると判定されると、光源２４の発光強度を最大発光強度にして光源２４を点灯させるための光源制御情報を生成して光源Ｉ／Ｆ２５４へ出力する。一方、光源制御部２１２は、開閉判定部２１１により扉３１、３２が閉状態であると判定されると、光源２４の発光強度を撮像装置２２の位置Ｐｏｓ１、Ｐｏｓ２、Ｐｏｓ３に応じた発光強度にして光源２４を点灯させるための光源制御情報を生成して光源Ｉ／Ｆ２５４へ出力する。これにより、冷蔵庫１の冷蔵室３０内における撮像装置２２の位置Ｐｏｓ１、Ｐｏｓ２、Ｐｏｓ３の違いによる撮影対象である物品の明るさのバラツキが抑制されるので、撮像装置２２によって撮影されることにより得られた冷蔵室３０内の撮影画像の視認性を向上させることができる。

以上、本発明の各実施の形態について説明したが、本発明は前述の各実施の形態によって限定されるものではない。例えば、光源制御部２１２が、開閉判定部２１１により冷蔵庫１の扉３１、３２が閉状態であると判定されると、撮像装置２２により撮影して得られる画像の平均輝度が予め設定された基準輝度以上となるように光源制御情報を生成するものであってもよい。例えば図１３に示すように、本変形例に係る制御装置２０２１では、ＣＰＵ２０１が、補助記憶部２０３が記憶するプログラムを主記憶部２０２に読み出して実行することにより、開閉判定部２１１、光源制御部２１２、移動制御部２１３、撮影制御部２１４、転送部２１５、画像取得部２２１６および輝度算出部２２１７として機能する。なお、図１３において実施の形態と同様の構成については図３と同一の符号を付している。

画像取得部２２１６は、画像記憶部２３１が記憶する、撮像装置２２により撮影された画像を示す画像情報を取得する。輝度算出部２２１７は、画像取得部２２１６により取得された画像情報が示す画像全体における平均輝度を算出する。

光源制御部２１２は、輝度算出部２２１７により算出された平均輝度が予め設定された基準輝度以上であるか否かを判定する。そして、光源制御部２１２は、平均輝度が基準輝度未満の場合、平均輝度が予め設定された基準輝度以上となるように光源制御情報を生成して光源Ｉ／Ｆ２５４へ出力する。

次に、本変形例に係る制御装置２０２１が実行する庫内撮影処理について図１４を参照しながら説明する。なお、図１４において、実施の形態に係る庫内撮影処理と同様の処理については、図９と同一の符号を付している。ステップＳ１０１からＳ１０４までの処理が実行された後、撮影制御部２１４が、前述の撮影指令情報を生成して撮像装置Ｉ／Ｆ２５２へ出力する（ステップＳ１０５）。このとき、実施の形態で説明したように、撮像装置２２が、冷蔵室３０内の撮影を実行し、撮像装置２２により撮影して得られた画像を示す画像情報が、画像記憶部２３１へ転送され、画像記憶部２３１が、転送された画像情報を記憶する。

次に、画像取得部２２１６が、画像記憶部２３１が記憶する画像情報を取得し、輝度算出部２２１７が、画像取得部２２１６により取得された画像情報が示す画像全体における平均輝度を算出する（ステップＳ５０１）。

続いて、光源制御部２１２は、輝度算出部２２１７により算出された平均輝度が予め設定された基準輝度以上であるか否かを判定する（ステップＳ５０２）。ここで、光源制御部２１２により前述の平均輝度が基準輝度以上であると判定されると（ステップＳ５０２：Ｙｅｓ）、そのままステップＳ１０６以降の処理が実行される。

一方、光源制御部２１２は、平均輝度が基準輝度未満と判定すると（ステップＳ５０２：Ｎｏ）、平均輝度が予め設定された基準輝度以上となるように光源制御情報を生成して光源Ｉ／Ｆ２５４へ出力する（ステップＳ５０３）。その後、再びステップＳ１０５の処理が実行される。

本構成によれば、撮像装置２２により撮影された冷蔵室３０内の画像の平均輝度に基づいて、光源２４の発光強度を調節する。これにより、撮像装置２２によって撮影されることにより得られた冷蔵室３０内の画像の平均輝度のバラツキが抑制されるので、冷蔵室３０内の撮影画像の視認性を向上させることができる。

実施の形態に係る庫内撮影システム２において、例えば光源２４以外に複数の光源を備え、光源２４の発光強度が一定であり、撮像装置２２の位置に応じて光源２４以外の複数の光源の点灯状態を切り替えるものであってもよい。例えば図１５（Ａ）に示す冷蔵庫３００１の庫内撮影システム３００２のように、光源２４以外に４つのサブ光源３０２４ａ、３０２４ｂ、３０２４ｃ、３０２４ｄを備えるものであってもよい。ここで、サブ光源３０２４ａ、３０２４ｂは、冷蔵室３０の−Ｘ方向側の内壁における棚３３、３４それぞれの下方に配設されている。また、サブ光源３０２４ｃ、３０２４ｄは、冷蔵室３０の＋Ｘ方向側の内壁における棚３３、３４の下方に配設されている。

また、本変形例に係る補助記憶部２０３は、図１６に示すように、画像記憶部２３１とサブ光源記憶部３２３２と撮像位置記憶部２３３とを有する。なお、図１６において、実施の形態と同様の構成については図３と同一の符号を付している。点灯装置３０２６は、光源２４と４つのサブ光源３０２４ａ、３０２４ｂ、３０２４ｃ、３０２４ｄとに接続されており、制御装置３０２１から入力される光源制御情報に基づいて、４つのサブ光源３０２４ａ、３０２４ｂ、３０２４ｃ、３０２４ｄを選択的に点灯させる。サブ光源記憶部３２３２は、例えば図１７に示すように、撮像装置２２による撮影の際に点灯させるサブ光源３０２４ａ、３０２４ｂ、３０２４ｃ、３０２４ｄそれぞれの識別情報を、撮像装置２２の位置を示す撮像位置情報に対応づけて記憶する。ここで、位置Ｐｏｓ２、Ｐｏｓ３それぞれに対応づけられたサブ光源３０２４ａ、３０２４ｂ、３０２４ｃ、３０２４ｄは、位置Ｐｏｓ２、Ｐｏｓ３との間の距離が予め設定された基準距離以内となっている。

光源制御部３２１２は、開閉判定部２１１により扉３１、３２が閉状態であると判定されると、冷蔵室３０内における互いに異なる位置に配置された４つのサブ光源３０２４ａ、３０２４ｂ、３０２４ｃ、３０２４ｄのうち、少なくとも撮像装置２２との間の距離が基準距離以内であるサブ光源を点灯させるように光源制御情報を生成する。具体的には、光源制御部３２１２は、例えば図１７に示すような、位置Ｐｏｓ１、Ｐｏｓ２、Ｐｏｓ３に対応づけられ且つ光源２４と撮像装置２２との間の距離が基準距離以内であるサブ光源のサブ光源識別情報に基づいて、光源制御情報を生成する。

例えば冷蔵庫３００１の扉３１、３２が閉状態であり、撮像装置２２が、棚３３の下の位置Ｐｏｓ２（図５（Ａ）および（Ｂ）参照）に移動して撮像するとする。この場合、光源制御部３２１２は、サブ光源記憶部３２３２が記憶するサブ光源識別情報を参照して、光源２４とともにサブ光源３０２４ａ、３０２４ｃを点灯させるための光源制御情報を生成して光源Ｉ／Ｆ２５４へ出力するようにすればよい。また、冷蔵庫３００１の扉３１、３２が閉状態であり、撮像装置２２が、棚３４の下の位置Ｐｏｓ３（図５（Ａ）および（Ｂ）参照）に移動して撮像するとする。この場合、光源制御部３２１２は、サブ光源記憶部３２３２が記憶するサブ光源識別情報を参照して、光源２４とともにサブ光源３０２４ｂ、３０２４ｄを点灯させるための光源制御情報を生成して光源Ｉ／Ｆ２５４へ出力するようにすればよい。

なお、本変形例では、光源制御部３２１２が、撮像装置２２の位置Ｐｏｓ１、Ｐｏｓ２、Ｐｏｓ３に応じて、４つのサブ光源３０２４ａ、３０２４ｂ、３０２４ｃ、３０２４ｄのうち、撮像装置２２の位置に対応するサブ光源のみを点灯させる例について説明した。但し、これに限らず、光源制御部３２１２が、例えば４つのサブ光源３０２４ａ、３０２４ｂ、３０２４ｃ、３０２４ｄの全てを点灯させた状態になるように光源制御情報を生成するものであってもよい。この場合、光源制御部３２１２は、少なくとも撮像装置２２との間の距離が基準距離以内であるサブ光源の発光強度を、撮像装置２２の位置に応じた発光強度にしてサブ光源を点灯させるように光源制御情報を生成するようにすればよい。

また、例えば図１５（Ｂ）に示す冷蔵庫４００１の庫内撮影システム４００２のように、例えば光源２４以外に撮像装置２２とともに移動する光源４０２４を備え、光源２４の発光強度が一定であるものであってもよい。光源２４以外に撮像装置２２の上方に位置し移動装置２５により撮像装置２２とともに移動する光源４０２４を備えるものであってもよい。例えば冷蔵庫４００１の扉３１、３２が閉状態であり、撮像装置２２が、棚３３の下の位置Ｐｏｓ２または棚３４の下の位置Ｐｏｓ３（図５（Ａ）および（Ｂ）参照）に移動して撮像するとする。この場合、制御装置４０２１は、光源２４とともに光源４０２４を点灯させるための光源制御信号を点灯装置４０２６へ出力するようにすればよい。

これらの構成によれば、冷蔵室３０内に収納された物品が多く冷蔵室３０内において光源２４から放射される光が十分に届かない場所があっても、撮像装置２２の撮影対象の物品が配置された場所の周囲を照明することができる。従って、撮像装置２２によって撮影されることにより得られた冷蔵室３０内の画像の明暗のバラツキが抑制されるので、画像の見栄えを向上させることができる。

実施の形態に係る庫内撮影システム２において、例えば冷蔵室３０内に保管された物品の種類を認識する画像認識部を備えるものであってもよい。本変形例に係る冷蔵庫は、例えば図１５（Ａ）と同様の構成を有し、冷蔵室３０内における互いに異なる位置に配設された４つのサブ光源３０２４ａ、３０２４ｂ、３０２４ｃ、３０２４ｄを備える。例えば図１８に示すように、本変形例に係る点灯装置５０２６は、光源２４と４つのサブ光源３０２４ａ、３０２４ｂ、３０２４ｃ、３０２４ｄとに接続されており、制御装置５０２１から入力される光源制御情報に基づいて、４つのサブ光源３０２４ａ、３０２４ｂ、３０２４ｃ、３０２４ｄを選択的に点灯させる。また、制御装置５０２１では、ＣＰＵ２０１が、補助記憶部２０３が記憶するプログラムを主記憶部２０２に読み出して実行することにより、開閉判定部２１１、光源制御部５２１２、移動制御部２１３、撮影制御部２１４、転送部２１５、画像取得部５２１６および画像認識部５２１７として機能する。なお、図１８において実施の形態と同様の構成については図３と同一の符号を付している。また、補助記憶部２０３は、画像記憶部２３１と発光強度記憶部２３２と撮像位置記憶部２３３とサブ光源記憶部５２３４と認識情報記憶部５２３５とを有する。サブ光源記憶部５２３４は、例えば図１９に示すように、撮像装置２２による撮影の際に点灯させるサブ光源３０２４ａ、３０２４ｂ、３０２４ｃ、３０２４ｄそれぞれの識別情報を、撮像装置２２の位置を示す撮像位置情報に対応づけて記憶する。ここで、サブ光源記憶部５２３４は、４つのサブ光源３０２４ａ、３０２４ｂ、３０２４ｃ、３０２４ｄを、冷蔵室３０内の一方側（図１５（Ａ）における−Ｘ方向側）に配置された第１群のサブ光源３０２４ａ、３０２４ｂと、冷蔵室３０内の他方側（図１５（Ａ）における＋Ｘ方向側）に配置された第２群のサブ光源３０２４ｃ、３０２４ｄと、に分類して記憶している。認識情報記憶部５２３５は、撮像装置２２により撮影して得られた画像を示す画像情報を用いて画像認識を行う際に用いるテンプレート情報を、対応する物品を示す物品情報に対応づけて記憶する。

図１８に戻って、画像取得部５２１６は、画像記憶部２３１が記憶する、撮像装置２２により撮影された画像を示す画像情報を取得する。画像認識部５２１７は、画像取得部５２１６により取得された画像情報に基づいて、冷蔵室３０内に保管された物品の種類を認識する。画像認識部５２１７は、４つのサブ光源３０２４ａ、３０２４ｂ、３０２４ｃ、３０２４ｄの点灯状態を変化させながら撮像装置２２により撮影して得られる複数種類の画像情報に基づいて、冷蔵室３０内に保管された物品の種類を認識する。

次に、本変形例に係る制御装置５０２１が実行する庫内撮影処理について図２０および図２１を参照しながら説明する。なお、図２０および図２１において、実施の形態に係る庫内撮影処理と同様の処理については、図９および図１０と同一の符号を付している。ステップＳ１０１からＳ１０４までの処理が実行された後、光源制御部５２１２は、第１群に属するサブ光源３０２４ａ、３０２４ｂのうちの少なくとも１つを点灯させるための光源制御情報を生成して光源Ｉ／Ｆ２５４へ出力する（ステップＳ６０１）。ここで、光源制御部５２１２は、例えば図１９に示すような、位置Ｐｏｓ１、Ｐｏｓ２、Ｐｏｓ３に対応づけられた第１群に属するサブ光源識別情報に基づいて、光源制御情報を生成する。例えば撮像装置２２が位置Ｐｏｓ１に位置する場合、光源制御部５２１２は、第１群に属するサブ光源３０２４ａを点灯させるように光源制御情報を生成する。また、撮像装置２２が位置Ｐｏｓ２に位置する場合、光源制御部５２１２は、第１群に属するサブ光源３０２４ａ、３０２４ｂの両方を点灯させるように光源制御情報を生成する。このとき、光源Ｉ／Ｆ２５４は、光源制御情報に対応する光源制御信号を点灯装置５０２６へ出力し、点灯装置５０２６は、光源制御信号に基づいてサブ光源３０２４ａ、３０２４ｂのうちの少なくとも１つを点灯させる。

次に、撮影制御部２１４が、前述の撮影指令情報を生成して撮像装置Ｉ／Ｆ２５２へ出力する（ステップＳ６０２）。このとき、実施の形態で説明したように、撮像装置２２が、冷蔵室３０内の撮影を実行し、撮像装置２２により撮影して得られた画像を示す画像情報が、画像記憶部２３１へ転送される。そして、画像記憶部２３１が、転送された画像情報を記憶する（ステップＳ６０３）。

続いて、光源制御部５２１２は、点灯しているサブ光源３０２４ａ、３０２４ｂを消灯させるための光源制御情報を生成して光源Ｉ／Ｆ２５４へ出力する（ステップＳ６０４）。このとき、光源Ｉ／Ｆ２５４は、光源制御情報を受けて点灯装置５０２６への光源制御信号の出力を停止し、点灯装置５０２６がサブ光源３０２４ａ、３０２４ｂを消灯させる。

その後、光源制御部５２１２は、第２群に属するサブ光源３０２４ｃ、３０２４ｄのうちの少なくとも１つを点灯させるための光源制御情報を生成して光源Ｉ／Ｆ２５４へ出力する（ステップＳ６０５）。ここで、光源制御部５２１２は、例えば図１９に示すような、位置Ｐｏｓ１、Ｐｏｓ２、Ｐｏｓ３に対応づけられた第２群に属するサブ光源識別情報に基づいて、光源制御情報を生成する。例えば撮像装置２２が位置Ｐｏｓ１に位置する場合、光源制御部５２１２は、第２群に属するサブ光源３０２４ｃを点灯させるように光源制御情報を生成する。また、撮像装置２２が位置Ｐｏｓ２に位置する場合、光源制御部５２１２は、第２群に属するサブ光源３０２４ｃ、３０２４ｄの両方を点灯させるように光源制御情報を生成する。このとき、光源Ｉ／Ｆ２５４は、光源制御情報に対応する光源制御信号を点灯装置５０２６へ出力し、点灯装置５０２６は、光源制御信号に基づいてサブ光源３０２４ｃ、３０２４ｄのうちの少なくとも１つを点灯させる。

次に、撮影制御部２１４が、前述の撮影指令情報を生成して撮像装置Ｉ／Ｆ２５２へ出力する（ステップＳ６０６）。このとき、実施の形態で説明したように、撮像装置２２が、冷蔵室３０内の撮影を実行し、撮像装置２２により撮影して得られた画像を示す画像情報が、画像記憶部２３１へ転送される。そして、画像記憶部２３１が、転送された画像情報を記憶する（ステップＳ６０７）。

続いて、光源制御部５２１２は、点灯しているサブ光源３０２４ａ、３０２４ｂを消灯させるための光源制御情報を生成して光源Ｉ／Ｆ２５４へ出力する（ステップＳ６０８）。このとき、光源Ｉ／Ｆ２５４は、光源制御情報を受けて点灯装置５０２６への光源制御信号の出力を停止し、点灯装置５０２６がサブ光源３０２４ｃ、３０２４ｄを消灯させる。

その後、画像取得部５２１６は、画像記憶部２３１から画像情報を取得し、画像認識部５２１７が、画像取得部５２１６により取得された画像情報に基づいて、冷蔵室３０内に保管された物品の種類を認識する画像認識処理を実行する（ステップＳ６０９）。ここで、画像取得部５２１６は、撮像装置２２の位置Ｐｏｓ１、Ｐｏｓ２、Ｐｏｓ３毎に、サブ光源３０２４ａ、３０２４ｂを点灯させた状態で撮影して得られた画像を示す画像情報と、サブ光源３０２４ｃ、３０２４ｄを点灯させた状態で撮影して得られた画像を示す画像情報と、を取得する。そして、画像認識部５２１７は、撮像装置２２の位置Ｐｏｓ１、Ｐｏｓ２、Ｐｏｓ３毎に、２種類の画像情報と、認識情報記憶部５２３５が記憶するテンプレート情報と、を用いて、画像認識処理を実行する。また、画像認識部５２１７は、画像認識処理により得られた物品情報を、主記憶部２０２に記憶させる。次に、ステップＳ１０９以降の処理が実行される。

また、本変形例に係る画像転送処理では、図２１に示すように、ステップＳ２０１からＳ２０３の処理が実行され、転送部２１５が、サーバ５から転送許可情報を受信したと判定したとする（ステップＳ２０３：Ｙｅｓ）。この場合、転送部２１５は、画像情報をサーバ５へ転送した後（ステップＳ２０４）、主記憶部２０２が記憶する、画像認識処理により得られた物品情報を、サーバ５へ転送する（ステップＳ７０１）。その後、ステップＳ２０５以降の処理が実行される。

なお、本変形例では、冷蔵庫が４つのサブ光源３０２４ａ、３０２４ｂ、３０２４ｃ、３０２４ｄを備える例について説明したが、サブ光源の数は４つに限定されるものではなく、例えば３つ以下であってもよいし、５つ以上であってもよい。また、本変形例では、４つのサブ光源３０２４ａ、３０２４ｂ、３０２４ｃ、３０２４ｄを第１群、第２群の２つの群に分類する例について説明したが、分類数は２つに限定されるものではなく、３つ以上の群に分類してもよい。この場合、光源制御部５２１２は、３つ以上の群それぞれに属するサブ光源それぞれを順に点灯させていき、撮影制御部２１４が、３つ以上の群それぞれに属するサブ光源を点灯させる毎に撮像装置２２により冷蔵室３０内を撮像させるようにすればよい。

本構成によれば、画像認識部５２１７が、撮像装置２２により冷蔵室３０内を撮影する際、冷蔵室３０に保管された物品への照明の当て方が異なる２種類の画像に対応する画像情報に基づいて、画像認識処理を実行する。これにより、画像認識処理における認識精度を向上させることができるので、サーバ５へ転送される物品情報の信頼性を高めることができる。

実施の形態では、撮像装置２２の位置が３箇所である例について説明したが、撮像装置２２の位置の数は３箇所に限定されるものではなく、２箇所であってもよいし、４箇所以上であってもよい。また、実施の形態において、撮像装置２２により撮影される画像は、静止画像に限定されるものではなく、動画像であってもよい。例えば、撮像装置２２で撮影された画像の画像記憶部２３１への転送速度が高い場合、撮像装置２２を移動させながら撮像装置２２により撮影位置を決めずに（固定せずに）動画像を撮影するようにしてもよい。この場合、発光強度記憶部２３２が記憶する発光強度情報、およびサブ光源記憶部３２３２が記憶するサブ光源識別情報は、撮像位置Ｐｏｓ１、Ｐｏｓ２、Ｐｏｓ３のいずれかを含む撮像範囲に対応づけられ、撮像装置２２が移動する範囲に基づいて、光源制御部２１２，３２１２が光源制御情報を生成する。

また、実施の形態において、撮影制御部２１４が、ＣＰＵ２０１の負荷量を示す負荷量情報を取得し、取得した負荷量情報が示す負荷量が予め設定された基準負荷量以下であると判定すると、撮影指令情報を撮像装置Ｉ／Ｆ２５２へ出力するものであってもよい。これにより、冷蔵室３０内の撮影を開始してから撮影を完了するまでの時間を短縮できる。

また、実施の形態では、移動装置２５が、撮像装置２２を鉛直方向に移動させる例について説明したが、撮像装置２２の移動方向は鉛直方向に限定されるものではない。例えば、移動装置２５が、撮像装置２２を鉛直方向と交差する方向へ移動させるものであってもよい。

実施の形態では、光源制御部２１２が、開閉判定部２１１により扉３１、３２が開状態であると判定されると、光源２４の発光強度を予め設定された最大発光強度にして光源２４を点灯させるための光源制御情報を生成して光源Ｉ／Ｆ２５４へ出力する例について説明した。但し、これに限らず、例えば光源制御部２１２が、開閉判定部２１１により扉３１、３２が開状態であると判定されると、光源２４の発光強度を予め設定された最大発光強度未満の予め設定された発光強度にして光源２４を点灯させるための光源制御情報を生成して光源Ｉ／Ｆ２５４へ出力するものであってもよい。

実施の形態では、庫内撮影システム２が冷蔵庫１に設けられる例について説明したが、庫内撮影システム２が設けられる物品保管庫は、冷蔵庫１に限定されるものではなく、冷蔵庫１以外の他の種類の物品保管庫に設けられていてもよい。

また、本発明に係る制御装置２１、２０２１、３０２１、４０２１、５０２１の各種機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現されてもよい。この場合、ソフトウェアまたはファームウェアは、プログラムとして記述され、プログラムを、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ（Digital Versatile Disc）およびＭＯ（Magneto-Optical Disc）等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータに読み込んでインストールすることにより、前述の各機能を実現することができるコンピュータを構成してもよい。そして、各機能をＯＳ（Operating System）とアプリケーションとの分担、またはＯＳとアプリケーションとの協同により実現する場合等には、ＯＳ以外の部分のみを記録媒体に格納してもよい。

さらに、搬送波に各プログラムを重畳し、通信ネットワークを介して配信することも可能である。例えば、通信ネットワーク上の掲示板（BBS，Bulletin Board System）に当該プログラムを掲示し、ネットワークを介して当該プログラムを配信してもよい。そして、これらのプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前述の処理を実行できるように構成してもよい。

本発明は、冷蔵室内の物品を撮影する機能を有する冷蔵庫および冷蔵庫を制御する制御装置として好適である。

１，３００１，４００１ 冷蔵庫、２，２００２，３００２，４００２，５００２ 庫内撮影システム、３ ルータ、４ 端末装置、５ サーバ、２１、２０２１、３０２１、４０２１、５０２１ 制御装置、２２ 撮像装置、２３ 開閉センサ、２４ 光源、２５ 移動装置、２６，３０２６，４０２６，５０２６ 点灯装置、１００ 庫内画像閲覧システム、２０１，４０１，５０１ ＣＰＵ、２０２，４０２，５０２ 主記憶部、２０３，４０３，５０３ 補助記憶部、２０４ 無線モジュール、２０９，４０９，５０９ バス、２１１ 開閉判定部、２１２，３２１２，５２１２ 光源制御部、２１３ 移動制御部、２１４ 撮影制御部、２１５ 転送部、２３１，４３１，５３１ 画像記憶部、２３２ 発光強度記憶部、２３３ 撮像位置記憶部、２５１ センサＩ／Ｆ、２５２ 撮像装置Ｉ／Ｆ、２５３ 移動装置Ｉ／Ｆ、２５４ 光源Ｉ／Ｆ、４０４，５０４ 通信部、４０５ 表示部、４０６ 入力部、４１１ 操作受付部、４１２，５１１ 画像取得部、４１３ 表示制御部、５１２ 状態判定部、５１３ 画像送信部、５１４ 認証部、５３２ 認証情報記憶部、２２１６，５２１６ 画像取得部、２２１７ 輝度算出部、３２３２，５２３４ サブ光源記憶部、２５０１ モータ、２５０２ ドライバ、３０２４ａ，３０２４ｂ，３０２４ｃ，３０２４ｄ サブ光源、５２１７ 画像認識部、５２３５ 認識情報記憶部、Ｃ１、Ｃ２、Ｃ３：中間位置、ＮＴ ネットワーク、Ｐｏｓ１、Ｐｏｓ２、Ｐｏｓ３ 位置

Claims (10)

1. 物品保管庫の庫内を照明する光源を光源制御情報に基づいて点灯または消灯させる点灯装置と、前記庫内を撮影する撮像装置と、前記庫内において前記撮像装置を移動制御情報に基づいて移動させる移動装置と、を制御する制御装置であって、
   前記物品保管庫の扉が開状態または閉状態のいずれであるかを判定する開閉判定部と、
   前記撮像装置に前記庫内を移動させるための移動制御情報を生成して前記移動装置へ出力する移動制御部と、
   前記開閉判定部により前記扉が開状態であると判定されると、前記光源の発光強度を予め設定された発光強度にして前記光源を点灯させるための光源制御情報を生成して前記点灯装置へ出力し、前記開閉判定部により前記扉が閉状態であると判定されると、前記光源の発光強度を前記撮像装置の位置に応じた発光強度にして前記光源を点灯させるための光源制御情報を生成して前記点灯装置へ出力する光源制御部と、を備える、
   制御装置。
2. 前記移動制御部は、前記撮像装置を前記庫内における予め設定された複数の位置のいずれかに移動させるための移動制御情報を生成する、
   請求項１に記載の制御装置。
3. 前記光源制御部は、前記開閉判定部により前記扉が閉状態であると判定されると、前記光源と前記撮像装置との間の距離が大きいほど、前記光源の発光強度が大きくなるように前記光源制御情報を生成する、
   請求項１または２に記載の制御装置。
4. 前記撮像装置により撮影された画像を示す画像情報を取得する画像取得部と、
   前記画像取得部により取得された画像情報が示す画像の少なくとも一部における平均輝度を算出する輝度算出部と、を更に備え、
   前記光源制御部は、前記開閉判定部により前記扉が閉状態であると判定されると、前記平均輝度が予め設定された基準輝度以上となるように前記光源制御情報を生成する、
   請求項１から３のいずれか１項に記載の制御装置。
5. 前記点灯装置は、更に、前記庫内における互いに異なる位置に配置された複数のサブ光源を光源制御情報に基づいて点灯または消灯させ、
   前記光源制御部は、前記開閉判定部により前記扉が閉状態であると判定されると、前記複数のサブ光源のうち、少なくとも前記撮像装置との間の距離が予め設定された基準距離以内であるサブ光源の発光強度を、前記撮像装置の位置に応じた発光強度にして前記光源を点灯させるように前記光源制御情報を生成する、
   請求項１から４のいずれか１項に記載の制御装置。
6. 前記点灯装置は、更に、前記庫内における互いに異なる位置に配置された複数のサブ光源を光源制御情報に基づいて点灯または消灯させ、
   前記撮像装置により撮影された画像を示す画像情報を取得する画像取得部と、
   前記画像取得部により取得された画像情報に基づいて、前記庫内に保管された物品の種類を認識する画像認識部と、を更に備え、
   前記画像認識部は、前記複数のサブ光源の点灯状態を変化させながら前記撮像装置により撮影して得られる複数種類の画像情報に基づいて、前記庫内に保管された物品の種類を認識する、
   請求項１から５のいずれか１項に記載の制御装置。
7. 物品保管庫の庫内を照明する光源を光源制御情報に基づいて点灯または消灯させる点灯装置と、
   前記庫内を撮影する撮像装置と、
   前記庫内において前記撮像装置を移動制御情報に基づいて移動させる移動装置と、
   前記点灯装置、前記撮像装置および前記移動装置を制御する制御装置と、を備える庫内撮影システムであって、
   前記制御装置は、
   前記物品保管庫の扉が開状態または閉状態のいずれであるかを判定する開閉判定部と、
   前記撮像装置に前記庫内を移動させるための移動制御情報を生成して前記移動装置へ出力する移動制御部と、
   前記開閉判定部により前記扉が開状態であると判定されると、前記光源の発光強度を予め設定された発光強度にして前記光源を点灯させるための光源制御情報を生成して前記点灯装置へ出力し、前記開閉判定部により前記扉が閉状態であると判定されると、前記光源の発光強度を前記撮像装置の位置に応じた発光強度にして前記光源を点灯させるための光源制御情報を生成して前記点灯装置へ出力する光源制御部と、を有する、
   庫内撮影システム。
8. 庫内を照明する光源を光源制御情報に基づいて点灯または消灯させる点灯装置と、前記庫内を撮影する撮像装置と、前記庫内において前記撮像装置を移動制御情報に基づいて移動させる移動装置と、前記点灯装置、前記撮像装置および前記移動装置を制御する制御装置と、を有する庫内撮影システムを備える物品保管庫であって、
   前記制御装置は、
   前記物品保管庫の扉が開状態または閉状態のいずれであるかを判定する開閉判定部と、
   前記撮像装置に前記庫内を移動させるための移動制御情報を生成して前記移動装置へ出力する移動制御部と、
   前記開閉判定部により前記扉が開状態であると判定されると、前記光源の発光強度を予め設定された発光強度にして前記光源を点灯させるための光源制御情報を生成して出力し、前記開閉判定部により前記扉が閉状態であると判定されると、前記光源の発光強度を前記撮像装置の位置に応じた発光強度にして前記光源を点灯させるための光源制御情報を生成して出力する光源制御部と、を有する、
   物品保管庫。
9. 物品保管庫の扉が開状態または閉状態のいずれであるかを判定するステップと、
   前記扉が開状態であると判定されると、前記物品保管庫の庫内の光源の発光強度を予め設定された発光強度に制御するステップと、
   前記扉が閉状態であると判定されると、前記庫内を撮影する撮像装置を前記庫内で移動させるステップと、
   前記光源の発光強度を前記撮像装置の位置に応じた発光強度にして、前記撮像装置により前記物品保管庫の庫内を撮影するステップと、を含む、
   庫内撮影方法。
10. コンピュータを、
    物品保管庫の扉が開状態または閉状態のいずれであるかを判定する開閉判定部、
    前記物品保管庫の庫内を撮影する撮像装置に前記庫内を移動させるための移動制御情報を生成して、前記庫内において前記撮像装置を前記移動制御情報に基づいて移動させる移動装置へ出力する移動制御部、
    前記開閉判定部により前記扉が開状態であると判定されると、前記庫内を照明する光源の発光強度を予め設定された発光強度にして前記光源を点灯させるための光源制御情報を生成して前記光源を光源制御情報に基づいて点灯または消灯させる点灯装置へ出力し、前記開閉判定部により前記扉が閉状態であると判定されると、前記光源の発光強度を前記撮像装置の位置に応じた発光強度にして前記光源を点灯させるための光源制御情報を生成して前記点灯装置へ出力する光源制御部、
    として機能させるためのプログラム。

Images