JP6629899B2 - Camera system, refrigerator - Google Patents
Camera system, refrigerator Download PDFInfo
- Publication number
- JP6629899B2 JP6629899B2 JP2018037461A JP2018037461A JP6629899B2 JP 6629899 B2 JP6629899 B2 JP 6629899B2 JP 2018037461 A JP2018037461 A JP 2018037461A JP 2018037461 A JP2018037461 A JP 2018037461A JP 6629899 B2 JP6629899 B2 JP 6629899B2
- Authority
- JP
- Japan
- Prior art keywords
- camera device
- image
- imaging
- refrigerator
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Devices That Are Associated With Refrigeration Equipment (AREA)
- Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Description
本発明の実施形態は、カメラ装置で撮像した画像情報を外部の操作端末で閲覧するためのカメラシステムに関する。 An embodiment of the present invention relates to a camera system for browsing image information captured by a camera device with an external operation terminal.
従来、庫内を撮像するカメラ装置を設け、画像処理を行うことで食材を管理する冷蔵庫が提案されている（例えば、特許文献１参照）。 2. Description of the Related Art Conventionally, a refrigerator has been proposed in which a camera device that captures an image of the inside of a refrigerator is provided and food ingredients are managed by performing image processing (for example, see Patent Literature 1).
しかしながら、遠隔地等からカメラ装置で撮像した画像情報（例えば、冷蔵庫の庫内の画像）を閲覧したいと考えるユーザが存在する。 However, there is a user who wants to view image information (for example, an image in a refrigerator) taken by a camera device from a remote place or the like.
本発明が解決しようとする課題は、遠隔地等からであっても容易に画像情報を閲覧することができるカメラシステム、冷蔵庫を提供することにある。 The problem to be solved by the present invention is to provide a camera system and a refrigerator that can easily view image information even from a remote place or the like.
実施形態によるカメラシステムは、撮像手段としてのカメラ装置と、カメラ装置で撮像された画像情報を表示する表示端末と、カメラ装置で撮像した画像情報を表示端末に直接又はネットワークを介して送信する送信手段と、カメラ装置の撮像対象となる貯蔵室に収納される収納物の収納量を検知する収納量検知手段と、を備え、収納量検知手段により検知した収納量が変化した際、カメラ装置にて撮像する。 The camera system according to the embodiment transmits via a camera device as an image pickup device, a display terminal that displays image information captured by the camera device, the direct or network the image information captured by the camera device at the end of Table示端A transmitting unit, and a storage amount detecting unit that detects a storage amount of a storage object stored in a storage room to be imaged by the camera device, wherein when the storage amount detected by the storage amount detecting unit changes, Image.
以下、複数の実施形態について、図面を参照しながら説明する。なお、各実施形態において実質的に共通する部位には同一の符号を付し、その詳細な説明は省略する。 Hereinafter, a plurality of embodiments will be described with reference to the drawings. In each of the embodiments, substantially the same parts are denoted by the same reference numerals, and detailed description thereof will be omitted.
（第１実施形態）
以下、第１実施形態について図１から図８を参照しながら説明する。
(1st Embodiment)
Hereinafter, the first embodiment will be described with reference to FIGS. 1 to 8.
図１に示すように、本実施形態のカメラシステム１は、本実施形態における撮像対象である冷蔵庫２、冷蔵庫２に設けられている通信アダプタ３、通信アダプタ３との間で近距離通信などの無線通信を行うアクセスポイント４、携帯端末５（表示端末、外部機器）、サーバ６、および、本実施形態では冷蔵庫２の庫内に設置されているカメラ装置７等により構成されている。これら冷蔵庫２、携帯端末５、サーバ６およびカメラ装置７は、アクセスポイント４および外部ネットワーク８を介して互いに通信可能に接続されている。つまり、本実施形態では、カメラシステム１は、冷蔵庫２の庫内の画像を取得する冷蔵庫２用の画像取得システムとして機能している。
As shown in FIG. 1, a
冷蔵庫２に設けられている通信アダプタ３は、アクセスポイント４との間で近距離無線通信を行うものであり、本実施形態では冷蔵庫２の上部に着脱可能（後付け可能）に設けられている。なお、通信アダプタ３を冷蔵庫２に内蔵した構成としてもよいし、冷蔵庫２とアクセスポイント４との間を有線通信方式で接続してもよい。
The
携帯端末５は、いわゆるスマートフォン（高機能携帯電話）やタブレットＰＣなどを想定しており、住宅内あるいは住宅外から冷蔵庫２やサーバ６との間で通信可能となっている。この携帯端末５は、住宅内であっても、広域通信により外部ネットワーク８を経由して冷蔵庫２側と通信することが可能である。また、携帯端末５の表示部５ａにはタッチパネルが設けられており、ユーザの操作を受け付ける。
The mobile terminal 5 is assumed to be a so-called smartphone (high-performance mobile phone), tablet PC, or the like, and can communicate with the
サーバ６は、周知のコンピュータシステムにより構成されており、画像情報を記憶するための記憶部を備えている。ここで、画像情報とは、画像を示す情報（データ）であり、例えばビットマップ形式やＪＰＥＧ形式、ＭＰＥＧ形式などの周知の静止画あるいは動画フォーマットの画像データや、その画像データを圧縮や暗号化あるいは画像処理などにより変換したデータ等、サーバ６に送信可能であって、最終的に携帯端末５で画像を閲覧することができるものであれば、どのような形式の情報であってもよい。本実施形態では、画像は静止画を想定している。また、サーバ６には、画像情報の他に、冷蔵庫２側にアクセスするための情報（例えばＩＰアドレスなど）や、後述する撮像設定（カメラ装置７で撮像を行うための条件）等を記憶している。
The
次に、カメラシステム１における冷蔵庫２およびカメラ装置７の電気的構成について説明する。
Next, the electrical configuration of the
図２に示すように、撮像対象となる冷蔵庫２は、制御部１０を有している。この制御部１０は、ＣＰＵ１０ａ、ＲＯＭ１０ｂ、ＲＡＭ１０ｃおよびタイマ１０ｄ等を有するマイクロコンピュータにより構成されており、ＲＯＭ１０ｂ等に記憶されているプログラムを実行することで冷蔵庫２の全体を制御する。具体的には、制御部１０は、操作パネル１１から設定された運転状態となるように、温度センサ１２で検出した庫内の温度や開扉センサ１３で検出した扉の開閉状態等に基づいて、周知の冷凍サイクルを構成する冷蔵用冷却器１４や冷凍用冷却器１５およびコンプレッサ１６等を制御する。また、制御部１０は、冷蔵室の扉が開放された際には冷蔵室照明１７を点灯し、野菜室の扉が開放された際には野菜室照明１８を点灯する。また、詳細は後述するが、冷蔵室照明１７および野菜室照明１８は、カメラ装置７に撮像タイミングであること伝達する伝達手段としても機能する。冷蔵庫が有する貯蔵室のうち、冷蔵室は概ね縦長の空間として形成されており、野菜室は概ね横長の空間として形成されている。なお、この冷蔵庫２の構成は一例である。
As shown in FIG. 2, the
カメラ装置７は、本実施形態では、図１に示したように冷蔵庫２の冷蔵室内に２つ、野菜室内に１つの合計３つが設けられている。より具体的には、冷蔵室の中央部に設けられているカメラ装置７（図２に冷蔵室中央部と示す）は、本実施形態では冷蔵室の観音開きの扉の内側（ドアポケットが設けられている側）に、扉が閉鎖された際に冷蔵室のほぼ中央となる位置に取り付けられている。このため、扉が閉鎖された状態では、冷蔵室の全体が、正面側すなわちユーザの視野と同様の状態で撮像される。冷蔵室の下部に設けられているカメラ装置７（図２に冷蔵室下部と示す）は、冷蔵室の最下段の棚板（図示省略。透明材料で形成されている）に設置されており、最下段の棚板に置かれている食材を主として、透明な棚板を透かして上段側の食材等も撮像する。野菜室に設けられているカメラ装置７（図２に野菜室と示す）は、野菜室の扉に設けられており、野菜室の内部を撮像する。
In this embodiment, three camera devices 7 are provided in the refrigerator room of the
このカメラ装置７は、カメラ制御部２０を有している。カメラ制御部２０は、ＣＰＵ２０ａ、ＲＯＭ２０ｂ、ＲＡＭ２０ｃおよびタイマ２０ｄ等を有するマイクロコンピュータで構成されており、カメラ装置７全体を制御する。このカメラ制御部２０は、通信モジュール２１、撮像部２２、撮像照明部２３、電池２４、照度センサ２５、加速度センサ２６、および温度センサ２７等に接続されており、通信モジュール２１による画像情報の送信、撮像部２２による撮像タイミングの制御、照明部２３の点灯制御（撮像する際の光源の確保）、照度センサ２５による後述する撮像指示の受信（受け付け）等の制御を行っている。また、カメラ制御部２０は、本実施形態では、撮像した画像の歪みを補正する画像処理も行っている。
This camera device 7 has a camera control unit 20. The camera control unit 20 includes a microcomputer having a
通信モジュール２１は、撮像部２２で撮像した画像情報を外部機器に送信する。本実施形態では、画像情報は、アクセスポイント４を介してサーバ６に送信され、サーバ６にて複数の画像情報が履歴として記憶される。
The
撮像部２２は、ＣＣＤやＣＭＯＳ等の撮像素子２２ａ(図３参照。詳細は後述する）を備えている。照明部２３は、発光ダイオード（ＬＥＤ）を備えており、撮像部２２で撮像する際の光源となる。なお、図示は省略するが、カメラ装置７には電源スイッチも設けられている。電池２４は、カメラ装置７の各部に電力を供給する。つまり、カメラ装置７は、内蔵する電池２４により駆動されることから電源ケーブルが不要となり、任意の場所に設置することができる。この電池２４は、本実施形態では冷蔵庫２内のような比較的低温の場所であっても優れた放電特性を示すリチウム電池を採用している。
The
照度センサ２５は、カメラ装置７が設置されている環境の照度を検出する。本実施形態の場合、照度センサ２５は、冷蔵室照明１７（あるいは野菜室照明１８）により照らされた庫内の照度を検出する。この照度センサ２５は、以下に説明するように、携帯端末５からの撮像指示を受信するための受信手段としても機能する。
The
カメラ装置７は上記したように電池２４により駆動されることから、常にカメラ制御部２０等が動作状態となっていると、電池２４が早く消耗することになる。このため、カメラ装置７は、常にはスリープモードのような低消費電力状態となっており、撮像タイミングになると通常状態となるように構成されている。さて、ユーザからの撮像指示を受信するためには、何らかの受信手段を駆動しておく必要がある。その場合、通信モジュール２１を駆動させてしまうと、撮像指示が庫内場合であっても常に電力が消費されてしまう。
Since the camera device 7 is driven by the
そこで、本実施形態では、撮像指示は冷蔵庫２側の通信アダプタ３で受信する構成とし、撮像指示を間接的にカメラ装置７に伝達する構成としている。具体的には、カメラ装置７は、常には低消費電力状態で待機しており、その状態で電力消費が比較的少ない照度センサ２５に通電しておき、撮像指示を受信した冷蔵庫２が冷蔵室照明１７や野菜室照明１８を所定パターンで点滅させると、その照度の変化を照度センサ２５で検出して通常状態に復帰し、照度の変化パターンが予め登録されている撮像指示用のパターンと一致すると、撮像指示が送られてきたと判定する。このように、照度センサ２５は、撮像指示を受信するための受信手段として機能している。
Therefore, in the present embodiment, the imaging instruction is received by the
加速度センサ２６は、所謂三軸センサであり、カメラ装置７に加わる加速度を互いに直交する三軸方向でそれぞれ検出することで、カメラ装置７の設置向き（設置の姿勢）を判断する。本実施形態のカメラ装置７は、図３に示すように、概ね直方体の形状に形成された筐体を有している。以下、図３のように筐体が上下方向に縦長に設置されている状態を便宜的に縦置きと称し、筐体が左右方向に縦長に設置されている状態を便宜的に横置きと称する。
The
さて、このような形状のカメラ装置７は、撮像素子２２ａの画素数が縦と横とで異なる構成としており、縦置きおよび横置きにおいて撮像素子２２ａの向きが変化する。具体的には、縦置きの場合には撮像素子２２ａも縦長（縦方向の画素数が横方向の画素数よりも多くなる）となり、横置きの場合には撮像素子２２ａも横置き（横方向の画素数が縦方向の画素数よりも多くなる）となる。上記したように冷蔵室は縦長の空間であり、その内部をできる限り広い視野で撮像するためには、縦長の視野で撮像することが望ましい。一方、野菜室は、上記したように横長の空間であり、その内部をできる限り広い視野で撮像するためには、横長の視野で撮像することが望ましい。このため、冷蔵室ではカメラ装置７を縦置きとし、野菜室では横置きとすることが望ましい。そして、冷蔵庫２のように上下方向が設置時に規定される場合には、撮像された画像情報を携帯端末５で表示する際にも、ユーザが実際に冷蔵庫２を見たときと同様に表示されること（つまり、上下方向が統一されていること）が望ましい。
The camera device 7 having such a shape has a configuration in which the number of pixels of the
そこで、加速度センサ２６を設け、カメラ装置７が自身の設置向きを判断可能とすることで、縦置きと横置きとで上下方向が統一されるように画像処理する（画像を回転させる）ことが可能となる。本実施形態の場合、冷蔵室中央部のカメラ装置７は縦置きで設置されており、冷蔵室下部および野菜室のカメラ装置７は横置きで設置されている。
Therefore, by providing the
温度センサ２７は、カメラ装置７が設置された場所の温度を検知する。この温度センサ２７は、例えば基準となる基準温度を設定しておき、基準温度より高ければ冷蔵室に設置されていると判断し、基準温度よりも低ければ冷凍室に設置されていると判断する等、カメラ装置７の設置場所を判断する目安となる。このため、例えばカメラ装置７が冷凍室に設置されていると判断した場合には、故障等の虞が懸念されるため、「冷凍室に置いていませんか？ 冷蔵室か野菜室に置いてください」等、設置場所が想定外である旨の案内やアドバイスあるいは警告などを例えば携帯端末５にて報知する。
The
ここで、カメラ装置７による撮像タイミングについて説明する。 Here, the imaging timing by the camera device 7 will be described.
カメラ装置７は、図５に示す撮像処理を実行している。具体的には、カメラ装置７は、電源がＯＮされると、通常状態よりも電力消費が少ない低消費電力状態（スリープモード等）に移行する。この低消費電力状態は、上記したように照度センサ２５による照度の変化の検出が行われている。そして、カメラ装置７は、撮像タイミングになったか否かを判定する（Ｓ１）。本実施形態では、撮像タイミングとして、以下の２つが設定されている。
The camera device 7 performs the imaging process shown in FIG. Specifically, when the power of the camera device 7 is turned on, the camera device 7 shifts to a low power consumption state (such as a sleep mode) in which power consumption is smaller than in a normal state. In this low power consumption state, the
・予め設定されている撮像時刻：後述するように、カメラ装置７には所定条件として規則的に撮像するタイミングである撮像時刻が設定される。カメラ装置７は、サーバ６等から現在時刻を取得するとともに、タイマ２０ｄにより時刻を計時しており、撮像時刻になると、撮像タイミングになったと判定する。
A preset imaging time: As will be described later, an imaging time, which is a timing for regularly imaging, is set in the camera device 7 as a predetermined condition. The camera device 7 acquires the current time from the
・撮像指示を受信したとき：上記したように、照度センサ２５にて撮像指示を示す照度の変化を検知すると、撮像タイミングになったと判定する。
When an imaging instruction is received: As described above, when the
カメラ装置７は、いずれかの撮像タイミングになったと判定すると（Ｓ１：ＹＥＳ）、例えば冷蔵室の室内を撮像し（Ｓ２）、撮像した画像情報をサーバ６へ送信する（Ｓ３）。このステップＳ３では、カメラ装置７は、自身の通信モジュール２１でアクセスポイント４との間で通信を行うことで、冷蔵庫２を経由せずに画像情報をサーバ６に送信する。そして、サーバ６は、画像情報を受信すると、撮像された時刻等の撮像条件と対応付けて画像情報を記憶する。また、サーバ６は、過去に送信された画像情報が存在する場合には、それらを含めて所定数の画像データを撮像履歴（図６等参照）として記憶する。
When the camera device 7 determines that any of the image capturing timings has come (S1: YES), it captures an image of, for example, a refrigerator room (S2), and transmits the captured image information to the server 6 (S3). In this step S3, the camera device 7 transmits image information to the
さて、ユーザは、サーバ６に記憶された画像情報を携帯端末５で閲覧することができる。以下、携帯端末５における画像情報の表示態様およびカメラ装置７に対する設定方法を図５から図８を参照しながら説明する。
Now, the user can browse the image information stored in the
ユーザがサーバ６にアクセスすると、携帯端末５の画面には、図５に示すトップ画面が表示される。このトップ画面には、冷蔵庫２に関する情報を表示するための運転状況ボタンＭ１、庫内の食材を管理するための食材管理ボタンＭ２、カメラ装置７で撮像した画像情報を表示するための庫内カメラボタンＭ３、冷蔵庫２の節電機能を設定するための節電設定ボタンＭ４、操作方法等を表示するための取扱説明書ボタンＭ５、ヘルプ機能を利用するためのＱ＆ＡボタンＭ６、現在の冷蔵庫２の運転状態（消費電力や設定状態）を表示する運転状態表示部Ｍ７、最新の画像情報を表示する最新画像表示部Ｍ８、画像情報の履歴を参照するための履歴ボタンＭ９等が設けられている。
When the user accesses the
この状態で庫内カメラボタンＭ３あるいは履歴ボタンＭ９がタッチ操作されると、携帯端末５は図６に示す画像表示画面に切り替わる。なお、この図６は、冷蔵室中央付近に設置されたカメラ装置７で撮像した画像情報を表示する画面の一例を示しており、時刻表示ボタンＭ１０、画像表示部Ｍ１１、選択ボタンＭ１２、撮像ボタンＭ１３、回転ボタンＭ１４、ステータス表示部Ｍ１５、設定ボタンＭ１６等が表示されている。 When a touch operation is performed on the internal camera button M3 or the history button M9 in this state, the portable terminal 5 switches to the image display screen shown in FIG. FIG. 6 shows an example of a screen for displaying image information captured by the camera device 7 installed near the center of the refrigerator compartment, and includes a time display button M10, an image display section M11, a selection button M12, and an image capture button. M13, a rotation button M14, a status display section M15, a setting button M16, and the like are displayed.
時刻表示ボタンＭ１０は、サーバ６に記憶されている画像情報が撮像された撮像時刻（撮像条件）を選択するためのボタンであり、ユーザによりいずれかの時刻表示ボタンＭ１０がタッチ操作されると、そのボタンに示されている撮像時刻に撮像された画像が画像表示部Ｍ１１に表示される。図６では、「６／７ ＰＭ３：００撮影」が選択されている状態をハッチングにて模式的に示している。この状態で例えば「６／６ ＰＭ３：００撮影」がタッチ操作されると、画像表示部Ｍ１１の表示が連動して切り替わる。なお、本実施形態では過去５つの画像情報を選択できるようになっているが、選択できる数はこれに限定されるものでは無く、例えば最新の画像情報と１日前の画像情報とを表示する等、その数を変更してもよい。
The time display button M10 is a button for selecting an imaging time (imaging condition) at which the image information stored in the
画像表示部Ｍ１１は、選択された画像情報を表示する領域であり、図６の場合、冷蔵室中央付近に設置されたカメラ装置７により撮像された画像情報が表示されている。この場合、カメラ装置７の設置向きと同様に、縦長の画像情報が表示されている。そして、この画像情報が撮像された撮像時刻が時刻表示ボタンＭ１０により示されている。また、本実施形態ではカメラ装置７側にて広角レンズの歪みを補正しているので、画像表示部Ｍ１１には歪みの無い画像情報が表示されている。このように、携帯端末５は、画像情報に加えて、当該画像情報を撮像した際の撮像条件を同一画面にて表示する。 The image display unit M11 is an area for displaying the selected image information. In the case of FIG. 6, the image information captured by the camera device 7 installed near the center of the refrigerator compartment is displayed. In this case, vertically long image information is displayed in the same manner as the installation direction of the camera device 7. The image capturing time at which the image information was captured is indicated by a time display button M10. Further, in the present embodiment, since the distortion of the wide-angle lens is corrected on the camera device 7 side, image information without distortion is displayed on the image display unit M11. As described above, the mobile terminal 5 displays, on the same screen, the imaging conditions at the time of imaging the image information, in addition to the image information.
選択ボタンＭ１２は、カメラ装置７が複数設置されている場合にカメラ装置７を選択するためのボタンである。図６の場合、本実施形態では３つ設けられているカメラ装置７のうち、冷蔵室中央付近に設置されたカメラ装置７に対応する「冷蔵室１」、野菜室に設置されたカメラ装置７に対応する「野菜室１」、冷蔵室下部に設置されたカメラ装置７に対応する「冷蔵室２」が表示されている。ユーザは、いずれかの選択ボタンＭ１２をタッチ操作することで、所望のカメラ装置７で撮像された画像情報を表示させることができる。なお、図６では、「冷蔵室１」が選択されている状態をハッチングにて模式的に示している。この選択ボタンＭ１２は、カメラ装置７が設置されている場所を示すボタンとしても機能する。なお、これらの選択ボタンＭ１２は、カメラ装置７の設置台数に応じて表示されており、後述する設定画面にて設定が行われたカメラ装置７に対応した数のボタンが表示される。
The selection button M12 is a button for selecting the camera device 7 when a plurality of camera devices 7 are installed. In the case of FIG. 6, among the three camera devices 7 provided in the present embodiment, the “
撮像ボタンＭ１３は、現時点での画像情報を撮像するためのボタンであり、ユーザが撮像ボタンＭ１３をタッチ操作すると、上記した撮像指示が冷蔵庫２を経由してカメラ装置７に伝達され、カメラ装置７にて現時点での画像情報の撮像が行われる。画像情報が撮像されると、その画像情報がサーバ６に送信され、画像表示部Ｍ１１の表示が更新される。
The imaging button M13 is a button for imaging current image information. When the user touches the imaging button M13, the above imaging instruction is transmitted to the camera device 7 via the
回転ボタンＭ１４は、画像表示部Ｍ１１に表示されている画像を回転させる。なお、本実施形態では上記したようにカメラ装置７側にて上下方向の判定をしているので使用することは少ないが、例えば加速度センサ２６を備えていないカメラ装置７の場合、回転ボタンＭ１４をタッチ操作することで画像情報の上下を変更することができる。
The rotation button M14 rotates an image displayed on the image display unit M11. In the present embodiment, since the determination in the up-down direction is performed on the camera device 7 side as described above, it is rarely used. For example, in the case of the camera device 7 not including the
ステータス表示部Ｍ１５は、カメラ装置７の状態およびカメラ装置７との間の通信状態のうち少なくとも一方の状態を表示するとともに、電池２４の残量を表示する。ここで、カメラ装置７の状態とは、例えば温度センサ２７により検出したカメラ装置７の設置環境の温度等が想定される。例えばカメラ装置７が冷凍室に設置された場合、温度が氷点下となり、レンズが結露したり曇ったりする等の不具合が生じるおそれがある。そのため、例えば温度センサ２７で検出された温度が氷点下の場合、「カメラの設置場所を確認してください」等のメッセージがステータス表示部Ｍ１５に表示される。
The status display unit M15 displays at least one of the status of the camera device 7 and the communication status with the camera device 7, and displays the remaining amount of the
あるいは、ユーザが撮像ボタンＭ１３をタッチ操作してから例えば５分程度待っても新たな画像情報が取得できない場合、通信エラーが発生しているとして、ステータス表示部Ｍ１５に「通信エラーが発生しました」等の通信状態を示すメッセージが表示される。なお、電池２４の残量もカメラ装置７の状態を示す情報であると言える。このとき、ステータス表示部Ｍ１５を正常であれば黒色で表示し、エラーが発生すれば赤色で表示する等、その表示態様を変化させて、エラーの発生をユーザに認識させるようにしてもよい。
Alternatively, if new image information cannot be acquired after waiting for about 5 minutes, for example, after the user touches the imaging button M13, it is determined that a communication error has occurred, and the message "Communication error has occurred." A message indicating the communication state such as "" is displayed. It can be said that the remaining amount of the
設定ボタンＭ１６は、カメラ装置７に対する各種の条件設定（撮像設定）を行う設定画面（図８参照）を表示するためのボタンである。この設定画面については後述する。 The setting button M16 is a button for displaying a setting screen (see FIG. 8) for setting various conditions (imaging settings) for the camera device 7. This setting screen will be described later.
このような図６の表示状態において選択ボタンＭ１２により「野菜室１」が選択されると、図７に示すように、画像表示部Ｍ１１には野菜室に設置されたカメラ装置７で撮像された画像情報が表示される。この場合、上記したようにカメラ装置７は横置きで設置されているので、画像表示部Ｍ１１には横長の画像情報が表示されている。このように、携帯端末５は、縦長の視野の画像情報と横長の視野の画像情報とのいずれも表示可能である。
When “
さて、図６あるいは図７に示す表示状態においてユーザが設定ボタンＭ１６をタッチ操作すると、携帯端末５は、図８に示す設定画面に切り替わる。つまり、カメラシステム１では、カメラ装置７に対する撮像設定を、携帯端末５から設定可能になっている。この設定画面では、カメラ装置７に対する各種の設定が行われる。設定画面には、項目表示部Ｍ１７に、設置場所設定エリアＭ１８、撮像頻度設定エリアＭ１９、曜日指定エリアＭ２０、時刻指定エリアＭ２１、設置向き設定エリアＭ２２、決定ボタンＭ２３、リセットボタンＭ２４、および戻るボタンＭ２５等が表示されている。なお、本実施形態では、これらの設定はサーバ６に設定情報として記憶されている。
When the user touches the setting button M16 in the display state shown in FIG. 6 or 7, the portable terminal 5 switches to the setting screen shown in FIG. That is, in the
設置場所設定エリアＭ１８は、カメラ装置７の設置場所を設定する。本実施形態では、冷蔵庫２に対しては「冷蔵室１」、「冷蔵室２」、「冷蔵室３」、「野菜室１」、「野菜室２」、「野菜室３」の６つが予め設置場所として登録されている。ユーザは、カメラ装置７を冷蔵室に設置した際には例えば「冷蔵室１」を選択する等、カメラ装置７の設置場所を設定する。
The installation location setting area M18 sets the installation location of the camera device 7. In the present embodiment, the
撮像頻度設定エリアＭ１９は、撮像頻度を設定する。本実施形態では、撮像頻度（撮像するタイミング）として、毎日定期的（規則的）に撮像時刻になると撮像する「毎日」、指定した曜日に定期的に撮像時刻になると撮像する「曜日指定」、土日や祝日等を除いた平日に定期的に撮像時刻になると撮像する「平日のみ」、ユーザにより撮像指示が行われたときのみ撮像する「ユーザ指定」が予め登録されており、ユーザは、いずれかを選択することでカメラ装置７の撮像方法を選択することができる。つまり、本実施形態では、撮像方法が予め登録されており、ユーザはいずれかを選択することで、撮像方法を設定することができる。 The imaging frequency setting area M19 sets the imaging frequency. In the present embodiment, as the imaging frequency (imaging timing), “every day”, which is imaged at the imaging time regularly (regularly) every day, “specified day of the week”, which is periodically imaged at the specified day of the week, “Weekdays only”, which is to be imaged at a regular imaging time on weekdays excluding weekends and holidays, and “user designation”, which is to be imaged only when an imaging instruction is given by a user, are registered in advance. By selecting the above, the imaging method of the camera device 7 can be selected. That is, in the present embodiment, the imaging method is registered in advance, and the user can set the imaging method by selecting one of them.
これらの撮像方法のうち、「ユーザ指定」は、単独でも選択できるが、他のいずれかと同時に選択することもできる。このため、カメラ装置７は、定期的およびユーザにより撮像指示が行われたときに画像情報を撮像することができるとともに、携帯端末５は、定期的に撮像された画像情報、およびユーザにより撮像指示が行われたことにより撮像された画像情報の少なくとも一方を表示することができる。 Of these imaging methods, “user specification” can be selected alone or simultaneously with any of the other. For this reason, the camera device 7 can capture the image information periodically and when the user gives an image capturing instruction, and the portable terminal 5 can store the image information regularly captured and the image capturing instruction by the user. Is performed, at least one of the image information captured is displayed.
曜日指定エリアＭ２０は、撮像頻度設定エリアＭ１９にて「曜日指定」が選択された際に所望の曜日を選択するためのボタンであるとともに、「毎日」が選択された場合には全てが選択状態となり、「平日のみ」が選択された場合には「月」〜「金」が選択状態となる。 The day designation area M20 is a button for selecting a desired day when “day designation” is selected in the imaging frequency setting area M19, and all buttons are in a selected state when “daily” is selected. When "Weekdays only" is selected, "Month" to "Fri" are selected.
時刻指定エリアＭ２１は、撮像時刻を設定するためのものであり、ユーザにより希望する時刻が設定される。例えば、帰宅前に冷蔵庫２の中を確認したい場合には帰宅前の時刻（例えば、午後３時等）のように設定したり、一人暮らしであれば朝食を作った後の状態を把握するために出勤時刻（例えば、午前７時等）のように設定したりすることができる。
The time designation area M21 is for setting an imaging time, and a desired time is set by the user. For example, if you want to check the inside of the
設置向き設定エリアＭ２２は、設定対象となるカメラ装置７が縦置きであるか横置きであるかを設定する。なお、この設定は、カメラ装置７が自身で設置向きを判定できない場合に主に使用されるものであるが、上記した図６（縦置きの例）や図７（横置きの例）に示した画像情報を表示する際の表示態様を縦長とするか横長とするかの設定情報としても利用できる。 The installation orientation setting area M22 sets whether the camera device 7 to be set is vertically or horizontally. Note that this setting is mainly used when the camera apparatus 7 cannot determine the installation direction by itself, and is shown in FIG. 6 (an example of vertical installation) and FIG. 7 (an example of horizontal installation) described above. It can also be used as setting information as to whether the display mode when displaying the image information is portrait or landscape.
決定ボタンＭ２３は、上記した各種の撮像設定を決定（登録）するためのボタンであり、リセットボタンＭ２４は変更した撮像設定を変更前の設定に戻すためのボタンである。また、戻るボタンＭ２５は、設定画面に遷移する前の表示画面に戻るためのボタンである。 The decision button M23 is a button for deciding (registering) the various imaging settings described above, and the reset button M24 is a button for returning the changed imaging settings to the settings before the change. The return button M25 is a button for returning to the display screen before transition to the setting screen.
このように、カメラシステム１では、カメラ装置７により定期的に、あるいはユーザが撮像指示を行った時刻に撮像された画像を、例えば遠隔地等からでも、携帯端末５によって閲覧することができる。
As described above, in the
以上説明した本実施形態によれば次のような効果を得ることができる。 According to the embodiment described above, the following effects can be obtained.
カメラシステム１は、撮像した画像情報をサーバ６等の外部機器に送信するカメラ装置７と、カメラ装置７で撮像された画像情報を表示する携帯端末５等の表示端末とを備え、表示端末は、カメラ装置７により所定条件で撮像された画像情報およびユーザにより撮像指示が行われたことにより撮像された画像情報のうち少なくとも一方（本実施形態では双方）を表示する。これにより、ユーザは、携帯端末５等の表示端末を所持していれば、遠隔地等からであっても容易に画像情報を閲覧することができる。
The
さらに、実施形態のように冷蔵庫２を撮像対象とする場合、それほど頻繁に庫内の状況が変化するわけでは無いという現実的な実情もあり、例えば所定の撮像時刻に定期的に撮像するだけであっても、実用上、十分な利便性を提供することができる。勿論、ユーザが希望する場合には撮像指示を行えばよい。また、撮像するタイミングの所定条件として、食品の収納量が変化したタイミングや、食品の収納量が変化したと推定されるタイミングを設定してもよい。例えば、棚や容器の重量を測定する重量センサ（食品収納量検知手段）を備え、重量が変化した場合に撮像してもよい。これにより、収納量が変化したときだけ撮像することになり、通信のロスが少なくなる。また、電池の消耗を抑えることもできる。食品収納量検知手段としては、赤外線センサ、画像認識手段、庫内の光量を検知する受講料検知手段、扉が開放されると食品を使用（取り出し）あるいは入れたと推定して扉開閉手段（開扉センサ１３や、ソレノイド等を利用する扉開閉機構等）を利用してもよい。
Furthermore, in the case where the
また、実施形態のようにサーバ６に画像情報を記憶する構成であれば、例えばインターネット等を介してどこからでも画像情報を閲覧することができるとともに、カメラ装置７側には大容量の記憶手段を設ける必要がなく、製造コストを低減できるとともに、画像情報を閲覧する際にはカメラ装置７が動作していなくても良いので、電池２４の消耗を抑制することができる。
Further, if the configuration is such that image information is stored in the
カメラ装置７に対する撮像設定を、携帯端末５等の表示端末から設定可能であるので、遠隔地からであっても設定の変更・更新を行うことができ、利便性が向上する。 Since the imaging setting for the camera device 7 can be set from a display terminal such as the mobile terminal 5, the setting can be changed and updated even from a remote place, and the convenience is improved.
携帯端末５等の表示端末は、画像情報に加えて、当該画像情報を撮像した際の撮像条件（日付等）を表示するので、いつ撮像されたものかを容易に把握することができる。また、実施形態では画像情報と撮像条件とを同一画面にて表示しているので、いつ撮像されたものなのかをより容易に把握することができる。 The display terminal such as the mobile terminal 5 displays, in addition to the image information, the imaging conditions (date and the like) when the image information was captured, so that it is possible to easily grasp when the image was captured. In the embodiment, since the image information and the imaging condition are displayed on the same screen, it is possible to more easily understand when the image is captured.
複数のカメラ装置７を設けることができるので、利便性が向上する。そして、表示端末からカメラ装置７の選択が可能であるとともに、選択されたカメラ装置７（例えば、図６に示した「冷蔵庫１」に対応するカメラ装置７）により撮像された画像情報を表示するので、複数のカメラ装置７を設ける場合であっても、簡便に画像情報を閲覧することができる。
Since a plurality of camera devices 7 can be provided, convenience is improved. Then, the camera device 7 can be selected from the display terminal, and the image information captured by the selected camera device 7 (for example, the camera device 7 corresponding to the “
このとき、表示端末は、カメラ装置７が設置されている設置場所（「冷蔵庫１」、「野菜室１」、「冷蔵庫２」等）を表示するので、どこを撮像した画像情報であるかを把握することができる。また、実施形態では画像情報と設置場所とを同一画面にて表示しているので、設置場所をより容易に把握することができる。
At this time, the display terminal displays the installation location (“
カメラ装置７に対する撮像方法は予め登録されており、その撮像方法は表示端末の画面に選択可能に表示され、いずれかの撮像方法を選択することでカメラ装置７に対する撮像方法を設定できるので、容易に撮像方法を設定することができる。 The imaging method for the camera device 7 is registered in advance, and the imaging method is displayed on the screen of the display terminal so as to be selectable, and the imaging method for the camera device 7 can be set by selecting one of the imaging methods. Can be set to the imaging method.
撮像方法として、予め登録されている撮像時刻に撮像する方法を設定できるので、定期的に撮像したい場合等において容易に設定することができる。このとき、実施形態では、「毎日」、「曜日指定」や「平日のみ」等、複数の定期的な撮像時刻を設定可能であるので、例えば生活スタイルにあわせた所望の撮像方法を設定することができる。 As an imaging method, a method of imaging at a pre-registered imaging time can be set, so that it is possible to easily set the imaging method when periodic imaging is desired. At this time, in the embodiment, since a plurality of regular imaging times such as “every day”, “specified day of the week”, and “only on weekdays” can be set, for example, a desired imaging method according to a lifestyle can be set. Can be.
撮像方法として、表示端末からの撮像指示を受信したときに撮像する方法を設定できるので、ユーザが希望する場合には撮像指示を行うことで最新の画像情報を閲覧することができる。 As an imaging method, a method of imaging when an imaging instruction from the display terminal is received can be set, so that the user can view the latest image information by issuing an imaging instruction when desired.
表示端末は、カメラ装置７の稼動状態およびカメラ装置７との間の通信状態のうち少なくとも一方の状態を表示するので、カメラ装置７の状態や通信状況等を把握することができる。 The display terminal displays at least one of the operating state of the camera device 7 and the communication state with the camera device 7, so that the display terminal can grasp the state of the camera device 7, the communication status, and the like.
カメラ装置７は、電池２４により駆動されるものであるので、電源ケーブル等が不要となり、設置場所の自由度を高めることができる。また、実施形態のカメラ装置７では撮像指示の受信及び画像情報の送信を無線方式にて行えるので、さらに設置場所の自由度を高めることができる。
Since the camera device 7 is driven by the
また、表示端末は、電池２４の残量を表示するので、充電時期を把握することができる。このとき、実施形態のように画像情報と電池２４の残量とを同一画面にて表示することで、画像情報を確認するときに電池２４の残量も併せて確認することができ、利便性が向上する。
Further, the display terminal displays the remaining amount of the
表示端末は、発生したエラーをその内容を特定可能に表示するので、カメラシステム１に生じた不具合を把握することができる。このとき、実施形態のように温度に関するエラーを表示すれば、カメラ装置７が誤った設置場所に設置されている等を把握することができる。また、実施形態のように画像情報を表示する際にエラーの内容も表示することにより、エラーの発生を容易に把握することができる。特に温度センサ２７によるエラー表示などは、カメラ装置７を冷蔵庫２外部である部屋の室内で利用した場合などにおいて、高温や低温を検知した場合に「部屋の室内の温度が異常です」などの表示をして警告を報知したり、「エアコンをつけてください」などのアドバイスを報知したりしてもよい。これにより、ユーザは、冷蔵庫２外の部屋の画像（室内の様子）を確認できるとともに、部屋の温度を確認することができる。
The display terminal displays the error that has occurred so that its content can be specified, so that it is possible to grasp the trouble that has occurred in the
また、このような報知は、登録されたメールアドレスに送ってもよい。この登録されたメールアドレスにたとえば、高齢者（被介護者）の子供である介護人を登録することでユーザは高齢者にエアコンをつけるように電話して指示することができる。またペットを飼っているユーザに送付できるため、急ぎ帰宅しエアコンを付けるなどもすることができる。もちろん表示端末からエアコンのＯＮＯＦＦが制御できるように構成してもよい。冷蔵庫２の代わりにエアコンに撮像手段を取り付けた場合には、エアコンに搭載された温度センサで代用することができ、エアコンに取り付けた通信手段により高温低温報知を表示端末に送信してもよい。
Such notification may be sent to a registered e-mail address. By registering, for example, a caregiver who is a child of an elderly person (cared person) at the registered e-mail address, the user can call and instruct the elderly person to turn on the air conditioner. In addition, since it can be sent to a user who has a pet, it is possible to return home quickly and turn on an air conditioner. Of course, the display terminal may be configured to control ON / OFF of the air conditioner. When the imaging means is attached to the air conditioner instead of the
さらに冷蔵庫２内に搭載された撮像手段の温度センサが一瞬温度が高くなった場合には、冷蔵庫２の扉が開放されたと判断する冷蔵庫２の扉開閉検出手段として機能し、この扉が開閉検出されたことを上記のように表示や、メールアドレスに送信して報知してもよい。特に扉が所定期間開けっ放しであることを検知すると、扉が開放されたままですなどのその旨報知することができる。これにより、例えばユーザが家に電話して子供に連絡することができたりもする。また逆に扉の開閉が所定期間（例えば２日間）の間、扉の開放を検知しなかった場合には「扉が２日間開放されていません」とういう現象を報知してもよい。高齢者の介護者にメールを送信することで、介護者が高齢者に対して食事をとっているかなどのコンタクトをとることができる。
Further, when the temperature sensor of the imaging means mounted in the
上記のように撮像手段と、その撮像手段で撮像した画像情報を送信する送信手段とを備えることで、介護人やペット、子供の安否確認するための家電機器のネットワークシステムを構築することができる。その家電機器のネットワークシステムを構成する家電機器としては、上記のように冷蔵庫２やエアコンやカメラ装置７が該当する。
By including the imaging unit and the transmission unit for transmitting the image information captured by the imaging unit as described above, it is possible to construct a network system of home electric appliances for confirming the safety of caregivers, pets, and children. . As described above, the
カメラ装置７は、その視野が設置状態（縦置き、あるいは横置き）に応じて縦長あるいは横長となるものであり、表示端末は、縦長の視野の画像情報と横長の視野の画像情報とのいずれも表示できるので、カメラ装置７の設置向きが変化したとしても、画像情報を閲覧することができる。 The camera device 7 has a field of view that is vertically long or horizontally long depending on the installation state (vertical or horizontal), and the display terminal displays either the image information of the vertically long field of view or the image information of the horizontally long field of view. Can be displayed, so that the image information can be browsed even if the installation direction of the camera device 7 changes.
また、撮像素子２２ａの撮像画像を切り取って送信または表示してもよく、正方形の画像情報を表示してもよい。これにより、縦置きであっても横置きであっても画像情報の形が変化しないため、見やすくなるとともに、表示する際にレイアウトし易くなる。
Further, the captured image of the
表示端末は、過去に撮像された複数の画像情報のうち、ユーザにより選択された画像情報を表示することができるので、撮像対象の変化を把握することができる。なお、表示端末としては、実施形態で示した携帯端末５の他に、ノート型ＰＣ、デスクトップ型ＰＣでもよい。 The display terminal can display the image information selected by the user among the plurality of pieces of image information captured in the past, and thus can grasp the change of the imaging target. The display terminal may be a notebook PC or a desktop PC in addition to the portable terminal 5 described in the embodiment.
また、撮像手段は、カメラ装置７のように冷蔵庫２から着脱可能ではなく、固定して制御部１０と電気的に接続してもよい。その場合、カメラ装置７の通信モジュール２１と冷蔵庫の通信アダプタ３とを共通化することで、外部機器に画像情報を送信する送信手段として通信アダプタ３を利用することができる。これにより、冷蔵庫２と、サーバ６と、携帯端末５等の表示端末とをつなぐ家電機器ネットワークシステムを構築することができる。
Further, the imaging means may not be detachable from the
（第２実施形態）
以下、第２実施形態について図９から図１５を参照しながら説明する。
(2nd Embodiment)
Hereinafter, the second embodiment will be described with reference to FIGS. 9 to 15.
図９（Ａ）に示すように、第２実施形態のカメラシステム５０の対象となる冷蔵庫５１は、冷蔵室５２、野菜室５３および冷凍室５４等の貯蔵室が設けられており、冷蔵室５２は左扉５２ａと右扉５２ｂにより開閉され、野菜室５３および冷凍室５４はそれぞれ引き出し式の扉５３ａ、扉５４ａにより開閉される。冷蔵室５２内には、複数の棚板５５が設けられているとともに、その側面に庫内照明５６が設けられている。この庫内照明５６は、図９（Ｂ）に示すように、複数のＬＥＤランプ５６Ａにより構成されており、冷蔵室５２の前面側であって、棚板５５と扉との間（より厳密には、棚板５５と図示しないドアポケットとの間）に位置して設けられている。
As shown in FIG. 9A, a
この冷蔵室５２には、図９（Ａ）に示すように、右扉５２ｂの内側、冷蔵室５２の側壁に複数のカメラ装置５７が設けられているとともに、左扉５２ａおよび右扉のそれぞれに対応して開扉センサ１３が設けられている。また、野菜室５３および冷凍室５４にもカメラ装置５７および開扉センサ１３がそれぞれ設けられている。冷蔵室５２の扉に設けられているカメラ装置５７は、扉が閉鎖された状態において、冷蔵室５２の全体を撮像可能となっている。各棚板に対応して設けられているカメラ装置５７は、それぞれの棚板５５に載置された収納物を撮像対象としている。なお、以下の説明では、カメラ装置５７に限らず撮像手段全般を対象とする場合には、単にカメラと称することがある。
As shown in FIG. 9A, the
この冷蔵庫５１は、図１０に示すように、本実施形態に関連して、貯蔵室に収納される収納物の収納量を検知する収納量検知部５８（収納量検知手段）と、貯蔵室内における収納物の位置を検知する位置検知部５９（位置検知手段）とを有している。また、本実施形態のカメラ装置５７は、冷蔵庫５１の制御部により撮像部２２（レンズ部）および撮像照明部２３（撮像照明手段）が直接的に制御されるものを想定している。このため、カメラ装置５７で撮像された画像情報は、通信アダプタから外部のサーバ６（図１参照）等に送信される。なお、第１実施形態と同様に独立したカメラ装置７（図３等参照）を用いる構成としても勿論よい。
As shown in FIG. 10, the
収納量検知部５８は、本実施形態では具体的には２つの方式を採用している。１つめは、冷蔵室５２全体の収納量を検知するためのものであり、図１１に示すように、照射部６０（照射手段）と、受光部６１（受光手段）とを備え、受光部６１で受光した光量に基づいて収納量を検知する収納量検知部５８Ａが採用されている。この収納量検知部５８Ａは、例えば冷蔵室５２の天井に照射部６０が設けられ（図９参照）、冷蔵室５２の下部の側面に受光部６１（図９（Ｂ）参照）が設けられている。つまり、照射部６０および撮像照明部２３は、受光部６１と対向しない位置に設けられている。この照射部６０は、カメラ装置５７の撮像照明部２３とは異なる色（波長帯）の光を照射する。具体的には、照射部６０は、青色の光を照射し、撮像照明部２３は白色の光を照射する。また、照射部６０から照射される光量は、撮像照明部２３から照射される光量よりも少なくなっている。
The storage
受光部６１は、冷蔵室５２の側壁に概ね矩形状に窪んで設けられている収容部６２に収容されている。より具体的には、図１２示すように、受光部６１は、収容部６２に斜めに収容されている基板６３上に概ね対角線となる位置に２つ設けられている受光センサ６４により形成されている。つまり、受光センサ６４は、上下方向および前後方向にずれた２箇所に設けられている。この受光部６１は、上記した照射部６０の青色の光の光量（照度）を検知する。また、この基板６３には、上記した複数のカメラ装置５７のうち、最下段の位置に対応する１つが設けられている。このカメラ装置５７は、受光センサ６４よりも上方に位置して配置されている。そして、カメラ装置５７の周囲には、撮像照明部２３とカメラ用制御部６５が設けられている。このカメラ用制御部６５は、カメラ装置５７の制御を行うものであり、駆動時に発熱する。
The
このような構成の収納量検知部５８Ａは、照射部６０から照射された光が受光部６１でどのように受光されるかに基づいて、すなわち、受光部６１での受光量に基づいて収納量を検知する。より具体的には、図１３に示すように、照射部６０から照射された光は、冷蔵室５２内の壁面や棚板５５、棚板５５に載置された収納物８０等で反射して受光部６１に入射する。このとき、受光部６１に入射する光は、収納物等に遮られてその量が変化する。そこで、冷蔵室５２内に収納物がない状態での受光量を基準値として予め測定しておき、受光手段での受光量を基準値と比較することで、収納物の収納量を検知（あるいは推定）することができる。
The storage
収容部６２は、冷蔵室５２側がカバー部材６６により覆われており、そのカバー部材６６には、カメラ装置５７および受光部６１用に、それぞれ個別に撮像用孔部６７および受光用孔部６８が設けられている。なお、図１３では、説明の都合上、撮像用孔部６７の断面と受光用孔部６８の断面とを１枚の図中に模式的に示している。また、撮像用孔部６７は、視野に掛からないように、その壁部が斜めに形成されている。また、受光用孔部６８には集光用のレンズや透明なカバーを設けたり、撮像用孔部６７にはカメラ装置５７を覆う透明なカバーやカメラ用のレンズを設けたりするとよい。これらレンズやカバーは、人の手の脂や野菜のカス等の汚れが着かないように、カバー部材６６の表面や、貯蔵室を構成する内箱表面に露出しないようにカバー部材６６の表面よりも奥側の収容部６２側配置するとよい。また、レンズやカバーに湿気により結露した場合に結露した水（水滴）が流れやすく、貯蔵室内に排出できるように各孔部を下方に傾斜させたり、細い溝を設けて毛細管現象により排出できるようにしてもよい。
The
一方、冷蔵室５２の棚板５５や野菜室５３あるいは冷凍室５４のように引き出し式の扉で収納容器７０ごと出し入れされる貯蔵室の場合には、図１４（Ａ）に示すような重量センサ６９にて構成した収納量検知部５８Ｂを採用している。この場合、図１４（Ｂ）に示すように棚板５５の受け部７１に重量センサ６９を設けておき、収納物が無い状態での重量を基準として、それよりも重量が増えれば収納物があると判断できる。また、引き出し式の貯蔵室の場合、図１４（Ｃ）に示すように、収納容器７０を保持するガイドレール７２側に重量センサ６９を設け、収納物が無い状態での重量を基準としてそれよりも重量が増えれば収納物があると判断できる。また、この重量センサ６９は、収納物の位置を検知する位置検知部５９としても機能する。例えば、重量センサ６９を棚板５５の４隅にそれぞれ配置し、それぞれの重量センサ６９で検知した重量に基づいて重心位置を求めること等により、収納物がどの棚板５５のどの位置に置かれているかを検知することができる。
On the other hand, in the case of a storage room in which the
本実施形態の場合、冷蔵室５２には、全体的な収納量を検知するための上記した収納量検知部５８Ａと、各棚板５５の収納量および位置を検知するための上記した収納量検知部５８Ｂとが設けられている。また、野菜室５３および冷凍室５４には、上記した収納量検知部５８Ｂが設けられている。
In the case of the present embodiment, in the
次に、本実施形態における撮像タイミングについて説明する。 Next, the imaging timing in the present embodiment will be described.
冷蔵庫５１の制御部は、図１５に示す撮像処理において、収納量を検知しつつ（Ｓ１０）、扉が開閉されたか否かを判定している（Ｓ１１）。制御部は、扉が開閉された場合には（Ｓ１０：ＹＥＳ）、再度収納量を検知し（Ｓ１２）、収納量が変化していない場合には（Ｓ１２：ＮＯ）、ステップＳ１０に移行する。一方、制御部は、収納量が変化した場合には（Ｓ１２：ＹＥＳ）、収納量が変化した位置を特定し（Ｓ１４）、該当する位置を撮像する（Ｓ１５）。
In the imaging process shown in FIG. 15, the control unit of the
この場合、例えば上記した収納量検知部５８Ａにより収納量が変化したことが検知されれば、冷蔵室５２全体の収納量が変化したとして、扉に設けられているカメラ装置５７により冷蔵室５２の全体を撮像する。また、上記した位置検知部５９により収納量が変化した位置（例えば、一番上の棚板５５等）が特定できれば、その位置に対応して設けられているカメラ装置５７により該当する位置を撮像する。このとき、カメラ装置５７は、撮像照明部２３を点灯して撮像する。なお、このとき照射部６０は点灯されない。
In this case, for example, if the change in the storage amount is detected by the storage
そして、制御部は、通信アダプタを介して撮像した画像情報をサーバ６に送信する（Ｓ１６）。このとき、制御部は、収納量検知部５８により検知した収納量が変化した収納物の位置を位置検知部５９で検知し、その収納物の位置も画像情報とともにサーバ６に送信する。また、制御部は、収納量検知部５８により収納量が変化した旨（検知結果）を例えば冷蔵庫の扉などに設けられる操作パネルや表示部（ＬＥＤや液晶パネル等）（報知手段に相当する）等に表示したり、ユーザの携帯端末（報知手段に相当する）に送信したりする。また、収納物である食品（食材）を判別する食材判別手段を有していてもよい。その場合、収納量の変化に応じて画像とともにどの食品が変化したのか等の情報を送信するとよい。例えば、カメラに色を識別可能な色識別手段（画像処理によりソフトウェア的に構成してもよい）を設け、食品が血色（赤、ピンク系等の色）である場合には収納物を肉類と判断し、白色（貯蔵室の内壁の色の例）の壁部であった場所に新たに血色の食品が追加されて色が変わったことで肉類が追加されたと判断し、その旨を使用者に報知するとよい。また、緑色系統の色であった場合、葉物の野菜が追加されたと判断することができる。もちろん、血色や緑系統の色の食品がなくなった場合には、それらの食品がなくなった（消費された）旨を報知してもよいし、血色や緑系統の色の食品の量が少なくなった場合には減少した旨を報知してもよい。つまり、食材判別手段は、食材の種類の判別だけでなく、収納量を検知する収納量検知手段としての機能を備えていてもよい。
Then, the control unit transmits the captured image information to the
また、カメラとしてバーコードを読み取る手段或いは機能を設け、例えば牛乳が新たに追加されて収納量が変化した場合等には、画像を撮像するとともにバーコードを読み取って牛乳が追加されたことを文字や記号、図柄等で操作パネル等に報知したり、画像とともにその情報を送信してもよい。また、カメラだけでなく、食品にＩＣタグ等が取り付けられている場合は、タグ検知手段を設けて食品判別をし、その食品の情報（判別結果）を報知・送信するとよい。また、これらの食品の情報としては、食品の賞味期限や消費期限、トレーサビリティ情報、貯蔵室に収納されてからの期間を計時手段により計時した経過期間等を報知してもよい。 In addition, a means or function for reading a bar code is provided as a camera.For example, when milk is newly added and the storage amount changes, an image is taken and the bar code is read to indicate that the milk has been added. The information may be notified to an operation panel or the like by using symbols, symbols, symbols, or the like, or the information may be transmitted together with the image. In addition, when an IC tag or the like is attached not only to the camera but also to the food, it is preferable to provide a tag detection unit to determine the food, and to notify and transmit the information (the determination result) of the food. In addition, as the information on these foods, the expiration date or the expiration date of the expiration date or the expiration date of the period since the food was stored in the storage room may be notified, such as the expiration date and the expiration date of the food.
また、制御部は、上記したステップＳ１３において、収納量の変化を検知しなかった場合において（Ｓ１３：ＮＯ）、所定時間、収納量の変化が無い場合には（Ｓ１６：ＹＥＳ）、全体を撮像する（Ｓ１７）。このステップＳ１７では、冷蔵室５２の全体が撮像される。ただし、併せて、野菜室５３の全体や冷凍室５４の全体、あるいは、各棚板５５等、冷蔵庫５１に設けられている全部あるいは所定の一部のカメラ装置５７にて撮像するようにしてもよい。その後、制御部は、撮像した画像情報をサーバ６へ送信する（Ｓ１５）。
In addition, in step S13 described above, when no change in the storage amount is detected (S13: NO), and when there is no change in the storage amount for a predetermined time (S16: YES), the control unit captures the entire image. (S17). In step S17, the
以上説明した本実施形態によれば、次のような効果を得ることができる。 According to the embodiment described above, the following effects can be obtained.
本実施形態のカメラシステム５０は、カメラ装置５７の撮像対象となる貯蔵室に収納される収納物の収納量を検知する収納量検知手段（収納量検知部５８）を備え、収納量検知手段により検知した収納量が変化した際、カメラ装置５７にて撮像する。これにより、収納量が変化した場合に撮像することができるとともに、ユーザが確認したい情報である収納量の変化を検知することができる。
The
カメラ装置５７の撮像対象となる貯蔵室を開閉する扉の開閉状態を検知する扉開閉検知手段（開扉センサ１３）を備え、扉開閉検知手段により扉の開閉が検知された際、収納量検知手段（収納量検知部５８）により検知した収納量が変化していればカメラ装置５７にて撮像する。これにより、収納量が変化していない場合等において不必要に撮像することを抑制できる。
A door opening / closing detecting means (opening sensor 13) for detecting an opening / closing state of a door for opening / closing a storage room to be imaged by the
この場合、貯蔵室の扉が閉鎖された後に収納量検知手段により収納量を検知し、収納量が変化していればカメラ装置５７にて撮像する。つまり、出し入れが終了したと判断できる状態で撮像する。これにより、収納量が変化したか否かをより正確に判定することができる。なお、扉が閉鎖された後とは、閉鎖直後でなくてもよい。例えば、扉の閉鎖後にある期間だけ待機するようにし、その後に撮像してもよい。これにより、カメラ装置５７のレンズや曇りがとれ、鮮明な画像を撮像することができる。
In this case, the storage amount is detected by the storage amount detection means after the door of the storage room is closed, and an image is taken by the
収納量が変化した収納物の位置を検知する位置検知手段（位置検知部５９）を備え、位置検知手段で検知した収納物の位置を送信するので、どの収納物の収納量が変化したのかを把握することができる。 A position detecting unit (position detecting unit 59) for detecting the position of the stored item whose storage amount has changed is provided, and the position of the stored item detected by the position detecting unit is transmitted. I can figure it out.
収納量検知手段による検知結果を報知手段（操作パネル、携帯端末等）に報知するので、他の人により食材が出し入れされたとしても、その旨を把握することができる。 Since the detection result by the storage amount detection unit is notified to the notification unit (operation panel, portable terminal, or the like), even if food is taken in and out by another person, it is possible to know that fact.
カメラ装置５７は、複数設けられており、収納量検知手段により検知した収納量が変化した部位に対応して設けられているカメラ装置５７にて撮像するので、どの収納物の収納量が変化したのかを即座に把握することができる。
Since a plurality of
収納量検知手段は、貯蔵庫に光を照射する照射手段（照射部６０）と、貯蔵庫内の光を受光する受光手段（受光部６１）とを備え、受光手段における受光量に基づいて収納量を検知する。これにより、冷蔵室５２全体等の広い範囲の収納量を検知することができる。
The storage amount detection unit includes an irradiation unit (irradiation unit 60) for irradiating the storage with light, and a light reception unit (light reception unit 61) for receiving light in the storage, and detects the storage amount based on the amount of light received by the light reception unit. Detect. Thereby, the storage amount in a wide range such as the
収納量検知手段は、重量検知手段（重量センサ６９）で構成されており、当該重量検知手段にて検知した収納物が載置される載置部（棚板５５、引き出し式の収納室等）の重量に基づいて収納量を検知する。これにより、上記した照射部６０の光が届かない場所であっても、収納量を検知することができる。
The storage amount detection means is constituted by a weight detection means (weight sensor 69), and a mounting portion (
重量検知手段は貯蔵室の複数箇所に設けられており、収納量が変化した位置をカメラ装置５７で撮像する。これにより、収納量が変化した位置を撮像できる。
The weight detection means is provided at a plurality of locations in the storage room, and the
また、カメラ装置５７を複数設け、重量検知手段による検知結果が変化した部位に対応して設けられているカメラ装置５７にて撮像するので、収納量の変化をより正確に把握することができる。
In addition, since a plurality of
また、本実施形態の冷蔵庫５１は、撮像手段としてのカメラ装置５７と、カメラ装置５７により所定条件で撮像された画像情報を外部機器に送信する送信手段と、カメラ装置５７の撮像対象となる貯蔵室に収納される収納物の収納量を検知する収納量検知手段と、を備え、収納量検知手段により検知した収納量が変化した際、カメラ装置５７にて貯蔵室を撮像する。これにより、遠隔地等からであっても容易に画像情報を閲覧することができるとともに、収納量が変化したことを把握することができる。
In addition, the
照射手段および撮像照明手段は、扉や天井面等の受光手段と直接的には対向しない位置に設けられているので、照度が誤った値として検知されることを防止できる。 Since the irradiating unit and the imaging illuminating unit are provided at positions not directly facing the light receiving unit such as a door or a ceiling surface, it is possible to prevent the illuminance from being detected as an erroneous value.
また、カメラ装置５７は、受光部６１とは異なる位置であって、照射手段から照射される光量が抑制される扉や側面等の位置に設けられている。そのような位置では、カメラ装置５７に対して照射手段から照射された光の入射が抑制されるので、逆光となるおそれを低減することができる。
Further, the
照射手段は、撮像照明部２３とは照射する光量および色が異なるので、撮像照明部２３が点灯された際に受光部６１が誤検知するおそれを防止できる。
Since the irradiating unit emits different amounts of light and different colors from the
この場合、色の異なる照射部６０はカメラ装置５７で撮像する際には点灯しないので、画像が青くなるような不自然な状態で撮像されることを防止できる。また、白色と異なる青色ＬＥＤなどの第１の発光手段としては、その波長がほぼ４００ｎｍの青色の光をフィルタや壁などに施された触媒に照射することで励起させて脱臭・除菌を行う可視光触媒装置や、空気絶縁破壊することにより青白く発光してイオン、ラジカル（活性種）、オゾンを発生させるコロナ放電装置、対向電極と液体を放電電極として高電圧を印加してOHラジカルを含有する帯電微粒子水を発生させて電極が青白く光る静電霧化装置などの空気絶縁破壊装置や、貯蔵室内に備えられ、使用者が冷蔵庫５１の制御を行う押圧式などの操作部の表示をする緑色や赤、オレンジなどのＬＥＤ等の表示手段が含まれる。この第１の発光手段は、予めプログラムに記憶された所定条件で発光するものであり、撮像する場合には設定条件で発光する制御を無効にすることで（つまり、カメラの撮像を優先し、カメラで撮像する際には設定条件が成立していたとしても発光しないようにすることで）、画像に無駄な光が入らなくなり、きれいに（鮮明に）撮像することができる。この押圧式の操作部（庫内操作部）は、収納部６２内にタクトスイッチを備え、カバー部材６６に操作ボタンを設けるとよい。
In this case, the
また、可視光触媒装置、コロナ放電装置、静電霧化装置は、所定時間毎に駆動したり、ダンパの開閉に連動して駆動する制御にする条件を設定可能であり、庫内操作部の操作に基づく表示手段の発光は操作のＯＮ／ＯＦＦを条件として制御している。また、冷蔵室５２の底面に備えられた引き出し式のチルドルームなどを照らす第２の発光手段である白色や他の色のＬＥＤは、左右上下の壁や扉と異なる位置であって空間の中央にあるため、左右上下に配置されたカメラの画像に映り込みやすく、逆光になる可能性がある。そのため、同様に、カメラの撮像タイミングには無効あるいはＯＦＦとしたり、撮像中には点灯を一旦中止し、撮像が終了した後に点灯させる等の制御を行うとよい。
In addition, the visible light catalyst device, the corona discharge device, and the electrostatic atomization device can be set to be driven at predetermined time intervals or set to control to be driven in conjunction with opening and closing of the damper. The light emission of the display means is controlled on the condition that the operation is ON / OFF. Also, the white or other color LED, which is the second light emitting means for illuminating the drawer-type chilled room provided on the bottom surface of the
また可視光触媒は、撮像用孔部６７にはカメラ装置５７を覆う透明なカバーや、カメラ装置のレンズ、また収容部６２を覆うカバー部材６６の表面に塗布して親水化手段として機能させてもよい。カメラのレンズや透明カバーなどは貯蔵室に露出などしている場合は結露などにより曇ってしまい、撮像した画像がぼやけてしまうという課題があるが、青色ＬＥＤなどの第１の発光手段である触媒を励起可能な可視光発生手段を収容部６２内、又は収容部６２外に設けて、光触媒に照射したりすることにより、レンズ、カバー等の表面が空気中の水分と活性してOHラジカル（親水性手段）の作用により親水化する。そうするとレンズやカバーが結露した場合でも水が結合しやすくなることから表面が水の薄い膜となりやすく、凹凸の水滴ができにくくなることによって光の乱反射を防止することができ、もって表面を曇りにくくすることができる。よってカメラ装置の撮像方向に位置するレンズや、透明カバーに親水性手段が生成される、また接触することによりカメラによる撮像した画像もぼやけることなく明確に撮像することができる。そしてこの光触媒は、特定の波長の光が照射されることによって、空気中の細菌を除菌したり、空気中の臭気成分（有機物質など）を酸化や分解等をして脱臭することができる触媒であり、空気中の成分を活性化（イオン化やラジカル化）し、これに基づいて除菌したり、脱臭したりすることもできる。光触媒としては、酸化銀や酸化チタンが用いることができ、酸化銀（リン酸ジルコニウム銀を含む）には光の波長は約４００ｎｍ〜５８０ｎｍ程度の可視光の青色領域を利用し、酸化チタンには光の波長は３８０ｎｍを照射可能な発光ダイオードの光源を利用するとよい。
Also, the visible light catalyst may be applied to the surface of the transparent cover that covers the
また上記静電霧化装置としては、放電極の先端はとがっていて、対極との間に−６ｋV程度の電圧を印加して、放電極に金属製の部材を用いて金属製の部材を冷却することで空気中の水分の結露水を得て、その結露水を静電霧化することにより粒径がナノメートルサイズ（粒子径の分布は３~５０nm）の帯電微粒子水を得ることができ、放電極の先端に青白い光が発光し、電圧を印加しながらも発光がONOFFし所定間隔（５秒間隔）で断続的に繰り返される。また静電無化装置の駆動も所定時間毎にONOFFをくり返す制御とするとよい。また静電霧化装置は、放電光が映りにくくなるように吹き出し口を備えるカバーの中に収納してもよく、静電霧化装置を天井にダクト形状のカバー内に配置してカメラ装置５７を天井以外の対向しない扉や左右側壁などに配置するとより放電光が映りにくくなる効果がある。また静電霧化装置が配置された貯蔵室と異なる貯蔵室にカメラ装置５７を配置しても同様な効果がある。またミストを発生させると貯蔵室内が霧状となりカメラで撮像した場合に霧で映りにくくない課題があるがミストの粒径をナノメートルサイズの微粒子水にすることにより霧状とならずクリアな画像を撮像できる。またナノメートルサイズの帯電微粒子水（OHラジカル含む）であるとカメラ装置のレンズ、カバーに接触しても結露もしにくく曇りにくい効果もある。
In the above electrostatic atomizer, the tip of the discharge electrode is sharp, and a voltage of about -6 kV is applied between the discharge electrode and the counter electrode, and the metal member is cooled using a metal member for the discharge electrode. In this way, dew water of the moisture in the air is obtained, and the dew water is electrostatically atomized to obtain charged fine particle water having a particle size of nanometer size (particle size distribution is 3 to 50 nm). Then, pale light is emitted at the tip of the discharge electrode, and the emission is turned on and off while applying a voltage, and is repeated intermittently at predetermined intervals (every 5 seconds). In addition, the driving of the electrostatic nullification device may be controlled so as to repeat ON / OFF at predetermined time intervals. Further, the electrostatic atomizer may be housed in a cover provided with a blowout port so that the discharge light is hard to be reflected. When the lamps are arranged on non-facing doors or left and right side walls other than the ceiling, discharge light is less likely to be reflected. The same effect can be obtained by disposing the
受光手段およびカメラ装置５７が設けられている基板６３は、その外形が四角形であるとともに水平に対して斜めに取り付けられている。これにより、対角線上に受光部６１を配置すれば、冷蔵室５２の上下方向および前後方向に距離を取ることができ、検知精度を向上させることができる。また、大きな四角形の基板６３を製造するよりも部材量を減らすことができ、コストを低減することができる。
The
また、受光手段と同じ基板６３に設けられているカメラ装置５７は、少なくとも一方の受光手段よりも上方に設けられている。つまり、冷蔵室５２の最下段側に設けられているカメラ装置５７は、その位置が、冷蔵室５２の中央側に近づく。これにより、冷蔵室５２内を広く撮像できるようになる。
The
カメラ装置５７のレンズ部は、当該カメラ装置５７を制御するカメラ用制御部の近傍に設けられている。これにより、カメラ用制御部からの発熱によりレンズ部を暖めることができ、曇り等を迅速に除去できるようになる。
The lens unit of the
カメラ装置５７および光手段はカバー部材６６により覆われており、そのカバー部材６６には、受光手段が受光するための受光用孔部６８と、カメラ装置５７が撮像するための撮像用孔部６７とが個別に設けられている。これにより、収納量の検知と鮮明な画像の撮像との双方を実現することができる。
The
（その他の実施形態）
本発明は、上記した実施形態にて例示したものに限定されることなく、変形又は拡張することができる。
(Other embodiments)
The present invention can be modified or expanded without being limited to those exemplified in the above embodiments.
ユーザの撮像指示に応じて画像情報を撮像する際、撮像指示を行ってから画像情報を取得するまでに、通信回線の状況や上記した画像処理を行うこと等により時間が掛かることがある。その場合、画像情報が送信されるまで待機していてもよいが、画像情報が更新されたかを何度も確認することで苛立ったり、単純に待たされることで不満を感じたりするおそれがある。そこで、カメラ装置７側から画像情報が送信された旨を示す通知を携帯端末５に電子メール等にて通知する構成としてもよい。そのような構成にすれば、撮像指示だけを行えば画像情報が送信されるまでは特にカメラシステム１をユーザが気にかけ続ける必要がなくなり、苛立ちや不満を感じたりするおそれを低減することができる。このとき、電子メールの本文に図６等のＵＲＬを記載しておくことで、アプリケーションを立ち上げなくても直接的に画像情報を閲覧できるようにすることで、利便性を向上させることができる。また、直接、画像情報を電子メールに添付して送信してもよい。
When capturing image information in response to a user's image capturing instruction, it may take a long time from when the image capturing instruction is issued to when the image information is obtained, due to the status of the communication line, the above-described image processing, and the like. In this case, the user may wait until the image information is transmitted. However, the user may be frustrated by repeatedly checking whether the image information has been updated, or may be dissatisfied by simply waiting. Therefore, a configuration may be adopted in which a notification indicating that image information has been transmitted from the camera device 7 is sent to the mobile terminal 5 by e-mail or the like. With such a configuration, if only the imaging instruction is issued, the user does not need to particularly continue to care about the
第１実施形態で例示した表示画面や設定画面は一例であり、レイアウトや文言等は適宜変更することができる。例えば、スマートフォンとタブレットＰＣとでは画面の大きさが異なっているので、画面の大きさに合わせて表示項目を増やしたり、文字の大きさを変更したりすることができる。 The display screen and the setting screen illustrated in the first embodiment are merely examples, and the layout, wording, and the like can be appropriately changed. For example, since the size of the screen is different between the smartphone and the tablet PC, the number of display items can be increased or the size of the characters can be changed according to the size of the screen.
第１実施形態では静止画を想定したが、例えば短期的な映像（例えば１０秒間の動画）を定期的に撮像したり、ユーザの撮像指示に応じて短期的な動画を撮像する構成としてもよい。 In the first embodiment, a still image is assumed. However, for example, a configuration may be adopted in which a short-term video (for example, a 10-second video) is periodically captured, or a short-term video is captured in response to a user's imaging instruction. .
第１実施形態では画像情報をサーバ６に送信する構成を例示したが、携帯端末５等の表示端末に直接的に送信してもよい。その場合、撮像指示が行われた場合のみ表示端末に送信する構成であってもよい。また、表示端末に直接的に送信する場合であっても、サーバ６にも送信しておき、サーバ６にて撮像履歴として記憶させる構成であってもよい。
In the first embodiment, the configuration in which the image information is transmitted to the
カメラ装置７には、必ずしも加速度センサ２６のような向き検出手段を設けなくてもよい。
The camera device 7 does not necessarily need to be provided with a direction detecting unit such as the
カメラ装置７にて行われる画像処理の一部あるいは全部をサーバ６にて行う構成としてもよい。このような構成によれば、カメラ装置７の電池２４の消耗を低減することができる。また、上記したように、カメラ装置７の設置場所および設置向きはサーバ６に設定情報として記憶されているので、サーバ６は、その設定情報に基づいてカメラ装置７の向きを把握でき、それに基づいて歪み補正等の画像処理を行うことができる。
Part or all of the image processing performed by the camera device 7 may be performed by the
位置検知手段としては、上記した重量センサ６９以外にも、貯蔵室内を走査する例えばレーザ走査計のようなものを採用することもできる。また、温度センサで貯蔵室内の温度分布を測定し、その温度分布に応じて位置を検知してもよい。例えば、収納物が存在すると冷気の流れが変化することから、その流れを検知することで収納物を検知すること等が考えられる。また、カメラ装置５７を位置検知手段として採用し、撮像した画像から収納物の位置を検知してもよい。またカメラ装置５７は、位置検知手段としてだけでなく、画像認識等の処理を行うことで収納物の種類を判別する収納物識別手段としても利用することができる。このとき、カメラ装置５７を、主として食品を識別するための食品識別手段としてもよい。さらには、カメラ装置５７は、撮像した画像から貯蔵室の明るさを判断することで、貯蔵室の照度を検知する照度検知手段としても利用することができる。その他、棚の表面に検知手段を配置し、物が置かれたことを例えば抵抗値や静電容量の変化等によって位置検知と収納量検知を行ってもよい。
As the position detecting means, other than the above-described
第２実施形態では、報知手段にて収納量が変化したことを報知したが、所定の検知期間において収納量検知手段による検知結果に変化が生じていない場合、変化が生じていない旨を報知してもよい。 In the second embodiment, the notification unit notifies that the storage amount has changed. However, if the detection result of the storage amount detection unit has not changed during the predetermined detection period, it is notified that no change has occurred. You may.
受光手段での受光量が所定の基準値を超えている際、カメラ装置５７で撮像してもよい。すなわち、照度が十分であれば、撮像照明部２３を用いずに撮像してもよい。例えば、棚板５５用に設けられているカメラ装置５７は、扉に設けられているカメラ装置５７とは異なり扉の開閉中であっても視野がずれることは無い。そのため、扉が開放される際に外部から光が入った状態や庫内照明５６が点灯した状態で撮像することにより、撮像照明部２３を使わずに撮像することができる。また、扉が開いている最中に撮像することで、例えば隣の扉のドアポケットを撮像でき、ドアポケットの飲料等の収納量を検知すること等ができる。
When the amount of light received by the light receiving means exceeds a predetermined reference value, the
また、扉が開放された直後等であればまた収納物の出し入れが行われていないと想定されるため、その時点で撮像した画像を、収納量が変化する前の画像として用いることができる。この場合、受光手段での受光量が所定の基準値以下である場合には、庫内照明５６を点灯してカメラ装置５７で撮像してもよい。このようにすれば、扉が開閉されていない状態において定期的に撮像する必要が無くなり、さらなる省電力化を図ることができる。なお、カメラ装置５７の撮像照明部２３を照射手段として利用し、その光を受光手段で検出することで収納量を検知してもよい。また、照射手段で収納量を検知している際には、カメラ装置５７による撮像や撮像照明部２３の点灯を行わないようにしてもよい。
In addition, immediately after the door is opened or the like, it is assumed that the stored items have not been taken in and out again. Therefore, the image captured at that time can be used as the image before the storage amount changes. In this case, if the amount of light received by the light receiving means is equal to or less than a predetermined reference value, the
第２実施形態ではそれぞれの位置に対応してカメラ装置５７を設けたが、図１６に示すように、例えば重量検知手段による検知結果が変化した部位や位置検知手段により検知した位置に向けてその向きあるいはその視野の向きが変更可能なカメラ装置９０を採用してもよい。これにより、カメラ装置５７の設置台数を減らすことができる。また、例えばカメラ装置９０の直下に位置するドアポケット９１等を確認することもできる。この場合、カメラ装置９０の可動範囲を、例えば冷蔵室５２の上下方向および左右方向の全域が入る程度、且つ、ドアポケット９１の上方に配置されている場合には直下方向までを可動範囲とするとなおよい。また、カメラ装置５７は、卵を収納する卵ケースが載置されるドアポケットの上方に配置すると、卵の画像を撮像できる（もちろん、収納量も検知できる）ため好ましい。
In the second embodiment, the
第２実施形態で例示したカメラ装置５７や照射部６０の設置位置は一例であり、他の位置であってもよい。つまり、照射手段および撮像照明手段が受光手段と対向しない位置や、受光部６１とは異なる位置であって照射手段から照射される光量が抑制される位置とは、例えば受光部６１と照射部６０や撮像照明部２３との間に専用の遮光部材を設ける等の構成であってもよい。
The installation positions of the
第２実施形態では１つの照射手段から照射された光を受光する構成を例示したが、複数の照射手段からの光を受光する構成としてもよい。また、照射手段と受光手段との組み合わせを複数設けてもよい。また、上記した第１の発光手段は、カメラの撮像時であっても発光の制御を有効のままとしてもよい。そうすることにより、カメラで撮像した画像に第１の発光手段の光が映し出され、使用者に可視光触媒装置や絶縁破壊装置（コロナ放電、静電霧化)の機能がしっかり動作していることや、操作後の表示結果を認識させることができる。特に、表示手段として、操作より省エネ制御で運転された場合にその表示をエコ表示（緑色表示）にして省エネを想起させる発光色を用いることで、省エネ状態にあることを使用者が認識することができるとともに、エコ意識を高めることができる。また、カメラで撮像する際には必ず第１の発光手段をＯＮするようにしてもよい。 In the second embodiment, a configuration for receiving light emitted from one irradiation unit has been described as an example, but a configuration for receiving light from a plurality of irradiation units may be adopted. Further, a plurality of combinations of irradiation means and light receiving means may be provided. Further, the first light emitting means described above may keep the light emission control effective even at the time of imaging by the camera. By doing so, the light of the first light emitting means is reflected on the image taken by the camera, and the function of the visible light catalyst device and the dielectric breakdown device (corona discharge, electrostatic atomization) is working properly for the user. Also, the display result after the operation can be recognized. In particular, when the display is operated by the energy-saving control rather than the operation, the user can recognize that the vehicle is in the energy-saving state by using an emission color that reminds the user of energy saving by setting the display to an eco-display (green display). As well as raise eco-consciousness. Further, the first light emitting means may be always turned on when taking an image with the camera.
また、上記した第２の発光手段も、照度が低かったり、庫内照明の光が入りづらく暗いチルドルームを明るくするものであったり、第１の発光手段のように機能性を有する発光手段である場合は、同様に有効を維持したりＯＮ（点灯）してもよい。また、庫内操作部は、カメラ装置５７の収納部５２と異なる別の収納部や、別のカバー部材に設けてもよい。これにより、カバー部材６６が操作によって変形することでレンズに応力が加わって画像がゆがんだり撮像できなくなったりすることを防止できる。
Further, the above-mentioned second light-emitting means is also a light-emitting means having a low illuminance, brightening a dark chilled room where light of the interior lighting is difficult to enter, or having a function like the first light-emitting means. In some cases, the validity may be maintained or turned on (lit). Further, the in-compartment operation unit may be provided in another storage unit different from the
また、調理機能を有する貯蔵室（以下、便宜的に調理室と称する）を備えた冷蔵庫において、その調理室を撮像するカメラ装置を設けてもよい。この調理室は、例えばマグネトロンのような加熱手段（調理手段）を有し、所謂電子レンジ等のような調理機能を有している。このような調理室は、例えば引き出し式の扉や回動式の扉によって収納容器や棚板ごと開閉（出し入れ）される。そのため、例えば調理室上部の仕切り板にカメラ装置を設けることで、扉を開ける際や出し入れする際に調理室内の収納容器や棚板に載置された調理品も含む）を撮像することができる。この場合、マグネトロン等の調理機能が駆動中にはノイズが存在する場合があるので、撮像を行わない、あるいは撮像した画像情報を調理終了後に送信する、送信エラーを考慮して複数回送信する、といった対策を施すことが考えられる。勿論、収納量や位置を送信する場合も同様である。 Further, in a refrigerator provided with a storage room having a cooking function (hereinafter, referred to as a cooking room for convenience), a camera device for imaging the cooking room may be provided. The cooking chamber has a heating means (cooking means) such as a magnetron, for example, and has a cooking function such as a so-called microwave oven. Such a cooking room is opened and closed (put in and out) together with the storage container and the shelf by, for example, a drawer type door or a pivot type door. Therefore, for example, by providing the camera device on the partition plate at the upper part of the cooking chamber, it is possible to image a storage container in the cooking chamber or a cooked product placed on the shelf when the door is opened or put in and out. . In this case, since noise may be present while the cooking function such as the magnetron is being driven, no imaging is performed, or the captured image information is transmitted after the completion of cooking, transmitted multiple times in consideration of a transmission error, It is conceivable to take such measures. Of course, the same applies to the case where the storage amount and the position are transmitted.
また、貯蔵庫内とは別の位置のカメラの画像や冷蔵庫の扉開閉回数やエラー情報などを外部に送信する無線手段（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ）などでは、マイクロ波と干渉して送信できない可能性があるため、マグネトロンの停止中に無線で送信するとよい。また、マグネトロン駆動中にカメラに撮像指示がある場合にも、マグネトロンの停止後に再受信したり再送信したりするとよい。また、無線手段は、鉄板等で囲われたマグネトロンのマイクロ波が照射される調理室の外側に配置することで、画像情報等を外部に容易に送信することができる。なお、重量センサの検知結果を有線または無線で外部や冷蔵庫の制御部に送信することも可能であるが、その時も同様である。 Also, wireless means (for example, Bluetooth (registered trademark) or WiFi) for transmitting an image of a camera at a position different from the inside of the storage, the number of times of opening / closing of the refrigerator, and error information to the outside may interfere with microwaves. Since transmission may not be possible, it is preferable to transmit wirelessly while the magnetron is stopped. Further, even when an instruction is given to the camera during driving of the magnetron, it is preferable to re-receive or re-transmit after stopping the magnetron. The wireless means can easily transmit image information and the like to the outside by arranging the wireless means outside the cooking chamber irradiated with microwaves of the magnetron surrounded by an iron plate or the like. In addition, the detection result of the weight sensor can be transmitted to the outside or the control unit of the refrigerator in a wired or wireless manner.
なお無線手段の無線周波数帯域としては、２．４〜２．５ＧＨＺ帯、５ＧＨＺ帯、９２０ＭＨｚ帯を利用するとよいが、マグネトロンのマイクロ波の周波数が２．４〜２．５ＧＨｚ帯であるため、５ＧＨｚ帯や９２０ＭＨｚ帯が干渉しにくいため周波数帯がマイクロ波と異なる周波数帯の無線手段を利用するとよい。 As the radio frequency band of the radio means, a 2.4 to 2.5 GHz band, a 5 GHz band, and a 920 MHz band may be used. However, since the microwave frequency of the magnetron is in the 2.4 to 2.5 GHz band, 5 GHz is used. Since the band and the 920 MHz band hardly interfere with each other, it is preferable to use wireless means whose frequency band is different from that of the microwave.
またマグネトロンは、駆動開始の際に２．４ＧＨｚから２．５ＧＨｚの間の広い帯域でマイクロ波を出して、その後、調理室庫内の負荷状態等によって変化するものの、比較的狭い範囲の周波数帯に収束する性質をもつ。そのためＷｉＦｉのように同時に広い範囲の周波数帯を必要とする通信方式では、マグネトロンの周波数とラップして混線しやすく、送信できない可能性があるが、Ｂｌｕｅｔｏｏｔｈ（登録商標）のように同時に複数のスポット状の小さい周波数帯を利用する構成で有れば、一つの周波数帯がラップしても、別の周波数帯で送信可能となり、混線する可能性が少なくなり送信されやすくなるからより効果的である。これは電子レンジが備えられている場合が多いキッチンなどで利用するマイクロ波発生手段を備えていない冷蔵庫や、キッチンで利用する目的のカメラ装置に外部に情報を送信する無線手段を備えるものにおいても、近くの電子レンジを動かした時の混線を避けるために、無線手段を選択したり、帯域を選択することは同様な効果がある。 At the start of driving, the magnetron emits microwaves in a wide band between 2.4 GHz and 2.5 GHz, and then varies depending on the load condition in the cooking chamber, but the frequency band in a relatively narrow range. Has the property of converging to. For this reason, in a communication system such as WiFi which requires a wide frequency band at the same time, it is likely to wrap with the frequency of the magnetron and cause crosstalk, and transmission may not be possible. However, as in Bluetooth (registered trademark), a plurality of spots are simultaneously used. If the configuration uses a small frequency band, even if one frequency band wraps, transmission is possible in another frequency band, and the possibility of crosstalk is reduced and transmission becomes easier, which is more effective. . This applies to refrigerators without microwave generating means used in kitchens and the like, which are often equipped with microwave ovens, and those equipped with wireless means for transmitting information to the camera device intended for use in the kitchen. Selecting a wireless means or selecting a band to avoid crosstalk when moving a nearby microwave oven has a similar effect.
受光用、撮像用の孔部に設けるレンズや透明なカバーは、カバー部材６６や内箱表面と面一もしくは突出させるように設けてもよい。これにより、結露や汚れがつきやすい場所では使用者が容易にレンズやカバーを拭きやすくなるとともに、ファンの送風が当たりやすくなり、結露を除去したりすることができ、イオン発生手段やラジカル発生手段を備えている場合に汚れを落としやすくすることができる。
The lens and the transparent cover provided in the light receiving and imaging holes may be provided so as to be flush with or protrude from the surface of the
また、食材判別手段により新たに肉類が収納されたと判断した場合は通常より冷気を送風するファンの回転数を早くしてもよい。これにより、過冷却することで傷みの進行を抑制する（腐りにくくする）ことができる。また、新たに野菜が収納されたと判断した場合は肉類の時に比べてファンの回転数を遅くするなどして肉類と冷却能力を異ならせるようにするとよい。これにより、過冷却により野菜が傷むおそれを低減することができる。あまた、ファンを複数設け、全部を同時に駆動して風量を増加させたり、何れかを駆動して風量を相対的に低くしたりすること等により冷却能力を可変としてもよいし、ダンパの開放量により冷却能力を可変としてもよい。 Further, when it is determined by the food material discriminating means that meat is newly stored, the rotation speed of the fan that blows cool air may be increased faster than usual. Thereby, the progress of damage can be suppressed (made hard to rot) by supercooling. When it is determined that vegetables are newly stored, it is preferable to make the cooling capacity different from that of the meat by, for example, lowering the rotation speed of the fan as compared with the case of the meat. Thereby, the possibility that vegetables may be damaged by overcooling can be reduced. Further, a plurality of fans may be provided, and the cooling capacity may be varied by driving all of them at the same time to increase the air volume, or by driving one of them to make the air volume relatively low, or by opening the damper. The cooling capacity may be made variable.
なお、例えば外出先等の遠隔地で冷蔵庫の庫内を確認することには、例えば、庫内の画像情報が送信される外部の装置である通信端末を冷蔵庫本体に着脱可能に取り付け、このように通信端末を取り付けたままの状態で、冷蔵庫の扉を開放することなく、冷蔵庫の外側から、通信端末の表示部の画像で冷蔵庫の内部が確認できることも含まれている。また、冷蔵庫の扉などに着脱不能に表示部を取り付けて、その表示部の画像で冷蔵庫の内部を確認できるようにしてもよい。さらには、外出先等でなくても、例えばキッチンに設置されている冷蔵庫の内部を、リビング等で確認することも遠隔地で確認することの範疇に含まれる。 In order to check the inside of the refrigerator at a remote place, for example, when going out, for example, a communication terminal, which is an external device to which image information in the refrigerator is transmitted, is detachably attached to the refrigerator body. This also includes the fact that the inside of the refrigerator can be checked from the outside of the refrigerator with an image on the display unit of the communication terminal without opening the refrigerator door with the communication terminal attached. Further, a display unit may be attached to a refrigerator door or the like so as to be non-detachably, so that the inside of the refrigerator can be confirmed by an image on the display unit. Furthermore, even if the user is not going out, for example, checking the inside of a refrigerator installed in a kitchen in a living room or the like is also included in the category of checking at a remote place.
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 While some embodiments of the invention have been described, these embodiments have been presented by way of example only, and are not intended to limit the scope of the inventions. These new embodiments can be implemented in other various forms, and various omissions, replacements, and changes can be made without departing from the spirit of the invention. These embodiments and their modifications are included in the scope and gist of the invention, and are also included in the invention described in the claims and their equivalents.
図面中、１はカメラシステム、３は通信アダプタ（送信手段）、５は携帯端末（表示端末、外部機器、報知手段）、６はサーバ（外部機器）、７はカメラ装置（撮像手段）、５０はカメラシステム、５１は冷蔵庫、５２は冷蔵室（貯蔵室）、５３は野菜室（貯蔵室）、５４は冷凍室（貯蔵室）、５６は庫内照明、５７はカメラ装置、５８は収納量検知部（収納量検知手段）、５９は位置検知部（位置検知手段）、６０は照射部（照射手段）、６１は受光部（受光手段）、６９は重量センサ（収納量検知手段、位置検知手段）、６３は基板、６４は受光センサ、６５はカメラ用制御部、６６はカバー部材、６７は撮像用孔部、６８は受光用孔部を示す。 In the drawings, 1 is a camera system, 3 is a communication adapter (transmitting means), 5 is a mobile terminal (display terminal, external device, notifying device), 6 is a server (external device), 7 is a camera device (imaging device), 50 Is a camera system, 51 is a refrigerator, 52 is a refrigerator room (storage room), 53 is a vegetable room (storage room), 54 is a freezing room (storage room), 56 is lighting in the refrigerator, 57 is a camera device, and 58 is a storage amount. Detecting unit (storage amount detecting means), 59 is a position detecting unit (position detecting means), 60 is an irradiating unit (irradiating means), 61 is a light receiving unit (light receiving means), 69 is a weight sensor (storage amount detecting means, position detecting Means), 63 is a substrate, 64 is a light receiving sensor, 65 is a camera control unit, 66 is a cover member, 67 is an imaging hole, and 68 is a light receiving hole.
Claims (1)
前記カメラ装置で撮像された画像情報を表示する表示端末と、
前記カメラ装置で撮像した画像情報を前記表示端末に直接又はネットワークを介して送信する送信手段と、
前記カメラ装置の撮像対象となる貯蔵室に収納される収納物の収納量を検知する収納量検知手段と、を備え、
前記収納量検知手段により検知した収納量が変化した際、前記カメラ装置にて撮像することを特徴とするカメラシステム。 A camera device as imaging means;
A display terminal for displaying information on an image captured by the camera device;
Transmission means for transmitting directly or via a network before Symbol display terminal to the image information captured by the camera device,
Storage amount detection means for detecting a storage amount of storage items stored in a storage room to be imaged by the camera device,
A camera system, wherein when the storage amount detected by the storage amount detecting means changes, an image is taken by the camera device.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013175596 | 2013-08-27 | ||
| JP2013175596 | 2013-08-27 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013225438A Division JP6313014B2 (en) | 2013-08-27 | 2013-10-30 | Camera system, refrigerator |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019219514A Division JP6994017B2 (en) | 2013-08-27 | 2019-12-04 | Camera system, refrigerator |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018091621A JP2018091621A (en) | 2018-06-14 |
| JP6629899B2 true JP6629899B2 (en) | 2020-01-15 |
Family
ID=62566001
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018037461A Active JP6629899B2 (en) | 2013-08-27 | 2018-03-02 | Camera system, refrigerator |
| JP2019219514A Active JP6994017B2 (en) | 2013-08-27 | 2019-12-04 | Camera system, refrigerator |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019219514A Active JP6994017B2 (en) | 2013-08-27 | 2019-12-04 | Camera system, refrigerator |
Country Status (1)
| Country | Link |
|---|---|
| JP (2) | JP6629899B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7292019B2 (en) * | 2018-08-01 | 2023-06-16 | 三菱電機株式会社 | Control device, interior photography system, article storage, interior photography method and program |
| JP7467897B2 (en) * | 2019-12-04 | 2024-04-16 | 三菱電機株式会社 | Food Management System |
| JP2023079894A (en) * | 2021-11-29 | 2023-06-08 | パナソニックＩｐマネジメント株式会社 | Detection system, program and method of managing storing/delivering |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002081818A (en) * | 2000-09-05 | 2002-03-22 | Hitachi Ltd | Refrigerator |
| JP2002243335A (en) * | 2001-02-21 | 2002-08-28 | Toshiba Corp | Food preservation chamber, home network device, portable information terminal, food information provision server, menu information provision server, and information provision server containing in preservation chamber |
| JP2002267336A (en) * | 2001-03-09 | 2002-09-18 | Hitachi Ltd | System for indicating contained article contained in chamber on portable phone, etc. |
| JP2002340471A (en) * | 2001-05-18 | 2002-11-27 | Fujitsu General Ltd | Refrigerator interior display system |
| JP2004286355A (en) * | 2003-03-24 | 2004-10-14 | Matsushita Electric Ind Co Ltd | Refrigerator |
| JP4196914B2 (en) * | 2004-09-16 | 2008-12-17 | 三菱電機株式会社 | refrigerator |
| JP2007010208A (en) * | 2005-06-29 | 2007-01-18 | Toshiba Corp | Refrigerator |
| JP5178621B2 (en) * | 2009-04-30 | 2013-04-10 | 三菱電機株式会社 | refrigerator |
| JP5235188B2 (en) * | 2009-12-07 | 2013-07-10 | パナソニック株式会社 | Image shooting device |
| JP2012193873A (en) * | 2011-03-15 | 2012-10-11 | Nikon Corp | Storage device |
| JP5895117B2 (en) * | 2011-07-20 | 2016-03-30 | パナソニックＩｐマネジメント株式会社 | refrigerator |
| JP5820181B2 (en) * | 2011-07-29 | 2015-11-24 | キヤノン株式会社 | Imaging system and control method thereof, display control apparatus and control method thereof, program, and storage medium |
| JP6313014B2 (en) * | 2013-08-27 | 2018-04-18 | 東芝ライフスタイル株式会社 | Camera system, refrigerator |
-
2018
- 2018-03-02 JP JP2018037461A patent/JP6629899B2/en active Active
-
2019
- 2019-12-04 JP JP2019219514A patent/JP6994017B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020061744A (en) | 2020-04-16 |
| JP6994017B2 (en) | 2022-01-14 |
| JP2018091621A (en) | 2018-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6313014B2 (en) | Camera system, refrigerator | |
| JP6498866B2 (en) | Refrigerator, camera device | |
| JP6994017B2 (en) | Camera system, refrigerator | |
| JP6411753B2 (en) | Refrigerator and camera device | |
| JP7223054B2 (en) | refrigerator | |
| JP2018200171A (en) | Refrigerator, camera device, door pocket for refrigerator, holder for refrigerator | |
| JP2015042926A (en) | Refrigerator |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180302 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181227 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A132 Effective date: 20190108 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190306 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A132 Effective date: 20190611 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190724 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191112 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191205 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6629899 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |