JP7290415B2 - 三次元計測装置および加熱調理器 - Google Patents

三次元計測装置および加熱調理器 Download PDF

Info

Publication number
JP7290415B2
JP7290415B2 JP2018228958A JP2018228958A JP7290415B2 JP 7290415 B2 JP7290415 B2 JP 7290415B2 JP 2018228958 A JP2018228958 A JP 2018228958A JP 2018228958 A JP2018228958 A JP 2018228958A JP 7290415 B2 JP7290415 B2 JP 7290415B2
Authority
JP
Japan
Prior art keywords
unit
measured
measuring device
dimensional
light irradiation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018228958A
Other languages
English (en)
Other versions
JP2020091217A (ja
Inventor
英次郎 渋沢
和生 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to JP2018228958A priority Critical patent/JP7290415B2/ja
Priority to KR1020190096739A priority patent/KR20200070083A/ko
Priority to PCT/KR2019/015697 priority patent/WO2020116814A1/en
Priority to EP19892117.3A priority patent/EP3870009B1/en
Priority to US16/705,600 priority patent/US12025431B2/en
Publication of JP2020091217A publication Critical patent/JP2020091217A/ja
Application granted granted Critical
Publication of JP7290415B2 publication Critical patent/JP7290415B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518Projection by scanning of the object
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47JKITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J37/00Baking; Roasting; Grilling; Frying
    • A47J37/06Roasters; Grills; Sandwich grills
    • A47J37/0605Roasters; Grills; Sandwich grills specially adapted for "raclettes"
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47JKITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J36/00Parts, details or accessories of cooking-vessels
    • A47J36/32Time-controlled igniting mechanisms or alarm devices
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24CDOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C15/00Details
    • F24C15/008Illumination for oven cavities
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24CDOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C7/00Stoves or ranges heated by electric energy
    • F24C7/08Arrangement or mounting of control or safety devices
    • F24C7/082Arrangement or mounting of control or safety devices on ranges, e.g. control panels, illumination
    • F24C7/085Arrangement or mounting of control or safety devices on ranges, e.g. control panels, illumination on baking ovens
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01KMEASURING TEMPERATURE; MEASURING QUANTITY OF HEAT; THERMALLY-SENSITIVE ELEMENTS NOT OTHERWISE PROVIDED FOR
    • G01K1/00Details of thermometers not specially adapted for particular types of thermometer
    • G01K1/02Means for indicating or recording specially adapted for thermometers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01KMEASURING TEMPERATURE; MEASURING QUANTITY OF HEAT; THERMALLY-SENSITIVE ELEMENTS NOT OTHERWISE PROVIDED FOR
    • G01K7/00Measuring temperature based on the use of electric or magnetic elements directly sensitive to heat ; Power supply therefor, e.g. using thermoelectric elements
    • G01K7/42Circuits effecting compensation of thermal inertia; Circuits for predicting the stationary value of a temperature
    • G01K7/427Temperature calculation based on spatial modeling, e.g. spatial inter- or extrapolation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30128Food products

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Food Science & Technology (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Radiation Pyrometers (AREA)
  • Electric Stoves And Ranges (AREA)

Description

開示する技術は、三次元計測装置、およびその三次元計測装置を用いた加熱調理器に関する。
立体的形状を計測する技術として、光切断法が知られている。光切断法では、一般に、スリットを通じて形成した薄膜状の光線で計測対象物を走査する。それによって計測対象物に投影されるライン状の照射光を定点カメラで撮影する。三角測量の原理に基づいて、照射光の画像データから計測対象物の奥行を演算する。
計測対象物の立体的形状を計測するためには、その全体を走査しなければならないから、計測対象物よりも広い範囲で光線を走査させる必要がある。そのため、光源および計測対象物のいずれかを平行移動させたり、光源を計測対象物に向けた状態で揺動させたりしている(特許文献1)。光源のスリットを光軸回りに回転させることにより、薄膜状の光線を回転させる方法もある(特許文献2)。
特許文献1の光源を揺動させる方法では、光源は、走査方向(X方向)に直交した方向(Y方向)と平行なライン光を照射する。カメラの撮像中心は、光源からX方向に離れた位置に配置される。そして、計測対象物に投影されたライン光と、光源およびカメラの撮像中心との間の角度やこれらの位置関係などから、ライン光の高さを計測している。
特許文献1には、Y方向と平行なライン光だけでなく、Y方向に対して傾斜したライン光を揺動しながら照射する方法も開示されている。
ところで、近年では、オーブンや電子レンジ、これら両機能を合わせ持つオーブンレンジなど、様々な加熱調理器が実用化されている。これら加熱調理器では、様々な自動化技術が導入されていて、ユーザの手間が大幅に簡略化され、便利になってきている。
しかし、現在、実用化されている加熱調理器は、ユーザが行う加熱調理をサポートする程度が一般的であり、高度な加熱調理の自動化は実現できていないのが実情である。そこで、更なる加熱調理の自動化を促進するべく、様々な技術が提案されている。
例えば、特許文献3の電子レンジでは、加熱室に置かれた食品の重量を重量センサで検知する。食品や容器の形状、厚みなどをカメラで撮像し、その画像をデータベースと照合することで、食品を特定する。そして、特定した食品の比熱と熱伝導率、および、検知した食品の重量に基づいて調理シーケンスを生成し、それに基づいて加熱調理している。
特開2016-138761号公報 特開2002-310625号公報 特開平11-63509号公報
ステーキ、ローストチキン、ローストビーフなど、加工度の低い食材は、形状や大きさが様々である。そのため、これら食材を生焼けすることなく美味しく加熱調理するには、その形状や大きさに合わせて、火加減や加熱時間、加熱タイミングなどを微妙に調整する必要がある。
それに対し、特許文献3の電子レンジでは、加熱調理に際して、食材個々の形状や大きさは考慮されていない。そのため、上述したような食材では、適切に加熱調理できない場合がある。そこで、加熱調理に先立って食材の立体的形状を計測し、その計測結果を加熱調理に反映させることが考えられる。
しかし、特許文献2の方法では、計測できる食材の大きさは、光線が広がる範囲に限られる。従って、光線の強さ、拡散等の関係から、食材のような大きな物の計測は困難である。
特許文献1の光源を平行移動させる方法もまた、計測対象物が大きいと、装置が大型化する。そのため、実用上、食材の計測に採用することは困難である。
その点、特許文献1の光源を揺動させる方法によれば、計測対象物が大きくても、光源を大きく移動させる必要は無い。しかし、計測精度を確保するためには、光源およびカメラを、できるだけ離して、精度高く所定位置に配置する必要がある。また、そのカメラも計測対象物が大きいと、広角で撮影しなければならないし、撮像の中心部と周辺部とで歪みが大きくなって計測精度に影響するおそれがある。
また、加熱調理器の場合、装置が高温になり易い。そのため、構成部材に耐熱性が要求される。また、加熱調理器の構造上、装置が設置できるスペースも限られる。更に、加熱調理器は家電であるため、計測ができても、装置に要するコストが高額であれば、実用化は難しい。
そこで、開示する技術の主な目的は、大きな物でも計測できる、コンパクトな三次元計測装置を、低コストで実現することにある。
開示する技術の1つは、計測対象物の立体的形状が計測可能な三次元計測装置に関する。
前記三次元計測装置は、前記計測対象物を撮影する撮影部と、前記計測対象物に所定の光線を照射する光照射部と、前記計測対象物から離れて位置する所定の回動軸を中心に回動する支持軸部と、前記撮影部、前記光照射部、および前記支持軸部と電気的に接続された主体部と、を備える。前記撮影部および前記光照射部が、前記支持軸部に、前記回動軸に沿って所定の間隔を隔てて配置されている。前記支持軸部を回動させて、前記光照射部が照射して前記計測対象物に投影される前記光線を、前記撮影部が撮影する。そして、前記撮影部によって撮影される画像に基づいて前記主体部が演算することにより、前記計測対象物の立体的形状が計測される。
すなわち、この三次元計測装置によれば、撮影部および光照射部が、同じ支持軸部に、所定の配置で設置されているので、これらの位置関係を安定して高精度に維持できる。回動軸に沿って配置されているので、支持軸部が回動しても、これらの位置関係を安定して維持できる。撮影部および光照射部の双方を、一括して適切な位置に配置できる。
従って、撮影部および光照射部を、容易に、精度高く位置決めできるので、高精度な計測が行える。従って、撮影部および光照射部を、近接した位置に配置でき、装置全体のサイズをコンパクトにできる。
撮影部が回動するため、画角が狭くても広い範囲を撮影できる。画角を越える大きな物でも撮影できる。画像の歪みを抑制できるので、高精度な計測が行える。
前記三次元計測装置はまた、前記光線が、前記回動軸と交わって傾斜した方向に広がる平面状の形態を有している、としてもよい。
そうすれば、撮影部が光照射部とともに回動しても、投影される光線の傾斜により、計測対象物の三次元的位置を精度高く計測できる。撮影部および光照射部の相対的な位置関係が変化しないので、三次元計測の演算を簡略化できる。
前記三次元計測装置はまた、前記光線が、前記回動軸と略平行に広がる平面状の形態を有するとともに、前記撮影部と前記光照射部とを結ぶ基線が、前記回動軸と斜めに交差している、としてもよい。
この場合でも、撮影部が光照射部とともに回動しても、基線の傾斜により、計測対象物の三次元的位置を精度高く計測できる。
前記三次元計測装置はまた、前記光照射部の光源が半導体レーザで構成されている、としてもよい。
そうすれば、光照射部を、安価で実現できる。耐熱性に優れるので、加熱調理器に好適である。
前記三次元計測装置はまた、前記光線の波長が変更可能に構成されている、としてもよい。
そうすれば、計測対象物の色が様々であっても、それに応じた適切な色の光線を照射できる。従って、高精度な三次元計測が行える。
開示する技術の他の1つは、食材を自動的に加熱調理する加熱調理器に関する。
前記加熱調理器は、壁面に透過性の窓部を有するとともに、前記食材を収容する調理室と、上述した前記三次元計測装置とを備える。そして、前記三次元計測装置が、前記調理室の周辺部位に、前記窓部を通じて前記食材に臨む状態で配置されている。
すなわち、この加熱調理器によれば、三次元計測装置により、加熱調理に際して、食材の大きさや形状を計測することができる。従って、食材個々の形状や大きさを考慮して、適切な加熱調理が行えるので、高度な自動加熱調理を実現できる。
前記加熱調理器はまた、前記食材を加熱する加熱装置と、前記調理室の外部から前記窓部を通じて前記食材の表面温度を計測する表面温度計測装置と、前記三次元計測装置から入力される形状情報、および前記表面温度計測装置から入力される表面温度情報に基づいて、前記加熱装置を制御する制御装置と、を更に備える、としてもよい。
そうすれば、加熱調理によって変化する食材の表面温度に基づいて、適切な加熱調理が行えるので、よりいっそう高度な自動加熱調理が行える。
その場合、前記支持軸部に、前記表面温度計測装置が更に配置されている、とするのが好ましい。
そうすれば、関連機器がユニット化されて、よりいっそうコンパクトになる。部材コストも低減できるので、コストもよりいっそう削減できる。
開示する技術によれば、大きな物も計測できるコンパクトな三次元計測装置が低コストで実現できる。従って、加熱調理器に適用して実用化できる。その結果、形状や大きさが様々な食材でも、ボタン操作1つで適切に加熱調理できるようになり、高度な加熱調理の自動化が実現できる。
開示する技術を適用した加熱調理器の主な構造を示す概略図である。 制御装置とその主な関連機器との関係を示すブロック図である。 計器ユニットの主な構造を示す概略図である。 図3の矢印Aの方向から見た概略図である。 三次元計測処理の原理を説明するための図である。 コントローラとその主な関連機器との関係を示すブロック図である。 三次元計測の処理の流れの一例を示すフローチャートである。 三次元計測の処理の過程を示す概略図である。 三次元計測の処理の過程を示す概略図である。 計器ユニットの変形例を示す概略図である。
以下、開示する技術の実施形態を図面に基づいて詳細に説明する。ただし、以下の説明は、本質的に例示に過ぎず、本発明、その適用物あるいはその用途を制限するものではない。各図に示す矢印は、説明で用いる方向を示している。具体的には、X方向は前後方向に、Y方向は左右方向に、Z方向は上下方向に、それぞれ対応している。
<加熱調理器>
図1に、開示する技術を適用した加熱調理器1の一例を示す。この実施形態では、開示する技術を適用した三次元計測装置は、加熱調理器1に組み付けられている。
加熱調理器1は、いわゆるオーブンである。加熱調理器1は、箱形の筐体10を備え、その内部に、前面が開口する調理室11が形成されている。筐体10の内部にはまた、ヒータ20(加熱装置の一例)、計器ユニット30、制御装置60などが組み付けられている。
筐体10の前面上部には、スイッチやモニターなど、ユーザが加熱調理器1を操作する操作部12が設置されている。詳細は後述するが、計器ユニット30は、開示する技術を適用した三次元計測装置、表面温度計測装置などを構成している。
調理室11の前面は、筐体10に揺動可能に取り付けられたドア13で開閉自在となっている。調理室11の天井を構成している壁面の一部には、透過性の窓部14が設けられている。窓部14は、透過率に優れた透明な耐熱ガラスなどで構成されている。
調理室11の後部には、ダクト15a、ファン15bを有する空気循環装置15が設置されている。ダクト15aは、調理室11の上部と下部とに連通するように設置されている。ファン15bは、ダクト15aの上部に設置されており、制御装置60によって駆動制御される。ファン15bの駆動により、調理室11の内部の空気が循環する。空気循環装置15は、加熱装置を構成している。空気循環装置15の構造は、一例であり、仕様に応じて変更できる。
調理室11の内部には、金網状または格子状の部材からなる調理台16が設置されている。調理台16は、調理室11の左右の側面に支持されている。調理台16の上面は、前後左右方向(X方向およびY方向)に広がる平面となっており、計器ユニット30の基準面を構成している。
調理室11の内部にはまた、調理室11の天井面、底面、および後面に沿って複数のヒータ20が設置されている。これらヒータ20は、個別に加熱制御可能となっており、食材Fを、その外側から加熱する。調理台16およびヒータ20の構造や配置も一例である。
加熱調理器1には、食材Fを載置するトレイ17が付属されている。トレイ17は、熱伝導に優れた金属素材で形成されている。加熱調理する際、調理台16の上にトレイ17を載置することで、食材Fは所定の調理位置に配置される。なお、加熱調理に際して、付属のトレイ17は必須でない。食材Fを所定の調理位置に配置できればよい。
制御装置60は、筐体10の内部上方に設置されている。制御装置60は、加熱調理器1の動作を総合的に制御する。制御装置60は、CPU、メモリ、インターフェースなどのハードウエアと、制御プログラムや各種データなどのソフトウエアとで構成されている。
図2に、制御装置60とその主な関連機器との関係を示す。制御装置60は、操作部12、計器ユニット30、ヒータ20、ファン15bなどと電気的に接続されている。それにより、制御装置60は、操作部12、計器ユニット30などとの間で、情報を入出力するとともに、ヒータ20およびファン15bの動作を制御する。制御装置60には、食材種推定部61、内部温度推定部62などが設けられているが、これらについては後述する。
(計器ユニット30)
計器ユニット30は、窓部14を通じて調理室11の内部、つまり調理位置に配置された食材Fに臨むように、筐体10の内部上方における調理室11の周辺部位に配置されている。
図1に示すように、計器ユニット30は、調理台16の上面から上下方向(Z方向)に、所定の距離離れた位置に配置されている。計器ユニット30は、回動軸Kが、調理台16の上面と平行して左右方向(Y方向)に延びるように、筐体10に取り付けられている。
(三次元計測装置としての機能)
図3に、計器ユニット30の主な構造を示す。計器ユニット30は、上述したように、開示する技術を適用した三次元計測装置を構成している。
具体的には、計器ユニット30は、支持軸部31、支持フレーム部32などで構成されている。支持軸部31は、略円柱状の部材からなり、その両端部が支持フレーム部32に回動可能に軸支されている。支持軸部31は、支持フレーム部32に設置されたモータ33を有している。モータ33の駆動により、支持軸部31は回動軸Kを中心に回動する。支持フレーム部32には、支持軸部31の回動位置を計測する位置センサ34が設置されている。
支持フレーム部32にはまた、計器ユニット30の動作を総合的に制御するコントローラ35(主体部の一例)が設置されている。コントローラ35は、制御装置60と同様に、CPU、メモリ、インターフェースなどのハードウエアと、制御プログラムや各種データなどのソフトウエアとで構成されている。
支持軸部31に、三次元計測装置の主体となる撮影部36および光照射部37が設置されている。図3および図4に示すように、撮影部36および光照射部37は、回動軸Kに沿って所定の間隔Dを隔てて配置されている。
撮影部36および光照射部37が、同じ支持軸部31に、所定の配置で設置されているので、これらの位置関係を安定して高精度に維持できる。回動軸Kに沿って配置されているので、支持軸部31が回動しても、これらの位置関係を安定して維持できる。筐体10への組み付けも容易であり、撮影部36および光照射部37の双方を一括して適切な位置に配置できる。
撮影部36が回動するため、画角が狭くても広い範囲を撮影できる。画像の歪みを抑制できるので、高精度な計測が行える。
撮影部36は、可視光が撮影可能な小型カメラなどで構成されている。撮影部36は、支持軸部31の長手方向の略中央に配置されている。撮影部36はまた、撮影部36の撮像中心を通る線C1が、回動軸Kに一致し、且つ、回動軸Kに直交して延びるように位置決めされている。そして、撮影部36は、調理台16の上に載置されたトレイ17および食材F(計測対象物)の、少なくとも左右方向の全体が撮影できるように、焦点距離や画角等が設定されている。
本実施形態の撮影部36はまた、食材Fの種類を自動的に推定するため、単体で、調理位置に配置された食材Fを撮影し、その画像情報を制御装置60に出力する装置(食材撮影装置)も兼ねている。
光照射部37は、半導体レーザ37a(LD)、光学素子37bなどで構成されている。半導体レーザ37aは、光照射部37の光源であり、所定波長の可視光線を照射する。光学素子37bは、耐熱性に優れた樹脂などで構成されている。従って、光照射部37は、安価な部品を用いて簡素に構成されている。熱に弱い高額な部品が不要なため、加熱調理器1に好適である。
光照射部37はまた、照射する光線Lの波長が変更可能に構成されている。すなわち、本実施形態の光照射部37は、赤色光や青色光など、異なる色の光線が照射できる。例えば、異なる色の光線を照射する複数の半導体レーザを組み込んでもよいし、光学素子37bに波長を変更する機構を組み込んでもよい。
光学素子37bは、半導体レーザ37aが照射する光線Lを通過させるスリット37cを有している。それにより、光照射部37は、半導体レーザ37aが照射する可視光線を、所定のパターンに変更して出力する。具体的には、光照射部37は、食材Fに向けて、放射状に広がる平面状の光線Lを照射する。光照射部37の照射中心を通る線C2は、回動軸Kに一致し、且つ、回動軸Kに直交して延びるように位置決めされている。上述した間隔Dは、撮像中心線C1と照射中心線C2との間の間隔であり、いわゆる視差または基線長に相当する。
そして、この計器ユニット30(三次元計測装置)では、図4に示すように、スリット37cが回動軸Kに対して傾斜し、光照射部37が照射する光線Lが、回動軸Kと交わって傾斜した方向に広がるように設定されている。すなわち、光照射部37から食材Fに向けて照射される光線Lは、回動軸Kに平行な成分と、基線(ここでは回動軸Kと一致)に垂直な成分とを有している。
それにより、撮影部36が光照射部37とともに回動しても、三角測量の原理により、食材Fの三次元的位置が計測できる。回動しても、撮影部36および光照射部37の相対的な位置関係が変化しないので、演算が簡略化され、高精度な計測が行える。
回動軸Kに対して光線Lが傾斜する角度(傾斜角θ)は、適宜設定できるが、大きい方が好ましい。例えば、傾斜角θとして45°±20°の範囲に設定するのが好ましい。
なお、光線Lは必ずしも回動軸Kに対して傾斜していなくてもよい。例えば、光線Lが、回動軸Kと略平行に広がる場合であっても、撮影部36と光照射部37とを結ぶ基線Sが、回動軸Kと斜めに交差していれば、撮影部36が光照射部37とともに回動しても、三角測量の原理により、食材Fの三次元的位置が計測できる。
具体的には、図5の(a)や(b)に示すように、撮像中心線C1および照射中心線C2は、回動軸Kに一致しない位置に位置決めしてもよい。撮像中心線C1と照射中心線C2とを結ぶ基線Sが、回動軸Kと斜めに交差していればよい。光線Lが回動軸Kと略平行であっても、三角測量の原理により、食材Fの三次元的位置が計測できる。
また、図5の(c)に示すように、光線Lと基線Sとが平行でなく、また、これらが回動軸Kとも平行でない場合も、視差が得られるので、三角測量の原理により、食材Fの三次元的位置が計測できる。
図6に示すように、光照射部37、撮影部36、および支持軸部31は、コントローラ35と電気的に接続されている。コントローラ35は、光照射部37、撮影部36、支持軸部31の他に、位置センサ34、後述する表面温度センサ53、制御装置60などとも電気的に接続されている。
コントローラ35は、制御装置60および撮影部36との間で信号を入出力する。コントローラ35は、位置センサ34および制御装置60から信号を入力し、光照射部37および支持軸部31に信号を出力する。
コントローラ35は、データ部35a、制御部35b、および演算部35cを有している。データ部35aは、演算部35cが行う演算プログラムや演算に用いるマップなどのデータを記憶する。制御部35bは、位置センサ34または制御装置60から入力される信号に基づいて、撮影部36、光照射部37、および支持軸部31の動作を制御する。
演算部35cは、データ部35aと協働し、撮影部36から入力される信号(画像情報)に基づいて、食材Fの立体的形状に関連する情報(形状情報)を演算する。制御装置60はまた、撮影部36が撮影した画像情報や、演算部35cが演算した形状情報を、制御装置60に出力する。
(三次元計測の動作)
計器ユニット30では、支持軸部31を回動し、光照射部37が照射して食材Fに投影される光線Lを、撮影部36が撮影する。そして、撮影部36によって撮影される画像に基づいてコントローラ35が演算することにより、食材Fの立体的形状が計測される。
図7に、これら三次元計測の処理の流れの一例を示す。図8Aおよび図8Bを参照しながら、三次元計測の処理について具体的に説明する。
制御装置60からコントローラ35に、三次元計測の指示信号が入力されると(ステップS1でYes)、コントローラ35(制御部35b)は、位置センサ34から入力される位置情報に基づいて、支持軸部31を回動して初期位置にセットする(ステップS2)。コントローラ35は、光照射部37が照射する光線Lが、調理台16の上面の全域を前後方向(X方向)に走査するように、支持軸部31を回動させる。初期位置は、その走査の開始位置となる支持軸部31の所定の角度位置である。
このとき、コントローラ35は、制御装置60から所定の指示が入力された場合には、光照射部37を制御し、照射する光線Lの波長を変更する。食材Fの色は様々であるため、色の組み合わせにより、食材Fに投影される光線Lが識別困難な場合がある。そのため、この加熱調理器1では、必要に応じて、食材Fの色に応じて光線Lの波長が変更され、適切な色の光線Lが照射される。従って、高精度な三次元計測が行える。
支持軸部31が初期位置にセットされると、コントローラ35は、光照射部37を制御して、光線Lの照射を開始する(ステップS3)。また、所定の速度で支持軸部31の回動を開始する(ステップS4)。
図8Aおよび図8Bに示すように、光線Lは、回動軸Kと交わって傾斜した方向に広がるように設定されているので、食材Fの表面には、X方向およびY方向の双方に傾斜した光の投影線が形成される。コントローラ35は、撮影部36を制御することにより、所定のタイミングで食材Fに投影される光線Lを撮影する(ステップS5)。
コントローラ35は、撮影部36から、撮影した画像の情報を取得すると、位置センサ34から入力される位置情報と関連付けた状態で、これら情報をデータ部35aに一時的に記憶する。そして、光線Lが調理台16の上面の全域を走査し、支持軸部31が所定の終了位置に達すると(ステップS6でYes)、コントローラ35は、支持軸部31の回動を停止させるとともに、光照射部37の光線Lの照射を停止させる(ステップS7)。
コントローラ35(演算部35c)は、データ部35aに記憶されている位置情報および画像情報に基づいて、食材Fの立体的形状を計測する(ステップS8)。具体的には、トレイ17の表面から食材Fの表面までの高さを、三角測量の原理に基づいて演算する。
すなわち、演算部35cは、撮影部36と光照射部37の間隔D、つまり視差または基線長を利用することにより、撮影した複数の画像情報から、食材Fの表面の各所に投影された光線Lの三次元的な位置を演算する。演算の内容は公知であるため、その具体的な説明は省略する。
その結果、食材Fの表面各所の三次元的な位置情報が得られる。これら位置情報は、断続的であるが、線形補間などの処理を行うことにより、食材Fの表面全体の三次元的な位置情報(形状情報)を取得することができる。形状情報により、食材Fの位置、食材Fの体積、食材Fの形状などが推定できる。
また、このとき、三次元計測処理の演算を簡略化するマップ等を利用してもよい。すなわち、データ部35aに、予め、画像情報から三次元的な位置の演算に用いる数式や補正値等をデータ化したマップやテーブルを設定し、三次元計測処理の際に、そのマップ等を利用する。そうすれば、数式や補正値等を直接用いるのに比べて演算処理を簡略化できる。
コントローラ35は、食材Fの形状情報を取得すると、その形状情報を制御装置60に出力する(ステップS9)。
(表面温度計測装置としての機能)
計器ユニット30はまた、上述したように、表面温度計測装置も構成している。
図3に示すように、本実施形態の表面温度計測装置は、支持軸部31、複数の表面温度センサ53、コントローラ35などによって構成されている。
表面温度センサ53の各々は、非接触の温度センサからなり、支持軸部31に設置されている。撮影部36および光照射部37と干渉しないよう、表面温度センサ53は、これらの略反対側に配置されている。表面温度センサ53の各々は、支持軸部31が延びる左右方向に直列に配置されている。
食材Fの表面温度を計測する場合、コントローラ35は、表面温度センサ53が、調理台16の上面の全域を前後方向(X方向)に走査するように、支持軸部31を回動させる。
従って、コントローラ35は、位置センサ34から入力される信号に基づいて、その走査の開始位置となる初期位置に、支持軸部31をセットする。そして、三次元計測の場合と同様に、コントローラ35は、所定の速度で支持軸部31の回動を開始する。そうして、所定のタイミングで表面温度センサ53から入力される温度情報を取得し、位置センサ34から入力される位置情報と関連付けた状態で、データ部35aに一時的に記憶していく。
そして、表面温度センサ53が調理台16の上面の全域を走査し、支持軸部31が所定の終了位置に達すると、コントローラ35は、支持軸部31の回動を停止させる。
計測される食材Fおよびトレイ17の表面温度は、各表面温度センサ53によって、断片的に計測される。コントローラ35は、線形補間などの統計処理を行うことにより、二次元的な表面温度情報を取得し、制御装置60にその表面温度情報を出力する。
(食材種推定部61)
食材種推定部61は、撮影部36が撮影する食材Fの画像に基づいて調理位置に配置された食材Fの種類を推定する。具体的には、加熱調理の前に、制御装置60は、コントローラ35に、撮影部36で食材Fを撮影するように指示信号を出力する。それにより、コントローラ35は、支持軸部31を回動させ、撮影部36で食材Fを撮影し、その画像情報を制御装置60に出力する。
制御装置60には、調理位置に配置された様々な食材の画像情報が予め記憶されている。食材種推定部61は、これら画像情報と、撮影部36が撮影した画像情報とを照合し、比較する。それにより、これらの類似性を確率的に判定する。その結果、食材種推定部61は、類似性が最も高く認められた食材を、その食材Fの種類であると推定する。
制御装置60にはまた、様々な食材の種類に対応した加熱手順がデータベースとして記憶されている。制御装置60は、そのデータベースから、推定した食材Fの種類に最適な加熱手順を選択する。
(内部温度推定部62)
内部温度推定部62は、形状情報、表面温度情報に基づいて、食材Fの内部温度を推定する。具体的には、加熱調理の前に、制御装置60は、形状情報に基づいて、食材Fの内部温度を推定する箇所(通常は、最も温度が上がり難い箇所)を特定する。
制御装置60は、コントローラ35に指示信号を出力することにより、加熱調理が行われる期間中、食材Fの表面温度を計測する。それと同時に、計測される食材Fの表面温度に基づいて、その食材Fに対応した熱伝導モデル式により、特定した箇所の内部温度を推定する。
制御装置60は、加熱手順に従いながら、計測される食材Fの表面温度および演算される食材Fの内部温度の各々の経時変化に基づいて、ヒータ20およびファン15bの動作を調整する。そうして、加熱状態を適宜変更しながら、加熱調理を実行する。従って、この加熱調理器1によれば、大きさや形状が個別に異なる食材Fであっても、熟練を要することなく、手軽に美味しく加熱調理できる。
(計器ユニット30の変形例)
図9に、計測ユニット30の変形例を示す。
変形例の計器ユニット(計器ユニット40)の基本的構造は、上述した計器ユニット30と同じである。同じ機能を有する部材については、同じ符号を用いてその説明は省略または簡略化する。
支持軸部31は、柱状の部材からなる。その一端にフランジ部41が設けられていて、そのフランジ部41を介して、支持フレーム部32に回動可能に軸支されている。コントローラ35(主体部の一例)は、図外に設置されている。
支持軸部31における撮影部36と光照射部37との間には、広角で表面温度を検出する表面温度センサ53が設置されている。
支持軸部31は、回動軸Kと所定の間隔を隔てた状態で、回動軸Kと略平行に延びている。従って、撮影部36および光照射部37は、回動軸Kを中心にして所定の半径Rで回転することになる。従って、この計器ユニット40では、モータ33の少ない回転量で支持軸部31を大きく回動させることができる。
なお、開示する技術にかかる三次元計測装置は、上述した実施形態に限定されず、それ以外の種々の構成をも包含する。
例えば、実施形態では、三次元計測装置を加熱調理器に適用した場合を例示したが、三次元計測装置は、加熱調理器以外にも適用できる。上述した加熱調理器1の構成も一例に過ぎない。計器ユニット30は、好ましい構成ではあるが、必須の構成ではない。
三次元計測は、食材Fの全域を走査しないで、特定の位置の立体的形状を計測してもよい。例えば、ステーキなど、大きさが異なっても厚みが一様で、厚みのみの計測で足りる場合は、計測処理を簡略化できる。
1 加熱調理器
10 筐体
11 調理室
16 調理台
17 トレイ
20 ヒータ(加熱装置)
30 計器ユニット(三次元計測装置)
31 支持軸部
32 支持フレーム部
33 モータ
34 位置センサ
35 コントローラ(主体部)
36 撮影部
37 光照射部
53 表面温度センサ
60 制御装置
F 食材
K 回動軸
L 光線

Claims (6)

  1. 計測対象物の立体的形状が計測可能な三次元計測装置であって、
    X方向およびY方向に広がる基準面の上側に配置される前記計測対象物を撮影する撮影部と、
    前記計測対象物に向けて放射状に広がる平面状の光線を照射する光照射部と、
    前記計測対象物から前記X方向および前記Y方向に直交するZ方向に離れた位置に軸支されて前記Y方向に延びる所定の回動軸を中心に回動する支持軸部と、
    前記撮影部、前記光照射部、および前記支持軸部と電気的に接続された主体部と、
    を備え、
    前記撮影部および前記光照射部が、前記支持軸部に、前記回動軸に沿って所定の間隔を隔てて配置され、
    前記光線が前記基準面の全域を前記X方向に走査するように前記支持軸部を回動させて、前記光照射部が照射して前記計測対象物に投影される前記光線を、前記撮影部が撮影し、
    前記撮影部によって撮影される画像に基づいて前記主体部が演算することにより、前記計測対象物の立体的形状が計測されるように構成されており、
    前記光線が前記回動軸と交わって傾斜した方向に広がって、前記計測対象物の表面に、前記X方向および前記Y方向の双方に傾斜した光の投影線が形成されることにより、前記光照射部とともに回動する前記撮影部が、三角測量の原理を用いて前記計測対象物の三次元位置を計測することを特徴とする、三次元計測装置。
  2. 計測対象物の立体的形状が計測可能な三次元計測装置であって、
    X方向およびY方向に広がる基準面の上側に配置される前記計測対象物を撮影する撮影部と、
    前記計測対象物に向けて放射状に広がる平面状の光線を照射する光照射部と、
    前記計測対象物から前記X方向および前記Y方向に直交するZ方向に離れた位置に軸支されて前記Y方向に延びる所定の回動軸を中心に回動する支持軸部と、
    前記撮影部、前記光照射部、および前記支持軸部と電気的に接続された主体部と、
    を備え、
    前記撮影部および前記光照射部が、前記支持軸部に、前記回動軸に沿って所定の間隔を隔てて配置され、
    前記光線が前記基準面の全域を前記X方向に走査するように前記支持軸部を回動させて、前記光照射部が照射して前記計測対象物に投影される前記光線を、前記撮影部が撮影し、
    前記撮影部によって撮影される画像に基づいて前記主体部が演算することにより、前記計測対象物の立体的形状が計測されるように構成されており、
    前記撮影部と前記光照射部とを結ぶ基線が前記回動軸と斜めに交差することにより、前記光照射部とともに回動する前記撮影部が、三角測量の原理を用いて前記計測対象物の三次元位置を計測することを特徴とする、三次元計測装置。
  3. 請求項1または2に記載の三次元計測装置において、
    前記光線の波長が変更可能に構成されている、三次元計測装置。
  4. 食材を自動的に加熱調理する加熱調理器であって、
    壁面に透過性の窓部を有するとともに、前記食材を収容する調理室と、
    請求項1~請求項3のいずれかに記載されている前記三次元計測装置と、
    を備え、
    前記三次元計測装置が、前記調理室の周辺部位に、前記窓部を通じて前記食材に臨む状態で配置されている、加熱調理器。
  5. 請求項4に記載の加熱調理器において、
    前記食材を加熱する加熱装置と、
    前記調理室の外部から前記窓部を通じて前記食材の表面温度を計測する表面温度計測装置と、
    前記三次元計測装置から入力される形状情報、および前記表面温度計測装置から入力される表面温度情報に基づいて、前記加熱装置を制御する制御装置と、
    を更に備える、加熱調理器。
  6. 請求項5に記載の加熱調理器において、
    前記支持軸部に、前記表面温度計測装置が更に配置されている、加熱調理器。
JP2018228958A 2018-12-06 2018-12-06 三次元計測装置および加熱調理器 Active JP7290415B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2018228958A JP7290415B2 (ja) 2018-12-06 2018-12-06 三次元計測装置および加熱調理器
KR1020190096739A KR20200070083A (ko) 2018-12-06 2019-08-08 삼차원 측정 장치를 포함하는 가열 조리기
PCT/KR2019/015697 WO2020116814A1 (en) 2018-12-06 2019-11-15 Heating cooker including three dimensional measuring device
EP19892117.3A EP3870009B1 (en) 2018-12-06 2019-11-15 Heating cooker including three dimensional measuring device
US16/705,600 US12025431B2 (en) 2018-12-06 2019-12-06 Heating cooker including three dimensional measuring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018228958A JP7290415B2 (ja) 2018-12-06 2018-12-06 三次元計測装置および加熱調理器

Publications (2)

Publication Number Publication Date
JP2020091217A JP2020091217A (ja) 2020-06-11
JP7290415B2 true JP7290415B2 (ja) 2023-06-13

Family

ID=71013706

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018228958A Active JP7290415B2 (ja) 2018-12-06 2018-12-06 三次元計測装置および加熱調理器

Country Status (3)

Country Link
EP (1) EP3870009B1 (ja)
JP (1) JP7290415B2 (ja)
KR (1) KR20200070083A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4220106A4 (en) * 2020-09-25 2024-03-06 Sony Group Corporation INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD AND PROGRAM
WO2022114649A1 (ko) * 2020-11-26 2022-06-02 삼성전자주식회사 조리 기기 및 그 제어 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000097672A (ja) 1998-09-18 2000-04-07 Sanyo Electric Co Ltd 3次元計測機における制御情報生成方法及び制御情報生成支援システム
JP2003143961A (ja) 2001-11-15 2003-05-20 Univ Nagoya 植物又は植物群の3次元構造測定方法
JP2014215245A (ja) 2013-04-26 2014-11-17 株式会社住田光学ガラス 三次元情報測定装置および三次元情報測定方法
US20170115008A1 (en) 2014-06-05 2017-04-27 BSH Hausgeräte GmbH Cooking device with light pattern projector and camera

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08327337A (ja) * 1995-06-02 1996-12-13 Technol Res Assoc Of Medical & Welfare Apparatus 3次元形状測定装置
JPH1163509A (ja) 1997-08-26 1999-03-05 Sharp Corp 加熱調理器
JP2002310625A (ja) 2001-04-13 2002-10-23 Omron Corp 三次元計測方法及びその装置
JP4315169B2 (ja) * 2006-06-15 2009-08-19 コニカミノルタセンシング株式会社 三次元形状測定システム
DE502006003837D1 (de) * 2006-11-02 2009-07-09 Electrolux Home Prod Corp Vorrichtung und Verfahren zum Bestimmen der Temperatur im Inneren eines Garguts
KR101127335B1 (ko) * 2007-02-22 2012-03-29 신닛뽄세이테쯔 카부시키카이샤 코크스로의 벽면 평가 장치, 코크스로의 벽면 보수 지원 장치, 코크스로의 벽면 평가 방법, 코크스로의 벽면 보수 지원 방법 및 컴퓨터 프로그램
EP3064895B1 (en) * 2010-09-07 2020-04-15 Dai Nippon Printing Co., Ltd. Linear illumination device
JP4821934B1 (ja) * 2011-04-14 2011-11-24 株式会社安川電機 3次元形状計測装置およびロボットシステム
JP6176957B2 (ja) * 2013-03-18 2017-08-09 株式会社ミツトヨ 形状測定装置
EP2930433B1 (en) * 2014-04-07 2022-01-12 Whirlpool EMEA S.p.A. Oven comprising a scanning system
JP2016138761A (ja) 2015-01-26 2016-08-04 マミヤ・オーピー・ネクオス株式会社 光切断法による三次元測定方法および三次元測定器
KR20170028746A (ko) * 2015-09-04 2017-03-14 한국전자통신연구원 3d 스캐닝 기능과 3d 프린팅 기능을 구비한 3d 복합기 및 그 동작 방법
EP3346190B1 (en) * 2017-01-10 2020-05-06 Electrolux Appliances Aktiebolag Food preparation entity

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000097672A (ja) 1998-09-18 2000-04-07 Sanyo Electric Co Ltd 3次元計測機における制御情報生成方法及び制御情報生成支援システム
JP2003143961A (ja) 2001-11-15 2003-05-20 Univ Nagoya 植物又は植物群の3次元構造測定方法
JP2014215245A (ja) 2013-04-26 2014-11-17 株式会社住田光学ガラス 三次元情報測定装置および三次元情報測定方法
US20170115008A1 (en) 2014-06-05 2017-04-27 BSH Hausgeräte GmbH Cooking device with light pattern projector and camera

Also Published As

Publication number Publication date
EP3870009A4 (en) 2021-12-29
KR20200070083A (ko) 2020-06-17
EP3870009A1 (en) 2021-09-01
EP3870009B1 (en) 2023-12-27
JP2020091217A (ja) 2020-06-11

Similar Documents

Publication Publication Date Title
US20240094060A1 (en) In-oven camera and computer vision systems and methods
ES2835724T3 (es) Aparato de cocción con proyector de patrón de luz y cámara
JP7290415B2 (ja) 三次元計測装置および加熱調理器
KR101044155B1 (ko) 조리기기 및 그 제어방법
US20160029441A1 (en) Preferentially directing electromagnetic energy towards colder regions of object being heated by microwave oven
CN113170545B (zh) 烤箱内摄像头以及计算机视觉***和方法
KR20120115212A (ko) 수-비드 쿠커
CN113614452B (zh) 家用设备和用于确定物体的轮廓信息的方法
CN113348728A (zh) 家用烹饪器具和用于运行家用烹饪器具的方法
RU2757888C2 (ru) Сенсорное устройство для тостера
JP3279943B2 (ja) 加熱調理器
JPH08228937A (ja) 調理器及び調理制御方法
JP6461656B2 (ja) 加熱調理器
TWI632330B (zh) Heating conditioner
US12025431B2 (en) Heating cooker including three dimensional measuring device
JP2020139866A (ja) 温度計測装置、加熱調理器、および温度計測方法
JP5653465B2 (ja) 加熱調理器
US20200182610A1 (en) Heating cooker including three dimensional measuring device
JP6823152B2 (ja) 加熱調理器
JP6506718B2 (ja) 高周波加熱調理器
JP2021009002A (ja) 加熱調理器
JP6783637B2 (ja) 加熱調理器
JP2023095179A (ja) 加熱調理器
JP2022088138A (ja) 調理機器
JP6824136B2 (ja) 加熱調理器

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220927

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230406

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230601

R150 Certificate of patent or registration of utility model

Ref document number: 7290415

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150