JP2019083522A - 情報処理装置、情報処理装置の制御方法、およびプログラム - Google Patents

Abstract

【課題】荷物の移動作業における、業務効率を向上させることが可能な仕組み提供すること。【解決手段】移動対象の荷物を撮像する撮像装置であるネットワークカメラ１０１と通信可能な情報処理装置である画像解析サーバ１０３であって、撮像装置１０１から、画像データを取得し、取得した画像データを用いて画像データに映る荷物の移動先を特定し、特定した荷物の移動先を識別可能な画面を生成する。【選択図】図１０

Description

本発明は、情報処理装置、情報処理装置の制御方法、およびプログラムに関し、特に、荷物の移動作業における、業務効率を向上させることが可能な仕組みに関する。

工場のある場所に集荷された荷物を出荷するために、フォークリフトで各出荷先に荷物を配送する配送車のところまで運ぶという業務がある。

特表２０１４−５３５０９２号公報

各配送車の配送先に積むべき荷物を確認するために、フォークリフトから降りて、荷物に貼られたラベルを目視して荷物の配送先を確認いるが、毎回フォークリフトから降りる必要があるため効率性が悪く、また、乗降時に転倒したり、荷物のところまで行く途中で、他のフォークリフトにぶつかったりする可能性があり安全性に欠けるという課題があった。そのため、フォークリフトから降りずに出荷先を確認する方法が求められている。

ところで、荷物にはラベルが張り付けられていて、このラベルに含まれるＱＲコード（ＱＲコードは登録商標）内に配送先データが格納されている場合がある。そのため、ネットワークカメラでＱＲコードを読み取り、出荷先を特定できれば、運転手は毎回フォークリフトを降りて出荷先を目視する手間を省くことができる。

上記特許文献１には、カメラ画像の中にある複数のＱＲコードを読み取るために、読み取ったＱＲコードの周辺画像を解析して次のＱＲコードを探す手段が記載されているが、特許文献１に記載の技術を用いた場合、荷物ごとにＱＲコードを探すことになるため、荷物の数が多い場合に、出荷先の特定に時間がかかり、ユーザにとって利便性の悪いものになる恐れがあった。

また、上記特許文献１は、あくまで読み取ったＱＲコードの情報を表示することが開示されているにすぎず、特許文献１に記載の技術を用いたとしても、ＱＲコードから読み取った配送先がディスプレイ上に表示されるだけで、表示されている配送先に対応する荷物がどれなのかは依然として運転手は分からない恐れがあった。

本発明の目的は、荷物の移動作業における、業務効率を向上させることが可能な仕組みを提供することである。

本発明は、移動対象の荷物を撮像する撮像装置と通信可能な情報処理装置であって、前記撮像装置から、画像データを取得する取得手段と、前記取得手段で取得した画像データを用いて当該画像データに映る荷物の移動先を特定する特定手段と、前記特定手段で特定した荷物の移動先を識別可能な画面を生成する生成手段とを備えることを特徴とする。

また、本発明は、移動対象の荷物を撮像する撮像装置と通信可能な情報処理装置の制御方法であって、前記撮像装置から、画像データを取得する取得工程と、前記取得工程で取得した画像データを用いて当該画像データに映る荷物の移動先を特定する特定工程と、前記特定工程で特定した荷物の移動先を識別可能な画面を生成する生成工程とを備えることを特徴とする。

また、本発明は、移動対象の荷物を撮像する撮像手段と、前記撮像手段で前記荷物を撮像することで得られる画像データを用いて当該画像データに映る荷物の移動先を特定する特定手段と、前記特定手段で特定した荷物の移動先を識別可能な画面を生成する生成手段とを備えることを特徴とする。

また、本発明は、移動対象の荷物を撮像する撮像工程と、前記撮像工程で前記荷物を撮像することで得られる画像データを用いて当該画像データに映る荷物の移動先を特定する特定工程と、前記特定工程で特定した荷物の移動先を識別可能な画面を生成する生成工程とを備えることを特徴とする。

本発明によれば、荷物の移動作業における、業務効率を向上させることができる。

本発明のネットワークカメラシステムの構成の一例を示すシステム構成図。 画像解析サーバ１０３に適用可能な情報処理装置のハードウェア構成の一例を示す図。 画像表示端末１０５のハードウェア構成の一例を示す図。 本発明の出荷先表示処理の流れを示すフローチャートの一例を示す図。 図４のステップ４０２の処理の詳細を示すフローチャートの一例を示す図。 配送先表示画面の一例を示す図。 配送先表示画面の一例を示す図。 配送先データベースの一例を示す図。 集積場所画像データの分割のイメージを示す図。 図４のステップ４０２の処理の詳細を示すフローチャートの一例を示す図。 集荷場所画像データの中からパレットを検索するイメージを示す図。 配送先表示画面の一例を示す図。 配送可能な配送車を提示する処理の流れを示すフローチャートの一例を示す図。 配送車データベースの一例を示す図。 配送先表示画面の一例を示す図。 配送先表示画面の一例を示す図。 配送先表示画面の一例を示す図。 図４のステップ４０２の処理の詳細を示すフローチャートの一例を示す図。 図４のステップ４０２の処理の詳細を示すフローチャートの一例を示す図。 配送先特定テーブルの一例を示す図。 ネットワークカメラ１０１のハードウェアの構成を示す構成図。

以下、図面を参照して、本発明の実施形態を詳細に説明する。

図１は、本発明のネットワークカメラシステムの構成の一例を示すシステム構成図である。本ネットワークカメラシステムは、１又は複数のネットワークカメラ１０１、ＰＯＥ ＨＵＢ１０２、画像解析サーバ１０３、無線ＬＡＮルータ１０４、画像表示端末１０５を含む、各機器はネットワーク１０６により接続されている。

ネットワークカメラ１０１は、例えば、倉庫や工場等で、荷物を載せるための荷役台である「パレット」が置かれる場所（集荷場所）を撮影可能な位置に設けられている。ネットワークカメラ１０１は、本発明における、撮像装置の一例である。

ＰＯＥ ＨＵＢ（Ｐｏｗｅｒ ｏｖｅｒ Ｅｔｈｅｒｎｅｔ ＨＵＢ）１０２は、ネットワークカメラ１０１に電力を供給して動作させる。

画像解析サーバ１０３は、ネットワークカメラ１０１で撮影した画像データを取得し、取得した画像データを解析して、パレットに載っている荷物の配送先の特定等を行う。画像解析サーバ１０３は、本発明における、情報処理装置の一例である。

画像表示端末１０５は、フォークリフトを操縦する作業員等が持ち歩くか、フォークリフトに備え付けられる装置である。

画像表示端末１０５は、無線ＬＡＮルータ１０４を介してネットワーク１０６に接続し、画像解析サーバ１０３により、各荷物の配送先が重畳された集荷場所画像データを表示部３０６に表示する。

作業員は、画像表示端末１０５の表示部３０６に表示された集荷場所画像データを閲覧することで、各荷物の配送先を特定し、特定した配送先に荷物を配送する配送車の所までフォークリフトで荷物を移動させる。

なお、本実施形態では、荷物の側面にラベルが貼られており、またラベルにはＱＲコード（ＱＲコードは登録商標）と、荷物の配送先を一意に識別するための配送先コードが印字されている。なお、他の実施形態として、ＱＲコードに限らずバーコード（１次元コードともいう）であっても、カラーバーコードであっても良い。以上で、図１の説明を終了する。

次に、図２を用いて、図１に示した画像解析サーバ１０３に適用可能な情報処理装置のハードウェア構成の一例について説明する。

図２において、２０１はＣＰＵで、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２０２あるいは外部メモリ２１１には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。

２０３はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは外部メモリ２１１からＲＡＭ２０３にロードして、ロードしたプログラムを実行することで各種動作を実現するものである。

また、２０５は入力コントローラで、キーボード（ＫＢ）２０９等のポインティングデバイス等からの入力を制御する。２０６はビデオコントローラで、ディスプレイ２１０（液晶、ブラウン管を問わない）等の表示器への表示を制御する。

２０７はメモリコントローラで、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶する外部記憶装置（ハードディスク（ＨＤ））や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１１へのアクセスを制御する。

２０８は通信Ｉ／Ｆコントローラで、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。

なお、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ２１０上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。

本発明を実現するための後述する各種プログラムは、外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、上記プログラムの実行時に用いられる設定ファイル等も外部メモリ２１１に格納されており、これらについての詳細な説明も後述する。以上で、図２の説明を終了する。

次に、図３を参照して、図１の画像表示端末１０５のハードウェア構成の一例について説明する。

図３において、３０１はＣＰＵで、システムバス３１０に接続される後述する各種のデバイスを統括的に制御する。ＲＯＭ３０３や外部メモリ３０９には、ＣＰＵ３０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステム（ＯＳ）や、画像表示端末１０５が実行する機能を実現するために必要な各種プログラムやデータ等が記憶されている。

３０２はＲＡＭで、ＣＰＵ３０１の主メモリ、ワークエリア等として機能する。ＣＰＵ３０１は、後述する各種の処理の実行に際して必要なプログラム等をＲＯＭ３０３や外部メモリ３０９からＲＡＭ３０２にロードして、ロードしたプログラムを実行することで、各種の動作を実現する。

撮影部３０４は、撮影レンズ、撮像素子、撮像素子で得られた画像信号を所定の形式に変換する回路等からなる。通信部３０５は、通信ネットワーク（例えば、図１のネットワーク１０６）を介して画像解析サーバ１０３等の外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。

表示部３０６は、液晶ディスプレイ等からなり、ＣＰＵ３０１が、例えばＲＡＭ３０２内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、表示部３０６への表示を可能としている。

操作部３０７はＣＰＵ３０１に対して各種の指示を入力するためのものであり、各種のボタンや表示部３０６に貼られているタッチパネルシートからなる。表示部３０６に表示されているシステムの操作画面に対する押下指示を受け付けると、押されるとその位置情報を操作部３０７はＣＰＵ３０１に伝える。

音声入力部３０８は、マイク等から構成され、入力された音声を音声信号に変換する。外部メモリ３０９は、画像表示端末１０５が後述するフローチャート示す各ステップの処理を実行するためのプログラムやデータを記憶する記憶装置である。

本発明を実現するための各種プログラムは外部メモリ３０９に記録されており、必要に応じてＲＡＭ３０２にロードされることにより、ＣＰＵ３０１によって実行されるものである。さらに、上記プログラムの実行時に用いられる設定ファイル等も外部メモリ３０９に格納されており、これらについての詳細な説明も後述する。

以上が、図１の画像表示端末１０５のハードウェア構成の一例の説明である。

次に、図２１を用いて、図１に示したネットワークカメラ１０１（情報処理装置）のハードウェア構成の一例について説明する。

図２１は、ネットワークカメラ１０１のハードウェアの構成を示す構成図である。

ＣＰＵ２１０１は、システムバス２１０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２１０２あるいは外部メモリ２１０５には、ＣＰＵ２１０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、画像処理サーバ１０８の実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。ＲＡＭ２１０３は、ＣＰＵ２１０１の主メモリ、ワークエリア等として機能する。

ＣＰＵ２１０１は、処理の実行に際して必要なプログラム等をＲＡＭ２１０３にロードして、プログラムを実行することで各種動作を実現するものである。

メモリコントローラ（ＭＣ）２１０６は、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ、画像データ等を記憶するハードディスク（ＨＤ）やＰＣＭＣＩＡカードスロットにアダプタを介して接続されるスマートメディア（登録商標）等の外部メモリ２１０５へのアクセスを制御する。

カメラ部２１０７は、画像処理部２１０８と接続されており、監視対象に対して向けられたレンズを透過して得られた光をＣＣＤやＣＭＯＳ等の受光セルによって光電変換を行った後、ＲＧＢ信号や補色信号を画像処理部２１０８に対して出力する。

画像処理部２１０８は、ＲＧＢ信号や捕色信号に基づいて、ホワイトバランス調整、ガンマ処理、シャープネス処理を行い、更に、ＹＣ信号処理を施して輝度信号Ｙとクロマ信号（以下、ＹＣ信号）を生成し、ＹＣ信号を所定の圧縮形式（例えばＪＰＥＧフォーマット、あるいはＭｏｔｉｏｎＪＰＥＧフォーマット等）で圧縮し、この圧縮されたデータは、画像データとして外部メモリ２１０５へ一時保管される。

通信Ｉ／Ｆコントローラ（通信Ｉ／ＦＣ）２１０９は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行しており、外部メモリ２１０５に記憶された画像データは、通信Ｉ／Ｆコントローラ２１０９によって外部機器へ送信される。

次に、図４について説明する（本発明の第１の実施形態）。図４は、画像表示端末１０５が画像解析サーバ１０３から解析結果の画像データを受け取り、出荷先を表示した集荷場所画像データを表示する本発明の出荷先表示処理の流れを示すフローチャートの一例である。

図４に示す各処理は、画像解析サーバ１０３のＣＰＵ２０１、または画像表示端末１０５のＣＰＵ３０１により実行される。

ステップ４０１で、画像表示端末１０５は、表示部３０６に表示された配送先表示画面（図６）上で、出荷先表示ボタン（６０１）の選択をユーザから受け付けると、ステップ４０２で、画像解析サーバ１０３は、集荷場所のネットワークカメラ画像データの解析を行い、集荷場所画像データ内のパレットに配送先の配色をオーバレイした画像データを作成する。ステップ４０２の処理の詳細は、図５を用いて後ほど説明する。

ここで、図６〜図８について説明する。図６は画像表示端末１０５の表示部３０６に表示される、ＱＲコード解析前の配送先表示画面である。

出荷先表示ボタン６０１は、当該ボタンがユーザにより押下されることで、図７に示す通り、画像データ表示領域６０３に表示される画像データ中の各パレットの荷物に配送先の色がオーバレイされて表示（図７の７０１〜７０３）される。また、各配送先をどの色で表示するかは、図８の配送先データテーブルにより決定される。

キャンセルボタン６０２は、配送先表示画面の表示を終了するためのボタンである。

画像データ表示領域６０３は、ネットワークカメラ１０１で撮影した画像データが表示される。

６０４は、ネットワークカメラ１０１で撮影した画像データに映るパレットを示す。

凡例６０５は、図７に示すように、画像データ表示領域６０３に表示される画像データ中の各パレットの荷物に配送先の色をオーバレイして表示するときに、各色が示す配送先がどこであるかを示す。

配送先コードの文字列６０６は、荷物側面に貼られたラベルに印字される、荷物の配送先を一意に識別するためのコードである。

図７は、後述する図４のステップ４０４で、出荷先表示ボタン６０１がユーザにより押下されることで各パレットの荷物に配送先の色をオーバレイした状態の一例を示す図である。

図８は、画像解析サーバ１０３の外部メモリ２１１で管理される配送先データテーブルの一例を示す図であり、ＱＲコードに埋め込まれている配送先コードから、配送先と配送先を識別するための色を管理するデータテーブルである。

配送先コード８０１は、各配送先を一意に識別するためのコードであり、パレット上の荷物に張り付けられるＱＲコード（２次元コードともいう）に埋め込まれている情報である。配送先８０２はパレット上の荷物の配送先を示し、色８０３は、画像データ表示領域６０３に表示される画像データ中のパレットの荷物が、配送先８０２に示される配送先である場合に、何色をオーバレイするかを示す。

ＱＲコードは、本発明における識別情報の一例である。以上で、図６〜図８の説明を終了し、図４の説明に戻る。

画像解析サーバ１０３は、ステップ４０３で、画像表示端末１０５に対してステップ４０２で作成した画像データを送信し、ステップ４０４で、画像表示端末１０５は、受信した画像データを表示部３０６に表示する（図７）。以上で図４の説明を終了し、次に図５について説明する。

図５は、画像解析サーバ１０３が撮影した集荷場所画像データを解析し、パレット画像部分に配送先の配色をオーバレイする手順の一例を示すフローチャートであり、図４のステップ４０２の処理の詳細を示すフローチャートの一例を示す図である。

図５に示す各処理は、画像解析サーバ１０３のＣＰＵ２０１、またはネットワークカメラ１０１のＣＰＵにより実行される。

ステップ５０１で画像解析サーバ１０３は、ネットワークカメラ１０１に集荷場所画像データをリクエストする。

ネットワークカメラ１０１は、画像解析サーバ１０３からのリクエストを受信し、ステップ５０２で、当該ネットワークカメラ１０１で撮影した集荷場所画像データを画像解析サーバ１０３に送信する。

ステップ５０３で、画像解析サーバ１０３は、集荷場所画像データを受信し、図９に示す通り、あらかじめ決められた数（横Ｘ、縦Ｙ）で画像を分割する。図９は撮影した集荷場所画像データを横Ｘ、縦Ｙで分割した画面のイメージを表している。

ステップ５０３と、後述するステップ１００３は、本発明における、撮像装置から、画像データを取得する取得手段の一例である。

ステップ５０４で、画像解析サーバ１０３は、ｘ＝１，ｙ＝１で変数を初期化し、ステップ５０５で、画像解析サーバ１０３は、分割した（ｘ，ｙ）の領域の集荷場所画像データの色分布を解析する。

ステップ５０６で、画像解析サーバ１０３は、ステップ５０５の解析の結果、白と黒の割合が所定以上あるかどうかを判定し、所定以上あればステップ５０７に移行し、所定以上なければ次の領域の画像を解析するためにステップ５１６に移行する。ステップ５０６は、本発明における、取得手段で取得した画像データを解析し、識別情報を特定する特定手段の一例である。

白と黒の割合が所定以上であった場合、ステップ５０７で、画像解析サーバ１０３は、ＱＲコードを解析するためにネットワークカメラ１０１に（ｘ，ｙ）領域のズーム画像の送信命令を送る。ステップ５０７は、本発明における、前記特定手段で特定した識別情報をズームして撮像するように前記撮像装置に指示する指示手段の一例である。

ステップ５０８で、ネットワークカメラ１０１は、画像解析サーバ１０３からの送信命令を受信し、（ｘ，ｙ）領域のズーム画像を画像解析サーバ１０３へ送る。

ステップ５０９で、画像解析サーバ１０３は（ｘ，ｙ）領域のズーム画像を受信し、ステップ５１０で受信したズーム画像の中にＱＲコードのファインダパターンがあるかどうかを判定する。

画像解析サーバ１０３は、ステップ５１０の判定によりＱＲコードのファインダパターンを検出できなかった場合はステップ５１６に処理を移行し、ＱＲコードのファインダパターンを検出した場合は、ステップ５１１に処理を移行してＱＲコードの情報の読み取りを行う。

ステップ５１２で、画像解析サーバ１０３は、ＱＲコードの情報が読み取れたかどうかの判定を行い、読み取れた場合はステップ５１４でＱＲコードに含まれている配送先コードに紐づいた色を配送先データベース（図８）から取得して、ステップ５１５に移行する。

ステップ５１２でＱＲコードの情報が読み取れなかったと判定された場合、画像解析サーバ１０３は、ステップ５１３でＱＲコードの右上にある配送先コードの文字列（配送先コードの文字列６０６）をＯＣＲで読み取り、ステップ５１５に移行する。

なお、本実施例では、配送先コードはＱＲコードの右上にあるものとしたが、配送先コードがどの位置にあるかは、画像解析サーバ１０３にユーザが予め登録していれば、右上でなくとも良い。また、画像解析により、配送先コードを特定しても良い。

ステップ５１５では、集荷場所画像データ中のＱＲコードを中心とした荷物のサイズに相当する矩形に配送先コードに紐づいた色をオーバレイ（図７）し、ステップ５１６へ移行する。なお、荷物のサイズは画像解析サーバであらかじめ記憶しても良いし、画像解析により、集荷場所画像中の荷物の領域を特定しても良い。

次にステップ５０６で白と黒の割合が所定以上でなかった場合の説明を行う。ステップ５１６では、画像解析サーバ１０３は、ｘが横分割数Ｘと同じかどうかを比較して、同じであればステップ５１８に移行し、同じでなければ次の領域の画像をチェックするためにステップ５１７でｘをインクリメントしてステップ５０５に戻る。

ステップ５１８では、画像解析サーバ１０３は、ｙが縦分割数Ｙと同じかどうかを比較して、同じであれば全分割画像を解析したので処理を終了し、同じでなければ次の領域の画像をチェックするためにステップ５１９でｙをインクリメントしてステップ５０５に戻る。

なお、図５の処理を実行後に荷物が運ばれると、運ばれた荷物の後ろに置かれていた別の荷物が集荷場所画像データに新たに映ることもあるため、荷物が運ばれた場合、その荷物があった領域に対してのみステップ５０５〜ステップ５１９の処理を実行することで、再度集荷場所画像データ全体に対してステップ５０５〜ステップ５１９の処理を実行するよりも処理負荷を軽減することが可能となる。荷物が運ばれたか否かは、集荷場所画像データを解析することにより特定する。

以上で、図５の説明を終了し、次に、図１０を用いて、図４のステップ４０２の処理の詳細を示すフローチャートの他の実施形態について説明する。

図１０は図５のフローチャートと別技術で、撮影した集荷場所画像データを解析し、パレット画像部分に配送先の配色をオーバレイする手順の一例を示すフローチャートである。

図５の処理では、パレットに載っている荷物一つ一つのＱＲコードの情報を読み取って、配送先の特定を荷物ごとに行っている。しかしながら、通常同一のパレットに載っている荷物は同一の配送先である。

そのため、本実施形態では、まず集荷場所画像データからパレットを特定し、パレットに載っている荷物のうちの１つのＱＲコードの情報を読み取ることで、その荷物の配送先を特定するとともに、当該荷物と同じパレットに載っているその他の荷物も特定した配送先と同じ配送先として特定する。そうすることで、パレットに載っている荷物一つ一つのＱＲコードの情報を読み取って、配送先の特定を荷物ごとに行うよりも、解析時間を短縮することができる。では、ここから図１０のフローチャートの各ステップについて説明する。

なお、図１０に示す各処理は、画像解析サーバ１０３のＣＰＵ２０１、またはネットワークカメラ１０１のＣＰＵにより実行される。

ステップ１００１で、画像解析サーバ１０３は、ネットワークカメラ１０１に集荷場所画像データをリクエストする。

ステップ１００２で、ネットワークカメラ１０１は、画像解析サーバ１０３からのリクエストを受信し、当該ネットワークカメラ１０１で撮影した集荷場所画像データを画像解析サーバ１０３に送信する。

ステップ１００３で、画像解析サーバ１０３は、ネットワークカメラ１０１から送信された集荷場所画像データを受信し、集荷場所画像データの中からパレット１１０２を検索する（図１１）。パレットの検索には、既知の画像のパターンマッチング技術を用いる（例えば、予め荷台の画像データを画像解析サーバ１０３で管理し、当該パレットの画像データと特徴量が一致または所定以上類似するものを集荷場所画像データから検索する）。ステップ１００３は、本発明における、取得手段で取得した画像データから台を特定する特定手段の一例である。

画像解析サーバ１０３は、ステップ１００４でパレットが見つからなかった場合は本処理を終了し、パレットが見つかった場合は、ステップ１００５で画像解析サーバ１０３はパレット上部の所定の位置の「横ｘ，縦ｙのサイズのＱＲコード解析画像領域（図１１のＱＲコード解析画像領域１１０１）」のズーム画像送信命令をネットワークカメラ１０１に送信する。

本実施形態においては、「横ｘ，縦ｙのサイズのＱＲコード解析画像領域」の所定の位置の情報は、ユーザが画像解析サーバ１０３にあらかじめ登録しておくものとする。

ステップ１００６で、ネットワークカメラ１０１は、画像解析サーバ１０３からの命令を受信し、ＱＲコード解析画像領域１１０１をズームして撮影した画像データを画像解析サーバ１０３へ送る。

ステップ１００７で、画像解析サーバ１０３は、ＱＲコード解析画像領域１１０１をズームして撮影した画像データを受信し、ステップ１００８で受信した画像データの中にＱＲコードのファインダパターンがあるかどうかを判定する。

画像解析サーバ１０３は、ステップ１００８の判定でＱＲコードを検出できなかった場合はステップ１０１４に移行し、ＱＲコードを検出した場合は、ステップ１００９に移行してＱＲコードの情報を読み取る。

ステップ１０１０で、画像解析サーバ１０３は、ＱＲコードの情報が読み取れたかどうかの判定を行い、読み取れた場合はステップ１０１２でＱＲコードに含まれている配送先コードに紐づいた色を配送先データベース（図８）から取得して、ステップ１０１３に移行する。

ステップ１０１０でＱＲコードが読み取れなかった場合は、ステップ１０１１でＱＲコードの右上にある配送先コードの文字列をＯＣＲで読み取り、ステップ１０１３に移行する。

なお、本実施例では、配送先コードはＱＲコードの右上にあるものとしたが、配送先コードがどの位置にあるかは、画像解析サーバ１０３にユーザが予め登録していれば、右上でなくとも良い。また、画像解析により、配送先コードを特定しても良い。

ステップ１０１３で、画像解析サーバ１０３は、集荷場所画像中のパレットに載っている全荷物に対して、配送先コードに紐づいた色をオーバレイ（図１２）し、ステップ１０１４へ移行する。ステップ１０１３は、本発明における、前記特定手段で特定した前記台ごとに当該台上の荷物を識別表示した画面を生成する生成手段の一例である。

ステップ１０１４で、画像解析サーバ１０３は、ステップ１００２でネットワークカメラ１０１から送信された集荷場所画像データの中から、画像検索により次のパレットを検索する。

ステップ１０１５でパレットが見つからなかった場合は本処理を終了し、見つかった場合は次のパレットの配送先を解析するためにステップ１００５に戻る。以上で、図１０の説明を終了する。

次に図１３を用いて、本発明の実施形態における、配送可能な配送車を提示する処理の流れを示すフローチャートの一例について説明する。

図１３は、既知の車番認識技術（例えば、特開２００７−２９３４９２号公報や、特開２０１３−２５１００５号公報に記載の技術）を利用し、各配送先に荷物を運ぶ配送車が配送可能な状態かどうかをユーザに提示する方法を示すフローチャートの一例である。これにより配送可能なパレットから出荷することができるため、配送車の待機時間を短縮し、効率良い配送業務が可能となる。

ステップ１３０１で、画像解析サーバ１０３は、駐車場の入り口など配送車の帰車が分かる場所に設置されたネットワークカメラから画像データを取得する。ステップ１３０１は、本発明における、前記撮像装置から、荷物を配送先に運ぶ車両を撮像した画像データ（車両画像）を取得する取得手段（車両画像取得手段）の一例である。

ステップ１３０２で、画像解析サーバ１０３は、ステップ１３０１で取得した画像データから、これから荷積を行う配送車のナンバーを読み取る。ステップ１３０２は、本発明における、取得手段で取得した画像データから、当該画像データに映る車両を識別可能な識別情報を特定する第１特定手段の一例である。

ステップ１３０３で、画像解析サーバ１０３は、配送車データベース（図１４）を参照して、読み取ったナンバーと、ナンバー１４０３が一致する行の配送先１４０２を取得し、ステップ１３０４で、当該配送先１４０２によって示される配送先の配送車が到着したことをユーザに認識させるべく、通知する。

ステップ１３０３は、本発明における、第１特定手段で特定した前記識別情報を用いて、前記車両の荷物の配送先を特定する第２特定手段の一例である。また、ステップ１３０４は、本発明における、第２特定手段で特定した配送先をユーザに認識させるべく、通知する通知手段の一例である。

具体的には、例えば、図１５に示す通り、配送先表示画面上で「配送車到着済み」１５０１を表示することで通知する。なお、複数の配送車が到着した場合には、到着した順番を示す番号がそのまま優先度として、配送先表示画面上に表示される。

なお、図１３の処理は、ステップ４０１より後の画像表示端末１０５に配送先表示画面を表示している間に実行される。

図１４は、画像解析サーバ１０３の外部メモリ２１１に記憶される配送車データベースの一例を示す図である。

配送先コード１４０１は、各配送車の配送先を一意に識別するためのコードである。

配送先１４０２は、配送車が荷物を配送する配送先を示す。ナンバー１４０３は、配送車のナンバープレートに記載のナンバーを示す。以上で図１４の説明を終了する。

次に図１６を用いて、配送先表示画面の他の実施形態について説明する。図１６は、図４のステップ４０４において、画像表示端末１０５の表示部３０６に表示される配送先表示画面の一例を示す図である。

パレット選択ボタン１６０１は、フォークリフトでパレットを運ぶ作業員が、配送先表示画面中の荷物の中からこれから運ぶ荷物をタッチ操作等により選択した後に押すボタンである。パレット選択ボタン１６０１が押下されると、その荷物の選択情報を画像解析サーバ１０３が取得・管理し、他の作業員の画像表示端末１０５の表示部３０６に対して、メッセージ１６０２に示すように、当該選択された荷物がすでに運ばれる予定であることを示すメッセージを含む配送先（移動先）表示画面を再度生成して表示する。これにより、例えば、複数のフォークリフトで荷物を運ぶ場合に、他の作業員に対して、選択済みの荷物を優先的に運ぶべきであることを認識させたり、逆に選択済みの荷物以外の荷物を運ぶべきであることを認識させたりすることが可能となる。以上で、図１６の説明を終了する。

次に、図１７を用いて、配送先（移動先）表示画面の他の実施形態について説明する。図１７は、図４のステップ４０４において、画像表示端末１０５の表示部３０６に表示される配送先表示画面の一例を示す図である。上述の配送先表示画面では、荷物を最終的に送る先を表示したが、図１７の実施形態では、荷物の移動先をパレットの荷物にオーバレイして表示する。そうすることで、例えば、東京行きの荷物は、東京行きの配送車が到着するエリアＡに移動させるといった運用の場合に、東京行きの荷物であるというだけでは、どのエリアに荷物を移動させれば良いのかが分からないといった課題を解消することが可能となる。

次に図１８、図１９を用いて、本発明の第２の実施形態について説明する。第２の実施形態では、図４、図５、図１０、図１３のフローチャートにおいて、画像解析サーバ１０３が実行していた処理をネットワークカメラ１０１が実行する。また、第１の実施形態において画像解析サーバ１０３の外部メモリ２１１で記憶する各データテーブルは、ネットワークカメラ１０１の外部メモリ２１０５で記憶するものとする。そのため、第２の実施形態におけるネットワークカメラシステムでは、画像解析サーバ１０３は必須の構成ではない。

第２の実施形態では、まず、第１の実施形態同様、図４の処理を実行する。なお、上述のとおり、ステップ４０２、およびステップ４０３の処理はネットワークカメラ１０１が実行する。ただし、ステップ４０２の処理の詳細は、図５ではなく、図１８、または図１９である。

では、ここから図１８、図１９について説明する。

図１８は、ネットワークカメラ１０１が撮影した集荷場所画像データを、当該ネットワークカメラ１０１が解析し、パレット画像部分に配送先の配色をオーバレイする手順の一例を示すフローチャートであり、図４のステップ４０２の処理の詳細を示すフローチャートの一例を示す図である。

図１８に示す各処理は、ネットワークカメラ１０１のＣＰＵ２１０１により実行される。なお、図５のフローチャートにおいて画像解析サーバ１０３が実行する処理を、ネットワークカメラ１０１が実行する以外は、図５のフローチャートと同様の処理であるため、簡潔に説明する。

ステップ１８０１で、ネットワークカメラ１０１は、出荷先表示ボタン（６０１）が選択された旨の情報を画像表示端末１０５から受信し、ステップ１８０２で、当該ネットワークカメラ１０１で集荷場所画像データを撮影する。

ステップ１８０２と、後述するステップ１９０２は、本発明における、移動対象の荷物を撮像する撮像手段の一例である。

ステップ１８０３で、ネットワークカメラ１０１は、集荷場所画像データを、図９に示す通り、あらかじめ決められた数（横Ｘ、縦Ｙ）で画像を分割する。

ステップ１８０４で、ネットワークカメラ１０１は、ｘ＝１，ｙ＝１で変数を初期化し、ステップ１８０５で、ネットワークカメラ１０１は、分割した（ｘ，ｙ）の領域の集荷場所画像データの色分布を解析する。

ステップ１８０６で、ネットワークカメラ１０１は、ステップ１８０５の解析の結果、白と黒の割合が所定以上あるかどうかを判定し、所定以上あればステップ１８０７に移行し、所定以上なければ次の領域の画像を解析するためにステップ１８１４に移行する。

白と黒の割合が所定以上であった場合、ステップ１８０７で、ネットワークカメラ１０１は、（ｘ，ｙ）領域のズーム画像を撮影する。

ステップ１８０８で、ネットワークカメラ１０１は（ｘ，ｙ）領域のズーム画像の中にＱＲコードのファインダパターンがあるかどうかを判定する。

ネットワークカメラ１０１は、ステップ１８０８の判定によりＱＲコードのファインダパターンを検出できなかった場合はステップ１８１４に処理を移行し、ＱＲコードのファインダパターンを検出した場合は、ステップ１８０９に処理を移行してＱＲコードの情報の読み取りを行う。ステップ１８０９と、後述するステップ１９０７は、本発明における、前記撮像手段で前記荷物を撮像することで得られる画像データを用いて当該画像データに映る荷物の移動先を特定する特定手段の一例である。

ステップ１８１０で、ネットワークカメラ１０１は、ＱＲコードの情報が読み取れたかどうかの判定を行い、読み取れた場合はステップ１８１２でＱＲコードに含まれている配送先コードに紐づいた色を配送先データベース（図８）から取得して、ステップ１８１３に移行する。

ステップ１８１０でＱＲコードの情報が読み取れなかったと判定された場合、ネットワークカメラ１０１は、ステップ１８１１でＱＲコードの右上にある配送先コードの文字列（配送先コードの文字列６０６）をＯＣＲで読み取り、ステップ１８１３に移行する。

なお、本実施例では、配送先コードはＱＲコードの右上にあるものとしたが、配送先コードがどの位置にあるかは、ネットワークカメラ１０１にユーザが予め登録していれば、右上でなくとも良い。また、画像解析により、配送先コードを特定しても良い。

ステップ１８１３では、集荷場所画像データ中のＱＲコードを中心とした荷物のサイズに相当する矩形に配送先コードに紐づいた色をオーバレイ（図７）し、ステップ１８１４へ移行する。なお、荷物のサイズは画像解析サーバであらかじめ記憶しても良いし、画像解析により、集荷場所画像中の荷物の領域を特定しても良い。

ステップ１８１３と、後述するステップ１９１１は、本発明における、前記特定手段で特定した荷物の移動先を識別可能な画面を生成する生成手段の一例である。

次にステップ１８０６で白と黒の割合が所定以上でなかった場合の説明を行う。ステップ１８１４では、ネットワークカメラ１０１は、ｘが横分割数Ｘと同じかどうかを比較して、同じであればステップ１８１６に移行し、同じでなければ次の領域の画像をチェックするためにステップ１８１５でｘをインクリメントしてステップ１８０５に戻る。

ステップ１８１６では、ネットワークカメラ１０１は、ｙが縦分割数Ｙと同じかどうかを比較して、同じであれば全分割画像を解析したので処理を終了し、同じでなければ次の領域の画像をチェックするためにステップ１８１７でｙをインクリメントしてステップ１８０５に戻る。

なお、図１８の処理を実行後に荷物が運ばれると、運ばれた荷物の後ろに置かれていた別の荷物が集荷場所画像データに新たに映ることもあるため、荷物が運ばれた場合、その荷物があった領域に対してのみステップ１８０５〜ステップ１８１９の処理を実行することで、再度集荷場所画像データ全体に対してステップ１８０５〜ステップ１８１７の処理を実行するよりも処理負荷を軽減することが可能となる。荷物が運ばれたか否かは、集荷場所画像データを解析することにより特定する。

以上で、図１８の説明を終了し、次に、図１９を用いて、第２の実施形態における図４のステップ４０２の処理の詳細を示すフローチャートの他の実施形態について説明する。

図１９は、図５のフローチャートと別技術で、撮影した集荷場所画像データを解析し、パレット画像部分に配送先の配色をオーバレイする手順の一例を示すフローチャートである。

なお、図１９に示す各処理は、ネットワークカメラ１０１のＣＰＵ２１０１により実行される。なお、図１０のフローチャートにおいて画像解析サーバ１０３が実行する処理を、ネットワークカメラ１０１が実行する以外は、図１０のフローチャートと同様の処理であるため、簡潔に説明する。

ステップ１９０１で、ネットワークカメラ１０１は、出荷先表示ボタン（６０１）が選択された旨の情報を画像表示端末１０５から受信し、ステップ１９０２で、当該ネットワークカメラ１０１で集荷場所画像データを撮影する。

ステップ１９０３で、ネットワークカメラ１０１は、集荷場所画像データの中からパレット１１０２を検索する（図１１）。

ネットワークカメラ１０１は、ステップ１９０４でパレットが見つからなかった場合は本処理を終了し、パレットが見つかった場合は、ステップ１９０５でネットワークカメラ１０１はパレット上部の所定の位置のＱＲコード解析画像領域１１０１をズームして撮影する。

ステップ１９０６で、ネットワークカメラ１０１は、ＱＲコード解析画像領域１１０１をズームして撮影した画像データの中にＱＲコードのファインダパターンがあるかどうかを判定する。

ネットワークカメラ１０１は、ステップ１９０６の判定でＱＲコードを検出できなかった場合はステップ１９１２に移行し、ＱＲコードを検出した場合は、ステップ１９０７に移行してＱＲコードの情報を読み取る。

ステップ１９０８で、ネットワークカメラ１０１は、ＱＲコードの情報が読み取れたかどうかの判定を行い、読み取れた場合はステップ１９１０でＱＲコードに含まれている配送先コードに紐づいた色を配送先データベース（図８）から取得して、ステップ１９１１に移行する。

ステップ１９０８でＱＲコードが読み取れなかった場合は、ステップ１９０９でＱＲコードの右上にある配送先コードの文字列をＯＣＲで読み取り、ステップ１９１１に移行する。

ステップ１９１１で、ネットワークカメラ１０１は、集荷場所画像中のパレットに載っている全荷物に対して、配送先コードに紐づいた色をオーバレイ（図１２）し、ステップ１９１２へ移行する。

ステップ１９１２で、ネットワークカメラ１０１は、ステップ１９０２でネットワークカメラ１０１から送信された集荷場所画像データの中から、画像検索により次のパレットを検索する。

ステップ１９１３でパレットが見つからなかった場合は本処理を終了し、見つかった場合は次のパレットの配送先を解析するためにステップ１９０５に戻る。以上で、図１９の説明を終了する。

図１８、または図１９の処理を実行後、図１３の処理を実行する。ただし、第２の実施形態においては、図１３の各処理は、画像解析サーバ１０３ではなく、ネットワークカメラ１０１が実行する。以上で第２の実施形態の説明を終了する。

次に、本発明の他の実施形態について説明する。上述の各実施形態では、ＱＲコードに配送先コードが含まれているとしたが、運用によっては、必ずしもＱＲコードに配送先コードが含まれているとは限らない。そこで、本実施形態では、ＱＲコードに配送先コードが含まれておらず、各荷物を一意に識別するための識別情報だけがＱＲコードに含まれている形態について、図２０を用いて説明する。

図２０は、第１の実施形態では画像解析サーバ１０３の外部メモリ２１１に、第２の実施形態では、ネットワークカメラ１０１の外部メモリ２１０５に記憶される配送先特定テーブルの一例を示す図である。識別情報２００１は、各荷物のＱＲに含まれる各荷物を一意に識別するための識別情報を示す。配送先コード２００２は、識別情報２００１によって識別される荷物の配送先を一意に識別するためのコードである。配送先２００３は、配送先コード２００２に対応する配送先を示す。このように、配送先特定テーブルをあらかじめ記憶することにより、ＱＲコードに配送先コードが含まれていなかったとしても、荷物の配送先を特定することが可能となる。

なお、図２０の配送先特定テーブルを用いる場合、配送先を特定する処理は、ステップ５１４、ステップ１０１２、ステップ１８１２、ステップ１９１０の処理の前にそれぞれ実行される。以上で、図２０の説明を終了する。

以上、本発明によると、荷物の移動作業における、業務効率を向上させることができる。

本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。

なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１ ネットワークカメラ
１０２ ＰＯＥ ＨＵＢ
１０３ 画像解析サーバ
１０４ 無線ＬＡＮルータ
１０５ 画像表示装置

Claims (10)

1. 移動対象の荷物を撮像する撮像装置と通信可能な情報処理装置であって、
   前記撮像装置から、画像データを取得する取得手段と、
   前記取得手段で取得した画像データを用いて当該画像データに映る荷物の移動先を特定する特定手段と、
   前記特定手段で特定した荷物の移動先を識別可能な画面を生成する生成手段と
   を備えることを特徴とする情報処理装置。
2. 前記特定手段による移動先の特定は、前記画像データに映る荷物ごとに行うことを特徴とする請求項１に記載の情報処理装置。
3. 前記特定手段は、前記取得手段で取得した画像データから当該画像データに映る台を特定し、当該台に載っている荷物のうちの一つの荷物の移動先を特定することで、当該台に載っている他の荷物の移動先も同一の移動先として特定することを特徴とする請求項１に記載の情報処理装置。
4. 車両を撮像する撮像装置から、荷物を配送する車両を撮像した画像データを取得する車両画像取得手段と、
   前記取得手段で取得した画像データから、当該画像データに映る車両を識別可能な識別情報を特定する第１特定手段と、
   前記第１特定手段で特定した前記識別情報を用いて、前記車両の荷物の運び先を特定する第２特定手段と、
   前記第２特定手段で特定した運び先をユーザに認識させるべく、通知する通知手段と
   を備えることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記生成手段で生成された画面を介して選択された前記画像データに映る荷物の選択情報を取得する選択情報手段をさらに備え、
   前記生成手段は、前記選択情報手段で選択情報を取得した荷物が選択済みであることを識別可能な前記画面を再度生成することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記生成手段は、前記特定手段で特定した荷物の移動先の情報を、前記画像データに映る荷物に重畳した前記画面を生成することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 移動対象の荷物を撮像する撮像手段と、
   前記撮像手段で前記荷物を撮像することで得られる画像データを用いて当該画像データに映る荷物の移動先を特定する特定手段と、
   前記特定手段で特定した荷物の移動先を識別可能な画面を生成する生成手段と
   を備えることを特徴とする情報処理装置。
8. 移動対象の荷物を撮像する撮像装置と通信可能な情報処理装置の制御方法であって、
   前記撮像装置から、画像データを取得する取得工程と、
   前記取得工程で取得した画像データを用いて当該画像データに映る荷物の移動先を特定する特定工程と、
   前記特定工程で特定した荷物の移動先を識別可能な画面を生成する生成工程と
   を備えることを特徴とする情報処理装置の制御方法。
9. 移動対象の荷物を撮像する撮像工程と、
   前記撮像工程で前記荷物を撮像することで得られる画像データを用いて当該画像データに映る荷物の移動先を特定する特定工程と、
   前記特定工程で特定した荷物の移動先を識別可能な画面を生成する生成工程と
   を備えることを特徴とする情報処理装置の制御方法。
10. コンピュータを、請求項１乃至７のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images