JP2011525017A - ハードコピーに基づく撮影日時の特定 - Google Patents

Abstract

画像面及び非画像面を有するハードコピーをスキャンして画像の撮影日時を判別する方法を提供する。本方法では、ハードコピーをスキャンすることでその上の画像をディジタル化し、得られたディジタル版の画像から手書き注釈を検知し、検知された手書き注釈に基づきその画像の撮影日時を判別する。その撮影日時判別は、検知された手書き注釈を解析することで人物の名前及び年齢を識別し、その画像に写っていそうな人物の名前及び生存期間情報を調べ、名前及び年齢の識別結果と生存期間情報とに基づき撮影日時を判別することで実行する。

Description

本発明は、ハードコピーをスキャンし撮影日時を判別する技術に関する。

近年、フィルム式化学写真からディジタル写真へと鞍替えするユーザが増えている。この技術革新がユーザに受け入れられたのは、撮影で得た画像をすぐに見ることができ、使いやすく、様々なかたちで画像を出力・共有でき、マルチメディア性に長け、また画像をオンラインやディジタル媒体で保存できるためである。ハードディスク、オンラインストレージ、ＤＶＤ等を使用すれば何千枚でも画像を保存しておけるし、またその画像の印刷、送信、他フォーマットへの変換、他媒体への変換、画像作成素材としての利用等も容易である。反面、ディジタル写真が人気を得たのは割合と最近のことであるので、一般ユーザの手許にある写真の多くは今もなおハードコピーの形態を採っている。そうした写真は箱、アルバム、写真立て等に入れられていることが多いが、元々入っていた写真プリント納品袋に入れられたままになっていることもある。いずれにせよ、在来形態の写真は今後も数十年に亘り残り、かなりの愛着や感慨を所有者に抱かせることとなろう。実際、所有者にとっての写真の価値は時間の経過につれて増していくものものであり、かつては飾るほどのものではないと思っていた写真ですら愛しいものになっていく。

在来形態の写真からディジタル版の写真を得ることも可能であるが、枚数が多くなるとその作業は一般ユーザにとり難儀なものとなる。何百枚もあるハードコピーを並べ替えて意味のある順序例えば日時順にするなり、それらが同じフィルムロール（又は同時期に処理された幾本かのロール）から得られた写真なのか等を調べてイベント（出来事）別に仕分けるなりした上で（ソート）、それらの写真をスキャナにかけて画像をディジタル化しなければならないからである。写真プリントに代表されるハードコピーをスキャンしてディジタル版の画像を得る技術は数多く知られており、その作業をスタンド式写真店（キオスク）、ディジタルミニラボ等に有料で請け負わせることや、自宅にあるスキャナ機能プリンタ機能複合機、媒体スキャナ込みのパーソナルコンピュータ等で行うことが可能となっているし、媒体送り機能が付いているタイプの媒体スキャナならそうした作業をより簡便に行うことができる。とはいえ、どの手段を利用するにせよ、写真を残せるようディジタル化するだけなのに、ユーザの資金や時間がかなり食われてしまう。その上、きちんと整頓されたかたちにディジタル化するにはどのようにしたらよいか、という問題も残る。

ハードコピーのスキャンで得た画像のソートに関しては、そのハードコピーの物理特性やそのハードコピーの表裏に記されている注釈性の情報を利用する技術が既に知られている。この従来技術によれば、具体的な日時順等に従い画像がグループ分けされるため、大規模な画像集を好適に取り扱うことができる。反面、ハードコピーをスキャンして画像を整頓するがその姿勢を正すわけではないので、その画像集をＣＤ、ＤＶＤ等の記録媒体に記録したとき画像が間違った姿勢で記録されることがある。これは、ユーザの興を削ぐ結果となりかねない。

より洗練されたかたちで画像を扱えるようにするには、画像から更なるメタデータを取得して利用すること、例えばその画像が白黒かそれともカラーかを示す情報等をメタデータとして取得し画像の整頓だけでなく画像の姿勢判別に利用することが必要になろう。画像の姿勢が判ればその画像の姿勢を正しディスプレイの画面上に正立表示させることができる。そのため、画像の姿勢を判別するアルゴリズムが既に幾通りか開発されている。

まず、特許文献１（発明者：Goodwin et al.）には、フィルムの処理をユーザから受注したとき、そのフィルムに写っている画像全てを調べてその姿勢を判別する方法が記載されている。具体的には、同じフィルムに写っている画像それぞれの姿勢を統計的に推定すること、同じフィルムに写っている画像それぞれの推定姿勢に基づきそのフィルム全体で優勢な姿勢を統計的に推定すること、画像における色の空間分布から関連性確率を求めること等を開示している。しかしながら、この文献に記載の方法では、個々の画像に留まらず受注したフィルム全体を調べねばならない。フィルムに画像が１枚しか写っていないときにはその姿勢を修正することができない。

次に、特許文献２（発明者：Takeo）には、人体が写っている画像の姿勢を判別する手法が記載されている。この手法では、画像における人体の位置乃至姿勢をヒントにその画像の姿勢を判別する。その主たる適用対象は病院、診療所等で撮影された放射線画像であり、一般ユーザが撮影した画像には適用されにくい。人間の全身が画像に写っていなければならない、等々の条件が課されるためである。

更に、特許文献３（発明者：Anderson）には、カメラに備わるセンサを撮影時に使用し画像のフォーマット及び姿勢を判別する方法が記載されている。従って、この方法は、使用するカメラ乃至撮影装置にセンサが備わっていないと実行することができない。カメラ内の構成部材も増える。そうした付加部材のないカメラで捉えた画像については、写真仕上げユニットの動作や画像処理でその姿勢を修正することができない。そして、カメラ内センサの状態が写真プリントに記録されないので、得られた写真プリントをスキャンしても画像の姿勢を調べることができない。

画像の姿勢を判別する方法としては、このほかに、低レベル特徴（特許文献４参照）の抽出や被写体の検知を通じ画像の姿勢を判別する方法がある。まず、特許文献５（発明者：Ray et al.）には、顔を探して画像の姿勢を判別する方法が記載されている。しかし、顔を含む画像は画像全体の約７５％に留まる。自動顔検知器が顔を検知し逃すことや、自動顔検知器が顔でないものを顔として検知してしまうこともある。次に、特許文献６には空を探して画像の姿勢を判別する方法が、また特許文献４には草や道路標識を探して画像の姿勢を判別する方法が記載されている。しかし、空、草、道路標識等を含まない画像も数多くある。更に、特許文献７には、画像内の線構造や消失点を探し画像のフォーマットやその姿勢の判別に活かすことが有益である旨記載されている。しかし、そうした諸特徴素全てを踏まえても、探している特徴が画像に含まれていない場合やその特徴を検知する手段が正しく動作していない場合があり、画像の姿勢を修正できない状況が多々発生しうる。更に面倒なことに、写真プリントのスキャンで得られる画像に色情報が含まれていないことも多い。そうした場合、目的とする特徴要素例えば空を精度よく検知することは困難で達成しづらいことである。

問題は、画像の姿勢を修正することだけではない。種々の画像をスキャンして作成した画像集を整頓し、またその画像集に含まれる画像を検索するには、それらの画像の撮影日時を知ることが必要となろう。

米国特許第５６４２４４３号明細書 米国特許第４８７０６９４号明細書 米国特許第６０１１５８５号明細書 米国特許第７２１５８２８号明細書 米国特許第６９４０５４５号明細書 米国特許第６５１２８４６号明細書 米国特許第６５９１００５号明細書 米国特許第７１１１４７２号明細書 米国特許第６９９３２０５号明細書 米国特許第６９６１４６３号明細書 米国特許出願公開第２００７／００９８３０３号明細書 米国特許出願公開第２００６／００４５３５２号明細書

C.Tomai, B.Zhang and S.N.Srihari, "Discriminatory power of handwritten words for writer recognition," Proc. International Conference on Pattern Recognition (ICPR 2004), Cambridge, England, August 2004, IEEE Computer Society Press, vol. 2, pp. 638-641 A.Lanitis, C.Taylor, and T.Cootes, "Toward automatic simulation of aging effects on face images," PAMI, 2002 X.Geng, Z.H.Zhou, Y.Zhang, G.Li, and H.Dai, "Learning from facial aging patterns for automatic age estimation," in ACM MULTIMEDIA, 2006 the United States Social Security Baby Name Database,[online] Internet URL: http://www.socialsecurity.gov/OACT/babynames/

本発明の目的の一つは、ハードコピーをスキャンしてえた画像からその撮影日時を正確に推定することができる方法を提供することにある。

この目的を達成するため、本発明の一実施形態に係り、画像面及び非画像面を有するハードコピーをスキャンしその上の画像の撮影日時を判別する方法は、
（ａ）ハードコピーをスキャンすることでその上の画像をディジタル化するステップと、
（ｂ）得られたディジタル版の画像から手書き注釈を検知するステップと、
（ｃ）検知された手書き注釈に基づきその画像の撮影日時を判別するステップと、
を有する。そのうち、ステップ（ｃ）は、
（ｉ）検知された手書き注釈を解析することで人物の名前及び年齢を識別するステップと、
（ｉｉ）その画像に写っていそうな人物の名前及び生存期間情報を調べるステップと、
（ｉｉｉ）名前及び年齢の識別結果と生存期間情報とに基づき撮影日時を判別するステップと、
を含む。

画像を担持しているハードコピーの物理特性に基づく画像ソートシステムを示す図である。 ハードコピーの別例として画像冊子、画像保存ＣＤ及びオンライン画像集を示す図である。 画像面及び非画像面を有するハードコピー上の画像と、そのハードコピーに写真仕上げ段階でインク印刷された仕上がり日銘記とを示す図である。 ハードコピーの画像面及び非画像面から動的に抽出される動的採録メタデータの例を示す図である。 ハードコピーの画像面及び非画像面から得られる情報を動的採録メタデータと組み合わせることで動的に導出される動的導出メタデータの例を示す図である。 その動的導出メタデータに入りうる標本値の例を示す図である。 動的採録メタデータと動的導出メタデータの組合せたる動的ディジタルメタデータレコードの例を示す図である。 動的採録メタデータ、動的導出メタデータ及び動的ディジタルメタデータレコードを生成する手順の流れを示すフローチャートである。 その続きを示すフローチャートである。 ハードコピー群のスキャンで得られたディジタル版の画像に基づきその画像の撮影日時及び姿勢に係るメタデータを自動生成する手順を示すフローチャートである。 ハードコピーの画像面の例を示す図である。 ハードコピーの非画像面、特に画像に写っている人物達の素性及び年齢を表す手書き注釈テキストが記されている例を示す図である。 ハードコピーの画像面、特に画像に写っている人物達の素性及びその画像の撮影日時を表す手書き注釈テキストが画像の姿勢とほぼ一致する向きで記されている例を示す図である。 ハードコピーの画像面、特に画像に写っている人物達の素性及びその画像の撮影日時を表す手書き注釈テキストが画像の姿勢と異なる向きで記されている例を示す図である。 誕生者にファーストネーム「Ｇｅｒｔｒｕｄｅ」，「Ｐｅｙｔｏｎ」が与えられた比率を各年毎に示す図である。 ファーストネーム「Ｇｅｒｔｒｕｄｅ」，「Ｐｅｙｔｏｎ」を有する人物が生存者のなかで占めていた割合を１８８０〜２００６年の各年毎に示す図である。 スキャン時の姿勢が様々であったため注釈テキストの向きがバラバラになっている画像群の例を示す図である。 その姿勢を注釈テキストの向きに従い揃えた画像群を示す図である。 画像変換を適用してその姿勢を正しく整えた画像群を示す図である。 その余白に撮影日時が写し込まれている画像の例を示す図である。 その余白に撮影日時が写し込まれている画像の別例を示す図である。 インデクスプリントの例を示す図である。 インスタントカメラで得られるプリントの例を示す図である。

以下、本発明についての理解を促すべく、別紙図面を参照しつつ本発明の諸実施形態についてより詳細に説明する。図中、同様の部材には同様の符号を一貫して付してある。

図１に、画像を担持しているハードコピーの物理特性に基づく画像ソート手法を示す。ソートされるのは光学露出又はディジタル露出による写真プリント、サーマルプリント、電子写真プリント、インクジェットプリント、スライド、動画フィルム、ネガ等であり、その上にはカメラ、センサ、スキャナ等の装置で撮像された画像が記録されている。こうしたハードコピーをとっておくと、いつの間にかその枚数が増え、またその形態やフォーマットが様々になるものである。とっておく手段はユーザが好き好きに決めることができる。箱、アルバム、ファイルキャビネット等が使用されることが多いが、写真プリント、インデクスプリント、ネガ等を写真プリント納品袋に入れたままフィルムロール毎にとっておくユーザもある。写真プリント、インデクスプリント、ネガ等を写真プリント納品袋から出し、他のフィルムロールのものと一緒にしてとっておくユーザもある。

時間がたつにつれ枚数が増えるので、こうしたハードコピーの扱いは面倒である。即ち、保存用の箱にハードコピーがたまりすぎると、特定のイベントなり時期なりに関連した写真を簡単には探し集められなくなる。その持ち主でさえも、自分で決めた条件を満たす写真を探し集めるのに、かなりの時間がかかるようになる。例えば、自分の子供が写っている写真を漏れなく探し出す際、自分の許にある多数の写真を１枚１枚手ずから調べ、子供の姿の有無を調べねばならないのでは、ユーザにとっては非常に難儀なことである。１９７０年代の写真を探し出すのに、写真の裏表を１枚１枚調べて撮影年の記録を確かめねばならないとしたら、それはユーザにとり非常に煩わしい作業となろう。

それら未整頓で様々なフォーマットによる様々なサイズのハードコピー１０の集まりを処理するため、本実施形態では、ハードコピー１０を図示しない両面スキャン型の媒体スキャナでスキャンしディジタル版の画像を取得する（ディジタル化）。更に、そのハードコピー１０が個葉状、例えば空き箱にしまい込まれていた写真プリントであるので、スキャナとしては自動媒体送り兼駆動システム付のものを使用する。なお、アルバムや写真立てに収まっているハードコピー１０のスキャンなら、ハードコピー１０の損傷や乱れを抑えるため、ページスキャナかディジタルコピースタンドを使用すべきである。

ディジタル化が済んだら、それによって得られたディジタル版の画像を、スキャナから得られる画像データに基づき特定した物理的なサイズやフォーマットに従い幾つかのサブグループに分別する。これに役立つ既存の媒体スキャナとしては、Ｋｏｄａｋ（登録商標；以下注記略）ｉ６００（商品名）シリーズの文書スキャナがある。これにはハードコピーを自動的に移送して両面スキャンする機能や、自動デスキュー（捩れ修正）、クロッピング（裁ち切り）、誤り訂正、テキスト検知、ＯＣＲ（光学文字認識）等を実行する画像処理ソフトウェアが搭載されているので、画像を縁有り３．５インチ×３．５インチ（８．８９ｃｍ×８．８９ｃｍ）サイズ写真プリントからなる第１サブグループ２０、縁無し角丸３．５インチ×５インチ（８．８９ｃｍ×１２．７ｃｍ）サイズ写真プリントからなる第２サブグループ３０、縁有り３．５インチ×５インチ（８．８９ｃｍ×１２．７ｃｍ）サイズ写真プリントからなる第３サブグループ４０、縁無し４インチ×６インチ（１０．１６ｃｍ×１５．２４ｃｍ）サイズ写真プリントからなる第４サブグループ５０等に分別することができる。更に、こうしたサイズ／フォーマット別の分別に加え、ユーザ流のグループ分け条件や順序条件をソート条件として使用することができる。袋であれ山であれ箱であれ、ハードコピーの集まり毎にスキャンし、「一緒にスキャンしたもの」であること及びその集まりのなかでのスキャン順を示すタグを付けておけばよい。

図２に、ハードコピーの別例として画像冊子６０、画像保存ＣＤ７０及びオンライン画像集８０を示す。冊子６０は画像が印刷されたハードコピーの集まりであり、それらの画像はユーザが決めたレイアウト、例えば撮影日時順やイベント別といったレイアウトに従い印刷されている。ＣＤ７０もまたハードコピー集の一種であり、そのなかには複数枚の画像が任意のフォーマットで保存されている。その保存形態は、ユーザ所与の撮影日時条件、イベント別分類条件等の条件に従いソート可能な形態である。更に、画像集８０もハードコピー集の一種であり、一般には、インターネット経由で画像をオンライン保存可能な形態か、画像をオフライン保存可能なローカル記憶の形態を採っている。これら、図２に示したハードコピー集は、共通点もあるがその画像保存機構が互いに異なっている。例えば、冊子６０ではページ（群）への印刷により、ＣＤ７０ではそれへの情報書き込みにより、また画像集８０では磁気記録等により画像が保存されている。

図３に、ハードコピーの典型例たる写真プリント９０の画像面及び非画像面を示す。このプリント９０には、処理無しで取得できるタイプの情報（サイズ、アスペクト比等）と、処理すれば導出できるタイプの情報（白黒／カラーの別、縁取りの有無等）とが潜在している。本実施形態では、それらの情報をそのプリント９０上の画像に係るメタデータとして収集し対応する画像と共に保存する。このメタデータは対応するプリント９０に固有の情報を含んでいるので、そうした情報に基づき、ユーザが利用できる整序構造体の一種たる動的ディジタルメタデータレコードを作成することができる。即ち、ユーザは、イベント、時期等の条件を任意に指定しそれら動的ディジタルメタデータレコードを調べることで、その条件に合致する画像を特定することができる。例えば、その外観を元々のものに近づける褪色復元処理を施すため、集まっている写真のなかから１９６０年代及び１９７０年代に撮られたものを漏れなく集めることができる。自分の結婚式等、特別な行事に関する写真を漏れなく選り出すこともできる。このように、本実施形態では、個々のプリントに潜在する情報をディジタル化し、それらの目的に利用可能なメタデータを取得している。

しかも、整序構造体としての動的ディジタルメタデータレコードの重要性は、画像の枚数が増え撮影年代が多様化するにつれて高まっていく。例えば、多数のハードコピーをスキャンしてディジタル版の画像を生成した結果、数千枚もの画像からなるディジタル画像集が形成された場合、ファイルシステム、検索用データベース、ナビゲーション機能付インタフェース等といった整序構造体がないと、その画像集を使いこなすのは難しい。

また、写真プリント９０等には画像面９１だけでなく非画像面１００があり、後者の面１００にはしばしば製造元にて透かし１０２が入れられている。製造元ではマスタ媒体ロール上に透かし１０２を印刷し、キオスク、ミニラボ、ディジタルプリンタ等の写真仕上げ設備乃至装置ではそのマスタ媒体ロールを適当なサイズにスライスした小振りな媒体ロールを使用する。製造元は、優れた特性、新たな特徴、新たなブランド名等を有する新種の媒体を市場に投入する際に、入れる透かし１０２を随意に変更する。こうした透かし１０２は、製造元企業の広告を初めとする販売促進活動、特殊な写真調製処理乃至サービスの指定、外国市場向けの訳語併記を初めとする市場別特性への対応、といった目的で活用されている。透かし１０２は非写真的な印刷手法を用い薄い色でハードコピー９０の非画像面１００に印刷されることが多く、文字列（フォントは問わない）、絵、ロゴ、濃淡模様、色分け模様等で構成されていることが多く、また媒体ロールの表面を斜めに走りプリントの縁で分断されていることが多い。

製造元がマスタ媒体ロールに透かしを入れる際には、その透かしに若干の差異、例えば特定の英字や数字に上線又は下線を付す等の変化を与えるものである。これは一種の符号化であり、ユーザにとっては訳の判らないものだが製造元にとっては有益なものである。製造工程管理の監視や、欠陥発見時の不調製造工程特定に利用できるからである。例えば、マスタ媒体ロール上の部位毎にその内容を違えながら透かしを印刷すると、そのマスタ媒体ロールの切り分けで形成される個別の媒体ロール上に、マスタ媒体ロールからの切り出し位置が符号化された透かしが現れることになる。製造元では、部位別の透かしスタイル、暗号化のルール、その透かしスタイルが商品で使用された時期等に関する記録をとっておく。

ユーザの手許にある現実のハードコピーを調べて判ったことの一つに、特別な工程管理のため製造元側で透かしに組み込んだ符号等、透かしの差異を利用し、そのハードコピーをもたらしたフィルムロールを特定することで、画像をフィルムロール別にグループ分けすることが可能である、という点がある。画像をフィルムロール別にグループ分けしてしまえば、それに対し画像解析技術を適用してイベント別に細分することや、透かし解析によってプリント作成の手順、そのプリントにおける画像の姿勢、そのプリントの元になった画像のコマ等を特定することができる。

こうしたことが可能であるのは、フィルムの現像及びプリントの作成といった一般的な写真調製を請け負う側で、同じロールのフィルムであれば同じ媒体ロールを使用しプリントを作成するのが通例であるからである。製造元でその透かしに部位毎の差異が付けられている媒体ロールを使用しネガのロールからプリントを作成した場合、作成されるプリント上に現れる透かしは、そのユーザの手許にある一群のハードコピーのなかでユニークなものとなる可能性が高い。無論、長期休暇や大切な行事が済んだ後等、同じ人物が同じ写真店に何本ものフィルムロールを一遍に持ち込んだ場合はこの限りではない。それらのフィルムがその写真店で処理される途中で、媒体例えば印画紙のロールが費えて別のロールに交換されることがあるからである。とはいえ、交換後の媒体ロールも交換前の媒体ロールと同じバッチに属するロールである可能性が高い。仮に、同じバッチに属していなかったとしても、そのイベント（長期休暇等）に対応するイベント別グループが２個できるだけである。これは重大な問題ではない。

そのため、本実施形態では、ハードコピー作成用媒体の製造元が新種媒体の市場投入時に決めて常日頃から入れているユニークな透かし１０２を、図示しない画像ディジタルスキャン装置で読み取るようにしている。また、その読み取りで得られたディジタルレコードをＯＣＲ技術やディジタルパターンマッチング技術で解析し、それによってその透かし１０２を識別するようにしている。具体的には、媒体の製造元から提供されるＬＵＴ（ルックアップテーブル）にそのディジタルレコードを照らすことで、印刷先媒体の製造日又は販売日を特定し、その結果を動的ディジタルメタデータレコードに組み込むようにしている。更に、ハードコピー９０の画像面９１には、しばしば、画像の片隅へのデートバック（撮影日時の写し込み）等の手段で日付９２が記されている。それをハードコピー９０上の画像と共に読み取ることで、ユーザの手を煩わせることなく撮影時期を特定するようにしている。従って、ハードコピー９０に付されている透かしのスタイルが識別されないまま撮影日時が特定されることもある。

具体的には、ハードコピー９０上に記されている透かしのスタイルを識別できなかったときに、その透かしのパターンを読み取り動的ディジタルメタデータレコードに組み入れるようにしている。また、写真店やユーザによって付された撮影日時その他の情報（イベント、時期、場所、被写体等）が検知されたときに、その情報をＬＵＴに追加登録して編年構造体等の整序構造体を更新するようにしている。従って、それ以後は、それまで識別不能であった透かしを伴う画像もソートすることができる。即ち、写真店やユーザの許で付された撮影日時がハードコピー９０から検知されたときに、その日時が追加登録されてＬＵＴが自動更新されるため、新出スタイルの透かしに再遭遇したときにその日時を利用することができる。従って、本実施形態によれば、数十年にも亘り保存されるハードコピー群についても、それに適した編年構造体等を構築することができる。

本実施形態では、撮影日時等を特定する手法としてまた別の手法も使用している。ハードコピー９０の物理フォーマット／特性を、そのハードコピー９０に係るフィルムシステムやそのフィルムシステムが一般に使用されていた時期に関連付ける、という手法である。そうした物理フォーマット／特性の例としては、まずイーストマンコダック社によって１９６３年に導入されたＩｎｓｔａｍａｔｉｃ（商標；以下注記略）カメラ用１２６型フィルムカートリッジがある。このカートリッジからは、３．５インチ×３．５インチ（８．８９ｃｍ×８．８９ｃｍ）サイズのプリントを１２枚、２０枚又は２４枚作成することができる。次に、１９７２年に導入されたＫｏｄａｋＩｎｓｔａｍａｔｉｃカメラ用１１０型フィルムカートリッジがある。このカートリッジからは、３．５インチ×５インチ（８．８９ｃｍ×１２．７ｃｍ）サイズのプリントを１２枚、２０枚又は２４枚作成することができる。更に、１９８２年に導入されたＫｏｄａｋＤｉｓｃ（商標；以下注記略）用フィルムディスクがある。このディスクからは、３．５インチ×４．５インチ（８．８９ｃｍ×１１．４３ｃｍ）サイズのプリントを１ディスク当たり１５枚作成することができる。

１９９６年にコダック、富士フィルム、キヤノン、コニカミノルタ及びニコンの各社によって導入されたカメラ／フィルムシステムであるＡＰＳ（アドバンストフォトシステム；登録商標）では、クラシック（４インチ×６インチ＝１０．１６ｃｍ×１５．２４ｃｍサイズ）、ＨＤＴＶ（４インチ×７インチ＝１０．１６ｃｍ×１７．７８ｃｍサイズ）、並びにパン（４インチ×１１インチ＝１０．１６ｃｍ×２７．９４ｃｍサイズ）のうちユーザが指定したフォーマットのプリントを１５枚、２５枚又は４０枚作成することができる。ＡＰＳシステムには、フィルム上の全画像を縮小画像にして列挙したインデクスプリントを提供する機能が標準装備されているほか、デートエクスチェンジ機能も搭載されている。そのデートエクスチェンジ機能を使用することで、製造元、カメラ及び写真仕上げシステムは、フィルムを覆う透明な磁性層に情報を書き込むことができる。例えば、ユーザが指定したフォーマットや露光時間をカメラにてフィルム上の磁性層に情報として書き込むことができる。写真仕上げシステムにてそれを読み取り、ユーザ所望のフォーマットでプリントを作成し、またそのプリントの裏側（或いはディジタル印刷されるインデクスプリントの表側）に露光時間、コマ（フレーム）番号、フィルムロール識別番号等を記録することができる。

１９２０年代に導入された３５ｍｍ写真は人気のあるフォーマットであり、使い捨てカメラを含め様々な形態で利用されている。３５ｍｍシステムでは、通常、１本のフィルムロールから３．５インチ×５インチ（８．８９ｃｍ×１２．７ｃｍ）又は４インチ×６インチ（１０．１６ｃｍ×１５．２４ｃｍ）サイズのプリントを１２枚、２４枚又は３６枚作成することができる。なかでも使い捨てカメラには逆巻きというユニークな特性がある。これは、写真を撮るたびにフィルムがフィルムカセットに引き戻されるため、通常のコマ順とは逆のコマ順でプリントが作成される、という特性である。

これら、物理フォーマット、撮影可能コマ数、撮影時期等の特性は、いずれも、ハードコピーのスキャンを秩序だって行わせ、重要イベント、時期、順序等に基づき整頓するのに活用することができる。古典的な写真システムに限らずインスタント写真システムでも、時期によるフォーマットの違い等を利用することができる。例えば、１９７０年代に導入されたインスタントフィルムＳＸ−７０（商品名）フォーマットや、１９９０年代に導入されたＳｐｅｃｔｒａ（登録商標）、Ｃａｐｔｉｖａ（登録商標）、Ｉ−Ｚｏｎｅ（登録商標）等のシステムは、互いに異なるプリントサイズ、形状、縁取り形状等を有している。

更に、正方形フォーマットのカメラを横倒しにして使用したがる撮影者は珍しいが、長方形ハードコピー向けの撮影装置でそうする撮影者は多いものである。例えば、建物のように縦長な被写体を撮影するときには撮影装置を光軸回りで９０°回しポートレイトモード（幅より高さの方が大きい画像が得られる姿勢）で使用するが、そうでない場合は撮影装置を風景モード（高さより幅の方が大きい画像が得られる姿勢）で使用する、といった具合である。

このように多様な特性のうち幾つかは図３にも現れている。まず、図中のハードコピー９０では、その画像面９１の縁取り部分９４に日付９２が写し込まれている。画像面９１の中央には、そのハードコピー９０に係る画像の本体９６が位置している。ハードコピー９０の非画像面１００には、透かし１０２を構成する一般的な画像構成要素が並んでいる。具体的には、均等間隔文字／図形列が複数本、ハードコピー９０の裏側を斜めに走り透かし１０２を構成している。図示例の場合、透かし１０２は「Ａｃｍｅ Ｐｈｏｔｏｐａｐｅｒ」（最高級写真紙）なる文字列で構成されている。

図４に、こうしたハードコピー９０から動的に抽出される動的採録メタデータの例１１０を示す。動的採録メタデータとは、ハードコピーの画像面及び非画像面から導出計算無しで、従って動的且つ迅速に抽出・採録可能な情報の集まりのことである。図示例のメタデータ１１０はハードコピー９０の高さ、幅、アスペクト比、姿勢（ポートレイト／風景の別）等で構成されているが、その他のメタデータフィールド１１１を当該メタデータ１１０内に設けることもできる。即ち、ハードコピー９０から動的に採録可能なものであればよいので、ハードコピー９０のフォーマット、撮影時期、仕上げ内容、製造元、透かし、形状、サイズ等、区別に役立つ任意のマーキングに係る情報をメタデータ１１０に含めることができる。従って、フィールド１１１の個数はハードコピー９０の特性等によって左右される。こうして動的に採取された動的採録メタデータ１１０は、後に動的ディジタルメタデータレコードに組み込まれることになる。図中、メタデータ１１０の脇に示したのは個々のフィールド１１１にセットされうる標本値の例１２０である。

図５に、ハードコピーの画像面及び非画像面から得られる情報を動的採録メタデータ１４０と組み合わせることで得られる動的導出メタデータの例１５０を示す。このメタデータ１５０を得るには、ハードコピー１３０の画像面及び非画像面を種々の方法で解析し、その解析で得られた情報を動的採録メタデータ１４０と組み合わせればよい。メタデータ１５０を導出するための解析には幾通りかの解析アルゴリズムを使用する必要がある。例えば、縁取り検知、白黒／カラー判別、姿勢検知等の解析アルゴリズムを使用し、このメタデータ１５０を構成するフィールド１５１の値を決定する必要がある。そのメタデータフィールド１５１の個数は、諸解析アルゴリズムの適用結果、ハードコピー１３０の特性等のほか、後の段落で採り上げる通り人的又は機械的な手法でもたらされる追加情報によっても左右されうる。こうして動的に導出された動的導出メタデータ１５０は、後に動的ディジタルメタデータレコードに組み込まれることになる。

図６に、動的導出メタデータ１６０を構成するメタデータフィールド１６１にセットされる標本値の例１７０を示す。この例では、フィールド１６１として白黒／カラーの別、縁取りの有無、縁沿いの濃度、日時、グループ、傾げ角、注釈テキスト、注釈ビットマップ、著作権表記、縁取りのスタイル、インデクスプリントから検知した番号、並びにインデクスプリントから検知したイベント名が設けられているが、その他のフィールドをメタデータ１６０内に設けることもできる。少なくとも、諸解析アルゴリズムの適用結果、ハードコピーの特性、或いは人的又は機械的な手法でもたらされる追加情報に基づき動的に生成可能なものであれば、どのようなフィールドを設けてもよい。当該追加情報の例としては、時期の指定、イベントに関連する追加情報、関連するイベント、個人的な情報、カメラ速度、温度、気象条件、地理的位置等を掲げることができる。

図７に、これら動的採録メタデータ１８０及び動的導出メタデータ１９０の組合せによりハードコピー毎に生成される動的ディジタルメタデータレコードの例２００を示す。図中「総合メタデータ」とあるように、このレコード２００は対応するハードコピーに関する情報を総合したものである。こうしたレコード（群）２００であれば、何らかの条件を設定して検索することで、少なくとも、該当する画像を集めてグループを形成することができる。

従って、個々のハードコピーをスキャンし対応する動的ディジタルメタデータレコード２００を作成した後は、例えば、強力な検索条件を設定してハードコピーを独創的に整頓することができる。即ち、多数のハードコピーを俊敏にディジタル化し、その上の画像に係るメタデータを網羅したレコード２００を動的に生成した後は、そのレコード２００を使用し画像データの操作、例えばハードコピーから読み取った画像の整頓、姿勢揃え、修復、アーカイブ、表示、拡張等を実行することができる。

図８Ａ及び図８Ｂに、動的採録メタデータ、動的導出メタデータ及び動的ディジタルメタデータレコードを生成する手順の流れを示す。この流れでは、写真プリント納品袋に入れられていたプリント、空き箱にしまい込まれていたプリント、アルバムに収められていたプリント、写真立てに飾られていたプリント等のハードコピーを想定しているが、他の適当な方式に係るものにも以下の手順は適用可能である。

次に、図８Ａ及び図８Ｂを参照し本発明の実施形態に係るシステムの動作について説明する。これから説明する手順は、写真プリント納品袋に入れられていたプリント、空き箱にしまい込まれていたプリント、アルバムに収められていたプリント、写真立てに飾られていたプリント、それらの任意の組合せ等といったハードコピーをスキャンし動的ディジタルメタデータレコードを生成するものである。

この手順では、まず、ハードコピーを任意順序でスキャナに送りスキャンする。即ち、個々のハードコピーをスキャナに送り（２１０）表裏両面をスキャンして（２１５）画像ファイルを生成する。次に、そのファイルから必要な情報を抽出して動的採録メタデータを生成し（２２０）、それに対し白黒／カラー判別アルゴリズムを適用して（２２５）判別を実行する（２３０）。白黒との判別結果ならば非肌色のマップ（２３５）、カラーとの判別結果ならば肌色のマップを採用し（２４０）、そのマップを画像に適用して顔等を検知する。その際には、そのマップを顔検知器に対し０°、９０°、１８０°及び２７０°の四通りに傾けていくことで、その画像の傾げ角（姿勢）を求めて採録する（２４５）。画像（群）をＣＤ／ＤＶＤに書き込む際やディスプレイに表示させる際には、その姿勢情報を用い画像を自動回転させることができる。

次に、縁取り検知器を用いて（２５０）縁取りの有無を判別し（２５５）、縁取りがあるなら画像の縁取り付近を調べて最低濃度Ｄｍｉｎを算出し（２６０）、得られた辺縁部最低濃度Ｄｍｉｎを動的導出メタデータの一部として採録する（２６５）。縁取り部分に記されている注釈性のテキスト情報も抽出し（２７０）、その検索が容易なＡＳＣＩＩコードの形態へとＯＣＲ技術で変換し、そのコードを動的導出メタデータの一部として採録する（２９０）。縁取り部分に描かれている注釈ビットマップも導出メタデータの一部として採録する（２９２）。楕円、円、直線等といった縁取りスタイルも検知し（２９４）動的導出メタデータの一部として採録する（２９６）。画像がインデクスプリントの画像ならば（２７５）インデクスプリント番号等の情報を検知（２８０）、採録する（２８２）と共に、そのインデクスプリント上のイベント名を検知（２８４）、採録する（２８６）。逆に、その画像がインデクスプリントの画像でないなら（２７５）、一般的なイベント別グループ等を示す情報を検知（２７７）、採録する（２７９）。イベント別グループとは、同じイベントで撮影された画像（群）や類似内容画像の集まり、例えばある年に行われた釣り旅行、バースデイパーティ、長期休暇等で撮影された画像（群）、或いはその画像複数年分のことである。そして、動的採録メタデータと動的導出メタデータを組み合わせて動的ディジタルメタデータレコード２９８を完成させる。

更に、その動的ディジタルメタデータ２９８に基づき画像変換５１０の内容を決定して（５０６）画像に適用する（５１４）。画像変換５１０は画像の配置や画素値を修正する処理のことであり、これはソフトウェア又はハードウェアによって実行される。本実施形態の場合、画像変換５１０の内容を決定するに当たり（５０６）使用される動的導出メタデータレコードに、写真プリント９０の非画像面１００に対するスキャンを通じ得られたものが含まれている。その画像変換５１０として実行されるのは、例えば、スキャンで得られたディジタル版の画像を回転させる処理、即ち図９中の姿勢検知器２１６で検知された姿勢に従い画像を回転させてその姿勢を正す処理である。

また、画像変換５１０の内容決定に当たり（５０６）、同じイベント別グループに属する別の画像に係る動的ディジタルメタデータレコード２９８を利用することができる。そうしたことが可能であるのは、前述の通り、透かし１０２を利用しイベント別グループが検知（２７７）、採録（２７９）されるからである。更に、画像変換５１０の内容決定に当たり（５０６）、適用先の画像から得た画像情報（即ち画素値）と併せ、その画像と同じイベント別グループに属する別の画像から得た画像情報が使用されることもある。いずれにせよ、画像変換５１０を適用した後は、それによって正しい姿勢等に修正されたディジタル版の画像を、任意のプリンタで印刷し、出力装置で表示させ、またリモートサイト宛に又はコンピュータネットワーク経由で送信することができる。送信とは、画像変換済の画像をインターネット経由でアクセス可能なサーバ上に置くこと、電子メールで送ること等を指している。また、ユーザは、自ら入力を行い（５０７）画像変換５１０の内容を操作することで、それを有益な内容にすることができる。例えば、その画像にその画像変換５１０を適用したらどのようになるかをプリビューし、その変換５１０の適用を「キャンセル」するかそれとも「実行」するかを決めて指示することができる。ユーザは、更に、画像変換５１０に関する決定を無効化して別の画像変換を指示すること、例えば画像の姿勢を反時計回り、時計回り又は１８０°回転させる変換を指示することもできる（５０７）。

こうして画像変換５１０を適用することで、適用先画像に係る動的メタデータレコードやそれと同じイベント別グループに属する別の画像に係る動的メタデータレコードに基づき、その画像の姿勢を正すことができる。なお、四角い画像の場合、画像の「姿勢」は四辺のどれが撮影者から見て「上」にあるかで表すことができる。「正しい」姿勢といえるのは本来「上」にあるべき辺が「上」に来る姿勢である。

図９に、本実施形態における写真プリントスキャン画像姿勢判別手順を示す。この手順では、スキャナ２０１を用い一群のハードコピー１０をスキャンしてディジタル画像集２０３を作成する。個々の写真プリントの画像面（そのスキャンでディジタル版の画像が得られる面）だけでなく、その非画像面もスキャンするのが望ましい。

次に、テキスト検知器２０５を用い、スキャンで得られたディジタル版の画像又は各ハードコピーの非画像面スキャン結果からテキストを検知する。この検知には例えば特許文献８記載の方法を使用する。こうして検知されるテキストのうち本実施形態で注目するテキストには二種類、即ち手書き注釈とマシン注釈がある。

それらのうち手書き注釈は情報豊かであり、写真の撮影場所、その写真に写っている人物の名前や年齢、その写真の撮影日時等がしばしばこの形態で記されている。大抵の人はプリント上の決まり切った場所にこの種の注釈を記すので、注釈が記されている場所は、その画像の姿勢を判別するに当たり貴重な目安となる。

更に、テキスト特徴抽出器２１１を用いそのテキストの特徴、例えば位置、記載面（写真プリントの画像面かそれとも非画像面か）、向き等を抽出する。テキストの向きは、例えば特許文献９記載の方法等で容易に検知することができる。

こうして検知される向きは、大抵の手書き注釈で写真プリントの姿勢と一致することが判っている。調べた試料では、注釈入り写真プリントのうち約８０〜９０％でそうであった。正しい姿勢をとっている写真プリントの例６２０を図１０Ａに、それを鉛直軸回りで回して裏返したときに現れる非画像面６２２を図１０Ｂに示す。この例で非画像面６２２に記されている注釈６２６「Ｈａｎｎａｈ ５ Ｊｏｎａｈ ３」（ハンナ５歳ジョナ３歳）は、明らかに、その写真に写っている被写体の名前及び年齢を表している。図９に示す手順では、テキスト特徴抽出器２１１を用いこうした注釈を解析してその特徴を抽出する。抽出されるのは、注釈が記されている位置、注釈のサイズ（例えばある特定の小文字の高さ）、注釈の長さ、注釈から認識された文字（列）、注釈の向き等に関する特徴や、注釈の記入者を認識するのに役立つ特徴である。特に、図１０Ａ及び図１０Ｂに示す例の場合、テキスト特徴抽出器２１１にて特徴の一つとして抽出される手書きテキストの向きが、プリント６２０をスキャンして得られたディジタル画像の姿勢と概ね一致するので、姿勢検知器２１６ではその画像の姿勢が正しい姿勢であると判別される。注釈６２６がハードコピーの非画像面６２２にあることは何ら妨げにならない。

図１０Ｃに、別例として、手書き注釈６２８がその画像面に記されている写真プリント６２４を示す。この例でも、図９に示したテキスト特徴抽出器２１１及び姿勢検知器２１６では、プリント６２４をスキャンして得られたディジタル版の画像が正しい姿勢であると判別されることになる。

しかし、注釈の向きが常に画像の姿勢と一致しているわけではない。図１０Ｄに、注釈６３２の向きが写真プリント６３０の姿勢と異なる例を示す。上掲の通り、多くの場合写真プリントの姿勢と一致する向きで手書き注釈が記されているのは事実だが、だからといって注釈の向きだけで画像の姿勢を判別するのでは、この例から判る通り画像の姿勢を誤判別する可能性がある。その点、本実施形態には、記入される注釈の向きと写真プリントの姿勢の関係が注釈記入者毎にどのように違うかを学習する機能が備わっている。この機能を設けたのは、自分はいつも写真プリントの前面左縁に注釈を記す、というように、自分なりに決めた一定のやり方で注釈を記す人が多いからである。この学習のため、図９に示す手順では、テキスト検知器２０５にて検知された注釈に基づき、記入者識別器２０７を用いその記入者の素性を識別する。例えば、手書きサンプル記入者の自動識別や、二種類の手書きサンプルが同じ人物によって記されたものか否かの識別を、非特許文献１記載の手法に従い実行する。このとき、スキャンされるハードコピー１０の枚数が多数であれば、大抵の場合、同じ人物の手で注釈が付された画像が何枚かは混じっている。図１１Ａ中の画像６４２、６４４及び６４６がその例である。この場合、記入者識別器２０７は、それに記されている注釈６４８、６５０及び６５２の記入者が同一人物であると判別する。

本実施形態では、更に、同じ記入者によって注釈が付された画像が皆同じグループになるよう画像をグループ分けする。その際には、まず、図１１Ｂに示す如く回転させることで画像の姿勢を互いに一致させる。画像６４２、６４４及び６４６の場合、対応する写真プリント上に記入者がある一定のやり方で（即ちプリント左縁に）注釈を入れているので、注釈の向きに基づく回転処理で画像の姿勢を揃えることができる。但し、これはあくまで一例であり、画像を実際に回転させる必要はない。例えば、効率低下を避けるため注釈の向きをソフトウェアで追跡するだけでもよい。

図９の手順では、次いで、姿勢検知器２１６を用い画素値及び動的メタデータレコードを解析することで、同じ人物によって注釈されたと見られる画像群の姿勢を判別し、またそれらの画像それぞれの姿勢を正すのに必要な画像変換の内容を決定する。その際には、まず、同じ人物によって注釈が付された画像全ての当初姿勢を判別する。そのためのアルゴリズムとしては、特許文献１記載のアルゴリズムを使用することができる（この言及を以て特許文献１の内容を本願に繰り入れることにする）。その他の特徴、例えば顔（特許文献５参照）や消失点（特許文献７参照）に基づき当初姿勢を判別することもできる。特許文献４等に記載の通り、ベイジアンネットワーク等の周知手法を用い、被写体の向きに関する複数種類の特徴を確率論的に併用して当初姿勢を判別することも難しくはない。図１１Ｃに示す例では、同じ人物によって注釈が記された画像６４２、６４４及び６４６全てを、顔検知器の出力に基づき正しい姿勢に修正している。なお、画像６４６から導出される特徴だけではその姿勢を十分に特定することができないが、画像６４２及び６４４に含まれている顔が顔検知器によって検知され、画像の前面左縁に注釈がある蓋然性が高いことが判るので、注釈６５２を基準とした画像６４６の姿勢が同じ注釈記入者に係る他のプリントのそれと同様であると措定し、注釈６５２の位置及び向きに基づき対応する写真プリントの姿勢を最尤判別することができる。

こうして注釈の向きと写真プリントの姿勢の関係について学んだら、その結果を、図９に示す記入者対姿勢プロファイル２１８として保存する。このプロファイル２１８が判明した後は、新たな写真プリントがスキャンされそれに注釈を記入した人物が記入者識別器２０７で識別されるたびに、姿勢検知器２１６がそのプリントに対応するプロファイル２１８を参照してそのプリントの姿勢を最尤判別する。

例えば、記入者「Ｐａｕｌ」（ポール）についてのプロファイル２１８が

なる内容である場合、ポールによる注釈が付されたプリントが見つかるたびに、このプロファイル２１８に基づきそのプリントの姿勢が推測される。その前面左縁に注釈が来る姿勢であると推測できるので、そのプリント上の画像そのものを調べなくてもよい。こうしたプロファイル２１８は注釈記入者毎に作成、保存される。

総じて、写真プリント上にある注釈の記入者を記入者識別器２０７で識別する一方、注釈に関する特徴をテキスト特徴抽出器２１１で抽出し、それらの結果を組み合わせることで、その写真プリントの姿勢を最尤判別することができる。

図９に示す手順では、テキスト検知器２０５を用いマシン注釈を検知することでも写真プリントの向きを判別する。例えば、写真プリントの多くに
（ａ）撮影日時銘記；これはプリント上の画像本体、縁取り部分、非画像面等にある
（ｂ）透かし
（ｃ）写真工房で付される写真仕上げマーク
といったマシン印刷テキストが記されているので、テキスト認識器２０９（通称ＯＣＲ）を用いてそのテキストを認識し、日時検知器２１３を用いてその結果を解析すればよい。

こうして日時検知器２１３を用いマシン印刷テキストの認識結果を解析することで、撮影日時銘記と覚しき部分を見つけること、或いは撮影日時を示唆する複数の特徴を見つけそれらの特徴に基づき写真プリントの撮影日時を判別することができる。撮影日時銘記（日時注釈）は、「２００２年６月２６日１９時１５分」といった細かな記述かもしれないし、「２００５年１２月」「１９７５年」「１９６０年代」等といった大まかな記述かもしれない。その時間分布が連続確率分布関数で表されることも離散確率分布関数で表されることもある。写真プリントの撮影日時を判別する手がかりとしては、画像自体に備わる特徴、写真プリント自体に備わる特徴（「白黒で縁取りが楕円形」等）、写真プリントに付されている注釈等を使用することができる。見つかった複数種類の特徴に対しベイジアンネットワーク等の確率論的モデルを適用することで、それらの特徴折衷して写真プリントの撮影日時を最尤判別することもできる。

いずれにせよ、撮影日時銘記は写真プリントの姿勢と関連していることが多い。例えば、フィルム式カメラでは、写真の右下隅に撮影日時銘記が来るようフィルムに撮影日時が写し込まれるものである。従って、写真プリントの縁取りより内側に撮影日時銘記がある場合、その位置からそのプリントの姿勢に係る情報を得ることができる。

その手法としては、手書き注釈の記入者毎に写真プリントをグループ分けする際と同じように、撮影日時銘記に基づきイベント別にプリントをグループ分けする手法を使用する。また、撮影日時銘記の位置及び向きと写真プリントの姿勢との関係がカメラの方式及びモデルによって違うことも、撮影日時銘記毎にプリントをグループ分けするのに利用する。例えば、１２６型フィルムから作成される写真プリントでは、往々にしてその前面の縁取り部分に撮影日時がスタンプされるので、撮影日時銘記の位置及び向きが同一の写真プリント同士でグループを形成すれば、高い蓋然性で、写真の姿勢と日時注釈の向きとの関係が同じ写真同士が同じグループに属することとなる。ことに、正方形の写真プリントが得られる１２６型フィルムではそうである。カメラを横倒しにして撮影しようと思い立つユーザが少ないからである。

画像をグループ分けしないまでも、画像の縁取り付近にある撮影日時銘記（日時注釈）の位置及び向きから、その写真プリントの姿勢についての情報を得ることができる。まず、撮影日時銘記の向きには、それを構成する文字列の基線が写真プリントの中央寄りになる「イン」と、縁寄りになる「アウト」とがある。図１２Ａに例示するプリント６００にはインの日時注釈６０２が、また図１２Ｂに例示するそれにはアウトの日時注釈６０４が付されている。１２６型で撮られた写真（その前面縁取り部分に撮影日時銘記がある写真）２０枚を抜き取りその別を調べたところ、

という結果になった。ここでは、画像を正しい姿勢にしたとき上側なら「北」、下側なら「南」、というように日時注釈の位置を方位指示語で表してある。この表から判る通り、撮影日時銘記の向きから、写真プリントの姿勢についての情報を得ることができる。この表は、多々あるフィルム及びカメラのフォーマット毎に作成される。新たな写真プリントがスキャンされるたびに、対応する表にエントリが追加されていく。新たな写真プリントの姿勢は、操作するユーザから与え又は信頼できる手法で推定すればよい。こうした表があれば、撮影日時銘記の位置とカメラのフォーマットとの間の対応関係が判るので、フィルム又はカメラのフォーマットをヒントとして撮影日時銘記を探すことも、その逆も可能である。好ましいのは、フィルム乃至カメラのフォーマットの検知と撮影日時銘記の検知とを併用する形態にすることである。

このように、撮影日時銘記が付されている場合、その位置及び向きと写真プリントの姿勢との関係を利用し、そのプリント（上の画像）の姿勢を検知することができる。また、カメラの方式及びモデルとの関係を併せ利用することで、そのプリント（上の画像）の姿勢をより正確に検知することができる。

また、大量にスキャンされる写真プリントのなかにインデクスプリントが含まれていることがある。インデクスプリントとは同じロールのフィルム上にある画像全ての縮小画像（サムネイル画像）を併載したプリントのことであり、図１３に示す例では縮小画像５５０、５５２、５５４、５５６、５５８及び５６０が並んでいる。インデクスプリントには、焼き増し注文を簡便に行えるよう縮小画像毎に索引乃至コマ番号５６２が付されていることが多く、また受注識別番号５６４や受注日５６６も記されていることが多い。図８Ｂ及び図９に示す手順では、スキャンした写真プリントがインデクスプリントか否かをインデクスプリント検知器２１２を用い判別し、インデクスプリントであればその上の縮小画像を個別に保存する。保存する個別の縮小画像には受注日５６６を関連付ける。これは、例えば、インデクスプリントに印刷されているテキストをＯＣＲ技術で高精度自動認識し、それに含まれている受注日５６６を関連付けることで行う。

こうしたインデクスプリントには、全ての縮小画像が正しい姿勢で記されているものとそうでないものとがある。例えば、フィルムストリップから作成されたインデクスプリントでは、風景モードで撮られているためその姿勢が概ね正しい縮小画像と、ポートレイトモードで撮られているため（撮影者がカメラを寝かせて撮ったため）その姿勢が図中の縮小画像５５６，５５８のような姿勢になっている縮小画像とが、混在しているものである。本実施形態では、その姿勢を問わず、写真プリントから得た画像をインデクスプリントから分離、保存された縮小画像と照合し、その写真プリントの姿勢について多くの情報を得るようにしている。なお、特許文献４（発明者：Luo）によれば、３５ｍｍフィルムから得られる画像の場合、その画像が採りうる姿勢の事前確率は、正しい姿勢のそれが約７０％、９０°反時計回り回転が必要な姿勢のそれが約１４％、９０°時計回り回転が必要な姿勢のそれが約１４％、１８０°回転が必要な姿勢のそれが約２％となる。

写真プリント（図１１Ｃに示した画像６４２等）に対するスキャンで得られたディジタル版の画像を、インデクスプリント由来の保存済縮小画像（サムネイル画像）に照らす処理は、特許文献１０に記載の手法等で実行する。即ち、そのディジタル版の画像から特徴を抽出するステップと、インデクスプリント由来の縮小画像（サムネイル画像）から特徴を抽出するステップと、を含む一般的な画像マッチング法に従い実行する。その際には、まず、例えばそれらの画像における色値のヒストグラムをその画像の特徴として抽出する。次いで、ヒストグラム間Ｌ１距離、Ｌ２距離、χ²距離等の算出を通じ、スキャンした画像の特徴を個々の縮小画像の特徴に照らすことで、両者間の類似性を縮小画像毎に評定する。ある縮小画像についてその類似性がある条件を満たしていれば（例えばその特徴に係るヒストグラム間の距離がしきい値未満であれば）、その縮小画像とスキャンした画像とがマッチングしているものと見なすことができる。スキャンした画像が採りうる姿勢は四通り（長方形画像なら二通り）あるので、その画像とマッチングする縮小画像を見つけるには、それらの姿勢それぞれについて個々の縮小画像との照合を行えばよい。

写真プリントから読み取ったディジタル版の画像にマッチングする縮小画像が見つかったら、当該読み取った画像の姿勢についての情報、即ち対応する縮小画像が採りうる姿勢についての事前確率にマッチングする姿勢を学習する。なお、こうした事前確率は、使用したフィルム乃至カメラのフォーマットによって左右されるものである。例えば、姿勢センサを備えるディジタルカメラで撮られた写真のプリントを請け負い、それらのディジタル写真についてインデクスプリントを作成した場合、縮小画像の姿勢に不明確さは生じない。

本実施形態では、これと同じ考え方を、写真プリントの撮影日時特定にも適用する。写真プリント上の画像とマッチングする縮小画像があれば、その縮小画像が含まれているインデクスプリント上の日付を以て、その写真プリントの撮影日時と見なすことができるからである。

また、フィルム又はカメラのフォーマットを識別するだけで、画像の姿勢をほぼ正確に判別できることもある。例えば、図１４に例示するインスタント写真では、写真プリント５７０上の画像エリア５７２がほぼ正方形であるため、撮影時にカメラが横倒しにされることは滅多にないといってよい。従って、写真プリントのフォーマットを識別した結果インスタントカメラのフォーマットであることが判明したなら、そのプリント例えば５７０の縁取り部分５７４に含まれる幅広部分がそのプリント５７０の下縁であると見なして大過ない。プリントの向きはこうして判明する。

同様に、Ｄｉｓｃフォーマットのフィルムでも、カメラの姿勢に対するフィルムネガのそれがはっきりしている。即ち、フィルムネガの縁のうちカメラの中心に近い方の縁が画像の下縁である。写真プリント５７０の非画像面にある透かしの向きも、通常は、そのプリント５７０の正しい姿勢に対応している。

本実施形態では、更に、画像に写っている被写体の姿に基づき撮影日時を特定する。やり方は、人間が写真プリントの撮影日時を推量するときと同様である。例えば、自分の所有している写真を眺め、「三番街にあった家の裏庭に僕が写っているね。我が家が三番街に引っ越してきたのは１９４９年だから、この写真を撮ったのはきっと１９４９年以降だろう」等と語る人がいるものである。画像の撮影日時についての強力な手がかりになる被写体はほかにも数多くある。例えば、その車種から購入日や製造日が判るので、画像に写っている車両は、その画像の撮影日時に関する強力な手がかりとなる。車種によっては翌年式の車両を購入できる場合もあるが、写真に写っているのが２００７年式のＨｏｎｄａ（登録商標）Ｏｄｙｓｓｅｙ（登録商標）ならば、その写真は２００６年より前に撮影された写真ではないのが普通である。また、その持ち主がそのＨｏｎｄａ（登録商標）車を２００８年に購入したことが判っているのなら、その車両が写っている写真は２００８以降のものに違いない。撮影日を特定する手がかりになりうるその他の人工物、例えば服装、家具、道具、小物等についても同じことがいえる。

画像の撮影日を特定する際には、その画像に写っている人物の姿も貴重な手がかりとして使用する。例えば、エイブラハム・リンカーンの誕生年が１８０９年、死去年が１８６５年であることを知っていれば、リンカーンが写っている写真はどれも１８０９年から１８６５年の間に撮られたものであると判る。リンカーンの写真が最初に撮られたのが１８４０年代であることを知っていれば、この範囲は更に狭まる。このように、画像に写っている人物（達）の素性及び生存期間が判れば、その画像のおおよその撮影日時を特定することができる。

その際、画像に写っている人物の素性とその年齢及び誕生日が判るのであれば、その画像の撮影日時を次の式
Ｄ＝Ｂ＋Ａ （１）
に従い求めることができる。この式中、Ｄは撮影日時、Ｂはその素性が判っている人物の誕生日、Ａは同じ人物の年齢である。誕生日及び年齢に不確定さがある場合は、誕生日の分布Ｐ（ｂ＝ｎ）及び年齢の分布Ｐ（ａ＝ｙ−ｎ）を適宜仮定し、その画像の撮影年がある年ｙである確率Ｐ（ｄ＝ｙ）を、例えば次の式
Ｐ（ｄ＝ｙ）＝Σ_{n=Y1 to Y2}Ｐ（ｂ＝ｎ）Ｐ（ａ＝ｙ−ｎ） （２）
に従い求めればよい。この式中、ｄは撮影日時、ｙは撮影年かもしれない年、ｂはその人物の誕生日、ｎはその人物の誕生年かもしれない年、ａはその人物の年齢、Ｙ₁及びＹ₂は誕生年の値域である。また、この式では分布が離散確率分布として表されているが、本件技術分野で習熟を積まれた方々（いわゆる当業者）には自明な通り、分布を連続変数として表すこともできる。例えば、人物の誕生年に係る正規分布から、その人物が未来に生まれたことを示す部分を打ち切って０荷重にした分布等、パラメトリックな分布を使用すればよい。なお、誕生年及び年齢に不確定さがなければ、ｙ＝Ｂ＋ＡにてＰ（ｄ＝ｙ）＝１、その他のｙ値全てについてＰ（ｄ＝ｙ）＝０となるので、式（２）はそもそも式（１）と等価なものといえる。

図９には、本実施形態における画像撮影日時特定手順も示されている。これは、被写体検知器２０８を用い種々の日時示唆被写体を検知、識別する手順である。日時示唆被写体とは、その被写体の姿に基づき画像の撮影日時を特定すること又は撮影日時の値域を狭めることが可能な被写体のことである。例えば被写体検知器２０８では、車両の車種や年式と共に一般市民向け商品等も検知する。日時検知器２１３では、その結果に基づき、“ｉＰｏｄ（登録商標）が写っているから２００１年以降に撮られた画像だ”というように、撮影日時検知の対象域を狭めていく。人物の姿や車両の画像もまた日付示唆被写体となりうる。

特に、画像に写る人物の姿との関連では、その日時検知器２１３に生存期間情報２１４が供給されている。これは、その画像集に写っていてもおかしくない人物達が誕生した日時や死去した日時を含む情報であり、通常はユーザインタフェース例えばキーボード、タッチスクリーン、ポインティングデバイス等の操作を通じユーザから与えられる。

画像中に現れている人物は様々な方法で特定可能であるが、この手順では、顔検知／認識器２０６を用い顔を検知しその人物の素性を特定するようにしている。一般市民の許にある画像から顔を検知して認識する方法に関しては特許文献１１の記載を、またその顔に基づき年齢を推定する方法に関しては非特許文献２、非特許文献３、特許文献１２（発明者：A. Gallagher）等の記載を参照されたい。顔に基づく年齢の推定に際しては、その顔から特徴を抽出し分類器を適用することによって、そのような顔になる蓋然性を年齢毎に推定する。

そして、画像に写っている人物に係る生存期間情報２１４及び年齢推定結果に基づき、式（１）又は（２）を使用し撮影日時を算出する。

また、図１０Ａ及び図１０Ｂに示す如く画像に付されている注釈からも、注目すべき人物がその画像に写っていることを検知する。その際には、テキスト検知器２０５ではハードコピーの画像面又は非画像面から注釈を検知し、テキスト特徴抽出器２１１では周知のＯＣＲ技術によってその注釈をテキストに変換し、日時検知器２１３ではそのテキストを解析して写っている人物の名前及び年齢を識別する。画像に付されている注釈テキスト中に、人物の名前と隣り合わせに０〜１００の数字が記されていれば、それはその人物の年齢と見なすことができる。日時検知器２１３では、上掲の如く周知技術を用い顔から年齢を推測する場合と同じく、注釈テキストに基づき年齢を識別する場合も、その人物に係る生存期間情報２１４を適宜利用する。なお、１枚の画像に複数人分の名前が注釈として付されており、その画像に複数人の顔が写っている場合には、検知された名前及び顔に似つかわしい年齢及び性別に基づき、名前と顔の対応関係を最尤推定すればよい。

本実施形態では、更に、スキャンで得られた１枚又は複数枚の画像に注目すべき人物が写っている場合にその人物の誕生日を判別し、それ以後のスキャンで得られる画像の撮影日時をその誕生日に基づき推定する。例えば、図１０Ｄに示す如く「Ｈａｎｎａｈ ａｎｄ Ｊｏｎａｈ ２００８」（ハンナとジョナ、２００８年）という注釈テキストが付されている場合、日時検知器２１３が撮影年を示す「２００８」を認識し、顔検知／認識器２０６がその画像に写っている人物の誕生日（生存期間情報２１４の一種）を推定する。誕生日の推定は、その画像から顔を検知し、前述の要領に従いその顔に名前（この例では「Ｈａｎｎａｈ」（ハンナ）及び「Ｊｏｎａｈ」（ジョナ））を関連付け、そして前述の要領に従い人物の年齢を個別に推定することで行う。撮影日時と人物の年齢が判っているので、式（１）又は（２）に従いこうして誕生日を推定することができる。後に、図１０Ａ及び図１０Ｂに示す写真プリントのように同じ人物が写っているプリントをスキャンした際には、その画像の撮影日時をその人物についての誕生日推定結果に基づき判別することができる。スキャンの順番が肝要でないことに留意されたい。その画像群に写っている人物達について更なる情報（生存期間情報２１４）が得られれば、先のスキャンで得られている画像の撮影日時もより正確なものに更新することができる。

なお、前述の式（１）及び（２）は、画像に写っている注目すべき人物が一人だけの場合についての式である。式（２）を拡張し、画像に複数人の姿が写っている場合についての式にするには、単に、乗積を導入して
Ｐ（ｄ＝ｙ）＝Π_{i=1 to m}Σ_{n=Y1 to Y2}Ｐ（ｂ_i＝ｎ）Ｐ（ａ_i＝ｙ−ｎ） （３）
のかたちとすればよい。変数の意味は式（２）のそれと同様である。但し、ｍは画像に写っている人数、ｂ_iはｉ番目の人物の誕生日、ａ_iはｉ番目の人物の年齢である。画像に写っている人数が増すほど不確定性が減るため、求まる撮影日時はより正確なものになると考えてよい。従って、本実施形態によれば、複数人が写っている方が画像の撮影日をより好適に特定することができる。

また、人間がコンピュータ上のユーザインタフェースを操作し、その画像に写っている人物の名前で、その画像又は顔にタグ付けすることもできる。この場合、名前が顔に関連付けられるため、その顔から年齢を推定し、式（１）又は（２）に従い日時検知器２１３で撮影日時を推定することができる。

そして、本実施形態では、その画像に付されている注釈に名前が含まれていれば、それらの人物の年齢、誕生日その他の生存期間情報２１４が判然としなくても、その画像の撮影日時を判別することができる。その場合、テキスト検知器２０５ではそのハードコピーの画像面又は非画像面から注釈を検知し、テキスト特徴抽出器２１１では周知のＯＣＲ技術でその注釈をテキストに変換し、日時検知器２１３ではそのテキストを解析することでその画像に写っている興味深い人物の名前を識別する。ファーストネームの流行度合いは時代の経過につれて変化するので、ハードコピー上の画像からこうして読み取った人物名を検討するだけでも、その画像の撮影日をおおよそは特定することができる。例えば、ある画像にペイトンとアビーとエミリが写っていたら恐らく２０００年代、ミルドレッドとガートルードが写っていたらずっと古く１９２０年代、といった具合に画像の撮影日を特定することができる。こうした直観を式で表すと次のようになる。まず、ある時期（例えば特定の年）に生まれた人物が名前Ｎをもらう確率Ｐ（ｂ＝ｙ｜Ｎ）、即ちその名前Ｎの流行度合いの経時変化を、画像に現れる名前毎に求めておく。図１０Ｅに、一例として、名前「Ｇｅｒｔｒｕｄｅ」（ガートルード），「Ｐｅｙｔｏｎ」（ペイトン）をもらう年別確率Ｐ（ｂ＝ｙ｜Ｎ）を示す。これは非特許文献４に記載のデータに基づき導出したものであり、ガートルード名の人物は１９１７生まれ、ペイトン名の人物は２００５年生まれが最も多いことを表している。従って、画像に写っている人物（達）とその画像の撮影者とが共に生存していた蓋然性が最大になる日時を推定することで、画像の推定撮影日時を得ることができる。そうした日時を推定するには、撮影された画像に写っている人の名前Ｎがｍ通りある確率を
Ｐ（ｄ＝ｙ｜Ｎ）≒Π_{i=1 to m}Ｐ（ｂ_i＝ｙ｜Ｎ_i） （４）
と表す単純なモデルに改善を施し、画像に写っている顔毎の推定年齢及び人間の期待生存期間を加味したモデルを使用すればよい。このモデルでは、生存期間表を使用することで、その画像に写っている人物の名前毎に時期別生存者数を算出することができる。ハードコピー撮影日時は事前均等であると見なせるので、算出した生存者数に基づき、その名前を有する人の数が最も多くなった時期を調べることで、その名前の人物が撮影された蓋然性が最も高い日時を推定することができる。図１０Ｆに、一例として、「Ｍｉｌｄｒｅｄ」（ミルドレッド）名の人物及び「Ｐｅｙｔｏｎ」（ペイトン）名の人物が生存者数に占める年別の割合Ｐ（ｄ＝ｙ｜Ｎ，Ｌ）を示す。図示の通り、ガートルードが最も多くいるのは１９５１年、ペイトンが最も多くいるのは２００６年（このデータに反映されている最新の年）であるので、ガートルードとペイトンが一緒に写っている画像が撮影された蓋然性が最高の年は２００６年である。このように、生存期間を考慮に入れたモデル
Ｐ（ｄ＝ｙ｜Ｎ）≒Π_{i=1 to m}Ｐ（ｂ_i＝ｙ｜Ｎ_i）＊ａＰ₀
を使用するのが望ましい。この式中、ａＰ₀はある人物が年齢ａまで生存する確率を表している。＊は畳み込み演算子である。

なお、ここではハードコピー上の画像に写っている人物の名前として米国風のファーストネームを主たる例にしているが、家族名（姓）やニックネーム、更には非米国風の名前にも同様の手法を適用することができる。

１０，９０，１３０ ハードコピー（写真プリント等）、２０ 縁有り３．５インチ×３．５インチサイズ写真プリントからなる第１サブグループ、３０ 縁無し角丸３．５インチ×５インチサイズ写真プリントからなる第２サブグループ、４０ 縁有り３．５インチ×５インチサイズ写真プリントからなる第３サブグループ、５０ 縁無し４インチ×６インチサイズ写真プリントからなる第４サブグループ、６０ 画像冊子、７０ 画像保存ＣＤ、８０ （磁気記録）オンライン画像集、９１，６２４ 画像面、９２ 日付、９４，５７４ 縁取り部分、９６ 画像本体、１００，６２２ 非画像面、１０２ 透かし、１１０，１４０，１８０ 動的採録メタデータ、１１１，１５１，１６１ メタデータフィールド、１２０，１７０ 標本値、１５０，１６０，１９０ 動的導出メタデータ、２００，２９８ 動的ディジタルメタデータレコード、２０１ スキャナ、２０３ ディジタル画像集、２０５ テキスト検知器、２０６ 顔検知／認識器、２０７ 記入者識別器、２０８ 被写体検知器、２０９ テキスト認識器、２１０ ハードコピー準備ステップ、２１１ テキスト特徴抽出器、２１２ インデクスプリント検知器、２１３ 日時検知器、２１４ 生存期間情報、２１５ ハードコピー（写真プリント）スキャンステップ、２１６ 姿勢検知器、２１７ 人名流行情報、２１８ 記入者対姿勢プロファイル、２２０ 動的採録メタデータ抽出ステップ、２２５ 白黒／カラー判別アルゴリズム、２３０ 白黒／カラー判別ステップ、２３５ 白黒マップ適用ステップ、２４０ 肌色マップ適用ステップ、２４５ 傾げ角採録ステップ、２５０ 縁取り検知ステップ、２５５ 縁判別ステップ、２６０ 中性色計算用最低濃度Ｄｍｉｎ計測ステップ、２６５ 辺縁部最低濃度採録ステップ、２７０ 注釈性テキスト情報抽出ステップ、２７５ インデクスプリント判別ステップ、２７７ イベント別グループ検知ステップ、２７９ イベント別グループ採録ステップ、２８０ インデクスプリント番号検知ステップ、２８２ インデクスプリント番号採録ステップ、２８４ インデクスプリント内イベント名検知ステップ、２８６ インデクスプリント内イベント名採録ステップ、２９０ 縁取り内注釈テキスト採録ステップ、２９２ 縁取り内注釈ビットマップ採録ステップ、２９４ 縁取りスタイル検知ステップ、２９６ 縁取りスタイル採録ステップ、５０６ 画像変換内容決定ステップ、５０７ オペレータ入力、５１０ 画像変換、５１４ 画像変換適用ステップ、５５０〜５６０ 縮小画像、５６２ コマ番号、５６４ 受注識別番号、５６６ 受注日、５７０，６００，６２０，６３０ 写真プリント、５７２ 画像エリア、６０４ 日時注釈、６２６〜６５２ 注釈、６４２〜６４６ 画像。

Claims (11)

1. 画像面及び非画像面を有するハードコピーをスキャンしその上の画像の撮影日時を判別する方法であって、
   （ａ）ハードコピーをスキャンすることでその上の画像をディジタル化するステップと、
   （ｂ）得られたディジタル版の画像から手書き注釈を検知するステップと、
   （ｃ）検知された手書き注釈に基づきその画像の撮影日時を判別するステップと、
   を有し、ステップ（ｃ）が、
   （ｉ）検知された手書き注釈を解析することで人物の名前及び年齢を識別するステップと、
   （ｉｉ）その画像に写っていそうな人物の名前及び生存期間情報を調べるステップと、
   （ｉｉｉ）名前及び年齢の識別結果と生存期間情報とに基づき撮影日時を判別するステップと、
   を含む方法。
2. 請求項１記載の方法であって、ハードコピーの画像面及び非画像面双方をスキャンし、画像面から得られるディジタル版の画像又は非画像面のスキャン結果から手書き注釈を検知する方法。
3. ハードコピーをスキャンしその上の画像の撮影日時を判別する方法であって、
   （ａ）ハードコピーをスキャンすることでその上の画像をディジタル化するステップと、
   （ｂ）その画像に写っていそうな人物の名前及び誕生日を調べるステップと、
   （ｃ）スキャンで得られたディジタル版の画像に写っている人物を一人又は複数人検知するステップと、
   （ｄ）検知された人物の年齢を判別するステップと、
   （ｅ）年齢の判別結果と検知された人物の誕生日とに基づき撮影日時を判別するステップと、
   を有する方法。
4. 請求項３記載の方法であって、ステップ（ｄ）が、
   （ｉ）検知された人物一人一人の顔領域から特徴を抽出するステップと、
   （ｉｉ）その特徴に基づき対応する人物の年齢を判別するステップと、
   を含む方法。
5. 請求項１記載の方法であって、人物の生存期間情報としてその人物の誕生日又は死去日を使用する方法。
6. 動画シーケンスの撮影日時を判別する方法であって、
   （ａ）解析すべき動画シーケンスを取得するステップと、
   （ｂ）その動画シーケンスを個別の画像フレームへと分割するステップと、
   （ｃ）その動画シーケンスに写っていそうな人物の名前及び誕生日を調べるステップと、
   （ｄ）画像フレーム中の人物のうち一人又は複数人を検知するステップと、
   （ｅ）検知された人物の年齢を判別するステップと、
   （ｆ）判別で得られた年齢と検知された人物の誕生日とに基づきその動画シーケンスの撮影日時を判別するステップと、
   を有する方法。
7. 請求項６記載の方法であって、ステップ（ｅ）が、
   （ｉ）検知された人物一人一人の顔領域から特徴を抽出するステップと、
   （ｉｉ）その特徴に基づき対応する人物の年齢を判別するステップと、
   を含む方法。
8. 請求項６記載の方法であって、撮影日時をその動画シーケンスに関連付けるステップを有する方法。
9. 請求項７記載の方法であって、検知された人物の名前及び年齢をその動画シーケンスに関連付ける方法。
10. 画像面及び非画像面を有するハードコピーをスキャンしその上の画像の撮影日時を判別する方法であって、
    （ａ）ハードコピーをスキャンすることでその上の画像をディジタル化するステップと、
    （ｂ）得られたディジタル版の画像から注釈を検知するステップと、
    （ｃ）検知された注釈に基づきその画像の撮影日時を判別するステップと、
    を有し、ステップ（ｃ）が、
    （ｉ）検知された注釈を解析することで人物の名前を識別するステップと、
    （ｉｉ）その名前の時期別流行度合いを調べるステップと、
    （ｉｉｉ）名前の識別結果及びその名前の流行度合いを示す情報に基づき撮影日時を判別するステップと、
    を含む方法。
11. 請求項１０記載の方法であって、撮影日時を判別する際更に人間の生存期間を踏まえる方法。

Images