JP5955057B2

JP5955057B2 - 顔画像認証装置

Info

Publication number: JP5955057B2
Application number: JP2012080420A
Authority: JP
Inventors: 高田　直幸; 直幸高田
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2012-03-30
Filing date: 2012-03-30
Publication date: 2016-07-20
Anticipated expiration: 2032-03-30
Also published as: JP2013210824A

Description

本発明は、顔画像認証装置に関し、特に、予め登録している顔画像に基づいて利用者を認証する顔画像認証装置に関する。

予め登録された登録者以外の建物、部屋等への進入を制限するために利用者が登録者であるか否かを判定するための認証装置が利用されている。一般に、認証装置は、パスワード、ＩＤカード又は利用者の指紋、静脈パターン、虹彩、顔等の生体情報を照合することにより、利用者が登録者であるか否かを判定する。そして、利用者が登録者であると判定すると、建物、部屋等の入口を通行可能とするようにその入口に設けられた扉を制御する。このような認証装置において、利用者が登録者であると判定されて入口が通行可能とされた時に、登録者と判定された利用者と共に登録者と判定されていない人物が進入する、いわゆる共連れ進入の問題があった。

そこで、特許文献１には、共連れ行為を検出する監視装置が提案されている。この監視装置は、ＩＣカードに記録された情報を読み取るＩＣカードリーダ、暗証番号の入力を受け付ける操作パネル、被認証者の生体情報を読み取る装置等を有する認証装置と、被認証者を含む監視画像を撮影する撮像装置とを備える。そして監視装置は、認証装置による認証が成功したタイミングで撮像装置により撮像された画像に複数の人物が含まれるか否かを判定し、複数の人物が含まれる場合には、不正な通行の兆候があるとして異常信号を出力する。

特開２００９−２３０２８４号公報

特許文献１に記載された監視装置は、撮像された監視画像の中に被認証者以外の人物が写っているか否かを判定することにより、共連れ行為を検出することができる。しかしながら、特許文献１に記載された監視装置は、例えば認証装置による認証が成功した時には監視画像に写っておらず、その後扉が開いている間に入室しようとする人物による共連れ行為を検出することはできない。

一方、監視領域内を歩行する人物を認証するために、監視画像を順次撮影し、撮影した各監視画像から抽出した、人物の顔を含む顔領域画像を追跡し、予め登録された登録顔画像との類似度を算出し、追跡した系列ごとに登録者か否かを認証するいわゆるウォークスルー型の顔画像認証装置が従来用いられている。
ウォークスルー型の顔画像認証装置では、同一人物のものと思われる顔領域画像を追跡して認証判定を行うが、人物が下を向いたり横を向いたりすると顔領域画像が抽出できずに追跡が途切れる場合がある。その場合、追跡が途切れる前後で別の人物として認証判定がされるため、追跡が途切れる前は登録者と判定されていなかったが、追跡再開後に登録者と判定されたり、またはその逆の判定がなされることがある。そのため、登録者と判定された人物と未登録者と判定された人物の両方がほとんど同時に存在しても必ずしも共連れ進入が発生しているとは限られない。

本発明の目的は、共連れ進入の有無を適切に判定することができるウォークスルー型の顔画像認証装置を提供することにある。

かかる課題を解決するための本発明は、共連れ進入を判定する顔画像認証装置を提供する。係る顔画像認証装置は、監視領域を撮影した監視画像を順次取得する撮像部と、登録者の登録顔画像を記憶する記憶部と、監視画像から人物の顔を含む顔領域画像を抽出する顔検出手段と、同一人物の顔領域画像を追跡して系列化し、系列データを生成する顔追跡手段と、系列データ毎に、当該系列データに含まれる顔領域画像と登録顔画像を比較して当該系列データの人物が登録者であるか未登録者であるかを判定する認証判定手段と、特定の系列データの人物が登録者と判定された認証時刻の前後の所定期間に、未登録者と判定された他の系列データが存在する場合、特定の系列データと他の系列データが類似するか否かに基づいて、特定の系列データの人物と他の系列データの人物が同一人物であるか否かを判定し、同一人物でないと判定した場合は共連れ進入と判定し、同一人物と判定した場合は共連れ進入でないと判定する共連れ判定手段と、を有する。

なお、共連れ判定手段が、登録者と判定された人物の系列データとの類似を調べて同一人物か否かを判定する他の系列データの人物は、登録者との判定を受けていない人物であることを意図している。したがって、単に登録者とは判定されていない人物の系列データを特定の系列データと比較して類似を調べてもよい。

また、本発明に係る顔画像認証装置において、共連れ判定手段は、他の系列データの顔領域画像と登録顔画像との類似度のうち最高の類似度に対応する登録顔画像が、特定の系列データの人物の登録顔画像と一致する場合、特定の系列データと他の系列データが類似すると判定することが好ましい。

また、本発明に係る顔画像認証装置において、記憶部は、一人の登録者ごとに少なくとも一つ以上の登録顔画像を記憶し、共連れ判定手段は、最高の類似度に対応する登録顔画像の登録者が、特定の系列データの人物と一致する場合、特定の系列データと他の系列データが類似すると判定することが好ましい。

また、本発明に係る顔画像認証装置において、共連れ判定手段は、特定の系列データの顔領域画像のそれぞれと他の系列データの顔領域画像のそれぞれとの類似度を算出し、当該算出した類似度のうちの少なくとも一つが所定の閾値を越えている場合、特定の系列データと他の系列データが類似すると判定することが好ましい。

また、本発明に係る顔画像認証装置において、共連れ判定手段は、特定の系列データと他の系列データのうち顔領域画像が先に抽出された系列データに含まれる顔領域画像のうち最後に抽出された顔領域画像の監視画像内の位置と、特定の系列データと他の系列データのうち顔領域画像が後に抽出された系列データに含まれる顔領域画像のうち最初に抽出された顔領域画像の監視画像内の位置とが略一致する場合、特定の系列データと他の系列データが類似すると判定することが好ましい。

本発明に係るウォークスルー型の顔画像認証装置は、共連れ進入の有無を適切に判定することができるという効果を奏する。

本発明を適用した顔画像認証装置が部屋の入口に設置される場合の撮像部の設置例を表す模式図である。顔画像認証装置の概略構成図である。共連れ判定手段により共連れ進入と判定される前の履歴テーブルの模式図である。共連れ判定手段により共連れ進入と判定される前の履歴テーブルの模式図である。共連れ判定手段により共連れ進入と判定される前の履歴テーブルの模式図である。共連れ判定手段により共連れ進入と判定される前の履歴テーブルの模式図である。共連れ判定手段により共連れ進入と判定された後の履歴テーブルの模式図である。本発明による顔画像認証装置の認証処理の動作を示すフローチャートである。共連れ判定手段による共連れ進入の判定処理の動作を示すフローチャートである。

以下、本発明を適用した顔画像認証装置を部屋等の入室が制限される制限領域への入口に設置した一実施形態について図を参照しつつ説明する。
本発明を適用した顔画像認証装置は、監視領域を撮影した監視画像に写っている人物が予め登録された登録者であるか、あるいは登録者でない未登録者であるかを判定し、登録者である場合には建物、部屋等の入室が制限される制限領域への入口を通行可能にする。また、顔画像認証装置は、特定の人物を登録者と判定した時刻の前後の所定期間に監視領域に進入した他の人物を未登録者と判定した場合、その登録者と判定した人物と未登録者と判定した人物が同一人物か否かを判定する。そして、同一人物でない場合に限り、未登録者が登録者に随行して制限領域へ進入した、いわゆる共連れ進入があったと判定する。これにより、顔画像認証装置は、共連れ進入の有無を適切に判定する。

図１に、顔画像認証装置が部屋の入口に設置される場合の撮像部の設置例を模式的に示す。図１に示す例では部屋を、予め登録された登録者以外の進入を制限する制限領域２５６とし、部屋の入口２５１の外側に監視領域２５５が設定される。図１に示すように、例えば、顔画像認証装置が部屋の入口２５１に設置される場合、撮像部１００は、入口２５１に通じる通路を監視領域２５５に含むよう、入口２５１が設置された壁の上方または天井に、撮影方向をやや下方へ向け、その通路側へ向けた状態で取り付けられる。これにより撮像部１００は、進行方向２５２に沿って入口２５１に向かう人物２６０、２６１を所定の時間間隔で撮像することができる。なお、人物２６２は監視領域２５５の外に存在し、監視画像には写っていないものとする。図１では、人物２６０は制限領域２５６へ進入可能な人物として登録された登録者であり、人物２６１、２６２は登録者でない未登録者とする。

また入口２５１には、扉２５３が設けられ、その扉２５３には電気錠２５４が設けられる。電気錠２５４は、通常時において施錠されている。その電気錠２５４は、顔画像認証装置と接続されており、顔画像認証装置により施錠及び解錠の制御が可能となっている。なお、電気錠２５４は、解錠され扉が開けられた後、扉が閉じて一定時間（例えば０．５秒）が経過すると、自動的に施錠される。

顔画像認証装置が判定対象とする共連れ進入について、図１を用いて説明する。図１に示す人物２６０が登録者と判定されて電気錠２５４が解錠されると、一定時間（例えば１０秒）、人物２６０は扉２５３を開けて入口２５１を通行可能となる。監視領域２５５は端から端まで数秒程度で移動可能な領域に設定される。そのため、共連れ進入を企てる多くの未登録者は、人物２６２のように人物２６０が登録者と判定されるまで監視領域２５５の外で待機して、人物２６０が登録者と判定され、電気錠２５４が解錠されてから監視領域２５５に進入し、人物２６０が扉２５３を開けている間に入口２５１を通行しようとする。この人物２６２の行為を以下では「駆け込み」と称する。
あるいは、共連れ進入を企てる多くの未登録者は、人物２６１のように、登録者である人物２６０のすぐ近く（特に、すぐ後ろ）をついて歩くことにより、人物２６０が扉２５３を開けたときに入口２５１を通行しようとする。ウォークスルー型の顔画像認証装置では、例えば人物が撮像部１００の近くに移動するまでうつむいていた場合、他人の背後にいて監視画像に顔の一部しか写っていない場合等、登録者と判定されるのに時間を要する場合がある。そのため、人物２６０が監視領域２５５に進入した直後に登録者と判定されるとは限られず、人物２６１の方が先に未登録者と判定される可能性がある。このように、人物２６０が登録者と判定される前に未登録者と判定された人物２６１についても共連れ進入が可能となる。これを以下では「入れ替わり」と称する。
なお、登録者である人物２６０が下を向いたり横を向いたりしながら歩行していた場合等、人物２６０が登録者と判定されないまま監視領域２５５を通過し、その後、後ずさりをして監視領域２５５に戻り、登録者と判定される場合もある。このような場合、人物２６０が監視領域２５５を通過したときは未登録者と判定され、その直後に再度監視領域２５５に現れて登録者と判定される。このように、短期間の間に登録者と判定された人物と未登録者と判定された人物とが存在しても、共連れ進入ではなく、同一人物である場合もある。このような状況を以下では「追跡途切れ」と称する。

図２は、本発明を適用した顔画像認証装置１０の概略構成を示す図である。図２に示すように、顔画像認証装置１０は、撮像部１００、出力部２００及び画像処理部３００を有する。以下、顔画像認証装置１０の各部について詳細に説明する。

撮像部１００は、図１に示したように所定の監視領域を撮影する監視カメラであり、例えば、２次元に配列され、受光した光量に応じた電気信号を出力する光電変換素子（例えば、ＣＣＤセンサ、Ｃ−ＭＯＳなど）と、その光電変換素子上に監視領域の像を結像するための結像光学系を有する。
撮像部１００は、監視領域内を通行する人物の顔を順次撮影できるように人物の通行方向の略正面に設置される。そして撮像部１００は、監視領域を撮影した監視画像を、所定の時間間隔（例えば、200msec）ごとに取得する。撮像部１００は、画像処理部３００と接続され、取得した監視画像を画像処理部３００へ渡す。

監視画像は、グレースケールまたはカラーの多階調の画像とすることができる。本実施形態では、監視画像を、横1280画素×縦960画素を有し、ＲＧＢ各色について８ビットの輝度分解能を持つカラー画像とした。ただし、監視画像として、この実施形態以外の解像度及び階調を有するものを使用してもよい。

出力部２００は、例えば電気錠２５４、又は電気錠２５４を制御する外部機器等に接続する通信インターフェース及びその制御回路を有する。そして出力部２００は、画像処理部３００から人物についての認証成功を示す信号を受け取ると、接続された機器へ、例えば電気錠２５４の解錠を要求する信号を出力する。また、出力部２００は、画像処理部３００から共連れ進入があったことを示す信号を受け取ると、出力部２００に接続された、不図示の警報ランプを点灯させ、又は不図示のブザーを鳴動させる。または、共連れ進入があったことを示す信号を不図示の監視センタ装置へ出力する。

画像処理部３００は、例えば、いわゆるコンピュータにより構成される。そして画像処理部３００は、撮像部１００から受け取った監視画像から人物の顔を含む領域の画像を顔領域画像として抽出し、各顔領域画像を用いて顔照合処理を実施する。そして、監視画像に写っている人物を登録者と判定すると、電気錠２５４を解錠する。さらに、登録者と判定された人物と共に、登録者でない人物が入室可能であるか否かを判定する。そのために、画像処理部３００は、記憶部３１０及び照合部３２０を有する。さらに、照合部３２０は、計時手段３２１、顔検出手段３２２、顔追跡手段３２３、認証判定手段３２４、扉制御手段３２５及び共連れ判定手段３２６を有する。

記憶部３１０は、ＲＯＭ、ＲＡＭなどの半導体メモリ、あるいは磁気記録媒体及びそのアクセス装置若しくは光記録媒体及びそのアクセス装置などを有する。そして記憶部３１０には、顔画像認証装置１０を制御するためのコンピュータプログラム及び各種パラメータなどが予め記憶される。また記憶部３１０は、一人以上の登録者のそれぞれについて、その登録者の顔が写った登録顔画像を、その登録者の登録者ＩＤと関連付けて予め記憶する。また記憶部３１０は、画像処理により生じた人物に関する情報を管理するための履歴テーブルを記憶する。この履歴テーブルの詳細については後述する。

照合部３２０の各手段は、マイクロプロセッサ、メモリ、その周辺回路及びそのマイクロプロセッサ上で動作するソフトウェアにより実装される機能モジュールである。あるいは、これらの手段を、ファームウェアにより一体化して構成してもよい。また、これらの手段の一部または全てを、独立した電子回路、ファームウェア、マイクロプロセッサなどで構成してもよい。以下、照合部３２０の各手段について詳細に説明する。

計時手段３２１は、撮像部１００から監視画像を取得する度に、その監視画像を取得した時刻を記憶部３１０に記憶する。

顔検出手段３２２は、撮像部１００から監視画像を取得する度に、取得した監視画像から人物の顔が写っている領域である顔領域を検出し、顔領域画像を抽出する。
顔領域を検出するために、顔検出手段３２２は、例えばフレーム間差分処理または背景差分処理を利用して、撮像部１００によって生成される複数の監視画像において輝度値の時間的な変化のある変化領域を抽出する。そして顔検出手段３２２は、抽出した変化領域のうち、その変化領域の大きさ等の特徴量から人物らしいと考えられる変化領域を人物を表す人物領域として抽出する。そして顔検出手段３２２は、抽出した人物領域に対してSobelフィルタなどを用いて輝度変化の傾き方向が分かるようにエッジ画素抽出を行う。そして顔検出手段３２２は、抽出したエッジ画素から、所定の大きさをもつ、頭部の輪郭形状を近似した楕円形状のエッジ分布を検出し、そのエッジ分布に囲まれた領域を、顔領域として抽出する。この場合において、顔検出手段３２２は、例えば、一般化ハフ変換を用いて、楕円形状のエッジ分布を検出することができる。

あるいは顔検出手段３２２は、Adaboost識別器を用いて顔領域を検出してもよい。この方法についてはP.Violaと M.Jonesによる論文「Rapid Object Detection Using a Boosted Cascade of Simple Features」（Proc. the IEEE International Conference on Computer Vision and Pattern Recognition, vol.1, pp.511-518, 2001）を参照することができる。
そして顔検出手段３２２は、検出した顔領域を監視画像から切り出して顔領域画像を作成し、その顔領域画像及び監視画像における顔領域の座標情報を顔追跡手段３２３に出力する。

顔追跡手段３２３は、所定の時間間隔で連続して取得される複数の監視画像のそれぞれから顔検出手段３２２により検出された顔領域に対して公知のトラッキング技術を利用して追跡処理を行い、同一と思われる人物の顔が写っている連続して抽出された顔領域画像を同一系列の顔画像のデータとする。
例えば、顔追跡手段３２３は、最新の監視画像から検出された顔領域（以降、現フレームの顔領域と称する）の重心位置と、１フレーム前の監視画像から検出された顔領域（以降、前フレームの顔領域と称する）の重心位置の距離を求めて、その距離が所定の閾値以下である場合に、その顔領域を同一人物によるものとして対応付ける。なお、人物が撮像部１００から離れているときに一定の距離を移動した場合と撮像部１００の近くにいるときに同じ距離を移動した場合とでは、その移動の前後において監視画像における顔領域の位置の差は異なる。そのため、例えば所定の閾値を顔領域の大きさとすることにより、監視領域内の人物の位置にかかわらず、現フレームの顔領域と前フレームの顔領域が同一人物によるものか否かを適切に評価することができる。複数の顔領域が抽出されている場合には、重心位置の距離が最も近い顔領域どうしが対応づくか否かを調べる。

あるいは、顔追跡手段３２３は、オプティカルフロー、パーティクルフィルタ等の方法を用いて顔領域の追跡処理を行ってもよい。

顔追跡手段３２３は、顔領域の追跡処理を行うと、記憶部３１０に格納されている履歴テーブルを更新する。図３Ａ〜図３Ｄに履歴テーブルの例を示す。図３Ａ〜図３Ｄに示すように履歴テーブル３５０は、人物ごとに系列データを管理する。系列データは、履歴テーブル３５０の各行にあらわされるデータの組であり、顔追跡手段３２３は、系列データのうち、試行番号３５１、追跡フラグ３５２、顔画像データ３５３及び追跡位置情報３５４を更新する。

ここで、履歴テーブル３５０における試行番号３５１は、追跡中の人物の系列データを他の人物の系列データと識別するための識別番号であり、人物が監視領域２５５内に存在している間、つまり顔追跡手段３２３によって追跡がされている間、同一の識別番号が割り当てられ続ける。
追跡フラグ３５２は、その人物に対する追跡が継続しているか否かをあらわすフラグであり、顔追跡手段３２３がその人物の追跡を開始するとＯＮになり、追跡を終了するとＯＦＦになる。
顔画像データ３５３は、顔検出手段３２２によって抽出された顔領域画像であって、顔追跡手段３２３による追跡処理で同一人物のものとして対応付けられた系列データに記憶される。
追跡位置情報３５４は、顔追跡手段３２３による追跡処理でその人物のものとして対応付けられた顔領域の監視画像内の座標情報と、計時手段３２１により記録された、その監視画像を取得した時刻を示す時刻情報を顔領域画像と対応付けて記憶したものである。

顔追跡手段３２３は、着目する現フレームの顔領域について前フレームの顔領域と対応付けることができなかった場合、その現フレームの顔領域には新たに監視領域２５５内に入ってきた人物が写っているものとして、履歴テーブル３５０にその人物についての系列データを新たに追加する。即ち顔追跡手段３２３は、その系列データに新たな試行番号３５１を割り当てるとともに、追跡フラグ３５２をＯＮに設定する。また顔追跡手段３２３は、顔画像データ３５３にその現フレームの顔領域から作成された顔領域画像を記録するとともに、追跡位置情報３５４にその顔領域の座標情報及びその顔領域を含む監視画像の時刻情報を記録する。また、顔追跡手段３２３は、後述する認証候補人物３５５、類似度３５６、認証結果３５７、認証時刻３５８に初期値としてブランクを記録し、共連れフラグ３５９と通報フラグ３６１に初期値としてＯＦＦを設定する。そして、顔追跡手段３２３は、新たに追加した系列データを認証判定手段３２４に出力する。

一方、顔追跡手段３２３が、着目する現フレームの顔領域について前フレームの顔領域と対応付けることができた場合、その人物についての系列データは、既に履歴テーブル３５０に作成されている。そのため、顔追跡手段３２３は、履歴テーブル３５０の、対応する系列データの顔画像データ３５３にその現フレームの顔領域から作成された顔領域画像を追加するとともに、追跡位置情報３５４にその顔領域の座標情報及びその顔領域を含む監視画像の時刻情報を追加する更新処理を行う。そして、顔追跡手段３２３は、その系列データを認証判定手段３２４に出力する。

また、顔追跡手段３２３は、前フレームの顔領域について、全ての現フレームの顔領域と対応付けられなかったものがある場合、履歴テーブル３５０の、対応する系列データの追跡フラグ３５２をＯＦＦにして、その人物についての追跡処理を終了する。

認証判定手段３２４は、顔追跡手段３２３によって系列化された系列データ、即ち、図３Ａ〜図３Ｄに示す履歴テーブル３５０の系列データ毎に、各顔領域画像と記憶部３１０に予め記憶された各登録顔画像との類似度を算出する。認証判定手段３２４は、公知の顔照合技術を用いて類似度を算出する。例えば、認証判定手段３２４は、顔領域画像と登録顔画像の位置をずらしながら顔領域画像に含まれる各画素と登録顔画像の対応画素の輝度値の差の二乗和を算出し、算出した二乗和のうち最も小さいものを顔領域画像に含まれる画素数で割って正規化した値の逆数を類似度として求める。
そして、算出した類似度のうちの最も高い類似度が認証閾値を越えている場合、その系列データの各顔領域画像に写っている人物を登録者と判定する。この認証閾値は、顔領域画像に含まれる顔が登録者の顔であるか否かを認証するための基準である。なお、各顔領域画像について算出した、特定の登録顔画像との類似度のうち、所定数（例えば３つ）以上の類似度が認証閾値を越えた場合にその人物を登録者と判定してもよい。

一方、特定の系列データの顔領域画像が所定の判定保留期間にわたって抽出されているが、その抽出された顔領域画像についての類似度が何れも認証閾値以下である場合、認証判定手段３２４は、その系列データの各顔領域画像に写っている人物を未登録者と判定する。つまり、この未登録者には、予め登録されていない来客者だけでなく、犯罪等を企てる不審者も含まれる。なお、判定保留期間は、ある人物が登録者と判定された時にまだ認証判定されていない他の人物が、その後に登録者と判定されるような場合に共連れ進入と誤判定しないように用いられる時間であり、人物が監視領域２５５に入って監視画像に写り始めてから、歩行して監視画像に写らなくなるまでの平均的な時間を基準に決定される。判定保留期間は、撮像部１００の性能、設置場所等によって予め経験的に決めることができ、例えば、監視領域２５５の長さが１０ｍの場合、５秒に設定することができる。
このように、認証判定手段３２４は、登録者と判定されていない人物について、判定保留期間が経過するまでは登録者でも未登録者でもない未確定の状態を維持し、判定保留期間が経過したときに未登録者との判定を確定する。

また、認証判定手段３２４は、判定保留期間が経過していなくても、登録者と判定されないまま監視領域２５５の外に移動した人物も未登録者と判定する。

図３Ａ〜図３Ｄに戻り、認証候補人物３５５は、顔追跡手段３２３によって追跡された顔領域画像と記憶部３１０に記憶された複数の登録顔画像のそれぞれとの類似度（照合スコア）のうち、最高（１位）となった類似度に対応する登録者の識別ＩＤである。
類似度３５６は、認証候補人物３５５を特定することになった照合スコアである。
認証結果３５７は、人物が登録者であるか、又は未登録者であるかを表す。人物の追跡が始まったばかりの状態のように、認証判定手段３２４によって人物が登録者であるか未登録者であるかが判定されていない未確定の場合にはブランクがセットされ、登録者と判定された場合には「登録者」と記録され、未登録者と判定された場合には「未登録者」と記録される。
認証時刻３５８は、認証判定手段３２４が人物を登録者又は未登録者と判定した時刻を表す。

認証判定手段３２４は、顔追跡手段３２３から出力された系列データのうち、履歴テーブル３５０の追跡フラグ３５２がＯＮかつ認証結果３５７が登録者となっていない系列データの最新の顔領域画像と記憶部３１０に予め記憶された各登録顔画像との類似度を算出する。そして、算出した類似度のうち最も高い類似度が類似度３５６に記憶されている類似度より高い場合、類似度３５６をその最も高い類似度に更新する。その場合、その最も高い類似度に対応する登録顔画像の登録者を特定し、その情報（登録者の識別ＩＤ）を認証候補人物３５５に記憶する。また、認証判定手段３２４は、その最も高い類似度が認証閾値を越えている場合、その系列データの人物を登録者と判定し、追跡フラグ３５２をＯＦＦに設定するとともに、認証結果３５７に登録者と記録し、認証時刻３５８に現在時刻を記録する。

一方、認証判定手段３２４は、判定保留期間が経過するまで認証結果３５７が未確定のままである系列データ、または認証結果３５７が未確定のまま追跡フラグ３５２がＯＦＦとなった系列データの人物については未登録者と判定し、認証結果３５７に未登録者と記録して、認証時刻３５８に現在時刻を記録する。なお、登録者の検知精度を向上させるために、認証判定手段３２４は、未登録者と判定した系列データについては追跡フラグ３５２をＯＮのままとし、以降の監視画像においても登録者か否かの判定を継続する。あるいは、未登録者と判定した系列データについて、追跡フラグ３５２をＯＦＦに設定し、以降の監視画像においては登録者か否かを判定しないようにしてもよい。

扉制御手段３２５は、認証判定手段３２４によって、監視領域２５５を通行する人物が登録者であると判定されると、入口２５１を通行可能とするように扉２５３を制御するために、認証成功を示す信号を出力部２００に出力する。

共連れ判定手段３２６は、履歴テーブル３５０に基づいて、未登録者による制限領域２５６への共連れ進入の有無を判定する。共連れ判定手段３２６は、特定の系列データの人物が登録者と判定された認証時刻の前後の所定期間に他の系列データが存在し、その他の系列データの人物が未登録者と判定された場合、共連れ進入があったと判定する。

共連れ判定手段３２６は、特定の系列データの人物が登録者と判定された認証時刻の後の所定期間（以下、認証成功後期間と称する）に顔領域画像の追跡が開始された、未登録者と判定された他の系列データが存在する場合、駆け込みによる共連れ進入があったと判定する。この認証成功後期間は、図１に示した人物２６０が登録者と判定された後の入口２５１が通行可能とされている期間、即ち電気錠２５４が解錠されてから人物２６０が扉２５３を開けて入室して、扉２５３が閉じて施錠されるまでに要する時間を考慮して決定することができる（例えば１２秒）。

一方、共連れ判定手段３２６は、特定の系列データの人物が登録者と判定された認証時刻の前の所定期間（以下、認証成功前期間と称する）に顔領域画像の追跡が開始された、未登録者と判定された他の系列データが存在する場合、入れ替わりによる共連れ進入があったと判定する。この認証成功前期間は、認証成功後期間より短い期間とする。認証成功前期間を認証成功後期間より短く設定するのは、登録者と判定された人物より前に監視領域に進入しており、認証成功とならずに引き返そうとしている人物については共連れ進入と判定すべきでないからである。また、入れ替わりが発生する場合、登録者と判定された人物と未登録者と判定された人物は近接して歩行しており、登録者と未登録者の判定は連続的になされると考えられるからである。したがって、認証成功前期間は、認証成功とならずに引き返そうとしている人物について共連れ進入と誤判定せず、かつ連続的に判定される登録者と未登録者を検出できる時間とし、例えば６秒とする。

このように、駆け込み及び入れ替わりの何れの場合でも、共連れ判定手段３２６は、未登録者と判定された人物の顔領域画像の追跡開始時刻が、他の系列データの人物が登録者と判定された認証時刻３５８の前後の所定期間内である場合に共連れ進入があったと判定する。これにより、共連れ進入があった旨を外部に出力して、警報を通知することができ、管理者等は適切な対応を取ることができる。

また、共連れ判定手段３２６は、特定の系列データの人物が登録者と判定された認証時刻３５８の前後の所定期間に、未登録者と判定された他の系列データが存在する場合、その特定の系列データと他の系列データが類似するか否かに基づいて、それぞれの系列データの人物が同一人物であるか否かを判定する。例えば、未登録者と判定された系列データの各顔領域画像について最も類似していた登録顔画像が登録者と判定された系列データの人物の登録顔画像と一致する場合、両者は同一人物である可能性が高い。そこで、共連れ判定手段３２６は、未登録者と判定された系列データの認証候補人物３５５が、登録者と判定された系列データの認証候補人物３５５と一致する場合、各系列データが類似すると判定して、両者は同一人物であると判定する。一方、一致しない場合、両者は同一人物でないと判定する。そして、両者は同一人物でないと判定した場合は共連れ進入と判定し、同一人物と判定した場合は共連れ進入でないと判定する。

図３Ａ〜図３Ｄに戻り、共連れフラグ３５９は、その系列データの人物について共連れ進入があったと判定されたか否かを表すフラグである。共連れ進入があったと判定されていない場合はＯＦＦに、共連れ進入があったと判定されている場合はＯＮに設定される。
共連れ番号３６０は、共連れ進入があったと判定された、登録者と未登録者の系列データの組合せに割り当てられる番号であり、他の共連れ進入があったと判定された系列データの組合せと識別可能な番号である。共連れ判定手段３２６は、同時に入口２５１を通行できると判定した登録者の系列データと未登録者の系列データにそれぞれ同一の番号を割り当てる。例えば、共連れ番号３６０は、運用開始を起点に１から順にカウントアップさせた番号とする。あるいは、現在時刻に基づいて乱数を発生させて得た番号を重複しないように用いてもよい。
通報フラグ３６１は、共連れ進入があったと判定された系列データについて、その旨が外部に通報されたか否かを表すフラグである。通報フラグ３６１の初期値はＯＦＦであり、共連れ判定手段３２６により共連れフラグ３５９がＯＮに設定され、通報処理がされると、ＯＮに設定される。つまり、通報フラグ３６１がＯＮであるということは既に通報処理がされたことを示す。

共連れ判定手段３２６が判定する共連れ進入の例について、図３Ａ〜図３Ｄと図４を用いて説明する。図３Ａ〜図３Ｄは、共連れ判定手段３２６により共連れ進入と判定される前の履歴テーブル３５０を示し、図４は、共連れ判定手段３２６により共連れ進入と判定された後の履歴テーブル３５０を示す。
試行番号３５１が「１２」と「１３」の系列データは、図３Ａにおいて試行番号３５１が「１２」の系列データの人物が登録者と判定され、図４において試行番号３５１が「１３」の系列データの人物が未登録者と判定されて、駆け込みによる共連れ進入があったと判定された例を示す。試行番号３５１が「２４」と「２５」の系列データは、図３Ｂにおいて試行番号３５１が「２４」の系列データの人物が登録者と判定され、図４において試行番号３５１が「２５」の系列データの人物が未登録者と判定されて、駆け込みによる共連れ進入があったと判定された例を示す。試行番号３５１が「３６」と「３７」の系列データは、図３Ｃにおいて試行番号３５１が「３６」の系列データの人物が登録者と判定され、図４において試行番号３５１が「３７」の系列データの人物が未登録者と判定されて、入れ替わりによる共連れ進入があったと判定された例を示す。また、試行番号３５１が「４８」と「４９」の系列データは、図３Ｄにおいて試行番号３５１が「４８」の系列データの人物が未登録者と判定され、図４において試行番号３５１が「４９」の系列データの人物が登録者と判定されたが、追跡途切れによるものであり共連れ進入でないと判定された例を示す。

以下、図５に示したフローチャートを参照しつつ、本発明を適用した顔画像認証装置１０による認証処理の動作を説明する。なお、以下に説明する動作のフローは、画像処理部３００を構成するマイクロプロセッサ上で動作し、顔画像認証装置１０全体を制御する制御部（図示せず）により制御される。なお、以下に説明する処理の実施前に、履歴テーブル３５０は空白になるよう初期化される。また、以下に説明する動作は、監視画像を一つ取得するごとに実施される。

最初に、顔画像認証装置１０の撮像部１００は、監視領域を撮影した監視画像を取得し、画像処理部３００の照合部３２０へ送る（ステップＳ５０１）。照合部３２０が監視画像を取得すると、計時手段３２１は、その監視画像を取得した時刻を監視画像に対応付けて記憶部３１０に記憶する。次に、顔検出手段３２２は、取得された監視画像から、人物の顔が写っている顔領域を検出し、その顔領域を監視画像から切り出して顔領域画像を抽出する（ステップＳ５０２）。次に、顔検出手段３２２は、一つ以上の顔領域が検出されたか否か判定する（ステップＳ５０３）。顔領域が全く検出されなかった場合、ステップＳ５０１へ処理を移行し、顔領域が検出されるまでステップＳ５０１〜Ｓ５０３の処理を繰り返す。

一方、ステップＳ５０３において、一つ以上の顔領域が検出され、顔領域画像が抽出された場合、顔追跡手段３２３は、検出された全ての顔領域について、履歴テーブル３５０における追跡フラグ３５２がＯＮとなっている系列データとの対応付けを実施する（ステップＳ５０４）。そして顔追跡手段３２３は、追跡フラグ３５２がＯＮとなっている系列データについて、現フレームの顔領域のいずれとも対応付けられなかったものがあるか否かを判定する（ステップＳ５０５）。現フレームの顔領域のいずれとも対応付けられなかったものがない場合、ステップＳ５０７へ処理を移行する。一方、現フレームの顔領域のいずれとも対応付けられなかった、追跡フラグ３５２がＯＮとなっている系列データがある場合、その系列データの人物は、認証成功となって入室したか、又は認証されずに監視領域から離れたと考えられる。そのため、顔追跡手段３２３は、現フレームの顔領域のいずれとも対応付けられなかった系列データの追跡フラグ３５２をＯＦＦに設定して、以後その系列データに対する追跡処理を実施しないようにする（ステップＳ５０６）。

そして顔追跡手段３２３は、現フレームの顔領域について、追跡フラグ３５２がＯＮとなっている系列データと対応付けることができなかったものがあるか否かを判定する（ステップＳ５０７）。追跡フラグ３５２がＯＮとなっている系列データと対応付けることができなかったものがある場合、顔追跡手段３２３は、対応付けることができなかった顔領域の人物についての系列データを履歴テーブル３５０に新たに追加する。即ち顔追跡手段３２３は、対応付けることができなかった顔領域の人物についての系列データに新たな試行番号３５１を割り当てる。そして、追跡フラグ３５２をＯＮに設定し、顔画像データ３５３に現フレームの顔領域から作成された顔領域画像を記録し、追跡位置情報３５４にその顔領域の座標情報及び監視画像の時刻情報を記録し、認証結果３５７にブランクを記録する。さらに、共連れフラグ３５９をＯＦＦに設定し、通報フラグ３６１をＯＦＦに設定する（ステップＳ５０８）。

なお、現フレームの顔領域について、追跡フラグ３５２がＯＮとなっている系列データと対応付けることができた場合、顔追跡手段３２３は、その顔領域の座標情報及び監視画像の時刻情報を、対応する系列データの追跡位置情報３５４に追加する更新処理を行う。そして顔追跡手段３２３は、更新した系列データを認証判定手段３２４に出力する。

以下のステップＳ５０９〜Ｓ５１４の処理は、追跡フラグ３５２がＯＮであり、かつ認証結果３５７が登録者でない系列データごとに行われる。追跡フラグ３５２がＯＮである系列データのうち認証結果３５７が登録者である系列データを処理対象としないのは、既に認証がなされているためである。

認証判定手段３２４は、処理対象の系列データの最新の顔領域画像に対して、記憶部３１０に記憶された全ての登録顔画像との間で類似度を算出する。そして、算出した類似度のうち最高となった類似度が類似度３５６に記憶されている類似度より高い場合、類似度３５６をその最高となった類似度に更新する。さらに、その最高となった類似度に対応する登録顔画像の登録者の情報を認証候補人物３５５に記憶する（ステップＳ５０９）。

次に、認証判定手段３２４は、類似度３５６に記憶した類似度が認証閾値を越えているか否かにより人物が登録者であるか否かを判定する（ステップＳ５１０）。人物が登録者でないと判定した場合、ステップＳ５１３へ処理を移行する。一方、人物が登録者であると判定した場合、認証判定手段３２４は、その系列データの追跡フラグ３５２をＯＦＦに設定し、認証結果３５７に登録者と記録し、認証時刻３５８に現在時刻を記録する（ステップＳ５１１）。

そして、扉制御手段３２５は、認証成功を示す信号を出力部２００に出力する（ステップＳ５１２）。認証成功を示す信号が出力部２００に出力された場合、出力部２００を介して電気錠の解錠が行われる。これにより認証成功となった人物は、入室することができる。電気錠は、人物の入室が確認できた後にすみやかに、または所定時間経過後に自動的に施錠される。

次に、ステップＳ５１０で類似度が認証閾値を越えていないと判定した場合について説明する。
認証判定手段３２４は、その人物について追跡を開始してから判定保留期間が経過しているか否かを判定する（ステップＳ５１３）。判定保留期間が経過している場合、認証判定手段３２４は、その人物を未登録者であると判定して、その系列データの認証結果３５７に未登録者と記録し、認証時刻３５８に現在時刻を記録する（ステップＳ５１４）。一方、まだ判定保留期間が経過していない場合、その人物についての認証結果３５７を未確定のままとして、特に処理はしない。
そして、認証判定手段３２４は、追跡フラグ３５２がＯＮ、かつ認証結果３５７が登録者となっていない系列データがまだあるならばステップＳ５０９へ処理を移行し、ないならばステップＳ５１５へ処理を移行する。

認証判定手段３２４は、履歴テーブル３５０を参照して、追跡フラグ３５２がＯＦＦであり、かつ認証結果３５７が未確定である系列データについて、ステップＳ５１５の処理を実施する。認証判定手段３２４は、ステップＳ５１５において、ステップＳ５１４と同様に、その人物を未登録者であると判定して、認証結果３５７に未登録者と記録し、認証時刻３５８に現在時刻を記録する。

次に、共連れ判定手段３２６は、履歴テーブル３５０を参照して、共連れ進入があったか否かを判定する（ステップＳ５１６）。この処理の詳細は図６に示すフローチャートを用いて後述する。

共連れ判定手段３２６は、共連れフラグ３５９がＯＮかつ通報フラグ３６１がＯＦＦである系列データがあるか否かにより、共連れ進入の判定処理において共連れ進入があったと判定され、かつ外部にその旨がまだ通報されていない系列データがあるか否かを判定する（ステップＳ５１７）。そのような系列データがある場合、共連れ判定手段３２６は、共連れ進入があったことを示す信号を出力部２００に出力するとともに、その系列データの通報フラグ３６１をＯＮに設定し（ステップＳ５１８）、処理をステップＳ５０１へ戻す。一方、そのような系列データがない場合、特に処理をせず、ステップＳ５０１へ処理を戻す。
共連れ進入があったことを示す信号が出力部２００に出力された場合、出力部２００を介して不図示の警報ランプの点灯、不図示のブザーの鳴動等が行われる。あるいは、出力部２００を介して、その共連れ進入があったことを示す信号が不図示の監視センタ装置へ出力される。これにより監視センタ装置は、共連れ進入があったことを管理者に通知し、またその履歴を記録することができる。

次に、図６のフローチャートを参照しつつ、図５のフローチャートのステップＳ５１６において、共連れ判定手段３２６により行われる共連れ進入判定処理ついて説明する。
まず、共連れ判定手段３２６は、履歴テーブル３５０から、最近の所定期間（例えば１０分）内に追跡がされていた系列データ、即ち追跡位置情報３５４の最新時刻が最近の所定期間内である系列データのうち、共連れフラグ３５９がＯＦＦ、かつ通報フラグ３６１がＯＦＦである系列データを取得する（ステップＳ６０１）。

共連れ判定手段３２６は、取得した全ての系列データについて、ステップＳ６０２〜Ｓ６０５の処理を実施する。共連れ判定手段３２６は、取得した系列データから、認証結果３５７が登録者である系列データを抽出する（ステップＳ６０２）。

共連れ判定手段３２６は、取得した系列データのうち、ステップＳ６０２で抽出した系列データ以外の、他の全ての系列データについて、ステップＳ６０３〜Ｓ６０５の処理を実施する。共連れ判定手段３２６は、他の系列データから、認証結果３５７が未登録者である系列データを抽出する（ステップＳ６０３）。
なお、本実施の形態では、認証判定手段３２４は、顔追跡手段３２３が追跡している途中（追跡フラグ３５２がＯＮ）に判定保留期間が経過しても判定結果が未確定の状態の人物、および顔追跡手段３２３が追跡を終了した際（追跡フラグ３５２がＯＦＦ）に未確定の状態の人物を未登録者と判定している。この人物は、少なくとも登録者であるとの判定を受けていない人物であること意味している。つまり、ステップＳ６０３にて抽出する他の系列データは、登録者であるとの判定を受けていない人物に関する系列データを意図したものである。したがって、本実施の形態のように未登録者であると判定された人物でなく、単に登録者であると判定されていない人物に関する系列データを抽出してもよい。
次に、共連れ判定手段３２６は、抽出した系列データの追跡位置情報３５４の追跡開始時刻がステップＳ６０２で抽出した系列データの認証時刻３５８の前後の所定期間内であるか否かにより、抽出した系列データが登録者の認証成功の前後の所定期間内の系列データであるか否かを判定する（ステップＳ６０４）。なお、この認証成功の前後の所定期間は、前述した認証成功前期間及び認証成功後期間である。そして、抽出した系列データが登録者の認証成功の前後の所定期間内の系列データである場合、共連れ判定手段３２６は、共連れ進入があったと判定し、ステップＳ６０２で抽出した登録者についての系列データとステップＳ６０３で抽出した未登録者についての系列データの共連れフラグ３５９をＯＮに設定するとともに、共連れ番号３６０に同一の識別番号を記録する（ステップＳ６０５）。一方、抽出した系列データが登録者の認証成功の前後の所定期間内の系列データでない場合、特に処理はしない。
そして、共連れ判定手段３２６は、ステップＳ６０２で抽出した系列データ以外の、他の全ての系列データのうち、ステップＳ６０３で抽出されていない、認証結果３５７が未登録者である系列データがまだあるならばステップＳ６０３へ処理を移行する。一方、ない場合、ステップＳ６０１で取得した全ての系列データのうち、ステップＳ６０２で抽出されていない、認証結果３５７が登録者である系列データがまだあるならば、ステップＳ６０２へ処理を移行し、ないならばステップＳ６０６へ処理を移行する。

共連れ判定手段３２６は、ステップＳ６０１で取得した系列データのうち、共連れフラグがＯＮであり、かつ共連れ番号が同一である系列データについて、ステップＳ６０６〜Ｓ６０７の処理を実施する。共連れ判定手段３２６は、未登録者と判定された系列データの認証候補人物３５５が、登録者と判定された系列データの認証候補人物３５５と一致するか否かにより、各系列データが類似するか否か、即ち登録者と判定された人物と未登録者と判定された人物が同一人物であるか否かを判定する（ステップＳ６０６）。同一人物と判定した場合、共連れ判定手段３２６は、共連れ進入でないと判定し、ステップＳ６０５でＯＮに設定した共連れフラグ３５９を再度ＯＦＦに設定する（ステップＳ６０７）。一方、同一人物でないと判定した場合、特に処理はしない。
そして、共連れ判定手段３２６は、ステップＳ６０１で取得した系列データのうち、共連れフラグがＯＦＦであり、かつ共連れ番号が同一である系列データについて、ステップＳ６０６〜Ｓ６０７の処理を実施していない系列データがまだあるならばステップＳ６０６へ処理を移行し、ないならば図６のフローチャートの処理を終了してステップＳ５１７へ処理を移行する。

このように、共連れ判定手段３２６は、認証結果３５７が登録者である系列データと未登録者である系列データを比較して共連れ進入を判定する。すなわち、登録者と判定されていない系列データについては、未登録者と判定されるまで共連れ進入の判定の対象とせず、その系列データの人物を追跡している限り、判定保留期間が経過してから共連れ進入を判定する。これにより、監視領域内に存在する、登録者とも未登録者とも判定されていない人物について共連れ進入と判定するまでに一定の期間を担保することができ、共連れ進入の誤判定を抑制できる。

以下、図３Ａ〜図３Ｄ、図４に示す履歴テーブル３５０について、図５、図６のフローチャートでどのように処理されるかの例について説明する。なお、以下では認証成功後期間は１２秒間、認証成功前期間は６秒間であるものとして説明する。また、説明を容易にするために、監視画像は１秒間隔で取得され、履歴テーブル３５０は１秒間隔で更新されるものとする。

まず、図３Ａ、図４の試行番号３５１が「１２」と「１３」の系列データについて説明する。試行番号３５１が「１２」の系列データの人物は登録者であり、図１の人物２６０に相当する。一方、試行番号３５１が「１３」の系列データの人物は、駆け込みによる共連れ進入を企てる未登録者であり、図１の人物２６２に相当する。この人物は、試行番号３５１が「１２」の系列データの人物が登録者と判定されてから監視領域２５５へ進入し、その登録者と判定された人物が扉２５３を開けてから扉２５３が閉まるまでに制限領域２５６へ進入しようとしている。
図６のフローチャートのステップＳ６０１において、共連れ判定手段３２６は、最近の所定期間内に追跡がされていた系列データとして、図３Ａの試行番号３５１が「１２」と「１３」の二つの系列データを取得したものとする。この場合、共連れ判定手段３２６は、ステップＳ６０２で認証結果３５７が登録者である系列データとして試行番号３５１が「１２」の系列データを抽出するが、ステップＳ６０３では認証結果３５７が未登録者である系列データを抽出できず、処理を終了する。
一方、図４に示すように、その後、試行番号３５１が「１３」の系列データの人物が監視領域２５５の外に出ると、図５のステップＳ５０６でその系列データの追跡フラグ３５２はＯＦＦに設定され、ステップＳ５１５で認証結果３５７に未登録者と記録される。その後、図６のフローチャートの処理が実施されると、共連れ判定手段３２６は、ステップＳ６０２で認証結果３５７が登録者である系列データとして試行番号３５１が「１２」の系列データを抽出し、ステップＳ６０３で認証結果３５７が未登録者である系列データとして試行番号３５１が「１３」の系列データを抽出する。試行番号３５１が「１３」の系列データの追跡位置情報３５４に記録されている最初の時刻（以下、追跡開始時刻と称する）「08:50:15」は、試行番号３５１が「１２」の系列データの認証時刻３５８「08:50:12」より後であり認証成功後期間に含まれるため、ステップＳ６０５で試行番号３５１が「１２」と「１３」の系列データの共連れフラグ３５９はＯＮに設定される。さらに、各系列データの共連れ番号３６０に「１」と記録される。試行番号３５１が「１２」と「１３」の系列データは認証候補人物３５５が異なるため、ステップＳ６０７で共連れフラグ３５９はＯＦＦに設定されず、ステップＳ５１８で共連れ進入があったことを示す信号が出力されて、通報フラグ３６１はＯＮに設定される。

次に、図３Ｂ、図４の試行番号３５１が「２４」と「２５」の系列データについて説明する。試行番号３５１が「２４」の系列データの人物は、試行番号３５１が「１２」の系列データの人物と同様に、登録者であり、図１の人物２６０に相当する。一方、試行番号３５１が「２５」の系列データの人物は、試行番号３５１が「１３」の系列データの人物と同様に、駆け込みによる共連れ進入を企てる未登録者であり、図１の人物２６２に相当する。ただし、試行番号３５１が「１３」の系列データの人物と異なり、この人物は登録者と判定されないまま判定保留期間が経過して未登録者と判定されている。
図６のフローチャートのステップＳ６０１において、共連れ判定手段３２６は、最近の所定期間内に追跡がされていた系列データとして、図３Ｂの試行番号３５１が「２４」と「２５」の二つの系列データを取得したものとする。図３Ａの場合と同様に、この場合、共連れ判定手段３２６は、ステップＳ６０３では認証結果３５７が未登録者である系列データを抽出できず、処理を終了する。
一方、図４に示すように、その後、試行番号３５１が「２５」の系列データについて判定保留期間が経過すると、図５のステップＳ５１４で認証結果３５７に未登録者と記録される。共連れ判定手段３２６は、以降、試行番号３５１が「１２」と「１３」の系列データの場合と同様にして、試行番号３５１が「２４」と「２５」の系列データの更新を行う。

次に、図３Ｃ、図４の試行番号３５１が「３６」と「３７」の系列データについて説明する。試行番号３５１が「３６」の系列データの人物は入れ替わりによる共連れ進入を行う未登録者であり、図１の人物２６１に相当する。一方、試行番号３５１が「３７」の系列データの人物は登録者であり、図１の人物２６０に相当する。即ち、試行番号３５１が「３６」の系列データの人物は試行番号３５１が「３７」の系列データの人物のすぐ後ろを歩いているが、試行番号３５１が「３７」の系列データの人物が登録者と判定される前に監視領域２５５へ進入している。
図６のフローチャートのステップＳ６０１において、共連れ判定手段３２６は、最近の所定期間内に追跡がされていた系列データとして、図３Ｃの試行番号３５１が「３６」と「３７」の二つの系列データを取得したものとする。この場合、共連れ判定手段３２６は、ステップＳ６０２で認証結果３５７が登録者である系列データを抽出できず、処理を終了する。
一方、図４に示すように、その後、試行番号３５１が「３７」の系列データの人物が登録者と判定されると、図５のステップＳ５１１でその系列データの認証結果３５７に登録者と記録される。その後、図６のフローチャートの処理が実施されると、共連れ判定手段３２６は、ステップＳ６０２で認証結果３５７が登録者である系列データとして試行番号３５１が「３７」の系列データを抽出し、ステップＳ６０３で認証結果３５７が未登録者である系列データとして試行番号３５１が「３６」の系列データを抽出する。試行番号３５１が「３６」の系列データの追跡位置情報３５４に記録されている追跡開始時刻「10:24:19」は、試行番号３５１が「３７」の系列データの認証時刻３５８「10:24:24」より前であり認証成功前期間に含まれるため、以降、試行番号３５１が「１２」と「１３」の系列データの場合と同様にして、試行番号３５１が「３６」と「３７」の系列データが更新される。

次に、図３Ｄ、図４の試行番号３５１が「４８」と「４９」の系列データについて説明する。試行番号３５１が「４８」の系列データの人物は登録者であるが、下を向いたり横を向いたりしながら歩行しており、監視領域２５５を通過する間に登録者と判定されずに、未登録者と判定されている。一方、試行番号３５１が「４９」の系列データの人物は試行番号３５１が「４８」の系列データの人物と同一人物である。この人物は、監視領域２５５を通過した後、後ずさりをして監視領域２５５に戻ってきており、その時に登録者と判定されている。
図６のフローチャートのステップＳ６０１において、共連れ判定手段３２６は、最近の所定期間内に追跡がされていた系列データとして、図４の試行番号３５１が「４８」と「４９」の二つの系列データを取得したものとする。この場合、共連れ判定手段３２６は、ステップＳ６０２で認証結果３５７が登録者である系列データとして試行番号３５１が「４９」の系列データを抽出し、ステップＳ６０３で認証結果３５７が未登録者である系列データとして試行番号３５１が「４８」の系列データを抽出する。試行番号３５１が「４８」の系列データの追跡位置情報３５４に記録されている追跡開始時刻「11:35:36」は、試行番号３５１が「４９」の系列データの認証時刻３５８「11:35:42」より前であり認証成功前期間に含まれるため、ステップＳ６０５で共連れフラグ３５９はＯＮに設定され、共連れ番号３６０に「４」が記録される。しかし、試行番号３５１が「４８」の系列データは登録者と判定されていないが、登録されている登録顔画像のうち、自身の登録顔画像との類似度が最も高く、認証候補人物３５５は試行番号３５１が「４８」の系列データと同一である。そのため、ステップＳ６０７で各系列データの共連れフラグ３５９は再度ＯＦＦに設定される。

以上説明してきたように、本発明を適用した顔画像認証装置は、監視領域を撮影した監視画像に写っている人物が登録者であるか未登録者であるかを判定し、登録者である場合に制限領域への入口を通行可能にする。一方、特定の人物を登録者と判定した時刻の前後の所定期間に監視領域に進入した他の人物を未登録者と判定した場合、両者の系列データが類似するか否かにより両者が同一人物か否かを判定する。そして、同一人物でない場合に限り、共連れ進入があったと判定する。これにより、顔画像認証装置は、共連れ進入の有無を適切に判定することができる。

以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、本実施形態では、共連れ判定手段は、未登録者と判定された系列データの各顔領域画像について最も類似していた登録顔画像が、登録者と判定された系列データの人物の登録顔画像と一致する場合、各系列データが類似し、両者が同一人物であると判定する例を示したが、本発明はこれに限定されない。
例えば、記憶部に、一人の登録者ごとに少なくとも一つ以上の登録顔画像を記憶するときは、共連れ判定手段は、未登録者と判定された系列データの各顔領域画像について最も類似していた登録顔画像に写っている登録者が、登録者と判定された系列データの人物と一致する場合に、各系列データが類似し、両者が同一人物であると判定してもよい。これによっても、未登録者と判定された人物と、登録者と判定された人物が同一人物であるか否かを精度よく判定することができる。
あるいは、共連れ判定手段は、さらに、未登録者と判定された系列データについての最も高い類似度、すなわち履歴テーブルの類似度３５６に記憶された類似度が所定閾値以上である場合に限り、両者が同一人物であると判定してもよい。この所定閾値は、顔画像認証装置１０の設置環境に応じて適宜設定される。なお、未登録者と判定された人物の各顔領域画像に写っている顔の向き、照明等の条件が顔照合に適したものでなかった場合には、同一人物と判定しやすくするように所定閾値を低くしてもよい。
例えば、顔の向きが正面方向から離れるほど所定閾値を低くする。なお、顔の向きは、公知の様々な手法で求めることができる。例えば、顔領域画像内の肌色と認められる画素の数をカウントし、顔領域画像内の全画素数に対する肌色画素数の比が大きいほど正面方向を向いており、小さいほど正面方向から離れていると判断できる。なお、肌色画素が顔領域画像内の右半分より左半分に多い場合には右を、左半分より右半分に多い場合には左を、上半分より下半分に多い場合には下を、下半分より上半分に多い場合には上を、それぞれ向いていると判断できる。
これにより、未登録者と判定された人物と、登録者と判定された人物が同一人物であるか否かをより精度よく判定することができる。

あるいは、認証判定手段が、各顔領域画像について類似度が最も高かった全ての登録者を、認証候補人物としてその類似度とともに記憶部に記憶しておき、共連れ判定手段は、その類似度が所定順位（例えば５位）以上である認証候補人物のうちの何れかが登録者と判定された人物と一致する場合に、両者が同一人物であると判定してもよい。なお、上記の場合と同様に、未登録者と判定された人物の各顔領域画像に写っている顔の向き、照明等の条件が顔照合に適したものでなかった場合には、同一人物と判定しやすくするように所定順位を大きい値にしてもよい。これによっても、未登録者と判定された人物と、登録者と判定された人物が同一人物であるか否かを精度よく判定することができる。

また、共連れ判定手段は、未登録者と判定された系列データの各顔領域画像と、登録者と判定された系列データの各顔領域画像について類似度を算出し、算出した類似度のうちの少なくとも一つが所定の閾値を越えている場合に、各系列データが類似し、両者が同一人物であると判定してもよい。これにより、未登録者と判定された人物と、登録者と判定された人物を直接比較でき、両者が同一人物であるか否かをより高精度に判定することができる。

また、人物が認証成功とならずに監視領域外に出た後、後ずさりして監視領域に戻ってくる場合、出たときの位置と戻ってきたときの位置は近い可能性が高い。そこで、共連れ判定手段は、顔領域画像が先に抽出された系列データの、最後に抽出された顔領域画像の監視画像内の位置と、顔領域画像が後に抽出された系列データの、最初に抽出された顔領域画像の監視画像内の位置とが略一致する場合に、各系列データが類似し、両者が同一人物であると判定してもよい。これにより、顔認証装置は、認証成功とならずに監視領域外に出た後、後ずさりして戻ってきた人物について共連れ進入のおそれがあると誤判定することを抑制できる。
また、このように後ずさりして戻ってくる人物について、監視領域外に出たときの進行方向と監視領域に戻ってきたときの進行方向が反対方向になる可能性が高い。そこで、共ｓ連れ判定手段は、顔領域画像が先に抽出された系列データの、最後の所定数の顔領域画像の監視画像内の位置からその進行方向を求めるとともに、顔領域画像が後に抽出された系列データの、最初の所定数の顔領域画像の監視画像内の位置からその進行方向を求める。そして、求めた二つの進行方向の差が略180°である場合に限り両者が同一人物であると判定してもよい。
また、このように後ずさりして戻ってくる人物は、監視領域に戻ってきたときに認証成功となるように、監視領域外に出たときの移動速度より監視領域に戻ってきたときの移動速度の方が遅い傾向にある。そこで、共連れ判定手段は、顔領域画像が先に抽出された系列データの、最後の所定数の顔領域画像の監視画像内の位置からその移動速度を求めるとともに、顔領域画像が後に抽出された系列データの、最初の所定数の顔領域画像の監視画像内の位置からその移動速度を求める。そして、顔領域画像が先に抽出された系列データについて求めた移動速度より、顔領域画像が後に抽出された系列データについて求めた移動速度の方が遅い場合に限り両者が同一人物であると判定してもよい。

また、本実施の形態では、追跡開始時刻が認証成功後時間内にあり、判定保留期間の経過後に未登録者と判定されると、共連れ進入があったと判定する例を示したが、かかる判定保留期間の経過を待つことなく共連れ進入があったと判定してもよい。つまり、共連れ判定手段は、各人物を登録者と判定した時刻と、未登録者と判定した時刻とを比較して共連れ進入の有無を判定する。但し、この場合、登録者であるにもかかわらず、未判定である人物について共連れ進入と誤判定する可能性が高くなる。
また、時刻を比較するのではなく、例えば、各監視画像にフレーム番号を付与し、未登録者と判定された人物の追跡を開始した監視画像のフレーム番号と、登録者と判定された人物を判定した監視画像のフレーム番号とを比較して共連れ進入の有無を判定してもよい。あるいは、所定時間間隔でカウントアップするカウンタを用いて、未登録者と判定された人物の追跡を開始したときのカウンタ値と、登録者と判定された人物のその判定したときのカウンタ値とを比較して共連れ進入の有無を判定してもよい。

また本実施形態では、顔画像認証装置が、監視領域を通行する人物が登録者であるか否かにより部屋等の制限領域の入口の通行可否を制御する例を示したが、本発明はこれに限定されない。例えば、顔画像認証装置は、監視領域を通行する人物が登録者であるか未登録者であるかを判別して、単に外部に通知するものでもよい。その場合も、顔画像認証装置は、監視領域を、登録者のみが通行しているのか、未登録者のみが通行しているのか、または未登録者が登録者に随行して通行しているのかを適切に判別でき、不正に監視領域を通行しようとする不審者を適切に検出することができる。

また、本実施形態では顔画像認証装置の例を示したが、本発明は他のウォークスルー型の認証装置に適用することができるものであり、例えばＲＦＩＤタグにより認証を行う認証装置、虹彩により認証を行う認証装置にも適用可能である。

以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

１０顔画像認証装置
１００撮像部
２００出力部
３００画像処理部
３１０記憶部
３２０照合部
３２１計時手段
３２２顔検出手段
３２３顔追跡手段
３２４認証判定手段
３２５扉制御手段
３２６共連れ判定手段

Claims

共連れ進入を判定する顔画像認証装置であって、
監視領域を撮影した監視画像を順次取得する撮像部と、
登録者の登録顔画像を記憶する記憶部と、
前記監視画像から人物の顔を含む顔領域画像を抽出する顔検出手段と、
連続して抽出された、同一人物の前記顔領域画像を追跡して系列化し、系列データを生成する顔追跡手段と、
前記系列データ毎に、当該系列データに含まれる前記顔領域画像と前記登録顔画像を比較して当該系列データの人物が登録者であるか未登録者であるかを判定する認証判定手段と、
特定の系列データの人物が登録者と判定された認証時刻の前後の所定期間に、未登録者と判定された他の系列データが存在する場合、前記特定の系列データと前記他の系列データが類似するか否かに基づいて、前記特定の系列データの人物と前記他の系列データの人物が同一人物であるか否かを判定し、同一人物でないと判定した場合は当該他の系列データの人物が当該特定の系列データの人物に随行する共連れ進入と判定し、同一人物と判定した場合は共連れ進入でないと判定する共連れ判定手段と、
を有することを特徴とする顔画像認証装置。
前記共連れ判定手段は、前記他の系列データの前記顔領域画像と前記登録顔画像との類似度のうち最高の類似度に対応する登録顔画像が、前記特定の系列データの人物の登録顔画像と一致する場合、前記特定の系列データと前記他の系列データが類似すると判定する、請求項１に記載の顔画像認証装置。
前記記憶部は、一人の登録者ごとに少なくとも一つ以上の登録顔画像を記憶し、
前記共連れ判定手段は、前記最高の類似度に対応する登録顔画像の前記登録者が、前記特定の系列データの人物と一致する場合、前記特定の系列データと前記他の系列データが類似すると判定する、請求項２に記載の顔画像認証装置。
前記共連れ判定手段は、前記特定の系列データの前記顔領域画像のそれぞれと前記他の系列データの前記顔領域画像のそれぞれとの類似度を算出し、当該算出した類似度のうちの少なくとも一つが所定の閾値を越えている場合、前記特定の系列データと前記他の系列データが類似すると判定する、請求項１に記載の顔画像認証装置。
前記共連れ判定手段は、前記特定の系列データと前記他の系列データのうち前記顔領域画像が先に抽出された系列データに含まれる顔領域画像のうち最後に抽出された顔領域画像の前記監視画像内の位置と、前記特定の系列データと前記他の系列データのうち前記顔領域画像が後に抽出された系列データに含まれる顔領域画像のうち最初に抽出された顔領域画像の前記監視画像内の位置とが略一致する場合、前記特定の系列データと前記他の系列データが類似すると判定する、請求項１に記載の顔画像認証装置。