本記事では、2020年のコロナウィルス流行以降のマスク装着をめぐる顔認証技術の動向を世界と日本のニュースから探ります。
また、株式会社トリプルアイズに所属するAIエンジニアにマスク着用での顔認証技術の精度向上についてをインタビューしました。
コロナウィルスの流行は、顔認証技術の世界にも大きな影響を及ぼしました。
そうです。マスクの存在です。
マスクは新型コロナウィルス感染症（COVID-19）などの飛沫感染する病気の防止に効果的ですが、人々がマスクを装着することにより、従来のアルゴリズムを持つ顔認証技術では人物の認証率を低下させることになりました。
本記事では、2020年のコロナウィルス流行以降のマスク装着をめぐる顔認証技術の動向を世界と日本のニュースから探ります。
また、株式会社トリプルアイズに所属するAIエンジニアにマスク着用での顔認証技術の精度向上についてをインタビューしました。
今回インタビューをしたAIエンジニア
株式会社トリプルアイズAIZE事業戦略本部所属
画像認識プラットフォーム・AIZEのメインエンジニア。
2016年、トリプルアイズ入社。同年、AIの研究開発から学習アーキテクトの構築をメインに、多種多様の企業案件やAIを使用した音楽配信レコメンドサービスの開発に従事。2017年には、クラウドIoTモータ管理システムを用いた大学との共同研究開発において、実証実験の仕様決定やインフラ設計、アプリケーション開発を担当。直近では、AI技術者教育サービス「CSEA」のリーダーとして、カリキュラムや教材の作成に従事するかたわら、囲碁AIソフト開発マネージャーや他社への講演活動も積極的に行っている。
片渕博哉が監修しているAI通信教育プログラム「AT20」も好評開催中です。
【AIを学びたい方必見！】
AI通信教育プログラムのご案内
囲碁AIの世界大会で第2位、国内で1位2位独占という実績があり、AIの技術力は世界トップクラスである株式会社トリプルアイズが、
AIエンジニア育成のための通信教育プログラム「AT20」のサービスを開始しました。
■選べる4つのコース
トリプルアイズでは、最先端技術（Advanced technology）に携わる社員の比率を20%以上に引き上げるために独自の教育プログラムを実施しています。 通信教育方式で毎週の課題をこなしながら実務で通用するAIエンジニアリングの技能を身に付けています。
以前より他社からお問い合わせをいただいていたこの教育プログラムを、教育サービスとして提供を開始しています。
AT20は、プログラム未経験者からAIエンジニアとして実践スキルを身につけたい人まで、最適なコースを設けており、習熟度に合わせて学習スケジュールを決められます。
また、通信教育での自宅学習になりますので、時間に拘束されずに勉強を進めることが可能です。
こんな方におすすめ
・最先端のAI技術を学びたい
・従来型IT技術者の再教育を行いたい
・営業や経営陣にもAIの知識を身につけさせたい
人材やスキルが不足してDXが進まない企業や、AIの技術を身につけたいエンジニアの方は、お気軽にお問い合わせください。
■目次■
1.技術者にショックを与えた米国立標準技術研究所（NIST）の報告
ーマスク装着によるエラー率は5%～50％に上る
ー黒いマスクのほうが、水色のマスクよりもエラーを引き起こしやすい
2.Face IDはマスク認証を諦めた？
ーFace IDはマスクをかけているとロックを解除できない
ーマスクを認識したらパスコード入力画面に切り替わる
3.進歩を感じさせたアメリカ国土安全保障省（DHS）の報告
ーマスクありで96％、マスクをなしではほぼ100%の認証率
ーマスク認証は緊急課題として世界中のエンジニアが取り組んだ
4.マスク認証への日本企業の取り組みは？
ーNEC 目に重点を置いて特徴点を抽出する仕組みにして認証の精度を高める
ー富士通研究所 「疑似マスク」を顔画像に重ねることでマスク着用顔画像を生成
ーパナソニック マスク着用時等の顔検出率を従来比で3.1倍、顔認証率を2.2倍向上
ーパナソニック マスクを装着したままで来店客の性別と年齢を推定できる機能を開発
5.トリプルアイズ、AIZE開発エンジニアに聞くマスク顔認証の今
6.アフターコロナでもマスクで顔認証は必須
技術者にショックを与えた米国立標準技術研究所（NIST）の報告
マスク装着によるエラー率は5%～50％に上る
米国立標準技術研究所（NIST）は2021年7月、「マスクは非常に高度な顔認識アルゴリズムの人物特定さえも阻止する。アルゴリズムの性能によってエラー率は5%～50％に上る」と発表しました。
顔認識アルゴリズムは、人物の画像から可能な限り多くのデータポイントを取り込む必要がありますが、マスクは人物の特定に重要な情報の多くを見えなくしてしまいます。アルゴリズムは光の加減や角度が悪いだけで認識がうまくいかない側面があり、マスクはその成功率をさらに下げることを研究は明らかにしています。
マスクをした人物画像では、最も確度の高いアルゴリズムでもエラー率が0.3％から5％に跳ね上がりました。
黒いマスクのほうが、水色のマスクよりもエラーを引き起こしやすい
NISTでは、マスクをした画像を使って89の顔認識アルゴリズムの効果をテストしています。このテストは、アルゴリズムの「1対1」での照合能力を調べるために、ある人物の画像をその人物がマスクをした別の画像と比較する形で行われました。
この調査では、マスクで鼻を多く隠すほどアルゴリズムの識別率が低下することも判明しました。また、黒いマスクのほうが、水色のマスクよりもアルゴリズムのエラーを引き起こしやすいとの結果が出ています。
▷参考：https://nvlpubs.nist.gov/nistpubs/ir/2020/NIST.IR.8311.pdf
この研究結果は、コロナウイルス感染症が収束を見せない中、顔認証技術に携わる技術者たちにショックを与えると同時に、マスクをしていても認証できるよう新しい技術の取り組みを促しました。
実は、NISTの報告よりも以前に、巷ではマスクと顔認証についてネットでは盛んに記事が出ていました。iPhoneの顔認証によるロック解除機能についてです。
Face IDはマスク認証を諦めた？
Face IDはマスクをかけているとロックを解除できない
「マスク 顔認証」で検索すると、iPhoneのFace IDの記事がたくさんヒットします。一般の人々に顔認証技術に接する機会を与えたという点では、iPhoneには功績があります。しかし、多くの記事は、Face IDがマスクをかけているとロックを解除できない、またはどうすれば裏技を使ってロックを解除できるのかというものでした。どうやらFace IDはマスク認証が苦手のようです。
iPhoneでは、2017年モデルからFace IDと呼ばれる顔認証システムを導入しました。従来は指紋認証によって認証していたものを、顔認証によって画面を見るだけでロック解除できるようになりました。
導入当初は、認識スピードが速いとうことで肯定的なコメントが多かったFace IDですが、コロナウィルスの流行でその論調は一変しました。基本的にFace IDではマスクをしていると認証ができないからです。サングラスなら問題なく認証できるのに、コロナ禍でマスクを外して認証しなければならないのは不便と言えるでしょう。
マスクを認識したらパスコード入力画面に切り替わる
2021年５月頃にアップデート予定のiOS 13.5では、マスクを取らなくてもiPhoneをロック解除できる機能が搭載されるということです。
これは、Face IDがマスクを認識した場合、ホーム画面を上にスワイプするだけでFace IDをスキップし、パスコード入力する画面に切り替わるというものです。早い話、Face IDはマスクを認識したら顔認証は諦めるということのようです。
進歩を感じさせたアメリカ国土安全保障省（DHS）の報告
マスクありで96％、マスクをなしではほぼ100%の認証率
NISTの報告から半年後の2021年の年明け早々、アメリカ国土安全保障省（DHS）科学技術局（S&T）は、最新の顔認証技術では、マスクをした飛行機の搭乗客の顔をほぼ正確に識別できると発表しました。
DHS傘下の試験所で開催された2020年度生体認証技術大会（Biometric Technology Rally）で、最高の成績を修めた認証システムは、マスクありで96％、マスクをなしではほぼ100%の認証率だったそうです。ここでは、さまざまなカメラやアルゴリズムを組み合わせた60の顔認証システムがテストされました。
試験結果よると、マスクありの場合、認証率の中央値は77％だったのに対し、マスクなしの場合は93％でした。
マスク認証は緊急課題として世界中のエンジニアが取り組んだ
空港などの顔認証技術を使用する必要がある組織が適切なシステムを導入することで、旅行者などが顔認証のためにマスクを外す必要がなくなり、旅行者や空港スタッフの感染リスクを軽減できるだろう、と報告書は述べています。
これを見る限り、マスク認証は喫緊の課題として世界中のエンジニアが取り組み、成果を出しつつあることが伺えます。
■マスク認証への日本企業の取り組みは？
では、日本ではマスク認証技術どのような状況でしょうか？ ここでは代表的な大手企業の状況を見てみましょう。
NEC――目に重点を置いて特徴点を抽出する仕組みにして認証の精度を高める
▷参考：https://jpn.nec.com/
NECは2020年9月24日、マスクを着けている人を高精度で認証する新しい顔認証エンジンを開発したと発表しました。
人の目の周りから特徴点を抽出し、元データと照合して本人確認を行う仕組みです。NECの社内評価では、1対1認証（個人の生体情報を呼び出した上で、本人と比較する方式）での認証率が99.9％以上でした。
従来のエンジンは目・鼻・口から特徴点を抽出していましたが、新しいエンジンは、目に重点を置いて特徴点を抽出する仕組みにし、認証の精度を高めたそうです。マスクに色や柄があっても問題ないということです。
マスク着用の有無に応じて分析アルゴリズムを切り替える機能も持ち、具体的には、カメラが人の顔を検出すると、まずマスク着用の有無を判定し、マスクを着けている場合は目の周り、そうでない場合は鼻や口などから特徴点を抽出するという仕組みです。
▷参考：https://jpn.nec.com/press/202009/20200924_01.html
富士通研究所――「疑似マスク」を顔画像に重ねることでマスク着用顔画像を生成
▷参考：https://www.fujitsu.com/jp/
富士通研究所は2021年1月21日、顔情報で照合対象者を絞りこみ、手のひら静脈で本人を特定する非接触な生体認証を融合させたマルチ生体認証において、マスクを着用していても、マスク着用なしと同等レベルの99%以上の高精度で本人特定が可能な認証技術を開発したと発表しました。
一般的な顔認証技術では、マスクを着用した顔から絞り込みに有用な顔部位の形や位置関係などの特徴量を抽出するために、露出している目の領域のみを利用する方式を採用していました。この方式では、顔全体の特徴量が抽出できないため、情報量の低下により本人が認識されないという問題がありました。
開発した技術では、マスクを着用しても輪郭の形状など顔全体の特徴量抽出を考慮しつつ、マスク着用の影響を低減するために、マスク非着用の顔画像にマスクを付加した画像を生成し学習させることで、マスク着用時でもマスク非着用時と同等レベルの精度で絞り込みが可能となり、同一人物として認識することができます。具体的には、目や鼻の位置など顔の特徴点から顔の姿勢を推定し、その推定結果に基づいて「疑似マスク」をリサイズ、変形させて顔画像に重ねることで自然なマスク着用顔画像を生成します。さらに、様々な色や柄、形のマスクが流通している状況に対応するため、様々なタイプのマスクを付加しました。
▷参考：https://pr.fujitsu.com/jp/news/2021/01/21.html
パナソニック――マスク着用時等の顔検出率を従来比で3.1倍、顔認証率を2.2倍向上
▷参考：https://biz.panasonic.com/jp-ja/
パナソニックとパナソニック システムソリューションズ ジャパンは、2020年11月4日、アプリケーション提供プラットフォームの構築を拡充し、様々な開発ニーズに応えるため、顔認証APIエンタープライズエディションの提供を開始すると発表しました。
顔認証APIエンタープライズエディションではエンジンの性能を向上し、顔認証速度を従来比で最大10倍高速化。また、マスク着用時等の顔検出率を従来比で3.1倍、顔認証率を2.2倍向上させたということです。
▷参考：https://news.panasonic.com/jp/press/data/2020/11/jn201104-3/jn201104-3.html
パナソニック――マスクを装着したままで来店客の性別と年齢を推定できる機能を開発
パナソニックは2020年10月16日、Vieureka来客分析サービスにおいて、業界で初めてマスクを装着したままでも来店客の性別と年齢を推定できる機能を開発したと発表しました。
Vieureka来客分析サービスは、Vieurekaカメラ内の画像解析アプリによって「来店客の人数」や「属性情報（性別、年齢、滞留時間）」をデータ化するサービスを提供してきました。しかし、コロナ禍では大多数の来店客がマスクを装着する状況になり、顔認識から性別と年齢の属性を推定できないという課題が発生していました。
今回、PUXが開発したディープラーニングの手法を活用した顔検出エンジンをVieurekaカメラVRK-C301に搭載することで、マスク装着時においても性別と年齢の推定を行い、来店客の属性のデータ化が可能になったということです。
▷参考：https://news.panasonic.com/jp/topics/203983.html
トリプルアイズ、AIZE開発エンジニアに聞くマスク顔認証の今
トリプルアイズでは顔認証のためのAI「画像認識プラットフォーム・AIZE」を提供している。マスク着用での顔認証技術の精度向上はどのように行われているのか、開発エンジニアである片渕博哉に話を聞いた。
顔検出と顔認証と属性推定
そもそも、顔認証技術はマスクをかけていないことを前提に開発されていました。現在の情勢において、世界中のほとんどの人がマスクを装着するようになりました。鼻と口、ほほの部分が隠れることにより、「顔認証」の技術的なハードルがかなり上がりました。
ひと口に顔認証と言いますが、そこにはいくつかのフローがあります（下図参照）。
顔認証のフロー
認知した画像からそこに写っているものが「顔」なのかどうかを判断することを「顔検出」といいます。そして検出した顔からAIが顔の特徴を抽出してデータベースと照合することによって「顔認証」が行われます。
検出した顔がデータベースに登録している顔画像のどれと一致するのか判定するわけです。また、それとは別にAIに「属性を推定」させることも可能です。検出された顔が男性なのか女性なのか、何歳ぐらいなのか、笑っているのか怒っているのかなどを推定します。
ハードルが高かった「マスクなし画像⇄マスクあり画像」の認証
新型コロナの流行により、ほとんどの人がマスクを着用することで、「顔検出」「顔認証」「属性推定」など全ての面でAIは劣勢を強いられることになりました。
まず、従来のアルゴリズムでは、マスクをつけていると、この時点で「顔」であると認識することが難しかったのです。つまりスタート地点の顔検出で間違いをたくさん犯すようになりました。
ただしこれはそれほど難しい問題ではありませんでした。マスクをつけている人の画像をAIに「顔である」とたくさん学習させることで解決したからです。現在は、当社も含めてほとんどのAIはマスク着用でもきちんと「顔検出」できていると思います。
次に、顔画像から本人を特定する「顔認証」の問題に移りました。検出した顔から特徴を抽出してデータベースと照合します。マスクをつけるということは、露出している顔の半分以上を隠すわけです。鼻や口元が隠れてしまうので認証の難易度が上がることは容易に想像できるでしょう。
ここでの認証の問題は二つに分けられます。「マスクなし画像⇄マスクあり画像」と「マスクあり画像⇄マスクあり画像」です。データベースに登録している顔画像が最初からマスクありであれば、マスク自体も顔の特徴と捉えることによって認証は可能です。難しいのは「マスクなし画像−マスクあり画像」です。
同一人物であってもマスクを着用することで、AIが別人であると認識してしまう確率が大幅に高まったために早急に改善する必要がありました。
さらに顔認証の問題は二つに分けて考えなければなりません。「１対１照合」と「１対N照合」です。「１対１照合（Verification）」とは、任意の画像と画像を比較して同一人物かどうかを判断するものです。
それに対して「１対N照合（Identification）」とは、一つの画像が他のたくさんの画像の中のどれと同一人物かを判断するものです（下図参照）。
空港でのパスポートとの照合やコンサート会場での本人確認は「１対１照合」、勤怠認証や顔決済など複数の登録データから本人を特定するのは「１対N照合」になります。
例えば、マスクをしていても、家族や友人、知人など見知った人なら見分けがつきますよね。「１対１照合」はこれに似ています。でも、まったく知らない人のマスクをかけた写真を見せられて、これと同じ人をたくさんの写真の中から選びなさいと言われたら、どうでしょう？ 相当困難なはずです。私は自信がありません。それが「１対N照合」です。
お手本のモデルがない中でいかに認証精度を上げるか
私たちが開発してきたAIZEでは、従来、マスクなしの正面画像であれば「１対N照合」でも99%以上の精度で認証が可能でした。実際、ヤマダ電機様で使用されている顔決済のアプリ「ヤマダPay」では顔認証の機能をAIZEが受け持っているのですが、開始から1年を通して、誤って他者の顔で決済をしてしまったケースは一度もありません。
マスクをした状態で「１対N照合」において、いかに認証精度を上げるかというのが、この1年の私の課題となりました。
私たちが取った手法は、任意の顔画像に合成して作ったマスク画像を着用させてAIに学習させるというものです。マスクも今は様々なバリエーションがあるので、色と形状のパターンを複数学習させて精度の向上を図りました。
この精度向上のために半年間を費やしました。一番大変だったのが、情報がないことです。マスク認証についてはお手本になるAIモデルがないので、一から自分たちでアイデアを出し、検索アプローチやデータアプローチを繰り返し、試行錯誤しながら進めてきたという経緯があります。
マスク着用時でも認証率98％を実現
現在では（2021年4月時点）、半年前に比較すると以下のようにマスク認証の精度を向上させることができました。
正面から顔を捉える場合は、上記の精度となりますが、ウォークスルー（防犯カメラタイプ）については設置環境にもよりますが、80％程度となります。理由としては、暗かったり下を向いていたりして顔をうまく捉えられないケースが多いためです。
つまりどんなにAI側の精度を上げても、カメラ環境（撮影環境）に左右される問題は残り続けますので、そこは課題として取り組んでいきたいと思います。勤怠認証や顔決済など、認証精度が求められるケースでは、正面での顔認証となりますので、今回の精度向上で、運用への適用が可能なところまで来たと考えています。（談）
アフターコロナでもマスクで顔認証は必須
すでに世界では、どこの国においても外出先ではマスクをすることが日常的な光景になっています。コロナウィルスの流行が仮に収束したとしても、マスクをつける習慣は、自己防衛やマナーの観点からすぐになくなることはないでしょう。
かたや顔認証に対するニーズは今後も高まってくるでしょう。顔で決済したり、顔で改札を通ったり、顔がID証明になるといった「顔パス社会」への移行は現在進行中です。
マスクを装着していても高い精度で顔認証が可能なシステムが求められる所以です。
▷関連記事：顔認証システムを自動検温機で比べてみる
