「手、ちゃんと洗えてる?」感染症や食中毒の拡大防止にAIが貢献

メインビジュアル : 「手、ちゃんと洗えてる?」感染症や食中毒の拡大防止にAIが貢献

目次


人々の健康を守る対策として再認識される「手洗い」

インフルエンザ等の感染症、食中毒等から身を守る方法の1つとして「手洗い」の重要性が再認識されています。特に2020年は、世界的な新型コロナウイルス感染症の拡大もあって、厚生労働省では食中毒や感染症予防に効果的な「正しい手の洗い方6ステップ」を公表し、その実施を推奨しています。

図 : 正しい手の洗い方6ステップ

正しい手の洗い方6ステップ

また、手洗いは食品衛生の分野でも重視されています。2018年6月に施行された「食品衛生法等の一部を改正する法律」では、食品事業者に対して衛生管理の国際規格「HACCP(ハサップ)」に沿った衛生管理が義務付けられ、「衛生的な手洗いの実施と記録・管理」が求められています。但し、これらの確認は、自己申告や監視員による目視確認のため、確認漏れが出たり、監視員のリソース確保等で管理コストが大きくなるという問題がありました。

正しい手洗い動作を判定する映像認識AI技術を開発

このたび、富士通研究所と中国・富士通研究開発中心有限公司(FRDC)は、カメラで撮影した映像から複雑な手洗い動作を認識するAI技術「行動分析技術 Actlyzer(アクトライザー)手洗い動作認識」を開発しました。

当技術は、映像から人の様々な行動を認識するAI技術「行動分析技術 Actlyzer」に手指の動作認識機能を拡張したものです。「行動分析技術 Actlyzer」は、大量の学習データを準備しなくても、映像から人の様々な行動を認識する技術です。認識したい行動を基本動作の組み合わせで指定することで、人の様々な行動を認識するシステムを短期間で現場に導入することが可能になります。

今回開発した「行動分析技術 Actlyzer(アクトライザー)手洗い動作認識」は、手洗い時の複雑な手指の動作を、両手の全体形状と手洗いの一連の動きから自動で認識することができます。

「正しい手洗い動作」を、両手の形状・こすりの回数・泡立ちの3点からチェック

正しい手洗いでは、6ステップを洗い残し無く実施していること、各ステップでしっかりとこすって洗っていること、石鹸やハンドソープを使ってきちんと泡立てて洗っていること、の3点が重要になります。これらの確認を自動化するには、手や指の動作を正しく認識することが求められます。それを可能にする技術が「ディープラーニングを使ったハンドジェスチャ認識技術」です。

この技術は、手が写った画像から「指の関節」や「指先」等手に含まれる複数の特徴点を検出し、その特徴点の位置情報を元にハンドジェスチャを判定するというものです。しかし、手洗い動作では両手が重なったり、手の上に泡がついていたりするため、手指の特徴点を正確に検出できず、動作も正しく認識できないという課題がありました。

図 : 従来のハンドジェスチャ認識技術(左:ジェスチャの認識結果、右:手洗い動作に適用した結果)

従来のハンドジェスチャ認識技術(左:ジェスチャの認識結果、右:手洗い動作に適用した結果)

今回開発した「行動分析技術 Actlyzer手洗い動作認識技術」では、手洗いの複雑な手指動作を「両手の全体形状」と「こすりの反復パターン」の組み合わせとして捉え、「両手形状認識」と「動き認識」の2つのディープラーニングエンジンで検出しました。

「両手形状認識エンジン」では、両手の全体形状に着目することで、手の重なりや泡で指先や関節の特徴点が正しく検出できないという問題を解決しています。また、両手の全体形状に含まれる泡を検出し、泡立ちを判定する仕組みも導入しました。「動き認識エンジン」に関しては、連続フレームから周期的に変化する動きを検出する学習済みモデルを利用して、反復パターンとその周期から反復回数をこすり回数として正確にカウントします。

さらに、「両手形状認識エンジン」と「動き認識エンジン」それぞれの結果を相互にフィードバックさせて、認識精度を向上させています。例えば、動き認識エンジンでは、両手形状認識エンジンによって認識されたステップに合わせて、判定対象となる動きの大きさの閾値を設定し、泡の動きや手の揺れ等の誤った周期の検出を防止します。また、両手形状認識エンジンでは、動き認識エンジンで検出した反復パターンの周期を用いて、両手形状判定結果をフィルタリングすることで検出精度の向上を図っています。

図 : 複雑な両手指の動作を「両手の全体形状」と「動き」の組み合わせとして認識する

複雑な両手指の動作を「両手の全体形状」と「動き」の組み合わせとして認識する

High Durability Learningを活用することで運用中の環境変化にも対応

手洗い場にカメラを設置して運用すると、レンズのくもりや油汚れ等のカメラの汚れ、設置場所の明るさ変化、撮影角度の違い等で、手の画像の見え方が変わることが想定されます。このような環境下においても、富士通独自の技術「High Durability Learning(ハイデュラビリティラーニング、高耐性学習技術)」を適用することで、高い精度で手洗い動作を認識し続けることができます。

High Durability Learningは、AI運用時に、正解付きのデータを用意することなく、AIの精度を監視し続け、自動でAIを修復する技術です。カメラ設置場所の条件や環境が変化することで、いつのまにかAIの精度が低下してしまうトラブルを防ぎ、継続的なAIの安定運用を実現します。

正しい手の洗い方6ステップの動作認識の精度は「95%以上」

富士通研究所とFRDCでは、人やカメラ位置、石鹸の種類等約2000種のバリエーションを持つ手洗い映像データセットを独自に撮影・収集して、同技術における学習と評価を実施しました。その結果、正しい手の洗い方6ステップにおいては平均判定精度で95%以上を動作認識でき、手をこすった回数の判定精度が90%以上であることを確認しています。また、運用中の精度が低下しやすい環境変化のあるケースにおいても、High Durability Learningの適用により精度が維持できることを確認しました。

現場で運用する際にはステップごとに規定のこすり回数が実施され完了と判定されるまで手洗いを実施したり、システム側で実施時刻やユーザ認証による実施者情報と併せて自動で記録したりすることで実施漏れを防ぐことも可能です。

図 : 手洗い動作認識画面のイメージと記録するデータの例

手洗い動作認識画面のイメージと記録するデータの例

手洗い実施確認の自動化により、目視確認の工数をゼロに

富士通研究所とFRDCでは、この技術を活用することで、厚生労働省が推奨する正しい手の洗い方6ステップの実施と各ステップにおける手をこすった回数、泡立ちの有無を正確かつ自動で認識できると考え、人々の食の安全確保や感染症予防に貢献することを目指しています。

食品事業者等衛生管理が必要な現場における、手洗いの実施漏れ防止や監視員による目視確認の工数をゼロにすることも可能です。さらに食品業界に限らず、医療や教育現場、宿泊・イベント施設等様々な現場における人々の衛生管理にも広く応用できると考えています。

また、誤った手洗い方法では正しい手洗い動作として認識されないため、正しい手洗いを誰でも確実に身につけられることにも繋がります。そのため、正しい手洗いを習慣化する教育効果や幅広い年代の人々における平準化効果等も期待され、インフルエンザや新型ウイルス等の感染症予防にも貢献できると考えています。

最先端テクノロジーを活用し、様々な社会問題の解決に取り組む

富士通研究所とFRDCでは今後も様々な現場での実証に取り組んでいく計画です。また、富士通のAI技術「FUJITSU Human Centric AI Zinrai(ジンライ)」の重要な技術として、さらに研究開発を進めていきます。

富士通グループでは、世界的な感染症の拡大により生じた様々な社会課題に対して、AIやIoT、5G、セキュリティ、クラウド等最先端のテクノロジーを積極的に活用し、その解決に向けて今後も継続して取り組んでいきます。