国際体操連盟が正式採用した「AI自動採点システム」はスポーツ界をどう変えるのか

メインビジュアル : 国際体操連盟が正式採用した「AI自動採点システム」はスポーツ界をどう変えるのか

高度な審判技術を必要とする体操競技では、技の複雑化に伴い「人間の目」だけでは公正な判断が難しいケースが増えています。これに伴い、審判員の判断を支援する、AIを活用した採点システムの開発が進められています。「AI自動採点システムの全貌と未来」をテーマに行ったディスカッションの様子をご紹介します。【富士通フォーラム2019 フロントラインセッションレポート】

審判の判断をより公正にサポートするAI技術とは

パネルディスカッションに先立ち、富士通取締役会長の山本正已が、現在の日本を取り巻くスポーツビジネスの環境と、富士通のスポーツICTへの取り組みについての概略を説明。具体的な事例としてB.LEAGUEの次世代ライブビューイング「B.LIVE」や、日本陸上連盟との協業によるランニング人口の拡大や健康市場の活性化を目指した「JAAF RunLinkプロジェクト」を紹介しました。

富士通株式会社
取締役会長
山本 正已

続いて、富士通の体操プロジェクトを統括する藤原英則が、体操競技の採点をAIで支援する「AI自動採点システム」の詳細を解説しました。

3Dレーザーセンサーが取得したデータと「技の辞書」を照合する

富士通株式会社
スポーツ・文化イベントビジネス推進本部
第二スポーツビジネス統括部
統括部長
藤原 英則

「自動採点システム」は、3Dレーザーセンサーを使って体操競技の採点を支援するもので、国際体操連盟の正式採用が決定しました。1秒間に約200万回以上のレーザーを選手に照射し、反射時間によって距離を計算することで、人の立体形状を捉えます。選手の身体にマーカーを取り付けることなく計測できるのが大きな特長です。さらに、取得した選手の3Dデータから骨格を当てはめるアルゴリズムを開発し、関節位置の三次元データを取得することも可能です。そして、それを「技の辞書(データベース)」と照合します。

「技の辞書(データベース)」とは、国際体操連盟や日本体操協会協力のもと、国内外のトップアスリートのデータを、各種の大会や練習場所で集め、それをもとに完成させました。3Dレーザーセンサーでのデータ取得、骨格認識、技のDBとのマッチングまでの一連の処理を行う「AI自動採点システム」で、採点の公平性に貢献します。

(左上)センサーに搭載されたカメラで撮影した映像(左下)時間軸(真ん中)CGで作られた四象限のシルエット。技ごとの「審判の見るべきポイント」が右側に表示される

「AI自動採点」は、実際に取得したデータと、「技の辞書」をマッチングさせることによって、技が成立した場合に、技の名前、エレメントグループ、難度、点数を自動でアウトプットするものです。2020年までに5種目、2024年までには全10種目の自動採点とマルチアングルビューを提供するのが現在の開発目標です。

採点支援システムは「3Dレーザーセンサー」「骨格に当てはめるソフトウェア」「技のデータベース」の3つの要素で構成される

採点過程の可視化が誤審を防ぎ、公平性を保つ

以降は、日本体育大学学長の具志堅氏、新体操元日本代表の畠山氏、山本、藤原によるパネルディスカッションの形式で進みました。

(左から)畠山氏、具志堅氏、山本、藤原によるパネルディスカッション

具志堅 体操競技でAIによる採点支援が求められた背景には、2011年に東京で開催された世界選手権と、2012年の国際大会での誤審が挙げられます。どちらも同じ選手の演技だったのですが、抗議の結果、順位が変わるといったことが相次ぎました。それにより、テクノロジーの「目」によって正しい採点を支援できないかという期待が高まりました。

日本体育大学 学長
公益財団法人 日本体操協会
副会長
具志堅 幸司 氏

畠山 競技者だった自分を振り返ると、選手たちの感覚と審判の評価とが違うと感じることはありました。観客の方々の歓声の大きさ、観客の期待度と、実際の採点とにギャップがあるなと感じるケースです。なので、全員が納得する採点になったらいいなと、競技をしながら思っていました。ICTが取り入れられれば、競技場で観ている人たちやテレビ観戦している人たちも、得点の理由が分かりやすくなるでしょう。ICTの利用により、採点の「公平性を保つ」という選手の願いも叶うのではないかと思います。

元 新体操日本代表
畠山 愛理 氏

動作を因数分解して「技の辞書」を作り、採点基準を定義づける

藤原 富士通は体操競技の採点でのAI活用に取り組んでいます。体操の技の判断は複雑です。姿勢はどうなっているか、どの場所で行われているのか。例えば、あん馬は握り手によって3つのスペースに分けられ、その間を移動しています。さらには、その姿勢がどのように連続していっているかも非常に重要です。これらが組み合わさって技になるので、その特徴全てをディープラーニングで覚え込ませなくてはなりません。そこが難しいところです。次の図では、姿勢、位置、連続した動きによって、「セア倒立」という技であると判断しています。技の判断をする時に「技の辞書」が重要になってきます。技の数は、男子が819、女子は549もあります。日本体操協会様との共同研究を立ち上げて以降、具志堅さんの所にお伺いして、様々なお話を聞いてデータベース作成の参考にさせていただきました。

あん馬での技の判定の仕組み

具志堅 富士通さんは、その沢山の技を、475のエレメントと基本動作に因数分解できると考えました。それを聞いて、私は大変驚きました。体操関係者はそんなことを考えもしませんし、これまでも体系化できずにきましたから。体操とテクノロジーの融合で「化学反応」が起きたような気がしました。ただし、体操の採点規則については、曖昧な部分が多いのも事実です。開発には大変に苦労されたのではないでしょうか。

藤原 本当に苦労しました(笑)。例えば水平支持という姿勢ですが、採点教本には「まっすぐなら減点無し、わずかに曲がるとマイナス0.1、明らかに曲がるとマイナス0.3」と書いてあるのですね。実に曖昧で、これではシステム化できません。そこで、スイスのローザンヌにある国際体操連盟に技術者を派遣して、一つひとつ曖昧な部分を整理する作業をやってきました。この場合であれば、膝と腰の角度が170度以上あるのを「まっすぐ」にしようと定義づけた訳です。

AIによる自動採点は、審判の負担を軽減する

藤原 教われば教わるほど、体操の技の判定は大変なことが分かりました。体操には、技の難度(ディフィカルティ)を判定するD審判と、演技の良し悪しや出来映え(エクセキューション)を見るE審判の2種類の審判がいます。他に、ライン判定、タイムキーパー、レファレンス・レフェリーという少し経験値の高い審判員がいて、さらに予備の補審4名が待機しています。また、最終的に判断する上級審判員も控えています。ざっと123名くらいの審判員がいるというのを具志堅さんから教わった時は驚きました。

具志堅 来年の国際大会には男女合わせて196名の体操選手が出場します。それに対して、審判は男子が約120名、女子が約80名、合計約200名。つまり、選手よりも審判の数のほうが多いのです。このことからも、いかに審判の仕事が大変で、採点支援が必要かということが分かると思います。

畠山 新体操の審判も大変です。ルールがよく変わるというのと、現行のルールの場合、数多くの技を決めたほうが有利なので、大変さが増していると思います。団体であれば2分半、個人なら1分半の演技時間内に、できるだけ技をたくさん入れるため、スピードが速くなっています。技の難易度が上がって、判断が難しくなっているのもあります。

具志堅 スピードについてですが、採点支援システムのスピードは人間の審判と比べてどうなんでしょうか?

藤原 ワールドカップで国際体操連盟から3名の上級審判員に来日していただき、実際に我々の自動採点とトップ3名の方のご自身が採点されるのとを同時にやってみました。何と、上級審判員の採点スピードよりもAIのほうが速かったのです。

具志堅 そうですか。そうなると、「システムと審判がいかに共存していくか」が重要になってきますね。

畠山 新体操は、芸術性も重要な要素なのですが、芸術面についても採点支援システムでの判定は可能でしょうか?

山本 最近、AIに写真や絵画の良し悪しを判断させる研究も進み、人間の感じ方にかなり近づいています。今後は富士通も芸術性の判定にもチャレンジしていきたいと考えていますし、チャレンジすることに価値があると思っています。最終的には人間の判断を優先する仕組みにしたいですね。

開発過程での想定外の「壁」を乗り越え、63件の特許を出願

藤原 実際、AI自動採点システムの開発は苦労の連続でした。しかし、誰もやったことがないことをやるからこそ、多くの壁にぶつかり新しいことを知ることができました。例えば、技術者のメンバー達と、動作確認のために競技場に行った時、レーザーセンサーにだんだんノイズが入るようになってきました。でも原因が分からなかった。技術者たちにも分からず、仕方なくセンサーを開けてみました。原因は炭酸マグネシウムでした。選手が使っている滑り止めの粉です。競技場内を舞っているこの粉を、センサーのファンから吸い込んでいたんですね。すぐに対処はしたのですが、これは想定外でした。

また、体操10種目のうち、どれから始めるかを技術者たちと相談して決めた時、台の上で回っているだけなのでたぶん一番簡単だろうと「あん馬」を選びました。ところが、実際はそうではありませんでした。あん馬の演技には12くらいの技が盛り込まれていて、どこからどこまでが技なのかが審判でも迷うくらい分かりにくいものだったのです。「なんで一番難しいヤツからやるの?」と、体操関係者から突っ込まれました。ただ、富士通という会社は、難しいことからチャレンジしていく社風がありますので、結果的にはまあ良かったかなあと思っています。

それから、データをもとに骨格を当てはめていくときに、テナガエビのようなシルエットを描いてしまったことがありました。(下図参照)

開発当初はつり輪と手の部分の判断が難しかった

藤原 これは、つり輪の器具の部分を“手”と判定してしまったのですが、つり輪、鉄棒、平行棒などは意外と動くんですね。それで、身体の一部なのか器具なのか、AIが判断に迷っていたんです。そこで、器具だけを徹底的に学習させて、「背景除去・背景差分」という方法でアルゴリズムを改良しました。

動作では、円球状に近い「深い抱え込み」に、骨格を当てはめるのが難しいですね。それと、ゆかや平均台で用いられる「振り付け」の扱い。振り付けは技ではないので、たくさんのバリエーションがあるんですね。そのために、技を認識する時に判断を誤ることがありました。やはり、できるだけ多くの事例を学習させるしかありません。

このプロジェクトから、63件の特許を出願しています。考えられる将来の展開としては、例えばトレーニングにおいて、調子のいい時と悪い時の比較をしたり、テレビ放送時に役立つ技についての情報やデータを提供したり、あるいは、美しい演技をしたときにキラキラとした軌道を描いたりと、様々なアイデアが思い浮かんできます。苦労は多いのですが、そこが面白いところです。

ゲーム、アニメから伝統文化の継承へ。スポーツ以外への応用も視野に

畠山 キラキラと光る演出は、競技に詳しくなくても分かりやすく、これが綺麗な技なんだ、これが正しい技なんだということが明確になりますね。お子さんやご高齢の方にもウケが良さそうです。今はどのスポーツにもエンターテインメント性が求められているので、そういう意味でもいいと思いました。新体操にも取り入れてほしいです。

山本 エンターテインメント性というお話が出ましたが、採点支援システムの技術は、e-sports、ゲーム、アニメ制作などにも活用できると考えています。実際に3Dアニメの制作会社とのコラボが動き始めています。

また、伝統文化や産業の技術継承にも応用できると考えています。次の写真は、「ヘラ絞り」という金属加工の現場風景なのですが、これは、ヘラという道具を使って、鉄板を円錐形に伸ばす技術で、ロケットや飛行機などの部品にも使われています。ヘラにかける荷重、腰の角度、手の位置など、全身を使って微妙に調節しているんですね。日本が世界に誇る職人の技術を、伝統として継承していくのに、我々の技術が活用できると考えています。

伝統文化や「職人の技術」の継承にもICTを活用

ICTを駆使できる選手が「金メダル」を獲る

畠山 本日のお話をお聞きして、体操界の未来がより楽しみになりました。採点競技は分かりにくいというイメージを持たれがちだと思うのですが、テクノロジーを生かして、ぜひその概念を覆せる未来を、みんなが納得する採点ができる未来を作ってほしいと思いました。

具志堅 体操界のさらなる発展のためには、もっとテクノロジーを受け入れ、共存していくことが重要だと思います。「人がテクノロジーを育て、テクノロジーが人を育てる」という、双方向の流れが選手を進化させていくとも思っています。このような取り組みを国際機関と一緒になって行い、世界のルールまで変えていこうとしているわけですから、体操界、スポーツ界に革命が起きるのではないかと思っています。また、これからの選手育成にあたっては、ICTを駆使できる選手がきっと金メダルを獲っていくんだろうなあと、実感しました。

以上のように、採点競技にICTを活用する未来への期待が具志堅氏、畠山氏より述べられ、セッションは終了しました。

(左から)畠山氏、具志堅氏、山本、藤原

登壇者

日本体育大学 学長
公益財団法人 日本体操協会
副会長
具志堅 幸司 氏

1956年11月12日生、大阪府大阪市出身。1968年メキシコオリンピックでの加藤澤男の体操演技をテレビで見て感激し体操を志す。1984年ロサンゼルスオリンピックで個人総合とつり輪で金メダルを獲得。1985年現役引退後はドイツ留学を経て日体大男子体操競技部の監督として、水鳥寿思(現・日本代表監督)らを育成。2005年日体大教授に就任、紫綬褒章を授章。2008年北京オリンピックで日本代表監督を務め団体総合2位、個人では内村航平を総合2位に導く。2017年4月から日体大学長に就任し、スポーツ全般の発展に尽力している。

元 新体操日本代表
畠山 愛理 氏

6歳で新体操を始め、中学3年生のときにフェアリージャパンのオーディションに合格し、日本代表となる。2012年、17歳で自身初となるロンドンオリンピックに団体で出場し、7位入賞に貢献。その後、日本女子体育大学に進学し、2015年世界新体操選手権では団体種目別リボンで日本にとって40年ぶりとなる銅メダルを獲得。2016年リオデジャネイロオリンピックにも団体で出場し8位に入賞した後、現役引退を発表。現在はスポーツキャスター、モデルとして活躍中。

富士通株式会社
取締役会長
山本 正已

富士通株式会社
スポーツ・文化イベントビジネス推進本部
第二スポーツビジネス統括部
統括部長
藤原 英則