卓球選手を支援するための試合映像分析技術

記事をシェアする:

日本IBMは6月25日に卓球の試合分析方法の研究についてのプレスリリースを行いました。このプロジェクトに携わった東京基礎研究所の研究員Subhajit Chaudhuryから、その内容を詳しくご紹介したいと思います。

東京基礎研究所が直接関わった部分は、主に卓球のビデオ映像からラリーの開始点であるサーブと終了点である得点シーンの時間位置を検出するAIアルゴリズムでした。これによって、長いビデオ映像からラリーのみを選んで視聴し、試合のビデオ分析を効率的にすることが可能になります。

実現するにあたって特に難しかった点は、実験室的な環境で決まった方向から撮影された映像や、特殊なセンサーを用いて取得されたデータではなく、実際に国際大会や全日本大会などの会場で選手が行うような卓球の試合を撮影した、一般的なビデオカメラ映像が分析の対象であることでした。そのため会場の配置もビデオ撮影の方向も様々であることを想定し、選手以外の人や広告など映り込んでいる様々なものに対応しなければいけません。場合によっては選手が見えない瞬間もあります。映像に含まれるそのようなバリエーションは、AIアルゴリズムにとってはノイズになり、シーン検出の精度を大きく損わせる原因となります。

そこで私たちが利用したアルゴリズムは、まず選手を認識して画面中からその部分を抜き出すことで撮影角度や背景、画面の揺れなどの影響を受けにくくした上で、教師あり学習によって映像シーンの特徴を分類問題として扱うものです。また、映像のバリエーションに強いモデルを限られた学習データから学習するために、別個に教師なしで学習したAIが生成した映像を学習データに加えます。

このプロジェクトを進めるにあたって私たちは、卓球の試合の模様を理解するために、東京体育館で行われた全日本卓球選手権大会を現地で見学しました。そこで私たちは複数の試合が同時に隣り合って行われる様子や、コートや選手がどんな角度からどんな様子に見えるかについて理解を深めました。そこでは全日本の代表選手になるような有名で有力な選手のプレーを直接見学することもできました。プロジェクト実施中には、さらに私たちにとって非常に貴重なことに、日本卓球協会と日本スポーツ振興センターの方々から卓球の実技をご指導頂きました。そこでは目にも止まらぬ動きから繰り出されるサーブや、チキータなど打法の種類や技巧について実演を交えながら教えて頂きました。これらの体験で得られた知見は、選手と選手を支える方々にとって有用なアルゴリズムやシステムについて私たちが考えるための大きなヒントになりましたし、併せて私たち研究員にとって大きな励みとなったことも言うまでもありません。

[見学した全日本卓球選手権大会]

このプロジェクトで用いたアルゴリズムについては私たち IBM東京基礎研究所の研究員と日本スポーツ振興センター国立スポーツ科学センター(JISS)の研究員の共著で論文執筆をしました。その論文は、2019年の12月にアメリカのSan Diegoで行われた International Symposium on ​ Multimedia国際会議に採択され発表することができました[1]。この国際会議はIEEE Technical Committee on Multimedia (TCMC)の重要な国際会議であり、採択率が22.2%と競争が激しく、マルチメディア情報処理の最新技術と実践の進歩について世界のトップレベルの研究者が情報交換をする場でもあります。私はそのようなトップレベルの国際会議で本研究の発表をすることができ、関連する分野の複数の研究員から好意的な反応とフィードバックをもらうことができました。

[International Symposium on ​ MultimediaでSubhajit Chaudhuryが発表する様子]

今後の研究課題としては、ビデオ映像からもっと詳細な情報を取り出すことができるようにすることや、他のスポーツ種目への適用が考えられます。特に、ネットを挟んだコート競技でコート上の選手人数が少ないスポーツへの適用は比較的容易であることが予想されています。さらには、Neuro-Symbolic AIなど、より進んだBroad AIの技術と組み合わせて、深い理解を少ない学習データで実現していきたいと思います。そして、本プロジェクトが日本のスポーツ選手の益々のご活躍に少しでもお役に立つことができればよいと切に願います。

[1] S. Chaudhury et al., “Unsupervised Temporal Feature Aggregation for Event Detection in Unstructured Sports Videos,” 2019 IEEE International Symposium on Multimedia (ISM), San Diego, CA, USA, 2019, pp. 9-97, doi: 10.1109/ISM46123.2019.00011.

Subhajit Chaudhury (チャウダリ シュボジト)
Staff Researcher
IBM Research Tokyo
研究員ページ(英語)：https://researcher.watson.ibm.com/researcher/view.php?person=jp-SUBHAJIT

（翻訳：立花隆輝）