ポケモンと一緒にリサイクル！はらぺこベトベター開発秘話

記事をシェアする:

■ビン/カン/ペットボトルを食べてくれるベトベター？

飲み終わった空容器を食べて喜んでくれるポケモンがいる…まるで物語のような話ですが、それが現実世界で実現しました。

その名も「はらぺこベトベター」です。ゲーム『ポケットモンスター』に登場するベトベターというキャラクターに、空のビン／カン／ペットボトルを食べさせると、鳴き声で容器を教えてくれるというもので、2020年11月13日～15日に池袋サンシャインシティに突如出現しました。

この取り組みは、空容器のリサイクル促進、啓発活動につなげることが目的で、日本IBMとコカ・コーラ、株式会社ポケモンの有志社員が約1年かけ共同で構想、制作したものです。

本記事では、それを実現した有志プロジェクトの活動を紹介したいと思います。

 

■全ては有志活動から始まった

きっかけは、2018年4月に3社の有志社員が企業間コミュニティ活動にて巡り合ったことです。その後、3社での勉強会が始まり、互いの事業内容について理解を深めていきました。その中で、2019年5月に株式会社ポケモン主催でアイデアソンが実施され、「IoTを活用した街をきれいにするベトベター」というアイデアコンセプトを日本IBM有志社員が発案しました。

その案を、日本コカ・コーラの有志社員が上層部へプロジェクト化の提案を行い、社長・役員の方々がこの取り組みに共感、以後サポートしていただけるようになり、2019年11月、3社の共同プロジェクトが本格的にスタートしました。

有志活動で行ったことで、ビジネス的なリターンを考慮せず、アイデア重視で取り組むことができました。また、3社でのオープンイノベーション促進により、他の会社が持っていない自社の強みを活かすことで、新しいアイデアを構想、実現することができました。

特に、IBM社員にとってはコンシューマー向けのハードウェアにIoT＆AIを取り込むという、通常のビジネスでは経験することがあまりない取り組みを実施することができました。

 

■はらぺこベトベターはどのように動いているのか？

プロジェクト開始当初はIoTを搭載したゴミ箱/回収ボックスを発案していましたが、普段の生活の一部である「ゴミ箱にゴミを捨てる／リサイクルできる空容器を回収ボックスに入れる」という何気ない行為に、エンターテインメント性を追加することで、新しいユーザー体験の創造を考案しました。その実現のために、IoTだけでなくAIも導入することに決めました。

実際のシステム 構成は以下のようになっています。

はらぺこベトベターに空容器が入れられるとRaspberry Piに接続された重さセンサーが反応し、それをトリガーに容器の撮影をします。撮影された画像は即座にIBM Cloudに送信され、予め容器の種類を学習させておいたWatson Visual Recognitionがどの容器であったかを判別してくれます。判別結果は投入から1~2秒以内に返信されて、容器に応じた鳴き声を出してくれます。ユーザーはすぐに、はらぺこベトベターの反応を確認することができ、まるでベトベターとコミュニケーションを取れたかのような体験を得ることができるという仕組みを実現しました。

投入されたデータの判定結果をDb2に、画像をObject Storageに保管しています。集計結果は特設サイトに送信され、カッコよく表示されています。

このユーザー体験のためにはWatson Visual Recognitionへ通信できることが重要なので、システムの冗長化をしています。複数リージョンに同一環境を構築し、万が一大規模メンテナンスによってアクセスができない可能性も考慮して、IBM Cloud Internet Serviceのグローバルロードバランサー機能を使い、シームレスに別リージョンに繋いでくれるようにしています。

 

■こんな苦労も…

システムの構築の中でも、特に画像認識モデルとその認識精度を向上させる仕組みを作成した際のエピソードをお伝えします。

画像認識モデル作成の際は、ビン/カン/ペットボトルの3種にペットボトルの大きいものと小さいもの、缶が普通の缶か形状の違うボトル缶かどうかでもクラスを分け、またどれにも属していない負例クラスを含めて6種類のクラスを作り、実筐体で撮影した画像を用いて学習させました。学習の際はデータオーギュメンテーション技術を用いて角度や色味のバリエーションを加え5倍の枚数に水増しさせて約6000枚の画像で学習させています。収集した画像を学習用とテスト用に5:1に分け、学習用の画像で学習させたモデルに対してテスト用の画像を推論させ、正解率の高いモデルを選択しました。

精度の高いモデルが出来ても苦労は続きます。それは実際に撮影される画像がどれだけ綺麗に物体を映しているかにかかっています。撮影は空容器の投入が重さセンサーにかかったタイミングをトリガーとしているため、入れるスピードや入れ方、重量によって良い画像が撮れるタイミングが毎回異なります。それを解消するための工夫としてRaspberry Pi側では、撮影トリガーが引かれてから30枚の画像を連続で撮影して、その中から最も対象物がよく写っている1枚を、画像中のエッジ部分（物体の輪郭や境界にあたる部分）を検出するアルゴリズムを用いてピックアップした上で、IBM Cloudに送信する機構としました。この機構はハードウェア側にさらに予算を投入することで最適化できると考えられましたが、有志活動という制限による予算の都合で内部機構は複雑にできなかったため、このようにソフトウェア側で30枚の画像から1枚を選ぶプロセスとなりました。

最も物体がよく写っている画像を選択するアルゴリズムを開発するにあたって、当初はフレーム間の画素差分の絶対値の大きさで判断しようと思いましたが、筐体の内部機構の動きがフレーム間差分に反映されてしまう影響で適切な選択が困難であることがわかりました。これに対してエッジ検出の場合は、ペットボトル等のラベルや輪郭が主に検出され、内部機構分は検出されにくいため、対象物のみに着目した適切な選択を行うことができました。苦労した点は、ペットボトルに対して瓶は小さいので検出できるエッジ部分が小さく見逃すことが多かったことです。そのため、エッジを検出する際にフレーム全体のエッジを全て均等に合計するのでなく、画像中の領域ごとに重み付けをしました。例えばビンが投入されるとして、画像内のどの部分にビンが写ることが多いのかは収集した画像を見ることで把握できたので、その部分に重みをつけたうえでエッジを合計しました。

画像認識モデルの振り返りとして、データオーギュメンテーション技術で学習データのバリエーションを増やしたことで、運用中にライトの明るさが変わっても精度を落とすことなく検出できるモデルを作成できました。しかし、推論時に撮影する画像の画角や明るさ、画像中における物体の位置などは筐体の内部構造に大きく依存しており、筐体の開発過程で一度内部構造を変更した際にそれまでに作成していたモデルの精度が劇的に落ちてしまい学習用の画像を再び撮影し直す必要が出てしまったため、今後はそのような内部構造の変化に対してより頑強なモデルを作成していく必要があると感じました。

 

■開発は臨機応変で

このプロジェクトはコロナ禍に突入したタイミングと開発の重要なフェーズが重なり、感染状況の変化と共に当初のスケジュールやゴールの変更が余儀なくされ、高い頻度でゴールの再設定をしました。 当初考えていた国際的なスポーツイベントが開催される昨夏でのお披露目は断念を余儀なくされ、調整を繰り返しながら今回のタイミングに合わせて開発することになりました。ハードウェアを伴うプロダクトではありましたが、Slack/Webミーティングを使用しながらほぼリモートで開発を実現できました。

 

■はらぺこベトベターのこれから

各社の苦労と努力の結晶であるはらぺこベトベターは、およそ1300人に興味を持っていただき、ビン33本、カン58本、ペットボトル175本食べ、結果は特設サイト(https://www.pokemon.jp/special/harapekobetbeter/ (外部ページ))でも公開されました。

はらぺこベトベターを見て、「空容器を食べるベトベター、かわいい！」「おもしろい取り組みだね」といった生の声をいただいただけでなく、写真や動画を撮影し、SNSに「#はらぺこベトベター」のハッシュタグとともに感想を投稿していただきました 。

Twitterより引用（ https://twitter.com/pokemon_pdc/status/1327808577415901184 (外部ページ)）

 

また、以下の記事を含め、いくつかのメディアにも取り上げていただき、日本国内のみならず海外のメディアでも話題を呼びました。

 

日経新聞デジタル版：ポケモンがAIで空き容器識別　日本IBM・日本コカなど連携
https://www.nikkei.com/article/DGXMZO66181310T11C20A1TJ1000/ (外部ページ)

11/14日経新聞　(朝刊）
https://www.nikkei.com/article/DGKKZO66181310T11C20A1FFN000/ (外部ページ)

飲料容器をベトベターに食べさせよう！ リサイクル促進へ新発想 異業種交流で実現（食品新聞）
https://shokuhin.net/37649/2020/11/23/inryou/inryou-inryou/ (外部ページ)

Japan Introduces a Talking Grimer Pokemon Recycling Bin
https://gamerant.com/pokemon-grimer-recycling-bin-japan/ (外部ページ、英語)

 

当プロジェクトの今後の展開については未定ですが、空容器のリサイクル促進と啓発活動に貢献を目指し、今後も発展させていく予定です。

はらぺこベトベターは神出鬼没。街中ではらぺこベトベターを見かけた際は、ぜひお手持ちの空容器を食べさせてあげてください。