Hugging FaceとIBMがオープンソースで協力

記事をシェアする:

オープンソースは、共通の目標を達成するためにコミュニティーと企業を結びつけます。専門知識と投資を共有することで、オープンスタンダードと透明性を備えた最先端技術を発展させることができます。このプロセスは安全で倫理的なイノベーションを促進し、コストを削減します。Hugging Face は、優れた機械学習をデモクラタイズし、未来のAIコミュニティーを構築するという目標を達成するためにオープンソースを活用しています。

この記事は、AIを拡張し加速するwatsonxプラットフォームを支える主要なオープンソース・プロジェクトに焦点を当てたシリーズの一部です。watsonxを使用すると、コード・べース、自動化、ビジュアル・データサイエンス機能のためのオープンソースのフレームワークやツールを、すべて安全で信頼できるスタジオ環境で使用できます。watsonxでは、最新のオープンソースとIBMでトレーニングさた基盤モデルを使用して、特定のビジネスニーズに合わせてモデルを迅速に調整できます。この記事では、Hugging FaceとIBMがオープンソース分野でどのように協力し、最先端のエンタープライズAIを発展させているかについて説明します。

Hugging FaceのAIコミュニティー

Hugging Faceは、オープンソースのライブラリー、モデル、データセットを中心に、非常に支持されたAIコミュニティーを構築しました。オープンソースのトランスフォーマーのライブラリは、100,000以上のGitHubスターを持ち、AIコミュニティーの求心力となっています。Hugging Faceハブは現在、23万以上のモデルと4万以上のデータセットをホストしており、その数は急速に増加しています。

ひとつのユビキタスなオープンソース・プロジェクトや、遍在するひとつのオープンソース・ハブだけでも十分に印象的ですが、Hugging Faceは多くのプロジェクトとハブを結合し、そしておそらく最も重要なことですが、AIを中心としたコミュニティーを構築しています。

共通項を持つことは、乗数効果を生み出し、コミュニティーの結びつきを強めます。Hugging Face は、AIの最先端を急速に前進させるデファクトスタンダードを生み出しています。

オープンソースに対するIBMのリーダーシップ

IBMは、オープンソースの分野で数十年にわたりリーダーシップを発揮してきました。Linuxとウェブの黎明期にさかのぼり、IBMはオープン・スタンダード、オープン・ガバナンス、オープンソース・プラクティスを強力に支持しており、コミュニティー全体と、IBMのお客様との透明な相互作用を生み出してきました。2022年、IBMとRedHatは、世界のオープンソース・コントリビューターTop 6のうちの2つでした（別々にカウントした場合）。

IBMもまた、AIにおける数十年の画期的な経験をもたらしています。現在、IBMの次世代プラットフォームである watsonx.ai はオープンソースの基盤モデル・スタックを使用して、生成AIの活用による企業の価値創造を支援しています。

Hugging FaceとIBMがオープンソースで協力

オープンソース・コミュニティーの良き一員でであるためには、コミュニティーに貢献する必要があります。IBMは、watsonxの主要部分であるText Generation Inference Server (TGIS) や Parameter-Efficient Fine-Tuning (peft) プロジェクトを含む様々な Hugging Faceプロジェクトに貢献してきました。IBMは、これらのプロジェクトにアルゴリズムや実装を提供したり、新しいプロジェクトを立ち上げたりすることで貢献を続けています。

IBMはCaikit（ibm.com外のサイトへ）という新しいオープンソース・プロジェクトを立ち上げました。CaikitはAIツールキットであり、ユーザーは開発者向けAPIセットを通じてモデルを提供、トレーニング、デプロイすることができます。Caikit を使用すれば、Hugging Faceモデルをコンテナ化して、予測モデルに依存するアプリケーション向けの一貫したインターフェースとともに、任意のクラウド (またはオンプレミス) で提供できます。 Hugging Faceトランスフォーマー・ライブラリはPythonコードでモデルを使用するための統合APIを提供するのに対して、Caikitは一貫した業界標準APIを備えたクラウドネイティブ レイヤーを追加します。

IGIS、peft、およびCailkit を使用することで、watsonxは事前に訓練された大規模な基盤モデルを少量のビジネス・ドメイン・データでチューニングし、ビジネスのための新しい機能を作成することができます。Hugging FaceとIBMのテクノロジーを結びつけることで、お客様はより速く変革を進め、より複雑なソリューションを構築することができます。オープンソースは、最適なモデルの選択、トレーニング、最適化、およびスケールでの実行に不可欠です。

企業ビジネスに特化した watsonx ＋ Hugging Face

watsonxは企業向けに特化して設計されており、ビジネス・ドメインを対象としているため、「価値創造者」がビジネス・アプリケーションをAIファースト・アプリケーションに変革できるようにします。watsonx を使用すれば、汎用的で事前に訓練さた基盤モデルを使用して、ビジネスのニーズに合わせてそれらを微調整することができます。Hugging Faceから入手できる急速に成長しているモデルのセットから選択し、プロンプト・チューニングを使用して応答を導きます。また、IBMは、ビジネス・アプリケーションにおけるモデルの信頼性と効率性を確保するためにトレーニングされた、厳選された基盤モデル・スイートも提供しています。どのモデルから利用し始めても、特定のビジネス・ニーズに合わせてモデルを素早くチューニングするためのツールが用意されています。

AIをビジネスに組み込むことにリスクがないわけではありませんが、信頼と透明性の原則に基づいて構築された評価基準を活用することで、企業へのリスクを軽減し、AIテクノロジーのメリットを享受できます。 watsonxは偏ったデータや信頼できないデータを含むモデル、または倫理に重点を置いたガバナンス・モデルの傘下で作成されていないモデルの選択を回避するよう支援します。

最後に

IBMは、オープンソース、Hugging Face、watsonx により、急速に進化するAIの世界を、お客様のビジネス・ニーズに合わせて調整し、企業のハイブリッド・クラウドに提供します。IBM は、お客様のハイブリッド・クラウドまたはマルチクラウド環境のサポートに全力を尽くします。また、エンタープライズ・グレードのオープンソース・アプリケーション・プラットフォームである Red Hat OpenShiftを使用して、あらゆるクラウドにソリューションを展開することができます。IBMは、あらゆる企業のニーズに対応するツール、セキュリティー、ガバナンス、サービスにより、AIのライフサイクル全体をサポートします。

watsonx.aiは、基盤モデルと従来の機械学習を活用した新しい生成AI機能を、AIライフサイクル全体にわたって強力なプラットフォームに統合します。watsonx.aiを使用すれば、モデルのトレーニング、検証、チューニング、デプロイが容易になり、より少ないデータ・より少ない時間でAIアプリケーションを構築できます。AI開発者向けの次世代スタジオwatsonx.aiをお試しください。

watsonxについて詳しく見る

この記事は英語版IBM Developer Blog「Hugging Face and IBM working together in open source」（2023年6月27日公開）を翻訳したものです。

関連情報

• 生成AIをビジネス向けに仕立てるIBMの手法
• 生成AIのビジネスにおける重要性
• watsonxのご紹介： ビジネスのためのAIの未来
• IBMのエンタープライズ向けAIとデータのプラットフォーム「watsonx.ai」を支える技術のご紹介

IBMのサービスとソリューション

• AIソリューション
• AIコンサルティング・サービス