GPUaaS¶
メニューの概要¶
メニューの概要¶
本メニューは、エンタープライズ向けのAIプラットフォームです。GPUリソースに加えて、AI開発環境およびGPUコントローラーとしてClearMLを提供します。
お客様は、GPU付きのJupyterLabやVisual Studio CodeですぐにAIモデルの開発や実験を進めることが可能です。
メニューの特長¶
本メニューの特長は以下の通りとなります。
-MLOpsとしてClearMLがバンドルされているため、お客様はGPUおよびAI開発環境を個別のツールからそれぞれ組み合わせて構築する手間を省略することが可能です。
-GPUコントローラー機能により、複数部門でGPUをご利用いただく場合などにおいて、GPUリソースの管理コスト軽減が可能です。
-本メニューのGPUリソースはGPUカードでの提供となります。1GPU単位からのGPUリソース提供により、お客様はAIモデルの開発/学習/推論をスモールスタートで開始することが可能です。
-閉域接続で本メニューを提供するため、機密情報などセンシティブな情報を活用したAIモデル開発を高度なセキュリティを保ったまま進めることが可能です。
-「Smart Data Platform」（以下、「SDPF」と言います。）で提供しているさまざまなメニューと組み合わせて利用することができます。とくに「wasabiオブジェクトストレージ」は大容量データの保存に適したストレージとなり、本メニューと併用いただくことで、GPUでの実験を通して貯まった膨大なデータを安価に蓄積いただくことが可能です。
本メニューの概要と利用イメージ¶
本メニューにおける全体の概念イメージ¶
本メニューではお客様よりお申込みいただいたGPUを計算リソースとして、ClearMLの機能のうちSDPFにて利用可能な機能を提供します。構成要素のイメージは以下の通りです。
ClearMLが持つ主要な機能概要以下の通りです。
機能カテゴリ |
主要機能 |
説明 |
参考 |
|---|---|---|---|
Infrastructure Control Plane |
Workers and Queues |
GPUサーバーをWorkerとして使い、Queueに入れたTaskを順番に実行するための基盤機能です。 |
|
ClearML Agent |
QueueからTaskを取得し、必要なコードや環境を整えたうえでGPUサーバー上で実行する機能です。 |
||
Orchestration |
Worker、Queue、実行中ジョブの状態をWeb UIで確認し、運用状況を見える化する管理機能です。 |
||
AI Development Center |
Remote IDE |
JupyterLab、VS CodeをリモートGPUマシン上で起動し、開発やデバッグを進めやすくする機能です。 |
|
Experiment Tracking |
metrics、artifacts、logs、parametersを記録し、AIの学習における実験結果の比較や再現をしやすくする機能です。 |
||
ClearML Data |
データセットの作成、版管理、共有を行い、学習データの再利用と追跡をしやすくする機能です。 |
||
GenAI App Engine |
vLLM Model Deployment |
LLMをGPUマシン上に配備し、安全なendpointとして公開する機能です。モデル設定やリソース制御、アイドル時の自動停止にも対応します。 |
|
LLM UI |
配備済みモデルに対して、ブラウザ上のチャットUIから対話し、応答確認や簡易テストを行うための機能です。 |
||
Containerized Application Launcher |
コンテナ化したアプリを起動し、永続ワークスペースや柔軟なネットワーク設定つきで実行できる機能です。RAGの周辺UIや補助アプリの展開に向きます。 |
本メニューで有効化しているClearML Applications¶
本メニューにて利用可能なClearML Applicationsは、以下の表の通りです。
※以下の表に記載のないApplicationはインストールされておりません。
Application |
参考 |
|---|---|
Jupyter Lab |
|
VS Code |
|
vLLM Model Deployment |
|
Llama.cpp Model Deployment |
|
SGLang Model Deployment |
|
Containerized Application Launcher |
|
LLM UI |
その他の機能および機能の詳細については、ClearML社の公式ドキュメントをご参照ください。
注釈
本メニューではClearML機能のうち、一部機能を制限しています。 制限している機能については制限事項 をご参照ください。
提供リソース¶
本メニューの提供リソースは以下の通りです。
提供リソース |
説明 |
参考URL |
|---|---|---|
ClearML tenant |
ClearMLの機能を利用して作成されるリソース (AIモデル/データセット/アプリケーションなど) の管理単位です。お客さまごとに専用のtenantを発行します。 |
|
ClearML user |
ClearML tenantへのアクセス権限を有するユーザーアカウントを発行します。 |
|
ClearML worker |
ClearMLの各種機能を実行するためのGPUリソースです。お申込みいただいたGPU数/種類のGPUをworkerとして、ClearML tenantに紐づける形で発行します。 |
|
ClearML Queue |
ClearML上で定義した処理 (task) を実行するための機能です。Queue毎にtaskを処理するGPU数が定義されており、利用したいGPU数に応じてQueueを使い分けることで、GPUを効率的に利用することが可能です。 |
注釈
本メニューで実行可能なtaskサイズの上限（ClearML Queueサイズの上限）は「4GPU」となります。 これ以上のtaskサイズをご希望の場合は、弊社担当営業経由でご相談ください。
注釈
本メニューではClearML Workerとして利用するGPUの種類と数を指定しお申し込みを頂きます。
GPUの種類ごとに、申込んだGPUの数に応じて以下のポリシーでQueueの作成を行います。
① 申込GPU数が4GPU以内の場合、申込GPU数を最大Queueサイズとして1GPU～最大QueueサイズまでのQueueを作成
② 申込GPU数が5GPU以上の場合、最大Queueサイズを4GPUとして、1GPU～最大QueueサイズまでのQueueを作成
※変更申し込みによりClearML Workerとして利用するGPUの数に変更が発生した場合、同様のポリシーに従いQueueの追加/削除を行います。
【例：A100を3GPU、B300を5GPU申し込んだ場合】
A100*1GPU、A100*2GPU、A100*3GPU
B300*1GPU、B300*2GPU、B300*3GPU、B300*4GPU
の7種類のQueueを作成します。
この場合、
A100を4GPU以上使用するtaskの実行はできません。
B300のGPU数は5GPUとなっているため、B300を1GPU、B300を4GPU使用するtaskを同時に実行可能です。
ユーザー種別¶
本メニューではKeycloakを用いてClearML userの管理を行います。
新規申し込みを頂く際に管理者権限のユーザー (管理ユーザー) を初期ユーザーとして発行します。
管理ユーザーは、管理ユーザー・一般ユーザー (user) の作成/管理が可能となっています。
ログイン、およびユーザー作成の具体的な手順についてはチュートリアルをご参照ください。
管理ユーザーと一般ユーザーあわせて上限100件まで作成可能です。
また、サービスアカウントについては上記とは別に上限100件まで作成可能です。
管理ユーザーのみが実行可能な機能¶
機能 |
一般ユーザー |
管理ユーザー |
説明 |
参考 |
|---|---|---|---|---|
ユーザーの作成/編集/削除 |
× |
○ |
管理ユーザーはユーザーの作成/編集/削除が可能 |
Users & Groups | ClearML |
ユーザーグループの作成 |
× |
○ |
管理ユーザーはユーザーグループの作成が可能 |
|
RBAC（ロールベース制御）設定 |
× |
○ |
管理ユーザーはClearML内リソースに関する権限を設定可能 |
メニュー¶
メニュー、プラン¶
本メニューでは以下のプランのご利用が可能です。
メニュー |
プラン |
提供単位 |
提供内容 |
|---|---|---|---|
GPUaaS |
A100 |
1GPU |
NVIDIA A100のGPUとClearMLライセンスをバンドルで提供します。GPUは専有リソースで提供します。 |
B300 |
1GPU |
NVIDIA B300のGPUとClearMLライセンスをバンドルで提供します。GPUは専有リソースで提供します。 |
|
GPUaaS利用者向けClearMLライセンス |
- |
GPUコントローラーおよびMLOps機能を提供します。 |
|
GPUサーバー利用者向けClearMLライセンス |
- |
GPUコントローラーおよびMLOps機能を提供します。 |
申し込み方法¶
申込種別 |
方法 |
納期 |
備考 |
|---|---|---|---|
仮申し込み |
弊社担当営業経由でお申し込み |
- |
GPUaaSの申し込み希望数をご連絡ください。在庫がなくなった場合提供ができない可能性があります。 |
新規申し込み |
弊社担当営業経由でお申し込み |
お申し込み受領より5営業日 |
事前にSDPFテナント (jp8リージョン) が必要となります。 |
変更申し込み |
弊社担当営業経由でお申し込み |
お申し込み受領より5営業日 |
ご利用中のClearML workerに対してGPUの割り当て追加をご希望の場合は「GPU追加申込書」、GPUの割り当て削除をご希望の場合は「GPU削除申込書」をご利用の上お申し込みください。 |
廃止申し込み |
弊社担当営業経由でお申し込み |
- |
解約申込書を弊社に送付いただいた翌営業日が、課金終了日となります。 |
新規申し込み時に必要な情報/手続きについて
GPUaaSリソースは弊社にて管理するSDPFのテナント (GPUaaS管理テナント) に収容されており、GPUaaS利用に際しては別途お客様にてSDPFのテナント (ユーザーテナント) をご用意いただく必要がございます。
GPUaaS利用開始までの流れは以下の通りです。
仮申込み
GPUaaSの申し込み希望数を当社営業経由でご連絡ください。提供が可能な場合、提供が可能な旨をご連絡し、テナント間接続の接続先となるロジカルネットワーク情報、内部DNSのIPアドレス情報をご案内します。
SDPFテナント作成
SDPFのテナントを作成します。既にSDPFのテナントをお持ちの方は、当該テナントをユーザーテナントとしてご利用いただくことも可能です。
注釈
本メニューではユーザーテナントのリージョンは「jp8」のみ対応となっております。 テナント作成/準備の際にはリージョンが「jp8」となっていることを必ずご確認ください。
テナント間接続申請
テナント間接続の申請を実施してください。 具体的な実施手順についてはGPUaaS ユーザーテナント構築ガイドをご参照ください。
新規お申込み
GPUaaSの新規申込書に必要情報をご記載の上、弊社担当営業経由でお申し込みください。
注釈
申込書に際して1.でご用意いただいたSDPFテナントのワークスペースID/テナントIDの情報、および3.で実施いただいたテナント間接続の申請情報が必要となります。
ワークスペースID/テナントIDの確認方法については8. ワークスペースのテナントやユーザー情報の確認と、API鍵を新規生成／再生成する - 管理機能／セットアップガイド チュートリアル | Smart Data Platform Knowledge Center、
テナント間接続の申請情報の確認方法については1. クラウド/サーバー テナント間接続 - クラウド/サーバー テナント間接続 チュートリアル | Smart Data Platform Knowledge Centerをご参照ください。
開通連絡
GPUaaSリソースの払い出し後、開通案内書をご送付差し上げます。開通案内に記載のログイン情報でClearMLへのログイン確認を行っていただき、ご利用開始となります。 ログイン確認の手順についてはGPUaaS ユーザーテナント構築ガイドをご参照ください。
ご利用条件¶
アクセス要件¶
本メニューで利用するClearMLのWebUIにはローカル端末のブラウザからアクセスする形となります。
具体的なアクセス方法についてはGPUaaS ユーザーテナント構築ガイドをご参照ください。
ほかメニューとの組み合わせ条件¶
本メニューのご利用に際して、SDPFのjp8リージョンのテナント (ユーザーテナント) が必要となります。jp8リージョンのテナントをすでにお持ちでしたら、既存のテナントをご利用いただくことが可能です。
上記のテナントから弊社にて管理するSDPFテナント (GPUaaS管理テナント) へのテナント間接続が必要となります。
ユーザーテナント内にファイアウォールおよびロジカルネットワークが必要となります。
具体的な構成例とその構築方法については、GPUaaS ユーザーテナント構築ガイドをご参照ください。インターネットGWおよび踏み台用仮想サーバーが構成例に含まれますが、こちらは推奨構成となり、本メニューのご利用にあたりユーザーテナントに必須のメニューではございません。
その他のサービスメニューについてはユーザーテナント内で任意にご利用いただけます。
GPUaaSではデータ保存領域としてファイルストレージを提供します。容量上限は5TBとなっておりますので、これ以上の容量のデータを保存される場合はユーザーテナントにてwasabiをお申込みいただくことで、GPUaaSで作成したモデルやデータセットの保存先として利用することが可能です。
注釈
ユーザーテナントはお客様にて構築いただく必要がございます。ユーザーテナントの構築にあたり、Google ChromeおよびGoogle Authenticatorのアプリをインストールした端末が必要です。Chromeの拡張機能として「FoxyProxy」またはmacの場合のコマンド投入設定をご利用可能です。
料金¶
初期費用¶
初期費用は無料です。
月額費用¶
プラン |
課金単位 |
料金(税抜き) |
|---|---|---|
A100 |
1GPU |
40万円／月 |
B300 |
1GPU |
145万円／月 |
GPUaaS利用者向けClearMLライセンス |
- |
10万円／月 |
GPUサーバー利用者向けClearMLライセンス |
1GPU |
10万円／月 |
月途中での開通／変更／解約の場合、日割りが適用されます。
日割りは、NTTドコモビジネスの定める以下の計算方式とします。
注釈
本メニューのご利用にあたり、ユーザーテナント内に新たに作成した各SDPFリソースの費用は別途発生します。
料金仕様¶
課金開始日
新規申込書を弊社で受付後、弊社にて開通処理を行い、お客様に開通のご案内をいたします。開通案内を送付した翌営業日から課金開始となります。
課金終了日
解約申込書を弊社に送付いただいた翌営業日が、課金終了日となります。
時刻はJST(日本標準時刻)が基準となります。
サービス提供の品質¶
サポート範囲¶
本メニューでは、機能に関するお問い合わせ対応や、不具合事象に関連する解決および復旧作業をサポート範囲といたします。
ただし、下記はサポート対象外です。
お客様が本メニュー上で構築されたアプリケーション・コンテナイメージ
設計や運用方法などコンサルティングが必要な問い合わせ
障害または技術的問題の原因が、トレースバックログ等の通常の手段（顧客データの確認を必要としない方法）では特定できない場合
なお、本メニューへ申し込みいただいたお客さまは当社のカスタマーサポート窓口へ問い合わせください。ClearML社による直接のサポートに関しては提供しておりません。
お問い合わせはチケットシステムから実施いただきます。具体的なチケット起票方法はSDPFクラウド/サーバー関連チケット起票方法 - サポート チュートリアル | Smart Data Platform Knowledge Centerをご参照ください。
注釈
ClearMLのデフォルトコンテナイメージについて
ClearMLにおいては、App作成時のGUIと、パイプラインが作成するtaskがコンテナイメージを指定されていない場合に自動で起動するコンテナイメージとして、デフォルトコンテナイメージが設定されています。
デフォルトコンテナイメージは定期的に設定を更新いたします。そのため、設定値は永続的ではなく、動作・安全性を保証するものではございません。
注釈
NTT DOCOMO BUSINESS のオペレーターアクセスについて
サポート品質確保のため、当社のオペレーターがお客さまのClearML tenantに対して閲覧権限を持ちます。
トラブル発生時に、切り分けに対応するため権限の昇格を当社から依頼する可能性がございます。
運用¶
本メニューではサポート提供のために以下の対応を実施いたします。
本メニューの監視は24時間365日行います。
本メニューで障害が生じた場合、本メニューのお申込書記載のメールアドレス宛てに障害発生の通知と復旧スケジュールをご連絡いたします。
ドライバやソフトウェアの更新対応、脆弱性に対するセキュリティ観点でのアップデートが必要になった場合、サービス提供者の判断により更新を実施いたします。緊急性の高いアップデートに際しては検出後速やかに対応いたします。
本メニューにおける故障/メンテナンス情報の通知はKnowledge Centerの故障・メンテナンス情報ページ (故障/メンテナンス情報 | Smart Data Platform Knowledge Center )で行います。
メンテナンスに関しては、JP8リージョンの定期メンテナンス枠(定期メンテナンス | Smart Data Platform Knowledge Center)で実施します。その他、運用品質は、本サービスに標準で定められた運用品質に準じます。詳細については、詳細情報(Support)を参照ください。
制約事項¶
各プランの在庫がなくなった場合、本メニューを提供できない場合があります。
本メニューは、SDPFを国内でご契約いただいたお客様にご利用いただけます。
弊社は本メニューに保存されたお客さまデータのバックアップは取得していません。必要に応じて、お客さまにて取得してください。
弊社は、本メニューに保存されたお客さまのデータが、滅失、毀損もしくは漏洩した場合又は滅失、毀損、漏洩その他の事由により本来の利用目的以外に使用された場合、 その結果お客さまの又は第三者に発生した直接もしくは間接の損害について、その原因の如何を問わず、いかなる責任も負いません。
弊社は、本メニュー に係る契約の解除などがあったときは、本メニューに保存されているデータを削除します。
弊社はお客さまが利用規約、その他規定に違反したと判断した、あるいは疑いがある場合、お客さまの利用メニューを停止、削除する場合があります。
制限事項¶
本メニューでは利用いただけないClearML機能¶
本メニューではClearMLがソフトウェアとして提供する機能の一部を制限しています。
本メニューでご利用いただけないClearML機能の一覧は以下の表の通りです。
ClearMLポータル上に表示されない機能¶
機能 |
参考 |
|---|---|
Analytics |
|
Billing & Usage |
|
Platform Management Center |
|
Dynamic GPU Allocation |
|
Fractional GPUs |
|
Cloud Autoscaling |
ClearML autoscaler applications |
Custom Applications |
|
Building Task Execution Environments in a Container |
Building Task Execution Environments in a Container | ClearML |
Building Executable Task Containers |
|
Queueの作成・編集・削除 |
ClearMLポータル上に表示されるが利用できない機能¶
機能 |
参考 |
|---|---|
Resource Configuration |
Resource Configurationについては、ClearMLポータル上では当該項目が表示されますが、変更しても設定内容は反映されません。 |
Static Routes |
Static Routesについては、subdomainのStatic Routeはご利用いただけません。 |
vLLM Model Deployment |
vLLM Model Deploymentについては、Automatic CPU Offloadingはご利用いただけません。 |
Llama.cpp Model Deployment |
Llama.cpp Model Deploymentについては、Automatic CPU Offloadingはご利用いただけません。 |
SGLang Model Deployment |
SGLang Model Deploymentについては、Automatic CPU Offloadingはご利用いただけません。 |
Containerized Application Launcher |
Containerized Application Launcherについては、TCP接続はご利用いただけません。 |