データとストレージフォルダの取り扱い#

Backend.AIは、ユーザーのファイルを安全に保管するための専用ストレージを提供しています。コンピュートセッションのファイルやディレクトリはセッション終了時に削除されるため、ストレージフォルダに保存することを推奨します。ストレージフォルダの一覧は、サイドバーのデータページを選択すると確認できます。フォルダ名やID、フォルダが配置されているNFSホスト名（ロケーション）、フォルダのアクセス権限（許可）などの情報を確認できます。

ストレージフォルダには、ユーザーとプロジェクトの2つのタイプがあります。「種類」列で区別できます。

ユーザーフォルダは、個々のユーザーが個人的に使用するために直接作成したフォルダです。プロジェクトフォルダは、ドメイン管理者が各プロジェクトに対して作成したフォルダです。一般ユーザーは自分でプロジェクトフォルダを作成できません。管理者が作成したプロジェクトフォルダのみ使用できます。

ストレージステータスとストレージボリュームごとのクォータには、以下の情報が表示されます。

ストレージステータス
- 作成済みフォルダー: ユーザーが作成したフォルダーの数。
  - 制限: ユーザーがその後作成できるフォルダーの最大数。この値はユーザーに適用されるリソースポリシーに依存しており、リソースポリシーを変更しない限り変更できません。ユーザーによって作成されていないフォルダー（例: 共有に招待されたフォルダーやプロジェクトフォルダー）はカウントされません。
- プロジェクトフォルダー: ユーザーが作成したプロジェクトフォルダーの数。
- 招待されたフォルダー: ユーザーが共有に招待されたフォルダーの数。
ストレージボリュームごとのクォータ
- ホスト: ストレージホストの名前。
- プロジェクト: 現在のプロジェクトフォルダ使用量 / 現在のプロジェクトフォルダクオータ範囲。
- ユーザー: 現在のユーザーフォルダー使用量 / 現在のユーザーフォルダーのクオータースコープ。

注記

クォータは、クォータ設定をサポートするストレージ（例: XFS、CephFS、NetApp、Purestorageなど）でのみ利用可能です。クォータ設定の詳細については、クォータ設定パネルセクションを参照してください。

ストレージフォルダを作成#

新しいフォルダを作成するには、データページで「フォルダ作成」をクリックします。作成ダイアログのフィールドは以下のように入力します。

作成ダイアログの各フィールドの意味は以下のとおりです。

使用モード: フォルダの用途を設定します。
- 一般: 多目的にさまざまなデータを保存するためのフォルダを定義します。
- モデル: モデルサービングおよび管理に特化したフォルダを定義します。このモードを選択すると、フォルダの複製可否を切り替えることもできます。
- オートマウント: セッション作成時に自動的にマウントされるフォルダです。選択した場合、フォルダ名はドット（'.'）で始まる必要があります。
フォルダ名: フォルダの名前（最大64文字）。
ロケーション: フォルダを作成するNFSホストを選択します。複数のホストがある場合は、いずれか1つを選択してください。利用可能な容量が十分かどうかをインジケータで確認できます。
種類: 作成するフォルダーの種類を決定します。ユーザーまたはプロジェクトとして設定できます。ユーザーフォルダーは、ユーザーが自身で作成して使用できるフォルダーであり、プロジェクトフォルダーは管理者によって作成され、プロジェクト内のユーザーと共有されるフォルダーです。
プロジェクト：プロジェクトタイプを選択したときにのみ表示されます。新しいプロジェクトフォルダを作成するときに、フォルダが属するプロジェクトを指定します。プロジェクトフォルダは、プロジェクトに属する必要があり、プロジェクトフォルダの場合、トップバーで現在選択されているプロジェクトが対象プロジェクトとして自動的に選択されます。ただし、ユーザーフォルダを作成する際には、役割を果たしません。
アクセス権限: プロジェクトフォルダのプロジェクトメンバーに対するアクセス権限を設定します。「読み取り専用」に設定されている場合、プロジェクトメンバーはコンピュートセッション内でこのフォルダに書き込みを行うことができません。
クローン可能: 使用モードで「モデル」を選択した場合のみ表示されます。作成するバーチャルフォルダ（vfolder）をクローン可能にするかどうかを選択します。

ここで作成したフォルダは、コンピュートセッション作成時にマウントできます。フォルダはユーザーのデフォルト作業ディレクトリ /home/work/ にマウントされ、マウントされたディレクトリに保存されたファイルはコンピュートセッションが終了しても削除されません。（フォルダを削除した場合は、ファイルも削除されます。）

フォルダーを探索#

フォルダ名をクリックすると、ファイルエクスプローラーが開き、フォルダの内容を確認できます。

フォルダ内にディレクトリやファイルが存在する場合、それらが一覧表示されます。Name列でディレクトリ名をクリックすると、そのディレクトリに移動します。Actions列のダウンロードボタンまたは削除ボタンをクリックして、ダウンロードしたり、ディレクトリから完全に削除したりすることができます。また、ファイル/ディレクトリの名前を変更することも可能です。より詳細なファイル操作については、コンピュートセッションを作成する際にこのフォルダをマウントし、TerminalやJupyter Notebookなどのサービスを使用して行うことができます。

現在のパスに新しいディレクトリを作成するには、「作成」ボタン（フォルダーエクスプローラー内）を使用するか、ローカルファイルやフォルダーをアップロードするには「アップロード」ボタンを使用します。これらのファイル操作は、上記のフォルダーをコンピューターセッションにマウントする方法を使用して実行することもできます。

フォルダ内のファイルまたはディレクトリの最大長は、ホストファイルシステムに依存することがあります。しかし、通常は255文字を超えることはできません。

注記

スムーズなパフォーマンスを確保するため、ディレクトリに非常に多くのファイルが含まれている場合、画面に表示できるファイルの最大数に制限があります。フォルダに多数のファイルがある場合、一部のファイルが画面に表示されないことがあります。その場合は、ターミナルや他のアプリケーションを使用してディレクトリ内のすべてのファイルを確認してください。

テキストファイルを編集#

フォルダーエクスプローラーでテキストファイルを直接編集できます。フォルダー名をクリックしてファイルエクスプローラーを開き、テキストファイルのコントロール列にある「ファイルを編集」ボタンをクリックします。

テキストファイルエディタがコードエディタインターフェースとともにモーダルで開きます。エディタはファイル拡張子に基づいてファイルタイプを自動検出し、適切な構文ハイライトを適用します(例: Python、JavaScript、Markdown)。モーダルのタイトルにはファイル名とサイズが表示されます。

エディタはUIの設定に合わせてライトテーマとダークテーマの両方をサポートしています。ファイルの内容を編集した後、「保存」をクリックして変更されたファイルをアップロードするか、「キャンセル」をクリックして変更を破棄できます。

注記

ファイルを編集ボタンは、対象のストレージフォルダに対するユーザーのアクセス権限に write_content 権限が含まれている場合にのみ使用できます（フォルダの共有権限、またはフォルダに付与されたロールを通じて付与されます）。コントロールパネルのストレージホストレベルの設定は、この動作には影響しません。ファイルの読み込みに失敗した場合、エラーメッセージが表示されます。

フォルダー名を変更#

ストレージフォルダの名前を変更する権限がある場合、フォルダの詳細ドロワーを開き、フォルダ名の横にある編集ボタンをクリックして名前を変更します。名前変更は詳細ドロワー内でのみ行います。

フォルダーを削除#

ストレージフォルダを削除する権限がある場合、「ゴミ箱」ボタンをクリックしてフォルダを「ゴミ箱」タブに移動できます。フォルダをゴミ箱タブに移動すると、削除保留状態としてマークされます。

この状態では、コントロール列の復元ボタンをクリックしてフォルダを復元できます。フォルダを完全に削除する場合は、同じ列の「ゴミ箱」ボタンをクリックしてください。

確認モーダルが表示され、削除するフォルダ名を入力してくださいという入力フィールドが表示されます。削除するフォルダ名を正確に入力し、赤い「完全に削除」ボタンをクリックしてフォルダを完全に削除します。

ファイルブラウザの使用#

Backend.AIはバージョン20.09からFileBrowserをサポートしています。FileBrowserは、Webブラウザを通じてリモートサーバー上のファイルを管理できるプログラムです。ユーザーのローカルマシンからディレクトリをアップロードする際に特に便利です。

現在、Backend.AIは計算セッションのアプリケーションとしてFileBrowserを提供しています。したがって、それを起動するためには以下の条件が必要です。

ユーザーは、少なくとも1つのコンピュートセッションを作成できます。
ユーザーは少なくとも1コアのCPUと512 MBのメモリを割り当てることができる。
FileBrowser をサポートするイメージをインストールする必要があります。

ファイルブラウザには2つの方法でアクセスできます。

ストレージフォルダのファイルエクスプローラダイアログからFileBrowserを実行します。
セッションページのFileBrowserイメージから直接コンピュートセッションを起動します。

フォルダエクスプローラダイアログからFileBrowserを実行する#

データページに移動し、対象のストレージフォルダのファイルエクスプローラダイアログを開きます。フォルダ名をクリックしてファイルエクスプローラを開きます。

エクスプローラー右上の「ファイルブラウザーを実行」ボタンをクリックします。

FileBrowserが新しいウィンドウで開かれているのがわかります。また、エクスプローラーダイアログで開いたデータフォルダがルートディレクトリになっているのがわかります。FileBrowserウィンドウから、ディレクトリやファイルを自由にアップロード、変更、削除することができます。

ユーザーが 'EXECUTE FILEBROWSER' ボタンをクリックすると、Backend.AI はそのアプリ専用のコンピュートセッションを自動で作成します。したがって、セッションページで FileBrowser のコンピュートセッションが表示されるはずです。このコンピュートセッションを削除するかどうかはユーザーの責任です。

注記

誤ってFileBrowserウィンドウを閉じてしまい、再度開きたい場合は、セッションページに移動してFileBrowserコンピュートセッションのFileBrowserアプリケーションボタンをクリックします。

データフォルダーエクスプローラーで 'EXECUTE FILEBROWSER' ボタンを再度クリックすると、新しいコンピュートセッションが作成され、合計で2つのFileBrowserセッションが表示されます。

FileBrowserイメージでコンピュートセッションを作成する#

FileBrowser対応のイメージを使用して直接コンピュートセッションを作成できます。アクセスするには、1つ以上のデータフォルダをマウントする必要があります。どのデータフォルダもマウントしなくても問題なくFileBrowserを使用できますが、セッション終了後にアップロード/更新されたファイルはすべて失われます。

注記

FileBrowserのルートディレクトリは /home/work になります。したがって、コンピュートセッションにマウントされたあらゆるストレージフォルダにアクセスできます。

FileBrowserの基本的な使用例#

ここでは、Backend.AIにおけるFileBrowserの基本的な使用例をいくつか紹介します。FileBrowserの操作のほとんどは直感的ですが、より詳細なガイドが必要な場合は、FileBrowserのドキュメントを参照してください。

FileBrowserを使用してローカルディレクトリをアップロード

FileBrowserは、ツリー構造を維持したまま、1つ以上のローカルディレクトリのアップロードをサポートしています。ウィンドウの右上隅にあるアップロードボタンをクリックし、フォルダボタンをクリックします。すると、ローカルファイルエクスプローラのダイアログが表示され、アップロードしたいディレクトリを選択できます。

注記

読み取り専用フォルダーにファイルをアップロードしようとすると、FileBrowser がサーバーエラーを発生させます。

次の構造を持つディレクトリをアップロードしましょう。

shell

foo
+-- test
|   +-- test2.txt
+-- test.txt

foo ディレクトリを選択すると、ディレクトリが正常にアップロードされたことを確認できます。

ドラッグ＆ドロップでローカルファイルやディレクトリをアップロードすることもできます。

ファイルやディレクトリを別のディレクトリに移動する

FileBrowserからストレージフォルダ内のファイルやディレクトリを移動することもできます。以下の手順でファイルやディレクトリを移動できます。

FileBrowserからディレクトリまたはファイルを選択します。

FileBrowser右上の「矢印」ボタンをクリックします。

移動先を選択します。

「MOVE」ボタンをクリックします。

移動操作が正常に完了したことを確認できます。

注記

現在、FileBrowserはコンピュートセッション内のアプリケーションとして提供されています。セッションを作成せずに独立して実行できるように、FileBrowserを更新する予定です。

SFTPサーバーの使用#

バージョン22.09から、Backend.AIはデスクトップアプリとWebベースのWebUIの両方からSSH / SFTPファイルアップロードをサポートしています。SFTPサーバーを使用すると、信頼性の高いデータストリームを通じてファイルをすばやくアップロードできます。

注記

システム設定によっては、ファイルダイアログからSFTPサーバーを実行できない場合があります。

データページのフォルダエクスプローラダイアログからSFTPサーバーを実行する#

データページに移動し、対象のストレージフォルダのファイルエクスプローラーダイアログを開きます。フォルダボタンまたはフォルダ名をクリックしてファイルエクスプローラーを開きます。

エクスプローラー右上の「SFTPサーバーを実行」ボタンをクリックします。

SSH / SFTP接続ダイアログが表示されます。新しいSFTPセッションが自動的に作成されます。（このセッションはリソース占有には影響しません。）

接続のために、「SSHキーをダウンロード」ボタンをクリックしてSSH秘密鍵（id_container）をダウンロードします。また、ホスト名とポート番号を控えておいてください。その後、ダイアログに記載された接続例のコードを使用して、または以下のガイドを参照してファイルをセッションにコピーできます: SFTP接続ガイド。ファイルを保持するには、ストレージフォルダにファイルを転送する必要があります。また、一定時間転送がない場合、セッションは終了します。

注記

SSHキーペアをアップロードすると、id_container はユーザー自身のSSH秘密鍵に設定されます。そのため、SSHでコンテナに接続するたびにダウンロードする必要はありません。詳細はユーザーのSSHキーペア管理を参照してください。

パイプラインフォルダ#

このタブには、FastTrackでパイプラインを実行する際に自動的に作成されるフォルダの一覧が表示されます。パイプラインが作成されると、作業の各インスタンス（コンピュートセッション）ごとに新しいフォルダが作成され、/pipeline 配下にマウントされます。

自動マウントフォルダ#

データページには自動マウントフォルダタブがあります。このタブをクリックすると、名前がドット（.）で始まるフォルダの一覧が表示されます。フォルダを作成する際にドット（.）で始まる名前を指定すると、フォルダタブではなく自動マウントフォルダタブに追加されます。自動マウントフォルダは、コンピュートセッション作成時に手動でマウントしなくても、自動的にホームディレクトリにマウントされる特別なフォルダです。この機能を利用して、.local、.linuxbrew、.pyenv などのストレージフォルダを作成・使用することで、異なる種類のコンピュートセッションでも変わらないユーザーパッケージや環境を構成できます。

自動マウントフォルダの使用方法の詳細については、自動マウントフォルダの使用例を参照してください。

モデル#

モデルタブは、シンプルなモデルサービングを実現します。モデルサービング用の入力データやトレーニングデータなど、必要なデータをモデルフォルダに保存できます。