8.3. S3オブジェクトのダウンロード (パス: handson-cli-cognito-identity-data-XXXXXXXXXXXX/uploads)¶
作業の目的 [why]¶
S3バケット"handson-cli-cognito-identity-data-XXXXXXXXXXXX"のパス"uploads"に存在するオブジェクトを一括ダウンロードします。
完了条件/事前条件 [設計者用情報]
完了条件 [after]
主処理は、以下を満たしたときに成功したものとします。
- 完了条件1
ダウンロード用ディレクトリ"${HOME}/environment/download-handson-cli-cognito-identity"にファイルが存在する。
事前条件 [before]
主処理の実施は、以下の状態であることを前提とします。
- 事前条件1
S3バケット"handson-cli-cognito-identity-data-XXXXXXXXXXXX"が存在する。
- 事前条件2
S3バケット"handson-cli-cognito-identity-data-XXXXXXXXXXXX"のパス"uploads"にオブジェクトが存在する。
- 事前条件3
ダウンロード用ディレクトリ"${HOME}/environment/download-handson-cli-cognito-identity"が存在する。
- 事前条件4
ダウンロード用ディレクトリ"${HOME}/environment/download-handson-cli-cognito-identity"にファイルが存在しない。
作業対象 [what]¶
S3サービス
標準時間(合計)¶
8分
パラメータ設定¶
- パラメータ設定の標準時間
2分
作業に必要なモノ・情報 [resource]¶
作業開始には、以下が全て揃っていることが必要です。
リソース1: S3バケット名
ダウンロードするオブジェクトが存在するS3バケットの名称です。
今回は"handson-cli-cognito-identity-data-XXXXXXXXXXXX"とします。
リソース2: S3オブジェクトパス名
ダウンロードするオブジェクトが存在するS3バケット上のパス名です。
今回は"uploads"とします。
リソース3: ダウンロード用ディレクトリ
今回は"${HOME}/environment/download-handson-cli-cognito-identity"をダウンロード用ディレクトリとします。
ディレクトリが存在することを確認します。
コマンド:
ls -d ${HOME}/environment/download-handson-cli-cognito-identity
結果(例:存在する場合):
${HOME}/environment/download-handson-cli-cognito-identity
存在しない場合は作成します。
コマンド:
mkdir -p ${HOME}/environment/download-handson-cli-cognito-identity
パラメータの指定¶
作業に必要なパラメータを変数に格納をします。
0.1. S3バケット名の指定¶
変数の設定:
S3_BUCKET_PREFIX='handson-cli-cognito-identity-data'
コマンド:
AWS_ID=$( \ aws sts get-caller-identity \ --query 'Account' \ --output text \ ) \ && echo ${AWS_ID}
結果(例):
XXXXXXXXXXXX
変数の設定:
S3_BUCKET_NAME="${S3_BUCKET_PREFIX}-${AWS_ID}" \ && echo ${S3_BUCKET_NAME}
結果(例):
handson-cli-cognito-identity-data-XXXXXXXXXXXX
0.2. パス名の指定¶
S3オブジェクトパスをURI形式で指定します。
S3オブジェクトパスを指定します。
変数の設定:
S3_OBJECT_PATH='uploads'
変数の設定:
S3_OBJECT_PATH_URI="s3://${S3_BUCKET_NAME}/${S3_OBJECT_PATH}" \ && echo ${S3_OBJECT_PATH_URI}
結果(例):
s3://handson-cli-cognito-identity-data-XXXXXXXXXXXX/uploads
0.3. ダウンロード用ディレクトリの指定¶
変数の設定:
DIR_DOWNLOAD="${HOME}/environment/download-handson-cli-cognito-identity"
パラメータの保存¶
設定されている変数の保存先となるファイル名を指定します。
変数の設定:
DIR_PARAMETER="${HOME}/tmp/parameter-handson-cli-cognito-identity" FILE_PARAMETER="${DIR_PARAMETER}/$(date +%Y-%m-%d)-s3-object-read-expand-path-sync.env" \ && echo ${FILE_PARAMETER}
結果(例):
${HOME}/tmp/parameter-handson-cli-cognito-identity/2019-11-19-s3-object-read-expand-path-sync.env
各変数に正しいパラメータ値が格納されていることを確認しながら保存します。
変数の確認:
cat << EOF > ${FILE_PARAMETER} # 0.1. S3_BUCKET_NAME:"handson-cli-cognito-identity-data-XXXXXXXXXXXX" S3_BUCKET_NAME="${S3_BUCKET_NAME}" # 0.2. S3_OBJECT_PATH_URI:"s3://handson-cli-cognito-identity-data-XXXXXXXXXXXX/uploads" S3_OBJECT_PATH_URI="${S3_OBJECT_PATH_URI}" # 0.3. DIR_DOWNLOAD:"${HOME}/environment/download-handson-cli-cognito-identity" DIR_DOWNLOAD="${DIR_DOWNLOAD}" EOF cat ${FILE_PARAMETER}
下段の変数が入っていない、もしくは上段と同等の値が入っていない場合は、それぞれの手順番号に戻って変数の設定を行います。
タスクの実施¶
- タスク標準時間
6分
1. 前処理¶
処理対象の状態確認¶
主処理の実施は、以下の状態であることを前提とします。
前提と異なることが判明した場合、直ちに処理を中止します。
事前条件1: S3バケット"handson-cli-cognito-identity-data-XXXXXXXXXXXX"が存在する。
「S3バケット"handson-cli-cognito-identity-data-XXXXXXXXXXXX"が存在する。」ことを確認します。
コマンド:
aws s3api list-buckets \ --query "Buckets[?Name == \`${S3_BUCKET_NAME}\`].Name" \ --output text
結果(例):
handson-cli-cognito-identity-data-XXXXXXXXXXXX
事前条件2: S3バケット"handson-cli-cognito-identity-data-XXXXXXXXXXXX"のパス"uploads"にオブジェクトが存在する。
「S3バケット"handson-cli-cognito-identity-data-XXXXXXXXXXXX"のパス"uploads"にオブジェクトが存在する。」ことを確認します。
コマンド:
aws s3 ls ${S3_OBJECT_PATH_URI}/
結果(例):
2019-11-19 01:23:45 xxxxxxxx ファイル名
事前条件3: ダウンロード用ディレクトリ"${HOME}/environment/download-handson-cli-cognito-identity"が存在する。
「ダウンロード用ディレクトリ"${HOME}/environment/download-handson-cli-cognito-identity"が存在する。」ことを確認します。
コマンド:
ls -d ${DIR_DOWNLOAD}
結果(例):
${HOME}/environment/download-handson-cli-cognito-identity
事前条件4: ダウンロード用ディレクトリ"${HOME}/environment/download-handson-cli-cognito-identity"にファイルが存在しない。
「ダウンロード用ディレクトリ"${HOME}/environment/download-handson-cli-cognito-identity"にファイルが存在しない。」ことを確認します。
コマンド:
ls ${DIR_DOWNLOAD}/
結果(例):
(出力なし)
2. 主処理¶
オブジェクトのダウンロード¶
変数の確認:
cat << ETX # S3_OBJECT_PATH_URI:"s3://handson-cli-cognito-identity-data-XXXXXXXXXXXX/uploads" S3_OBJECT_PATH_URI:"${S3_OBJECT_PATH_URI}" # DIR_DOWNLOAD:"${HOME}/environment/download-handson-cli-cognito-identity" DIR_DOWNLOAD:"${DIR_DOWNLOAD}" ETX
コマンド:
aws s3 sync ${S3_OBJECT_PATH_URI} ${DIR_DOWNLOAD}/
結果(例):
handson-cli-cognito-identity-data-XXXXXXXXXXXX