11.1. オブジェクトのS3バケットへの転送 (handson-cli-website-https-XXXXXXXXXXXX)

作業の目的 [why]

オブジェクト(ディレクトリ/ファイル)をS3バケット"handson-cli-website-https-XXXXXXXXXXXX"に転送します。

完了条件/事前条件 [設計者用情報]

完了条件 [after]

主処理は、以下を満たしたときに成功したものとします。

完了条件1
S3バケット"handson-cli-website-https-XXXXXXXXXXXX"に同期対象オブジェクト(ディレクトリ/ファイル)が存在する。

事前条件 [before]

主処理の実施は、以下の状態であることを前提とします。

事前条件1
転送ファイル用ディレクトリ"${HOME}/conf/handson-cli-website-https-contents"が存在する。
事前条件2
S3バケット"handson-cli-website-https-XXXXXXXXXXXX"が存在する。

作業対象 [what]

  • S3サービス

標準時間(合計)

8分

パラメータ設定

パラメータ設定の標準時間:2分

作業に必要なモノ・情報 [resource]

作業開始には、以下が全て揃っていることが必要です。

リソース1: 転送ファイル用ディレクトリ

転送ファイルを配置したディレクトリ"${HOME}/conf/handson-cli-website-https-contents"です。

リソース2: 転送対象外のファイル/ディレクトリ

  • 転送の対象外となるディレクトリやファイルです。
  • 今回は".git*"とします。

リソース3: S3バケット名

  • ファイルの転送先となるS3バケットの名称です。
  • 今回は"handson-cli-website-https-XXXXXXXXXXXX"とします。

パラメータの指定

作業に必要なパラメータを変数に格納をします。

0.a. リージョンの指定

変数の設定

export AWS_DEFAULT_REGION='ap-northeast-1'

0.b. プロファイルの指定

変数の設定:

export AWS_DEFAULT_PROFILE='handson-cli-website-https-webMaintUser'

0.1. 転送ファイル用ディレクトリの指定

変数の設定:

DIR_S3_TRANSFER="${HOME}/conf/handson-cli-website-https-contents"

0.2. 除外するディレクトリ/ファイルの指定

変数の設定:

S3_SYNC_EXCLUDE=".git*"

0.3. S3バケット名の指定

変数の設定:

S3_BUCKET_PREFIX='handson-cli-website-https'

コマンド:

AWS_ID=$( \
  aws sts get-caller-identity \
    --query 'Account' \
    --output text \
) \
  && echo ${AWS_ID}

結果(例):

XXXXXXXXXXXX

変数の設定:

S3_BUCKET_NAME="${S3_BUCKET_PREFIX}-${AWS_ID}" \
  && echo ${S3_BUCKET_NAME}

結果(例):

handson-cli-website-https-XXXXXXXXXXXX

パラメータの保存

設定されている変数の保存先となるファイル名を指定します。

変数の設定:

DIR_PARAMETER="${HOME}/tmp/parameter-handson-cli-website-https"
FILE_PARAMETER="${DIR_PARAMETER}/$(date +%Y-%m-%d)-s3-object_sync-update-expand-profile.env" \
  && echo ${FILE_PARAMETER}

結果(例):

${HOME}/tmp/parameter-handson-cli-website-https/2019-07-14-s3-object_sync-update-expand-profile.env

各変数に正しいパラメータ値が格納されていることを確認しながら保存します。

変数の確認:

cat << EOF > ${FILE_PARAMETER}

  # 0.a. AWS_DEFAULT_REGION:"ap-northeast-1"
         AWS_DEFAULT_REGION="${AWS_DEFAULT_REGION}"
  # 0.b. AWS_DEFAULT_PROFILE:"handson-cli-website-https-webMaintUser"
         AWS_DEFAULT_PROFILE="${AWS_DEFAULT_PROFILE}"

  # 0.1. DIR_S3_TRANSFER:"${HOME}/conf/handson-cli-website-https-contents"
         DIR_S3_TRANSFER="${DIR_S3_TRANSFER}"
  # 0.2. S3_SYNC_EXCLUDE:".git*"
         S3_SYNC_EXCLUDE="${S3_SYNC_EXCLUDE}"
  # 0.3. S3_BUCKET_NAME:"handson-cli-website-https-XXXXXXXXXXXX"
         S3_BUCKET_NAME="${S3_BUCKET_NAME}"

EOF

cat ${FILE_PARAMETER}

下段の変数が入っていない、もしくは上段と同等の値が入っていない場合は、それぞれの手順番号に戻って変数の設定を行います。

タスクの実施

タスク標準時間:6分

1. 前処理

処理対象の状態確認

主処理の実施は、以下の状態であることを前提とします。

前提と異なることが判明した場合、直ちに処理を中止します。

事前条件1: 転送ファイル用ディレクトリ"${HOME}/conf/handson-cli-website-https-contents"が存在する。

「転送ファイル用ディレクトリ"${HOME}/conf/handson-cli-website-https-contents"が存在する。」ことを確認します。

コマンド:

ls -d ${DIR_S3_TRANSFER}

結果(例):

${HOME}/conf/handson-cli-website-https-contents

事前条件2: S3バケット"handson-cli-website-https-XXXXXXXXXXXX"が存在する。

「S3バケット"handson-cli-website-https-XXXXXXXXXXXX"が存在する。」ことを確認します。

コマンド:

aws s3 ls s3://${S3_BUCKET_NAME} > /dev/null 2>&1

コマンド:

echo $?

結果(例):

0

2. 主処理

コンテンツの同期

パラメータの確認:

cat << ETX

  # DIR_S3_TRANSFER:"${HOME}/conf/handson-cli-website-https-contents"
    DIR_S3_TRANSFER="${DIR_S3_TRANSFER}"
  # S3_BUCKET_NAME:"handson-cli-website-https-XXXXXXXXXXXX"
    S3_BUCKET_NAME="${S3_BUCKET_NAME}"
  # S3_SYNC_EXCLUDE:".git*"
    S3_SYNC_EXCLUDE="${S3_SYNC_EXCLUDE}"

ETX

コマンド:

aws s3 sync ${DIR_S3_TRANSFER}/* "s3://${S3_BUCKET_NAME}/" \
  --exclude "${S3_SYNC_EXCLUDE}"

結果(例):

upload: index.html to s3://${S3_BUCKET_NAME}/<対象ファイル>

(snip)

3. 後処理

完了条件の確認

主処理は、以下を満たしたときに成功したものとします。

完了条件1: S3バケット"handson-cli-website-https-XXXXXXXXXXXX"に同期対象オブジェクト(ディレクトリ/ファイル)が存在する。

「S3バケット"handson-cli-website-https-XXXXXXXXXXXX"に同期対象オブジェクト(ディレクトリ/ファイル)が存在する。」ことを確認します。

コマンド:

aws s3 ls s3://${S3_BUCKET_NAME}/

結果(例):

2019-07-14 01:23:45        290 <対象ファイル>

完了