6.3. S3バケット ログ設定 (handson-cli-s3-XXXXXXXXXXXX)

作業の目的 [why]

S3バケット"handson-cli-s3-XXXXXXXXXXXX"のログをログ用S3バケット"handson-cli-s3-XXXXXXXXXXXX-log"に転送する設定を行います。

完了条件/事前条件 [設計者用情報]

完了条件 [after]

主処理は、以下を満たしたときに成功したものとします。

完了条件1

S3バケット" handson-cli-s3-XXXXXXXXXXXX"のバケットログ設定が有効になっている。

事前条件 [before]

主処理の実施は、以下の状態であることを前提とします。

事前条件1

ログ設定ファイル用ディレクトリ"${HOME}/tmp/conf-handson-cli-s3"が存在する。

事前条件2

ログ設定ファイル"${HOME}/tmp/conf-handson-cli-s3/handson-cli-s3-XXXXXXXXXXXX-s3-bucket-logging-create.json"が存在する。

事前条件3

コンテンツ用S3バケット" handson-cli-s3-XXXXXXXXXXXX"が存在する。

事前条件4

ログ用S3バケット" handson-cli-s3-XXXXXXXXXXXX-log"が存在する。

事前条件5

S3バケット" handson-cli-s3-XXXXXXXXXXXX"のバケットログ設定が有効になっていない。

作業対象 [what]

  • S3バケット

標準時間(合計)

8分

パラメータ設定

パラメータ設定の標準時間

2分

作業に必要なモノ・情報 [resource]

作業開始には、以下が全て揃っていることが必要です。

リソース1: コンテンツ用S3バケット名

  • ログ設定を行うS3バケットの名称です。

  • 今回は"handson-cli-s3-XXXXXXXXXXXX"とします。

リソース2: ログ用S3バケット名

  • ログ保存を行うS3バケットの名称です。

  • 今回は"handson-cli-s3-XXXXXXXXXXXX-log"とします。

リソース3: ログ用プレフィックス名

  • ログ保存を行うS3バケットのプレフィックスです。

  • 今回は"Logs"とします。

リソース4: ログ設定ファイル用ディレクトリ

  • 今回は"${HOME}/tmp/conf-handson-cli-s3"をログ設定ファイル用ディレクトリとします。

ディレクトリが存在することを確認します。

コマンド:

ls -d ${HOME}/tmp/conf-handson-cli-s3

結果(例:存在する場合):

${HOME}/tmp/conf-handson-cli-s3

存在しない場合は作成します。

コマンド:

mkdir -p ${HOME}/tmp/conf-handson-cli-s3

リソース5: ログ設定ファイル

  • 今回は"${HOME}/tmp/conf-handson-cli-s3/handson-cli-s3-XXXXXXXXXXXX-s3-bucket-logging-create.json"をログ設定ファイルとします。

パラメータの指定

作業に必要なパラメータを変数に格納をします。

0.1. S3バケット名の指定

変数の設定:

S3_BUCKET_PREFIX='handson-cli-s3'

コマンド:

AWS_ID=$( \
  aws sts get-caller-identity \
    --query 'Account' \
    --output text \
) \
  && echo ${AWS_ID}

結果(例):

XXXXXXXXXXXX

変数の設定:

S3_BUCKET_NAME="${S3_BUCKET_PREFIX}-${AWS_ID}" \
  && echo ${S3_BUCKET_NAME}

結果(例):

handson-cli-s3-XXXXXXXXXXXX

0.2. ログ用バケット名の指定

変数の設定:

S3_BUCKET_LOG="${S3_BUCKET_NAME}-log" \
  && echo ${S3_BUCKET_LOG}

結果(例):

handson-cli-s3-XXXXXXXXXXXX-log

0.3. ログファイルのプレフィックス指定

変数の設定:

S3_PREFIX_LOG='Logs'

0.4. ログ設定ファイル用ディレクトリの指定

変数の設定:

DIR_S3_BUCKET_LOGGING_DOC="${HOME}/tmp/conf-handson-cli-s3"

0.5. ログ設定ファイル名の指定

変数の設定:

FILE_S3_BUCKET_LOGGING_DOC="${DIR_S3_BUCKET_LOGGING_DOC}/${S3_BUCKET_NAME}-s3-bucket-logging-create.json" \
  && echo ${FILE_S3_BUCKET_LOGGING_DOC}

結果(例):

${HOME}/tmp/conf-handson-cli-s3/handson-cli-s3-XXXXXXXXXXXX-s3-bucket-logging-create.json

パラメータの保存

設定されている変数の保存先となるファイル名を指定します。

変数の設定:

DIR_PARAMETER="${HOME}/tmp/parameter-handson-cli-s3"
FILE_PARAMETER="${DIR_PARAMETER}/$(date +%Y-%m-%d)-s3-bucket_logging-create.env" \
  && echo ${FILE_PARAMETER}

結果(例):

${HOME}/tmp/parameter-handson-cli-s3/2019-09-23-s3-bucket_logging-create.env

各変数に正しいパラメータ値が格納されていることを確認しながら保存します。

変数の確認:

cat << EOF > ${FILE_PARAMETER}

  # 0.1. S3_BUCKET_NAME:"handson-cli-s3-XXXXXXXXXXXX"
         S3_BUCKET_NAME="${S3_BUCKET_NAME}"
  # 0.2. S3_BUCKET_LOG:"handson-cli-s3-XXXXXXXXXXXX-log"
         S3_BUCKET_LOG="${S3_BUCKET_LOG}"
  # 0.3. S3_PREFIX_LOG:"Logs"
         S3_PREFIX_LOG="${S3_PREFIX_LOG}"
  # 0.4. DIR_S3_BUCKET_LOGGING_DOC:"${HOME}/tmp/conf-handson-cli-s3"
         DIR_S3_BUCKET_LOGGING_DOC="${DIR_S3_BUCKET_LOGGING_DOC}"
  # 0.5. FILE_S3_BUCKET_LOGGING_DOC:"${HOME}/tmp/conf-handson-cli-s3/handson-cli-s3-XXXXXXXXXXXX-s3-bucket-logging-create.json"
         FILE_S3_BUCKET_LOGGING_DOC="${FILE_S3_BUCKET_LOGGING_DOC}"

EOF

cat ${FILE_PARAMETER}

下段の変数が入っていない、もしくは上段と同等の値が入っていない場合は、それぞれの手順番号に戻って変数の設定を行います。

タスクの実施

タスク標準時間

6分

1. 前処理

1.1. 処理対象の状態確認

主処理の実施は、以下の状態であることを前提とします。

前提と異なることが判明した場合、直ちに処理を中止します。

事前条件1: ログ設定ファイル用ディレクトリ"${HOME}/tmp/conf-handson-cli-s3"が存在する。

「ログ設定ファイル用ディレクトリ"${HOME}/tmp/conf-handson-cli-s3"が存在する。」ことを確認します。

コマンド:

ls -d ${DIR_S3_BUCKET_LOGGING_DOC}

結果(例):

${HOME}/tmp/conf-handson-cli-s3

事前条件2: ログ設定ファイル"${HOME}/tmp/conf-handson-cli-s3/handson-cli-s3-XXXXXXXXXXXX-s3-bucket-logging-create.json"が存在する。

「ログ設定ファイル"${HOME}/tmp/conf-handson-cli-s3/handson-cli-s3-XXXXXXXXXXXX-s3-bucket-logging-create.json"が存在する。」ことを確認します。

コマンド:

! ls ${FILE_S3_BUCKET_LOGGING_DOC}

結果(例):

ls: ${HOME}/tmp/conf-handson-cli-s3/handson-cli-s3-XXXXXXXXXXXX-s3-bucket-logging-create.json No such file or directory

事前条件3: コンテンツ用S3バケット" handson-cli-s3-XXXXXXXXXXXX"が存在する。

「コンテンツ用S3バケット" handson-cli-s3-XXXXXXXXXXXX"が存在する。」ことを確認します。

コマンド:

aws s3api list-buckets \
  --query "Buckets[?Name == \`${S3_BUCKET_NAME}\`].Name" \
  --output text

結果(例):

handson-cli-s3-XXXXXXXXXXXX

事前条件4: ログ用S3バケット" handson-cli-s3-XXXXXXXXXXXX-log"が存在する。

「ログ用S3バケット" handson-cli-s3-XXXXXXXXXXXX-log"が存在する。」ことを確認します。

コマンド:

aws s3api list-buckets \
  --query "Buckets[?Name == \`${S3_BUCKET_LOG}\`].Name" \
  --output text

結果(例):

handson-cli-s3-XXXXXXXXXXXX-log

事前条件5: S3バケット" handson-cli-s3-XXXXXXXXXXXX"のバケットログ設定が有効になっていない。

「S3バケット" handson-cli-s3-XXXXXXXXXXXX"のバケットログ設定が有効になっていない。」ことを確認します。

コマンド:

aws s3api get-bucket-logging \
  --bucket ${S3_BUCKET_NAME}

結果(例):

(出力なし)

1.2. 主処理に必要な情報の取得

設定ファイルの作成

変数の確認:

cat << ETX

  # FILE_S3_BUCKET_LOGGING_DOC:"${HOME}/tmp/conf-handson-cli-s3/handson-cli-s3-XXXXXXXXXXXX-s3-bucket-logging-create.json"
    FILE_S3_BUCKET_LOGGING_DOC="${FILE_S3_BUCKET_LOGGING_DOC}"
  # S3_BUCKET_LOG:"handson-cli-s3-XXXXXXXXXXXX-log"
    S3_BUCKET_LOG="${S3_BUCKET_LOG}"
  # S3_PREFIX_LOG:"Logs"
    S3_PREFIX_LOG="${S3_PREFIX_LOG}"

ETX

コマンド:

cat << EOF > ${FILE_S3_BUCKET_LOGGING_DOC}
{
  "LoggingEnabled": {
    "TargetBucket": "${S3_BUCKET_LOG}",
    "TargetPrefix": "${S3_PREFIX_LOG}/",
    "TargetGrants": [
      {
        "Grantee": {
          "Type": "Group",
          "URI": "http://acs.amazonaws.com/groups/global/AllUsers"
        },
        "Permission": "READ"
      }
    ]
  }
}
EOF

cat ${FILE_S3_BUCKET_LOGGING_DOC}

コマンド:

jsonlint -q ${FILE_S3_BUCKET_LOGGING_DOC}

結果(例):

(出力なし)

2. 主処理

ログ設定

変数の確認

cat << ETX

  # S3_BUCKET_NAME:"handson-cli-s3-XXXXXXXXXXXX"
    S3_BUCKET_NAME="${S3_BUCKET_NAME}"
  # FILE_S3_BUCKET_LOGGING_DOC:"${HOME}/tmp/conf-handson-cli-s3/handson-cli-s3-XXXXXXXXXXXX-s3-bucket-logging-create.json"
    FILE_S3_BUCKET_LOGGING_DOC="${FILE_S3_BUCKET_LOGGING_DOC}"

ETX

コマンド:

aws s3api put-bucket-logging \
  --bucket ${S3_BUCKET_NAME} \
  --bucket-logging-status file://${FILE_S3_BUCKET_LOGGING_DOC}

結果(例):

(出力なし)

3. 後処理

完了条件の確認

主処理は、以下を満たしたときに成功したものとします。

完了条件1: S3バケット" handson-cli-s3-XXXXXXXXXXXX"のバケットログ設定が有効になっている。

「S3バケット" handson-cli-s3-XXXXXXXXXXXX"のバケットログ設定が有効になっている。」ことを確認します。

コマンド:

aws s3api get-bucket-logging \
  --bucket ${S3_BUCKET_NAME}

結果(例):

{
  "LoggingEnabled": {
    "TargetPrefix": "Logs/",
    "TargetBucket": "handson-cli-s3-XXXXXXXXXXXX-log",
    "TargetGrants": [
        {
            "Grantee": {
                "Type": "Group",
                "URI": "http://acs.amazonaws.com/groups/global/AllUsers"
            },
            "Permission": "READ"
        }
    ]
  }
}

完了