AWS/ECS の履歴(No.21)

AWSのコンテナオーケストレーション

用語集†

タスク定義はいくら作っても無料（生成されないので！）
Fargateにおけるクラスターは単なるサービスと結びつける枠なのでこれまた無料（実際にはサービスと同じ生存期間なので無料ではないが）
ServiceでタスクをいくつとかALBと組み合わせたりすると課金発生

Fargate	EC2の管理不要
タスク	コンテナ１つに対応する。タスク定義とタスクはクラスとインスタンスの関係。タスク定義を更新すると別のタスクが立ち上がり入れ替わる
サービス	タスクが幾つ必要かとかALBと紐づけるとか。
クラスタ	EC2の塊、Fargateだと意識することはない。
CMD	Docker起動時に実施するCMD。起動時に指定するものと同じものが定義できると考えるべし。docker exec -it xxx /bin/bashの/bin/bashの部分だ
ENTRYPOINT	Docker起動時に実施するコマンドではCMDと一緒だが、上書き不可能だったりもできる。ENTRYPOINTを指定したときは、runの後の記述は起動するプロセスを特定する指示としては機能しない

↑

aws-cli ecs編†

aws ecs list-task-definitions	タスク定義の一覧
aws ecs describe-task-definition --task-definition test-mysql:2	タスク定義の詳細。このままではRegisterできない。

↑

Blue/Greenの時のために整形†

aws ecs describe-task-definition --task-definition test-mysql:2 |  jq '.taskDefinition | del(.status, .compatibilities, .taskDefinitionArn, .requiresAttributes, .revision) '

https://dev.classmethod.jp/articles/describe-task-definition-to-register-task-definition/

↑

firelens†

ログドライバをCloudWatch Logs以外に選択できるようになった。
ログドライバはECS固有ではなくて、Dockerにある概念。
Dockerの制約で16kb超えるログは分割される

↑

ポイント†

ログを早出する側はfirelensを指定するだけ
firelens側ではNameでcloudwatchやforwardを指定する。

https://docs.aws.amazon.com/ja_jp/AmazonECS/latest/userguide/using_firelens.html

terraform

https://qiita.com/neruneruo/items/b3fb35ad5064c045a15b

↑

Fluentdへ†

Optionの設定にFluentdに関係ないものを入れてはいけない。400エラーとなる。
PortもStringなど特殊なので以下のまま使うこと
送信先がない場合は、firelensコンテナログにその旨が出る

       "options": {
         "exclude-pattern": "^.*(hoge|open).*$",
         "Port": "24224",
         "Host": "HOST",
         "Name": "forward"
       }

↑

直接Cloudwatchlogsへ†

https://github.com/aws-samples/amazon-ecs-firelens-examples/tree/mainline/examples/fluent-bit/cloudwatchlogs

https://docs.aws.amazon.com/ja_jp/AmazonECS/latest/userguide/using_firelens.html#firelens-filtering-logs

試しに最小構成のnginx/firelensで実施。
CloudWatchLogsにロググループ作成権限が必要で、初回は起動失敗。
起動失敗しても繰り返し上がってくるのでポリシー更新後成功

firelens側の設定

   "options": {
         "awslogs-group": "firelens-container",
         "awslogs-region": "ap-northeast-1",
         "awslogs-create-group": "true",
         "awslogs-stream-prefix": "firelens"
       }

以下のロググループとストリーム名で出力される。これはFluentBitの起動ログである。ngixのログは出ないので注意

log-group/firelens-container/log-events/firelensXXXXX

nginx側の設定。CloudWatchに流すにはNameにcloudwatchと設定。exclude-patternでopenとhogeが含まれるものを除去している

     "options": {
         "log_group_name": "firelens-testing-fluent-bit",
         "auto_create_group": "true",
         "log_stream_prefix": "from-fluent-bit",
         "region": "ap-northeast-1",
         "exclude-pattern": "^.*(hoge|open).*$",
         "Name": "cloudwatch"
       }

log-group/firelens-testing-fluent-bit/log-events/from-fluent-bitapp-firelens-XXXXX

↑