AWS/ECS の履歴(No.32)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• AWS/ECS へ行く。
  • 1 (2020-04-27 (月) 20:58:35)
  • 2 (2020-04-27 (月) 21:00:10)
  • 3 (2020-04-28 (火) 17:04:49)
  • 4 (2020-05-03 (日) 15:24:25)
  • 5 (2020-05-07 (木) 17:49:04)
  • 6 (2020-05-23 (土) 10:34:51)
  • 7 (2020-06-24 (水) 20:51:30)
  • 8 (2020-06-30 (火) 11:03:10)
  • 9 (2020-07-02 (木) 07:52:23)
  • 10 (2020-07-07 (火) 19:06:32)
  • 11 (2020-07-23 (木) 21:34:39)
  • 12 (2020-07-29 (水) 14:56:34)
  • 13 (2020-08-11 (火) 18:53:28)
  • 14 (2020-08-12 (水) 13:42:36)
  • 15 (2020-08-13 (木) 11:47:02)
  • 16 (2020-08-13 (木) 19:41:04)
  • 17 (2020-08-14 (金) 11:22:47)
  • 18 (2020-08-17 (月) 07:05:16)
  • 19 (2020-09-12 (土) 08:01:54)
  • 20 (2020-11-06 (金) 08:07:53)
  • 21 (2022-10-14 (金) 13:16:52)
  • 22 (2023-08-03 (木) 07:09:41)
  • 23 (2023-08-09 (水) 21:28:01)
  • 24 (2024-07-06 (土) 10:32:10)
  • 25 (2024-09-20 (金) 21:02:11)
  • 26 (2024-09-21 (土) 12:33:54)
  • 27 (2024-09-23 (月) 04:00:23)
  • 28 (2024-09-27 (金) 22:17:53)
  • 29 (2024-09-28 (土) 08:07:07)
  • 30 (2024-09-28 (土) 12:39:43)
  • 31 (2024-09-29 (日) 18:42:17)
  • 32 (2024-10-02 (水) 21:54:52)
  • 33 (2024-11-14 (木) 20:42:27)

---

• AWSのコンテナオーケストレーション

VPC endpoint†

https://dev.classmethod.jp/articles/vpc-endpoints-for-ecs-2022/

• S3以外は課金発生なのでNG！

デプロイ戦略†

• タグのLatest運用はやめましょう！

用語集†

ECS独自†

• タスク定義はいくら作っても無料（生成されないので！）
• Fargateにおけるクラスターは単なるサービスと結びつける枠なのでこれまた無料（実際にはサービスと同じ生存期間なので無料ではないが）
• ServiceでタスクをいくつとかALBと組み合わせたりすると課金発生

Docker†

Task role/ Task Execution Role†

• Task RoleはECSに対するIAMロールでEC2のIAMのようにECSからAWSサービス使うときのRole（任意）
• Task Exection Roleはタスクを実行するためのRole。ECR読み取りとかCW書き込みとか（必須）

というかそんな説明で納得できるわけがない。「アプリのコードでAWSリソースへアクセスする場合、タスクロールに権限をつける」「コンテナの設定でAWSリソースする場合はタスク実行ロールに権限をつける」。SecretManagerにアプリコードでアクセスするならタスクロールで、task definitionでSecretManager使うならタスク実行ロール

aws-cli ecs編†

Blue/Greenの時のために整形†

aws ecs describe-task-definition --task-definition test-mysql:2 |  jq '.taskDefinition | del(.status, .compatibilities, .taskDefinitionArn, .requiresAttributes, .revision) '

https://dev.classmethod.jp/articles/describe-task-definition-to-register-task-definition/

firelens†

• ログドライバをCloudWatch Logs以外に選択できるようになった。
• ログドライバはECS固有ではなくて、Dockerにある概念。
• Dockerの制約で16kb超えるログは分割される

ポイント†

• ログを早出する側はfirelensを指定するだけ
• firelens側ではNameでcloudwatchやforwardを指定する。

https://docs.aws.amazon.com/ja_jp/AmazonECS/latest/userguide/using_firelens.html

• terraform

https://qiita.com/neruneruo/items/b3fb35ad5064c045a15b

Fluentdへ†

• Optionの設定にFluentdに関係ないものを入れてはいけない。400エラーとなる。
• PortもStringなど特殊なので以下のまま使うこと
• 送信先がない場合は、firelensコンテナログにその旨が出る

       "options": {
         "exclude-pattern": "^.*(hoge|open).*$",
         "Port": "24224",
         "Host": "HOST",
         "Name": "forward"
       }

直接Cloudwatchlogsへ†

指定のロググループ名でストリーム名は「$prefix/コンテナ名称/乱数」となる

https://github.com/aws-samples/amazon-ecs-firelens-examples/tree/mainline/examples/fluent-bit/cloudwatchlogs

https://docs.aws.amazon.com/ja_jp/AmazonECS/latest/userguide/using_firelens.html#firelens-filtering-logs

1. 試しに最小構成のnginx/firelensで実施。
2. CloudWatchLogsにロググループ作成権限が必要で、初回は起動失敗。
3. 起動失敗しても繰り返し上がってくるのでポリシー更新後成功

• firelens側の設定

   "options": {
         "awslogs-group": "firelens-container",
         "awslogs-region": "ap-northeast-1",
         "awslogs-create-group": "true",
         "awslogs-stream-prefix": "firelens"
       }

以下のロググループとストリーム名で出力される。これはFluentBitの起動ログである。ngixのログは出ないので注意

log-group/firelens-container/log-events/firelensXXXXX

• nginx側の設定。CloudWatchに流すにはNameにcloudwatchと設定。exclude-patternでopenとhogeが含まれるものを除去している

     "options": {
         "log_group_name": "firelens-testing-fluent-bit",
         "auto_create_group": "true",
         "log_stream_prefix": "from-fluent-bit",
         "region": "ap-northeast-1",
         "exclude-pattern": "^.*(hoge|open).*$",
         "Name": "cloudwatch"
       }

log-group/firelens-testing-fluent-bit/log-events/from-fluent-bitapp-firelens-XXXXX

参考 Docker標準のログドライバ†

CMDとENTRYPOINT†

ENTRYPOINT†

固定で与えるものなので、docker run -it xxx 'コマンド'が実行時にentrypointに加わる

CMD†

Docker runで何も指定しなかったときの実行コマンド。またはentrypointでのデフォルト引数。

Sidecar†

https://y-ohgi.com/2019-aws-handson/datadog/ecs/ https://registry.terraform.io/providers/hashicorp/aws/latest/docs/resources/ecs_task_definition

トラブルシューティング†

ECRがPullできない。†

• LatestのECRをPushしたところ古いバージョンを参照していたTaskDefinitionが失敗してた。なのでTaskDefinition作り直しで同じECRのURLを指定。どこかでキャッシュしているのだろうか？
• Private Subnetに配置するとインターネットに出られない状況。NatGW必要
• [ is not authorized to perform: ecr:GetAuthorizationToken on resource: ]ECRから取得する権限不足

https://docs.aws.amazon.com/ja_jp/AmazonECR/latest/userguide/ECR_on_ECS.html

失敗した原因†

• terraform targetで必要なもののみapplyしていたが、IAMが足りてなかった。
• それでもエラーにはならず、起動に失敗するのでLogGroupあるのにエラーが出るように見えた（ログに書き込む前に落ちているので当たり前）
• pull失敗はIAMのエラーであったのでprivateで駄目かどうかはもう一回試す（おそらく駄目だろうが)
• ecs service削除が全く終わらず。手動でstate消して進めたというのがあった。再現性はない。が上記IAMにポリシーが紐付いてない状態はTerraformのコード上はありえないので、削除時に中途半端に残った可能性が高い。

ECS新しいVPCで起動しない問題†

• iam_roleが不完全だったので、ちゃんとPolicyがあタッチされていることを確認して、デプロイだが、起動失敗無限ループ。原因はやはりterraform targetによる不完全VPCの作成だった。Public subnet に配置したのだが、InterNetGatewayが作成されず。きちんとmodule.vpcを指定しないと依存関係の最小限のみ作成することになる。上記IAMポリシーが紐付いけない件も同様の理由だったと推測

ResourceInitializationError: unable to pull secrets or registry auth: The task cannot pull registry auth from Amazon ECR: There is a connection issue between the task and Amazon ECR. Check your task network configuration. RequestError: send request failed caused by: Post "https://api.ecr.ap-northeast-1.amazonaws.com/": dial tcp 3.112.64.212:443: i/o timeout

ALB接続後にTask_definitionを変更できない問題 The container nginx does not exist in the task definition.†

• ALBにコンテナ名が記録されるのでtask defを変更しないほうがよい。

Service削除に時間がかかる†

Drainingに時間がかかるので、コンソール上見えてなくても５分はまつこと。消えきらないとApplyしても同名サービス削除中で失敗する

Tips†

起動したPublic IPの確認。タスクから詳細(タスク定義ではない！）

ローカルでECSタスク定義実行†

• タスク定義はdocker-compose.ymlに相当するが、独自仕様のため、以下のページ通りにするとdocker-composeに変換してくれる

https://dev.classmethod.jp/articles/ecs-local/

• デプロイ

https://dev.classmethod.jp/articles/aws-devday-2019-fargate-deploy/

Secret Managerとの連携†

https://dev.classmethod.jp/articles/try-to-protect-aws-fargate-container-environment-variable-with-aws-secrets-manager/