使用 AWS FireLens 轻松实现 AWS Fargate 容器日志处理

概述

AWS 容器服务团队在 2019 年 11 月推出了一款新工具 FireLens，该工具可以让您更轻松的处理容器日志。FireLens 可以与 FluentBit 或 Fluentd 搭配使用，这意味着您可以将日志发送到这些开源项目所支持的任意目标位置，并且您可以继续使用您的团队在这些开源项目上积累的丰富经验。

利用 FireLens，您可以将容器日志发送到所需的存储和分析工具，而无需修改应用部署脚本、手动安装额外软件或编写其他代码。一个常见的客户场景是，运行在容器中的应用会将访问日志和错误日志分别写入到不同的日志文件中，然后将不同日志文件的数据分别发送到不同的目标位置进行后续的分析和存储。在这篇文章中，我将演示如何通过配置 AWS Fargate for ECS 和 AWS FireLens，实现上述场景的日志处理。

整个环境的架构示意图如下，后续的演示均在中国宁夏区域进行。

我们使用 FireLens for Fluent Bit 作为 Sidecar 与应用容器运行在一个 Amazon ECS 任务中，应用容器将访问日志写入 /data/logs/access.log，错误日志写入 /data/logs/error.log，FireLens 分别收集这两个日志文件数据，并发送到不同的目标位置。为了方便演示，这篇文章使用两个 Amazon Kinesis Data Firehose 传输组，并发送到不同的 Amazon S3 存储桶。FireLens for Fluent Bit 支持将日志发送到：

Amazon CloudWatch Logs
Amazon Kinesis Data Firehose
Amazon Kinesis Data Streams
Fluent Bit 原生支持的所有目标

配置包括如下几个步骤：

创建 Fluent Bit 自定义配置文件
构建应用容器镜像和自定义的 Fluent Bit 容器镜像
创建 Amazon ECS 任务定义
创建 Amazon Kinesis Data Firehose 传输流和 S3 存储桶
运行 Amazon ECS 任务，查看日志发送结果

创建 Fluent Bit 自定义配置文件

FireLens 可以为您创建自动生成的配置文件，您也可以指定自定义配置文件。为了收集两个不同的日志文件并分别输出到指定位置，我们创建如下的自定义配置文件。

extra.conf

[SERVICE]
    Parsers_File /fluent-bit/parsers/parsers.conf
    Flush 1
    Grace 30

[INPUT]
    Name tail
    Path /data/logs/access.log
    Tag access

[INPUT]
    Name tail
    Path /data/logs/error.log
    Tag error

[FILTER]
    Name parser
    Match *
    Key_Name log
    Parser json
    Reserve_Data True

[OUTPUT]
    Name firehose
    Match access
    region cn-northwest-1
    delivery_stream fluentbit-access

[OUTPUT]
    Name firehose
    Match error
    region cn-northwest-1
    delivery_stream fluentbit-error

构建应用容器镜像和自定义的 Fluent Bit 容器镜像

如果要使用Fluent Bit 自定义配置文件，可以通过配置任务定义来实现，语法如下

{
   "containerDefinitions":[
      {
         "essential":true,
         "image":"906394416424.dkr.ecr.us-west-2.amazonaws.com/aws-for-fluent-bit:latest",
         "name":"log_router",
         "firelensConfiguration":{
            "type":"fluentbit",
            "options":{
               "config-file-type":"s3 | file",
               "config-file-value":"arn:aws:s3:::mybucket/fluent.conf | filepath"
            }
         }
      }
 ]
}

对于使用EC2 启动类型的 Amazon ECS 任务来说，可以使用 AWS 提供的 Fluent Bit容器镜像，将自定义配置放在 S3 上（上述options中配置为 “config-file-type”:”s3″, “config-file-value”:”arn:aws:s3:::mybucket/fluent.conf” 并修改为您实际的 S3 bucket ARN 和 Fluent Bit 自定义配置文件名），这种方式的好处是修改 Fluent Bit 配置时不需要重新构建容器镜像和修改任务定义。

对于使用 Fargate 启动类型的任务，目前仅支持 config-file-type 值为 file。因此我们需要构建自己的 Fluent Bit 容器镜像，并将 Fluent Bit 自定义配置文件打包到容器中（上述options中配置为 “config-file-type”:”file”, “config-file-value”:” /extra.conf”）。可以基于AWS 提供的 AWS for Fluent Bit 镜像加入自定义配置即可。镜像 Dockerfile 如下：

Dockerfile:

FROM amazon/aws-for-fluent-bit:latest
ADD extra.conf /extra.conf

在应用容器中，我们运行一个简单的 shell 脚本，不断的向 /data/logs/access.log 和 /data/logs/error.log 两个日志文件中写入 JSON 格式的日志。应用容器 Dockerfile 如下：

Dockerfile:

FROM alpine
RUN mkdir -p /data/logs/
COPY testlog.sh /bin/
ENTRYPOINT ["/bin/testlog.sh"]

其中，testlog.sh 脚本内容为：

testlog.sh:

#!/bin/sh

while :
do
   echo "{\"server_date\":\"2020-01-19\",\"hostname\":\"ip-172-31-43-24.cn-northwest-1.compute.internal\",\"pid\":5404,\"method\":\"POST\",\"clientIP\":\"10.11.12.13\",\"countryCode\":\"ID\",\"url\":\"/v1/mail/list\",\"status\":\"200\",\"latency\":7,\"length\":24,\"userId\":9536605,\"code\":20001}" >> /data/logs/access.log
   echo "{\"server_date\":\"2020-01-19\",\"hostname\":\"ip-172-31-43-24.cn-northwest-1.compute.internal\",\"pid\":1000,\"method\":\"GET\",\"clientIP\":\"20.21.22.23\",\"countryCode\":\"ID\",\"url\":\"/v1/mail/list\",\"status\":\"500\",\"latency\":10,\"length\":12,\"userId\":1010001,\"code\":10001}" >> /data/logs/error.log
sleep 10
done

构建完两个容器镜像后，上传到自己的 ECR 镜像仓库。

创建 Amazon ECS 任务定义

创建任务定义时，请注意以下几个配置：

任务 IAM 角色

任务中的 FireLens 容器要将日志路由到 Kinesis Data Firehose，任务需要调用 firehose:PutRecordBatch API 的权限；另外，我们还配置了FireLens 容器将 Fluent Bit 自身的日志发送到 CloudWatch Logs，以方便排错。因此，请为任务IAM角色添加以下权限

{
    "Version": "2012-10-17",
    "Statement": [{
            "Effect": "Allow",
            "Action": [
                "firehose:PutRecordBatch",
                "logs:CreateLogGroup",
                "logs:CreateLogStream",
                "logs:PutLogEvents"
            ],
            "Resource": "*"
        } ]
}

FireLens log_router容器的 firelensConfiguration 配置

在 option 中指定自定义配置文件，格式如下

 "firelensConfiguration": {
        "type": "fluentbit",
        "options": {
          "config-file-type": "file",
          "config-file-value": "/extra.conf"
        }
 }

应用容器的 logConfiguration 配置

指定 logConfiguration 的 logDriver 为 awsfirelens，由于我们使用自定义配置文件，因此不需要再配置 option

 "logConfiguration": {
        "logDriver": "awsfirelens"
},

为任务创建Volume，并且挂载到应用容器和 FireLens 容器的 /data位置，以便应用容器写入的日志能被 FireLens 容器以 tail 的方式读取到

完整的任务定义文件如下

taskdef-firelens.json:

{
  "family": "firelens-sample",
  "executionRoleArn": "arn:aws-cn:iam::211271614989:role/ecsTaskExecutionRole",
  "taskRoleArn": "arn:aws-cn:iam::211271614989:role/ecsTaskExecutionRole",
  "containerDefinitions": [
    {
      "essential": true,
      "name": "log_router",
      "image": "211271614989---dkr---ecr---cn-northwest-1.amazonaws.com.rproxy.goskope.com.cn/logdemo:fluent-bit-firehose",
      "logConfiguration": {
        "logDriver": "awslogs",
        "options": {
          "awslogs-group": "/ecs/firelens-sample",
          "awslogs-region": "cn-northwest-1",
          "awslogs-stream-prefix": "ecs"
        }
      },
      "mountPoints": [
        {
          "readOnly": false,
          "containerPath": "/data",
          "sourceVolume": "data"
        }
      ],
      "firelensConfiguration": {
        "type": "fluentbit",
        "options": {
          "config-file-type": "file",
          "config-file-value": "/extra.conf",
          "enable-ecs-log-metadata": "false"
        }
      },
      "user": "0"
    },
    {
      "essential": true,
      "name": "myapp",
      "image": "211271614989---dkr---ecr---cn-northwest-1.amazonaws.com.rproxy.goskope.com.cn/logdemo:myapp",
      "logConfiguration": {
        "logDriver": "awsfirelens"
      },
      "mountPoints": [
        {
          "readOnly": false,
          "containerPath": "/data",
          "sourceVolume": "data"
        }
      ]
    }
  ],
  "cpu": "512",
  "memory": "1024",
  "volumes": [
    {
      "name": "data"
    }
  ],
  "requiresCompatibilities": [
    "FARGATE"
  ],
  "networkMode": "awsvpc"
}

注册任务定义到 Amazon ECS

$ aws ecs register-task-definition --cli-input-json file://taskdef-firelens.json --region cn-northwest-1

创建 Amazon Kinesis Firehose 传输流和 S3 存储桶

创建Amazon S3 存储桶 firelens-access-log 和 firelens-error-log，以及两个 Amazon Kinesis Data Firehose 传输流 fluentbit-access 和 fluentbit-error（与 extra.conf 里保持一致），目标分别为 s3://firelens-access-log/ 和 s3://firelens-error-log/。

运行 Amazon ECS 任务，查看日志发送结果

使用步骤3中注册的任务定义运行任务

$ aws ecs run-task --cli-input-json file://run-task.json --region cn-northwest-1

其中，run-task.json 中包含了集群名称、任务数量、网络配置等参数，完整的文件如下

run-task.json:

{
                "cluster": "LogDemo",
                "count": 1,
                "networkConfiguration": {
                 "awsvpcConfiguration": {
          "subnets": ["subnet-05dd64715563df3c5", "subnet-0800bc5a26d1ba5a1"],
          "securityGroups": ["sg-04d0ffc5e8bd605b1"],
          "assignPublicIp": "ENABLED"
                                }
                },
                "launchType": "FARGATE",
                "taskDefinition": "firelens-sample:1"
}

创建任务后，您可以在控制台上看到任务的运行情况，以及 FireLens log_router 输出的日志（在任务定义中，我们配置了将 log_router 的日志输出到 CloudWatch Logs）。

Firehose 会将 access 和 error 日志分别发送到两个 S3 存储桶，通过命令行可以查看到两个存储桶里的日志情况。默认情况下， Firehose 会将前缀“YYYY/MM/DD/HH”(UTC 时间) 附加到其发送到 Amazon S3 的数据中。您也可以通过指定一个自定义前缀覆盖此默认值。

分别下载两个日志文件，可以看到分别为 access.log 和 error.log 中的 JSON 日志数据。

需要说明的另外一点是，在任务定义中指定 FileLens 配置时，您可以选择性地切换 enable-ecs-log-metadata 的值。默认情况下，Amazon ECS 会在日志条目中添加其他字段来帮助标识日志源。如果不设置enable-ecs-log-metadata 为 false，则日志条目中会包括以下元数据信息。

ecs_cluster – 任务所属的集群的名称。
ecs_task_arn – 容器所属的任务的完整 ARN。
ecs_task_definition – 任务正在使用的任务定义名称和修订。
ec2_instance_id – 容器托管于的 Amazon EC2 实例 ID。此字段仅对使用 EC2 启动类型的任务有效。

我们在步骤3 创建任务定义的时候，将 enable-ecs-log-metadata 设置为了 false 来禁用元数据添加，因此从 S3 上获取的数据仅包括应用容器中的原始日志信息。

      "firelensConfiguration": {
        "type": "fluentbit",
        "options": {
          "config-file-type": "file",
          "config-file-value": "/extra.conf",
          "enable-ecs-log-metadata": "false"
        }
      },

结论

在这篇文章中，介绍了如何通过使用 AWS FireLens 实现对 Fargate 容器日志的轻松处理，将应用容器中不同路径的日志文件分别发送到不同的目标位置，进行后续的分析和存储。您还可以参考 Github 上的 amazon-ecs-firelens-examples，实现更加灵活多样的日志处理。

亚马逊AWS官方博客

使用 AWS FireLens 轻松实现 AWS Fargate 容器日志处理

概述

配置包括如下几个步骤：

创建 Fluent Bit 自定义配置文件

构建应用容器镜像和自定义的 Fluent Bit 容器镜像

创建 Amazon ECS 任务定义

创建 Amazon Kinesis Firehose 传输流和 S3 存储桶

运行 Amazon ECS 任务，查看日志发送结果

结论

参考资料

本篇作者