community.aws.msk_cluster 模块 – 管理 Amazon MSK 集群

注意

此模块是 community.aws 集合 (版本 9.0.0) 的一部分。

如果您使用的是 ansible 包，则可能已经安装了此集合。它不包含在 ansible-core 中。要检查它是否已安装，请运行 ansible-galaxy collection list。

要安装它，请使用：ansible-galaxy collection install community.aws。您需要满足其他要求才能使用此模块，请参阅要求获取详细信息。

要在剧本中使用它，请指定：community.aws.msk_cluster。

community.aws 2.0.0 中的新增功能

概要 

创建、删除和修改 Amazon MSK（用于 Apache Kafka 的托管流）集群。
在 5.0.0 版本之前，此模块称为 community.aws.aws_msk_cluster。使用方法没有改变。

别名：aws_msk_cluster

要求 

执行此模块的主机需要以下要求。

python >= 3.6
boto3 >= 1.28.0
botocore >= 1.31.0

参数 

参数	注释
access_key 别名：aws_access_key_id, aws_access_key, ec2_access_key 字符串	AWS 访问密钥 ID。有关访问令牌的更多信息，请参阅 AWS 文档 https://docs.aws.amazon.com/general/latest/gr/aws-sec-cred-types.html#access-keys-and-secret-access-keys。也可以按优先级递减的顺序使用 `AWS_ACCESS_KEY_ID`、`AWS_ACCESS_KEY` 或 `EC2_ACCESS_KEY` 环境变量。 aws_access_key 和 profile 选项是互斥的。为了与 AWS botocore SDK 保持一致，在 5.1.0 版本中添加了 aws_access_key_id 别名。 ec2_access_key 别名已弃用，并将在 2024-12-01 之后的一个版本中移除。 `EC2_ACCESS_KEY` 环境变量的支持已弃用，并将在 2024-12-01 之后的一个版本中移除。
身份验证字典	包含所有与客户端身份验证相关的信息。仅对新集群有效，不能更新。
sasl_iam 布尔值在 community.aws 5.5.0 中添加	是否启用 IAM 身份验证。选项 `false` `true`
sasl_scram 布尔值	是否启用 SASL/SCRAM 身份验证。选项 `false` `true`
tls_ca_arn 列表 / 元素=字符串	ACM 证书颁发机构 ARN 列表。
未经身份验证布尔值在 community.aws 5.5.0 中添加	显式启用或禁用身份验证的选项选项 `false` `true` ← (默认)
aws_ca_bundle 路径	验证 SSL 证书时要使用的 CA Bundle 的位置。也可以使用 `AWS_CA_BUNDLE` 环境变量。
aws_config 字典	用于修改 botocore 配置的字典。可以在 AWS 文档中找到参数 https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html#botocore.config.Config。
configuration_arn 字符串	要使用的配置的 ARN。当 state=present 时，此参数是必需的。
configuration_revision 整数	要使用的配置的修订版本。当 state=present 时，此参数是必需的。
debug_botocore_endpoint_logs 布尔值	使用 `botocore.endpoint` 记录器来解析在任务期间进行的唯一（而不是总计）`"resource:action"` API 调用，将集合输出到任务结果中的 resource_actions 密钥。使用 `aws_resource_action` 回调将输出到在剧本期间进行的总列表。也可以使用 `ANSIBLE_DEBUG_BOTOCORE_LOGS` 环境变量。选项 `false` ← (默认) `true`
ebs_volume_size 整数	每个代理节点上的数据驱动器的 EBS 卷大小（以 GiB 为单位）。默认值： `100`
encryption 字典	包含所有与加密相关的信息。仅对新集群有效，不能更新。
in_transit 字典	传输过程中加密的详细信息。
client_broker 字符串	指示客户端和代理之间传输数据的加密设置。以下是可能的取值。TLS 表示仅通过 TLS 启用客户端-代理通信。TLS_PLAINTEXT 表示客户端-代理通信同时启用 TLS 加密数据和明文数据。PLAINTEXT 表示仅启用明文客户端-代理通信。选项 `"TLS"` ← (默认) `"TLS_PLAINTEXT"` `"PLAINTEXT"`
in_cluster 布尔值	设置为 true 时，表示集群的代理节点之间的通信已加密。设置为 false 时，通信以明文形式进行。选项 `false` `true` ← (默认)
kms_key_id 字符串	用于加密静止数据的 AWS KMS 密钥的 ARN。如果未指定 KMS 密钥，MSK 将为您创建一个并使用它。
endpoint_url 别名：ec2_url、aws_endpoint_url、s3_url 字符串	用于连接到非默认 AWS 端点的 URL。虽然这可以用于连接到其他与 AWS 兼容的服务，但 amazon.aws 和 community.aws 集合仅针对 AWS 进行了测试。也可以使用 `AWS_URL` 或 `EC2_URL` 环境变量，优先级依次递减。 ec2_url 和 s3_url 别名已弃用，将在 2024-12-01 之后的发行版中删除。对 `EC2_URL` 环境变量的支持已弃用，将在 2024-12-01 之后的发行版中删除。
enhanced_monitoring 字符串	指定 MSK 集群的监控级别。选项 `"DEFAULT"` ← (默认) `"PER_BROKER"` `"PER_TOPIC_PER_BROKER"` `"PER_TOPIC_PER_PARTITION"`
instance_type 字符串	用于 Kafka 代理的 Amazon EC2 实例类型。选项 `"kafka.t3.small"` ← (默认) `"kafka.m5.large"` `"kafka.m5.xlarge"` `"kafka.m5.2xlarge"` `"kafka.m5.4xlarge"` `"kafka.m5.8xlarge"` `"kafka.m5.12xlarge"` `"kafka.m5.16xlarge"` `"kafka.m5.24xlarge"` `"kafka.m7g.large"` `"kafka.m7g.xlarge"` `"kafka.m7g.2xlarge"` `"kafka.m7g.4xlarge"` `"kafka.m7g.8xlarge"` `"kafka.m7g.12xlarge"` `"kafka.m7g.16xlarge"`
logging 字典	日志配置。
cloudwatch 字典	代理日志的 CloudWatch Logs 目标的详细信息。
enabled 布尔值	指定是否将代理日志发送到指定的 CloudWatch Logs 目标。选项 `false` ← (默认) `true`
log_group 字符串	用作代理日志目标的 CloudWatch 日志组。
firehose 字典	用作代理日志目标的 Kinesis Data Firehose 传输流的详细信息。
delivery_stream 字符串	用作代理日志目标的 Kinesis Data Firehose 传输流。
enabled 布尔值	指定是否将代理日志发送到指定的 Kinesis Data Firehose 传输流。选项 `false` ← (默认) `true`
s3 字典	代理日志的 Amazon S3 目标的详细信息。
bucket 字符串	用作代理日志目标的 S3 bucket 名称。
enabled 布尔值	指定是否将代理日志发送到指定的 Amazon S3 目标。选项 `false` ← (默认) `true`
prefix 字符串	用作代理日志目标的 S3 前缀。
name 字符串 / 必需	集群的名称。
nodes 整数	集群中代理节点的数量。应大于或等于 2。默认： `3`
open_monitoring 字典	开放式监控的设置。
jmx_exporter 布尔值	指示是否要启用或禁用 JMX Exporter。选项 `false` ← (默认) `true`
node_exporter 布尔值	指示是否要启用或禁用 Node Exporter。选项 `false` ← (默认) `true`
profile 别名：aws_profile 字符串	用于身份验证的命名 AWS 配置文件。有关命名配置文件的更多信息，请参阅 AWS 文档 https://docs.aws.amazon.com/cli/latest/userguide/cli-configure-profiles.html。也可以使用 `AWS_PROFILE` 环境变量。 profile 选项与 aws_access_key、aws_secret_key 和 security_token 选项互斥。
purge_tags 布尔值	如果 `purge_tags=true` 并且设置了 `tags`，则将从资源中清除现有标签，以完全匹配 `tags` 参数定义的内容。如果未设置 `tags` 参数，则即使 `purge_tags=True`，也不会修改标签。以 `aws:` 开头的标签键由 Amazon 保留，无法修改。因此，在 `purge_tags` 参数中将忽略它们。有关更多信息，请参阅 Amazon 文档 https://docs.aws.amazon.com/general/latest/gr/aws_tagging.html#tag-conventions。选项 `false` `true` ← (默认)
region 别名：aws_region、ec2_region 字符串	要使用的 AWS 区域。对于 IAM、Route53 和 CloudFront 等全球服务，将忽略 region。也可以使用 `AWS_REGION` 或 `EC2_REGION` 环境变量。有关更多信息，请参阅 Amazon AWS 文档 http://docs.aws.amazon.com/general/latest/gr/rande.html#ec2_region。 ec2_region 别名已弃用，将在 2024-12-01 之后的发行版中删除。对 `EC2_REGION` 环境变量的支持已弃用，将在 2024-12-01 之后的发行版中删除。
secret_key 别名：aws_secret_access_key、aws_secret_key、ec2_secret_key 字符串	AWS 密钥访问密钥。有关访问令牌的更多信息，请参阅 AWS 文档 https://docs.aws.amazon.com/general/latest/gr/aws-sec-cred-types.html#access-keys-and-secret-access-keys。也可以使用 `AWS_SECRET_ACCESS_KEY`、`AWS_SECRET_KEY` 或 `EC2_SECRET_KEY` 环境变量，优先级依次递减。 secret_key 和 profile 选项互斥。为了与 AWS botocore SDK 保持一致，在 5.1.0 版中添加了 aws_secret_access_key 别名。 ec2_secret_key 别名已弃用，将在 2024-12-01 之后的发行版中删除。对 `EC2_SECRET_KEY` 环境变量的支持已弃用，将在 2024-12-01 之后的发行版中删除。
security_groups 列表 / 元素=字符串	要与弹性网络接口关联的 AWS 安全组，用于指定谁可以连接到 Amazon MSK 集群并与之通信。如果未指定安全组，Amazon MSK 将使用与 VPC 关联的默认安全组。
session_token 别名：aws_session_token、security_token、aws_security_token、access_token 字符串	与临时凭证一起使用的 AWS STS 会话令牌。有关访问令牌的更多信息，请参阅 AWS 文档 https://docs.aws.amazon.com/general/latest/gr/aws-sec-cred-types.html#access-keys-and-secret-access-keys。也可以使用 `AWS_SESSION_TOKEN`、`AWS_SECURITY_TOKEN` 或 `EC2_SECURITY_TOKEN` 环境变量，优先级依次递减。 security_token 和 profile 选项互斥。在 3.2.0 版中添加了 aws_session_token 和 session_token 别名，在 6.0.0 版中将参数名称从 security_token 重命名为 session_token。 security_token、aws_security_token 和 access_token 别名已弃用，将在 2024-12-01 之后的发行版中删除。对 `EC2_SECRET_KEY` 和 `AWS_SECURITY_TOKEN` 环境变量的支持已弃用，将在 2024-12-01 之后的发行版中删除。
state 字符串	创建（`present`）或删除（`absent`）集群。选项 `"present"` ← (默认) `"absent"`
subnets 列表 / 元素=字符串	要连接到客户端虚拟专用云 (VPC) 中的子网列表。AWS 在这些子网内创建弹性网络接口。客户端应用程序使用弹性网络接口来生成和使用数据。客户端子网不能位于可用区 us-east-1e。当 state=present 时，此参数是必需的。
tags 别名：resource_tags 字典	表示要应用于资源的标签的字典。如果未设置`tags`参数，则不会修改标签。
validate_certs 布尔值	设置为`false`时，将不会验证与AWS API通信的SSL证书。强烈建议不要设置validate_certs=false，作为替代方案，请考虑设置aws_ca_bundle。选项 `false` `true` ← (默认)
version 字符串	Apache Kafka的版本。此版本应存在于给定的配置中。当 state=present 时，此参数是必需的。
wait 布尔值	是否等待集群可用或被删除。选项 `false` ← (默认) `true`
wait_timeout 整数	等待的秒数。集群创建最多可能需要20-30分钟。默认值： `3600`

备注 

注意

所有操作都很耗时，例如创建需要20-30分钟，更新Kafka版本需要一个多小时，更新配置需要10-15分钟；
集群的代理在可用区之间均匀分布，可用区的数量等于子网的数量。
注意：对于模块，环境变量和配置文件是从Ansible的“主机”上下文而不是“控制器”上下文读取的。因此，可能需要将文件显式复制到“主机”。对于查找和连接插件，环境变量和配置文件是从Ansible的“控制器”上下文而不是“主机”上下文读取的。
Ansible使用的AWS SDK (boto3)也可能从Ansible“主机”上下文中的配置文件（通常为~/.aws/credentials）读取凭据和其他设置（例如区域）的默认值。更多信息，请参见 https://boto3.amazonaws.com/v1/documentation/api/latest/guide/credentials.html。

示例 

# Note: These examples do not set authentication details, see the AWS Guide for details.

- community.aws.msk_cluster:
    name: kafka-cluster
    state: present
    version: 2.6.1
    nodes: 6
    ebs_volume_size: "{{ aws_msk_options.ebs_volume_size }}"
    subnets:
      - subnet-e3b48ce7c25861eeb
      - subnet-2990c8b25b07ddd43
      - subnet-d9fbeaf46c54bfab6
    wait: true
    wait_timeout: 1800
    configuration_arn: arn:aws:kafka:us-east-1:123456789012:configuration/kafka-cluster-configuration/aaaaaaaa-bbbb-4444-3333-ccccccccc-1
    configuration_revision: 1

- community.aws.msk_cluster:
    name: kafka-cluster
    state: absent

返回值 

常见的返回值已在此处记录，以下是此模块特有的字段

键	描述
bootstrap_broker_string complex	客户端应用程序可用于引导的代理列表。返回：state=present且集群状态为ACTIVE
plain 字符串	包含一个或多个主机名:端口对的字符串。返回：成功
tls 字符串	包含一个或多个DNS名称（或IP）和TLS端口对的字符串。返回：成功
cluster_info 字典	MSK集群的描述。返回：state=present
response 字典	实际API调用的响应。返回：始终返回示例： `{}`

作者

Daniil Kupchenko (@oukooveu)