amazon.aws.s3_bucket 模块 – 管理 AWS、DigitalOcean、Ceph、Walrus、FakeS3 和 StorageGRID 中的 S3 存储桶

注意

此模块是 amazon.aws 集合(版本 9.0.0)的一部分。

如果您使用的是 ansible 包,您可能已经安装了此集合。它不包含在 ansible-core 中。要检查是否已安装,请运行 ansible-galaxy collection list

要安装它,请使用:ansible-galaxy collection install amazon.aws。您需要进一步的要求才能使用此模块,请参阅 要求 以获取详细信息。

要在 playbook 中使用它,请指定:amazon.aws.s3_bucket

amazon.aws 1.0.0 中的新增功能

概要

  • 管理 S3 存储桶。

  • 与 AWS、DigitalOcean、Ceph、Walrus、FakeS3 和 StorageGRID 兼容。

  • 当使用非 AWS 服务时,应指定 endpoint_url

要求

执行此模块的主机需要以下要求。

  • python >= 3.6

  • boto3 >= 1.28.0

  • botocore >= 1.31.0

参数

参数

注释

accelerate_enabled

布尔值

在 amazon.aws 8.1.0 中添加

启用 Amazon S3 Transfer Acceleration,发送的数据将通过优化的网络路径路由到 Amazon S3。

传输加速在 AWS GovCloud (US) 中不可用。

请参阅 https://docs.aws.amazon.com/govcloud-us/latest/UserGuide/govcloud-s3.html#govcloud-S3-diffs

选项

  • false

  • true

access_key

别名:aws_access_key_id、aws_access_key、ec2_access_key

字符串

AWS 访问密钥 ID。

有关访问令牌的更多信息,请参阅 AWS 文档 https://docs.aws.amazon.com/general/latest/gr/aws-sec-cred-types.html#access-keys-and-secret-access-keys

也可以使用 AWS_ACCESS_KEY_IDAWS_ACCESS_KEYEC2_ACCESS_KEY 环境变量,优先级依次降低。

aws_access_keyprofile 选项是互斥的。

为了与 AWS botocore SDK 保持一致,在 5.1.0 版本中添加了 aws_access_key_id 别名。

ec2_access_key 别名已弃用,将在 2024-12-01 之后的版本中删除。

EC2_ACCESS_KEY 环境变量的支持已弃用,将在 2024-12-01 之后的版本中删除。

acl

字符串

在 amazon.aws 3.1.0 中添加

要应用于存储桶的预设 ACL。

如果您的存储桶对 S3 对象所有权使用存储桶所有者强制设置,则 ACL 将被禁用,不再影响权限。

选项

  • "private"

  • "public-read"

  • "public-read-write"

  • "authenticated-read"

aws_ca_bundle

路径

用于验证 SSL 证书的 CA 包的位置。

也可以使用 AWS_CA_BUNDLE 环境变量。

aws_config

字典

用于修改 botocore 配置的字典。

可以在 AWS 文档中找到参数 https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html#botocore.config.Config

bucket_key_enabled

布尔值

在 amazon.aws 4.1.0 中添加

为新对象启用 SSE-KMS 的 S3 存储桶密钥。

有关更多信息,请参阅 AWS 文档 https://docs.aws.amazon.com/AmazonS3/latest/userguide/bucket-key.html

仅当 encryption=aws:kms 时,才支持存储桶密钥加密。

选项

  • false

  • true

ceph

别名:rgw

布尔值

启用与 Ceph RGW 的 API 兼容性。

它会考虑与 Ceph 一起使用的 S3 API 子集,以便在可能的情况下提供相同的模块行为。

如果 ceph=true,则需要 endpoint_url

选项

  • false ← (默认)

  • true

debug_botocore_endpoint_logs

布尔值

使用 botocore.endpoint 日志记录器来解析任务期间进行的唯一(而非总计)"resource:action" API 调用,并将该集合输出到任务结果中的 resource_actions 键。使用 aws_resource_action 回调输出 playbook 期间的总列表。

也可以使用 ANSIBLE_DEBUG_BOTOCORE_LOGS 环境变量。

选项

  • false ← (默认)

  • true

delete_object_ownership

布尔值

在 amazon.aws 2.0.0 中添加

删除存储桶的所有权控制。

此选项不能与 object_ownership 定义一起使用。

选项

  • false ← (默认)

  • true

delete_public_access

布尔值

在 amazon.aws 1.3.0 中添加

从存储桶中删除公共访问阻止配置。

此选项不能与 public_access 定义一起使用。

选项

  • false ← (默认)

  • true

dualstack

布尔值

在 amazon.aws 6.0.0 中添加

启用 Amazon S3 双堆栈终端节点,允许使用 IPv4 和 IPv6 进行 S3 通信。

endpoint_url 互斥。

选项

  • false ← (默认)

  • true

encryption

字符串

描述应用于存储桶中新对象的默认服务器端加密。为了删除服务器端加密,需要显式将加密设置为“none”。

注意:自 2023 年 1 月起,Amazon S3 不支持禁用 S3 存储桶上的加密。

选项

  • "none"

  • "AES256"

  • "aws:kms"

encryption_key_id

字符串

用于默认加密的 KMS 主密钥 ID。

如果未指定,则默认为 AWS 提供的 KMS 密钥。

仅当 encryptionaws:kms 时才支持此参数。

endpoint_url

别名:ec2_url, aws_endpoint_url, s3_url

字符串

连接到而不是默认 AWS 终端节点的 URL。虽然这可以用于连接到其他与 AWS 兼容的服务,但 amazon.aws 和 community.aws 集合仅针对 AWS 进行了测试。

也可以使用 AWS_URLEC2_URL 环境变量,优先级递减。

ec2_urls3_url 别名已被弃用,将在 2024-12-01 之后的版本中删除。

EC2_URL 环境变量的支持已被弃用,将在 2024-12-01 之后的版本中删除。

force

布尔值

尝试删除存储桶时,先删除存储桶中的所有键(包括版本和删除标记)(S3 存储桶必须为空才能成功删除)。

选项

  • false ← (默认)

  • true

inventory

list / elements=dictionary

启用 S3 清单,每天或每周保存 S3 存储桶上的对象列表及其相应的元数据。

destination

dictionary / required

包含有关在哪里发布清单结果的信息。

account_id

字符串

拥有目标 S3 存储桶的帐户 ID。如果未提供帐户 ID,则在导出数据之前不会验证所有者。

bucket

string / required

将发布清单结果的存储桶的 Amazon 资源名称 (ARN)。

format

string / required

指定清单结果的输出格式。

选项

  • "CSV"

  • "ORC"

  • "Parquet"

prefix

字符串

添加到所有清单结果的前缀。

filter

字符串

对象必须具有才能包含在清单结果中的前缀。

id

string / required

用于标识清单配置的 ID。

included_object_versions

string / required

要包含在清单列表中的对象版本。如果设置为 All,则列表包含所有对象版本,这会将版本相关字段 VersionId、IsLatest 和 DeleteMarker 添加到列表中。如果设置为 Current,则列表不包含这些版本相关字段。

选项

  • "All"

  • "Current"

optional_fields

list / elements=string

包含清单结果中包含的可选字段。

选项

  • "Size"

  • "LastModifiedDate"

  • "StorageClass"

  • "ETag"

  • "IsMultipartUploaded"

  • "ReplicationStatus"

  • "EncryptionStatus"

  • "ObjectLockRetainUntilDate"

  • "ObjectLockMode"

  • "ObjectLockLegalHoldStatus"

  • "IntelligentTieringAccessTier"

  • "BucketKeyStatus"

  • "ChecksumAlgorithm"

  • "ObjectAccessControlList"

  • "ObjectOwner"

schedule

string / required

指定生成清单结果的计划。

选项

  • "Daily"

  • "Weekly"

name

string / required

S3 存储桶的名称。

object_lock_default_retention

字典

在 amazon.aws 8.1.0 中添加

默认对象锁定配置,默认情况下将应用于放置在指定存储桶中的每个新对象。

必须包含 object_lock_enabled 并设置为 True

对象锁定保留策略无法删除。

days

integer

您希望为默认保留期指定的天数。

object_lock_default_retention.years 互斥。

mode

string / required

保留模式的类型。

选项

  • "GOVERNANCE"

  • "COMPLIANCE"

years

integer

您希望为默认保留期指定的年数。

object_lock_default_retention.days 互斥。

object_lock_enabled

布尔值

在 amazon.aws 5.3.0 中添加

是否启用 S3 对象锁定。

创建新存储桶时,默认为 false

选项

  • false

  • true

object_ownership

字符串

在 amazon.aws 2.0.0 中添加

允许存储桶的所有权控制。

BucketOwnerEnforced - ACL 已禁用,不再影响对存储桶的访问权限。设置或更新 ACL 的请求失败。但是,支持读取 ACL 的请求。存储桶所有者拥有完全所有权和控制权。对象写入者不再具有完全所有权和控制权。

BucketOwnerPreferred - 如果使用 bucket-owner-full-control 罐装 ACL 上传对象,则上传到存储桶的对象的所有权将更改为存储桶所有者。

ObjectWriter - 如果使用 bucket-owner-full-control 罐装 ACL 上传对象,则上传帐户将拥有该对象。

此选项不能与 delete_object_ownership 定义一起使用。

BucketOwnerEnforced 已在 3.2.0 版本中添加。

注意:在 2023 年 4 月底,Amazon 将默认设置更新为 BucketOwnerEnforced

选项

  • "BucketOwnerEnforced"

  • "BucketOwnerPreferred"

  • "ObjectWriter"

policy

json

作为字符串的 JSON 策略。设置为字符串 "null" 以强制不存在策略。

profile

别名:aws_profile

字符串

用于身份验证的已命名的 AWS 配置文件。

有关命名配置文件的更多信息,请参阅 AWS 文档 https://docs.aws.amazon.com/cli/latest/userguide/cli-configure-profiles.html

也可以使用 AWS_PROFILE 环境变量。

profile 选项与 aws_access_keyaws_secret_keysecurity_token 选项互斥。

public_access

字典

在 amazon.aws 1.3.0 中添加

配置 S3 存储桶的公共访问阻止。

此选项不能与 delete_public_access 一起使用。

注意:在 2023 年 4 月底,Amazon 更新了默认设置,默认情况下阻止公共访问。虽然此模块的默认设置保持不变,但必须显式传递 public_access 参数以启用公共访问 ACL。

block_public_acls

布尔值

设置 BlockPublicAcls 值。

选项

  • false ← (默认)

  • true

block_public_policy

布尔值

设置 BlockPublicPolicy 值。

选项

  • false ← (默认)

  • true

ignore_public_acls

布尔值

设置 IgnorePublicAcls 值。

选项

  • false ← (默认)

  • true

restrict_public_buckets

布尔值

设置 RestrictPublicAcls 值。

选项

  • false ← (默认)

  • true

purge_tags

布尔值

如果 purge_tags=true 且设置了 tags,则将从资源中清除现有标签,以完全匹配 tags 参数定义的标签。

如果未设置 tags 参数,则不会修改标签,即使 purge_tags=True

aws: 开头的标签键由 Amazon 保留,无法修改。因此,出于 purge_tags 参数的目的,它们将被忽略。有关更多信息,请参阅 Amazon 文档 https://docs.aws.amazon.com/general/latest/gr/aws_tagging.html#tag-conventions

选项

  • false

  • true ← (默认)

region

别名: aws_region, ec2_region

字符串

要使用的 AWS 区域。

对于诸如 IAM、Route53 和 CloudFront 等全局服务,region 将被忽略。

也可以使用 AWS_REGIONEC2_REGION 环境变量。

有关更多信息,请参阅 Amazon AWS 文档 http://docs.aws.amazon.com/general/latest/gr/rande.html#ec2_region

ec2_region 别名已被弃用,将在 2024-12-01 之后的版本中删除

EC2_REGION 环境变量的支持已被弃用,将在 2024-12-01 之后的版本中删除。

requester_pays

布尔值

对于请求者付费存储桶,由请求者而不是存储桶所有者支付请求成本和从存储桶下载数据的费用。

选项

  • false

  • true

secret_key

别名: aws_secret_access_key, aws_secret_key, ec2_secret_key

字符串

AWS secret access key。

有关访问令牌的更多信息,请参阅 AWS 文档 https://docs.aws.amazon.com/general/latest/gr/aws-sec-cred-types.html#access-keys-and-secret-access-keys

也可以按优先级递减的顺序使用 AWS_SECRET_ACCESS_KEYAWS_SECRET_KEYEC2_SECRET_KEY 环境变量。

secret_keyprofile 选项互斥。

aws_secret_access_key 别名在 5.1.0 版本中添加,以与 AWS botocore SDK 保持一致。

ec2_secret_key 别名已被弃用,将在 2024-12-01 之后的版本中删除。

EC2_SECRET_KEY 环境变量的支持已被弃用,将在 2024-12-01 之后的版本中删除。

session_token

别名: aws_session_token, security_token, aws_security_token, access_token

字符串

用于临时凭证的 AWS STS 会话令牌。

有关访问令牌的更多信息,请参阅 AWS 文档 https://docs.aws.amazon.com/general/latest/gr/aws-sec-cred-types.html#access-keys-and-secret-access-keys

也可以按优先级递减的顺序使用 AWS_SESSION_TOKENAWS_SECURITY_TOKENEC2_SECURITY_TOKEN 环境变量。

security_tokenprofile 选项互斥。

别名 aws_session_tokensession_token 在 3.2.0 版本中添加,参数在 6.0.0 版本中从 security_token 重命名为 session_token

security_tokenaws_security_tokenaccess_token 别名已被弃用,将在 2024-12-01 之后的版本中删除。

EC2_SECRET_KEYAWS_SECURITY_TOKEN 环境变量的支持已被弃用,将在 2024-12-01 之后的版本中删除。

state

字符串

创建或删除 S3 存储桶。

选项

  • "present" ← (默认)

  • "absent"

tags

别名: resource_tags

字典

一个表示要应用于资源的标签的字典。

如果未设置 tags 参数,则不会修改标签。

validate_bucket_name

布尔值

在 amazon.aws 3.1.0 中添加

是否应验证存储桶名称以符合 AWS S3 命名规则。

默认情况下启用,对于不强制执行这些规则的 S3 后端,可以禁用此选项。

请参阅 https://docs.aws.amazon.com/AmazonS3/latest/userguide/bucketnamingrules.html

选项

  • false

  • true ← (默认)

validate_certs

布尔值

当设置为 false 时,与 AWS API 通信时将不验证 SSL 证书。

强烈建议不要设置 validate_certs=false,作为替代方案,请考虑设置 aws_ca_bundle

选项

  • false

  • true ← (默认)

versioning

布尔值

是否启用或禁用版本控制(请注意,一旦启用版本控制,则只能暂停)。

选项

  • false

  • true

备注

注意

  • 如果端点未实现 requestPaymentpolicytaggingversioning 操作/API,如果每个参数都满足以下条件,则模块不会失败。requester_paysfalsepolicytagsversioningNone

  • 在 5.0.0 版本中,s3_url 参数已合并到 endpoint_url 参数中,s3_url 仍然是 endpoint_url 的别名。

  • 对于 Walrus,endpoint_url 应设置为不带方案或路径的端点的 FQDN。

  • S3_URL 环境变量的支持已被弃用,将在 2024-12-01 之后的版本中删除,请使用 endpoint_url 参数或 AWS_URL 环境变量。

  • 注意: 对于模块,环境变量和配置文件是从 Ansible “主机” 上下文中读取的,而不是从“控制器” 上下文中读取的。因此,可能需要将文件显式复制到“主机”。对于查找和连接插件,环境变量和配置文件是从 Ansible “控制器” 上下文中读取的,而不是从“主机” 上下文中读取的。

  • Ansible 使用的 AWS SDK (boto3) 也可能会从 Ansible “主机” 上下文(通常为 ~/.aws/credentials)中的配置文件中读取凭证和其他设置(例如区域)的默认值。有关更多信息,请参阅 https://boto3.amazonaws.com/v1/documentation/api/latest/guide/credentials.html

示例

# Note: These examples do not set authentication details, see the AWS Guide for details.

# Create a simple S3 bucket
- amazon.aws.s3_bucket:
    name: mys3bucket
    state: present

# Create a simple S3 bucket on Ceph Rados Gateway
- amazon.aws.s3_bucket:
    name: mys3bucket
    endpoint_url: http://your-ceph-rados-gateway-server.xxx
    ceph: true

# Remove an S3 bucket and any keys it contains
- amazon.aws.s3_bucket:
    name: mys3bucket
    state: absent
    force: true

# Create a bucket, add a policy from a file, enable requester pays, enable versioning and tag
- amazon.aws.s3_bucket:
    name: mys3bucket
    policy: "{{ lookup('file','policy.json') }}"
    requester_pays: true
    versioning: true
    tags:
      example: tag1
      another: tag2

# Create a simple DigitalOcean Spaces bucket using their provided regional endpoint
- amazon.aws.s3_bucket:
    name: mydobucket
    endpoint_url: 'https://nyc3.digitaloceanspaces.com'

# Create a bucket with AES256 encryption
- amazon.aws.s3_bucket:
    name: mys3bucket
    state: present
    encryption: "AES256"

# Create a bucket with aws:kms encryption, KMS key
- amazon.aws.s3_bucket:
    name: mys3bucket
    state: present
    encryption: "aws:kms"
    encryption_key_id: "arn:aws:kms:us-east-1:1234/5678example"

# Create a bucket with aws:kms encryption, Bucket key
- amazon.aws.s3_bucket:
    name: mys3bucket
    bucket_key_enabled: true
    encryption: "aws:kms"

# Create a bucket with aws:kms encryption, default key
- amazon.aws.s3_bucket:
    name: mys3bucket
    state: present
    encryption: "aws:kms"

# Create a bucket with public policy block configuration
- amazon.aws.s3_bucket:
    name: mys3bucket
    state: present
    public_access:
      block_public_acls: true
      ignore_public_acls: true
      ## keys == 'false' can be omitted, undefined keys defaults to 'false'
      # block_public_policy: false
      # restrict_public_buckets: false

# Delete public policy block from bucket
- amazon.aws.s3_bucket:
    name: mys3bucket
    state: present
    delete_public_access: true

# Create a bucket with object ownership controls set to ObjectWriter
- amazon.aws.s3_bucket:
    name: mys3bucket
    state: present
    object_ownership: ObjectWriter

# Delete onwership controls from bucket
- amazon.aws.s3_bucket:
    name: mys3bucket
    state: present
    delete_object_ownership: true

# Delete a bucket policy from bucket
- amazon.aws.s3_bucket:
    name: mys3bucket
    state: present
    policy: "null"

# This example grants public-read to everyone on bucket using ACL
- amazon.aws.s3_bucket:
    name: mys3bucket
    state: present
    acl: public-read

# Enable transfer acceleration
- amazon.aws.s3_bucket:
    name: mys3bucket
    state: present
    accelerate_enabled: true

# Default Object Lock retention
- amazon.aws.s3_bucket:
    name: mys3bucket
    state: present
    object_lock_enabled: true
    object_lock_default_retention:
      mode: governance
      days: 1
# Bucket with inventory configuration:
- amazon.aws.s3_bucket:
    name: mys3bucket
    state: present
    inventory:
      - id: mys3bucket-inventory-id
        destination:
          bucket: "arn:aws:s3:::mys3inventorybucket"
        optional_fields:
          - "Size"
        included_object_versions: "All"
        schedule: "Weekly"

返回值

常见的返回值记录在这里,以下是此模块特有的字段

描述

accelerate_enabled

布尔值

S3 存储桶加速状态。

返回: state=present

示例: true

acl

字典

S3 存储桶的规范 ACL。

返回:state=present 时。

示例: "public-read"

bucket_inventory

list / elements=string

S3 存储桶清单配置。

返回:state=present

示例: [{"Destination": {"S3BucketDestination": {"Bucket": "arn:aws:s3:::9c2a337ba5fd64de777f499441f83093-inventory-target", "Format": "CSV"}}, "Id": "9c2a337ba5fd64de777f499441f83093-inventory-target", "IncludedObjectVersions": "All", "IsEnabled": true, "OptionalFields": [], "Schedule": {"Frequency": "Daily"}}]

encryption

字典

S3 存储桶中对象的服务器端加密。

返回:state=present

示例: {"SSEAlgorithm": "AES256"}

name

字符串

存储桶名称。

返回:state=present

示例: "a-testing-bucket-name"

object_lock_default_retention

字典

S3 存储桶的对象锁定保留策略。

返回:state=present

示例: {"Days": 1, "Mode": "GOVERNANCE", "Years": 0}

object_lock_enabled

布尔值

是否启用 S3 对象锁定。

返回:state=present

示例: false

object_ownership

字符串

S3 存储桶的所有权控制。

返回:state=present

示例: "BucketOwnerPreferred"

policy

字典

S3 存储桶的策略。

返回:state=present

示例: {"Statement": [{"Action": "s3:GetObject", "Effect": "Allow", "Principal": "*", "Resource": "arn:aws:s3:::2d3ce10a8210d36d6b4d23b822892074complex/*", "Sid": "AddPerm"}], "Version": "2012-10-17"}

public_access_block

字典

存储桶公共访问阻止配置。

返回:state=present

示例: {"PublicAccessBlockConfiguration": {"BlockPublicAcls": true, "BlockPublicPolicy": true, "IgnorePublicAcls": true, "RestrictPublicBuckets": true}}

PublicAccessBlockConfiguration

字典

当前对该 Amazon S3 存储桶生效的 PublicAccessBlock 配置。

返回: success

BlockPublicAcls

布尔值

指定 Amazon S3 是否应阻止对此存储桶和该存储桶中的对象的公共访问控制列表 (ACL)。

返回: success

BlockPublicPolicy

布尔值

指定 Amazon S3 是否应阻止此存储桶的公共存储桶策略。

返回: success

IgnorePublicAcls

布尔值

指定 Amazon S3 是否应忽略此存储桶和该存储桶中的对象的公共 ACL。

返回: success

RestrictPublicBuckets

布尔值

指定 Amazon S3 是否应限制此存储桶的公共存储桶策略。

返回: success

requester_pays

布尔值

表示请求者已成功为该请求付费。

返回:state=present

示例: true

tags

字典

S3 存储桶的标签。

返回:state=present

示例: {"Tag1": "tag1", "Tag2": "tag2"}

versioning

字典

S3 存储桶的版本控制配置。

返回:state=present

示例: {"MfaDelete": "Disabled", "Versioning": "Enabled"}

MfaDelete

字符串

指定是否在存储桶版本控制配置中启用了 MFA 删除。

返回:state=presnet 并且在存储桶上配置了 MfaDelete 时。

Versioning

字符串

存储桶的版本控制状态。

返回: always

作者

  • Rob White (@wimnat)

  • Aubin Bikouo (@abikouo)