community.aws.s3_sync 模块 – 高效上传多个文件到 S3

注意

此模块是 community.aws 集合 (版本 9.0.0) 的一部分。

如果您使用的是 ansible 包，则可能已经安装了此集合。它不包含在 ansible-core 中。要检查它是否已安装，请运行 ansible-galaxy collection list。

要安装它，请使用： ansible-galaxy collection install community.aws。您需要进一步的要求才能使用此模块，有关详细信息，请参阅 要求。

要在剧本中使用它，请指定： community.aws.s3_sync。

community.aws 1.0.0 中的新增功能

概要

• S3 模块很棒，但对于大量文件来说速度非常慢——即使只有十几个文件也会很明显。除了速度之外，它还处理通配符、包含/排除、MIME 类型、过期映射、递归、缓存控制和智能目录映射。

要求

以下是执行此模块的主机所需的条件。

• python >= 3.6

• boto3 >= 1.28.0

• botocore >= 1.31.0

参数

参数	注释
access_key 别名：aws_access_key_id、aws_access_key、ec2_access_key 字符串	AWS 访问密钥 ID。 有关访问令牌的更多信息，请参阅 AWS 文档 https://docs.aws.amazon.com/general/latest/gr/aws-sec-cred-types.html#access-keys-and-secret-access-keys。 也可以按优先级递减的顺序使用 AWS_ACCESS_KEY_ID、AWS_ACCESS_KEY 或 EC2_ACCESS_KEY 环境变量。 aws_access_key 和 profile 选项是互斥的。 为了与 AWS botocore SDK 保持一致，在 5.1.0 版本中添加了 aws_access_key_id 别名。 ec2_access_key 别名已被弃用，并将在 2024-12-01 后的某个版本中删除。 EC2_ACCESS_KEY 环境变量的支持已被弃用，并将在 2024-12-01 后的某个版本中删除。
aws_ca_bundle 路径	验证 SSL 证书时使用的 CA 捆绑包的位置。 也可以使用 AWS_CA_BUNDLE 环境变量。
aws_config 字典	用于修改 botocore 配置的字典。 参数可在 AWS 文档中找到 https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html#botocore.config.Config。
bucket 字符串 / 必需	存储桶名称。
cache_control 字符串	上传的对象上设置的 Cache-Control 标头。 指令用逗号分隔。 默认值： ""
debug_botocore_endpoint_logs 布尔值	使用 botocore.endpoint 记录器来解析任务期间进行的唯一（而不是总计）"resource:action" API 调用，并将集合输出到任务结果中的 resource_actions 密钥。使用 aws_resource_action 回调将输出到剧本期间进行的总列表。 也可以使用 ANSIBLE_DEBUG_BOTOCORE_LOGS 环境变量。 选项 false ← (默认) true
delete 布尔值	删除存储桶中存在但在文件根目录中不存在的远程文件。 选项 false ← (默认) true
endpoint_url 别名：ec2_url、aws_endpoint_url、s3_url 字符串	连接到的 URL，而不是默认的 AWS 端点。虽然这可以用于连接到其他与 AWS 兼容的服务，但 amazon.aws 和 community.aws 集合仅针对 AWS 进行测试。 也可以按优先级递减的顺序使用 AWS_URL 或 EC2_URL 环境变量。 ec2_url 和 s3_url 别名已被弃用，并将在 2024-12-01 后的某个版本中删除。 EC2_URL 环境变量的支持已被弃用，并将在 2024-12-01 后的某个版本中删除。
exclude 字符串	Shell 模式样式的文件匹配。 在 include 之后使用以删除文件（例如，跳过 "*.txt"） 对于多个模式，请用逗号分隔它们。 默认值： ".*"
file_change_strategy 字符串	差异确定方法，允许仅更改同步。与 rsync 不同，文件不会被修补——它们会被完全跳过或完全上传。 如果文件大小不匹配或本地文件的修改日期比 s3 的版本新，则 date_size 将上传。 checksum 将根据 s3 对分块 md5 的实现比较 etag 值。 force 将始终上传所有文件。 选项 "force" "checksum" "date_size" ← (默认)
file_root 路径 / 必需	用于同步的文件/目录路径。这是一个本地路径。 此根路径将从密钥名称中清除，因此子目录将保留为密钥。
include 字符串	Shell 模式样式的文件匹配。 在 exclude 之前使用以确定合格文件（例如，只有 "*.gif"） 对于多个模式，请用逗号分隔它们。 默认值： "*"
key_prefix 字符串	除了文件路径之外，还使用此前缀作为 s3 路径前缀。模块将在必要时在prefix末尾添加斜杠。 默认值： ""
mime_map 字典	扩展到 MIME 类型的字典条目。这将覆盖任何默认/嗅探到的 MIME 类型。例如 {".txt": "application/text", ".yml": "application/text"}
模式 字符串	同步方向。 选项 "push" ← (默认)
权限 字符串	应用于同步文件的预设 ACL。 更改此 ACL 只会更改新同步的文件，不会触发完全重新上传。 选项 "private" "public-read" "public-read-write" "authenticated-read" "aws-exec-read" "bucket-owner-read" "bucket-owner-full-control"
profile 别名：aws_profile 字符串	用于身份验证的命名 AWS 配置文件。 有关命名配置文件的更多信息，请参阅 AWS 文档 https://docs.aws.amazon.com/cli/latest/userguide/cli-configure-profiles.html。 也可以使用 AWS_PROFILE 环境变量。 profile 选项与 aws_access_key、aws_secret_key 和 security_token 选项互斥。
region 别名：aws_region, ec2_region 字符串	要使用的 AWS 区域。 对于 IAM、Route53 和 CloudFront 等全局服务，将忽略 region。 也可以使用 AWS_REGION 或 EC2_REGION 环境变量。 有关更多信息，请参阅 Amazon AWS 文档 http://docs.aws.amazon.com/general/latest/gr/rande.html#ec2_region。 ec2_region 别名已弃用，将在 2024-12-01 之后的一个版本中移除。 对 EC2_REGION 环境变量的支持已弃用，将在 2024-12-01 之后的一个版本中移除。
secret_key 别名：aws_secret_access_key, aws_secret_key, ec2_secret_key 字符串	AWS 密钥。 有关访问令牌的更多信息，请参阅 AWS 文档 https://docs.aws.amazon.com/general/latest/gr/aws-sec-cred-types.html#access-keys-and-secret-access-keys。 也可以使用 AWS_SECRET_ACCESS_KEY、AWS_SECRET_KEY 或 EC2_SECRET_KEY 环境变量，优先级依次递减。 secret_key 和 profile 选项互斥。 aws_secret_access_key 别名在 5.1.0 版本中添加，以与 AWS botocore SDK 保持一致。 ec2_secret_key 别名已弃用，将在 2024-12-01 之后的一个版本中移除。 对 EC2_SECRET_KEY 环境变量的支持已弃用，将在 2024-12-01 之后的一个版本中移除。
session_token 别名：aws_session_token, security_token, aws_security_token, access_token 字符串	与临时凭据一起使用的 AWS STS 会话令牌。 有关访问令牌的更多信息，请参阅 AWS 文档 https://docs.aws.amazon.com/general/latest/gr/aws-sec-cred-types.html#access-keys-and-secret-access-keys。 也可以使用 AWS_SESSION_TOKEN、AWS_SECURITY_TOKEN 或 EC2_SECURITY_TOKEN 环境变量，优先级依次递减。 security_token 和 profile 选项互斥。 别名 aws_session_token 和 session_token 在 3.2.0 版本中添加，参数在 6.0.0 版本中从 security_token 重命名为 session_token。 security_token、aws_security_token 和 access_token 别名已弃用，将在 2024-12-01 之后的一个版本中移除。 对 EC2_SECRET_KEY 和 AWS_SECURITY_TOKEN 环境变量的支持已弃用，将在 2024-12-01 之后的一个版本中移除。
storage_class 字符串 在 community.aws 1.5.0 中添加	要与添加到 S3 存储桶的每个对象关联的存储类。 选项 "STANDARD" ← (默认) "REDUCED_REDUNDANCY" "STANDARD_IA" "ONEZONE_IA" "INTELLIGENT_TIERING" "GLACIER" "DEEP_ARCHIVE" "OUTPOSTS"
validate_certs 布尔值	设置为 false 时，将不会验证与 AWS API 通信的 SSL 证书。 强烈建议不要设置 validate_certs=false，作为替代方案，请考虑改为设置 aws_ca_bundle。 选项 false true ← (默认)

备注

注意

• 警告：对于模块，环境变量和配置文件是从 Ansible 的“主机”上下文而不是“控制器”上下文读取的。因此，可能需要将文件显式复制到“主机”。对于查找和连接插件，环境变量和配置文件是从 Ansible 的“控制器”上下文而不是“主机”上下文读取的。

• Ansible 使用的 AWS SDK (boto3) 也可能从 Ansible“主机”上下文中的配置文件（通常为 ~/.aws/credentials）读取凭据和其他设置的默认值，例如区域。有关更多信息，请参阅 https://boto3.amazonaws.com/v1/documentation/api/latest/guide/credentials.html。

示例

- name: basic upload
  community.aws.s3_sync:
    bucket: tedder
    file_root: roles/s3/files/

- name: basic upload using the glacier storage class
  community.aws.s3_sync:
    bucket: tedder
    file_root: roles/s3/files/
    storage_class: GLACIER

- name: basic individual file upload
  community.aws.s3_sync:
    bucket: tedder
    file_root: roles/s3/files/file_name

- name: all the options
  community.aws.s3_sync:
    bucket: tedder
    file_root: roles/s3/files
    mime_map:
      .yml: application/text
      .json: application/text
    key_prefix: config_files/web
    file_change_strategy: force
    permission: public-read
    cache_control: "public, max-age=31536000"
    storage_class: "GLACIER"
    include: "*"
    exclude: "*.txt,.*"

返回值

常见的返回值已在 此处 记录，以下是此模块特有的字段

键	描述
filelist_actionable 列表 / 元素=字符串	将在策略决定后上传的文件的文件列表（字典） 返回：始终 示例： [{"bytes": 151, "chopped_path": "policy.json", "fullpath": "roles/cf/files/policy.json", "mime_type": "application/json", "modified_epoch": 1477931256, "s3_path": "s3sync/policy.json", "whysize": "151 / 151", "whytime": "1477931256 / 1477929260"}]
filelist_initial 列表 / 元素=字符串	初始通配符匹配的文件列表（字典） 返回：始终 示例： [{"bytes": 151, "chopped_path": "policy.json", "fullpath": "roles/cf/files/policy.json", "modified_epoch": 1477416706}]
filelist_local_etag 列表 / 元素=字符串	包含计算出的本地 etag 的文件列表（字典） 返回：始终 示例： [{"bytes": 151, "chopped_path": "policy.json", "fullpath": "roles/cf/files/policy.json", "mime_type": "application/json", "modified_epoch": 1477416706, "s3_path": "s3sync/policy.json"}]
filelist_s3 列表 / 元素=字符串	包含先前上传版本信息的列表（字典） 返回：始终 示例： [{"bytes": 151, "chopped_path": "policy.json", "fullpath": "roles/cf/files/policy.json", "mime_type": "application/json", "modified_epoch": 1477416706, "s3_path": "s3sync/policy.json"}]
filelist_typed 列表 / 元素=字符串	包含计算或覆盖的 mime 类型的文件列表（字典） 返回：始终 示例： [{"bytes": 151, "chopped_path": "policy.json", "fullpath": "roles/cf/files/policy.json", "mime_type": "application/json", "modified_epoch": 1477416706}]
uploads 列表 / 元素=字符串	实际上传的文件列表（字典） 返回：始终 示例： [{"bytes": 151, "chopped_path": "policy.json", "fullpath": "roles/cf/files/policy.json", "s3_path": "s3sync/policy.json", "whysize": "151 / 151", "whytime": "1477931637 / 1477931489"}]

作者

• Ted Timmons (@tedder)

集合链接

• 问题追踪器
• 代码库（源代码）
• 沟通