community.aws.data_pipeline 模块 – 创建和管理 AWS 数据管道

注意

此模块是 community.aws 集合 (版本 9.0.0) 的一部分。

如果您正在使用 ansible 包，则可能已经安装了此集合。它不包含在 ansible-core 中。要检查它是否已安装，请运行 ansible-galaxy collection list。

要安装它，请使用：ansible-galaxy collection install community.aws。您需要其他要求才能使用此模块，请参阅需求获取详细信息。

要在剧本中使用它，请指定：community.aws.data_pipeline。

community.aws 1.0.0 中的新增功能

概要 

创建和管理 AWS 数据管道。在 AWS 中创建并非幂等操作，因此 uniqueId 是通过对提供给数据管道的选项（减去对象）进行哈希处理而创建的。
管道定义必须采用此处给出的格式 https://docs.aws.amazon.com/datapipeline/latest/APIReference/API_PutPipelineDefinition.html#API_PutPipelineDefinition_RequestSyntax。
操作将等待可配置的时间量，以确保管道处于请求的状态。

需求 

执行此模块的主机需要以下需求。

python >= 3.6
boto3 >= 1.28.0
botocore >= 1.31.0

参数 

参数	注释
access_key 别名：aws_access_key_id、aws_access_key、ec2_access_key 字符串	AWS 访问密钥 ID。有关访问令牌的更多信息，请参阅 AWS 文档 https://docs.aws.amazon.com/general/latest/gr/aws-sec-cred-types.html#access-keys-and-secret-access-keys。 `AWS_ACCESS_KEY_ID`、`AWS_ACCESS_KEY` 或 `EC2_ACCESS_KEY` 环境变量也可按优先级递减的顺序使用。 aws_access_key 和 profile 选项是互斥的。 aws_access_key_id 别名在 5.1.0 版本中添加，以与 AWS botocore SDK 保持一致。 ec2_access_key 别名已弃用，将在 2024-12-01 之后的一个版本中删除。 `EC2_ACCESS_KEY` 环境变量的支持已弃用，将在 2024-12-01 之后的一个版本中删除。
aws_ca_bundle 路径	验证 SSL 证书时要使用的 CA 捆绑包的位置。 `AWS_CA_BUNDLE` 环境变量也可使用。
aws_config 字典	用于修改 botocore 配置的字典。参数可在 AWS 文档中找到 https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html#botocore.config.Config。
debug_botocore_endpoint_logs 布尔值	使用 `botocore.endpoint` 记录器来解析在任务期间执行的唯一（而不是全部）`"resource:action"` API 调用，并将集合输出到任务结果中的 resource_actions 密钥。使用 `aws_resource_action` 回调将输出到在剧本期间执行的全部列表。 `ANSIBLE_DEBUG_BOTOCORE_LOGS` 环境变量也可使用。选项 `false` ← (默认) `true`
description 字符串	正在创建的管道的可选描述。默认值： `""`
endpoint_url 别名：ec2_url、aws_endpoint_url、s3_url 字符串	连接到的 URL，而不是默认的 AWS 端点。虽然这可以用于连接到其他与 AWS 兼容的服务，但 amazon.aws 和 community.aws 集合仅针对 AWS 进行了测试。也可以按优先级递减的顺序使用`AWS_URL`或`EC2_URL`环境变量。 ec2_url和s3_url别名已弃用，将在2024-12-01之后的发行版中移除。对`EC2_URL`环境变量的支持已弃用，将在2024-12-01之后的发行版中移除。
名称字符串 / 必需	要创建/修改/删除的数据管道的名称。
对象列表 / 元素=字典	管道对象定义列表，每个定义都是一个字典，包含键id、name和fields。默认值： `[]`
字段列表 / 元素=字典	定义对象属性的键值对。值为对另一个对象refValue的引用或字符串值stringValue，但不能同时是两者。
键字符串	字段标识符。
refValue 字符串	字段值，表示为另一个对象的标识符。只能指定stringValue和refValue中的一个。
stringValue 字符串	字段值。只能指定stringValue和refValue中的一个。
id 字符串	对象的ID。
名称字符串	对象的名称。
参数列表 / 元素=字典	管道定义中参数对象（字典）列表。默认值： `[]`
属性列表 / 元素=字典	参数对象的属性（字典）列表。
键字符串	字段标识符。
stringValue 字符串	字段值。
id 字符串	参数对象的ID。
配置文件别名：aws_profile 字符串	用于身份验证的命名AWS配置文件。有关命名配置文件的更多信息，请参阅AWS文档 https://docs.aws.amazon.com/cli/latest/userguide/cli-configure-profiles.html。也可以使用`AWS_PROFILE`环境变量。 profile选项与aws_access_key、aws_secret_key和security_token选项互斥。
区域别名：aws_region, ec2_region 字符串	要使用的AWS区域。对于IAM、Route53和CloudFront等全局服务，将忽略region。也可以使用`AWS_REGION`或`EC2_REGION`环境变量。有关更多信息，请参阅Amazon AWS文档 http://docs.aws.amazon.com/general/latest/gr/rande.html#ec2_region。 ec2_region别名已弃用，将在2024-12-01之后的发行版中移除。对`EC2_REGION`环境变量的支持已弃用，将在2024-12-01之后的发行版中移除。
密钥别名：aws_secret_access_key, aws_secret_key, ec2_secret_key 字符串	AWS密钥。有关访问令牌的更多信息，请参阅 AWS 文档 https://docs.aws.amazon.com/general/latest/gr/aws-sec-cred-types.html#access-keys-and-secret-access-keys。也可以按优先级递减的顺序使用`AWS_SECRET_ACCESS_KEY`、`AWS_SECRET_KEY`或`EC2_SECRET_KEY`环境变量。 secret_key和profile选项互斥。为了与AWS botocore SDK保持一致，在5.1.0版本中添加了aws_secret_access_key别名。 ec2_secret_key别名已弃用，将在2024-12-01之后的发行版中移除。对`EC2_SECRET_KEY`环境变量的支持已弃用，将在2024-12-01之后的发行版中移除。
会话令牌别名：aws_session_token, security_token, aws_security_token, access_token 字符串	与临时凭据一起使用的AWS STS会话令牌。有关访问令牌的更多信息，请参阅 AWS 文档 https://docs.aws.amazon.com/general/latest/gr/aws-sec-cred-types.html#access-keys-and-secret-access-keys。也可以按优先级递减的顺序使用`AWS_SESSION_TOKEN`、`AWS_SECURITY_TOKEN`或`EC2_SECURITY_TOKEN`环境变量。 security_token和profile选项互斥。在3.2.0版本中添加了aws_session_token和session_token别名，在6.0.0版本中将参数从security_token重命名为session_token。 security_token、aws_security_token和access_token别名已弃用，将在2024-12-01之后的发行版中移除。对`EC2_SECRET_KEY`和`AWS_SECURITY_TOKEN`环境变量的支持已弃用，将在2024-12-01之后的发行版中移除。
状态字符串	管道所需的状态。选项 `"present"` ← (默认) `"absent"` `"active"` `"inactive"`
标签别名：resource_tags 字典	要添加到管道的键值对字典。默认值： `{}`
超时整数	等待管道转换到请求状态的时间（以秒为单位），否则失败。默认值： `300`
验证证书布尔值	设置为`false`时，将不会验证与AWS API通信的SSL证书。强烈建议不要设置validate_certs=false，作为替代方案，请考虑改用aws_ca_bundle。选项 `false` `true` ← (默认)
值列表 / 元素=字典	管道定义中的参数值（字典）列表。默认值： `[]`
id 字符串	参数值的ID
stringValue 字符串	字段值

注释 

注意

警告：对于模块，环境变量和配置文件是从Ansible“主机”上下文而不是“控制器”上下文读取的。因此，可能需要将文件显式复制到“主机”。对于查找和连接插件，环境变量和配置文件是从Ansible“控制器”上下文而不是“主机”上下文读取的。
Ansible使用的AWS SDK (boto3)也可能从其在Ansible“主机”上下文中的配置文件（通常为~/.aws/credentials）读取凭据和其他设置（例如区域）的默认值。有关更多信息，请参阅 https://boto3.amazonaws.com/v1/documentation/api/latest/guide/credentials.html。

示例 

# Note: These examples do not set authentication details, see the AWS Guide for details.

# Create pipeline
- community.aws.data_pipeline:
    name: test-dp
    region: us-west-2
    objects: "{{pipelineObjects}}"
    parameters: "{{pipelineParameters}}"
    values: "{{pipelineValues}}"
    tags:
      key1: val1
      key2: val2
    state: present

# Example populating and activating a pipeline that demonstrates two ways of providing pipeline objects
- community.aws.data_pipeline:
  name: test-dp
  objects:
    - id: "DefaultSchedule"
      name: "Every 1 day"
      fields:
        - "key": "period"
          "stringValue": "1 days"
        - "key": "type"
          "stringValue": "Schedule"
        - "key": "startAt"
          "stringValue": "FIRST_ACTIVATION_DATE_TIME"
    - id: "Default"
      name: "Default"
      fields:
        - "key": "resourceRole"
          "stringValue": "my_resource_role"
        - "key": "role"
          "stringValue": "DataPipelineDefaultRole"
        - "key": "pipelineLogUri"
          "stringValue": "s3://my_s3_log.txt"
        - "key": "scheduleType"
          "stringValue": "cron"
        - "key": "schedule"
          "refValue": "DefaultSchedule"
        - "key": "failureAndRerunMode"
          "stringValue": "CASCADE"
  state: active

# Activate pipeline
- community.aws.data_pipeline:
    name: test-dp
    region: us-west-2
    state: active

# Delete pipeline
- community.aws.data_pipeline:
    name: test-dp
    region: us-west-2
    state: absent

返回值 

公共返回值已记录在此处，以下是此模块特有的字段

键	描述
已更改布尔值	数据管道是否已修改返回：始终示例： `{"changed": true}`
结果字典	包含数据管道数据 (data_pipeline) 和返回消息 (msg)。如果数据管道存在，则data_pipeline将包含键description、name、pipeline_id、state、tags和unique_id。如果数据管道不存在，则data_pipeline将为空字典。msg描述操作的状态。返回：始终

作者

Raghu Udiyar (@raags)
Sloane Hertel (@s-hertel)