google.cloud.gcp_bigquery_table_info 模块 – 收集 GCP 表的信息

注意

此模块是 google.cloud 集合(版本 1.4.1)的一部分。

如果您正在使用 ansible 包,您可能已经安装了这个集合。它不包含在 ansible-core 中。要检查是否已安装,请运行 ansible-galaxy collection list

要安装它,请使用: ansible-galaxy collection install google.cloud。您需要满足其他要求才能使用此模块,请参阅 要求 了解详细信息。

要在 playbook 中使用它,请指定: google.cloud.gcp_bigquery_table_info

注意

由于违反了 Ansible 包含要求,google.cloud 集合将从 Ansible 12 中移除。该集合存在 未解决的健全性测试失败。有关更多信息,请参阅讨论主题

概要

  • 收集 GCP 表的信息

要求

执行此模块的主机上需要满足以下要求。

  • python >= 2.6

  • requests >= 2.18.4

  • google-auth >= 1.3.0

参数

参数

注释

access_token

字符串

如果凭据类型为 accesstoken,则为 OAuth2 访问令牌。

auth_kind

字符串 / 必填

使用的凭据类型。

选择

  • "application"

  • "machineaccount"

  • "serviceaccount"

  • "accesstoken"

dataset

字符串

数据集的名称。

env_type

字符串

指定您在其中运行此模块的 Ansible 环境。

除非您知道自己在做什么,否则不应设置此项。

这只会更改任何 API 请求的 User Agent 字符串。

project

字符串

要使用的 Google Cloud Platform 项目。

scopes

列表 / 元素=字符串

要使用的作用域数组

service_account_contents

jsonarg

服务帐户 JSON 文件的内容,可以是字典或表示它的 JSON 字符串。

service_account_email

字符串

如果选择了 machineaccount 并且用户不希望使用默认电子邮件,则可选的服务帐户电子邮件地址。

service_account_file

路径

如果选择 serviceaccount 作为类型,则为服务帐户 JSON 文件的路径。

注意

注意

  • 对于身份验证,您可以使用 GCP_SERVICE_ACCOUNT_FILE 环境变量设置 service_account_file。

  • 对于身份验证,您可以使用 GCP_SERVICE_ACCOUNT_CONTENTS 环境变量设置 service_account_contents。

  • 对于身份验证,您可以使用 GCP_SERVICE_ACCOUNT_EMAIL 环境变量设置 service_account_email。

  • 对于身份验证,您可以使用 GCP_ACCESS_TOKEN 环境变量设置 access_token。

  • 对于身份验证,您可以使用 GCP_AUTH_KIND 环境变量设置 auth_kind。

  • 对于身份验证,您可以使用 GCP_SCOPES 环境变量设置 scopes。

  • 仅当未设置 playbook 值时,才会使用环境变量值。

  • service_account_emailservice_account_file 选项是互斥的。

示例

- name: get info on a table
  gcp_bigquery_table_info:
    dataset: example_dataset
    project: test_project
    auth_kind: serviceaccount
    service_account_file: "/tmp/auth.pem"

返回值

常用的返回值记录在 此处,以下是此模块特有的字段

描述

资源

复杂

资源列表

返回:始终

聚类

列表 / 元素=字符串

应该在其中对数据进行聚类的一个或多个字段。仅支持顶级、非重复的简单类型字段。当您使用多个列对表进行聚类时,您指定的列的顺序很重要。指定列的顺序决定了数据的排序顺序。

返回:成功

creationTime

整数

此数据集的创建时间,以自纪元以来的毫秒数表示。

返回:成功

dataset

字符串

数据集的名称。

返回:成功

description

字符串

数据集的用户友好描述。

返回:成功

encryptionConfiguration

复杂

自定义加密配置。

返回:成功

kmsKeyName

字符串

描述将用于保护目标 BigQuery 表的 Cloud KMS 加密密钥。与您的项目关联的 BigQuery 服务帐户需要访问此加密密钥。

返回:成功

expirationTime

整数

此表到期的时间,以自纪元以来的毫秒数表示。如果不存在,则该表将无限期地保留。

返回:成功

externalDataConfiguration

复杂

描述存储在 BigQuery 之外的表的数据格式、位置和其他属性。通过定义这些属性,然后可以像查询标准 BigQuery 表一样查询数据源。

返回:成功

autodetect

布尔值

尝试自动检测架构和格式选项。将遵守显式指定的任何选项。

返回:成功

bigtableOptions

复杂

如果 sourceFormat 设置为 BIGTABLE,则为其他选项。

返回:成功

columnFamilies

复杂

要在表模式中公开的列族列表及其类型。

返回:成功

columns

复杂

应作为单独字段而不是 (列名, 值) 对列表公开的列的列表。

返回:成功

encoding

字符串

当类型不是 STRING 时,值的编码。

返回:成功

fieldName

字符串

如果限定符不是有效的 BigQuery 字段标识符,则必须提供有效的标识符作为列字段名称,并在查询中用作字段名称。

返回:成功

onlyReadLatest

布尔值

如果设置此项,则仅公开此列中值的最新版本。

返回:成功

qualifierString

字符串

列的限定符。

返回:成功

type

字符串

将此列单元格中的值转换为的类型。

返回:成功

encoding

字符串

当类型不是 STRING 时,值的编码。

返回:成功

familyId

字符串

列族的标识符。

返回:成功

onlyReadLatest

布尔值

如果设置此项,则仅公开此列族中所有列的最新版本的值。

返回:成功

type

字符串

将此列族单元格中的值转换为的类型。

返回:成功

ignoreUnspecifiedColumnFamilies

布尔值

如果该字段为 true,则未在 columnFamilies 列表中指定的列族不会在表模式中公开。

返回:成功

readRowkeyAsString

布尔值

如果该字段为 true,则将读取行键列族并将其转换为字符串。

返回:成功

compression

字符串

数据源的压缩类型。

返回:成功

csvOptions

复杂

如果 sourceFormat 设置为 CSV,则要设置的其他属性。

返回:成功

allowJaggedRows

布尔值

指示 BigQuery 是否应接受缺少尾部可选列的行。

返回:成功

allowQuotedNewlines

布尔值

指示 BigQuery 是否应允许 CSV 文件中包含换行符的带引号的数据部分。

返回:成功

encoding

字符串

数据的字符编码。

返回:成功

fieldDelimiter

字符串

CSV 文件中字段的分隔符。

返回:成功

quote

字符串

用于在 CSV 文件中引用数据部分的值。

返回:成功

skipLeadingRows

整数

BigQuery 在读取数据时将跳过 CSV 文件顶部的行数。

返回:成功

googleSheetsOptions

复杂

如果 sourceFormat 设置为 GOOGLE_SHEETS,则要使用的其他选项。

返回:成功

skipLeadingRows

整数

BigQuery 在读取数据时将跳过 Google Sheet 顶部的行数。

返回:成功

ignoreUnknownValues

布尔值

指示 BigQuery 是否应允许表中未表示的额外值。

返回:成功

maxBadRecords

整数

BigQuery 在读取数据时可以忽略的最大错误记录数。

返回:成功

schema

复杂

数据的模式。CSV 和 JSON 格式需要模式。

返回:成功

fields

复杂

描述表中的字段。

返回:成功

description

字符串

字段描述。

返回:成功

fields

列表 / 元素=字符串

如果 type 属性设置为 RECORD,则描述嵌套的模式字段。

返回:成功

mode

字符串

字段模式。

返回:成功

name

字符串

字段名称。

返回:成功

type

字符串

字段数据类型。

返回:成功

sourceFormat

字符串

数据格式。

返回:成功

sourceUris

列表 / 元素=字符串

指向 Google Cloud 中数据的完全限定 URI。

对于 Google Cloud Storage URI:每个 URI 可以包含一个“*”通配符,并且必须位于“bucket”名称之后。与加载作业相关的大小限制适用于外部数据源。对于 Google Cloud Bigtable URI:只能指定一个 URI,并且它必须是 Google Cloud Bigtable 表的完全指定且有效的 HTTPS URL。对于 Google Cloud Datastore 备份,只能指定一个 URI。此外,不允许使用“*”通配符。

返回:成功

friendlyName

字符串

此表的描述性名称。

返回:成功

id

字符串

唯一标识表的透明 ID。

返回:成功

labels

dictionary

与此数据集关联的标签。 您可以使用这些标签来组织和分组您的数据集。

返回:成功

lastModifiedTime

整数

此表上次修改的时间,以自 Epoch 以来的毫秒数表示。

返回:成功

location

字符串

表所在的地理位置。此值继承自数据集。

返回:成功

name

字符串

表的名称。

返回:成功

numBytes

整数

此表的大小(以字节为单位),不包括流式缓冲区中的任何数据。

返回:成功

numLongTermBytes

整数

表中被视为“长期存储”的字节数。

返回:成功

numRows

整数

此表中的数据行数,不包括流式缓冲区中的任何数据。

返回:成功

requirePartitionFilter

布尔值

如果设置为 true,则对此表的查询需要指定一个可用于分区消除的分区过滤器。

返回:成功

schema

复杂

描述此表的模式。

返回:成功

fields

复杂

描述表中的字段。

返回:成功

description

字符串

字段描述。最大长度为 1,024 个字符。

返回:成功

fields

列表 / 元素=字符串

如果 type 属性设置为 RECORD,则描述嵌套的模式字段。

返回:成功

mode

字符串

字段模式。

返回:成功

name

字符串

字段名称。

返回:成功

type

字符串

字段数据类型。

返回:成功

streamingBuffer

复杂

包含有关此表的流式缓冲区的信息(如果存在)。如果该表未进行流式传输或流式缓冲区中没有数据,则此字段将不存在。

返回:成功

estimatedBytes

整数

当前在流式缓冲区中的字节数的下限估计值。

返回:成功

estimatedRows

整数

当前在流式缓冲区中的行数的下限估计值。

返回:成功

oldestEntryTime

整数

如果流式缓冲区可用,则包含流式缓冲区中最旧条目的时间戳,以自 Epoch 以来的毫秒数表示。

返回:成功

tableReference

复杂

描述此表 ID 的引用。

返回:成功

datasetId

字符串

包含此表的 数据集的 ID。

返回:成功

projectId

字符串

包含此表的 项目的 ID。

返回:成功

tableId

字符串

表的 ID。

返回:成功

timePartitioning

复杂

如果指定,则为此表配置基于时间的分区。

返回:成功

expirationMs

整数

保留分区存储的毫秒数。

返回:成功

field

字符串

如果未设置,则表将按伪列分区,通过 ‘_PARTITIONTIME’ 作为 TIMESTAMP 类型引用,或通过 ‘_PARTITIONDATE’ 作为 DATE 类型引用。 如果指定了字段,则表将改为按此字段分区。该字段必须是顶级的 TIMESTAMP 或 DATE 字段。其模式必须为 NULLABLE 或 REQUIRED。

返回:成功

type

字符串

唯一支持的类型是 DAY,它将每天生成一个分区。

返回:成功

type

字符串

描述表的类型。

返回:成功

view

复杂

视图定义。

返回:成功

useLegacySql

布尔值

指定是否为此视图使用 BigQuery 的旧版 SQL。

返回:成功

userDefinedFunctionResources

复杂

描述查询中使用的用户定义函数资源。

返回:成功

inlineCode

字符串

包含用户定义函数 (UDF) 代码的内联资源。提供内联代码资源等效于为包含相同代码的文件提供 URI。

返回:成功

resourceUri

字符串

要从 Google Cloud Storage URI (gs://bucket/path) 加载的代码资源。

返回:成功

作者

  • Google Inc. (@googlecloudplatform)