GCP 函数保存 BQ - Python

在 Google Cloud Platform（GCP）上使用 Google Cloud Functions 可以创建轻量级的应用程序，无需管理服务器和运行时环境。此外，使用 Google Cloud Bigtable（BQ）可以轻松处理大规模结构化数据。在这篇文章中，我们将探讨如何使用 Python 代码创建 Google Cloud Functions，以保存数据到 Google Cloud Bigtable 中。

简介

Google Cloud Functions 可以响应 HTTP 请求和 Cloud Storage 事件，并且相对于其他 Google Cloud 服务得到了更多的普及。相对于 Google Cloud Functions，我们可以使用 Pub/Sub、Cloud Tasks 和 Cloud Scheduler 实现更广泛的数据处理需求。

Google Cloud Bigtable 是 Google 提供的一种分布式的 NoSQL 数据库。Bigtable 最适用于那些需要快速读取和写入大量数据的应用程序，例如集中日志处理、数据分析和 No-SQL 数据库等等。Google Bigtable 提供了一个功能强大、高效且可扩展的基础设施来处理真实世界中的大量数据处理需求。

通过使用 Python，并利用 Google Cloud Functions 和 Google Cloud Bigtable，我们将创建一个轻量级的应用程序，以将数据保存到 Bigtable 中。

前提条件

在开始之前，请确保您拥有以下先决条件：

• 一个 GCP 项目。
• 安装了最新版本的 gcloud SDK。
• Bigtable API，Cloud Functions API 和 Bigtable Admin API。您可以使用以下命令快速确认是否启用：

gcloud services list --enabled

如果上述 API 启用的话，输出的列表将显示它们。

步骤

在以下几个步骤中，我们将详细介绍如何将数据保存到 Bigtable 中。

步骤 1：创建 Bigtable 集群

在 Google Cloud Console 中创建一个 Bigtable 集群。

1. 打开 Cloud Console。
2. 在控制台页面中，选择 Bigtable。
3. 创建一个新的 Bigtable 集群。

步骤 2：创建表格和列簇

为了将数据保存到 Bigtable 中，您需要创建一个表格并为其添加列簇。

1. 打开 Cloud Console。
2. 在控制台页面中，选择 Bigtable。
3. 在集群名称下，单击“创建表格”。
4. 输入表格名称。
5. 添加至少一个列簇，稍后您将使用这些列簇来存储数据。

步骤 3：创建函数

接下来，让我们开始创建一个函数，以便将数据保存到上面创建的 Bigtable 表格中。您可以使用以下代码模板：

import os
from google.cloud import bigtable
from google.cloud.bigtable import column_family
from google.cloud.bigtable import row_filters

# Set up your environment variables.
INSTANCE_ID = os.environ['BIGTABLE_INSTANCE_ID']
TABLE_ID = os.environ['BIGTABLE_TABLE_ID']
COLUMN_FAMILY_NAME = os.environ['COLUMN_FAMILY_NAME']

# Initialize the client and open the table.
client = bigtable.Client(project=os.environ['GCP_PROJECT'])
instance = client.instance(INSTANCE_ID)
table = instance.table(TABLE_ID)

# Define the column family.
column_family = table.column_family(COLUMN_FAMILY_NAME)

def hello_world(request):
    # Save data to Bigtable.
    row_key = 'example-key'
    column_name = 'example-column'
    column_value = 'example-value'
    
    # Write the row to the table.
    row = table.row(row_key)
    row.set_cell(column_family, column_name, column_value)
    row.commit()
    
    # Return a successful response.
    return 'Data saved to Bigtable: {}:{}={}'.format(
        row_key, column_name, column_value)

这个函数很简单，它会将 'example-key'、'example-column'、'example-value' 写入到上面创建的表格中。

步骤 4：部署函数

使用以下命令将函数部署到 Google Cloud Functions：

gcloud functions deploy save_to_bigtable \
--entry-point=hello_world \
--runtime=python37 \
--trigger-http \
--env-vars-file=env.yaml

步骤 5：测试函数

完成部署后，您可以访问 /save_to_bigtable 路径，即可测试函数并将符合条件的数据保存到 Bigtable 中。

恭喜您！您已成功使用 Python 编写了一个无服务器函数，将数据保存到 Google Cloud Bigtable 中！

结论

在本文中，我们介绍了如何使用 Python 和 Google Cloud Functions 将数据保存到 Google Cloud Bigtable 中。在处理大量数据的情况下，使用 Bigtable 是更好的选择。在您的开发项目中使用云服务时，坚持“无服务器”是一种很好的方式，它使开发过程更加轻量化和简单化。