📌  相关文章
📜  Amazon Web Services – 将数据上传到 Amazon FinSpace(1)

📅  最后修改于: 2023-12-03 14:59:14.041000             🧑  作者: Mango

Amazon Web Services – 将数据上传到 Amazon FinSpace

Amazon FinSpace是AWS云服务上的一种数据管理和分析工具,它可以帮助用户在AWS基础设施上快速构建大规模的数据仓库和数据分析应用,并提供可视化数据控制台以方便用户进行数据分析和探索。本文将向程序员介绍如何将数据上传到Amazon FinSpace。

准备工作
  1. 检查 AWS 环境是否具有依次项目的权限:
  • AmazonFinSpaceFullAccess
  • AmazonS3ReadOnlyAccess
  • AWSGlueServiceRole
  1. 上传数据到 AWS S3 存储桶
将数据上传到 Amazon FinSpace

在AWS中,用户需要使用AWS SDK或Amazon FinSpace API来将数据上传到Amazon FinSpace。

下面是AWS SDK的代码片段,它演示了如何将数据从AWS S3存储桶中上传到Amazon FinSpace:

import boto3
import json

client = boto3.client('finspace')
account_id = 'AWS 账户 ID'
environment_id = 'Your FinSpace environment ID'

dataset_import_properties = {
    "source": {
        "dataSourceArn": 'Amazon S3 存储桶 ARN',
        "ingestionRoleArn": 'AWS Glue 服务角色 ARN',
        "dataLocation": '上传的CSV文件在S3存储桶中的位置',
        "delimiter": ',',
        "hasHeaderRow": True,
        "format": {
            "fileType": "CSV",
            "csv": {
                "delimiter": ","
            }
        }
    },
    "destination": {
        "s3Location": {
            "bucketARN": '存储FinSpace导入数据的目的地S3存储桶 ARN',
            "prefix": '导入数据在S3存储桶中的名称前缀'
        }
    }
}

response = client.create_ingestion(
    dataSetId='数据集ID',
    dataSetImportJobName='数据集导入作业名称',
    jobType='INGEST_FROM_S3',
    ingestionInputConfiguration={
        'dataSource': {
            'dataSourceArn': 'Amazon S3 存储桶 ARN',
            'ingestionRoleArn': 'AWS Glue 服务角色 ARN'
        },
        'inputConfiguration': dataset_import_properties,
    },
    clientToken='发起操作的随机字符串',
    tags=[
        {
            'key': '标签关键字',
            'value': '标签值'
        },
    ]
)

print(json.dumps(response, indent=2))
结论

本文向程序员介绍了如何将数据上传到Amazon FinSpace。AWS提供了SDK和API来帮助用户实现这一目标,且在上传之前需要先完成准备工作。希望本文能对程序员有所帮助。