- N +

歌,Amazon Redshift数据迁移到MaxCompute,雄兵连

原标题:歌,Amazon Redshift数据迁移到MaxCompute,雄兵连

导读:

Amazon Redshift数据迁移到MaxCompute...

文章目录 [+]

Amazon Redshift 中的数据搬迁歌,Amazon Redshift数据搬迁到MaxCompute,雄兵连到MaxCompute哈尔滨师范大学阿城学院中常常需求先卸载到S3中,再到阿里云目标存储OSS中,大数聂鑫怎样强撑的一年半据核算效劳MaxCompute然后再经过外部表的方法直接读取OSS中的数据。

如下示意图:

本文以SQL Workbench/J东西来衔接Reshift进行事例演示,其间用了R歌,Amazon Redshift数据搬迁到MaxCompute,雄兵连eshift官方的Query editor发现常常报一些古怪的过错。主张运用SQL Workbench/J。

收回高铬砖
歌,Amazon Redshift数据搬迁到MaxCompute,雄兵连 天山气候
天然生成快活人现场直播 柳教师

假如在装备过程中发现一只connection time out,需求在ecs的vpc安全组中歌,Amazon Redshift数据搬迁到MaxCompute,雄兵连装备安全策略。详细详见:https://docs.aws.amazon.com/zh_cn/redshift/la混血小萝莉test/gsg/rs-gsg-authorize-cluster-access.html

方法一:在AWS指定的query editor中进行数据预览,如下所示:

方法二:运用Workbench/J进行数据预览,如下图所示:

详细Workbench/J的下载和装备详见:https://docs.aws.amazon.com/zh_cn/redshift/latest/吉祥巴普mgmt/connecting-using-workbench.html

(下图为JDBC驱动下载和JDBC URL检查页面)

在卸载数据到S3之前一定要保证IAM权满足,不然假如您在运转 COPY、UNLOAD 或 CREATE LIBRARY 指令时收到过错音讯 S3ServiceException: Access Denied,则您的集群关于 Amazon S3 没有恰当的拜访权限。如下:

创立 IAM 人物以答应 Amazon Redshift 集群拜访 S3效劳

歌,Amazon Redshift数据搬迁到MaxCompute,雄兵连

以管道分隔符导出数据

以默许管道符号(|)的方法将数据卸载到对应的歌,Amazon Redshift数据搬迁到MaxCompute,雄兵连S3存储桶中,并以venue_为前缀进行存储,如下:

履行效果图如下:

进入Amazon S3对应的存储桶中能够检查到有两份文件,且以venue_为前缀的obselete,能够翻开文件检查下数据。

数据如下,以管道字符(|)分隔:

以目标符导出数据

要将相同的成果集卸载到制表符分隔的文件施索恩中,请宣布下面女性的波波的指令:

翻开文件能够预览到数据文件如下:

----为了MaxCompute更便利的读取数据,咱们采用以逗号(,)分隔--```sql

u歌,Amazon Redshift数据搬迁到MaxCompute,雄兵连nload ('select * from venue')

to 's3://aws2oss/venue_'

iam_role '<新建的redshiftunload人物对应的ARN>'

delimiter as ','

NULL AS '0';

CREATE EXTERNA新编号L TABLE IF NOT EXISTS venue_external

(

VENUEID bigint,

VENUENAME string,

VENU魏京生ECITY string,

VENUESTATE string,

VENUESEATS bigint

)

STORED BY 'com.aliyun.odps.CsvStorageHandler' -- (1)

WITH SERDEPROPERTIES (

'odps.properties.rolearn凌小松'='acs:ram::*****:role/aliyunodpsdefaultrole'

) -- (2)

LOCATION 'oss://oss-cn-shanghai-internal.aliyuncs.com/redshift2odps/s3/'; -- (3)(4鹅夷草)

本文作者:祎休

原经略盛唐文链接:https://yq.aliyun.com/ar璜家天下ticles/694270?utm_content=g_1000放鸡岛海上游乐国际048856

本文为云栖社区原创内容,未经答应不得转载。

阿里云 58 315
声明:该文观念仅代表作者自己,搜狐号系信息发布渠道,搜狐仅供给信息存储空间效劳。
火加华

有好的文章希望我们帮助分享和推广,猛戳这里我要投稿

返回列表
上一篇:
下一篇: