欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

MaxCompute(原ODPS)开发入门指南——数据上云篇 阿里巴巴sqljava数据挖掘 

程序员文章站 2022-07-12 15:42:47
...
全文连接http://click.aliyun.com/m/22750/

MaxCompute(原ODPS)开发入门指南——数据上云篇
写在最前面
>>>进入了解更多>>>阿里云数加·MaxCompute大数据计算服务.
根据《MaxCompute(原ODPS)开发入门指南——计量计费篇》的了解,大家清楚了MaxCompute可以做什么,计费模式如何,想必大家也开通了MaxCompute想进行一次POC,但是大家遇到第一个问题一定是我的数据如何上云?

SQL Cost

可通过多种方式数据流入MaxCompute
MaxCompute(原ODPS)提供了多种通道数据可以流入MaxCompute,包括MaxCompute原生的Tunnel,以及阿里云体系内的Log、DataX和数据集成,以及开源生态中的Flume、Logstash和Fluentd。以下为大家一一道来,大家视各自情况进行选择。

① MaxCompute Tunnel命令

直接在MaxCompute客户端中使用Tunnel命令进行数据上传,数据在传输过程中都是加密传输的,适用于一次性批量数据导入。

注意的是每一次上传只支持数据上传到一个表或表的一个分区,有分区的表一定要指定上传的分区。
数据上传命令如下:

tunnel upload log.txt test_project.test_table/p1="b1",p2="b2";
如何配置客户端和使用命令:

下载并配置客户端
Tunnel 命令导入数据
更多关于Tunnel upload命令
SQL Cost

② MaxCompute Tunnel SDK

通过 TUNNEL 提供的 SDK 自行编写 Java 工具。

关于如何利用 tunnel SDK 进行上传数据,下面也将通过场景介绍。场景描述:上传数据到 MaxCompute,其中,项目空间为”odps_public_dev”,表名为”tunnel_sample_test”,分区为”pt=20150801,dt=hangzhou”。

详细的Tunnel SDK案例教学

③ LOG(阿里云日志分析产品)

了解更多关于日志分析产品。
日志服务(Log Service,简称 Log)是针对日志类数据的一站式服务,在阿里巴巴集团经历大量大数据场景锤炼而成。您无需开发就能快捷完成日志数据采集(Logtail)、消费、投递(LogShipper)以及查询分析(LogSearch)等功能,提升运维、运营效率,建立 DT 时代海量日志处理能力。
全文连接http://click.aliyun.com/m/22750/