大数据计算 MaxCompute

本文根据2023云栖大会演讲实录整理而成，演讲信息如下： 演讲人：刘一鸣 | 阿里云自研大数据产品负责人 演讲主题：Data+AI时代大数据平台应该如何建设

本文根据2023云栖大会演讲实录整理而成，演讲信息如下 演讲人：张治国|阿里云智能计算平台研究员、阿里云MaxCompute负责人 演讲主题：MaxCompute架构升级及开放性解读 活动：2023云栖大会

通过MaxCompute租户级别Information Schema的“TUNNELS_HISTORY”视图可以统计查看通过Tunnel通道进行数据上传下载的相关详细信息，方便您进行数据流转的审计排查。

MaxCompute的租户级别Information Schema从租户角度提供项目元数据及使用历史数据等信息，您可以一次性拉取您同一个元数据中心下所有Project的某类元数据，从而进行各类元数据的统计分析。

MaxCompute提供成本优化（计算资源优化推荐）功能，可基于实际作业请求量和资源配置期望，对包年包月一级Quota类型的计算资源生成更优的资源配置方案，帮助进一步提升计算资源利用率，优化计算成本。本文我们一起通过典型场景案例来看看如何通过成本优化（计算资源优化推荐）功能提供降本增效的参考建议。

在大数据不断在追求计算效率和成本优化的背景下，阿里云云原生大数据计算服务 MaxCompute宣布推出按量付费闲时版，用户可选择用此版本完成时间不敏感的作业，从而降低计算成本，同等作业类型的计算费用与按量付费标准版相比，最高可实现66.66%的计算成本优化。

离线实时一体、分析服务一体、湖仓一体、数据安全、数据建模、数据治理，六大热门主题，六位大数据专家，带你了解当前炙手可热的云数仓产品最新演进趋势。

8月4日消息，日前国际权威研究机构IDC发布了《中国大数据平台公有云服务市场份额概况，2021》，报告显示，阿里云稳居中国大数据平台公有云服务市场第一位，营收达14.9亿元。

本文介绍大数据开发治理平台DataWorks在数据治理领域的最新产品进展，包括基于事前、事中、事后的全链路理念构建的核心产品功能和数据治理量化评估机制解读，以及围绕降本增效的成本治理最佳实践。

本文主要介绍如何通过湖仓一体，打通 MaxCompute 与 Hadoop、DLF/OSS 数据湖，以及 Hologres、MySQL 等数据平台，并通过 DataWorks 做统一数据开发和治理。

本文主要介绍DataWorks智能数据建模的核心产品能力。

本文主要介绍如何通过Hologres在分析和服务场景下的新功能，包括资源隔离，数据湖（Delta、Hudi）的支持、JSON优化支持等。

介绍MaxCompute+Hologres离线和实时数仓一体化优于之前有离线、有在线、有很多不同的引擎的实现方案，通过用实时的引擎做预处理，实现离线实时数据入仓后做更加实时的服务化BI分析实践。

2022年5月26日，中国国际大数据产业博览会（以下简称“数博会”）在贵阳召开，数博会“十佳大数据案例”揭晓，阿里云云原生一体化数仓入选。阿里云云原生一体化数仓可以解决企业在建设大数据平台中对时效性、准确性、性价比、非结构化数据处理，通过精简的架构，支撑分析决策、异构大数据平台之上的全域数据分析需求。

任何一种技术都会经历从阳春白雪到下里巴人的过程，就像我们对计算机的理解从 “戴着鞋套才能进的机房”变成了随处可见的智能手机。在前面 20 年中，大数据技术也经 历了这样的过程，从曾经高高在上的 “火箭科技（rocket science）”，成为了人人普惠 的技术。

在数据成为生产要素的今天，拥有充沛的算力是全面发掘和释放数据价值的先决条件。

阿里云智能研究员 林伟 ：阿里巴巴从湖到仓的演进给我们带来了湖仓一体的思考，使得湖的灵活性、数据种类丰富与仓的可成长性和企业级管理得到有机融合，这是阿里巴巴最佳实践的宝贵资产，是大数据的新一代架构。

随着 2021 年《关键信息基础设施安全保护条例》出台，稳定性已成为各领域客户在功能、性能之外，对大数据技术产品能力评价的重要指标。阿里云MaxCompute大数据平台在13轮不同程度的破坏性测试中，性能水平并未明显下降，被证明为韧性型系统。

云原生一体化数仓是集阿里云大数据产品MaxCompute、DataWorks、Hologres三种产品能力于一体的一站式大数据处理平台。核心是3个一体化和全链路数据治理能力，包括离线实时一体、湖仓一体、分析服务一体、全链路数据治理。

本篇内容分享了云原生离线实时一体化数仓建设与实践。 分享人：刘一鸣 Hologres 产品经理

本篇内容分享了MaxCompute湖仓一体介绍。 分享人：孟硕 阿里云 MaxCompute产品专家

高雪峰 阿里云计算平台产品与解决方案总经理

本次直播将主要分享MaxCompute查询加速功能、数据库管理工具DBeaver、DataGrip、SQL Workbench/J的部分连接演示。

MaxCompute 是面向分析的企业级 SaaS 模式云数据仓库，以 Serverless 架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，帮助企业和大数据开发者经济并高效的分析处理海量数据。

MaxCompute致力于批量结构化数据的存储和计算，提供海量数据仓库的解决方案及分析建模服务，在MaxCompute执行sql任务的时候有时候作业会很慢，本文通过查看logview排查具体任务慢的原因

在MaxCompute开发过程中，开发同学遇到的的一些复杂逻辑该如何处理，如何在MaxCompute开发不同场景下的UDF函数？带着这个问题，本文针对UDF的各方面内容做出介绍，其中涉及UDF对应不同语言的类型映射关系、以及对应UDF在重载、访问网络、引用表与资源、以及第三方包的使用为大家做出展示。

MaxCompute 是面向分析的企业级 SaaS 模式云数据仓库，以 Serverless 架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您可以经济并高效的分析处理海量数据。数以万计的企业正基于 MaxCompute 进行数据计算与分析，将数据高效转换为业务洞察。

MaxCompute作业日常监控与运维实践

MaxCompute （原odps）是面向分析的企业级SaaS模式云数据仓库，以Serverless架构提供全托管的在线数据仓库服务，消除传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入。MaxCompute支持多种经典计算模型（批处理、机器学习、交互式分析等）和完善的企业管理功能，借助MaxCompute，用户可轻松集成和管理企业数据资产，简化数据平台架构，加速价值实现。

大数据平台的成熟使得更多种类的非结构化、半结构化的数据分析成为可能。其中把IP地址转换为归属地又是极为常见的一种场景。本文将介绍在MaxCompute如何根据IPv4和IPv6地址实现归属地转换。

本书的制作目的在于让MaxCompute帮助企业构建全托管的现代化数仓，简化数据洞察、加速价值实现。

本文由阿里云计算平台事业部 MaxCompute 产品经理孟硕为大家带来《持续定义Saas模式云数据仓库+实时搜索》的相关分享。以下是视频内容精华整理，主要包括以下三个部分：1.Why：概述与价值；2.What：应用场景；3.How：最佳实践。

本文由阿里云计算平台事业部 MaxCompute 产品经理孟硕为大家带来《持续定义SaaS模式云数据仓库+AI》的相关分享。

本文将为您介绍现代云数据仓库的业务场景与资源使用需求，不同资源交付模式的差异化分析。并结合MaxCompute Serverless的特点及价值来讲解使用MaxCompute Serverless的最佳实践。

本文将介绍SaaS模式云数据仓库MaxCompute，如何助力数据银行SaaS模式云战略和一体化数据开放场景介绍。

简介：阿里云技术专家海清为大家带来持续定义Saas模式云数据仓库+BI的介绍。内容包括云数据仓库概述，BI使用场景与趋势，基于MaxCompute云数仓+BI的特性，以及实践案例。

使用基于MaxCompute云数据仓库的企业，由于业务的差异，会创建多project进行数据隔离。同时也因为业务的差异，每个project需要跑的任务量、业务紧急程度等也有差异，因此不同project对计算资源的需求也不一致。本文我们一起探讨如何通过MaxCompute管家实现MaxCompute包年包月的资源隔离。

MaxCompute作为企业级SaaS模式云数据仓库，正在为客户业务及其数据提供持续的安全保护。 MaxCompute 近期对产品的安全能力进行了全面升级，本文将针对数据误用、数据滥用、数据泄露、数据丢失等典型数据风险场景，结合数据生命周期，为您介绍基 于MaxCompute 和 DataWorks 原生集成安全能力的最佳实践。

2020年7月23日开始，MaxCompute 管家陆续对各个区域进行升级新版本，新版本支持的功能之一——分时配额，将支持对预留计算资源（预留CU）进行按时段切分，满足时段的差异化资源需求，满足对资源隔离（生产/开发/自助分析）不同工作负载的能力，避免相互干扰，同时更大化提高资源使用率。

MaxCompute作为一款全面的大数据处理平台，广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践，可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集，涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。