实时数仓 Hologres

通过Hologres+Flink构建易用、统一的企业级实时数仓。

实时数仓Hologres V2.2发布，Serverless Computing降本20%

本案例集收录电商/教育/游戏等6个行业共计17家客户，通过Hologres分析服务一体化架构，替换各类OLAP分析引擎与KV数据库，实现海量半结构化/结构化数据的实时写入、实时更新、实时分析。

一站式实时数仓Hologres整体能力介绍—2024实时数仓Hologres公开课 01

本文将会分享Hologres RoaringBitmap 方案在画像分析的应用实践，实现更快更准的画像分析。

Hologres提供统一、实时、弹性、易用的一站式实时数仓引擎，解决复杂OLAP难题。

本次案例主要分享森马集团面对多年自建的多套数仓产品体系，通过阿里云MaxCompute+Hologres+DataWorks统一数仓平台，保障数据生产稳定性与数据质量，减少ETL链路及计算时间，每年数仓整体费用从300多万降到180万。

实时数仓Hologres的基本概念和特点：1.一站式实时数仓引擎：Hologres集成了数据仓库、在线分析处理(OLAP)和在线服务(Serving)能力于一体，适合实时数据分析和决策支持场景。2.兼容PostgreSQL协议：Hologres支持标准SQL（兼容PostgreSQL协议和语法），使得迁移和集成变得简单。3.海量数据处理能力：能够处理PB级数据的多维分析和即席查询，支持高并发低延迟查询。4.实时性：支持数据的实时写入、实时更新和实时分析，满足对数据新鲜度要求高的业务场景。5.与大数据生态集成：与MaxCompute、Flink、DataWorks等阿里云产品深度融合，提供离在线

实时数仓Hologres的基本概念和特点：1.一站式实时数仓引擎：Hologres集成了数据仓库、在线分析处理(OLAP)和在线服务(Serving)能力于一体，适合实时数据分析和决策支持场景。2.兼容PostgreSQL协议：Hologres支持标准SQL（兼容PostgreSQL协议和语法），使得迁移和集成变得简单。3.海量数据处理能力：能够处理PB级数据的多维分析和即席查询，支持高并发低延迟查询。4.实时性：支持数据的实时写入、实时更新和实时分析，满足对数据新鲜度要求高的业务场景。5.与大数据生态集成：与MaxCompute、Flink、DataWorks等阿里云产品深度融合，提供离在线

基于Hologres的OLAP系统建设

曹操出行实时计算负责人-林震对于曹操出行基于Hologres+Flink的实时数仓建设进行演讲

本文主要介绍Hologres+Flink构建的企业级实时数仓，实现全链路的数据实时计算、实时写入、实时更新、实时查询。

Apache Doris是一款开源的高性能实时分析数据库，设计用于低延迟SQL查询和实时数据处理，适合大规模实时分析场景。与Apache Druid、ClickHouse和Greenplum相比，Doris在易用性和实时性上有优势，但其他产品在特定领域如高吞吐、SQL支持或数据处理有特长。选型要考虑查询性能、实时性、SQL需求和运维成本。Doris适用于实时数据分析、BI报表、数据中台和物联网数据处理。使用时注意资源配置、数据模型设计、监控调优和导入策略。

在使用阿里云实时数仓Hologres时，可能会遇到不同类型的错误。例如：1.内存超限错误、2.字符串缓冲区扩大错误、3.分区导入错误、4.外部表访问错误、5.服务未开通或权限问题、6.数据类型范围错误，下面是一些常见错误案例及可能的原因与解决策略的概览。

实时数仓Hologres是阿里云推出的一款高性能、实时分析的数据库服务，专为大数据分析和复杂查询场景设计。使用Hologres，企业能够打破传统数据仓库的延迟瓶颈，实现数据到决策的无缝衔接，加速业务创新和响应速度。以下是Hologres产品的一些典型使用场景合集。

Hologres 在友盟+统计分析、营销等多个产品线使用，很好地满足了用户行为分析、人群圈选与洞察场景的多维度分析、灵活下钻、快速人群预估和圈选等分析需求，提供客户更流畅的数据查询和分析体验。

通过对各个业务线实时需求的调研了解到，当前实时数据处理场景是各个业务线基于Java服务独自处理的。各个业务线实时能力不能复用且存在计算资源的扩展性问题，而且实时处理的时效已不能满足业务需求。鉴于当前大数据团队数据架构主要解决离线场景，无法承接更多实时业务，因此我们需要重新设计整合，从架构合理性，复用性以及开发运维成本出发，建设一套通用的大数据实时数仓链路。本次实时数仓建设将以游戏运营业务为典型场景进行方案设计，综合业务时效性、资源成本和数仓开发运维成本等考虑，我们最终决定基于Flink + Hudi + Hologres来构建阿里云云原生实时湖仓，并在此文中探讨实时数据架构的具体落地实践。

新增弹性计算组实例，解决实时数仓场景下分析性能、资源隔离、高可用、弹性扩缩容等核心问题，同时新增多种用户分析函数与实时湖仓Paimon格式支持，COUNT DISTINCT优化显著提升查询效率。

Lazada选品平台包含全网商家、商品的圈选，通过Hologres RoaringBitmap能力帮助业务突破选品池20w大小限制，6000+选品池调度完成由12h下降至1h，单个选品池调度时间由90s下降至2s。

本文整理自阿里云高级专家喻良，在 Flink Forward Asia 2023 主会场的分享。

本文根据2023云栖大会演讲实录整理而成，演讲信息如下： 演讲人：姜伟华 | 阿里云计算平台事业部资深技术专家、阿里云实时数仓Hologres研发负责人 演讲主题：Hologres Serverless之路——揭秘弹性计算组

本期将重点介绍Hologres推出计算组实例，Hologres支持JSON数据 ，Hologres向量计算+大模型能力，Hologres数据同步新能力，Hologres数据分层存储

本文为您介绍如何基于Hologres向量计算能力，结合大模型的阅读理解和信息整合能力，对该垂直行业的问题提供更贴切的回答，即费、快速定制专属聊天机器人。

在使用阿里云实时数仓Hologres时，可能会遇到不同类型的错误。例如：1.内存超限错误、2.字符串缓冲区扩大错误、3.分区导入错误、4.外部表访问错误、5.服务未开通或权限问题、6.数据类型范围错误，下面是一些常见错误案例及可能的原因与解决策略的概览。