传统数仓的几大缺陷 一篇分析清楚
发布时间：2023-02-16 09:21:15 所属栏目：云计算 来源：互联网
导读：传统数仓存在哪些问题？本文将对传统数仓的缺陷进行总结！ 01 效率低 传统的数仓大多构建在Hadoop之上，这为传统的数仓带来了近乎无限的横向扩展能力，同时也造成了传统的数仓技术效率低的缺陷。效率低主要体现在以下几个方面。 计算效率低：主要体现在Hive
|
传统数仓存在哪些问题？本文将对传统数仓的缺陷进行总结！ 01 效率低 传统的数仓大多构建在Hadoop之上，这为传统的数仓带来了近乎无限的横向扩展能力，同时也造成了传统的数仓技术效率低的缺陷。效率低主要体现在以下几个方面。 计算效率低：主要体现在Hive和Kylin上，这两个数仓没有自己的存储引擎和计算引擎，这导致Hive和Kylin只能依靠堆机器实现复杂查询，而无法从数据本身下手。在大数据后期，一些以数据快速查询为目标而特殊设计的数据存储格式成为标准，这个现象才有所改观。而HBase的优化核心就是重新设计的存储引擎，使得HBase可以对数据本身进行查询速度的优化。 02 成本高 决策成本高：传统的大数据由于部署成本高，导致企业在做决策时面临比较大的决策成本，一方面是前期投入太大，短期内看不到效果，长期以来效果如何也很难说清楚。另一方面是即使企业下定决心来建设数仓，昂贵的基础设施和专业技术人员的缺乏也会造成很长的建设周期，长的建设周期又会带来很多不可预知的变数，最终影响企业的决策。 传统的数仓数仓引擎还会带来成本高的挑战，主要体现在以下几个方面. 部署成本高：由于Hadoop的计算逻辑是通过堆计算资源的方式来摊销复杂查询的时间，因此如果需要达到一个比较理想的性能，必须要求集群中节点的数量达到一定的规模，否则因为计算效率低的特点，单机很容易成为性能瓶颈。这导致了Hive等基于Hadoop的数仓部署成本高的缺陷。 运维成本高：集群服务器达到一定规模后，运维成本会指数级上升。同时，由于Hadoop中组件太多，任何一个组件的失效都有可能导致整个服务的不可用，因此运维团队必须包含所有组件的运维人员，否则运维团队有可能很好地执行任务。这也极大地提高了运维团队的人力成本。 （编辑：莱芜站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
