告别“纷纷扰扰”—小米OLAP服务架构演进
发布时间：2025-02-09 点击：18
云计算
背景
>>>>
what’s olap?
如果你是一名数据分析师，或者是一位经常和 sql 打交道的研发工程师，那么 olap这个词对你一定不陌生。你或许听说过 olap、oltp 技术，但是今天文章的主角olap 是由云技术平台提供的一款分布式数据分析服务，下面先简单介绍一下它。
小米 olap 是集存储计算于一体的分布式数据分析型数据库服务，通过 kudu 实现“热数据”的实时写入和更新，通过自定义窗口定期迁移“冷数据”到hdfs，并以parquet 格式存储，实现了冷热数据分离的架构，最终通过 sparksql 引擎提供同时对实时数据和历史数据进行分析的能力。
>>>>
oldarchitecture & drawbacks
图1. olap 1.0元数据与权限管理
过去究竟有哪些“纷纷扰扰”呢，让我们先从 olap1.0 版本的元数据与权限管理图说起。可以看到，在旧版的架构中，kudu表相关的权限和元数据与hive表相关的权限和元数据，无论在实现上还是底层存储上都是分离的。前者通过我们自己实现的metadata cache 和 privilege cache 与 olap 服务的组件 metastore manager 及sparksql 引擎进行交互，数据存储在 kudu 上；后者则使用了独立的服务 hive metastore(hms) 和 sentry 分别进行元数据与权限的管理，底层数据存储在 mysql 数据库。了解完旧版本的架构，就可以更彻底地了解这样的架构带来了的问题：
1、用户角度：
（1）用户使用 olap 服务时，如果要访问 kudu 表，需要对 sparksql队列进行特殊配置，以开启对 kudu 数据源的支持。
（2）虽然早期架构在代码层对meta 做了合并，但是并未从根本上解决权限分离的情况。比如用户通过 hive 授权的某个数据库a，通过 olap 系统授权了某个数据库b，在 olap 系统是无法看到数据库a的相关表信息的。还会出现用户有kudu表权限但没有 hive 表权限的情况。上述情况不利于用户数据的打通，还会让用户在使用过程中产生疑惑。同时，用户需要切换队列配置重启服务，使用上也不够友好。
2、开发角度：
metadata cache 和 privilege cache 在实现上存在冗余，其和底层元数据的交互在两个组件都存在。其维护和开发成本比较高，没有统一入口和规范。同时，底层分离的元数据和权限并不利于后续统一的 sql proxy 的开发。
可以看到，无论从用户的角度，还是开发者的角度，进行底层元数据和权限的架构整合都非常必要。
和“纷纷扰扰”说再见
介绍完了过往的“纷纷扰扰”，让我们看看如何和“纷纷扰扰”说再见。从图1可以看出，解决这种分离的最简单方法就是复用现有的 hms 和 sentry 组件，将原有的元数据和权限数据迁移到 mysql 数据库，同时更改上层组件的在元数据和权限部分的交互方法，包括 sparksql 层和 olap 服务端组件(olap server、metastore manager 和 dynamic manager)。
图2. olap 2.0元数据与权限管理
更改后的元数据与权限管理图如上所示。下面我们分为两部分来介绍相关的工作。
>>>>
metadatafederation
元数据整合方面，我们引入了 kudu storage handler,其实现了 hive meta hook的接口，继承了 defaultstoragehandler 类，可以与 hms 进行交互，完成了对 kudu meta 的相关操作。在原版的基础上，我们补充了分区和表的相关操作，以及一些必要的rollup操作来保证 meta 的一致性。
在 sparksql 层，对 kudu meta 的调用方式转化为了直接使用 kudu storage handler,原有的 kudu 相关模块的功能直接整合进 hive 模块，包括了查询、建表、删除表、修改表、展示建表语句等操作。我们大体兼容了旧版本的 dml 语法，并通过 tblproperties 来传递各种 kudu 相关的信息，比如表名、range 分区信息、hash分区信息等，同时，我们自定义的信息和数据流部分信息也存在表属性里，供上层程序使用，比如是否 olap 表、olap 窗口值等。
在 olap 服务端，我们对所有元数据相关的部分做了重构。原有的 metadata cache被移除，有关的元数据的操作通过调用 hms client 提供的 api 来实现。同时，我们把系统相关的数据从 kudu 迁移到 mysql 数据库，使整个服务端不再对 kudu client有直接的依赖。
经过上述整合，所有的meta操作统一到了 hive metastoreclient 层，通过 kudu storage handler 实现，数据存储在 mysql,和对 hive meta 的操作一致。对于开发者，这种架构整体上更为清晰，在修改和维护上也更方便。对于用户来说，通过beeline 去操作 kudu 表和 hive 表除了在建表语法上不同，其他基本操作和 hive 没有区别，用户在建表后基本不需要关心底层存储介质，体验上更加一致。
>>>>
privilegefederation
权限整合的前提是 kudu 相关元数据已经整合到了 hms 中，这样才能借助 sentry 进行权限管理。基于此，我们需要实现鉴权和授权两条通路。
在 sparksql 层，由于本身 hive 模块就已经集合了 sentry 用来做权限鉴定，所以元数据迁移过来以后，beeline 的操作都会通过 sentry 进行鉴权，而授权部分目前sparksql 的语法还不支持。
在 olap 服务端，我们对原有权限相关的操作进行了重构。原有的 privilege cache 被移除，所有权限相关的操作通过调用 sentry client api 实现，包括鉴权、授权、移除权限和权限展示。在权限展示方面，由于 sentry 本身的模型限制，提供的 ap i无法满足需求，我们根据自身需要进行了定制化开发，如增加了相应的 api 实现基于用户角色的权限获取等。
经过权限上的整合，kudu 和 hive 的所有权限就打通了，并可以通过 sentry 统一提供权限相关的服务。
总结与展望
>>>>
小结
经过元数据与权限的整合，olap 服务的元数据范围和权限范围都扩大了，同时意味着查询的范围也扩大了。新的架构如下图所示，meta 相关的服务最终都由 hive metastore 来提供，权限相关的服务最终都由 sentry 来提供，我们只需要在各层通过客户端接口进行调用即可。
new architecture
图3. olap 2.0架构图
>>>>
展望
基于整合后的架构，未来我们可以提供更多的能力，比如基于hms的元数据服务，基于sentry的权限服务。未来，我们计划
支持更多的数据源，比如mysql数据源，
整合更多的sql引擎，比如 hive、kylin 致力于打造统一的sql引擎服务。
作者：小米云技术
链接：https://juejin.im/post/5d679125f265da03b46c01b3
来源：掘金
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
半年总收益8.18亿元 泡泡玛特如何靠盲盒逆袭上市?
云服务器存储和本地保险哪个好一点
磁盘数据丢失以后该如何恢复 将磁盘数据进行恢复的方法
多家国际芯片巨头入驻天猫 阿里或有重磅消息
美国虚拟主机 国内能访问吗
onedrive错误代码0x8004def7的处理方法
请注意有添加失败的域名域名在黑名单中网站被黑出现大量办证信息
免费的国外云服务器租用
背景
>>>>
what’s olap?
如果你是一名数据分析师，或者是一位经常和 sql 打交道的研发工程师，那么 olap这个词对你一定不陌生。你或许听说过 olap、oltp 技术，但是今天文章的主角olap 是由云技术平台提供的一款分布式数据分析服务，下面先简单介绍一下它。
小米 olap 是集存储计算于一体的分布式数据分析型数据库服务，通过 kudu 实现“热数据”的实时写入和更新，通过自定义窗口定期迁移“冷数据”到hdfs，并以parquet 格式存储，实现了冷热数据分离的架构，最终通过 sparksql 引擎提供同时对实时数据和历史数据进行分析的能力。
>>>>
oldarchitecture & drawbacks
图1. olap 1.0元数据与权限管理
过去究竟有哪些“纷纷扰扰”呢，让我们先从 olap1.0 版本的元数据与权限管理图说起。可以看到，在旧版的架构中，kudu表相关的权限和元数据与hive表相关的权限和元数据，无论在实现上还是底层存储上都是分离的。前者通过我们自己实现的metadata cache 和 privilege cache 与 olap 服务的组件 metastore manager 及sparksql 引擎进行交互，数据存储在 kudu 上；后者则使用了独立的服务 hive metastore(hms) 和 sentry 分别进行元数据与权限的管理，底层数据存储在 mysql 数据库。了解完旧版本的架构，就可以更彻底地了解这样的架构带来了的问题：
1、用户角度：
（1）用户使用 olap 服务时，如果要访问 kudu 表，需要对 sparksql队列进行特殊配置，以开启对 kudu 数据源的支持。
（2）虽然早期架构在代码层对meta 做了合并，但是并未从根本上解决权限分离的情况。比如用户通过 hive 授权的某个数据库a，通过 olap 系统授权了某个数据库b，在 olap 系统是无法看到数据库a的相关表信息的。还会出现用户有kudu表权限但没有 hive 表权限的情况。上述情况不利于用户数据的打通，还会让用户在使用过程中产生疑惑。同时，用户需要切换队列配置重启服务，使用上也不够友好。
2、开发角度：
metadata cache 和 privilege cache 在实现上存在冗余，其和底层元数据的交互在两个组件都存在。其维护和开发成本比较高，没有统一入口和规范。同时，底层分离的元数据和权限并不利于后续统一的 sql proxy 的开发。
可以看到，无论从用户的角度，还是开发者的角度，进行底层元数据和权限的架构整合都非常必要。
和“纷纷扰扰”说再见
介绍完了过往的“纷纷扰扰”，让我们看看如何和“纷纷扰扰”说再见。从图1可以看出，解决这种分离的最简单方法就是复用现有的 hms 和 sentry 组件，将原有的元数据和权限数据迁移到 mysql 数据库，同时更改上层组件的在元数据和权限部分的交互方法，包括 sparksql 层和 olap 服务端组件(olap server、metastore manager 和 dynamic manager)。
图2. olap 2.0元数据与权限管理
更改后的元数据与权限管理图如上所示。下面我们分为两部分来介绍相关的工作。
>>>>
metadatafederation
元数据整合方面，我们引入了 kudu storage handler,其实现了 hive meta hook的接口，继承了 defaultstoragehandler 类，可以与 hms 进行交互，完成了对 kudu meta 的相关操作。在原版的基础上，我们补充了分区和表的相关操作，以及一些必要的rollup操作来保证 meta 的一致性。
在 sparksql 层，对 kudu meta 的调用方式转化为了直接使用 kudu storage handler,原有的 kudu 相关模块的功能直接整合进 hive 模块，包括了查询、建表、删除表、修改表、展示建表语句等操作。我们大体兼容了旧版本的 dml 语法，并通过 tblproperties 来传递各种 kudu 相关的信息，比如表名、range 分区信息、hash分区信息等，同时，我们自定义的信息和数据流部分信息也存在表属性里，供上层程序使用，比如是否 olap 表、olap 窗口值等。
在 olap 服务端，我们对所有元数据相关的部分做了重构。原有的 metadata cache被移除，有关的元数据的操作通过调用 hms client 提供的 api 来实现。同时，我们把系统相关的数据从 kudu 迁移到 mysql 数据库，使整个服务端不再对 kudu client有直接的依赖。
经过上述整合，所有的meta操作统一到了 hive metastoreclient 层，通过 kudu storage handler 实现，数据存储在 mysql,和对 hive meta 的操作一致。对于开发者，这种架构整体上更为清晰，在修改和维护上也更方便。对于用户来说，通过beeline 去操作 kudu 表和 hive 表除了在建表语法上不同，其他基本操作和 hive 没有区别，用户在建表后基本不需要关心底层存储介质，体验上更加一致。
>>>>
privilegefederation
权限整合的前提是 kudu 相关元数据已经整合到了 hms 中，这样才能借助 sentry 进行权限管理。基于此，我们需要实现鉴权和授权两条通路。
在 sparksql 层，由于本身 hive 模块就已经集合了 sentry 用来做权限鉴定，所以元数据迁移过来以后，beeline 的操作都会通过 sentry 进行鉴权，而授权部分目前sparksql 的语法还不支持。
在 olap 服务端，我们对原有权限相关的操作进行了重构。原有的 privilege cache 被移除，所有权限相关的操作通过调用 sentry client api 实现，包括鉴权、授权、移除权限和权限展示。在权限展示方面，由于 sentry 本身的模型限制，提供的 ap i无法满足需求，我们根据自身需要进行了定制化开发，如增加了相应的 api 实现基于用户角色的权限获取等。
经过权限上的整合，kudu 和 hive 的所有权限就打通了，并可以通过 sentry 统一提供权限相关的服务。
总结与展望
>>>>
小结
经过元数据与权限的整合，olap 服务的元数据范围和权限范围都扩大了，同时意味着查询的范围也扩大了。新的架构如下图所示，meta 相关的服务最终都由 hive metastore 来提供，权限相关的服务最终都由 sentry 来提供，我们只需要在各层通过客户端接口进行调用即可。
new architecture
图3. olap 2.0架构图
>>>>
展望
基于整合后的架构，未来我们可以提供更多的能力，比如基于hms的元数据服务，基于sentry的权限服务。未来，我们计划
支持更多的数据源，比如mysql数据源，
整合更多的sql引擎，比如 hive、kylin 致力于打造统一的sql引擎服务。
作者：小米云技术
链接：https://juejin.im/post/5d679125f265da03b46c01b3
来源：掘金
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
半年总收益8.18亿元 泡泡玛特如何靠盲盒逆袭上市?
云服务器存储和本地保险哪个好一点
磁盘数据丢失以后该如何恢复 将磁盘数据进行恢复的方法
多家国际芯片巨头入驻天猫 阿里或有重磅消息
美国虚拟主机 国内能访问吗
onedrive错误代码0x8004def7的处理方法
请注意有添加失败的域名域名在黑名单中网站被黑出现大量办证信息
免费的国外云服务器租用