|
hadoop平台权限及监控 手机号：18192571103 QQ:48641715 项目分类 管理系统 项目预算 100000元 开发周期 90天 项目内容描述 具体要求： Hadoop平台建设安全管理、运行监控、平台资源配额管理等功能，实现平台的能力开放并对外提供服务。 功能要求： （1）通过Kerberos、LDAP等认证方式实现对平台主要组件的认证和鉴权,使用ranger实现。 （2）支持MapReduce、Spark等计算框架的资源隔离，为用户分配队列并配置资源和优先级，保证不同的任务在各自的队列中运行，不受到其他任务的影响。 （3）支持HDFS的存储配额管理，可为每个用户分配目录的存储空间等；支持Kafka的配额管理，配置读取数据的速率等；支持Spark任务的配额管理，可对任务的运行资源进行配额管理、控制任务使用资源的上下限。 （4）支持Kafka的监控管理，通过可视化的页面展示Kafka Broker、Topic（包括Topic的偏移量、使用的存储空间等）、消费者、Zookeeper信息，以及消费者消费Topic的进度、任务运行情况等； （5）日志审计功能，可查看大数据平台及各组件的运行情况、历史告警等信息。调用cdh（CDH版本5.14）的接口实现
| 
发表于 2021-4-25 15:22:50
