青云科技KubeSphere Marketplace上新LakeInsight,助力Data+AI一体化
青云 科技 KubeSphere Marketplace上新!北京数元灵科技有限公司(简称“数元灵”)旗下 LakeInsight 云原生湖仓实时数据开发平台正式上架。
关于 LakeInsight
LakeInsight 是企业级一站式实时数据分析和 AI 开发平台,基于数元灵自研开源湖仓一体框架 LakeSoul 和云原生容器化架构,提供多源数据实时集成、实时数仓建模、BI 指标报表平台和 AI 开发平台,实现 Data + AI 一体化。
LakeInsight on KubeSphere
数元灵率先发布了 LakeInsight 湖仓实时数据开发版,支持配置数据源,数据入湖/出湖功能;提供交互式 SQL 数据分析,任务发布功能提供计算作业资源监控;支持多租户权限隔离等功能。
用户可以通过 KubeSphere Marketplace 订阅部署 LakeInsight 湖仓实时数据开发版,快速为 KubeSphere 平台添加数据湖仓功能。部署完成之后,平台管理员可在 KubeSphere 导航栏直接进入数元灵数据智能平台,来进行数据源添加,数据入湖,数据分析,任务管理等操作,也可以添加企业内用户的登录权限,并通过对接 KubeSphere 不同权限级别的用户,来实现数据智能平台的权限隔离。
通过 KubeSphere Marketplace 进行订阅部署:
在 KubeSphere 导航栏直接进入数元灵数据智能平台:
LakeInsight 用户可在 KubeSphere 导航栏直接进入数元灵数据智能平台,来进行数据源添加,数据入湖,数据分析,任务管理等操作。
数据源添加
LakeInsight 中支持配置各种类型的数据源,目前支持 Mysql、Kafka 以及 MaxCompute 三类,近期还会加入 MongoDB、Oracle 等常用的数据库。数据源配置后,可以在入湖、出湖功能中使用。
数据入湖
支持从 MySQL、Kafka 等数据源实时采集写入湖仓。在界面上选择上面配置的数据源,即可启动自动实时采集任务。LakeInsight 支持多种数据库的整库多表自动实时入湖,同步任务支持自动新表发现、自动 DDL 变更同步,省去人工繁琐的运维操作。
数据开发
提供实时开发平台,支持 SQL、Python 进行实时增量数据开发。LakeInsight 支持全链路实时增量计算,实时任务会自动监听输入表的更新,自动触发增量计算,降低了数据产出的延迟并且节省资源,同时也不需要传统的定时任务调度。在 SQL 开发 Notebook 中可以进行实时可视化调试,调试完成后,在任务发布页面选择调试好的 Notebook 即可发布上线。
数据开发:
任务发布:
数据查询和出湖
LakeInsight 湖仓中计算好的的数据,可以直接提供查询服务,可以在关于页面查看服务连接地址。同时,也支持将湖仓中的数据导出到外部系统中,通过界面配置,即可启动实时数据导出任务:
监控告警
LakeInsight 集成了作业管理、日志查询和监控平台。对平台内运行的计算任务,可以在界面上进行日志查看、启动停止等操作,可以自动采集各项监控指标,并且可以配置自动报警规则。
作业监控:
日志查询:
立即体验
LakeInsight 湖仓实时数据开发版支持免费试用一个月。试用期内,所有功能点、任务数、计算节点、存储规模均无限制,还可享有原厂技术团队在线 5*8 答疑。现在前往 KubeSphere Marketplace,即可免费订阅 LakeInsight 湖仓实时数据开发版。
接下来,数元灵还将推出 LakeInsght 湖仓实时指标报表版和 LakeInsight 湖仓实时 AI 开发版,敬请期待。我们相信,LakeInsight on KubeSphere 将让数据智能触手可及!