大家好,欢迎来到IT知识分享网。
近日,AllData技术社区进行架构设计分享,AllData大数据中台创始人详细介绍了数据中台的2.0版本架构,包括对传统央企和轻量级行业公司的需求分析。


他强调了项目的可插拔性和可定义性,以及未来对更多开源框架的集成能力。
官方文档:
https://alldata-document.readthedocs.io项目地址:
https://github.com/alldatacenter/alldata
AllData大数据中台创始人分享了团队的组成和资源,包括技术团队的商业化考虑和社区运营的投入。他还提到了团队在开源社区的一些合作和经验。AllData大数据中台创始人讨论了项目调研的过程,包括对国内外开源开源组件的调研和对未来商业化的考虑。
他提到了团队在选型时考虑的因素,如品牌号召力、社区运营和开源项目的集成性。会议还进行数据中台2.0版本的人架构分享。最后会议将总结经验教训,提取社区反馈和意见,以期使项目做得更好。

一、开源版功能列表
AllData 1.0旧版架构
id |
功能模块 |
是否开源 |
开源版与商业版区别 |
架构版本 |
1 |
系统管理 |
开源 |
商业版更稳定,Bug比较少 |
旧版架构V1.0 |
2 |
数据集成 |
开源 |
商业版更稳定,Bug比较少 |
旧版架构V1.0 |
3 |
元数据管理 |
开源 |
商业版更稳定,Bug比较少 |
旧版架构V1.0 |
4 |
数据标准 |
开源 |
商业版更稳定,Bug比较少 |
旧版架构V1.0 |
5 |
数据质量 |
开源 |
商业版更稳定,Bug比较少 |
旧版架构V1.0 |
6 |
数据资产 |
开源 |
商业版更稳定,Bug比较少 |
旧版架构V1.0 |
7 |
数据市场 |
开源 |
商业版更稳定,Bug比较少 |
旧版架构V1.0 |
8 |
数据对比 |
开源 |
商业版更稳定,Bug比较少 |
旧版架构V1.0 |
9 |
BI报表 |
开源 |
商业版更稳定,Bug比较少 |
旧版架构V1.0 |
10 |
流程编排 |
开源 |
商业版更稳定,Bug比较少 |
旧版架构V1.0 |
11 |
系统监控 |
开源 |
商业版更稳定,Bug比较少 |
旧版架构V1.0 |
12 |
邮件服务 |
开源 |
商业版更稳定,Bug比较少 |
旧版架构V1.0 |
14 |
文件服务 |
开源 |
商业版更稳定,Bug比较少 |
旧版架构V1.0 |
二、商业版功能列表
AllData 2.0新版架构
id |
功能模块 |
是否开源 |
开源版与商业版区别 |
架构版本 |
1 |
系统管理 |
商业版,不开源 |
商业版更稳定,Bug比较少 |
新版架构V2.0 |
2 |
数据集成 |
商业版,不开源 |
商业版更稳定,Bug比较少 |
新版架构V2.0 |
3 |
元数据管理 |
商业版,不开源 |
商业版更稳定,Bug比较少 |
新版架构V2.0 |
4 |
数据标准 |
商业版,不开源 |
商业版更稳定,Bug比较少 |
新版架构V2.0 |
5 |
数据质量 |
商业版,不开源 |
商业版更稳定,Bug比较少 |
新版架构V2.0 |
6 |
数据资产 |
商业版,不开源 |
商业版更稳定,Bug比较少 |
新版架构V2.0 |
7 |
数据市场 |
商业版,不开源 |
商业版更稳定,Bug比较少 |
新版架构V2.0 |
8 |
数据对比 |
商业版,不开源 |
商业版更稳定,Bug比较少 |
新版架构V2.0 |
9 |
BI报表 |
商业版,不开源 |
商业版更稳定,Bug比较少 |
新版架构V2.0 |
10 |
流程编排 |
商业版,不开源 |
商业版更稳定,Bug比较少 |
新版架构V2.0 |
11 |
系统监控 |
商业版,不开源 |
商业版更稳定,Bug比较少 |
新版架构V2.0 |
12 |
邮件服务 |
商业版,不开源 |
商业版更稳定,Bug比较少 |
新版架构V2.0 |
14 |
文件服务 |
商业版,不开源 |
商业版更稳定,Bug比较少 |
新版架构V2.0 |
三、商业版新增功能列表
AllData 2.0新版架构-新增功能
id |
功能模块 |
是否开源 |
开源版与商业版区别 |
架构版本 |
15 |
数据平台功能 |
商业版,不开源 |
商业版更稳定,Bug比较少 |
旧版架构1.0 |
16 |
数据平台功能(DataSophon) |
商业版,不开源 |
商业版更稳定,Bug比较少 |
新版架构V2.0 |
17 |
数据平台k8s功能(Cloudeon) |
商业版,不开源 |
商业版更稳定,Bug比较少 |
新版架构V2.0 |
18 |
实时开发功能(Streampark) |
商业版,不开源 |
商业版更稳定,Bug比较少 |
新版架构V2.0 |
19 |
实时开发IDE功能(Dinky) |
商业版,不开源 |
商业版更稳定,Bug比较少 |
新版架构V2.0 |
20 |
离线平台功能(DolphinScheduler) |
商业版,不开源 |
商业版更稳定,Bug比较少 |
新版架构V2.0 |
21 |
BI平台功能(Datart) |
商业版,不开源 |
商业版更稳定,Bug比较少 |
新版架构V2.0 |
22 |
数据质量功能(Datavines) |
商业版,不开源 |
商业版更稳定,Bug比较少 |
新版架构V2.0 |
四、会员商业版
4.1 商业版V1.0旧版架构 & V2.0新版架构
1、会员商业版线上环境地址,线上环境只对会员通道开放,成为会员:享受会员权益。 线上环境:http://122.51.43.143:5173/ui_moat 账号:test/(此账号只能体验数据质量功能) 2、开源版与商业版不是同一个项目,开源版会长期存在,商业版由公司团队维护。 3、开源项目可以用于公司内部调研用途,如需商业使用,需要购买会员商业版,开源AllData项目使用GPL协议。 4、加入会员通道,购买商业版源码,可以商业使用AllData。 5、商业版功能更多,保证稳定性,Bug比较少,由公司架构师团队维护。 6、V1.0旧版架构: 创始版属于V1.0旧版架构,V1.0旧版架构使用Vue2 + SpringCloud前后端分离架构。 扩展大数据组件能力有限,目前扩展了开源组件DataSophon,此功能仅在商业版提供源码,开源版本不提供源码。 7、V2.0新版架构: 新版尊贵会员,新版高级会员,新版终身会员属于V2.0新版架构。V2.0新版架构使用Wujie微前端架构+后端可插拔架构。 这套架构是全新会员商业版的核心优势,集成开源组件能力十分优秀,可以扩展支持到30-100+大数据开源组件。
4.2、商业版价格 & 个人版价格 & 开源版价格
1、企业版-创始版会员价格可以查看价格文档:https://docs..com/doc/DVG1udXdxdWF4VHRG 2、企业版-新版尊贵会员价格可以查看价格文档:https://docs..com/doc/DVEtIeVJ0ZlROdnJL 3、企业版-新版高级会员价格可以查看价格文档:https://docs..com/doc/DVG9meHFCdFJCQU9I 4、企业版-新版终身会员价格可以查看价格文档:https://docs..com/doc/DVExLZHNwcmlxTXZx 5、企业版-全部会员价格汇总可以查看海报:https://docs..com/doc/DVFZEQWhoaGxFSXR6 6、个人版-会员价格可以查看价格文档: https://docs..com/doc/DVG9Hc0haTFhjTUNs 7、开源版-会员价格可以查看价格文档: https://docs..com/doc/DVEt2eUV0Q3hyZ3lz 8、官方文档:https://alldata.readthedocs.io 9、部署教程:https://github.com/alldatacenter/alldata/blob/master/install.md 10、数据集成文档:https://github.com/alldatacenter/alldata/blob/master/quickstart_dts.md 11、BI教程文档: https://github.com/alldatacenter/alldata/blob/master/quickstart_bi.md
主要讲述了Github数一数二的数据中台开源项目、同行产品调研,以及如何在这个领域进行交流。 会议提到,国内的大数据开发和产品团队在开源环境中的时间相对较慢,因为国内的大数据架构师或专家通常都在兼职,没有专门从事社区项目。 此外,会议还提到了一个公司组织,这个组织是为了满足项目需求而建立的,同时也需要维护下去。最后,会议提到了一些常用的开源组件,如Hybrid Olap、实时开发等。
五、功能效果






主要讲述了团队在开源框架研究方面的背景和成果,提到了一些开源项目和数据平台。 同时,介绍了团队在技术架构设计方面的思考和尝试。会议还分享了AllData 2.0新版架构集成开源大数据组件的实际案例,通过DataVines,Dinky,DataSophon大数据开源项目集成作为案例,分享大数据开源组件集成建设经验,包括无界Wujie开源框架-腾讯前端团队开发的开源框架以及后端可插拔服务“唯一框架”。 最后分享了一个关于数据中台的项目AllData,讲述了一个在2019年完成并已运行5年以上的项目。









介绍了一个集成了数百个数据源的现代数据栈(Modern Data Stack)框架,也就是AllData 2.0架构框架,该框架旨在为用户提供一条龙的产品,包括数据采集、存储、计算、报表展示、数据服务和MLOPS等技术平台,挖掘出数据内在的价值。 技术架构设计方面,使用了一个最新的图,分别描述数据中台和数据平台两部分。此外,还介绍了框架中的一些功能,如消息能力、微服务、加载引擎等。 最后,提到了未来的一个架构,包括无界Wujie微前端框架、数据中台系统、数据服务等。




主要讲述了团队在开发过程中的一些工作内容和未来计划。首先,团队会先关注开源社区和商业化公司,并在各大B站、视频号和公众号上分享相关内容。其次,团队会持续进行架构优化和测试,以提高基础平台和大数据平台的稳定性。此外,团队还会分享一些典型案例,如可插拔架构案例,介绍如何提高效率和效率。最后,会议还提到了数据质量和数据管理的重要性,以及未来可能的发展方向。




主要讲述了行业背景下的增长趋势放缓,以及数据中台的问题。讲者提到,行业增长放缓,市场规模达到百亿级别。2023年市场规模为183亿。同时,数据中台面临效率低下、数据量问题、集群资源等问题。讲者认为,基于现有技术和产品,未来需要解决转型问题,如DataOps加AI支撑。此外,讲者还提到了客户画像和需求场景,如传统央企、轻量级证券公司等。





在未来五年或十年内,如果其他外国软件或国内开源项目出现,我们可以提供一套框架快速集成到我们的平台上,以便快速进行数据迁移和任务重叠组件的选型。我们希望这些框架能用于调研未来的框架,以满足不同产品的需求。此外,我们团队致力于将数据中台做得更好,目前有80%的资源投入到开发上,还有销售经理、法务、财务等职位在做其他事情。我们的团队是一群人,致力于把这件事做好。
主要介绍了企业级生产流程中的生产系统,包括新版商业版2.0架构,保留很多原有功能,全新优化和升级产品功能效果、UI等。同时,提到了开源图、源码等内容,以及数据平台的功能。此外,还介绍了项目系统和新的架构图,并分享了工作流和系统使用体验。最后,提到了与多个开源社区的开源生态合作,希望未来能一起创造生态,提升项目功能。总的来说,会议对开源项目AllData架构设计进行了全面的探讨,包括项目的技术架构、团队资源、调研选型、案例分析以及AllData平台的技术架构分享。会议强调了项目的可插拔性和可定义性,以及团队在在开源社区的合作和经验。通过这次讨论,与会者对大数据中台的未来发展方向和潜在挑战有了更深入的了解。
免责声明:本站所有文章内容,图片,视频等均是来源于用户投稿和互联网及文摘转载整编而成,不代表本站观点,不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益,请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权,请联系删除,如若转载,请注明出处:https://haidsoft.com/174695.html