1. 数据虚拟化服务 1.1. 趋势 1.1.1. 与数据集相关联的多语言数据模型 1.1.1.1. 多语言持久化既适用于数据湖，也适用于应用程序事务型数据 1.1.2. 查询引擎和数据存储持久化的解耦允许不同的查询引擎对数据湖中持久化的数据运行查询 1.1.2.1. 通常，为不同的查询工作负载组合 ...

在数据驱动的数字时代，企业正面临前所未有的数据增长与系统复杂性。数据分布在不同系统、格式与平台中，导致“信息孤岛”问题日益严重。打破这些孤岛，实现数据的高效整合与共享，成为推动企业智能决策与业务创新的关键。而 Apache SeaTunnel 正是在这样的需求下崭露头角，它以简洁的使用方式、强大的插 ...

在调研了 DolphinScheduler 之后，在项目上实际使用了一段时间，有了一些任务配置实际经验，分享如下。 封 一、资源中心任务组上限问题 【资源容量】: 允许任务实例并发的最大数量。 1.1、 现象 当我们部署方式是standalone时，资源容量默认值是 10，如下截图： 如果我们调整这 ...

本文将介绍在DolphinScheduler中使用ProcessBuilder执行Shell命令的方法。默认通过BashShellInterceptorBuilder封装Shell脚本并生成执行命令，支持普通模式和sudo模式运行。同时，结合Spring Boot应用示例，展示了如何配置工作目录、合 ...

1. 数据权限治理服务 1.1. 大部分用于提取洞察的数据都是直接或间接地从客户交互中收集的，所以如果数据集包含客户的详细信息，特别是PII（如姓名、地址、社保号等）​，则企业需要确保数据的使用符合用户的数据偏好 1.2. 数据权限法规越来越多 1.3. 收集数据的权限 1.3.1. 对收集个人数据 ...

1. 数据整理服务 1.1. 数据整理是一个迭代的过程，涉及处理错误值、异常值、缺失值、估算值、数据不平衡和数据编码 1.1.1. 包括结构化、清洗、丰富和验证数据 1.1.2. 流程中的每一步都隐含了可能“重新整理”数据的新方法，目的是整理出最健壮的数据以提取洞察 1.2. 痛点 1.2.1. 数 ...

1. 数据湖管理服务 1.1. 数据聚合在数据湖中，数据湖已经成为聚合PB级数据的中央数据存储库，这些数据包括结构化数据、半结构化数据和非结构化数据 1.2. 痛点 1.2.1. 原始的数据生命周期任务没有自动化的API，需要工程专家来实现可重复性和回滚、提供数据服务层等 1.2.2. 需要应用程序 ...

MySQL Router 安装 解压缩，修改路径名字 root@ubuntu06:/usr/local/mysql_install_package# tar xvf mysql-router-8.3.0-linux-glibc2.28-x86_64.tar.xz root@ubuntu06:/usr ...

使用 gt-checksum 分析迁移对象 背景 本文以从 ORACLE 迁移到 GreatSQL 为例讲述如何使用gt-checksum分析迁移对象。 关于gt-checksum gt-checksum 是 GreatSQL 社区开源的一款静态数据库校验修复工具，支持MySQL、Oracle等主流 ...

在昨日举办的2025亚马逊云科技合作伙伴峰会圆桌论坛上，白鲸开源创始人兼CEO郭炜作为嘉宾，与亚马逊云科技及其他行业领袖共同探讨了“AI-Ready的数据架构：ISV如何构建面向生成式AI的强大数据基座”这一重要话题。此次论坛由亚马逊云科技大中华区解决方案架构师高级经理Dickson Yue主持，吸 ...

1. 点击流跟踪服务 1.1. 在构建洞察的过程中，一项越来越重要的工作是收集、分析和聚合行为数据，即点击流数据 1.2. 点击流是代表用户在应用程序或网站中操作的事件序列，包括点击、浏览和相关的上下文，比如页面加载时间、访问者使用的浏览器或设备等 1.3. 点击流数据对于客户流量分析、营销活动管理 ...

本书是由MongoDB团队成员撰写的入门指南，涵盖从开发到部署的各个方面，内容适合MongoDB 4.2及以上版本。无论你是NoSQL新手还是有经验的MongoDB用户，都可以在查询、索引、聚合、事务、副本集、分片、监控和安全等方面收获新的知识。 ...

PostgreSQL表空间VS数据库 表空间：PostgreSQL中，表空间是一个逻辑概念，安装好PostgreSQL后有自带的默认的表空间，也可以创建用户表空间，每个表空间，又对应着一个物理上的路径。数据库：PostgreSQL数据库也是一个逻辑概念，数据库强绑定到一个表空间，但是数据库中的对象（ ...

近日，深圳计算科学研究院与北京白鲸开源科技有限公司联合宣布，双方已完成产品兼容互认证。此次认证涉及深圳计算科学研究院自主研发的崖山数据库管理系统YashanDB V23和北京白鲸开源科技有限公司的核心产品WhaleStudio V2.6。经过严格的测试与验证，双方产品在兼容性、系统稳定性等方面表现优 ...

1. 数据迁移服务 1.1. 通常，必须将来自不同数据仓库或应用数据库的数据属性进行聚合以构建洞察 1.2. 数据迁移的痛点 1.2.1. 在异构数据源之间协调数据移动、持续验证源数据和目标数据之间的数据正确性以及适应数据源上通常发生的任何模式或配置更改 1.3. 确保及时提供不同来源的数据属性是主 ...

概述 OceanBase 数据库 有着非常丰富的视图，通过这些视图可以获取 OB 集群各种数据库对象的基本信息和实时状态信息。这些视图分为两大类：数据字典视图和动态性能视图。 数据字典视图 展示系统租户管理的数据库对象的基本信息。命名特点以 DBA_ 和 CDB_ 开头，DBA_开头的视图展示的是各 ...

Java程序使用预处理语句的性能提升 GreatSQL提供了对服务器端预处理语句（Prepared Statements）的支持。预处理语句可以利用了高效的客户机/服务器二进制协议。使用带有参数值占位符的预处理语句有以下好处: 每次执行时解析语句的开销更少。通常，数据库应用程序处理大量几乎相同的语句 ...

本文整系统梳理了在IDEA中搭建Apache DolphinScheduler本地调试环境的通用流程，包括环境准备、远吗配置、服务启动等核心步骤，供大家参考。 1、基础组件准备 1、JDK : v1.8.x (当前暂不支持 jdk 11) 2、Maven : v3.5+ 3、v18.19.1+，安装 ...

1. 特征存储服务 1.1. 在机器学习模型中，还有一个额外的步骤是发现特征 1.1.1. 在机器学习模型中使用某个特征时需要数据属性的历史值 1.2. 特征是一种数据属性，可以直接提取，也可以从数据源通过计算来获得 1.3. 构建数据管道来生成训练以及推理所需的特征是一个重要的痛点 1.3.1.  ...

4 月 26 日 13:30-17:00，时序数据库 Apache IoTDB 社区和粤港澳大湾区国家技术创新中心、openGauss 开源社区强强联手，将在粤港澳大湾区国家技术创新中心 7 楼举办端边云协同的新一代 AI 数据库技术沙龙！ 聚焦 IoTDB、openGauss、IntarkDB 等 ...