云计算的出现使数字领域发生了翻天覆地的变化。随着这项新技术的出现,新的、更灵活、更具弹性和可扩展的计算架构已成为可能。
在 COVID-19 到来之前,云迁移已经在顺利进行中,但疫情加速了这一转变,并使云计算变得必不可少。云架构的灵活性使组织能够在各种环境中分配计算流程和数据存储,混合和匹配最适合各自计算需求的平台。这包括跨本地、公共云和混合云资源的架构,以及在多云配置中平衡多个公共云的计算作业和数据的设计。如今,80% 的组织部署混合云方法,89% 的组织使用多云。
云计算的全面采用已经改变了人们的思维方式。架构旨在利用通用连接和即时可扩展性的独特功能。应用程序不再需要构建为在单台机器上运行的单片程序,而是构建为跨不同服务器和云独立运行的代码集合,以实现预定结果。这种更精细的计算方法创造了更加动态的环境,催生了新的创新机会。
在混合多云策略中采用多云、混合云或两者兼有有很多好处,包括优化数据管理的机会。混合多云可帮助组织降低风险和成本,同时提高性能和法规遵从性。
任何系统面临的最大风险之一就是系统崩溃的可能性。系统弹性对于向客户和利益相关者提供足够的服务至关重要。混合多云策略提供了更多选项来转移计算任务并维护数据库的冗余副本以提供更大的冗余度。如果一个云或服务器遇到问题,新平台始终准备就绪。
数据主权规定各国有权为在其境内收集的数据制定规则。在管理具有独特规则的多个国家的数据的同时遵守这些法规是一项挑战。一些国家要求在其境内收集的数据存储在其境内的服务器上。混合多云架构允许组织将数据保留在一国境内,同时让全球应用程序可以访问这些数据。
能够快速将工作负载从一个云供应商转移到另一个云供应商,可以避免一个供应商对您的数据和应用程序拥有过多的控制权。能够轻松地将数据和计算作业从本地移动到云或从一个供应商转移到另一个供应商,这使组织能够优化其流程并利用每个平台的优势。例如,可以重构部分旧应用程序以在云中运行,以利用云功能,同时将旧数据保留在本地。
对于许多应用程序而言,速度对于确保最佳业务成果至关重要,例如华尔街金融数据、复杂的安全应用程序和尖端客户体验。预测数据需求并将高需求数据放置在更靠近运行计算作业的服务器的位置可减少应用程序延迟。混合多云策略为如何以及在何处暂存数据以使其更靠近计算引擎和/或最终用户提供了更多选择。应用程序无需在每次需要时都从网络中心检索数据。借助混合多云策略,可以更灵活地访问新资源和扩展应用程序。将数据移近用户也使数据更易于访问。
混合多云策略使应用程序设计和架构发生了重大变化。标准化的 Docker 容器和 Kubernetes 等编排器已标准化抽象层,允许应用程序代码独立于基础设施运行。这项技术使应用程序的任何部分都可以在任何云环境中运行。数据更加复杂且不断变化,使这种方法变得更加复杂。
数据在不断变化,移动性差得多。虽然数据可以复制和镜像,但数据副本越多,保持一致性并知道哪个数据集最有效就越困难。云蔓延加剧了这一挑战。
轻松配置新云或 SaaS 应用程序导致了云蔓延。影子 IT 导致未经批准的 SaaS 应用程序中未经检查的数据存储增长,从而导致数据库不连接且孤立。这种趋势导致复杂性不断增加,使得整个组织的数据分析变得困难。
云带来的效率和成本节约被云蔓延所抵消。在没有适当治理的情况下轻松配置新应用程序或云会导致冗余、低效率和资源闲置。混合多云策略限制了查看和管理组织整个云资产的能力,导致成本超支。
多云策略缺乏统一的治理也会对安全和访问产生影响。必须维护独特的访问规则和策略来管理混合多云的访问。这很复杂,因为每个云都有自己细致入微的控制。信息技术专业人员必须了解每个云的特性,才能保持适当的安全和治理。缺乏统一的治理使得管理足够细粒度的访问规则以支持授权用户所需的数据访问变得困难。IT 部门依靠更广泛、更严格的访问规则来简化这一挑战。
在对遗留应用程序进行现代化改造时,云所承诺的效率并不总是能满足预期。将遗留数据库迁移到云中并不总是与云架构兼容,这限制了将整个应用程序迁移到云中的能力并阻碍了现代化。当一些数据在云中而其他数据仍在本地时,同时高效地访问这些数据并不简单,需要单独的 API 调用。许多业内人士意识到,一些遗留数据和应用程序可能永远不会进入云中,并将永远存在于本地。这一事实需要新的策略来将这些旧应用程序和数据库纳入成功的混合多云策略中。
由于云蔓延导致数据遍布整个云,数据滞留在旧式应用程序和数据库中,因此在混合多云架构上访问数据并不总是最佳的。联合查询和虚拟化访问层可以帮助克服其中的一些挑战。
联合查询支持使用单个查询从多个数据库中提取数据。这样就无需编写多个复杂查询并合并结果以创建单个数据集。只需编写单个 SQL 查询,就可以提取来自多个数据库的数据,就像它们是单个数据库一样。由于云蔓延而滞留在各种云数据存储和 SaaS 平台中的数据可以跨这些数据孤岛进行访问和组合,从而推动整个组织获得更大的数据访问权和业务洞察力。
一旦执行联合查询,数据就会被输入到虚拟数据库中。这个虚拟化层将计算层和数据库结构的复杂性与实际数据分开。该层充当单一访问点,可以在其中实施统一的治理规则和访问协议,从而增强数据的可见性和管理,无论数据是存储在本地还是在多个云中。较低的复杂性使应用细粒度的访问规则成为可能。该层通过从各种云协议和控件中抽象数据,简化了跨不同云的数据管理。无需采用一刀切的访问规则和治理,而是可以以数据为中心来管理访问。系统策略的限制不再定义用户可以访问和不能访问哪些数据。
这个联合数据层也为数据产品提供了基础。这一过程提供了一种新的、更好的模型,用于实现额外的控制层,为数据产品生产者和领域管理者提供更大的控制权。
联合查询提供了多种优化数据访问和云数据架构的机会。当数据不再需要存储在单个位置以供应用程序轻松访问时,在决定将数据存储在何处时可以考虑其他因素。随着云成本和浪费失控,这种灵活性可以成为您的财务运营策略的重要资产。
例如,如果您的旧版应用程序的数据库可能与云不兼容或过于敏感而无法存储在云中,则可以部署混合数据库策略,其中部分应用程序数据存储在云中,而其他数据则保留在本地。使用联合查询,每个数据库都可以通过单个 SQL 查询访问,就像访问一个数据库一样。这可以优化存储和带宽成本。
在将敏感数据迁移到云时,并行运行数据库也大有裨益。迁移旧版应用程序有很多好处,但这个过程可能有风险。旧应用程序总有可能无法在新平台上正常运行,或者数据可能受到损害。许多组织会在云和本地并行运行同一个数据库,以降低数据丢失的风险。如果云中的数据出现问题,联合查询可以从冗余的本地数据库中提取数据,而不会造成任何中断。
联合查询引擎可以通过高级连接器自动提高性能并优化资源利用率。将数据库连接到虚拟化层的精心构建的连接器可以组织流程并在最合适的平台上执行它们。连接器可以指示在数据库的计算资源上进行一定数量的数据整理,这被称为谓词下推。在将数据集拉入虚拟化层之前,可以进行过滤、聚合、排序和列修剪等操作。由于只从数据库中提取精简的数据集,因此此过程可以降低带宽成本。它还可以减少查询时间并避免下游的计算过程。
正如我们前面提到的,Docker 和 Kubernetes 使应用程序代码可以在云中的任何位置打包和使用。这些云原生架构更加高效、有弹性且更有价值,因为它们可以轻松更改。在数据世界中,虚拟化和联合查询支持的数据产品正在成为数据的类似抽象层。数据产品是预先打包的,旨在可在各种 BI 工具或建模平台之间互换。它们在不断改进,数据产品生产商(如应用程序开发人员)正在收集和整合反馈以改进其产品。
混合多云架构的出现极大地影响了应用程序开发以及计算作业的执行方式和位置。由于数据的性质和敏感性不断变化,这一趋势对数据管理的影响程度并不相同。联合查询、虚拟化、以数据为中心的治理和数据产品的广泛采用为数据管理带来了这种灵活性,使数据更加敏捷和易于访问。这一演变正在推动创新和对决策的更深入了解。