亚马逊云科技-AppFlow新数据连接器GenAI

亚马逊云科技-亚马逊AppFlow中新数据连接器GenAI

关键字: [yt, Amazon AppFlow, Amazon Appflow, Data Connectors, Saas Applications, Amazon Web Services Services, Data Integration, Data Transfer, Data Lake, Data Warehouse, Analytics Services, Machine Learning, Glue Data Catalog, Data Partitioning, Data Aggregation, Sharepoint Integration, Marketing Connectors, Customer Service Connectors, Salesforce Integration]

本文字数: 400, 阅读完需: 2 分钟

导读

在一场亚马逊云科技活动上,演讲者介绍了”Amazon AppFlow 中的新数据连接器”。演讲者阐释了 Amazon AppFlow 如何使客户能够在 SaaS 应用程序与亚马逊云科技服务(如 Redshift、Athena 和 S3)之间传输数据。具体而言,AppFlow 提供了一种无代码、低代码的托管服务方式,使客户无需开发和维护自定义连接器,并支持安全且可扩展的数据传输。该演讲重点介绍了 Amazon AppFlow 如何实现跨 SaaS 应用程序的数据集成和分析、在 S3 上构建数据湖以及在 Redshift 上构建数据仓库,以及新功能,如与亚马逊云科技 Glue Data Catalog 的集成、分区和聚合,以及用于 SharePoint、Harvest、LinkedIn Pages、ProductBoard、ResearchGate、Snapchat、Smartsheet、Asana、WooCommerce 和 Oracle Eloqua CRM 的新数据连接器。

演讲精华

以下是小编为您整理的本次演讲的精华，共100字，阅读时间大约是0分钟。

在当今数据驱动的时代,企业面临着一个巨大的挑战:它们在漫长的运营过程中积累的大量数据分散在各个数据仓库中,这给数据分析和机器学习带来了诸多困难、昂贵的成本和低效率。为了解决这一问题,企业都在努力构建数据湖,将所有数据集中起来,从而使分析和机器学习变得更加简单高效。

亚马逊云科技(亚马逊云科技)的AppFlow服务应运而生,它是一个集中式集成中心,可以在各种SaaS应用程序和亚马逊云科技服务之间无缝集成和传输数据,帮助企业构建数据湖。AppFlow采用无需编码或低代码的托管服务方式,免去了开发、维护和更新自定义连接器的重担。AppFlow连接器经过完全验证和支持,可以安全、可扩展地通过Amazon PrivateLink传输数百万条记录,防止数据暴露在公共互联网上。

AppFlow最近推出了一些新功能,进一步增强了其数据集成能力。首先,它与Amazon Web Services Glue Data Catalog集成,无需运行任何爬虫即可直接从AppFlow配置中填充Glue数据目录,从而更轻松地与其他亚马逊云科技分析、机器学习和商业智能服务如Amazon Athena、QuickSight、Glue DataBrew等共享、分析和可视化SaaS数据。其次,AppFlow新增了分区和聚合功能,用户可以轻松根据时间戳和列值对目标数据进行分区,最多可选择10列,AppFlow会自动在Glue数据目录中注册分区信息。用户还可以选择将记录聚合到单个文件或多个文件中,以提高查询性能。这些新功能有助于减少处理开销,提高并行性,从而优化查询性能。

除了功能增强,AppFlow还不断扩展其数据连接器的范围。最近,它增加了与Microsoft SharePoint的集成,允许用户将SharePoint在线上的文档如PDF文件、Word文档、Excel文件等,图像和其他信息上传到基于Amazon S3构建的数据湖或中央存储中,从而构建基于SharePoint文档的应用程序。此外,AppFlow还在上个月推出了4个新的数据连接器,分别是Harvest、LinkedIn Pages、Productboard、Researchgate,为客户提供更多数据访问渠道,满足数据湖补充、分析和机器学习等使用场景。在营销和客户服务领域,AppFlow于1月份新增了多个连接器,包括营销团队需求的Snapchat连接器,以及Smartsheet、Asana、Woocommerce、Oracle等,帮助企业更快速地获取所需数据,做出关键的业务和营销决策,并优化流程。

为了更好地展示AppFlow的强大功能,亚马逊云科技的Manuel Al-Mahmun先生进行了一个现场演示。他创建了一个新的AppFlow流程,将Salesforce中最近30天内创建的机会对象传输到Amazon S3,并直接使用Athena等BI应用程序查询这些数据。在演示中,Manuel详细展示了如何配置源(Salesforce)、目标(S3存储桶AppFlow demo)、数据库和表(新建数据库,表前缀demo)、文件格式(JSON/CSV/Parquet)、流程触发器(按需运行)、字段映射(直接映射所有字段)、数据转换(对账户ID进行掩码)、分区设置(选择了类型列进行分区,日期分区)、聚合设置(未选择)和验证过滤器(过滤掉1个月前的数据)等参数,全面呈现了AppFlow强大的数据集成能力。

总的来说,亚马逊云科技的AppFlow服务通过不断推出新功能和扩展数据连接器范围,帮助企业更高效地集成和利用分散的数据资源,提高分析和机器学习的效率,从而在数据驱动的时代保持竞争力。企业可以充分利用AppFlow构建数据湖,释放数据的全部价值,推动业务发展。

总结

亚马逊AppFlow是一项强大的数据集成服务,它使企业能够充分利用分散在各种SaaS应用程序中的数据。这个集中式中心可以无缝地在SaaS服务和亚马逊云科技分析工具(如Redshift、Athena和S3)之间传输数据,从而实现数据湖和数据仓库的创建。凭借其无代码和低代码方法,AppFlow减轻了开发和维护自定义连接器的负担,确保了通过亚马逊云科技PrivateLink进行安全和可扩展的数据传输。

最近,AppFlow与亚马逊云科技Glue Data Catalog集成,允许用户直接从AppFlow配置中填充目录,而无需运行爬虫。这简化了使用亚马逊云科技分析、机器学习和商业智能服务共享、分析和可视化SaaS数据的过程。此外,AppFlow现在支持分区和聚合,通过减少处理开销和提高并行性来提高查询性能。

引入了新的数据连接器,包括Microsoft SharePoint、Harvest、LinkedIn Pages、ProductBoard和ResearchGate,扩展了用于数据湖水化、分析、机器学习和数据丰富等用例的数据源范围。此外,还推出了Snapchat、Smartsheet、Asana、WooCommerce和Oracle Eloqua CRM等营销和客户服务连接器,使企业能够做出明智决策并简化客户流程。

凭借不断增长的功能,亚马逊AppFlow使组织能够发挥数据的真正价值,促进数据驱动的洞察力、创新和业务增长。

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。亚马逊云科技致力于成为企业构建和应用生成式AI的首选，通过生成式AI技术栈，提供用于模型训练和推理的基础设施服务、构建生成式AI应用的大模型等工具、以及开箱即用的生成式AI应用。深耕本地、链接全球 – 在中国，亚马逊云科技通过安全、稳定、可信赖的云服务，助力中国企业加速数字化转型和创新，并深度参与全球化市场。