将Apache Spark工作负载迁移到Snowflake

贺琰宜
导读 在今天的雪花峰会上,动员。Net宣布将Apache Spark加入到其SnowConvert迁移工具可以自动分析、评估并迁移到雪花数据云的不断增长的数据源

在今天的雪花峰会上,动员。Net宣布将Apache Spark加入到其SnowConvert迁移工具可以自动分析、评估并迁移到雪花数据云的不断增长的数据源列表中。动员。Net SnowConvert for Spark Scala可以独立使用,也可以在BlackDiamond Studio中使用。BlackDiamond Studio是最新发布的针对雪花的源代码分析工具、集成开发环境、代码存储库和迁移平台。有了BlackDiamond Studio,用户只需连接到他们的Snowflake帐户,就可以使用Snowpark API完全设置运行Scala或Python代码。

“动员。Net SnowConvert已经扫描、分析和转换了来自最广泛使用的遗留数据平台的代码,”Mobilize.Net的首席执行官Tom Button说。有了这个版本,Apache Spark用户可以在几分钟内使用Scala和Snowpark。”

Snowflake的行业垂直工作负载副总裁Padmaja Vrudhula表示:“在大流行期间,利用雪花数据云中的数据力量变得更加关键,跨领域数据和机器学习模型对关键业务决策变得更加必要。”“动员。Net SnowConvert是雪花专业服务工具包中的必备工具,可加速将工作负载从Teradata、Oracle、Apache Spark和SQL Server迁移到雪花数据云。”

随着这个版本的动员。Net SnowConvert for Spark Scala,客户可以大幅减少将Spark工作负载转移到Snowflake的时间、风险和费用。现在,Spark用户可以使用Snowpark的独特能力来提高或降低工作负载——如果使用本地机器或Spark集群,这可能要复杂得多,也昂贵得多。同样,SnowConvert使组织能够使用Snowpark将所有定制分析脚本和数据存储在一个位置,从而简化大数据结构。

动员。Net SnowConvert for Spark Scala支持:

Spark (org.apache.spark.sql)中的Scala函数被转换为Snowflake中的Scala等效函数,由Snowpark API (com.snowflake.snowpark)支持。

Spark SQL函数在雪花SQL中转换为UDF:

在Snowflake SQL中嵌入JavaScript

雪花脚本

标签:

版权声明:本文由用户上传,如有侵权请联系删除!