网络免费倍投不能提款联盟

Intel开源了基于Apache Spark的分布式深度学习框架BigDL

Hadoop技术博文 2018-06-19 23:34:58

本文转载自:http://www.infoq.com/cn/news/2017/01/bigdl-deep-learning-on-spark

BigDL地址:https://github.com/intel-analytics/BigDL

Intel开源了基于Apache Spark的分布式深度学习框架BigDL。BigDL借助现有的Spark集群来运行深度学习计算,并简化存储在Hadoop中的大数据集的数据加载。

Xeon服务器上运行的测试结果表明,BigDL比其他开源框架CaffeTorchTensorFlow有显着的性能提升。BigDL速度可与主流GPU匹敌,而且能够扩展到数十个Xeon服务器。

BigDL库支持Spark 1.5、1.6和2.0版本,并容许将深度学习嵌入在现有的Spark程序中。BigDL库中有把Spark RDDs转换为BigDL DataSet的方法,并且可以直接与Spark ML Pipelines一起使用。

对于模型训练,BigDL使用了在多个执行器中执行单个Spark任务的同步小批量SGD(Stochastic Gradient Descent)。每个执行器运行一个多线程引擎并处理一部分微批次数据。在当前版本中,所有的训练和验证数据都存储到存储器中。

BigDL使用Scala开发,并参考了Torch的模型。像Torch一样,它有一个使用Intel MKL库进行计算的Tensor类。Intel MKL(Math Kernel Library)是由一系列为计算优化过的小程序所组成的库,这些小程序从FFT(快速傅立叶变换)到矩阵乘法均有涉及,常用于深度学习模型训练。Module是另一个从Torch借鉴而来的概念,它的灵感来自Torch的nn package。Module代表单独的神经网络层、TableCriterion

BigDL提供了一个AWS EC2镜像和一些示例,比如使用卷积神经网络进行文本分类,还有图像分类以及如何将在Torch或Caffe中预训练过的模型加载到Spark中进行预测计算。来自社区的请求主要包括提供对Python的支持和MKL-DNN(MKL的深度学习扩展)。


猜你喜欢

欢迎关注本公众号:iteblog_hadoop:

1、回复?掌握spark?获取?《Mastering Apache Spark》电子书

2、回复?高性能spark?获取?《High Performance Spark》电子书

3、回复?大数据分析?获取?《Big Data Analytics》电子书

4、回复?spark2电子书?获取?《Apache Spark 2 for Beginners》电子书

5、回复?spark2_data?获取??《Spark for Data Science》电子书

6、回复?架构师大会ppt?获取?《2016年中国架构师[大数据场]》?PPT

7、回复?intro_flink?获取?《Introduction to Apache Flink》?电子书

8、回复?spark_summit_ppt??获取?《Spark Summit 2016 Europe全部PPT》

9、回复?flink未来?获取?《The Future of Apache Flink》

10、更多大数据文章欢迎访问https://www.iteblog.com及本公众号(iteblog_hadoop)



点击下方
阅读原文免费报名

Copyright ? 网络免费倍投不能提款联盟@2017