深度学习框架的流行趋势正在快速变化，其中最受瞩目的莫过于 TensorFlow 和 PyTorch。前段时间，TensorFlow 发布了 2.0（Alpha）版本，不仅推出了许多新功能，也通过引入 Keras 高级 API 和 EagerExecution 模式让入门门槛进一步降低。

集成和更新

PyTorch v1.0 于 2018 年 10 月发布，同时 FastAI v1.0 发布。 这两个版本的发布都是重要的里程碑，标志着深度学习框架趋于成熟。

TensorFlow 2.0 alpha 于 2019 年 3 月 4 日发布，它增加了新的功能并改善了用户体验，并且更加紧密地集成了 Keras 作为其高级 API。

在线职位列表的变化

为了确定在当今的就业市场中需要哪些深度学习库，我在 Indeed、LinkedIn、Monster 和 SimplyHired 上搜索了工作列表。

我同时搜索了关键词”机器学习“和深度学习框架名，比如，TensorFlow 通过”机器学习 TensorFlow“搜索关键词进行评估。 用此方法是出于与历史比较的原因。 不加关键词”机器学习“的搜索没有产生明显不同的结果。 搜索区域是美国。

我从 2019 年 3 月的职位列表数量中减去了六个月前的职位列表数量，下面就是我发现的内容：

TensorFlow 的职位列表增幅略大于 PyTorch， Keras 也显示出了职位列表数的增长 —— 大约是 TensorFlow 的一半，FastAI 仍然没有出现在任何工作列表中。

请注意，除了 LinkedIn 之外，PyTorch 在其他所有求职网站上都有更多的额外岗位列表。 另外，从绝对数量上讲，TensorFlow 的工作列表数量几乎是 PyTorch 或 Keras 的三倍。

Google 搜索活动的平均变化

在大型搜索引擎上进行网络搜索的行为是衡量人气的指标。 我查看了过去一年 Google 趋势中的搜索记录。 我在世界范围内搜索了对机器学习和人工智能类别的兴趣。 Google 不提供绝对搜索数字，但确实提供了相对数据。

我统计了过去六个月的平均兴趣分数，并将其与更早的六个月的平均兴趣分数进行了比较。

在过去的六个月中，TensorFlow 的相对搜索量有所下降，而 PyTorch 的相对搜索量却在增长。

下面这个来自谷歌的图表显示了过去一年各个框架的搜索兴趣。

学习建议

如果你想学习 TensorFlow，我建议你从 Keras 开始。我推荐 Chollet 的Python 深度学习和 Dan Becker 关于Keras 的 DataCamp 课程。 Tensorflow 2.0 通过 tf.keras 使用 Keras 作为其高级 API。这里有Chollet对 TensorFlow 2.0 的快速入门介绍。

如果你想学习 PyTorch，我建议你从 FastAI 的 MOOC 实践深度学习编码 (v3)开始，学习深度学习基础知识、FastAI 和 PyTorch 的基础知识。

框架（排名不分先后）

TensorFlow

TensorFlow是谷歌开源的机器学习框架，提供可靠的python和C++接口，Go和Java的接口仍在开发中。

Theano

Theano是元老级的深度学习框架，提供python接口，具有良好的计算图抽象方式.

Torch

Torch是用Lua语言编写的计算框架，有很多已定义模型，容易编写自己的层类型并在GPU上运行，但不适合RNN。

Caffe

Caffe是应用较为广泛的机器视觉库，最适合于图像处理，不适合文本、声音等数据类型的深度学习应用.

CNKT

CNTK是微软开源的深度学习框架，主要包括前馈DNN、卷积网络和循环网络。

MXNet

MXNet是陈天奇等开发的深度学习框架，目前已被亚马逊选中成为其深度学习平台。特点是运行速度快，内存管理效率高。

Keras

Keras是一个高级神经网络API，用Python编写，能够运行在TensorFlow或者Theano之上。 它的开发重点是实现快速实验。 能够从理念到结果尽可能的延迟是做好研究的关键。

XGBoost

XGBoost是一个开源软件库，为C++、Java、Python、R和Julia提供了梯度提升框架。 它适用于Linux、Windows和macOS。

Pylearn2

Pylearn2 是一个机器学习库。 它的大部分功能是建立在Theano的基础之上。 这意味着您可以使用数学表达式编写Pylearn2插件（新模型，算法等），Theano将为您优化和稳定这些表达式，并将其编译为您选择的后端（CPU或GPU）。

Chainer

Chainer 一个用于深度学习模型的基于Python的独立开源框架。 Chainer提供灵活，直观和高性能的方法来实现全范围的深度学习模型，包括最先进的模型，如复现神经网络和变分自动编码器。

Neon

Neon是Nervana的基于Python的深度学习库。 Nervana为金融机构提供了部署深度学习作为核心技术的完整解决方案。

BigQuant

之所以将BigQuant放在深度学习框架部分，是因为BigQuant集合了包括TensorFlow、Theano、XgBoost等在内的多个深度学习开源框架，即用户只要在BigQuant研究平台，不需要安装这些框架，直接可以使用。

neuraltalk

NeuralTalk是一个Python + numpy项目，用于学习用语言描述图像的多模态循环神经网络。

以下是深度学习资源汇总

PyTorch学习教程、手册

（1）PyTorch英文版官方手册：https://pytorch.org/tutorials/ 对于英文比较好的同学，非常推荐该PyTorch官方文档，一步步带你从入门到精通。该文档详细的介绍了从基础知识到如何使用PyTorch构建深层神经网络，以及PyTorch语法和一些高质量的案例。

（2）PyTorch中文官方文档：https://pytorch-cn.readthedocs.io/zh/latest/ 阅读上述英文文档比较困难的同学也不要紧，我们为大家准备了比较官方的PyTorch中文文档，文档非常详细的介绍了各个函数，可作为一份PyTorch的速查宝典。

（3）这是一个比较偏算法实战的PyTorch代码教程，在github上有很高的star，https://github.com/yunjey/pytorch-tutorial。建议大家在阅读本文档之前，先学习上述两个PyTorch基础教程。

（4）接下来为大家介绍一本开源书籍：https://github.com/zergtant/pytorch-handbook。这是一本开源的书籍，目标是帮助那些希望和使用PyTorch进行深度学习开发和研究的朋友快速入门。但本文档不是内容不是很全，还在持续更新中。

（5）最后，为大家推荐一个简单易上手的PyTorch中文文档，非常适合新手学习：

https://github.com/fendouai/pytorch1.0-cn。该文档从介绍什么是PyTorch开始，到神经网络、PyTorch的安装，再到图像分类器、数据并行处理，非常详细的介绍了PyTorch的知识体系，适合新手的学习入门。

传统机器学习

感知器

TensorFlow 1：

https://github.com/rasbt/deeplearning-models/blob/master/tensorflow1_ipynb/basic-ml/perceptron.ipynb

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/basic-ml/perceptron.ipynb

逻辑回归

TensorFlow 1：

https://github.com/rasbt/deeplearning-models/blob/master/tensorflow1_ipynb/basic-ml/logistic-regression.ipynb

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/basic-ml/logistic-regression.ipynb

Softmax Regression (Multinomial Logistic Regression)

TensorFlow 1：

https://github.com/rasbt/deeplearning-models/blob/master/tensorflow1_ipynb/basic-ml/softmax-regression.ipynb

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/basic-ml/softmax-regression.ipynb

多层感知器

TensorFlow 1：

https://github.com/rasbt/deeplearning-models/blob/master/tensorflow1_ipynb/mlp/mlp-basic.ipynb

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/mlp/mlp-basic.ipynb

具有Dropout多层感知器

TensorFlow 1：

https://github.com/rasbt/deeplearning-models/blob/master/tensorflow1_ipynb/mlp/mlp-dropout.ipynb

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/mlp/mlp-dropout.ipynb

具有批量归一化的多层感知器

TensorFlow 1：

https://github.com/rasbt/deeplearning-models/blob/master/tensorflow1_ipynb/mlp/mlp-batchnorm.ipynb

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/mlp/mlp-batchnorm.ipynb

具有反向传播的多层感知器

TensorFlow 1：

https://github.com/rasbt/deeplearning-models/blob/master/tensorflow1_ipynb/mlp/mlp-lowlevel.ipynb

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/mlp/mlp-fromscratch__sigmoid-mse.ipynb

CNN

基础

CNN

TensorFlow 1：

https://github.com/rasbt/deeplearning-models/blob/master/tensorflow1_ipynb/cnn/convnet.ipynb

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/cnn/cnn-basic.ipynb

具有He初始化的CNN

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/cnn/cnn-he-init.ipynb

概念

用等效卷积层代替完全连接

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/cnn/fc-to-conv.ipynb

全卷积

全卷积神经网络

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/cnn/cnn-allconv.ipynb

AlexNet

AlexNet on CIFAR-10

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/cnn/cnn-alexnet-cifar10.ipynb

VGG

CNN VGG-16

TensorFlow 1：

https://github.com/rasbt/deeplearning-models/blob/master/tensorflow1_ipynb/cnn/cnn-vgg16.ipynb

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/cnn/cnn-vgg16.ipynb

VGG-16 Gender Classifier Trained on CelebA

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/cnn/cnn-vgg16-celeba.ipynb

CNN VGG-19

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/cnn/cnn-vgg19.ipynb

ResNet

ResNet and Residual Blocks

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/cnn/resnet-ex-1.ipynb

ResNet-18 Digit Classifier Trained on MNIST

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/cnn/cnn-resnet18-mnist.ipynb

ResNet-18 Gender Classifier Trained on CelebA

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/cnn/cnn-resnet18-celeba-dataparallel.ipynb

ResNet-34 Digit Classifier Trained on MNIST

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/cnn/cnn-resnet34-mnist.ipynb

ResNet-34 Gender Classifier Trained on CelebA

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/cnn/cnn-resnet34-celeba-dataparallel.ipynb

ResNet-50 Digit Classifier Trained on MNIST

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/cnn/cnn-resnet50-mnist.ipynb

ResNet-50 Gender Classifier Trained on CelebA

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/cnn/cnn-resnet50-celeba-dataparallel.ipynb

ResNet-101 Gender Classifier Trained on CelebA

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/cnn/cnn-resnet101-celeba.ipynb

ResNet-152 Gender Classifier Trained on CelebA

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/cnn/cnn-resnet152-celeba.ipynb

Network in Network

Network in Network CIFAR-10 Classifier

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/cnn/nin-cifar10.ipynb

度量学习

具有多层感知器的孪生网络

TensorFlow 1：

https://github.com/rasbt/deeplearning-models/blob/master/tensorflow1_ipynb/metric/siamese-1.ipynb

自动编码机

全连接自动编码机

自动编码机

TensorFlow 1：

https://github.com/rasbt/deeplearning-models/blob/master/tensorflow1_ipynb/autoencoder/autoencoder.ipynb

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/autoencoder/ae-basic.ipynb

具有解卷积/转置卷积的卷积自动编码机

TensorFlow 1：

https://github.com/rasbt/deeplearning-models/blob/master/tensorflow1_ipynb/autoencoder/ae-deconv.ipynb

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/autoencoder/ae-deconv.ipynb

具有解卷积的卷积自动编码机（无池化操作）

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/autoencoder/aer-deconv-nopool.ipynb

具有最近邻插值的卷积自动编码机

TensorFlow 1：

https://github.com/rasbt/deeplearning-models/blob/master/tensorflow1_ipynb/autoencoder/autoencoder-conv-nneighbor.ipynb

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/autoencoder/ae-conv-nneighbor.ipynb

具有最近邻插值的卷积自动编码机 - 在CelebA上进行训练

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/autoencoder/ae-conv-nneighbor-celeba.ipynb

具有最近邻插值的卷积自动编码机 - 在Quickdraw上训练

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/autoencoder/ae-conv-nneighbor-quickdraw-1.ipynb

变分自动编码机

变分自动编码机

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/autoencoder/ae-var.ipynb

卷积变分自动编码机

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/autoencoder/ae-conv-var.ipynb

条件变分自动编码机

条件变分自动编码机（重建丢失中带标签）

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/autoencoder/ae-cvae.ipynb

条件变分自动编码机（重建损失中没有标签）

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/autoencoder/ae-cvae_no-out-concat.ipynb

卷积条件变分自动编码机（重建丢失中带标签）

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/autoencoder/ae-cnn-cvae.ipynb

卷积条件变分自动编码机（重建损失中没有标签）

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/autoencoder/ae-cnn-cvae_no-out-concat.ipynb

GAN

MNIST上完全连接的GAN

TensorFlow 1：

https://github.com/rasbt/deeplearning-models/blob/master/tensorflow1_ipynb/gan/gan.ipynb

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/gan/gan.ipynb

MNIST上的卷积GAN

TensorFlow 1：

https://github.com/rasbt/deeplearning-models/blob/master/tensorflow1_ipynb/gan/gan-conv.ipynb

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/gan/gan-conv.ipynb

具有标签平滑的MNIST上的卷积GAN

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/gan/gan-conv-smoothing.ipynb

RNN

Many-to-one: Sentiment Analysis / Classification

A simple single-layer RNN (IMDB)

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/rnn/rnn_simple_imdb.ipynb

A simple single-layer RNN with packed sequences to ignore padding characters (IMDB)

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/rnn/rnn_simple_packed_imdb.ipynb

RNN with LSTM cells (IMDB)

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/rnn/rnn_lstm_packed_imdb.ipynb

RNN with LSTM cells and Own Dataset in CSV Format (IMDB)

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/rnn/rnn_lstm_packed_own_csv_imdb.ipynb

RNN with GRU cells (IMDB)

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/rnn/rnn_gru_packed_imdb.ipynb

Multilayer bi-directional RNN (IMDB)

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/rnn/rnn_gru_packed_imdb.ipynb

Many-to-Many / Sequence-to-Sequence

A simple character RNN to generate new text (Charles Dickens)

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/rnn/char_rnn-charlesdickens.ipynb

序数回归

Ordinal Regression CNN -CORAL w. ResNet34 on AFAD-Lite

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/ordinal/ordinal-cnn-coral-afadlite.ipynb

Ordinal Regression CNN -Niu et al. 2016 w. ResNet34 on AFAD-Lite

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/ordinal/ordinal-cnn-niu-afadlite.ipynb

Ordinal Regression CNN -Beckham and Pal 2016 w. ResNet34 on AFAD-Lite

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/ordinal/ordinal-cnn-niu-afadlite.ipynb

技巧和窍门

Cyclical Learning Rate

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/tricks/cyclical-learning-rate.ipynb

PyTorch工作流程和机制

自定义数据集

使用PyTorch数据集加载实用程序用于自定义数据集-CSV文件转换为HDF5

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/mechanics/custom-data-loader-csv.ipynb

使用PyTorch数据集加载自定义数据集的实用程序 - 来自CelebA的图像

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/mechanics/custom-data-loader-celeba.ipynb

使用PyTorch数据集加载自定义数据集的实用程序 - 从Quickdraw中提取

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/mechanics/custom-data-loader-quickdraw.ipynb

使用PyTorch数据集加载实用程序用于自定义数据集 - 从街景房号（SVHN）数据集中绘制

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/custom-data-loader-svhn.ipynb

训练和预处理

带固定内存的数据加载

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/cnn/cnn-resnet34-cifar10-pinmem.ipynb

标准化图像

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/cnn/cnn-standardized.ipynb

图像转换示例

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/mechanics/torchvision-transform-examples.ipynb

Char-RNN with Own Text File

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/rnn/char_rnn-charlesdickens.ipynb

Sentiment Classification RNN with Own CSV File

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/rnn/rnn_lstm_packed_own_csv_imdb.ipynb

并行计算

在CelebA上使用具有DataParallel -VGG-16性别分类器的多个GPU

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/cnn/cnn-vgg16-celeba-data-parallel.ipynb

其它

Sequential API and hooks

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/mlp/mlp-sequential.ipynb

图层内的权重共享

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/mechanics/cnn-weight-sharing.ipynb

仅使用Matplotlib在Jupyter Notebook中绘制实时训练性能

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/mlp/plot-jupyter-matplotlib.ipynb

Autograd

在PyTorch中获取中间变量的渐变

PyTorch：

https://github.com/rasbt/deeplearning-models/blob/master/pytorch_ipynb/mechanics/manual-gradients.ipynb

TensorFlow工作流及机制

自定义数据集

使用NumPy NPZ Archives为Minibatch训练添加图像数据集

TensorFlow 1：

https://github.com/rasbt/deeplearning-models/blob/master/tensorflow1_ipynb/mechanics/image-data-chunking-npz.ipynb

使用HDF5存储用于Minibatch培训的图像数据集

TensorFlow 1：

https://github.com/rasbt/deeplearning-models/blob/master/tensorflow1_ipynb/mechanics/image-data-chunking-hdf5.ipynb

使用输入Pipeline从TFRecords文件中读取数据

TensorFlow 1：

https://github.com/rasbt/deeplearning-models/blob/master/tensorflow1_ipynb/mechanics/tfrecords.ipynb

使用队列运行器直接从磁盘提供图像

TensorFlow 1：

https://github.com/rasbt/deeplearning-models/blob/master/tensorflow1_ipynb/mechanics/file-queues.ipynb

使用TensorFlow的Dataset API

TensorFlow 1：

https://github.com/rasbt/deeplearning-models/blob/master/tensorflow1_ipynb/mechanics/dataset-api.ipynb

训练和预处理

保存和加载训练模型 - 来自TensorFlow Checkpoint文件和NumPy NPZ Archives

TensorFlow 1：

https://github.com/rasbt/deeplearning-models/blob/master/tensorflow1_ipynb/mechanics/saving-and-reloading-models.ipynb

参考链接：

https://github.com/rasbt/deeplearning-models

原来你也在这里👇👇👇