Pytorch1.3源码解析-第一篇
pytorch$ tree -L 1 . ├── android ├── aten ├── benchmarks ├── binaries ├── c10 ├── caffe2 ├── CITATION ├── cmake ├── CMakeLists.txt ├── CODEOWNERS ├── CONTRIBUTING.md ├── docker ├── docs ├── ios ├── LICENSE ├── Makefile ├── modules ├── mypy-files.txt ├── mypy.ini ├── mypy-README.md ├── NOTICE ├── README.md ├── requirements.txt ├── scripts ├── setup.py ├── submodules ├── test ├── third_party ├── tools ├── torch ├── ubsan.supp └── version.txt 17 directories, 15 files
解读如下：
.
├── android
├── aten(aten -A TENsor library for C++11,PyTorch的C++ tensor library，aten有大量的代码是来声明和定义Tensor运算相关的逻辑)
├── benchmarks (PyTorch Benchmarks)
├── binaries (用于移动端基准测试，在PEP中运行pytorch移动基准测试，Run pytorch mobile benchmark in PEP)
├── c10(c10-Caffe Tensor Library，核心Tensor实现（手机端+服务端）)
├── caffe2 (TensorRT 6.0 support and PyTorch->ONNX->TRT6 unit test。为了复用，2018年4月Facebook宣布将Caffe2的仓库合并到了PyTorch的仓库,从用户层面来复用包含了代码、CI、部署、使用、各种管理维护等。caffe2中network、operators等的实现，会生成libcaffe2.so、libcaffe2_gpu.so、caffe2_pybind11_state.cpython-37m-x86_64-linux-gnu.so（caffe2 CPU Python 绑定）、caffe2_pybind11_state_gpu.cpython-37m-x86_64-linux-gnu.so（caffe2 CUDA Python 绑定），基本上来自旧的caffe2项目)
├── cmake (TensorRT 6.0 support and PyTorch->ONNX->TRT6 unit test)
├── ios (与性能测试有关脚本)
├── modules (与iOS相关)
├── scripts (与iOS应用测试相关，增加 benchmark code to iOS TestApp)
├── submodules (Re-sync with internal repository)
├── third_party (谷歌、Facebook、NVIDIA、Intel等开源的第三方库)
├── tools (用于PyTorch构建的脚本)
├── torch (TH / THC提供了一些hpp头文件，它们是标准的C ++头文件，而不是C头文件。pytorch的variable、autograd、jit、onnx、distribute、model接口、python接口等都在这里声明定义。其中，PyTorch会使用tools/setup_helpers/generate_code.py来动态生成)
细节 展开2级目录
$ tree -L 2 . ├── android │ ├── build.gradle │ ├── gradle │ ├── gradle.properties │ ├── libs │ ├── pytorch_android │ ├── pytorch_android_torchvision │ ├── run_tests.sh │ └── settings.gradle ├── aten │ ├── CMakeLists.txt │ ├── conda │ ├── src │ └── tools ├── benchmarks │ ├── fastrnns │ ├── framework_overhead_benchmark │ ├── operator_benchmark │ └── README.md ├── binaries │ ├── at_launch_benchmark.cc │ ├── bench_gen │ ├── benchmark_args.h │ ├── benchmark_helper.cc │ ├── benchmark_helper.h │ ├── caffe2_benchmark.cc │ ├── CMakeLists.txt │ ├── convert_and_benchmark.cc │ ├── convert_caffe_image_db.cc │ ├── convert_db.cc │ ├── convert_encoded_to_raw_leveldb.cc │ ├── convert_image_to_tensor.cc │ ├── core_overhead_benchmark.cc │ ├── core_overhead_benchmark_gpu.cc │ ├── db_throughput.cc │ ├── inspect_gpu.cc │ ├── intra_inter_benchmark.cc │ ├── make_cifar_db.cc │ ├── make_image_db.cc │ ├── make_mnist_db.cc │ ├── parallel_info.cc │ ├── predictor_verifier.cc │ ├── print_core_object_sizes_gpu.cc │ ├── print_registered_core_operators.cc │ ├── run_plan.cc │ ├── run_plan_mpi.cc │ ├── speed_benchmark.cc │ ├── speed_benchmark_torch.cc │ ├── split_db.cc │ ├── tsv_2_proto.cc │ ├── tutorial_blob.cc │ └── zmq_feeder.cc ├── c10 │ ├── CMakeLists.txt │ ├── core │ ├── cuda │ ├── hip │ ├── macros │ ├── test │ └── util ├── caffe2 │ ├── c2_aten_srcs.bzl │ ├── CMakeLists.txt │ ├── contrib │ ├── core │ ├── cuda_rtc │ ├── db │ ├── distributed │ ├── experiments │ ├── ideep │ ├── image │ ├── __init__.py │ ├── mobile │ ├── mpi │ ├── observers │ ├── onnx │ ├── operators │ ├── opt │ ├── perfkernels │ ├── predictor │ ├── proto │ ├── python │ ├── quantization │ ├── queue │ ├── README.md │ ├── release-notes.md │ ├── requirements.txt │ ├── serialize │ ├── sgd │ ├── share │ ├── test │ ├── transforms │ ├── utils │ ├── VERSION_NUMBER │ └── video ├── CITATION ├── cmake │ ├── BuildVariables.cmake │ ├── Caffe2Config.cmake.in │ ├── Caffe2ConfigVersion.cmake.in │ ├── cmake_uninstall.cmake.in │ ├── Codegen.cmake │ ├── Dependencies.cmake │ ├── External │ ├── GoogleTestPatch.cmake │ ├── iOS.cmake │ ├── MiscCheck.cmake │ ├── Modules │ ├── Modules_CUDA_fix │ ├── ProtoBuf.cmake │ ├── ProtoBufPatch.cmake │ ├── public │ ├── Summary.cmake │ ├── TorchConfig.cmake.in │ ├── TorchConfigVersion.cmake.in │ ├── Utils.cmake │ └── Whitelist.cmake ├── CMakeLists.txt ├── CODEOWNERS ├── CONTRIBUTING.md ├── docker │ ├── caffe2 │ └── pytorch ├── docs │ ├── caffe2 │ ├── cpp │ ├── libtorch.rst │ ├── make.bat │ ├── Makefile │ ├── requirements.txt │ └── source ├── ios │ ├── LibTorch.h │ ├── LibTorch.podspec │ ├── README.md │ └── TestApp ├── LICENSE ├── Makefile ├── modules │ ├── CMakeLists.txt │ ├── detectron │ ├── module_test │ ├── observers │ └── rocksdb ├── mypy-files.txt ├── mypy.ini ├── mypy-README.md ├── NOTICE ├── README.md ├── requirements.txt ├── scripts │ ├── add_apache_header.sh │ ├── apache_header.txt │ ├── apache_python.txt │ ├── appveyor │ ├── build_android.sh │ ├── build_host_protoc.sh │ ├── build_ios.sh │ ├── build_local.sh │ ├── build_mobile.sh │ ├── build_pytorch_android.sh │ ├── build_raspbian.sh │ ├── build_tegra_x1.sh │ ├── build_tizen.sh │ ├── build_windows.bat │ ├── diagnose_protobuf.py │ ├── fbcode-dev-setup │ ├── get_python_cmake_flags.py │ ├── model_zoo │ ├── onnx │ ├── proto.ps1 │ ├── read_conda_versions.sh │ ├── README.md │ ├── remove_apache_header.sh │ ├── run_mobilelab.py │ ├── temp.sh │ └── xcode_build.rb ├── setup.py ├── submodules │ └── nervanagpu-rev.txt ├── test │ ├── backward_compatibility │ ├── bottleneck │ ├── common_cuda.py │ ├── common_device_type.py │ ├── common_distributed.py │ ├── common_methods_invocations.py │ ├── common_nn.py │ ├── common_quantization.py │ ├── common_quantized.py │ ├── common_utils.py │ ├── cpp │ ├── cpp_api_parity │ ├── cpp_extensions │ ├── custom_operator │ ├── data │ ├── dist_autograd_test.py │ ├── dist_utils.py │ ├── error_messages │ ├── expect │ ├── expecttest.py │ ├── HowToWriteTestsUsingFileCheck.md │ ├── hypothesis_utils.py │ ├── jit │ ├── jit_utils.py │ ├── onnx │ ├── optim │ ├── rpc_test.py │ ├── run_test.py │ ├── simulate_nccl_errors.py │ ├── test_autograd.py │ ├── test_c10d.py │ ├── test_c10d_spawn.py │ ├── test_cpp_api_parity.py │ ├── test_cpp_extensions.py │ ├── test_cuda_primary_ctx.py │ ├── test_cuda.py │ ├── test_dataloader.py │ ├── test_data_parallel.py │ ├── test_dist_autograd_fork.py │ ├── test_dist_autograd_spawn.py │ ├── test_distributed.py │ ├── test_distributions.py │ ├── test_docs_coverage.py │ ├── test_expecttest.py │ ├── test_fake_quant.py │ ├── test_function_schema.py │ ├── test_indexing.py │ ├── test_jit_disabled.py │ ├── test_jit_fuser.py │ ├── test_jit.py │ ├── test_jit_py3.py │ ├── test_jit_string.py │ ├── test_logging.py │ ├── test_mkldnn.py │ ├── test_module │ ├── test_multiprocessing.py │ ├── test_multiprocessing_spawn.py │ ├── test_namedtensor.py │ ├── test_namedtuple_return_api.py │ ├── test_nccl.py │ ├── test_nn.py │ ├── test_numba_integration.py │ ├── test_optim.py │ ├── test_qat.py │ ├── test_quantization.py │ ├── test_quantized_models.py │ ├── test_quantized_nn_mods.py │ ├── test_quantized.py │ ├── test_quantized_tensor.py │ ├── test_quantizer.py │ ├── test_rpc_fork.py │ ├── test_rpc_spawn.py │ ├── test_sparse.py │ ├── test_tensorboard.py │ ├── test_throughput_benchmark.py │ ├── test_torch.py │ ├── test_type_hints.py │ ├── test_type_info.py │ ├── test_type_promotion.py │ └── test_utils.py ├── third_party（谷歌、Facebook、NVIDIA、Intel等开源的第三方库） │ ├── benchmark（谷歌开源的benchmark库） │ ├── cpuinfo（Facebook开源的cpuinfo，检测cpu信息） │ ├── cub（NVIDIA开源的CUB is a flexible library of cooperative threadblock primitives and other utilities for CUDA kernel programming） │ ├── eigen（线性代数矩阵运算库） │ ├── fbgemm（Facebook开源的低精度高性能的矩阵运算库，目前作为caffe2 x86的量化运算符的backend） │ ├── foxi（ONNXIFI with Facebook Extension） │ ├── FP16（Conversion to/from half-precision floating point formats） │ ├── FXdiv（C99/C++ header-only library for division via fixed-point multiplication by inverse） │ ├── gemmlowp（谷歌开源的矩阵乘法运算库Low-precision matrix multiplication，https://github.com/google/gemmlowp） │ ├── gloo（Facebook开源的跨机器训练的通信库Collective communications library with various primitives for multi-machine training） │ ├── googletest（谷歌开源的UT框架） │ ├── ideep（Intel开源的使用MKL-DNN做的神经网络加速库） │ ├── ios-cmake（用于ios的cmake工具链文件） │ ├── miniz-2.0.8（数据压缩库，Miniz is a lossless, high performance data compression library in a single source file） │ ├── nccl（NVIDIA开源的多GPU通信的优化原语，Optimized primitives for collective multi-GPU communication） │ ├── neon2sse（与ARM有关，intende to simplify ARM->IA32 porting） │ ├── NNPACK（多核心CPU加速包用于神经网络，Acceleration package for neural networks on multi-core CPUs） │ ├── onnx（Open Neural Network Exchange，Facebook开源的神经网络模型交换格式，目前Pytorch、caffe2、ncnn、coreml等都可以对接） │ ├── onnx-tensorrt（ONNX-TensorRT: TensorRT backend for ONNX） │ ├── protobuf（谷歌开源的protobuf） │ ├── psimd（便携式128位SIMD内部函数，Portable 128-bit SIMD intrinsics） │ ├── pthreadpool（用于C/C++的多线程池，pthread-based thread pool for C/C++） │ ├── pybind11（C ++ 11和Python之间的无缝可操作性支撑库，Seamless operability between C++11 and Python） │ ├── python-enum（Python标准枚举模块，Mirror of enum34 package (PeachPy dependency) from PyPI to be used in submodules） │ ├── python-peachpy（用于编写高性能汇编内核的Python框架，PeachPy is a Python framework for writing high-performance assembly kernels） │ ├── python-six（Python 2 and 3兼容性库） │ ├── QNNPACK（Facebook开源的面向移动平台的神经网络量化加速库） │ ├── README.md │ ├── sleef（SIMD Library for Evaluating Elementary Functions，SIMD库，用于评估基本函数） │ ├── tbb（Intel开源的官方线程构建Blocks,Official Threading Building Blocks (TBB)） │ └── zstd（（Facebook开源的Zstandard，快速实时压缩算法库） ├── tools │ ├── amd_build │ ├── aten_mirror.sh │ ├── autograd │ ├── build_libtorch.py │ ├── build_pytorch_libs.py │ ├── build_variables.py │ ├── clang_format.py │ ├── clang_tidy.py │ ├── docker │ ├── download_mnist.py │ ├── flake8_hook.py │ ├── generated_dirs.txt │ ├── git_add_generated_dirs.sh │ ├── git-pre-commit │ ├── git_reset_generated_dirs.sh │ ├── __init__.py │ ├── jit │ ├── pyi │ ├── pytorch.version │ ├── README.md │ ├── setup_helpers │ └── shared ├── torch │ ├── abi-check.cpp │ ├── autograd │ ├── backends │ ├── _classes.py │ ├── CMakeLists.txt │ ├── __config__.py │ ├── contrib │ ├── csrc │ ├── cuda │ ├── custom_class.h │ ├── distributed │ ├── distributions │ ├── extension.h │ ├── for_onnx │ ├── functional.py │ ├── __future__.py │ ├── hub.py │ ├── __init__.py │ ├── __init__.pyi.in │ ├── jit │ ├── _jit_internal.py │ ├── legacy │ ├── lib │ ├── multiprocessing │ ├── _namedtensor_internals.py │ ├── nn │ ├── onnx │ ├── _ops.py │ ├── optim │ ├── py.typed │ ├── quantization │ ├── quasirandom.py │ ├── random.py │ ├── README.txt │ ├── script.h │ ├── serialization.py │ ├── _six.py │ ├── sparse │ ├── _storage_docs.py │ ├── storage.py │ ├── _tensor_docs.py │ ├── tensor.py │ ├── _tensor_str.py │ ├── testing │ ├── _torch_docs.py │ ├── utils │ ├── _utils_internal.py │ └── _utils.py ├── ubsan.supp └── version.txt 148 directories, 219 files
其中 第三方库：third_party（谷歌、Facebook、NVIDIA、Intel等开源的第三方库）：
├── third_party（谷歌、Facebook、NVIDIA、Intel等开源的第三方库）
│ ├── benchmark（谷歌开源的benchmark库）
│ ├── cpuinfo（Facebook开源的cpuinfo，检测cpu信息）
│ ├── cub（NVIDIA开源的CUB is a flexible library of cooperative threadblock primitives and other utilities for CUDA kernel programming）
│ ├── eigen（线性代数矩阵运算库）
│ ├── fbgemm（Facebook开源的低精度高性能的矩阵运算库，目前作为caffe2 x86的量化运算符的backend）
│ ├── foxi（ONNXIFI with Facebook Extension）
│ ├── FP16（Conversion to/from half-precision floating point formats）
│ ├── FXdiv（C99/C++ header-only library for division via fixed-point multiplication by inverse）
│ ├── gemmlowp（谷歌开源的矩阵乘法运算库Low-precision matrix multiplication，https://github.com/google/gemmlowp）
│ ├── gloo（Facebook开源的跨机器训练的通信库Collective communications library with various primitives for multi-machine training）
│ ├── googletest（谷歌开源的UT框架）
│ ├── ideep（Intel开源的使用MKL-DNN做的神经网络加速库）
│ ├── ios-cmake（用于ios的cmake工具链文件）
│ ├── miniz-2.0.8（数据压缩库，Miniz is a lossless, high performance data compression library in a single source file）
│ ├── nccl（NVIDIA开源的多GPU通信的优化原语，Optimized primitives for collective multi-GPU communication）
│ ├── neon2sse（与ARM有关，intende to simplify ARM->IA32 porting）
│ ├── NNPACK（多核心CPU加速包用于神经网络，Acceleration package for neural networks on multi-core CPUs）
│ ├── onnx（Open Neural Network Exchange，Facebook开源的神经网络模型交换格式，目前Pytorch、caffe2、ncnn、coreml等都可以对接）
│ ├── onnx-tensorrt（ONNX-TensorRT: TensorRT backend for ONNX）
│ ├── protobuf（谷歌开源的protobuf）
│ ├── psimd（便携式128位SIMD内部函数，Portable 128-bit SIMD intrinsics）
│ ├── pthreadpool（用于C/C++的多线程池，pthread-based thread pool for C/C++）
│ ├── pybind11（C ++ 11和Python之间的无缝可操作性支撑库，Seamless operability between C++11 and Python）
│ ├── python-enum（Python标准枚举模块，Mirror of enum34 package (PeachPy dependency) from PyPI to be used in submodules）
│ ├── python-peachpy（用于编写高性能汇编内核的Python框架，PeachPy is a Python framework for writing high-performance assembly kernels）
│ ├── python-six（Python 2 and 3兼容性库）
│ ├── QNNPACK（Facebook开源的面向移动平台的神经网络量化加速库）
│ ├── README.md
│ ├── sleef（SIMD Library for Evaluating Elementary Functions，SIMD库，用于评估基本函数）
│ ├── tbb（Intel开源的官方线程构建Blocks,Official Threading Building Blocks (TBB)）
│ └── zstd（（Facebook开源的Zstandard，快速实时压缩算法库）
Pytorch核心分为5大块：
1. c10(c10-Caffe Tensor Library，核心Tensor实现（手机端+服务端）)
2. aten(aten -A TENsor library for C++11,PyTorch的C++ tensor library，aten有大量的代码是来声明和定义Tensor运算相关的逻辑)
3. caffe2 (TensorRT 6.0 support and PyTorch->ONNX->TRT6 unit test。为了复用，2018年4月Facebook宣布将Caffe2的仓库合并到了PyTorch的仓库,从用户层面来复用包含了代码、CI、部署、使用、各种管理维护等。caffe2中network、operators等的实现，会生成libcaffe2.so、libcaffe2_gpu.so、caffe2_pybind11_state.cpython-37m-x86_64-linux-gnu.so（caffe2 CPU Python 绑定）、caffe2_pybind11_state_gpu.cpython-37m-x86_64-linux-gnu.so（caffe2 CUDA Python 绑定），基本上来自旧的caffe2项目)
4. torch (TH / THC提供了一些hpp头文件，它们是标准的C ++头文件，而不是C头文件。pytorch的variable、autograd、jit、onnx、distribute、model接口、python接口等都在这里声明定义。其中，PyTorch会使用tools/setup_helpers/generate_code.py来动态生成)
5. third_party (谷歌、Facebook、NVIDIA、Intel等开源的第三方库)
具体详情如下：
c10下的核心部件(c10-Caffe Tensor Library，最核心Tensor实现（手机端+服务端）。请注意，C10库应保持最小的依赖关系-特别是，它不应该依赖于任何特定于实现或后端的库。它尤其不应依赖于任何生成的protobuf头文件，因为protobuf头文件将可传递性地迫使一个人链接到特定的protobuf版本)，具体包括如下：
├── c10
│ ├── CMakeLists.txt
│ ├── core
│ ├── cuda
│ ├── hip
│ ├── macros
│ ├── test
│ └── util
Aten下的核心部件(aten -A TENsor library for C++11,PyTorch的C++ tensor library，aten有大量的代码是来声明和定义Tensor运算相关的逻辑)：
$ tree -L 2
.
├── CMakeLists.txt
├── conda
│ ├── build.sh
│ └── meta.yaml
├── src
│ ├── ATen
│ ├── README.md
│ ├── TH
│ ├── THC
│ ├── THCUNN
│ └── THNN
└── tools
├── run_tests.sh
├── test_install.sh
└── valgrind.sup
8 directories, 7 files
其中，Aten/ src下
该目录包含PyTorch低级别的tensor libraries库，同时新的C++版Aten被构建，这些低级别的tensor libraries库可以追溯到最原始的Torch项目，该目录包含库如下：
* TH = TorcH
* THC = TorcH Cuda
* THCS = TorcH Cuda Sparse (now defunct)—不使用了
* THCUNN = TorcH CUda Neural Network (see cunn)
* THNN = TorcH Neural Network
* THS = TorcH Sparse (now defunct) —不使用了
caffe2模块
Caffe2是一个轻量级，模块化和可扩展的深度学习框架。支持TensorRT 6.0 (优化加速) and PyTorch->ONNX->TRT6 unit test。为了复用，2018年4月Facebook宣布将Caffe2的仓库合并到了PyTorch的仓库,从用户层面来复用包含了代码、CI、部署、使用、各种管理维护等。caffe2中network、operators等的实现，会生成libcaffe2.so、libcaffe2_gpu.so、caffe2_pybind11_state.cpython-37m-x86_64-linux-gnu.so（caffe2 CPU Python 绑定）、caffe2_pybind11_state_gpu.cpython-37m-x86_64-linux-gnu.so（caffe2 CUDA Python 绑定），基本上来自旧的caffe2项目。
torch下核心部件(TH / THC提供了一些hpp头文件，它们是标准的C ++头文件，而不是C头文件。pytorch的variable、autograd、jit、onnx、distribute、model接口、python接口等都在这里声明定义。理想情况下，根本不会安装这些标头。相反，应该使用公共函数（在类似THTensor.h的头文件中，而不是THTensor.hpp的头文件中）来操纵这些结构。但是，在Torch / csrc中有一些地方违反了这种抽象。它们头文件有指向此注释的指针。当重构THTensor的核和相关结构时，必须重构每个站点。其中，PyTorch会使用tools/setup_helpers/generate_code.py来动态生成)：
.
├── autograd (梯度处理)
├── backends (后向处理，包含cuda、cudnn、mkl、mkldnn、openmp和quantized库)
├── csrc (csrc目录包含与Python集成有关的所有代码。这与lib（它包含与Python无关的Torch库）形成对比。csrc取决于lib，反之则不然。具体包含api、autograd、cuda、distributed、generic、jit、multiprocessing、onnx、tensor和utils)
├── cuda (cuda)
├── distributed (分布式处理，包括autograd)
├── distributions
├── jit (用于最优性能编译)
├── legacy (低于0.5版本才有)
├── lib (它包含与Python无关的Torch库，具体包括：c10d、libshm和libshm_windows)
├── multiprocessing (cuda多线程处理)
├── nn (与神经网络有关的操作与声明，具体包括backends、intrinsic、modules、parallel、qat、quantized和utils)
├── onnx (模型交换格式)
├── optim (优化)
├── quantization (量化)
├── utils (具体包括backcompat、bottleneck、data、ffi、hipify和tensorboard)
third_party三方模块
谷歌、Facebook、NVIDIA、Intel等开源的第三方库，具体包含请见前文。
分层的视角看待：
1 第一层C10： 最核心的Tensor实现，手机端、服务端都用；
2 第二层ATen + TH*： Tensor算法的实现，由ATen和TH*组成这一层面；这一层依赖上一层（第一层）。目前已将ATen 某些core往C10上移植，并且将Torch往ATen上移植；
3 第三层Caffe2： 是一个轻量级，模块化和可扩展的深度学习框架。支持TensorRT 6.0 (优化加速) and PyTorch->ONNX->TRT6 unit test。caffe2中network、operators等的实现，会生成libcaffe2.so、libcaffe2_gpu.so、caffe2_pybind11_state.cpython-37m-x86_64-linux-gnu.so（caffe2 CPU Python 绑定）、caffe2_pybind11_state_gpu.cpython-37m-x86_64-linux-gnu.so（caffe2 CUDA Python 绑定）；基本上来自于旧的caffe2项目，这一层依赖上一层（第二层）；
4 第四层Torch，PyTorch的实现，TH / THC提供了一些hpp头文件，它们是标准的C ++头文件，而不是C头文件。pytorch的variable、autograd、jit、onnx、distribute、model接口、python接口等都在这里声明定义，这一层会生成libtorch.so和libtorch_python.so（Python绑定），依赖ATen+TH*（第二层），不过因为ATen+TH*的逻辑被封装在了libcaffe2.so，因此这一层要直接依赖上一层（第三层）。
5 其他，如hird_party三方库：谷歌、Facebook、NVIDIA、Intel等开源的第三方库，用于支撑ATen + TH*、Caffe2和Torch。