模型部署-什么是模型部署？

大家好，欢迎来到IT知识分享网。

0总结

1 什么是模型部署？

1 部署流程：

部署的流程大致可以分为以下几个环节：

如果你只是想要简单的把自己训练的模型部署一下玩一玩：那么可能不需要那么麻烦，只需要：

• 训练—-转换—-部署：

但是假如你想要做模型部署优化的话，可能就是一门非常深且且比较杂的问题了，你需要在原来的基础上加上：

• 模型结构优化—-模型压缩—-推理优化—-部署优化；

模型部署优化可简单分为以下大方向：

• 1. 模型结构优化：设计出更适合目标硬件的模型结构，网络结构层面的优化，也有一些NAS
• 2. 模型压缩：不改变模型框架的情况下，压缩其理论计算量，其中模型剪枝、模型量化最为常用
• 3. 推理优化：编写高性能的算子来加速模型在目标硬件的计算；包括算子融合，图优化，内存以及线程调优，编译优化等等；
• 4，部署形态就会涉及云端部署和移动端部署，那么需要了解和掌握的硬件结构包括CPU，NPU，GPU，FPGA等等

2 为什么模型部署这么复杂？

在软件工程中，部署指把开发完毕的软件投入使用的过程，包括环境配置、软件安装等步骤。类似地，对于深度学习模型来说，模型部署指让训练好的模型在特定环境中运行的过程。相比于软件部署，模型部署会面临更多的难题：

1. 运行模型所需的环境难以配置。深度学习模型通常是由一些框架编写，比如 PyTorch、TensorFlow。由于框架规模、依赖环境的限制，这些框架不适合在手机、开发板等生产环境中安装。
2. 深度学习模型的结构通常比较庞大，需要大量的算力才能满足实时运行的需求。模型的运行效率需要优化。

因为这些难题的存在，模型部署不能靠简单的环境配置与安装完成。经过工业界和学术界数年的探索，模型部署有了一条流行的流水线：

为了让模型最终能够部署到某一环境上，开发者们可以使用任意一种深度学习框架来定义网络结构，并通过训练确定网络中的参数。之后，模型的结构和参数会被转换成一种只描述网络结构的中间表示，一些针对网络结构的优化会在中间表示上进行。最后，用面向硬件的高性能编程框架（如 CUDA，OpenCL）编写，能高效执行深度学习网络中算子的推理引擎会把中间表示转换成特定的文件格式，并在对应硬件平台上高效运行模型。
这一条流水线解决了模型部署中的两大问题：使用对接深度学习框架和推理引擎的中间表示，开发者不必担心如何在新环境中运行各个复杂的框架；通过中间表示的网络结构优化和推理引擎对运算的底层优化，模型的运算效率大幅提升。

3 模型部署学习建议：

2 详细介绍:

1 模型转换

从训练框架得到模型后，根据需求转换到相应的模型格式。模型格式的选择通常是根据公司业务端 SDK 的需求，通常为 caffe 模型或 onnx 模型，以方便模型在不同的框架之间适配。

2 模型优化

3 模型压缩：

剪枝：

• yolov3-channel-and-layer-pruning
• YOLOv3-model-pruning
• centernet_prune
• ResRep
  
  

蒸馏

稀疏化

量化：

• FP32
• INT8(PTQ)
• INT8(QTA)
  | AP | 0.93 | 0.83 | 0.94 |
  | — | — | — | — |
  | 速度 | 13ms | 3.6ms | 3.6ms |
  
  
  

• x86 CPUs with AVX2 support or higher (without AVX2 some operations have inefficient implementations)
• ARM CPUs (typically found in mobile/embedded devices)

4 模型推理与部署：

推理库：这块已经很成熟了，基本就调用目标芯片对应的框架，例如TensorRT（NVIDIA GPU），OpenVINO（Intel CPU）， MNN、TNN、TFLite（大部分移动端芯片），TFLite Micro、Tengine（特定嵌入式芯片），除此之外很多芯片厂商还提供了自己的解决方案此处不多赘述。

TensorRT

• TensorRT？超详细入门指北，来看看吧！

OpenVINO

在英特尔CPU端(也就是我们常用的x86处理器)部署首选它！开源且速度很快，文档也很丰富，更新很频繁，代码风格也不错，很值得学习。

在我这边CPU端场景不是很多，毕竟相比于服务器来说，CPU场景下，很多用户的硬件型号各异，不是很好兼容。另外神经网络CPU端使用场景在我这边不是很多，所以搞得不是很多。

NCNN/MNN/TNN/TVM

有移动端部署需求的，即模型需要运行在手机或者嵌入式设备上的需求可以考虑这些框架。这里只列举了一部分，还有很多其他优秀的框架没有列出来…是不是不好选？

• NCNN
• MNN
• TNN
• TVM
• Tengine

个人认为性价比比较高的是NCNN[13]，易用性比较高，很容易上手，用了会让你感觉没有那么卷。而且相对于其他框架来说，NCNN的设计比较直观明了，与Caffe和OpenCV有很多相似之处，使用起来也很简单。可以比较快速地编译链接和集成到我们的项目中。

TVM和Tengine比较复杂些，不过性能天花板也相比前几个要高些，可以根据取舍尝试。

3 模型部署优化实例：

本文介绍深度学习模型部署相关的工作，会进行持续更新，敬请期待！

1. 增量训练还是离线训练？
2. CPU还是GPU？ 太长不看版：有钱上GPU。
3. 架构选择：

1. 推理加速

（来源：【三年面试五年模拟】算法工程师的独孤九剑秘籍（第三式））

1. 量化模型
   2. 计算精度：FP32，FP16以及Int8；
   

• 常规精度一般使用FP32（32位浮点，单精度）占用4个字节，共32位；低精度则使用FP16（半精度浮点）占用2个字节，共16位，INT8（8位的定点整数）八位整型，占用1个字节等。
• 混合精度（Mixed precision）指使用FP32和FP16。 使用FP16 可以减少模型一半内存，但有些参数必须采用FP32才能保持模型性能。
• 虽然INT8精度低，但是数据量小、能耗低，计算速度相对更快，更符合端侧运算的特点。
• 不同精度进行量化的归程中，量化误差不可避免。
• 在模型训练阶段，梯度的更新往往是很微小的，需要相对较高的精度，一般要用到FP32以上。在inference的阶段，精度要求没有那么高，一般F16或者INT8就足够了，精度影响不会很大。同时低精度的模型占用空间更小了，有利于部署在端侧设备中。

• 部署使用分离。所有的推理都通过 RPC 或 RestFul 接口实现，与模型部署无关，甚至与模型本身也无关，服务模块只关心输入和输出。这样当我们需要更新模型时，只需将新模型放到对应位置即可，代码层面不用做任何改动。
• 合理利用资源。所有的模型可以统一部署到一个服务下，共享同一个服务器资源。因为模型一般是用 GPU 服务器，而普通的服务一般是用 CPU 服务器，这样的部署方式能够更合理地利用资源。
• 统一管理监控。因为所有的模型逻辑上都在一起，所以无论日常的管理还是数据的监控，实施起来都比较方便。

在部署时，推荐使用容器化部署方案，使用 k8s 或类似的集群框架对服务进行管控。这不是我们要赶潮流，主要是考虑到以下几个优点：

• 部署方便。完全不用考虑不同环境可能造成的冲突，所有的服务相互隔离。部署时通过 YAML 配置服务，实现一键全自动部署。
• 便于扩展。水平扩展可以直接添加实例，垂直扩展修改资源限制，所有配置均可通过配置文件完成，完全实现资源配置化。而集群资源不够时，直接添加节点主机即可。
• 便于管控。通过 Istio 等组件非常容易实现流量和服务管控。比如可以很容易地配置实现灰度发布，进行线上 A/B 测试，而且这些功能都是和业务解耦的。
• 节约资源。因为集群的服务其实是共享节点资源的，所以高峰时期服务会自动多占用资源（当然不会超过配置的限制），低谷时期就自动释放资源。这样其实最大限度地利用了可利用的资源，节约了成本。
• 管理方便。从管理机器变成管理服务，只要配置好相应的服务，机器只是无状态的节点，多一个少一个挂一个重启一个对服务没有影响。而且集群还支持非常细粒度的权限控制，使用权限可以按需下发到部门或个人。

参考