1. 本选题研究的目的及意义
深度神经网络(DNN)凭借其强大的表征能力，在图像识别、自然语言处理、语音识别等领域取得了突破性进展。
然而，DNN模型通常参数量巨大、计算复杂度高，对存储空间和计算资源的需求很大，限制了其在资源受限设备上的部署应用。
深度神经网络压缩与量化技术旨在降低DNN模型的复杂度和内存占用，同时尽可能保留其精度，为DNN在资源受限环境下的应用提供了可能。
2. 本选题国内外研究状况综述
近年来，深度神经网络压缩与量化技术发展迅速，成为学术界和工业界的研究热点。
国内研究现状:国内学者在深度神经网络压缩与量化方面取得了一系列重要成果。
例如，清华大学提出了基于剪枝和量化的深度压缩技术，显著降低了模型大小和计算量；中国科学院自动化研究所提出了基于低秩分解的模型压缩方法，有效提升了模型压缩率；百度、阿里巴巴等企业也推出了自己的深度学习模型压缩框架，并将其应用于实际产品中。
3. 本选题研究的主要内容及写作提纲
本选题主要研究深度神经网络压缩与量化算法，分析不同算法的优缺点和适用场景，并探索剪枝与量化等技术的联合设计，以实现模型效率和性能的最佳平衡。
1. 主要内容
1.深度神经网络压缩与量化概述:介绍深度神经网络压缩与量化的背景、意义和研究现状，以及常见的压缩和量化方法分类，并介绍相关的评价指标，如压缩率、模型精度、计算复杂度等。
4. 研究的方法与步骤
本研究将采用理论分析、实验验证和应用测试相结合的研究方法，具体步骤如下：
1.文献调研:深入研究国内外关于深度神经网络压缩与量化的相关文献，了解最新的研究进展、主要方法和技术路线，为本研究提供理论基础和技术参考。
2.算法设计与分析:针对DNN模型压缩和量化问题，设计高效的算法，并从理论上分析算法的收敛性、复杂度和性能保证。
3.实验验证:在公开数据集（如ImageNet、CIFAR-10等）上进行实验，验证所提算法的有效性和先进性，并与现有方法进行比较分析。
5. 研究的创新点
本研究的创新点在于：
1.提出一种高效的DNN压缩与量化联合算法:将剪枝、量化等技术有效结合，实现模型大小和计算量的协同优化，并在保证模型精度的同时，最大限度地提升模型压缩率和推理速度。
2.探索新的量化策略，降低量化误差:针对现有量化方法的不足，探索新的量化策略，例如，基于知识蒸馏的量化、基于强化学习的量化等，以降低量化误差对模型精度的影响。
3.研究面向特定硬件平台的DNN压缩与量化算法:针对不同的硬件平台（如CPU、GPU、FPGA、ASIC等）的特点，设计面向特定硬件平台的压缩与量化算法，以充分发挥硬件性能，提高模型推理效率。
6. 计划与进度安排
第一阶段 （2024.12~2024.1）确认选题，了解毕业论文的相关步骤。
第二阶段（2024.1~2024.2）查询阅读相关文献，列出提纲
第三阶段（2024.2~2024.3）查询资料，学习相关论文
7. 参考文献（20个中文5个英文）
[1] 程健,王俊峰,王春晓,等.神经网络模型压缩与加速综述[J].软件学报,2021,32(01):39-65.
[2] 郭霖,张洁,王锐,等.面向深度神经网络的剪枝方法综述[J].计算机工程与应用,2021,57(13):1-12.
[3] 李博文,李涛,郭鑫,等.深度神经网络压缩技术综述[J].计算机研究与发展,2020,57(07):1415-1439.
