Windows11搭建深度学习开发环境

windows11上搭建机械学习(MachineLearning),深度学习(DeepLearning),大模型微调(Fine-Tuning)的开发环境,大概步骤如下。

1.安装或更新GPU驱动

到NVIDIA 官网,选择GPU的最新驱动,下载安装。

2.安装VC++编译工具

Windows11的下载【Visual Studio 2022 Community】就OK。 微软官方下载地址: 这里

选择安装C++桌面程序开发组件。

3.安装CUDA开发工具

从NVIDIA的 CUDA开发者官网 选择跟自己的GPU型号匹配的版本进行安装。画面上选Windows->x86_64->11->exe(local),然后点下载,并安装。

CUDA: C ompute U nified D evices A rchitecture的缩写。是由NVIDIA公司开发的面向GPU并列运算的通用开发平台。

4.安装cuDNN开发工具包

跟上面的步骤一样,到NVIDIA 开发者官网 下载cuDNN工具包。 一样选择Windows->x86_64->11->exe(local),点击下载并安装。

cuDNN:CUDA Deep Neural Network library的缩写。是NVIDIA提供的专为CUDA深度神经网络处理的工具库。 cuDNN是一种专为深度神经网络设计的GPU加速库。它为卷积、矩阵乘法、池化、归一化等基本操作提供了高度优化的实现。cuDNN广泛用于深度学习框架,例如TensorFlow、PyTorch和Keras,以提高性能并减少训练时间。

5.安装python开发虚拟环境管理工具:Anacoda3

从Anacoda官网: https://www.anaconda.com/download 下载。 点击“Skip registration”到下载画面。

选择Windows

下载完后就双击直接安装。

切记: 安装路径上不要包含空格! 其余的就按照默认安装。

6.环境变量里添加anaconda的路径:C:¥Anaconda3¥Scripts

7.anaconda环境初期设定

 Set-ExecutionPolicy RemoteSigned -Scope CurrentUser
 conda init
 conda info -e

8.安装VS Code

官网下载: https://code.visualstudio.com/

9.安装VS Code的插件

下面必须的:Python,Jupyter 安装好后参照下图:

10:Anaconda和VS Code关联

从开始菜单打开“annacond prompt”,输入如下命令

where python
where conda

然后打开VS Code的Python扩展设定,把Conda路径以及python路径填进去。

11.安装pytorch开发环境

打开VS Code的Terminal窗口,输入如下命令创建Anaconda的虚拟环境。

conda create -n my_pytorch python=3.12

其他一律默认选项,创建好后,输入下面的命令,进入虚拟环境。

conda activate my_pytorch

之后用命令行执行“nvidia-smi”先确认cuda的版本。 然后到官网下载: https://pytorch.org/get-started/locally/ 本地安装的CUDA版本是12.8的,pytorch最新的版本只有12.6,因此下这个版本。

拷贝网页上的pip命令,在VS Code终端执行。

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

安装好后继续安装下面的这些pacakge

 pip install ipykernel
 pip install numpy
 pip install matplotlib
 pip install pillow
 pip install opencv-python
 conda install opencv

然后在VS Code上创建一个.ipynb的文件,比如:my_test_pytorch.ipynb 双击文件,第一次打开时候会提示选择环境:

选择刚才创建的虚拟环境名(my_torch)

在文件中输入如下代码,并执行

import torch
tourch.cuda.is_available()

至此,pytorch的开发环境就OK了。

12.安装tensorflow开发环境

基本步骤和11.pytorch的差不多。 打开VS Code 的终端,创建tensorflow的虚拟开发环境。

conda create --name my_tensorflow tensorflow=*=gpu_*

注意:
※1. 这里选择有gpu的. 如果没有gpu的话,只要写tensorflow就OK。
※2.这里没有指定python版本,而是让tensorflow自适应最新版。

输入如下命令进入虚拟开发环境。

conda activate my_tensorflow
#确认python版本
python --version

途中可以看到,windows环境下,tensorflow支持的最新python版本为3.10。 跟pytorch开发环境一样,事先安装必要的package。

pip install ipykernel
pip install numpy
pip install matplotlib
pip install pillow
pip install opencv-python

然后在VS Code上创建一个.ipynb的文件,比如:my_test_tensorflow.ipynb 双击文件,第一次打开时候会提示选择环境(参照Pytorch节),选择tensorflow的虚拟环境名:my_tensorflow

输入如下的测试代码:

from tensorflow.python.client import device_lib
print(device_lib.list_local_devices())

结果如下: 至此tensorflow的开发环境也就OK了。

以上就是在windows下搭建深度学习的开发环境的过程。