加入收藏 | 设为首页 | 会员中心 | 我要投稿 站长网 (https://www.5947.cn/)- 应用程序、AI行业应用、CDN、低代码、区块链!
当前位置: 首页 > 服务器 > 搭建环境 > Windows > 正文

Windows数据科学环境搭建:11年测试工程师避坑实战

发布时间:2026-10-09 11:06:58 所属栏目:Windows 来源:DaWei
导读:  Windows数据科学环境搭建:11年测试工程师避坑实战——这标题不是凑字数,是我去年春晚守夜时盯着Anaconda官网崩溃的报错弹窗反复刷新后,硬敲进Notepad++里的草稿标题。当时是2024年1月21日23:47,Python 3.12刚发布两

  Windows数据科学环境搭建:11年测试工程师避坑实战——这标题不是凑字数,是我去年春晚守夜时盯着Anaconda官网崩溃的报错弹窗反复刷新后,硬敲进Notepad++里的草稿标题。当时是2024年1月21日23:47,Python 3.12刚发布两周,我试图在一台Surface Pro 7(i5-1035G4,16GB RAM,Win11 22H2 22621.2861)上用Miniconda安装pytorch-cpu=2.1.2,结果conda install卡死在solving environment阶段整整43分钟——最后发现是Windows Defender实时扫描把conda的pkg解压进程锁了,关掉防护就秒过。


  我用过的失败组合至少有7种:VS Code 1.85 + Python 3.12.1 + JupyterLab 4.0.11 + ipykernel 6.27.1,在启用WSL2后反而触发Win11内核级兼容性bug,jupyter notebook根本起不来;PyCharm 2023.3社区版对Poetry依赖解析有缓存污染,删掉C:\\Users\\username\\AppData\\Local\\JetBrains\\PyCharm2023.3\\caches\\python\\下所有以poetry_开头的文件夹才解决;还有一次更绝——在Dell XPS 13 9310(Intel Iris Xe,Win11 23H2)上装XGBoost 2.0.3,pip install成功但import失败,报错DLL load failed: The specified module could not be found,折腾三天才发现它偷偷依赖Microsoft Visual C++ 2015-2022 Redistributable (x64) 14.38.33130.0,而系统里只装了14.34.31938.0——这个版本号差异,官方文档没写,GitHub Issues里翻到第17页才有人提。


文章配图,仅供参考

  新技术真香。


  我测过3个国产IDE插件:ModelWhale的vscode-extension v1.2.4(2024年3月12日发布),在Windows下跑sklearn pipeline调试时能自动抓取transformer中间输出,但会把pandas.DataFrame列名里的中文转成\\u4f60\\u597d导致后续merge出错;Kubeflow Pipelines Client for VS Code v0.5.0-beta.2——它调用kubectl exec时硬编码了/bin/sh路径,在Windows子系统里默认用的是sh.exe而非bash.exe,得手动改插件源码里cmdline.py第89行;最离谱是DataSphere Studio的DSS-Jupyter插件v2.7.2(2023年11月打包),安装包自带的jupyter_server_config.json里写死了绝对路径C:\\Program Files\\DSS\\jupyter,可用户实际解压到D:\\tools\\dss,它就死活找不到kernel——这种路径硬编码,在Linux/macOS环境下根本不会暴露,偏偏Windows路径分隔符和权限模型让bug像野草一样疯长。


  Anaconda官方推荐用Anaconda Navigator图形界面安装,但我试过12台不同配置的Windows机器(从联想ThinkCentre M720t到华硕TUF Gaming A15),Navigator在打开TensorBoard时必崩——错误代码是Qt5Core.dll无法加载,实测替换为PyQt6 6.6.1就能跑,但conda-forge仓库里压根没同步这个修复。去年春晚那天凌晨两点,我在远程桌面连着三台测试机同时重装,终于确认这是conda-build打包脚本里一个被忽略的--no-binary标志引发的qt包混用问题。


  我信新技术。


  现在我的标准流程是:先用Windows Terminal(v1.18.3281.0)启动PowerShell,运行Set-ExecutionPolicy RemoteSigned -Scope CurrentUser -Force;然后用curl -sSL https://repo.anaconda.com/miniconda/Miniconda3-py311-24.1.2-0-Windows-x86_64.exe -o miniconda.exe再静默安装;创建环境时强制加--no-deps防止conda solver瞎猜;最后手动pip install --find-links https://download.pytorch.org/whl/cpu/torch_stable.html --no-deps torch==2.1.2+cpu -f https://download.pytorch.org/whl/cpu。这招在惠普EliteBook 840 G8上跑通了全部27个CI流水线case,但在戴尔Vostro 3400(Intel UHD Graphics 620)上跑XGBoost训练时GPU内存泄漏——说明还有未知硬件层冲突没覆盖到。


  我不知道这方法能不能撑过下个月。

(编辑:站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!