CentOS8系统conda包缓存管理;CosyVoice部署及使用;使用linux系统下root身份下载模型文件时注意事项;
CentOS8系统root硬盘清理;
conda安装包时报了硬盘空间不做的问题,但我的conda环境,包位置都在/home目录下,于是询问ai;
在安装conda包时:使用以下命令观察/tmp目录变化:
watch -n 1 du -sh /tmp
/tmp目录占用硬盘疯狂涨,与此同时root目录下的占用同样疯狂涨;
坐实了conda临时文件放在/tmp,造成了root硬盘占用问题,产生了硬盘不足问题;
conda解压和临时文件,在/tmp积压了很多,而/tmp约等于root硬盘
询问gpt,gpt给出两种解法:
-
临时指定 TMPDIR(最稳):
export TMPDIR=/data/tmp -
永久生效指定 TMPDIR(推荐):
写进 ~/.bashrc:export TMPDIR=/data/tmp;export TEMP=/data/tmp;export TMP=/data/tmp
然后:source ~/.bashrc
根据conda info调整conda缓存
从 conda info 输出看,我的Conda 主要是安装在 /home/user/miniconda3(Base 环境)
但由于我当前是以 root 用户身份运行,Conda 会在 /root 目录下创建了缓存和环境目录。
-
强制将包缓存锁定在 base 目录下
conda config --add pkgs_dirs /home/user/miniconda3/pkgs -
强制将环境锁定在 base 目录下
conda config --add envs_dirs /home/user/miniconda3/envs
CosyVoice部署及使用
最近需要将返回的结果以声音的方式输出出来,尝试部署CosyVoice并使用;
CosyVoice的部署
通过源码安装完CosyVoice以及环境以后,程序出现PyTorch与RTX 50 系列不匹配的问题:
PyTorch 2.4+ 与 RTX 50 系列 GPU 的兼容性问题 (sm_120)
RTX 50 系列显卡需要较新的 CUDA 工具包和 PyTorch 版本,而CosyVoice当前版本要求并未涵盖这些版本。
然而我卸载了原本的PyTorch,安装了2.7的PyTorch,项目是能够运行的,大胆的安装即可。
CosyVoice的使用
我通过源码安装完CosyVoice到我的项目下,让CosyVoice作为一个包对其进行调用;
发现我的代码不能通过包的方式调用CosyVoice,看了CosyVoice包结构,发现:
- 没有 setup.py
- 没有 pyproject.toml
- 没打算让你 pip install cosyvoice
CosyVoice 官方仓库本来就不是一个"可直接 pip install 的 Python 包"
我这个人有强迫症,不想再源码里面直接开发,源码是源码,我自己写的是我自己写的,所以在项目里得分开;
后面想了个办法,直接从代码层面os.path.join;
等价于在运行时告诉 Python:除了默认路径,再去这个目录里找模块,实现代码如下;
BASE_DIR = os.path.dirname(os.path.abspath(__file__)) # 相对路径
COSYVOICE_ROOT = os.path.join(BASE_DIR, "CosyVoice")
sys.path.insert(0, COSYVOICE_ROOT)
这个办法虽然能行,但是过不了IDE这一关,过不了IDE的静态分析器这一关;
👉于是直接给VS code编辑器单独配 PYTHONPATH;
在 .vscode/settings.json👇:
{
"python.analysis.extraPaths": [
"./CosyVoice",
"./CosyVoice/CosyVoice"
]
}
以上终于解决了两个问题:
- CosyVoice安装和部署问题;
- 源码与自己代码的区分问题;
使用linux系统下root身份下载模型文件时注意事项;
许多下载缓存位置都爱放在/root/.cache/
近期遇到的硬盘空间不足问题:
- 通过删除/root/.cache/路径下的文件结局了,有非常多的模型文件缓存;
- 问题造成的原因当然也有我一直使用root用户使用conda的缘故;
/root/.cache/
├── pip/ 👈 pip 下载缓存
│ ├── wheels/ # *.whl
│ └── http/ # 安装中间文件
│
├── huggingface/ 👈 巨无霸
│ ├── hub/
│ │ ├── models--xxx/ # 模型权重(GB 级)
│ │ ├── snapshots/ # 多版本副本
│ │ └── refs/
│
├── modelscope/ # 同样是模型缓存
│
├── torch/ # torch 扩展 / 编译缓存
│
├── triton/ # triton 编译缓存
│
├── cuda/ # CUDA 内核缓存
│
└── matplotlib/
浙公网安备 33010602011771号