M3DM的autodl环境构建过程笔记
文章目录
- 在3D-ADS环境https://blog.csdn.net/tfxzgp/article/details/144259472基础上构建(失败的记录，不用看)
- 更换镜像重来（成功）
- 安装缺少的包
- 修改models.py中的RGB和点云backbone的路径
- 修改main.py路径参数
- 运行
在3D-ADS环境https://blog.csdn.net/tfxzgp/article/details/144259472基础上构建(失败的记录，不用看)
conda deactivate
conda create -n m3dmfrombase --clone base
conda create --name zgp_ader --clone zgp_3dads
conda activate m3dmfrombase
(base) root@autodl-container-a3574a91f4-10f31e68:~# conda deactivate
root@autodl-container-a3574a91f4-10f31e68:~# conda activate m3dmfrombase
(m3dmfrombase) root@autodl-container-a3574a91f4-10f31e68:~# python /tmp/3D-ADS/main.py
(m3dmfrombase) root@autodl-container-a3574a91f4-10f31e68:~# python -m pip install /tmp/Pointnet2_PyTorch-master/pointnet2_ops_lib
ERROR: Command errored out with exit status 1: /root/miniconda3/bin/python -u -c 'import io, os, sys, setuptools, tokenize; sys.argv[0] = '"'"'/tmp/pip-req-build-j0y4rde9/setup.py'"'"'; __file__='"'"'/tmp/pip-req-build-j0y4rde9/setup.py'"'"';f = getattr(tokenize, '"'"'open'"'"', open)(__file__) if os.path.exists(__file__) else io.StringIO('"'"'from setuptools import setup; setup()'"'"');code = f.read().replace('"'"'\r\n'"'"', '"'"'\n'"'"');f.close();exec(compile(code, __file__, '"'"'exec'"'"'))' install --record /tmp/pip-record-u1hg9uzb/install-record.txt --single-version-externally-managed --compile --install-headers /root/miniconda3/include/python3.8/pointnet2-ops Check the logs for full command output.
也许是自己的资源不够，有卡开机再次尝试
(m3dmfrombase) root@autodl-container-9eae489b28-92e975dd:~# python -m pip install /tmp/Pointnet2_PyTorch-master/pointnet2_ops_lib
仍然
e-packages/torch/include/TH -I/root/miniconda3/lib/python3.8/site-packages/torch/include/THC -I/usr/local/cuda/include -I/root/miniconda3/include/python3.8 -c pointnet2_ops/_ext-src/src/sampling_gpu.cu -o build/temp.linux-x86_64-3.8/pointnet2_ops/_ext-src/src/sampling_gpu.o -D__CUDA_NO_HALF_OPERATORS__ -D__CUDA_NO_HALF_CONVERSIONS__ -D__CUDA_NO_BFLOAT16_CONVERSIONS__ -D__CUDA_NO_HALF2_OPERATORS__ --expt-relaxed-constexpr --compiler-options '-fPIC' -O3 -Xfatbin -compress-all -DTORCH_API_INCLUDE_EXTENSION_H -DPYBIND11_COMPILER_TYPE="_gcc" -DPYBIND11_STDLIB="_libstdcpp" -DPYBIND11_BUILD_ABI="_cxxabi1011" -DTORCH_EXTENSION_NAME=_ext -D_GLIBCXX_USE_CXX11_ABI=0 -gencode=arch=compute_37,code=compute_37 -gencode=arch=compute_37,code=sm_37 -gencode=arch=compute_50,code=sm_50 -gencode=arch=compute_60,code=sm_60 -gencode=arch=compute_61,code=sm_61 -gencode=arch=compute_62,code=sm_62 -gencode=arch=compute_70,code=sm_70 -gencode=arch=compute_75,code=sm_75 -std=c++14nvcc warning : The 'compute_35', 'compute_37', 'compute_50', 'sm_35', 'sm_37' and 'sm_50' architectures are deprecated, and may be removed in a future release (Use -Wno-deprecated-gpu-targets to suppress warning).g++ -pthread -shared -B /root/miniconda3/compiler_compat -L/root/miniconda3/lib -Wl,-rpath=/root/miniconda3/lib -Wl,--no-as-needed -Wl,--sysroot=/ build/temp.linux-x86_64-3.8/pointnet2_ops/_ext-src/src/ball_query.o build/temp.linux-x86_64-3.8/pointnet2_ops/_ext-src/src/bindings.o build/temp.linux-x86_64-3.8/pointnet2_ops/_ext-src/src/group_points.o build/temp.linux-x86_64-3.8/pointnet2_ops/_ext-src/src/interpolate.o build/temp.linux-x86_64-3.8/pointnet2_ops/_ext-src/src/sampling.o build/temp.linux-x86_64-3.8/pointnet2_ops/_ext-src/src/ball_query_gpu.o build/temp.linux-x86_64-3.8/pointnet2_ops/_ext-src/src/group_points_gpu.o build/temp.linux-x86_64-3.8/pointnet2_ops/_ext-src/src/interpolate_gpu.o build/temp.linux-x86_64-3.8/pointnet2_ops/_ext-src/src/sampling_gpu.o -L/root/miniconda3/lib/python3.8/site-packages/torch/lib -L/usr/local/cuda/lib64 -lc10 -ltorch -ltorch_cpu -ltorch_python -lcudart -lc10_cuda -ltorch_cuda_cu -ltorch_cuda_cpp -o build/lib.linux-x86_64-3.8/pointnet2_ops/_ext.cpython-38-x86_64-linux-gnu.so/root/miniconda3/compiler_compat/ld: cannot find /lib64/libpthread.so.0/root/miniconda3/compiler_compat/ld: cannot find /usr/lib64/libpthread_nonshared.acollect2: error: ld returned 1 exit statuserror: command 'g++' failed with exit status 1
。。。。。。
ERROR: Command errored out with exit status 1: /root/miniconda3/bin/python -u -c 'import io, os, sys, setuptools, tokenize; sys.argv[0] = '"'"'/tmp/pip-req-build-1ur90alg/setup.py'"'"'; __file__='"'"'/tmp/pip-req-build-1ur90alg/setup.py'"'"';f = getattr(tokenize, '"'"'open'"'"', open)(__file__) if os.path.exists(__file__) else io.StringIO('"'"'from setuptools import setup; setup()'"'"');code = f.read().replace('"'"'\r\n'"'"', '"'"'\n'"'"');f.close();exec(compile(code, __file__, '"'"'exec'"'"'))' install --record /tmp/pip-record-8o0w291z/install-record.txt --single-version-externally-managed --compile --install-headers /root/miniconda3/include/python3.8/pointnet2-ops Check the logs for full command output.发现克隆的环境下没有自己的python。
在原环境下修改
(base) root@autodl-container-9eae489b28-92e975dd:~# python -m pip install /tmp/Pointnet2_PyTorch-master/pointnet2_ops_lib
g++ -pthread -shared -B /root/miniconda3/compiler_compat -L/root/miniconda3/lib -Wl,-rpath=/root/miniconda3/lib -Wl,--no-as-needed -Wl,--sysroot=/ build/temp.linux-x86_64-3.8/pointnet2_ops/_ext-src/src/ball_query.o build/temp.linux-x86_64-3.8/pointnet2_ops/_ext-src/src/bindings.o build/temp.linux-x86_64-3.8/pointnet2_ops/_ext-src/src/group_points.o build/temp.linux-x86_64-3.8/pointnet2_ops/_ext-src/src/interpolate.o build/temp.linux-x86_64-3.8/pointnet2_ops/_ext-src/src/sampling.o build/temp.linux-x86_64-3.8/pointnet2_ops/_ext-src/src/ball_query_gpu.o build/temp.linux-x86_64-3.8/pointnet2_ops/_ext-src/src/group_points_gpu.o build/temp.linux-x86_64-3.8/pointnet2_ops/_ext-src/src/interpolate_gpu.o build/temp.linux-x86_64-3.8/pointnet2_ops/_ext-src/src/sampling_gpu.o -L/root/miniconda3/lib/python3.8/site-packages/torch/lib -L/usr/local/cuda/lib64 -lc10 -ltorch -ltorch_cpu -ltorch_python -lcudart -lc10_cuda -ltorch_cuda_cu -ltorch_cuda_cpp -o build/lib.linux-x86_64-3.8/pointnet2_ops/_ext.cpython-38-x86_64-linux-gnu.so/root/miniconda3/compiler_compat/ld: cannot find /lib64/libpthread.so.0/root/miniconda3/compiler_compat/ld: cannot find /usr/lib64/libpthread_nonshared.acollect2: error: ld returned 1 exit statuserror: command 'g++' failed with exit status 1一样
vim ~/.zshrc
pip install --upgrade https://github.com/unlimblue/KNN_CUDA/releases/download/0.2/KNN_CUDA-0.2-py3-none-any.whl
source ~/.zshrc
失败
更换镜像重来（成功）
source ~/.bashrc
conda env list
# conda environments:
#
base * /root/miniconda3(base)conda list
#
# Name Version Build Channel
_libgcc_mutex 0.1 main defaults
_openmp_mutex 4.5 1_gnu defaults
absl-py 1.1.0 pypi_0 pypi
addict 2.4.0 pypi_0 pypi
anyio 3.6.1 pypi_0 pypi
argon2-cffi 21.3.0 pypi_0 pypi
argon2-cffi-bindings 21.2.0 pypi_0 pypi
asttokens 2.0.5 pypi_0 pypi
attrs 21.4.0 pypi_0 pypi
babel 2.10.3 pypi_0 pypi
backcall 0.2.0 pypi_0 pypi
beautifulsoup4 4.11.1 pypi_0 pypi
black 22.6.0 pypi_0 pypi
bleach 5.0.0 pypi_0 pypi
brotlipy 0.7.0 py38h27cfd23_1003 defaults
ca-certificates 2021.7.5 h06a4308_1 defaults
cachetools 5.2.0 pypi_0 pypi
certifi 2021.5.30 py38h06a4308_0 defaults
cffi 1.14.6 py38h400218f_0 defaults
chardet 4.0.0 py38h06a4308_1003 defaults
click 8.1.3 pypi_0 pypi
colorama 0.4.5 pypi_0 pypi
commonmark 0.9.1 pypi_0 pypi
conda 4.10.3 py38h06a4308_0 defaults
conda-package-handling 1.7.3 py38h27cfd23_1 defaults
configargparse 1.5.3 pypi_0 pypi
cryptography 3.4.7 py38hd23ed53_0 defaults
cycler 0.11.0 pypi_0 pypi
dash 2.7.0 pypi_0 pypi
dash-core-components 2.0.0 pypi_0 pypi
dash-html-components 2.0.0 pypi_0 pypi
dash-table 5.0.0 pypi_0 pypi
debugpy 1.6.0 pypi_0 pypi
decorator 5.1.1 pypi_0 pypi
defusedxml 0.7.1 pypi_0 pypi
descartes 1.1.0 pypi_0 pypi
entrypoints 0.4 pypi_0 pypi
executing 0.8.3 pypi_0 pypi
fastjsonschema 2.15.3 pypi_0 pypi
fire 0.4.0 pypi_0 pypi
flake8 6.0.0 pypi_0 pypi
flask 2.2.2 pypi_0 pypi
fonttools 4.33.3 pypi_0 pypi
google-auth 2.8.0 pypi_0 pypi
google-auth-oauthlib 0.4.6 pypi_0 pypi
grpcio 1.46.3 pypi_0 pypi
idna 2.10 pyhd3eb1b0_0 defaults
imageio 2.22.4 pypi_0 pypi
importlib-metadata 4.11.4 pypi_0 pypi
importlib-resources 5.8.0 pypi_0 pypi
iniconfig 1.1.1 pypi_0 pypi
ipykernel 6.15.0 pypi_0 pypi
ipython 8.4.0 pypi_0 pypi
ipython-genutils 0.2.0 pypi_0 pypi
ipywidgets 7.7.0 pypi_0 pypi
itsdangerous 2.1.2 pypi_0 pypi
jedi 0.18.1 pypi_0 pypi
jinja2 3.1.2 pypi_0 pypi
joblib 1.1.0 pypi_0 pypi
json5 0.9.8 pypi_0 pypi
jsonschema 4.6.0 pypi_0 pypi
jupyter 1.0.0 pypi_0 pypi
jupyter-client 7.3.4 pypi_0 pypi
jupyter-console 6.4.4 pypi_0 pypi
jupyter-core 4.10.0 pypi_0 pypi
jupyter-server 1.17.1 pypi_0 pypi
jupyterlab 3.4.3 pypi_0 pypi
jupyterlab-language-pack-zh-cn 3.4.post1 pypi_0 pypi
jupyterlab-pygments 0.2.2 pypi_0 pypi
jupyterlab-server 2.14.0 pypi_0 pypi
jupyterlab-widgets 1.1.0 pypi_0 pypi
kiwisolver 1.4.3 pypi_0 pypi
ld_impl_linux-64 2.35.1 h7274673_9 defaults
libffi 3.3 he6710b0_2 defaults
libgcc-ng 9.3.0 h5101ec6_17 defaults
libgomp 9.3.0 h5101ec6_17 defaults
libstdcxx-ng 9.3.0 hd4cf53a_17 defaults
llvmlite 0.36.0 pypi_0 pypi
lyft-dataset-sdk 0.0.8 pypi_0 pypi
markdown 3.3.7 pypi_0 pypi
markupsafe 2.1.1 pypi_0 pypi
matplotlib 3.5.2 pypi_0 pypi
matplotlib-inline 0.1.3 pypi_0 pypi
mccabe 0.7.0 pypi_0 pypi
mistune 0.8.4 pypi_0 pypi
mmcv 2.0.0rc3 pypi_0 pypi
mmdet 3.0.0rc4 pypi_0 pypi
mmdet3d 1.1.0rc2 dev_0 <develop>
mmengine 0.3.2 pypi_0 pypi
model-index 0.1.11 pypi_0 pypi
mypy-extensions 0.4.3 pypi_0 pypi
nbclassic 0.3.7 pypi_0 pypi
nbclient 0.6.4 pypi_0 pypi
nbconvert 6.5.0 pypi_0 pypi
nbformat 5.5.0 pypi_0 pypi
ncurses 6.2 he6710b0_1 defaults
nest-asyncio 1.5.5 pypi_0 pypi
networkx 2.8.8 pypi_0 pypi
notebook 6.4.12 pypi_0 pypi
notebook-shim 0.1.0 pypi_0 pypi
numba 0.53.0 pypi_0 pypi
numpy 1.22.4 pypi_0 pypi
nuscenes-devkit 1.1.9 pypi_0 pypi
oauthlib 3.2.0 pypi_0 pypi
open3d 0.16.0 pypi_0 pypi
opencv-python 4.6.0.66 pypi_0 pypi
openmim 0.3.3 pypi_0 pypi
openssl 1.1.1k h27cfd23_0 defaults
ordered-set 4.1.0 pypi_0 pypi
packaging 21.3 pypi_0 pypi
pandas 1.5.2 pypi_0 pypi
pandocfilters 1.5.0 pypi_0 pypi
parso 0.8.3 pypi_0 pypi
pathspec 0.10.2 pypi_0 pypi
pexpect 4.8.0 pypi_0 pypi
pickleshare 0.7.5 pypi_0 pypi
pillow 9.1.1 pypi_0 pypi
pip 21.1.3 py38h06a4308_0 defaults
platformdirs 2.5.4 pypi_0 pypi
plotly 5.11.0 pypi_0 pypi
pluggy 1.0.0 pypi_0 pypi
plyfile 0.7.4 pypi_0 pypi
prometheus-client 0.14.1 pypi_0 pypi
prompt-toolkit 3.0.29 pypi_0 pypi
protobuf 3.19.4 pypi_0 pypi
psutil 5.9.1 pypi_0 pypi
ptyprocess 0.7.0 pypi_0 pypi
pure-eval 0.2.2 pypi_0 pypi
py 1.10.0 pypi_0 pypi
pyasn1 0.4.8 pypi_0 pypi
pyasn1-modules 0.2.8 pypi_0 pypi
pycocotools 2.0.6 pypi_0 pypi
pycodestyle 2.10.0 pypi_0 pypi
pycosat 0.6.3 py38h7b6447c_1 defaults
pycparser 2.20 py_2 defaults
pyflakes 3.0.1 pypi_0 pypi
pygments 2.12.0 pypi_0 pypi
pyopenssl 20.0.1 pyhd3eb1b0_1 defaults
pyparsing 3.0.9 pypi_0 pypi
pyquaternion 0.9.9 pypi_0 pypi
pyrsistent 0.18.1 pypi_0 pypi
pysocks 1.7.1 py38h06a4308_0 defaults
pytest 7.1.2 pypi_0 pypi
python 3.8.10 h12debd9_8 defaults
python-dateutil 2.8.2 pypi_0 pypi
pytz 2022.1 pypi_0 pypi
pywavelets 1.3.0 pypi_0 pypi
pyyaml 6.0 pypi_0 pypi
pyzmq 23.2.0 pypi_0 pypi
qtconsole 5.4.0 pypi_0 pypi
qtpy 2.3.0 pypi_0 pypi
readline 8.1 h27cfd23_0 defaults
requests 2.25.1 pyhd3eb1b0_0 defaults
requests-oauthlib 1.3.1 pypi_0 pypi
rich 12.5.1 pypi_0 pypi
rsa 4.8 pypi_0 pypi
ruamel_yaml 0.15.100 py38h27cfd23_0 defaults
scikit-image 0.19.3 pypi_0 pypi
scikit-learn 1.1.2 pypi_0 pypi
scipy 1.9.3 pypi_0 pypi
send2trash 1.8.0 pypi_0 pypi
setuptools 52.0.0 py38h06a4308_0 defaults
shapely 1.8.5.post1 pypi_0 pypi
six 1.16.0 pyhd3eb1b0_0 defaults
sniffio 1.2.0 pypi_0 pypi
soupsieve 2.3.2.post1 pypi_0 pypi
sqlite 3.36.0 hc218d9a_0 defaults
stack-data 0.3.0 pypi_0 pypi
supervisor 4.2.4 pypi_0 pypi
tabulate 0.8.10 pypi_0 pypi
tenacity 8.0.1 pypi_0 pypi
tensorboard 2.9.1 pypi_0 pypi
tensorboard-data-server 0.6.1 pypi_0 pypi
tensorboard-plugin-wit 1.8.1 pypi_0 pypi
termcolor 2.1.1 pypi_0 pypi
terminado 0.15.0 pypi_0 pypi
terminaltables 3.1.10 pypi_0 pypi
threadpoolctl 3.1.0 pypi_0 pypi
tifffile 2022.8.12 pypi_0 pypi
tinycss2 1.1.1 pypi_0 pypi
tk 8.6.10 hbc83047_0 defaults
tomli 2.0.1 pypi_0 pypi
torch 1.11.0+cu113 pypi_0 pypi
torchvision 0.12.0+cu113 pypi_0 pypi
tornado 6.1 pypi_0 pypi
tqdm 4.61.2 pyhd3eb1b0_1 defaults
traitlets 5.3.0 pypi_0 pypi
trimesh 2.35.39 pypi_0 pypi
typing-extensions 4.2.0 pypi_0 pypi
urllib3 1.26.6 pyhd3eb1b0_1 defaults
wcwidth 0.2.5 pypi_0 pypi
webencodings 0.5.1 pypi_0 pypi
websocket-client 1.3.3 pypi_0 pypi
werkzeug 2.2.2 pypi_0 pypi
wheel 0.36.2 pyhd3eb1b0_0 defaults
widgetsnbextension 3.6.0 pypi_0 pypi
xz 5.2.5 h7b6447c_0 defaults
yaml 0.2.5 h7b6447c_0 defaults
yapf 0.32.0 pypi_0 pypi
zipp 3.8.0 pypi_0 pypi
zlib 1.2.11 h7b6447c_3 defaults安装缺少的包
pip install timm
python -m pip install /root/autodl-tmp/linshi_m3dm5/M3DM_5_autodl/Pointnet2_PyTorch-master/pointnet2_ops_lib
pip install --upgrade https://github.com/unlimblue/KNN_CUDA/releases/download/0.2/KNN_CUDA-0.2-py3-none-any.whl
报错
(base) root@autodl-container-a3574a91f4-10f31e68:~# sudo apt install ninja-build
Reading package lists… Done
Building dependency tree
Reading state information… Done
Package ninja-build is not available, but is referred to by another package.
This may mean that the package is missing, has been obsoleted, or
is only available from another source
E: Package ‘ninja-build’ has no installation candidate
更新sudo apt update
再次
sudo apt install ninja-build
可以了
报错
module 'open3d' has no attribute 'registration'
改open3d为更旧点的版本
conda install open3d=0.10 -c open3d-admin
可以了
修改models.py中的RGB和点云backbone的路径
例如 ## RGB backboneself.rgb_backbone = timm.create_model(model_name=rgb_backbone_name, pretrained=True,pretrained_cfg_overlay=dict(file='/root/autodl-tmp/m3dm_checkpoints/dino_vitbase8_pretrain.pth'),**kwargs)
修改main.py路径参数
例如 parser.add_argument(‘–dataset_path’, default=‘/root/autodl-tmp/m3dmpre/mvtec3d’, type=str,
help=‘Dataset store path’)
运行
python3 /root/autodl-tmp/linshi_m3dm5/M3DM_5_autodl/main.py
–method_name DINO+Point_MAE+Fusion
–use_uff
–memory_bank multiple
–rgb_backbone_name vit_base_patch8_224_dino
–xyz_backbone_name Point_MAE
Fitting random projections. Start dim处killed
怀疑内存不够，
再增加一张卡，
/root/miniconda3/lib/python3.8/site-packages/timm/models/layers/init.py:48: FutureWarning: Importing from timm.models.layers is deprecated, please import via timm.layers
warnings.warn(f"Importing from {name} is deprecated, please import via timm.layers", FutureWarning)
/root/miniconda3/lib/python3.8/site-packages/timm/models/_factory.py:117: UserWarning: Mapping deprecated model name vit_base_patch8_224_dino to current vit_base_patch8_224.dino.
model = create_fn(
[Fusion Block]
Extracting train features for class bagel: 100%|████████████████████████████████████████████████████████████████████| 244/244 [04:51<00:00, 1.19s/it]
Running coreset for DINO+Point_MAE+Fusion on class bagel…
Fitting random projections. Start dim = torch.Size([765184, 1152]).
DONE. Transformed dim = torch.Size([765184, 334]).
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 76517/76517 [03:01<00:00, 422.07it/s]
Fitting random projections. Start dim = torch.Size([191296, 768]).
DONE. Transformed dim = torch.Size([191296, 300]).
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████| 7650/7650 [00:04<00:00, 1644.75it/s]
Fitting random projections. = torch.Size([765184, 1920]).
DONE. Transformed dim = torch.Size([765184, 334]).
Extracting test features for class bagel: 100%|█████████████████████████████████████████████████████████████████████| 110/110 [02:38<00:00, 1.44s/it]
Class: bagel, DINO+Point_MAE+Fusion Image ROCAUC: 0.998, DINO+Point_MAE+Fusion Pixel ROCAUC: 0.992, DINO+Point_MAE+Fusion AU-PRO: 0.943
可以了
下面不用看，是只和自己有关的笔记。
(T)
Running coreset for DINO+Point_MAE+Fusion on class cookie…
Fitting random projections. Start dim = torch.Size([658560, 1152]).
DONE. Transformed dim = torch.Size([1152, 174]).
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████| 65855/65855 [00:22<00:00, 2867.81it/s]
Fitting random projections. Start dim = torch.Size([164640, 768]).
DONE. Transformed dim = torch.Size([768, 164]).
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████| 6584/6584 [00:02<00:00, 3129.53it/s]
Fitting random projections. Start dim = torch.Size([658560, 1920]).
DONE. Transformed dim = torch.Size([1920, 186]).
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████| 6584/6584 [00:02<00:00, 2974.49it/s]
Running late fusion for DINO+Point_MAE+Fusion on class cookie…: 100%
两个一起运行的内存占用情况
(base) root@autodl-container-a3574a91f4-10f31e68:~# free -m
total used free shared buff/cache available
Mem: 515594 71831 48068 27918 395694 412191
Swap: 0 0 0
(base) root@autodl-container-a3574a91f4-10f31e68:~# free -m
total used free shared buff/cache available
Mem: 515594 95903 63180 28743 356510 387375
Swap: 0 0 0
(base) root@autodl-container-a3574a91f4-10f31e68:~# free -m
total used free shared buff/cache available
Mem: 515594 73935 85130 28742 356528 409344
Swap: 0 0 0
相关文章：
M3DM的autodl环境构建过程笔记
文章目录 在3D-ADS环境https://blog.csdn.net/tfxzgp/article/details/144259472基础上构建(失败的记录，不用看)更换镜像重来（成功）安装缺少的包修改models.py中的RGB和点云backbone的路径修改main.py路径参数运行 在3D-ADS环境https://blog.…...
jmeter CLI Mode 传参实现动态设置用户数
一.需求 CLI 运行模式下每次运行想要传入不同的用户数，比如寻找瓶颈值的场景，需要运行多次设置不同的用户数。 二.解决思路 查看官方API Apache JMeter - Users Manual: Getting Started api CLI Mode 一节中提到可以使用如下参数做属性的替换&#…...
Mac系统下 jdk和maven 安装教程
一、jdk安装教程 1、先去官网选择对应版本下载 官网网址：Java SE | Oracle Technology Network | Oracle 中国 这里我选择的是jdk8的版本，如果你们想下载更高的版本就选择其他版本，目前大部分公司和教程使用jdk8的版本比较多。 点击macos&a…...
pyfink1.20版本下实现消费kafka中数据并实时计算
1、环境 JDK版本：1.8.0_412python版本：3.10.6apache-flink版本：1.20.0flink版本：1.20kafka版本：kafka_2.12-3.1.1flink-sql-connector-kafka版本：3.3.0-1.202、执行python-flink脚本 从kafka的demo获取消…...
【经验分享】私有云运维的知识点
最近忙于备考没关注，有次点进某小黄鱼发现首页出现了我的笔记还被人收费了 虽然我也卖了一些资源，但我以交流、交换为主，笔记都是免费给别人看的 由于当时刚刚接触写的并不成熟，为了避免更多人花没必要的钱，所以决定公…...
影像组学+病理组学+深度学习人工智能应用
影像组学 基础学习内容： 特征提取：使用pyradiomics进行形状、纹理、小波变换等特征提取。特征筛选：应用ICC、相关系数、mRMR、Lasso等方法。建模：使用LR、SVM、RF、XGBoost、LightGBM等机器学习算法。模型评估：通过A…...
how to write 述职pptx as a tech manager
As a technical manager, crafting an effective 述职 (performance review) PPT requires you to highlight your leadership, team accomplishments, technical contributions, challenges faced, and future plans. Heres a structured approach to design your PPT: 1. Cov…...
用户发送请求后服务端i/o工作过程
华子目录 服务端i/o介绍磁盘i/o机械磁盘的寻道时间、旋转延迟和数据传输时间常见的机械磁盘平均寻道时间值常见磁盘的平均延迟时间每秒最大IOPS的计算方法 网络i/o网络I/O处理过程磁盘和网络i/o 一次完整的请求在内部的执行过程 服务端i/o介绍 i/o在计算机中指Input/Output&am…...
功能篇：springboot实现防盗链功能
防盗链（Hotlink Protection）是一种防止其他网站直接链接到你网站的资源（如图片、视频等），从而节省带宽和保护内容的有效手段。在Spring Boot应用程序中实现防盗链功能，可以通过多种方式来达成，例…...
MySQL迁移SQLite
将 MySQL 的表结构和数据迁移到 SQLite，可以通过以下步骤实现。这个过程主要包括导出 MySQL 数据库到 SQL 文件，然后将其导入到 SQLite 数据库中。 步骤 1: 导出 MySQL 数据库 首先，需要将 MySQL 数据库导出为一个 SQL 文件。可以使用 mysq…...
嵌入式面试知识点总结 -- 面试篇
1、请你做个简单的自我介绍 把所有工作内容，分类整理出和岗位匹配的能力关键字，然后围绕关键字展开讲。每段经历要用数据来支撑。 例如： 面试官你好，我叫XXX，毕业于XXX，很荣幸参加此次面试。 围绕面试岗位…...
华为OD机试真题---观看文艺汇演问题
华为OD机试中的“观看文艺汇演问题”是一道考察算法与数据结构能力的题目。以下是对该题目的详细解析： 一、题目描述 为了庆祝某个重要节日（如中国共产党成立100周年），某公园将举行多场文艺表演。很多演出都是同时进行的&#x…...
类OCSP靶场-Kioptrix系列-Kioptrix Level 2
一、前情提要 二、实战打靶 1. 信息收集 1.1. 主机发现 1.2. 端口扫描 1.3.目录遍历 2.漏洞发现 2.1. 登录框测试 2.2. 发现命令执行 2.3 构造命令执行利用payload 3.提权 3.1. 搜索提权exp 3.2. 查看exp信息 3.3. Privilege Escalation的exp利用 exp_9542 一、前…...
openlane
openlane数据集，lane3d_1000里训练集157807张图片，测试集39981张图，md太多了...
修改vscode设置的原理
转载请标明出处：小帆的帆的专栏 修改vscode设置 首先需要理解的是，vscode的系统设置和插件设置都是通过settings.json文件管理的。 vscode中有三个Settings，三个Settings分别对应三个settings.json文件 Default Settings：默认…...
解决docker环境下aspose-words转换word成pdf后乱码问题
描述 环境：docker 部署工具：Jenkins 需求：本地上传的word文档需要转换成pdf 问题：转换之后的pdf文档出现小框框（乱码） 转换成PDF的操作 pom： <dependency><groupId>org.apach…...
2024年12月16日Github流行趋势
项目名称：PDFMathTranslate 项目维护者：Byaidu reycn hellofinch Wybxc YadominJinta项目介绍：基于 AI 完整保留排版的 PDF 文档全文双语翻译，支持 Google/DeepL/Ollama/OpenAI 等服务，提供 CLI/GUI/Docker。项目star数…...
ElasticSearch 常见故障解析与修复秘籍
文章目录 一、ElasticSearch启动服务提示无法使用root用户二、ElasticSearch启动提示进程可拥有的虚拟内存少三、ElasticSearch提示用户拥有的可创建文件描述符太少四、ElasticSearch集群yellow状态分析五、ElasticSearch节点磁盘使用率过高，read_only状态问题解决六…...
用 Python Turtle 绘制经典汤姆猫：重温卡通角色的经典魅力
用 Python Turtle 绘制经典汤姆猫：重温卡通角色的经典魅力 🐸 前言 🐸🐞往期绘画>>点击进所有绘画🐞🐋 效果图 🐋🐉 代码 🐉 🐸 前言 🐸 汤…...
数据结构Day4: 链表函数封装 ； 思维导图
目录 作业：实现链表剩下的操作： 任意位置删除 按位置修改 按值查找返回地址 反转 销毁 运行结果 思维导图 作业：实现链表剩下的操作： 1>任意位置删除 2>按位置修改 3>按值查找返回地址 4>反转 5>销毁 任意…...
用 Python Turtle 绘制一只可爱的小狗：用代码捕捉狗狗的萌态
用 Python Turtle 绘制一只可爱的小狗：用代码捕捉狗狗的萌态 🐸 前言 🐸🐞往期绘画>>点击进所有绘画🐞🐋 效果图 🐋🐉 代码 🐉 🐸 前言 🐸 …...
人工智能浪潮来袭：2024年技术革命与产业变革深度解析@附64页PDF文件下载
随着2024年的到来，人工智能（AI）技术正以前所未有的速度、广度和深度改变着我们的生产和生活方式。在这篇深度解析中，我们将带您一探AI技术的最新发展、产业应用的现状以及未来的安全治理趋势。 技术革命：AI技术的新范…...
python 下载 b站视频 和音频
video_bvid： import os import requests import json import re from bs4 import BeautifulSoup import subprocess # from detail_video import video_bvid# video_bvid 是一个从外部得到的单个视频ID video_bvid BV1cx421Q7veclass BilibiliVideoAudio:def __in…...
【蓝桥杯选拔赛真题93】Scratch青蛙过河 第十五届蓝桥杯scratch图形化编程 少儿编程创意编程选拔赛真题解析
目录 Scratch青蛙过河 一、题目要求 编程实现 二、案例分析 1、角色分析 2、背景分析 3、前期准备 三、解题思路 1、思路分析 2、详细过程 四、程序编写 五、考点分析 六、推荐资料 1、入门基础 2、蓝桥杯比赛 3、考级资料 4、视频课程 5、python资料 Scr…...
flink sink kafka的事务提交现象猜想
现象 查看flink源码时 sink kafka有事务提交机制，查看源码发现是使用两阶段提交策略，而事务提交是checkpoint完成后才执行，那么如果checkpoint设置间隔时间比较长时，事务未提交之前，后端应该消费不到数据，…...
Oracle 临时表空间管理与最佳实践
Oracle 临时表空间管理与最佳实践 内容摘要 本文深入探讨了Oracle数据库中临时表空间的管理和最佳实践。主要内容包括： 临时表空间的概述及其在Oracle 19c多租户架构中的特点临时表空间组的优势及其创建方法非临时表空间组的临时表空间日常维护操作命令临时表空间…...
Java转C之继承和多态
在C/C中，继承和多态是面向对象编程（OOP）的两个重要特性。以下将详细讲解C/C中如何实现继承与多态，同时结合Java的对比，帮助理解两者的异同。 继承的实现 C/C中的继承 继承允许一个类（派生类/子类…...
【密码学】ZUC祖冲之算法
一、ZUC算法简介 ZUC算法（祖冲之算法）是中国自主研发的一种流密码算法，2011年被3GPP批准成为4G国际标准，主要用于无线通信的加密和完整性保护。ZUC算法在逻辑上采用三层结构设计，包括线性反馈移位寄存器（L…...
MacOS系统 快速安装appium 步骤详解
在macOS系统上，你可以通过使用nvm（Node Version Manager）来管理Node.js的版本，并基于nvm安装的Node.js环境来快捷地安装Appium。以下是具体步骤： 一、安装nvm 下载nvm 访问nvm的GitHub仓库（nvm GitHub&…...
SEGGER | 基于STM32F405 + Keil - RTT组件07 - J-Scope数据可视化，RTT方式 + DWT定时器时间戳
导言 在上一章节SEGGER | 基于STM32F405 Keil - RTT组件06 - J-Scope数据可视化，使用RTT方式的第4.3章节提到，如果消息包不包含时间戳的话，那么J-Scope的横坐标的单位时间默认是100us，说白了时间戳是假的。会导致如下问题&#x…...
机器学习支持向量机（SVM）算法
一、引言 在当今数据驱动的时代，机器学习算法在各个领域发挥着至关重要的作用。支持向量机（Support Vector Machine，SVM）作为一种强大的监督学习算法，以其在分类和回归任务中的卓越性能而备受瞩目。SVM 具有良好的泛化…...
浏览器端的 js 包括哪几个部分
一、核心语言部分 1. 变量与数据类型 变量用于存储数据，在 JavaScript 中有多种数据类型，如基本数据类型（字符串、数字、布尔值、undefined、null）和引用数据类型（对象、数组、函数）。 let name "…...
【含开题报告+文档+PPT+源码】基于SpringBoot的开放实验管理平台设计与实现
开题报告 设计开放实验管理平台的目的在于促进科学研究与教学的融合。传统实验室常常局限于特定地点和时间，而开放平台可以为学生、教师和研究人员提供一个便捷的交流与共享环境。通过在线平台，他们可以分享实验资源、交流经验，从而促进科学…...
国内可以访问的github地址
国内的IP直接访问github.com官网一般会出现无法访问或者卡顿问题，可以尝试访问下面的国内的代理网站： GitHub Build and ship software on a single, collaborative platform GitHub...
Spring 框架事务管理深度剖析
1.Spring框架的事务管理有哪些优点 pring框架的事务管理具有以下优点： 声明式事务管理：Spring支持声明式事务管理，这使得开发者可以通过配置而不是编程方式来定义事务边界。这种方式简化了事务管理代码，并且可以减少出错的机会。…...
6.1 初探MapReduce
MapReduce是一种分布式计算框架，用于处理大规模数据集。其核心思想是“分而治之”，通过Map阶段将任务分解为多个简单任务并行处理，然后在Reduce阶段汇总结果。MapReduce编程模型包括Map和Reduce两个阶段，数据来源和结果存储通常在…...
SpringBoot - 动态端口切换黑魔法
文章目录 关键技术点核心原理Code 关键技术点 利用 Spring Boot 内嵌 Servlet 容器 和 动态端口切换 的方式实现平滑更新的方案，关键技术点如下： Servlet 容器重新绑定端口：Spring Boot 使用 ServletWebServerFactory 动态设置新端口。零停…...
【Excel】单元格分列
目录 分列（新手友好） 1. 选中需要分列的单元格后，选择 【数据】选项卡下的【分列】功能。 2. 按照分列向导提示选择适合的分列方式。 3. 分好就是这个样子 智能分列（进阶） 高级分列 Tips： 新手推荐基…...
Scratch教学作品 | 3D圆柱体俄罗斯方块——旋转视角的全新挑战！ ✨
今天为大家推荐一款创意十足的Scratch益智游戏——《3D圆柱体俄罗斯方块》！由Ceratophrys制作，这款作品将经典俄罗斯方块与立体圆柱舞台相结合，为玩家带来了前所未有的空间挑战与乐趣。更棒的是，这款游戏的源码可以在小虎鲸Scratc…...
智慧商城：登录页静态布局，axios请求数据切换图形验证
登录页静态布局 在src目录下新建 styles，主要用于 存放公共样式。在该文件夹下新建common.less文件，并将其在main.js中引入 将图片拷贝到src文件夹下的 assets文件夹下 完成静态布局 点击左箭头能返回到首页 所有组件头部返回左箭头颜色都是一样的&#…...
HTML知识点详解教程
文章目录 HTML知识点详解教程1. HTML基本语法2. HTML标签详解2.1 分区标签 <div>2.2 标题标签 <h1> ~ <h6>2.3 段落标签 <p>2.4 图片标签 <img>2.5 列表标签 <ul> 和 <ol>无序列表 <ul>有序列表 <ol> 2.6 超链接标签 &l…...
知识分享第二十八天-数学篇一
组合.二项式定理.常见导数 组合 让我们通过一个具体的例子来理解组合（Combinations）的概念 假设你有一个装有5个不同颜色球的袋子：红、蓝、绿、黄和紫。你想从中随机抽取3个球， 不考虑顺序，那么你可以有多少种不同的…...
搭建Tomcat（四）---Servlet容器
目录 引入 Servlet容器 一、优化MyTomcat ①先将MyTomcat的main函数搬过来： ②将getClass()函数搬过来 ③创建容器 ④连接ServletConfigMapping和MyTomcat 连接： ⑤完整的ServletConfigMapping和MyTomcat方法： a.ServletConfigMappin…...
P1029 [NOIP2001 普及组] 最大公约数和最小公倍数问题
题目描述 输入两个正整数 𝑥0,𝑦0，求出满足下列条件的 𝑃,𝑄 的个数： 𝑃,𝑄是正整数。 要求 𝑃,𝑄 以 𝑥0为最大公约数，以 …...
【泛微系统】自定义报表查看权限
自定义报表查询权限 前言：流程自定义报表，可查看每个报表都有哪些人有权限 --SQLserver写法 select a.id,a.workflowname,自定义报表权限 type,b.reportname,c.typename...
NPM国内镜像源多选择与镜像快速切换工具（nrm）介绍
多镜像源选择 淘宝镜像（推荐） 镜像地址：https://registry.npmmirror.com 特性：官方推荐，镜像更新速度快，稳定性高。 使用方式： npm config set registry https://registry.npmmirror.com恢复…...
详解负载均衡
什么是负载均衡？ 想象一下，你有一家餐厅，当有很多客人同时到来时，如果只有一名服务员接待，可能会导致服务变慢。为了解决这个问题，你可以增加更多的服务员来分担工作，这样每位服务员就可以更快…...
AngularJS 与 SQL 的集成应用
AngularJS 与 SQL 的集成应用 引言 在当今的Web开发领域，AngularJS 和 SQL 是两种非常重要的技术。AngularJS，作为一个强大的前端框架，能够帮助开发者构建复杂且高性能的客户端应用。而SQL（Structured Query Language），作为一种广泛使用的数据库查询语言，是管理关系型…...
ANOMALY BERT 解读
出处： ICLR workshop 2023 代码：Jhryu30/AnomalyBERT 可视化效果： 一 提出动机 动机：无监督 TSAD 领域内，“训练集” 也缺失：真值标签（GT）；换句话说，一个…...
51c视觉~YOLO~合集6~
我自己的原文哦~ https://blog.51cto.com/whaosoft/12830685 一、其他yolo 1.1 Spiking-YOLO 使用常规深度神经网络到脉冲神经网络转换方法应用于脉冲神经网络域时，性能下降的很多，深入分析后提出了可能的解释：一是来自逐层归一化的效率…...