- 在 AutoDL 平台上租赁 GPU =====================
- GPU 型号：RTX 4090
- PyTorch 版本：2.5.1**（推荐使用 2.0 及以上的版本，以获得最佳的推理性能）**
- 开启学术资源加速 ===========
source /etc/network_turbo
- 拉取模型代码 =========
git clone https://github.com/THUDM/ChatGLM3
- 安装依赖 =======
cd ChatGLM3
pip install -r requirements.txt
特别提示：如果不需要运行可视化 demo，则可以将 gradio 依赖删除，这样可以避免一些依赖版本冲突问题，也可以节省资源。
basic requirementstransformers==4.40.0cpm_kernels>=1.0.11torch>=2.3.0vllm>=0.4.2gradio>=4.26.0sentencepiece>=0.2.0sentence_transformers>=2.7.0accelerate>=0.29.2streamlit>=1.33.0fastapi>=0.110.0loguru~=0.7.2mdtex2html>=1.3.0latex2mathml>=3.77.0jupyter_client>=8.6.1# for openai demoopenai>=1.30.1pydantic>=2.7.1sse-starlette>=2.1.0uvicorn>=0.29.0timm>=0.9.16tiktoken>=0.6.0# for langchain demolangchain>=0.2.1langchain_community>=0.2.0langchainhub>=0.1.15arxiv>=2.1.0
- 运行 Demo ==========
cd basic_demo/
python cli_demo.py
特别提示：初次运行时，需要执行资源初始化的操作，耗时可能较长，需要耐心等待。
- 效果展示 =======