为了配合《一文探秘LLM应用开发》后续章节内容,方便读者能够体验文章中分享的案例和代码,在未来的推送中,会将文中常提到的工具和软件做一些介绍,希望帮助到大家。
使用之前约束
- 能上网
- 搞到一些账号(后期文章需要用到的)
- Huggingface(https://www.huggingface.co/)
- Kaggle(https://www.kaggle.com/)
- OpenAI(https://openai.com/),需要绑定信用卡才可api方式使用
- serpapi(https://serpapi.com/)
- wolframalpha(http://www.wolframalpha.com/)
- more ...
Colab介绍
网址 :https://colab.research.google.com/
为啥用它 :免费,方便,有很多外部分享,可以“联网”下载
简介:
它就是一个web版本的notebook,一般本地启动notebook,不仅占用本地资源,而且各种环境配置十分麻烦,特别是外网的一些lib或者API,无形中给开发者很大的障碍,所以强烈建议大家直接在类似一站式的云端平台调研开发,在调研学习阶段colab就是一个不错的选择。
特别是LLM开发,有时候会用到GPU,对于个人开发者来讲,就是一个很大障碍,而colab提供了免费的GPU(限额),就对验证调研帮助不少。
使用方法:
- 首 先需要有一个google账号,然后打开google drive(个人免费15GB空间)
2.选择创建“Google Colaboratory”即可创建“笔记本”。
如图,notebook中已经默认安装了常见的python lib,包含tensorflow和pytorch,用过的都知道安装这两个东西在本地都很费劲,google帮忙省了不少的事情。
右上角可以看到资源情况,google还是很大方的。
他有一些快捷键可以参考:
Ctrl + M + B:在当前单元格下方创建新单元格。
Ctrl + M + M:将当前单元格转换为 Markdown 单元格。
Ctrl + M + H:显示快捷键帮助。
常见操作:
-
使用GPU
点“修改”->"笔记本设置",选择GPU即可,在右上角资源便可以看到有了GPU资源(可以看到A100等是需要付费的)。
为了方便在notebook中查看gpu情况,可以安装:
pip install nvidia-smi
执行:
!nvidia-smi
Wed Jun 14 01:54:29 2023
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 525.85.12 Driver Version: 525.85.12 CUDA Version: 12.0 |
|-------------------------------+----------------------+----------------------+
| GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|===============================+======================+======================|
| 0 Tesla T4 Off | 00000000:00:04.0 Off | 0 |
| N/A 60C P0 29W / 70W | 387MiB / 15360MiB | 0% Default |
| | | N/A |
+-------------------------------+----------------------+----------------------+
+-----------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=============================================================================|
+-----------------------------------------------------------------------------+
2.挂载网盘
点击文件中下图图标,绑定授权即可,这样做的好处是你可以把你的代码和数据都放在网盘上,避免丢失,相当与自己有了一个测试机。
3.切换文件夹
import os
os.chdir("/content/drive/My Drive/")
由于已经挂载了自己的网盘,通过上面命令就可以切换目录了。
更多可以参看官方示例:
更多:
学习langchain:https://colab.research.google.com/drive/1ArRVMiS-YkhUlobHrU6BeS8fF57UeaPQ