动手点关注
干货不迷路
为了配合《一文探秘LLM应用开发》后续章节内容，方便读者能够体验文章中分享的案例和代码，在未来的推送中，会将文中常提到的工具和软件做一些介绍，希望帮助到大家。
使用之前约束
- 能上网
- 搞到一些账号（后期文章需要用到的）
- Huggingface(https://www.huggingface.co/)
- Kaggle(https://www.kaggle.com/)
- OpenAI(https://openai.com/)，需要绑定信用卡才可api方式使用
- serpapi(https://serpapi.com/)
- wolframalpha(http://www.wolframalpha.com/）
- more ...
Colab介绍
网址 ：https://colab.research.google.com/
为啥用它 ：免费，方便，有很多外部分享，可以“联网”下载
简介：
它就是一个web版本的notebook，一般本地启动notebook，不仅占用本地资源，而且各种环境配置十分麻烦，特别是外网的一些lib或者API，无形中给开发者很大的障碍，所以强烈建议大家直接在类似一站式的云端平台调研开发，在调研学习阶段colab就是一个不错的选择。
特别是LLM开发，有时候会用到GPU，对于个人开发者来讲，就是一个很大障碍，而colab提供了免费的GPU（限额），就对验证调研帮助不少。
使用方法：
- 首 先需要有一个google账号，然后打开google drive（个人免费15GB空间）
2.选择创建“Google Colaboratory”即可创建“笔记本”。
如图，notebook中已经默认安装了常见的python lib，包含tensorflow和pytorch，用过的都知道安装这两个东西在本地都很费劲，google帮忙省了不少的事情。
右上角可以看到资源情况，google还是很大方的。
他有一些快捷键可以参考：
Ctrl + M + B：在当前单元格下方创建新单元格。
Ctrl + M + M：将当前单元格转换为 Markdown 单元格。
Ctrl + M + H：显示快捷键帮助。
常见操作：
-
使用GPU
点“修改”->"笔记本设置"，选择GPU即可，在右上角资源便可以看到有了GPU资源（可以看到A100等是需要付费的）。
为了方便在notebook中查看gpu情况，可以安装：
pip install nvidia-smi
执行：
!nvidia-smi
Wed Jun 14 01:54:29 2023
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 525.85.12 Driver Version: 525.85.12 CUDA Version: 12.0 |
|-------------------------------+----------------------+----------------------+
| GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|===============================+======================+======================|
| 0 Tesla T4 Off | 00000000:00:04.0 Off | 0 |
| N/A 60C P0 29W / 70W | 387MiB / 15360MiB | 0% Default |
| | | N/A |
+-------------------------------+----------------------+----------------------+
+-----------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=============================================================================|
+-----------------------------------------------------------------------------+
2.挂载网盘
点击文件中下图图标，绑定授权即可，这样做的好处是你可以把你的代码和数据都放在网盘上，避免丢失，相当与自己有了一个测试机。
3.切换文件夹
import os
os.chdir("/content/drive/My Drive/")
由于已经挂载了自己的网盘，通过上面命令就可以切换目录了。
更多可以参看官方示例：
更多：
学习langchain：https://colab.research.google.com/drive/1ArRVMiS-YkhUlobHrU6BeS8fF57UeaPQ
想要学习LLM应用开发吗？
可关注连载《一文探秘LLM应用开发》： 目录：
3)微调