AI应用开发必备工具-Colab使用介绍

火山方舟向量数据库大模型

picture.image

为了配合《一文探秘LLM应用开发》后续章节内容,方便读者能够体验文章中分享的案例和代码,在未来的推送中,会将文中常提到的工具和软件做一些介绍,希望帮助到大家。

使用之前约束

  • 能上网
  • 搞到一些账号(后期文章需要用到的)

Colab介绍

picture.image

网址https://colab.research.google.com/

为啥用它 :免费,方便,有很多外部分享,可以“联网”下载

简介:

它就是一个web版本的notebook,一般本地启动notebook,不仅占用本地资源,而且各种环境配置十分麻烦,特别是外网的一些lib或者API,无形中给开发者很大的障碍,所以强烈建议大家直接在类似一站式的云端平台调研开发,在调研学习阶段colab就是一个不错的选择。

特别是LLM开发,有时候会用到GPU,对于个人开发者来讲,就是一个很大障碍,而colab提供了免费的GPU(限额),就对验证调研帮助不少。

使用方法:

  1. 首 先需要有一个google账号,然后打开google drive(个人免费15GB空间)

picture.image

2.选择创建“Google Colaboratory”即可创建“笔记本”。

picture.image

如图,notebook中已经默认安装了常见的python lib,包含tensorflow和pytorch,用过的都知道安装这两个东西在本地都很费劲,google帮忙省了不少的事情。

picture.image

右上角可以看到资源情况,google还是很大方的。

他有一些快捷键可以参考:

Ctrl + M + B:在当前单元格下方创建新单元格。

Ctrl + M + M:将当前单元格转换为 Markdown 单元格。

Ctrl + M + H:显示快捷键帮助。

常见操作:

  1. 使用GPU

点“修改”->"笔记本设置",选择GPU即可,在右上角资源便可以看到有了GPU资源(可以看到A100等是需要付费的)。

picture.image

picture.image

为了方便在notebook中查看gpu情况,可以安装:


        
            

          pip install nvidia-smi
        
      

执行:


          
!nvidia-smi
          

          
Wed Jun 14 01:54:29 2023       
          
+-----------------------------------------------------------------------------+
          
| NVIDIA-SMI 525.85.12    Driver Version: 525.85.12    CUDA Version: 12.0     |
          
|-------------------------------+----------------------+----------------------+
          
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
          
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
          
|                               |                      |               MIG M. |
          
|===============================+======================+======================|
          
|   0  Tesla T4            Off  | 00000000:00:04.0 Off |                    0 |
          
| N/A   60C    P0    29W /  70W |    387MiB / 15360MiB |      0%      Default |
          
|                               |                      |                  N/A |
          
+-------------------------------+----------------------+----------------------+
          
                                                                               
          
+-----------------------------------------------------------------------------+
          
| Processes:                                                                  |
          
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
          
|        ID   ID                                                   Usage      |
          
|=============================================================================|
          
+-----------------------------------------------------------------------------+
          

      

2.挂载网盘

点击文件中下图图标,绑定授权即可,这样做的好处是你可以把你的代码和数据都放在网盘上,避免丢失,相当与自己有了一个测试机。

picture.image

picture.image

3.切换文件夹


          
import os
          
os.chdir("/content/drive/My Drive/")
      

由于已经挂载了自己的网盘,通过上面命令就可以切换目录了。

picture.image

更多可以参看官方示例:

picture.image

更多:

学习langchain:https://colab.research.google.com/drive/1ArRVMiS-YkhUlobHrU6BeS8fF57UeaPQ

picture.image

0
0
0
0
关于作者
关于作者

文章

0

获赞

0

收藏

0

相关资源
在火山引擎云搜索服务上构建混合搜索的设计与实现
本次演讲将重点介绍字节跳动在混合搜索领域的探索,并探讨如何在多模态数据场景下进行海量数据搜索。
相关产品
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论