使用 Pipcook 褥羊毛之 Google Colab 篇
发布于 4 年前 作者 yorkie 4145 次浏览 来自 分享

为了降低前端工程师使用 Pipcook 的算力(JIN QIAN)成本,我们在8月份支持了在 Google Colab 上使用 Pipcook 训练模型。

Google Colab 是 Google 提供的 Juypter Notebook 服务,可以使用免费的 GPU/TPU 资源,唯一的要求就是需要梯子。

下面就开始本文的 Step by Step 吧!

在 Google Drive 上新建 Google Colab,打开该链接会在你的 Google Drive 新建一个 *.ipynb 文件。

接下来是环境准备,在 Notebook 中的代码块中执行如下代码即可:

!wget -P /tmp https://nodejs.org/dist/v12.18.1/node-v12.18.1-linux-x64.tar.xz
!rm -rf /usr/local/lib/nodejs
!mkdir -p /usr/local/lib/nodejs
!tar -xJf /tmp/node-v12.18.1-linux-x64.tar.xz -C /usr/local/lib/nodejs
!sh -c 'echo "export PATH=/usr/local/lib/nodejs/node-v12.18.1-linux-x64/bin:\$PATH" >> /etc/profile'
!rm -f /usr/bin/node
!rm -f /usr/bin/npm
!ln -s /usr/local/lib/nodejs/node-v12.18.1-linux-x64/bin/node /usr/bin/node
!ln -s /usr/local/lib/nodejs/node-v12.18.1-linux-x64/bin/npm /usr/bin/npm
!npm config delete registry

import os
PATH_ENV = os.environ['PATH']
%env PATH=/usr/local/lib/nodejs/node-v12.18.1-linux-x64/bin:${PATH_ENV}

由于 Juypter Notebook 一般都只提供特定的 Python 环境,因此上面的脚本是进行 Node.js 环境的安装。

准备好 Node.js 环境后,就可以安装 Pipcook Cli 了。

!npm install @pipcook/pipcook-cli -g
!rm -f /usr/bin/pipcook
!ln -s /usr/local/lib/nodejs/node-v12.18.1-linux-x64/bin/pipcook /usr/bin/pipcook

安装成功后,启动 daemon:

!sudo pipcook init
!sudo pipcook daemon start

启动成功后,就可以使用 Pipcook 训练你想要的模型了,我们已经为此准备了 UI 组件识别的两套 Google Colab 教程:

  1. 分类图片中的前端组件
  2. 识别图片中的前端组件

如何切换 Google Colab 到 GPU/TPU?

使用 Google Colab 的过程中,默认使用的是 CPU 机器,那么怎么切换到 GPU 和 TPU 呢?

timg.jpeg

如上图所示,进入 Google Colab 后,按照 Runtime > Change runtime type 的步骤点击:

foobar.jpeg

在弹出的提示框中切换到 GPU 或 TPU 后,保存(SAVE)即可。

最后

我们正在召集志愿者参与 Pipcook,打造更适合 Node.js/Web 开发者的 Jupyter Notebook,欢迎感兴趣的同学私我。

4 回复

JIN QIANG 禁枪?

@lellansin orz,已修正,金钱💰

卧槽和我单位的方向一致

@liangtongzhuo 你是说褥羊毛的方式,还是蹭 GPU 的方式,哈哈~

回到顶部