推理服务

推理脚本列表页面分为「我的脚本」和「预置脚本」

推理脚本

推理脚本列表页面分为「我的脚本」和「预置脚本」,推理脚本可以是一个系列模型通用的推理脚本也可以是特定模型专属的推理脚本,系统内置了一些模型对应的通用推理脚本可以使用。

预置脚本

系统内置了部分的推理脚本,可直接使用

descript

点击查看按钮,可以查看服务传入参数的具体说明

descript
点击右侧的「刪除」按钮,可删除预置的推理脚本

descript

我的脚本

用户在「我的脚本中可」创建新的脚本。

  1. 点击「创建」按钮

descript

  1. 在弹出的创建脚本页面填写脚本名称、包名、上传脚本文件、描述、以及服务的参数定义

descript

注意:

  • 包名需以英文字母或下划线开头,且仅包含字母、数字和下划线
  • 脚本文件上传的zip格式如下:

目录中必须包含__init__.py文件

descript

  • 脚本代码文件撰写规范如下:

__init__.py文件格式参考如下:

descript

resnet_pytorch.py推理脚本如下:

在这个文件中必须包含construct_service函数,且该函数不允许重新命名,用于构建service实例的方法,系统通过调用construct_service函数获取用户自定义的推理脚本

ResnetPytorch是推理类,这个类可以根据需求重新命名及定义,只要确保在construct_service函数中调用正确即可。

descript

  1. 点击「确认」按钮后,在「我的脚本」列表中可以找到添加的记录

descript

  1. 点击查看按钮,可以查看服务传入参数的具体说明

descript

  1. 点击右侧的「刪除」按钮,可删除预置的推理脚本

descript

推理实例

  1. 点击「创建」按钮,创建一个推理实例

descript

  1. 进入创建页面,填写实例名称、描述,选择运行环境,选择运行资源大小

descript

  1. 点击「确认」按钮,在推理实例列表中可以找到创建的实例记录

descript

  1. 点击「上传脚本」按钮,选择上一节创建的推理脚本,注意,「上传脚本」按钮只在服务启动前才能进行上传

descript

  1. 点击「查看脚本」按钮

descript

  1. 点击「启动」按钮,运行状态变成"运行中"表明启动成功

descript

descript

  1. 点击「上传服务」按钮,上传服务,注意,「上传服务」按钮只在服务启动后才能进行上传

选择推理脚本并填写服务的名称,上传与推理脚本架构相同的训练好的模型文件并填写相关服务参数。

descript

  1. 点击「查看服务」按钮,可对上传的服务进行查看和停用操作

descript

  1. 点击「停止」按钮,停止成功后状态会变为"已停止"

descript

descript

  1. 点击「删除」按钮,可删除推理实例

descript

创建好的推理实例可以在「数据管理」-「数据集管理」中「自动标注」使用

How is this guide?