机器学习从开发到生产-调研-AlgoLink(一)
目前,机器学习/深度学习模型的持续部署和生命周期管理被广泛认为是ML项目与业务产生连接并获得价值的主要瓶颈。
我们希望减少数据科学、工程和运营团队之间的沟通与摩擦。于是着手研发一个解决方案来部署我们自己的模型。上一个版本主要实现模型建成后的系列解决方案:包括模型部署、线上实验管理等,本次重构内容意在丰富机器学习的生态,不局限于最后一公里,总结为以下几点:
web UI侧使用VUE框架重构
增加建模与特征阶段的功能:
包括创建jupyter建模空间 已实现
增加定时任务功能 进行中
封装灵活的task flow模块帮助快速构建高效的数据科学工作流程 已实现
提供建立在pandas和scipy之上,提供类似DataFrame的API来处理稀疏数据 已实现
封装面向推荐的特征处理以及训练和预测 已实现
增加模型训练日志跟踪与评估功能 已实现
增加嵌入式模型请求侧日志信息跟踪 已实现
提供特征飘移监测(UI可视)进行中
为数据科学提供标准模板(import build后自动生成) 已实现
扩展部署的适应框架,让数据科学家能够灵活地使用他们想要的工具(H2O、TensorFlow、Spark等)。 已实现
增加模型热部署,在不停机的情况下实现模型的自动更新,完成自动性能或基于时间的路由和陈旧模型的淘汰以完善模型生命周期管理方面的工作。 已实现
增加模型输入输出的定义标准模型,包括number, text, image, array, vector, category, file, 和any等类型 已实现
增加自动生成swagger的api接口文档功能,用于快速测试模型接口 已实现
实现易于部署和扩展的功能,以适应不同的部署场景(on-prem本地数据中心单个实例、实例集群、Kubernetes管理、云原生等) 进行中
相关文章:
AlgoLink重构与扩展
为者常成,行者常至
自由转载-非商用-非衍生-保持署名(创意共享3.0许可证)