包含标签 kubeflow 的文章

kubeflow pipelines--实现自己的实例

2019年2月1日
| kubeflow
上篇文章实现了运行系统给出的pipelines实例。通过挂载自己的卷，以及使用自己的镜像总算可以运行官方给的ML实例了。但是我们的最终目的是运行自己的ML程序。 接下来是实现自己的pipelines实例。 根据官方文档的建议： https://www.kubeflow.org/docs/pipelines/sdk/build-component/](https://www.kubeflow.org/docs/pipelines/sdk/build-component/) 实现自己的ML实例，总共有两点： （1）Client code （在……

阅读全文

kubeflow pipelines--使用UI界面

2019年1月23日
| kubeflow
前面的文章已经安装好了pipelines，接下来是体验如何使用pipelines了。 这是官网的图，进入Pipelines的图形界面就会出现这个。 但是官网给出的都是怎样在gcp上使用图形界面。所以怎么在自己本地集群使用Pipelines图形界面还得靠自己摸索。 既然我们都装好pipe……

阅读全文

kubeflow pipelines--国内环境安装

2019年1月23日
| kubeflow
在前面的教程中，我们已经搭建好了本地的kubeflow集群，接下来因为个人需要，本人需要再在此基础上搭建好kubeflow pipelines. 首先需要了解pipelines是什么，能做什么，具体可以参考官网描述： https://www.kubeflow.org/docs/pipelines/pipelines-overview/ 从V0.1.3开始，Kubeflow Pipelines成为Kubeflow核心组件之……

阅读全文

kubeflow pipelines--本地运行官方ML-实例

2019年1月23日
| kubeflow
在上面的文章中，我成功运行了pipelines的简单实例。这个简单的例子没有文件的操作，但是这肯定不符合我们的要求，所以接下来介绍如何运行官网的ML 例子。 这次试用的例子是：KubeFlow pipeline using TFX OSS components 准备工作 由于这个例子使用的镜像，文件都是某歌的，所以我们要想办法把他弄到自己服务器……

阅读全文

kubeflow简介

2019年1月23日
| kubeflow
前面都是在介绍如何安装Kubeflow和pipelines，今天补一下Kubeflow的pipelines的知识，让大家知道他们是什么，能做什么。 背景 Kubernetes 本来是一个用来管理无状态应用的容器平台，但是在近两年，有越来越多的公司用它来运行各种各样的工作负载，尤其是机器学习炼丹。各种 AI 公……

阅读全文

kubeflow使用图像界面

2019年1月9日
| kubeflow
按照前几篇文章搭建好Kubeflow集群后，所有的pod都能运行了。但是在自己本地浏览器访问界面时却发现网页一直打不开。访问不了jupyter。这样因为默认的这些服务都是使用cluster ip。只能集群内部访问，外网访问不了。 解决方法： 查看当前的服务 1 kubectl-nkubeflowgetsvc 如图所示，这里注意，这是我……

阅读全文

kubeflow准备--NFS环境搭建

2019年1月7日
| kubeflow
目的 在搭建kubeflow的时候，要需要搭建存储卷。为了以后能更好的共享文件，我这里使用了NFS作为文件存储系统。 操作如下： 针对master节点： master节点上安装NFS服务 1 sudoapt-getupdate&&sudoapt-getinstall-ynfs-server 建立一个共享的文件夹 1 sudomkdir/nfs-data/kubeflow-pv1 修改/etc/exports文件 (末尾添加) 1 /nfs-data/kubeflow-pv1*(rw,sync,no_root_squash,no_subtree_check) 这一行的意思是将/nfs-……

阅读全文

kubeflow准备--下载ks

2019年1月7日
| kubeflow
最近需要了解Kubeflow方面的知识，故需要自己配置kubeflow。安装Kubeflow需要按照以下的依赖: ksonnet version 0.11.0 or later. Kubernetes 1.8 or later kubectl 由于，k8s,kubectl的安装网上已经有很多教程了，而本人安装ksonnet时绕了一些弯，所以在此记录一些本人的安装过程。 安装环境介绍： 本人的k……

阅读全文

kubeflow准备--拉取镜像

2019年1月7日
| kubeflow
目的 某些情况下，我们可能需要让服务器能够下载到gcr.io，比如安装k8s/kubeflow的时候。这里设置ubuntu服务器环境下能让docker pull gcr.io镜像。 说在前面的话 如果服务器直接能直接下载，这个安装教程不适合你。 如果有shadowsocks服务器，可以参考这个教程……

阅读全文

kubeflow国内环境安装

2019年1月7日
| kubeflow
最近一直在想在自己集群上搭建Kubeflow环境，兜兜转转最终终于装好了。这个过程中遇到了很多坑，而在整个过程中发现网上关于如何在国内环境下安装kubeflow的教程非常少。故在此记录我的搭建过程，希望能对想搭建kubeflow环境的小伙伴们一些帮助。这里特意感谢实验室董师兄的指……

阅读全文

  1. 1
  2. 2