Lecture 14 Parallel Machine Learning, Part 2

Unsupervised and Semi-Supervised Learning

回忆在chapter12中，我们提到了ML的分类，着重讲解了 Supervised Learning，以及我们暂且不会提及 Reinforcement Learning

因此，这节课是对剩下内容的介绍：无监督学习 + 半监督学习

本节课大纲:

1. 聚类 (Clustering):
   • Spectral Clustering
   • Markov Clustering
2. 降维 (Dimensionality Reduction):
   • PCA (主成分分析)
   • NNMF (非负矩阵分解)
3. 自监督学习: 图神经网络(GNN)

术语介绍

1. Clustering: 聚类
2. Dimensionality Reduction: 降维
3. Non-Negative Matrix Factorization: 非负矩阵分解
4. GNN: Graph Neural Networks, 图神经网络
5. MCL: Markov CLustering algorithm
6. PCA: Principal Components Analysis, 主成分分析

Clustering

本质

将一堆数据点进行合理的分类

直观理解如下:

Spectral Clustering

频谱聚类

图表示：Node是数据点，Edge表示关联，Weight表示关联程度

限制因素：

1. 关联度大于 threshold $ϵ$ 才算数
2. 每个点最多可以向外拓展k条边

最小正则划分：recursively partition the data set into two sets of similar sizes

解决最小正则划分的算法：拉普拉斯图算子 (Graph Laplacian)

Markov Cluster Algorithm

马尔可夫聚类，MCL

出发点: 集群内的edge数 >> 集群间的edge数 -> random walks 更大概率在同一个cluster内

算法原理: “将差异放大”，从而更加清晰的“分类”

时间复杂度估量:

1. 建图: 图算法
2. Prune: ✅
3. Recovery and Selection: k-selection，会在sort/search中提及
4. 稀疏矩阵乘法: ✅
5. File I/O: 由于数据量很大，这个不能忽略

Dimensionality Reduction

本质

数据中可能有很多的影响因素，哪些才是最重要的呢？我们要提取核心！

矩阵的rank同时也标志着一个空间的维度，因此降维在数学上的解释就是：降低矩阵的rank

因此我们有两种出发点：

1. 矩阵提取特征向量集: 主成分分析 (PCA)
2. 矩阵低秩分解: 非负矩阵分解 (NNMF)

直观理解如下：

Principal Component Analysis

主成分分析，PCA

Non-Negative Matrix Factorization

非负矩阵分解，NNMF

NMF强制将矩阵A分解成两个低秩矩阵W和H，从而实现“维度降低 (rank降低)”

Semi-supervised Learning: GNN

特征: 只有一小部分数据有标签，大多数都是没有标签的

Label Propagation: 半监督学习的图算法的典型

工作流程:

一般而言，GNN需要非常强大的算力，即使稀疏图也需要。

From Image Convolution to Graph Convolution

回顾上节课所说的，Image Convolution 对应于 CNN

同理，Graph Convolution 对应于 GNN

What is Convolution

卷积，本质上是用来提取特征和关联信息的

比如这里Graph Convolution，目的是在graph上提取特征

通过聚合邻居节点之间的信息，更新每个node的特征

全图 / 小批量 SGD

• Full-graph Training
  • 在整个训练集上训练
  • 训练速度快，收敛慢
• Mini-batch Training
  • 在训练集上采样，根据样本集训练
  • 训练速度慢，但是收敛快

这里就有一个问题，图中的点可能彼此之间存在“互信息”，我们如何确保mini-batch取得的样本能“覆盖”这些特征？

CAGNET

CAGNET 聚焦于 Graph Convolutional Networks (GCNs)

Cost(SpMM) >>> Cost(DGEMM)

采样器类型

• Node-wise: 对于每个batch中的每个顶点，取它的k个邻居
• Layer-wise: 对于每个batch中的每个cluster，取它的k个成员
• Graph-wise: 先不管

采样Pipeline

Since sampling is too expensive, we need to sample many batches at once to amortize(摊销).

采样举例

（1）数据点分开看:

GraphSAGE Sampler

（2）数据点打包，看关联:

LADIES Sampler

Review

Chapter 12 跟 Chapter 14 是姊妹篇，这两节课逐渐从 并行与分布式系统 转向 AI系统底层构建。

重点其实就是最开始的这张图: