Partid(高性能图计算系统 Plato 在 Nebula Graph 中的实

图计算概述

1. 图数据库与图计算

图数据库主要面向OLTP场景，重点在于数据的增删改查，通常一个查询仅涉及图中的小部分数据。而图计算则面向OLAP场景，它针对全图数据进行分析计算。

2. 图计算系统的分布架构

图计算系统可分为单机和分布式两大类。

单机图计算系统：优势在于模型简单，无需考虑分布式通讯和图数据切分。但受限于单机系统资源，无法进行大规模的图数据分析。

分布式图计算平台：通过将图数据分布到多台机器上，能够处理更大规模的数据。但这也带来了分布式通讯的开销问题。

3. 图的划分方式

图的划分主要有边切割（Edge-Cut）和点切割（Vertex-Cut）两种方式。

边切割：每个点的数据只存储在一台机器上，但某些边会被分割，分布在多台机器上。这种方式在迭代计算过程中会带来通讯开销。

点切割：每条边只存储在一台机器上，但某些点可能分割成多部分，分布在多台机器上。这种方式在维护顶点数据的一致性时也会带来通讯开销。

4. 计算模型

针对图计算应用开发者，编程模型可分为以节点、边、子图为中心的模型。而图计算系统开发者则面临同步执行模型和异步执行模型的选择。常见的模型有BSP（Bulk Synchronous Parallel Computing Model）和GAS模型。

BSP模型：由一系列迭代步组成，每个迭代步被称为超步。一个超步通常分为本地计算阶段、全局通信阶段和栅栏同步阶段。

GAS模型：分为Gather、Apply和Scatter三个阶段。

5. Gemini图计算系统介绍

Gemini在工业界具有广泛影响力，其主要技术点包括CSR/CSC、push/pull、master和mirror、稀疏和稠密图处理、通信与计算的协同工作、chunk-based式分区以及NUMA感知的子分区等。

Gemini采用边切割方式，将图数据按照chunk-based的方式分区，并支持Numa结构。对于出边信息，它使用CSR存储，入边信息则使用CSC存储。在迭代计算过程中，对于稀疏图，Gemini采用push方式更新其出边邻居；对于稠密图，则采用pull方式拉取入边邻居的信息。这一系统融合了多种技术，旨在提高大规模图数据处理和分析的效率与准确性。Plato图计算系统与Nebula Graph的集成之旅

当我们谈及图计算，总会涉及到复杂的网络结构、数据的传输和处理。在这个过程中，如果一条边被切割，它的两端顶点分别为master和mirror。mirror作为一个占位符，在图计算过程中扮演着重要的角色。

在pull计算模式下，各个机器上的mirror顶点扮演着信息拉取者的角色，它们会拉取其入边邻居master顶点的信息并进行计算。这一过程在BSP计算模型的框架下进行，通过网络同步给其master顶点。而在push计算过程中，master顶点则主动出击，将其信息同步给它的mirror顶点，再由mirror更新其出边邻居。这种交互方式确保了信息的双向流通，使得图计算更为精准和高效。

进入BSP的通信阶段，每台机器Node_i都与它的下一个机器Node_i+1进行紧密互动，同时还会收到来自Node_i-1的信息。这种即时通讯确保了每台机器都能在第一时间内获取并处理信息。通讯与计算的重叠设计巧妙地隐藏了通信时间，从而大幅提升了整体的效率。想要深入了解这一领域的朋友，不妨参考论文《Gemini: A Computation-Centric Distributed Graph Processing System》，更多细节。

接下来，我们重点聊聊Plato图计算系统及其与Nebula Graph的集成。

3. Plato图计算系统介绍

Plato是腾讯开源的、基于Gemni论文实现的工业级图计算系统。它能在通用的x86集群上运行，如Kuberes集群、Yarn集群等。在文件系统层面，Plato同样表现出强大的兼容性，提供了多种接口支持主流的文件系统，如HDFS、Ceph等。这一系统的优势在于其强大的计算能力和广泛的适应性，能够满足各种复杂的图计算需求。

3.2 与Nebula Graph的集成

在与Nebula Graph集成方面，我们基于Plato进行了二次开发。Nebula Graph作为先进的图形数据库，其高效存储和查询图数据的能力与Plato的图计算能力相结合，将带来革命性的图计算体验。

3.2.1 Nebula Graph作为输入和输出数据源

在集成过程中，我们特别增加了Plato的数据源功能，支持将Nebula Graph直接作为输入和输出数据源。这意味着，用户可以直接从Nebula Graph中读取数据进行图计算，并将计算结果直接写回到Nebula Graph中。这种无缝对接不仅简化了数据处理的流程，还大大提高了数据处理的效率和准确性。

这一集成不仅为图计算领域带来了新的可能性，也为用户带来了更为便捷、高效的计算体验。未来，随着技术的不断进步，我们期待图计算系统能为我们带来更多惊喜。Nebula Graph的存储层为我们提供了针对分区的扫描接口，这一接口如同流畅的音乐，轻易引导我们批量获取顶点和边数据。

以下是两个接口的详细展示：

ScanEdgeIter scanEdgeWithPart(std::string spaceName, int32_t partID, std::string edgeName, std::vector propNames, int64_t limit, int64_t startTime, int64_t endTime, std::string filter, bool onlyLatestVersion, bool enableReadFromFollower)。通过指定空间名、分区ID、边名以及属性名等参数，我们能轻松地获取到所需的边数据。

ScanVertexIter scanVertexWithPart(std::string spaceName, int32_t partId, std::string tagName, std::vector propNames, int64_t limit, int64_t startTime, int64_t endTime, std::string filter, bool onlyLatestVersion, bool enableReadFromFollower)。这个接口则帮助我们扫描特定空间的顶点数据。

在实践中，我们首先获取指定空间的分区分布情况。然后，我们将每个分区的扫描任务精细地分配给Plato集群的各个节点。这些节点如同交响乐团中的乐器，协同工作，将分区扫描任务再分配给运行在该节点的各个线程，以实现数据的并行快速读取。当图计算完成后，计算结果通过Nebula client被并行写入Nebula Graph，如同优美的乐章在舞台上奏响。

现在我们来聊聊分布式ID编码器。Gemini和Plato期望顶点ID从0开始连续递增，但现实世界中，大部分数据的顶点ID并不满足这一要求。特别是Nebula Graph从2.0版本开始，支持使用字符串类型的ID。

在数字化世界中，我们借助哈希技术将原始ID进行打散处理，确保数据在不同的机器上得以妥善分配。想象一下，我们有一个全局的ID映射系统，从0开始，每个ID都是连续递增的。这些ID经过哈希技术的巧妙处理，被分配到各个机器上，每台机器都会存储部分ID映射表。这个过程就像是给数据的身份进行一次“化妆舞会”，确保它们在不同的舞台上都能找到自己的位置。

接下来，我们将边缘数据通过特定的哈希算法，根据它们的起点和终点进行编码。这些数据就像是一封封加密的信件，被发送到对应的机器上进行解码和进一步的处理。经过这一系列的操作，我们得到的数据就可以用于后续的计算了。

当所有的计算任务完成后，我们需要将这些数据重新映射回其原始的业务ID。这个过程同样精彩绝伦，就像是一场精彩的魔术表演，我们巧妙地将处理过的数据变回到其原始的身份。

值得一提的是，我们在Plato的基础上进行了的研发和优化，增加了sssp、apsp、jaard similarity以及三角计数等多种算法。这些算法的增加，使得我们的系统更加强大，能够更好地应对各种复杂的数据处理需求。我们还为这些算法增加了对Nebula Graph数据源的输入输出支持，使得数据的处理和存储更加便捷高效。

文件名记录的算法名称与分类：

一、apsp（All Pairs Shortest Paths）全对最短路径算法，主要用于计算图中所有节点对之间的最短路径。其路径分类属于最短路径问题。

二、sssp（Single Source Shortest Path）单源最短路径算法，用于解决从单一源点到图中所有其他节点的最短路径问题。同样属于最短路径问题的路径分类。

三 接下来是一些关于图的特征和属性的算法：

1. tree_stat：用于计算图的树/宽度等特征信息。这是图论中的一种基础特征分析手段。

2. nstepdegrees：计算节点的n阶度特征，这在社交网络分析或复杂网络研究中具有广泛应用。同样属于图特征分类。

3. hyperanf：用于估算图的平均距离，也是图特征分析的重要部分。

4. triangle_count：计算图中的三角计数，即计算图中三角形的数量，这对于分析图的社交属性或结构属性非常重要。同样属于图特征分类。

四、关于节点中心性的算法：

kcore：用于计算节点的核心性，衡量节点在图中的重要性或影响力。属于节点中心性分类。 类似的还有 pagerank，bnc（Betweenness），c（接近中心性）等节点中心性算法。它们主要用于衡量节点在图中的重要性或影响力，适用于社交网络分析等领域。其中，bnc和c通常用于大型网络的分析和研究，衡量节点在网络中的位置和重要性。pagerank算法则是一种广泛应用于互联网领域的节点重要性评估方法。它们通常被应用于社交网络分析、网络优化等场景，用于揭示网络中节点的角色和重要性程度。 它们的特性各有侧重，但共同的目标都是揭示网络中节点的关键性或影响力。 它们在处理大规模网络数据时表现出良好的性能，并能提供有用的网络结构和节点角色信息。它们常常在推荐系统、网络安全等领域发挥重要作用。通过不同的算法组合使用和分析比较能够更全面准确的挖掘网络的特性和规律。随着复杂网络研究的深入进行会发展出更多功能更强适用性更广的节点重要性评估算法。这些算法对于理解网络结构、优化网络性能以及解决实际问题具有重要意义。 它们在处理大规模复杂网络数据时能够表现出优秀的性能并能够揭示出网络中的重要节点及其影响力大小等重要信息，有助于解决网络分析领域中的各种挑战和问题并推动相关领域的发展进步和创新突破。在深入理解网络结构和功能的基础上它们也可以与其他算法和技术相结合实现更高效的网络分析和问题解决方案提高决策效率和准确性等应用效果并推动相关领域的技术进步和创新发展等目标实现做出重要贡献和影响意义深远且重大具有广阔的发展前景和应用价值。此外在算法优化方面可以不断研究和改进节点重要性评估算法的效率和准确性提高其在处理大规模复杂网络数据时的性能和稳定性为相关领域的发展提供更好的技术支持和创新解决方案推动科技进步和社会发展进步做出重要贡献和意义深远而重要的影响力和价值贡献的推动意义十分重大而深远并且具有重要的应用价值和发展前景潜力巨大并且对于社会的发展和进步具有重大的推动作用和贡献价值深远而重要且具有广泛的应用前景和发展潜力值得进一步深入研究和发现新的理论和方法为相关领域的发展进步提供有力的支持和服务创新突破等方面具有巨大的潜力和发展空间广阔且具有巨大的价值贡献和推动意义深远而重要且具有广泛的应用前景和发展潜力值得进一步深入研究和发现新的理论和技术创新突破等方面具有巨大的潜力和发展空间广阔且具有重大的社会价值和意义深远而重要且具有广泛的应用前景和发展潜力广阔值得进一步深入研究和发现新的理论和方法并推动相关领域的技术进步和社会进步做出重要的贡献和价值影响深远而重大具有广阔的发展空间和应用前景并带来重大的社会价值和贡献和价值深远而重大具有重要的推动意义和价值贡献和推动力并带来重要的社会价值和贡献和价值潜力巨大并值得进一步深入研究和推广应用其价值影响深远而重大并具有广阔的发展空间和广阔的发展前景及广阔的应用场景潜力巨大并且发展前景广阔应用广泛价值巨大并将不断推动科技进步和社会发展进步等目标的实现具有重要意义和潜力价值以及深远的社会影响和推动意义等。针对图数据的分析和挖掘将带来更加丰富的应用场景和解决方案推动相关领域的发展和进步具有重大的社会价值和意义深远而重要且具有广阔的应用前景和发展空间值得进一步深入研究和发现新的理论和方法并推动相关领域的技术创新和发展进步等目标的实现具有重要的推动作用和价值贡献以及深远的社会影响和推动意义等。针对图数据的分析和挖掘将继续发挥重要作用为解决现实世界中的各种问题提供有力的支持和服务创新突破等方面具有巨大的潜力和发展空间广阔并具有巨大的社会价值和经济价值值得进一步推广应用和深入发现新的理论和方法并推动相关领域的技术进步和社会进步做出更大的贡献和价值影响深远而重大且具有广阔的应用场景和广阔的发展空间并带来重要的社会价值和经济效益以及深远的影响力和推动力等目标实现具有重要的推动作用和价值贡献以及深远的社会影响力和推动力等目标实现具有广阔的发展前景和巨大的社会价值和经济价值等目标实现具有重大的推动作用和价值贡献等目标实现将不断推动科技进步和社会发展进步等目标的达成并带来深远的影响力和推动力等目标实现将不断推动相关领域的创新和发展进步并带来重要的社会价值和经济效益以及广阔的发展空间等目标实现将不断推动图数据处理和分析技术的创新和发展为社会的科技进步和发展进步做出重要贡献和价值影响深远而重大具有重大的社会价值和经济价值的推动力目标实现具有重要的推动作用和价值贡献将不断推进MPI集群内的PageRank算法运行之旅：从脚本到配置文件的

===============================

随着大数据和云计算技术的飞速发展，分布式计算框架如MPI（Message Passing Interface）的应用越来越广泛。MPI集群能够在局域网内提供高性能的并行计算服务，尤其对于复杂的计算任务如PageRank算法等，具有显著的优势。将深入如何在MPI集群内运行PageRank算法，并详细其脚本及配置文件。

一、脚本概览

在开始之前，请确保你已经访问了：< 来获取操作方法。重点关注脚本 `scripts/run_pagerank_local.sh`，该脚本在本地MPI集群上运行PageRank算法。让我们逐行这个脚本的内容。

二、参数详解

脚本参数说明：

`PROJECT`：定义项目路径。

`MAIN`：指定PageRank算法的主要执行程序。

`WNUM`：集群所有机器运行的进程总数。

`WCORES`：每个进程的线程数。

输入输出参数（INPUT和OUTPUT）：

这些参数指定了算法的输入数据源和输出数据源。目前支持本地CSV文件、HDFS文件以及Nebula Graph。当使用Nebula Graph作为IO时，格式如 "nebula:/path/to/nebulanf"。

其他参数详解：

`IS_DIRECTED`：决定是否让Plato自动添加反向边。

`NEED_ENCODE`：是否需要编码。

`VTYPE`：节点类型的编码方式。

`ALPHA`：特定于PageRank算法的参数（在此脚本中未使用）。

`PART_BY_IN`：是否按照输入进行分割（在此脚本中未使用）。

`EPS`、`DAMPING`和`ITERATIONS`：这些都是PageRank算法的关键参数。

`MPIRUN_CMD`：指定MPI运行命令的路径。

`PARAMS`：包含所有传递给主程序的参数。

三、环境配置

脚本中还包括一些环境配置部分，如设置JAVA和HADOOP的环境变量，以及为Hadoop设置CLASSPATH和LD_LIBRARY_PATH。这些步骤确保了脚本能够在正确的环境中运行，充分利用已有的分布式计算资源。

四、执行脚本

配置完成后，通过运行脚本启动PageRank算法。这涉及到使用MPI命令指定进程数和其他参数，然后执行主程序。这个过程会在集群上并行执行PageRank算法，充分利用集群的计算能力。

五、总结与展望

-

从Nebula读取数据

在连接Nebula Graph时，为了确保数据的顺利传输，我们设置了重试机制，最多重试两次。你将要操作的space命名为“sf30”，这是你的数据存放之所。

1. metad服务地址: 通过`192.168.8.94:9559`连接到Nebula Graph的metad服务。这是你的数据中心的门户。

2. 边的选择: 你将操作名为“LIKES”的边，这是社交网络中常见的互动标识。

3. 数据属性: 若需要进一步指定边的权重属性，你可以使用`--edge_data_field`参数来指定。

4. 批量读取: 为了提高效率，每次扫描时都会设置一个batch大小，这里是`--read_batch_size=10000`。

向Nebula写入数据

写入操作涉及到更多的细节，因为你需要指定如何与graphd服务交互。以下是关键步骤：

1. graphd服务地址: 通过`192.168.8.94:9669`连接到Nebula Graph的graphd服务。这是你与数据库交互的主要接口。

2. 身份验证: 使用`--user=root`和`--password=nebula`进行登录验证，确保只有授权用户才能写入数据。

4. 标签与属性: 你将写入的tag为“pagerank”，对应的属性名称为“pr”，并且这个属性的类型是“double”。

5. 批量写回: 为了提高效率，设置一个合理的写回batch大小`--write_batch_size=1000`。

6. 错误处理: 任何写回失败的数据都会被记录到`/home/plato/err.txt`文件中，方便后续检查和处理。

关于集群与Plato

在使用Plato时，你需要指定算法运行的集群机器IP地址。你的集群文件包含了以下IP：`192.168.15.3`, `192.168.15.5`, `192.168.15.6`。这些是你数据处理中心的核心节点。

注意: 以上功能目前仅集成在Nebula Graph的企业版中。如果你使用的是开源版本的Nebula Graph，需要根据自己的需求自行对接Plato。如果你想交流图数据库技术或想加入Nebula交流群，请填写你的Nebula名片，Nebula小助手会及时邀请你进群交流。这是一个与同行共享知识、解决问题的绝佳平台。