1-概论

从社会的角度去分析和理解个人的行为。

“人的本质并不是单个人所固有的抽象物。在 其现实性上,它是一切社会关系的总和”——马克思《关于费尔巴哈的提纲》

“社会不是由个人构成,而是表示这些个人彼 此发生的那些联系和关系的总和”—— 《马克思恩格斯全集》V.46, P.220, 人民出版社, 1979年

相关应用

  • 精准营销:用户画像、个性化推荐、社会化营销
  • 舆情管理:危机预警、观点挖掘、情感分析
  • 分析预测:市场研判、新闻热点预测、用户行为画像与预测
  • 刑侦反恐:潜在关系挖掘、犯罪社团挖掘

用的教材主要是《社会媒体挖掘》一书,英文版 PDF 和 Slides 见 http://dmml.asu.edu/smm/

主要内容包括

  • 图论基础
  • 网络度量:网络权威/中心用户查找
  • 网络挖掘:小世界现象
  • 数据挖掘:社区(团)挖掘
  • 社交网络的信息传播:影响力最大化、热门话题预测
  • 影响力和同质性
  • 用户行为分析:网络学、社会学、经济学、博弈论
  • 推荐系统

参考书目

• 《社会媒体挖掘》,Reza Zafarani等

• 《网络、群体与市场》,⼤卫·伊斯科,乔恩·克莱因伯格

• 《Pajek蜘蛛: 社会网络分析技术》,沃特·德·诺伊等

• 《社会网络分析:⽅法与应⽤》,沃瑟曼等

• 《在线社交网络分析》,⽅滨兴等

• 《社会网络分析法》,约翰·斯科特

• 《社交网站的数据挖掘与分析》,Russell

• 《Web数据挖掘》,Bing Liu

社交网络概述

由英国⽜津⼤学的⼈类学家罗宾·邓巴(Robin Dunbar)于2009年 提出:根据猿猴的智⼒与社交⺴⽹网络推断出:⼈类智⼒将允许⼈类拥有 稳定社交⺴⽹网络的⼈数是148⼈,四舍五⼊⼤约是150⼈。因此,150⼜ 称邓巴数字

该定律指出:⼈的⼤脑新⽪层⼤⼩有限,提供的认知能⼒只能使⼀个 ⼈维持与⼤约150个⼈的稳定⼈际关系,这⼀数字是⼈们拥有的、与 ⾃⼰有私⼈关系的朋友数。也就是说,⼈们可能拥有150名好友,甚 ⾄更多社交⺴⽹网站的“好友”,但只维持好与现实⽣活中⼤约150个⼈ 的“内部圈⼦”。⽽“内部圈⼦”好友在此理论中指⼀年⾄少联系⼀ 次的⼈。

社会网络分析

为理解⼈类各种社交关系的形成、⾏为特点以及信息传播 的规律,采⽤相关的分析⽅法,涉及信息学、数学、社会 学、管理学、⼼理学等多学科的融合理论和⽅法

社会网络分析⽅法基于⼀个直觉性观念,即⾏动者嵌⼊在 其中的社会关系的模式对于他们的⾏动结果有重要的影响, 社会网络分析者则⼒求揭⽰不同类别的模式

社会网络分析的特点包括

  • 源⾃于联系社会⾏动者关系基础之上的结构性思想

  • 以系统的经验数据为基础

  • ⾮常重视关系图形的绘制

  • 依赖于数学或计算模型的使⽤

社会计算

2009年2⽉,美国哈佛⼤学⼤卫·拉泽(David Lazer)等15位美国学者 在《Science》上联合发表了⼀篇具有⾥程碑意义的⽂章 《Computational Social Science》

社会计算(Social Computing),⼜称计算社会学(Computational Social Science)。 ⼀般指社会⾏为和计算系统交叉融合⽽成的⼀个研究领域,研究如何利⽤计算 系统帮助⼈们进⾏沟通与协作,如何利⽤计算技术研究社会运⾏的规律与发展 趋势。

社会计算的研究目标

1)在深⼊理解当前社会问题动态性、快速性、开放性、 交互性、数据海量性和复杂性的基础上,为解决新兴社会 问题建⽴统⼀的社会科学基础模型和理论框架

2)社会科学基础模型和理论“计算化”或建⽴其到计算 技术的映射机制,研究与社会相关应⽤中的建模与计算⽅ 法,⾃下⽽上地为解决新兴社会问题提供整套理论和技术 ⽀撑;

3)深化学科交叉研究,为⺴⽹网络化社会背景下的社会科学 研究提供实验⽅法;同时,以新兴问题促进相关研究领域 内涵和内容的延拓,推动基础理论和⽅法的创新和突破。

而社交网络挖掘是社会计算的研究内容的一部分。

社交网络挖掘

Social Media Mining is the process of representing, analyzing, and extracting meaningful patterns from social media data

社交网络挖掘的挑战:

  • 大数据悖论

    • 个体数据是往往是稀疏的,因此才需要汇聚群体/整体的⼤大数据
      • 举例:社会推荐中的冷启动问题
    • 个体⾏行为模式不能简单等同于整体,因此不能是个体的简单相加来代表整体,也不能整体的简单拆分来刻画个体
  • 数据采集与获取:爬虫、API等需要掌握的重要技术⼿手段

  • 数据清理与噪⾳音消除

    • ⼤大数据可以允许个体数据的错误,但不等于不需要数据清理
    • 消除噪⾳音个体trade-off 个体数据价值挖掘
  • 性能/作⽤用评价

    • ground truth(事实/标准答案)如何获取?
    • 没有客观标准答案的如何评价?
    • 数据挖掘出来的模式/结果能否解答“为什么”?

数据分析/挖掘的结果往往能较好地解释 what/where/when/how many/how often 但较难回答why

我们面对的是社会学的问题,我们⽤用交叉的思想去寻找解决方案,并利⽤数学和信息学的手段来解决它

2-图论基础

图是网络结构的数学模型

网络问题一般可以转化成一个图论的问题

  • 微博信息传播网络:Given a piece of information, a network of individuals, and the cost to propagate information among any connected pair, find the minimum cost to disseminate the information to all individuals.
  • 科尼斯堡问题:奇点的数目不是0个(起点即终点)就是2个(一个是起点,一个是终点)
  • 欧拉环路:途经每条边恰好 一次,起点=终点
  • 哈密顿回路(点之间只能遍历一次
  • 四色猜想/问题(拓扑学topology 原意“地质学”)

图的基本结构

  • 结点/节点 vertex/node:用户 user/actor、组织、网络、各类资源item/resource(商品、电影、音乐、论文)
  • 边 edge:有向图,入度邻居 Nin,出度邻居 Nout
    • 边的重数:具有相同始点和终点的边称为平⾏边,平⾏边的条数称为 边的重数
  • 度 degree
    • 度数为1的结点是悬挂结点,其关联的边是悬挂边
    • 度数为0的结点是孤⽴点
    • 度分布
  • 图的密度:实际边数与理论上最⼤的边数之⽐
    • 对无向图,\({L\over n(n-1)/2}\)
    • 有向图,没有系数 2

一些简单的结论

  1. 无向图中,所有节点的度数之和是其图中边数的两倍
  2. 无向图中,度数为奇数的节点有偶数个
  3. 有向图中,所有节点的入度和等于出度和

图的表示

图的同构 graph isomorphism

  • 如果图 G 中的结点集 V 与图 G’ 中的结点集 V’ 具有一一对应的关系,并且对应的边都具有相同的重数,则称 G 与 G’ 同构,记作 \(G\cong G'\)
  • 因此,两图同构必须满足下列关系:节点数、边数相同、度数相同的节点相同。(必要非充分)
  • 判断:双射函数

图的类型

  • 零图 null graph:没有节点没有边

  • 空图 empty graph:边集空,节点集可以非空——零图是空图

  • 完全图 complete graph:任何节点之间有边

  • 无向/有向/混合图

  • 补图:由图G中的所有结点和构成完全图需添加的边所组成的图称为G的补 图,记作 \(\bar G\)

  • 简单图:两节点间最多一条边

  • 多重图 multigraph:可以多条边

  • 带权图/赋权图

  • 标号图:权重用+/-或0/1等二元表示

  • 树与森林:

    • 树是特殊的⽆无向图,没有回路
    • 树的任意两点之间恰好有⼀一条路径
    • 森林由多个互不相连的树组成
  • 生成树 spanning tree

    • 包含图中所有结点的树型子图
    • 带权图中,权重最小的生成树为最小生成树(也可能多个)
  • 斯坦纳树 steiner tree

    • 对于带权图的一个结点子集 V’,包含这个子集中所有结点且权重之和最小的子树即斯坦纳树
    • 与最小生成树的区别在于,由于关注的一个图的子集,也就意味着在所给定的节点之外利用额外的节点以减少网络的代价
  • 正则图:所有结点的度数相同,k-正则图

  • 二分图/二部图 bipartite graph

    • 所有的结点分为两个集合,每条边的两个端点分别在这两个集合中,即同一集合的结点间没有边相连
    • An affiliation network is a bipartite graph. If an individual is associated with an affiliation, an edge connects the corresponding nodes.
    • 例如这样的隶属关系网络,还比如,推荐算法:找出连个兴趣相似的人,以购买的书的数量决定,在图中表现为(用户间)通路数量
  • 多分图多部图 multipartite graph

    用户-标签-电影(三类结点)

图的连通性

  • 相邻节点 adjacent
    • 一条边联结的两个点
  • 相邻边 incident
    • 无向图:具有相同端点
    • 有向图:一条边终止结点必须是另一条便的开始结点,即两条边方向一致
  • 路径 path
    • 依次遍历相邻边产⽣的结点序列称为路径
    • 简单路径 path:不包含重复节点(所以也没有重复边)的路径称之为简单路径(本课程重点)
    • 起点和终点相同,但其他结点都不重复,且至少包含三条边的路径称之为回路/圈(cycle),即闭合 path
  • 通路 walk: sequence of incident edges visited one after another
    • 依次遍历相邻边产生的边序列称之为通路
    • 开通路 open walk:起始结点不同于终止结点
    • 闭通路 closed walk:起始结点和终止结点是同⼀个结点(圈)
    • 通路长度 length of walk:通路中遍历的边数量
    • 简单通路 trail:每条边只遍历一次的通路
    • 环路 tour/circuit:闭合简单通路

哈密顿回路 Hamiltonian Cycle:遍历了图中所有结点的回路

欧拉环路 Eulerian Tour:图中所有边均只被遍历⼀次,Konigsberg bridges

  • 连通性
    • 图中任意两个结点间存在一条路径,则为连通图
    • 有向图中,图中任何两个结点都有路径(不考虑沿边的方向前进),则为弱连通图
    • 有向图中,考虑沿着边的方向前进,图中任何两个结点存在有向路径,则为强连通图
  • 连通分支
    • 若子图中任意两个结点间存在一条路径,则该子图为连通分支(连通分量)
    • 有向图中,连通分支内任何两个结点u, v,无论是 u 到 v 还是 v 到 u,都存在有向路径连通,则为强连通分支
  • 最短路径
    • 连通图中任何两个结点之间长度最短的路径为最短路径,其长度为该两个结点间的最短距离
    • 图中所有结点对的最短路径平均值为图的平均路径长度,或称之为特征路径长度
    • 结点 v 的 n 阶邻居(n-hop neighbor)是指所有到 v 的最短路径不大于 n 的结点
  • 直径
    • 图中任何两个结点之间最短路径的最大值为图的直径(社交,聚拢程度)
    • 直径只定义在连通图中
    • 移除某条边会导致图中连通分支增加,这样的边为桥
    • 桥是超大连通分⽀形成的关键

图算法

  • 随机游走:带权图上的
  • 图/树遍历 Traversal:BFS、DFS
  • 最短路径:Dijkstra 算法,针对非负带权图,建立一个优先队列
  • 最小生成树:Prim 算法,从一个初始节点,每次在边缘中找最小的那条边
  • 网络流算法:给定一个图 \(G(V,E,C)\) 其中 C 是每条边的容量 capacity,有向,要求从 \(s\)\(t\) 的最大流,注意其需要满足,1. 网络上的流是有方向限制的;2. 对于每个节点的流量守恒。
    • Ford-Fulkerson 算法
    • 基本思想:寻找⼀条从源点到汇点的路径,使路径中的所有 边都有未使⽤的容量,使⽤该容量(路径上所有边中未使⽤ 的最⼩容量)去增加流,不断迭代直⾄没有其他路径可⽤。
    • 核心就是定义一个残流网络:对于某一条边 \((u,v)\) 来说,若是还有剩余容量则画出 \((u,v)\) 边和剩余流量;若是有流经过此边则画反向的边 \((v,u)\) 权重是流过这条边的流量;注意后者是关键,对于正向流入此边的流来说,若是其他边满足条件,可以产生相反的流从而得到增量。
  • 二分图的最大匹配
    • ⽤⼆分图 G 表⽰⽤户和商品,以及他们之间的兴趣关系
    • 匹配M是 G 中边集合 E 的⼀个⼦集, 使得 G 中每个结点⾄多出现在 M 的⼀条边上(即每个⽤户⾄多买⼀个 商品/每个商品⾄多卖给⼀个⽤户)
    • 何以在二分图的前后分别加 \(s,t\) 利用最大流算法解决。

3-网络度量

我们需要从网络中找出核心的节点。

 中心性度量

  • Degree centrality: ranks nodes with more connections higher in terms of centrality

    • 有向图中,可以用

    \(C_d(v_i)=d_i^{in}\) , prestige

    \(C_d(v_i)=d_i^{out}\) , gregariousness

    • Normalized Degree Centrality:可以用理论最大度/图中最大度/图中度之和进行归一化
  • 特征向量中心性

    • Eigenvector centrality generalizes degree centrality by incorporating the importance of the neighbors (undirected) 朋友多不一定重要,要有重要的朋友才是关键

    • 计算公式 \[ C_e(v_i)={1\over \lambda}\sum_{j=1}^nA_{j,i}C_e(v_j)\\ \lambda C_e=A'C_e \] 其中 A 为邻接矩阵,于是就变成了求特征向量的问题,其中 \(\lambda\) 为对应的特征值

    每个节点的中心性应该都为正,而根据 Perron-Frobenius 定理,可以通过求 A 的最大特征值对应的特征向量得到

  • Katz Centrality

    • 注意到上面的 Theo 中似乎要求是在连通图的情况下,所以特征向量中心性一般在无向图中较为稳定;而在有向图中,中心性将从有向边中流出,在一定情况下,例如图是 acyclic 的,则可能出现某一个节点有很多入边但是中心性为零的情况

    • 在此基础上加了偏置项 \(\beta\) \[ C_{Kate}(v_i)=\alpha\sum_{j}A_{j,i}C_{Kate}(v_j)+\beta\\ C_{Kate}=\alpha A'C_{Kate}+\beta\mathbf 1\\ C_{Kate}=\beta(\mathbf I-\alpha A')^{-1}\mathbf1 \] 其中第一行加了偏置项;整体写成第二行的形式;解析解是第三行的样子,注意到涉及到矩阵求逆,而我们知道当选取 \(\alpha={1\over\lambda}\)\(det(I-\alpha A')=0\) ,会出现问题,所以一般会取一个小一点的数值。

  • PageRank 中心性

    • 想法是「权威的出边并不一定是权威」,因此对传递的权重进行衰减,于是有 \[ C_p(v_i)=\alpha\sum_{j}A_{j,i}{C_p(v_j)\over d_j}+\beta\\ C_p=\alpha A'D^{-1}C_p+\beta 1\\ C_p=\beta(I-\alpha A'D^{-1})^{-1}1 \]

    • 类似的,若 \(\lambda\)\(A'D^{-1}\) 的最大特征值,我们要求 \(\alpha<{1\over\lambda}\)

    • 当然,这和我们熟悉的 PageRank 公式不太一样,差别只是两个权重的形式,我们可以从随机浏览的角度来理解。

  • Betweenness Centrality 中间/中介中心性

    • 从一个节点在网络上连接其他节点意义上的重要性 \[ C_b(v_i)=\sum_{s\ne t\ne v_i}{\sigma_{st}(v_i)\over\sigma_{st}} \] 其中分母是从 \(s\)\(t\) 的最优最短路径,分子是这些路径中经过 \(v_i\) 的数量;这样定义的中心性可能对大于 1,因此需要进行归一化操作,最好情况下,对于所有的 \(s\)\(t\) 来说分式均为 1,于是极大值为 \(2\binom{n-1}{2}=(n-1)(n-2)\) 除掉即可 \[ C_b^{norm}(v_i)={C_b(v_i)\over 2\binom{n-1}{2}} \]
  • Closeness Centrality 接近中心性

    • 想法是你距离其他节点有多远

    • 因此,考虑公式 \[ C_c(i)=1/({1\over n-1}\sum_{j\ne i}l_{i,j}) \] 其中 \(l_{i,j}\) 为 i 到 j 的最短路径长度

    • 接近中心性高的节点往往是社交网络信息传播的关键人物

群体中心性

基于上面的对于单个节点的中心性讨论,可以将这些概念拓展到一组结点的中心性度量

传递性与相互性 Transitivity and Reciprocity

传递性

传递性和相互性用于表示社交网络总个体间的连接行为

其中,传递性的思想是:若 BC 两人拥有一个共同的朋友 A,则 BC 之间未来成为朋友的可能性也会提高,即,我朋友的朋友也是我的朋友(考虑现实场景下的情况,可以联系到社会学、经济学的各种理论)。从网络结构的角度来看,就是容易形成紧密连接的三角形,三元闭包

三元闭包的数量体现了图的传递性强弱,通常用 聚类/聚集系数 cluster coefficient 来表示传递性。

以下定义 Global Cluster Coefficient: Count paths of length two and check whether the

third edge exists \[ C={|Closed\ Paths\ of \ Length\ 2|\over |Paths\ of\ Length\ 2|}, or\\ C={(Number\ of\ Triangles)\times6\over |Paths\ of\ Length\ 2|} \] 这里关注的是 path,因此计算起来是有方向的,更为简单的计算方法是根据 三元组 Triple,即关注一组结点,没有方向,一个三角形中包含三个不同的 Triple \[ C={(Number\ of\ Triangles)\times3\over Number\ of\ Connected\ Triples\ of\ Nodes} \] 基于上面的思想,还可以定义 Local Clustering Coefficient: Computes how strongly neighbors of a node 𝑣 (nodes adjacent to 𝑣 ) are themselves connected

\[ C(v_i)={Number\ of\ Pairs\ of\ Nerghbors\ of\ v_i\ That\ Are\ Connected\over Number\ of\ Pairs\ of\ Neighbors\ of\ v_i} \]

相互性

相互性是传递性在 有向图 中的简化表示。例如,在微博上好友之间的相互关注,即,如果你是我的朋友,那么我也是你的朋友。

结构平衡与社会地位 Balance and Status

结构平衡

结构平衡理论由 Cartwright 和 Harary(1956) 在 Heider(1946) 提出的平衡理论基础上形成的;该理论认为,由于不平衡的三角关系是心理压力和心理失调的原因,人们在人际关系总试图让他们尽量少地出现,因此在显示社交网络中,不平衡三角关系要比平衡三角关系少。

社会地位

Status: how prestigious an individual is ranked within a society

既然社会地位是一个 rank,其满足不等关系的传递性。例如下面的左图即不符合社会地位理论,而右图则是符合的;另外,需要注意到,虽然这里都用符号图来进行表示,但要注意 Status 图和 Balance 图之间没有什么关系。

相似性 Similarity

网络节点相似性的度量有着重要的意义,

  • 可以判定/预测结点间关联的重要程度
    • 进行用户行为预测(第 9 章):电影票房/产品市场预测、精准营销、个性化推荐
    • 用户类别判定:垃圾用户识别、潜在用户预测、用户影响力估计

Structural Equivalence

在结构等价性中,We look at the neighborhood shared by two nodes; The size of this shared neighborhood defines how similar two nodes are.

下面的几个指标直接利用了节点 i 和 j 之间的共同邻居,并用不同的方式进行了归一化处理

还有另外的出发点:我们计算两点之间的共同邻居的数量,与其在随机连接下的期望值之间的差距。图中共有 \(d_j\) 的节点为 j 的邻居,而对于任一个结点,其与 i 的邻居的概率为 \(d_i\over n\) ,于是两者的共同邻居的期望值为 \({d_id_j\over n}\) ;而实际 i 与 j 的邻居数为 \(|N(v_i)\cap N(v_j)|=\sum_kA_{i,k}A_{j,k}\) ,于是

可以看到将 i 和 j 的连接关系表示向量看成随机变量的形式,则上面的差值可以写成两个随机变量 Covariance 的形式,进一步作归一化处理,得到 Pearson correlation coefficient

Regular Equivalence

在规则等价性中,我们不再关注两节点的共同邻居数量,而关注的是 How neighborhoods themselves are similar。其显示的考量是,例如两个运动员之间可能并不认识,但事实上其存在着很高的相似性(社交圈子,相似的教练、队友、经理人、球迷),这可以体现在社会网络上。

其代表性的度量模型为 SimRank,基于邻居节点之间的相似度来递归定义两个节点的相似度;基于递归度量的代价比较高,可以做适当放宽。

然后我们设法将其写成矩阵形式。这里的想法很巧妙,将求两个节点的邻居之间相似度的计算转化为了节点 j 和节点 i 的邻居之间的相似度(这样的转换是否会有一定误差?),然后就可以写成下面的矩阵形式;进一步基于相似性的意义加上一个 Identity matrix,从而得到最终的表达式。

和之前在 Katz 中心性时的讨论一样,我们一般假定选取的 \(\alpha\) 要小于 A 的最大特征值的倒数,从而使得该矩阵可逆。

其他度量方式

课上还介绍了其他的一些度量方式,例如

  • 基于结点间路径
    • Katz 度量:参考路径长度,相似度与路径长度成反比
    • Hitting/Commute Time:考虑一个节点随机游走到另一个节点的概率
    • Rooted PageRank/Personalized PageRank
  • 基于图/网络嵌入的向量表示

4-网络模型 Network Models

网络属性 Properties of Real-World Networks

这些介绍一些能在不同的网络中使用一致方法来计算的属性,包括

  • 度分布

  • 聚类系数:衡量网络的 传递性

  • 平均路径长度:衡量节点之间信息传播路径的长度 可达性

度分布

来看一些现实生活中的客观现象

更为常见的表述的 帕累托法则(二八定律);更为精确的描述则是 Power-Law Degree Distribution 幂律分布 ;注意到这里归一化成了概率分布的形式,因此也称之为 Zipf 分布,来源于一个语言学家对于词汇使用频率的发现。

PPT 中介绍了 Zipf 分布的一些性质,在此略过。

补充:符合 Zipf 分布是 无标度网络 (scale-free network)的重要特征,即少数重要节点连接了很多的节点。在无标度网络中,数据存在着明显的 长尾现象

聚类系数 Clustering Coefficient

平均路径长度 Average Path Length

随机图模型 Random Graphs

即图中任意两点之间的边的产生是随机的。

具体又可分为两类

  • \(G(n,p)\) 模型,假设网络中有 n 个节点,对于所有可能的 \(\binom{n}{2}\) 边中,每一条边产生概率为 p
  • \(G(n,m)\) 模型,固定图的边数为 m 从所有可能的边中随机选取 m 条

下面主要研究第一种情况,事实上当图较大的时候,我们可以选取 \(p={m\over \binom{n}{2}}\) ,两者是类似的。

我们可以证明以下的一些性质

  • 在模型 \(G(n,p)\) 中,连接到一个节点的边的期望数为 \((n-1)p\)
  • 整张图的期望边数为 \(\binom{n}{2}p\)
  • 观察到 m 条边的概率为 \(P(|E|=m)=\binom{\binom{n}{2}}{m}p^m(1-p)^{\binom{n}{2}-m}\)

在随机图的演化过程中,有一个有趣的现象:当随机图的节点平均度数 \(c=1\) 时,会有大部分的结点被连接在一起,出现 大连通分支 giant component,这时候的图直径很大,平均路径长度较长。

称之为 相变点 Phase Transition: the point where diameter value starts to shrink in a random graph

度分布

对于一个随机图来说,其每一个节点的度数的分布显示服从二项分布 \(Binom(p, n-1)\) ;当 n 很大的时候,可以近似为泊松分布 \(Poisson(c), c=p(n-1)\)

因此,随机图的度分布满足平均值为 c 的泊松分布,有明显的 尺度特征,其产生的网络 不是无标度网络

另外,基于近似的泊松分布,PPT 中给出了「第二相变点」,即 When the graph is connected there are no nodes with degree 0 ,这里的假定是 \(P(d_v=0)=e^{-c}\le {1\over n}\) ,则据此计算得到的 \(c=\ln n, p={1\over n-1}\ln n\)

聚类系数

  • 对于随机图来说,每个结点的聚类系数为 p。

可以通过条件期望公式来说明:假定其中一个节点的度数为 d,则去聚类系数为 \[ E(C(v)|d_v=d)={number\ of\ connected\ pairs\ of\ v's\ neighbors\over number\ of\ pairs\ of\ v's\ neighbors}={p\binom{d}{2}\over \binom{d}{2}}=p \] 利用条件期望公式 \[ E(C(v))=E(E(C(v)|d_v))=\sum_{d=0}^{n-1}E(C(v)|d_v=d)P(d_v=d)=p\sum_{d=0}^{n-1}P(d_v=d)=p \]

  • 类似的,随机图的全局聚类系数也为 p

平均路径长度

  • 在随机图中,平均路径长度为 \(l\approx {\ln|V|\over \ln c}\)

随机图模拟现实网络的能力

  • 度分布并不遵从幂律分布
  • 聚类系数远低于真实网络
  • 只有平均路径长度接近真实网络

小世界模型 Small-World Model

也叫做 Watts-Strogatz (WS) model,由此二人在 1998 的 Nature 上提出来

模型的想法起源于 规则网/规则格 ,每一个节点连接其相邻的 c 个邻居。

规则网具有 较长的平均路径长度和较大的聚类系数(均要高于真实网络)

  • 规则网中任一结点的邻居节点之间连接数量为 \({3\over8} c(c-2)\) (分为左右两种情况)

  • 因此,其聚类系数为 \({3(c-2)\over 4(c-1)}\approx {3\over4}\)

  • 规则网的平均路径长度为 \(n\over 2c\)

对规则网采用 边重连 的方法,可以让规则网逐渐过渡到随机网络。即对规则网中每一条边以概率 p 重新连接(固定其中一个端点)。若 p=0 则为完全规则网络;若 p=1 则为完全随机网络。

我们关心的是,如何选择合适的 p,使得重连后的网络能够近似真实世界的网络性质。下图绘制了聚类系数和平均路径长度在不同 p 值情况下的变化

可以看到 L 的下降比较快,我们可以选择合适的区间作为「小世界」模型,使得即能保证 L 比较小,又能维持较大的聚类系数

优先链接模型 Preferential Attachment Model

Proposed by Albert-László Barabási and Réka Albert,因此也叫 BA 模型;其想法类似于经济学的 马太效应:新加入网络的节点倾向于链接网络中度数比较高的节点。其可以较好地反映现实网络中的度分布(幂律分布)。新节点连接已有网络中任一节点的概率为 \(d_j\over \sum_kd_k\) 。该模型有以下性质

  • 度分布:\(P(d)={2m^2\over d^3}\)
  • 聚类系数:\(C={m_0-1\over8}{(\ln t)^2\over t}\)
  • 平均路径长度:\(l\sim {\ln|V|\over\ln(\ln|V|)}\)

PA 模型的构建详见相关材料,其中 m 为期望度数。

马太效应

下面简单介绍了马太效应。1968 年 Robert K. Merton 提出这一效应来概括一种社会心理现象:「相对于那些不知名的研究者,声名显赫的科学家通常得到更多的声望,即使他们的成就是相似的,同样地,在一个项目上,声誉通常给予那些已经出名的而研究者。」

名字起源于新约圣经「马太福音」第二十五章:「凡有的,还要加给他叫他多余;没有的,连他所有的也要夺过来。」

流行度的上升,在初始阶段是比较脆弱的;一旦一开始就被充分肯定,在富者越富 the Rich-Get-Richer Effects 的推动下,其流行度可能变得更高。

详见论文。