关注蓝字设为星，优先阅读数据审计：问题导向，应用导向，解决痛点。 内容指南 俗话说“物以类聚”，社区发现可以在庞大的关系网中找出“小团伙”。重要声明 是时候分享一下数据风控技术了。代码很业余，专业人士请忽略！ 本文所有信息和数据均为虚拟，仅说明基于数据的风控思路和流程，不代表真实交易情况。 所有数据都是使用Python的faker库生成的，并不是真实数据，已经根据分析需要进行了调整。 面临的问题 看了社会网络分析的相关文章(如《Python应用 | 利用社交网络分析（SNA）挖出“围标”线索》)，学习了复杂网络分析的相关技术和工具后，总有想一试身手的想法。 带着期待清理了一年的交易数据，用python或者Gephi工具画了关系图，却发现太密了，无从下手。比如下图。 (来源：非商业侵权删除) 在实际业务中，对于银行等交易量较大的机构来说，一段时间的交易关系只会比这个数字更加密集。 看，说明了关系，但我还是不知道怎么开始。 俗话说“物以类聚”，社交网络很复杂，但总有基于日常交往、共同爱好、相似空间的群体和帮派。 比如一个庞大的洗钱网络，从控制账户、吸收客户、转移资金等。参与的节点将形成一个大的网络。但是，这个网络中控制账户和转移资金的集团仍然有一定的集群分布，集团内关系密切，集团间关系较弱。 面对一个庞大的关系网络，找出这些群体，对于了解网络的结构、功能特征和演化过程，推测具体节点的性质，都是非常有帮助的。 也有利于在有限的资源配置下，尽快把握检查重点，精准指导，提高数据分析检查效率。 社区检测(社区检测) 从复杂网络的角度来看，看似复杂的网络是由相互独立又相互交织的社区组成的，同一社区内的节点联系紧密，而社区间的联系则是稀疏的。 社区检测(Community detection)又称社区检测，是一种用于揭示网络聚集行为的技术。 发现的社区都属于同一个复杂网络。社区中的节点是紧密相关的，并且社区通过弱链接来连接。 通过社区检测，可以在庞大的关系网中找出“小团伙”。在商业实践中，这些“小团伙”可以作为一个整体来分析和研究。 如下图所示，整个网络是一个复杂的网络，涉及很多节点和关系。但是通过社区发现可以看出，网络是由五个相对独立的社区组成的(图中不同的社区用不同的颜色区分)。 (来源：github侵删非商业用途) 社区发现的技术 常见的社区发现方法如下： 基于图的分割方法，如Kernighan-Lin算法、频谱二分法等。基于层次聚类的方法，如GN算法、Newman快速算法等。模块化优化方法，如贪婪算法、模拟退火算法、Memetic算法、PSO算法、进化多目标优化算法等。python中的网络分析库networkx中的社区发现模块提供了以下社区发现算法： 算法贪婪_模块化_社区子空间聚类算法k _ clique _社区标签传播算法asyn _ LPA _社区流动社区算法asyn_fluidc社区发现示例 以《Python应用 | 利用社交网络分析（SNA）挖出“围标”线索》中使用的数据为例。这个数据包括四个子网络(不像社区，子网络是断开的)，最大的网络包括57个节点。 通过networkx中社区发现模块的贪婪算法greedy_modularity_communities分析，可以看出网络可以找出6个相对独立的社区。 六个相对独立的社区所包含的节点用不同的颜色来标识，便于从整体上分析和研究这些“小团伙”。 你可以按住屏幕左右滑动来查看代码。 1.环境初始化 -*-编码： utf-8-*-从导入社区导入networkx作为NX导入作为PLT导入作为colors导入熊猫作为pd2。数据预处理 由于社会网络分析处理的是成对节点之间的关系，同一投标人在投标人的信息数据中有多个信息点，需要分别提取。最后形成每对节点的“投标公司名称-公司信息点”一一对应的唯一数据集，并将数据处理成“投标公司名称、信息点、关系描述”三个字段的对照表。 数据转换图如下： 读取数据文件生成节点数据df=(ur '投标公司信息. xlsx '，dtype={u '联系电话' 3360str}，编码=' gbk') dfdetail=(columns=[u '投标公司名称'，U '信息点'，U '关系描述']) curdf=U '联系姓名']]curdf[u '关系描述']=u '联系姓名'==(curdf，ignore _ index=true)curdf[[U '投标公司名称]， U '联系电话']]curdf[u '关系描述']=u '联系电话' Ignore_index=True)curdf=df[[u '投标公司名称'，U '银行账号']]curdf[u '关系描述']=u '银行账号'==(curdf，ignore _ index=true) curdf=df [[U '投标公司名称'，U '联系邮箱']]curdf[u '关系描述']=u '联系邮箱'==(curdf，Ignore_index=True 发现最大子网中的社区，并用不同的颜色进行标记。 初始化图(关系网络)G=()在范围(0，(0) [0]) 3360 ([i，0]，[i，1]，attr type=[i，2])内为I加载关系数据从大网络中识别所有子网络sub_graphs=(G)提取最大子网络G0=next(sub_graphs)。社区发现可以忽略方向，将有向图转换为无向图G0=(G0)使用贪婪算法进行社区发现com=(G0) c=list(com)初始化结果可视化图的绘制环境。比如支持中文显示()['']=['simhei'] (FIG size=(10，10)) POS=(G0)可视化社区发现结果。With_labels=True)在Range (Len (c)) 3360 (G0，pos=pos，nodelist=c [i]，node _ color=() [i * 3])中不同的社区节点以不同的颜色显示。显示结果(' off ')()如下： 参考文献1。社区发现算法。[E/OL]。社区发现算法/194603962。由李翠平编辑。非结构化大数据分析[M]。北京：中国人民大学出版社，2018