Spark日志整合與FCM-DNN的網(wǎng)絡(luò)流量分析算法

摘要： 提出一種基于內(nèi)存計(jì)算引擎(Spark)日志集成與模糊c均值聚類-全連接神經(jīng)網(wǎng)絡(luò)(FCM-DNN)的流量分析算法.首先，使用Spark集成會(huì)話日志來獲取可分析的結(jié)構(gòu)化數(shù)據(jù)；然后，對(duì)同一網(wǎng)站的行為數(shù)據(jù)進(jìn)行聚類，提取網(wǎng)站的多類簇特征集合，以解決單個(gè)會(huì)話連接特征維度較少、特征相似且不平衡的問題；最后，構(gòu)建全連接神經(jīng)網(wǎng)絡(luò)(DNN),將統(tǒng)一化后的聚類特征與原始特征結(jié)合并進(jìn)行訓(xùn)練，從聚類分組...