基于Spark和三路交互信息的并行深度森林算法

摘要： 針對(duì)并行深度森林在處理大數(shù)據(jù)時(shí)存在冗余及無(wú)關(guān)特征過(guò)多、類向量過(guò)長(zhǎng)、模型收斂速度慢以及并行化訓(xùn)練效率低等問(wèn)題，提出了基于Spark和三路交互信息的并行深度森林（PDF-STWII）算法。首先，提出基于特征交互的特征選擇（FSFI）策略過(guò)濾原始特征，剔除無(wú)關(guān)及冗余特征；其次，提出多粒度向量消除（MGVE）策略，融合相似類向量，縮短類向量長(zhǎng)度；再次，提出級(jí)聯(lián)森林特征增強(qiáng)（CFFE）策...