恶意代码作者通常会不断演化软件版本,形成恶意软件家族,现有的恶意软件家族分类方法,在特征选择的鲁棒性和分类算法的有效性、准确性方面还有待改进。为此,文章提出一种基于混合特征的深度自动编码的恶意软件分类方法。首先,通过提取恶意样本的动态API序列特征和静态字节熵特征作为混合特征,可以获取恶意样本的全局结构;然后,利用深度自编码器对高维特征进行降维处理;最后,将获得的低维特征输入到极端梯度提升(eXtreme Gradient Boosting,XGBoost)算法分类器中,获得恶意软件的家族分类。实验结果表明,该方法可以正确、有效地区分不同恶意软件家族,分类的微平均AUC(Micro-average Area Under Curve)达到98.3%,宏平均AUC (Macro-average Area Under Curve)达到97.9%。