基于隨機丟棄特征選擇構建集成分類器
中文題目：基于隨機丟棄特征選擇構建集成分類器
論文題目：Constructing Ensemble Classifier Based on dropout Feature Selection
錄用期刊/會議：CCDC2025 （CAA A類會議）
錄用時間：2025.1.2
作者列表：
1)宋宇 中國石油大學（北京）人工智能學院 自動化系 教師
2)任正平 中國石油大學（北京）人工智能學院 控制科學與工程 研18級
3)代思怡 中國石油大學（北京）人工智能學院 控制科學與工程 研23級
4)劉建偉 中國石油大學（北京）人工智能學院 自動化系 教師
摘要:
1)我們引入了一種結合LDA的基于丟棄的特征選擇方法來提高預測模型的泛化性能和穩定性。這種方法以一定的概率隨機丟棄特征，防止特征之間的共同適應，并與原始數據相比顯著降低特征維數。然后，選擇的特征被用于模型學習和預測，從而導致更高的準確率和降低過擬合的風險。
2)我們證明了隨機選擇特征子集的丟失集成學習算法擅長處理噪聲和過擬合問題。該算法在原始和有噪標簽樣本集上都表現出較高的精度和穩定的預測性能，特別是當樣本大小相對于特征維數增加時。
3)我們將基于丟失的集成學習算法應用于以高維數、高樣本噪聲和高標簽噪聲為特征的學習環境，在這些環境中傳統方法難以勝任。我們的方法在預測性能和抗噪聲魯棒性方面提供了明顯的優勢，使其成為復雜和噪聲數據集中機器學習的有價值的工具。
背景與動機:
集成學習是一種通過組合多個模型來提高模型泛化性能的有效方法。 dropout方法利用同一樣本集的不同特征子集學習一系列子模型，根據驗證數據集上的預測準確率對特征子集進行排序，選擇準確率最高的前幾個模型組成集成分類器，使用集成分類器預測測試集。
LDA分類器的目標函數為：
假設：
圖1 特征選擇策略
結論:
當特征維數減少時，樣本大小增加，在一定程度上，模型的過擬合也減少了。由于dropout方法傳遞隨機選擇的特征子集，因此dropout集成學習算法也能夠處理噪聲和過擬合問題。這也使得dropout集成學習算法在原始樣本集和帶有噪聲標簽的樣本集上具有更高的準確率和穩定的預測性能。當樣本數和特征維數相對較小時，dropout集成學習算法的優勢明顯。 實驗表明，使用dropout特征選擇dLDAEC算法可以大大降低特征選擇的維數，模型預測的準確率比不使用LDA dropout非集成學習有明顯提高。
注意到特征選擇dLDAEC算法也有不適用情況。由于dropout方法特征的隨機選擇特性，當特征維數較小時，丟棄一些特征會使模型預測性能下降，這時，dropout LDA集成分類器和no dropout LDA集成分類器兩類算法在預測性能上沒有明顯優勢。
基于特征選擇的dropout LDA集成分類器適用于高維、高樣本噪聲和高標簽噪聲的學習環境。
作者簡介:
劉建偉，教師。