人工神經(jīng)網(wǎng)絡(luò)是模擬人腦神經(jīng)活動的重要模式識別工具，備受關(guān)注。近年來，深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Networks，DNN）的改進與優(yōu)化工作集中于網(wǎng)絡(luò)結(jié)構(gòu)和損失函數(shù)的設(shè)計，而神經(jīng)元模型的發(fā)展有限。神經(jīng)生物學(xué)和認知神經(jīng)科學(xué)的研究表明，神經(jīng)元的學(xué)習(xí)能力是生物神經(jīng)系統(tǒng)完成學(xué)習(xí)任務(wù)和記憶任務(wù)的重要基礎(chǔ)。這些機理可促使科學(xué)家在神經(jīng)元設(shè)計和優(yōu)化方面進一步提高DNN的性能。

受生物認知機制的啟發(fā)，中國科學(xué)院半導(dǎo)體研究所高速電路與神經(jīng)網(wǎng)絡(luò)實驗室研究員李衛(wèi)軍團隊，設(shè)計了具有高度柔性與可塑性的超香腸覆蓋式神經(jīng)元模型（HSCF neuron）（圖1）。該研究定義了新的交叉熵和體積覆蓋率損失函數(shù)。該損失函數(shù)可最大限度地壓縮超香腸的體積，從而確保樣本的類內(nèi)緊湊性。該團隊引入了一種分裂迭代方法，即將每個神經(jīng)元模型視為一個弱分類器，并迭代增加弱分類器的數(shù)量。這一迭代方法可自適應(yīng)地確定HSCF神經(jīng)元的最優(yōu)數(shù)量，形成了端到端的學(xué)習(xí)框架（圖2）。該研究在模式識別領(lǐng)域的八個經(jīng)典數(shù)據(jù)集上進行的對比實驗和消融實驗證明了這一方法的有效性。超香腸覆蓋式神經(jīng)元模型可應(yīng)用于經(jīng)典的DNN中以解決多種模式識別問題，頗具應(yīng)用價值與學(xué)術(shù)價值。此外，該研究提出的方法證明了利用神經(jīng)元可塑性增強DNN性能的可行性，為DNN的進一步發(fā)展提供了新視角。

近日，相關(guān)研究成果以Hyper-sausage coverage function neuron model and learning algorithm for image classification為題，發(fā)表在Pattern Recognition上，并入選期刊2023年Editors' Choice Paper。研究工作得到國家自然科學(xué)基金的支持。

論文鏈接

圖1.?超香腸覆蓋式神經(jīng)元模型及分類策略可視化表示

圖2.?基于超香腸覆蓋式神經(jīng)元模型的網(wǎng)絡(luò)結(jié)構(gòu)示意圖