Optimasi Struktur Convolutional Neural Network LeNet5m dengan Pendekatan MorphNet

Ridho Herasmara; Muhammad Aziz Muslim; Panca Mudjirahardjo

doi:10.21776/jeeccis.v13i3.617

Authors

Ridho Herasmara Universitas Islam Raden Rahmat, Universitas Brawijaya
Muhammad Aziz Muslim Universitas Brawijaya
Panca Mudjirahardjo Universitas Brawijaya

DOI:

https://doi.org/10.21776/jeeccis.v13i3.617

Keywords:

MorphNet, digit tulisan tangan, convolutional neural network, klasifikasi

Abstract

Pendekatan perancangan neural network saat ini, menghasilkan rancangan yang tidak efisien. Rancangan yang tidak efisien ini menyebabkan penggunaan sumber daya yang lebih tinggi dibandingkan network yang lebih efisien. Hal ini juga merupakan permasalahan yang dialami network LeNet5, sebuah convolutional neural network untuk klasifikasi digit tulisan tangan yang dilatih dengan menggunakan dataset MNIST. Kami mengusulkan pendekatan MorphNet untuk optimasi kebutuhan flops-nya. Pendekatan MorphNet mengerdilkan network dengan menggunakan L1 regularization untuk menonaktifkan neuron pada tingkat aktivasinya. Neuron yang tidak aktif ini memiliki imbas yang kecil terhadap kinerja network, sehingga akan diusulkan untuk dihilangkan pada struktur yang baru. Network ini kemudian dapat dibesarkan untuk realokasi sumber daya. Sebagai hasilnya, didapatkan beberapa network baru yang lebih efisien dalam kebutuhan flops hingga 69%, dengan tetap mempertahankan tingkat akurasi pada rentang 98.5%. Kami menyimpulkan bahwa pendekatan MorphNet berhasil meningkatakan efisiensi dengan cara menghilangkan neuron yang berimbas kecil terhadap kinerja network.

Author Biographies

Muhammad Aziz Muslim, Universitas Brawijaya

Jurusan Teknik Elektro, Fakultas Teknik

Panca Mudjirahardjo, Universitas Brawijaya

Jurusan Teknik Elektro, Fakultas Teknik

References

Alvarez, J. M., & Salzmann, M. (2016). Learning the Number of Neurons in Deep Networks. Conference on Neural Information Processing Systems. Barcelona.

Gordon, A., Eban, E., & Nachum, O. (2018). MorphNet: Fast & Simple Resource-Constrained Structure Learning of Deep Networks. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, (pp. 1586-1595). Salt Lake City, UT.

Zoph, B., & Le, Q. (2017). Neural Architecture Search with Reinforcement Learning. 2017 International Conference on Learning Representations.

Zoph, B., Vasudevan, V., Shlens, J., & Le, Q. (2018). Learning Transferable Architectures for Scalable Image Recognition. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.

Collins, M. D., & Kohli, P. (2014). Memory Bounded Deep Convolutional Networks.

LeCun, Y., Bottou, L., & Bengio, Y. (1998). Gradient-Based Learning Applied to Document Recognition. Proceeding of the IEEE, (pp. 1-46).