Optimasi Struktur Convolutional Neural Network LeNet5m dengan Pendekatan MorphNet

Ridho Herasmara, Muhammad Aziz Muslim, Panca Mudjirahardjo

Abstract


Pendekatan perancangan neural network saat ini, menghasilkan rancangan yang tidak efisien. Rancangan yang tidak efisien ini menyebabkan penggunaan sumber daya yang lebih tinggi dibandingkan network yang lebih efisien. Hal ini juga merupakan permasalahan yang dialami network LeNet5, sebuah convolutional neural network untuk klasifikasi digit tulisan tangan yang dilatih dengan menggunakan dataset MNIST. Kami mengusulkan pendekatan MorphNet untuk optimasi kebutuhan flops-nya. Pendekatan MorphNet mengerdilkan network dengan menggunakan L1 regularization untuk menonaktifkan neuron pada tingkat aktivasinya. Neuron yang tidak aktif ini memiliki imbas yang kecil terhadap kinerja network, sehingga akan diusulkan untuk dihilangkan pada struktur yang baru. Network ini kemudian dapat dibesarkan untuk realokasi sumber daya. Sebagai hasilnya, didapatkan beberapa network baru yang lebih efisien dalam kebutuhan flops hingga 69%, dengan tetap mempertahankan tingkat akurasi pada rentang 98.5%. Kami menyimpulkan bahwa pendekatan MorphNet berhasil meningkatakan efisiensi dengan cara menghilangkan neuron yang berimbas kecil terhadap kinerja network.

Keywords


MorphNet; digit tulisan tangan; convolutional neural network; klasifikasi

Full Text:

PDF

References


Alvarez, J. M., & Salzmann, M. (2016). Learning the Number of Neurons in Deep Networks. Conference on Neural Information Processing Systems. Barcelona.

Gordon, A., Eban, E., & Nachum, O. (2018). MorphNet: Fast & Simple Resource-Constrained Structure Learning of Deep Networks. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, (pp. 1586-1595). Salt Lake City, UT.

Zoph, B., & Le, Q. (2017). Neural Architecture Search with Reinforcement Learning. 2017 International Conference on Learning Representations.

Zoph, B., Vasudevan, V., Shlens, J., & Le, Q. (2018). Learning Transferable Architectures for Scalable Image Recognition. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.

Collins, M. D., & Kohli, P. (2014). Memory Bounded Deep Convolutional Networks.

LeCun, Y., Bottou, L., & Bengio, Y. (1998). Gradient-Based Learning Applied to Document Recognition. Proceeding of the IEEE, (pp. 1-46).


Refbacks

  • There are currently no refbacks.


Creative Commons License
This work is licensed under a Creative Commons Attribution 4.0 International License.