POLYSIGMOID: UNA FUNCIÓN DE ACTIVACIÓN POLINOMIAL PARA REDES NEURONALES (POLYSIGMOID: A POLYNOMIAL ACTIVATION FUNCTION FOR NEURAL NETWORKS)
Pistas Educativas
Resumen
Resumen En este artículo se propone una nueva función de activación que aproxima la función de activación Sigmoid, la cual es ampliamente usada en redes neuronales artificiales. El interés de aproximar a la función Sigmoid es para reducir la evaluación de un gran número de términos polinomiales (teóricamente infinito) lo cual genera un alto costo computacional. El enfoque es aproximarla mediante un polinomio a trozos de orden finito llamado PolySigmoid. La función PolySigmoid contempla dos parábolas para aproximar la parte no lineal de la función Sigmoid que es continua, creciente y acotada. Adicionalmente, dada la relación que hay entre las funciones Sigmoid y Tanh (tangente hiperbólica) también es posible proponer una función PolyTanh que aproxima la función Tanh, y esto da pauta a aproximar otras funciones de activación. Experimentalmente, se valora la aproximación de ambas funciones PolySigmoid y PolyTanh mediante resultados de clasificación con la base de datos MNIST. Palabras Clave: Función de activación, Redes neuronales artificiales, Clasificación. Abstract In this paper, a novel activation function is proposed as an approximation to the Sigmoid activation function. The Sigmoid function is widely used in neural networks, and its approximation is to reduce the evaluation of a large number (theoretically infinite) of polynomial terms which generates a high computational cost. The Sigmoid activation function is approximated with a piecewise polynomial called PolySigmoid. The PolySigmoid function considers two parabolas to approximate the non-linear sections since it is a continuous, monotone, and non-decreasing function. Additionally, there is a relationship between the Sigmoid and Tanh functions, then it is possible to propose another function PolyTanh to approximate the Tanh function, which opens the possibility to approximate other activation functions. Experimentally, the approximations of PolySigmoid and PolyTanh are valuated through the classification results of a neural network trained with the MNIST dataset. Keywords: Activation function, Artificial neural networks, Classification.
Datos de publicación
Cita esta publicación
Comprueba el estilo que requiere tu institución o revista.
Fuentes y trazabilidad
Se conserva la procedencia de los datos y se da prioridad a la revista cuando existe información editorial.
Licencias declaradas por las fuentes
Licencia en el registro de origen