ajout des images des essais et tentative de faire fonctionner les fonctions d'activation

code/fonctions_activations_classiques/fonction_activation.py

@@ -8,14 +8,14 @@ import tensorflow as tf
 
 
 
-def snake(x, alpha=10):
+def snake(x, alpha=5):
     return (x + tf.sin(x)**2/alpha)
 
 
-def x_sin(x,alpha=1.0):
+def x_sin(x,alpha=5):
     return (x + tf.sin(x)/alpha)
 
-def sin(x,alpha=1.0):
+def sin(x,alpha=5):
     return(tf.sin(x)/alpha)
 
 

code/fonctions_activations_classiques/sin.py

@@ -16,15 +16,16 @@ from fonction_activation import *
 from Creation_donnee import *
 import numpy as np
 
+w=10
 n=20
 #création de la base de donnéé
-X,Y=creation_sin(-15,-8,n,1,)
-X2,Y2=creation_sin(10,18,n,1,)
+X,Y=creation_sin(-1.5,-1,n,w)
+X2,Y2=creation_sin(1,1.5,n,w)
 X=np.concatenate([X,X2])
 Y=np.concatenate([Y,Y2])
 
 n=10000
-Xv,Yv=creation_sin(-20,20,n,1)
+Xv,Yv=creation_sin(-3,3,n,w)
 
 
 
@@ -33,10 +34,13 @@ model_sin=tf.keras.models.Sequential()
 
 model_sin.add(tf.keras.Input(shape=(1,)))
 
-model_sin.add(tf.keras.layers.Dense(512, activation=sin))
-
-
-
+# model_sin.add(tf.keras.layers.Dense(64, activation=sin))
+# model_sin.add(tf.keras.layers.Dense(64, activation=sin))
+# model_sin.add(tf.keras.layers.Dense(64, activation=sin))
+# model_sin.add(tf.keras.layers.Dense(64, activation=sin))
+# model_sin.add(tf.keras.layers.Dense(512, activation=sin))
+# model_sin.add(tf.keras.layers.Dense(64, activation=sin))
+model_sin.add(tf.keras.layers.Dense(8, activation=sin))
 model_sin.add(tf.keras.layers.Dense(1))
 
 opti=tf.keras.optimizers.Adam()
@@ -46,7 +50,7 @@ model_sin.compile(opti, loss='mse', metrics=['accuracy'])
 
 model_sin.summary()
 
-model_sin.fit(X, Y, batch_size=1, epochs=10, shuffle='True',validation_data=(Xv, Yv))
+model_sin.fit(X, Y, batch_size=16, epochs=1000, shuffle='True',validation_data=(Xv, Yv))
 
 
 
@@ -60,8 +64,8 @@ Y_predis_validation_sin=model_sin.predict(Xv)
 plt.figure()
 plt.plot(X,Y,'x',label='donnée')
 plt.plot(Xv,Yv,label="validation")
-plt.plot(X,Y_predis_sin,'o',label='prediction sur les donné avec sin comme activation')
-plt.plot(Xv,Y_predis_validation_sin,label='prediction sur la validation avec sin comme activation')
+plt.plot(X,Y_predis_sin,'o',label='prediction sur les données avec sin ')
+plt.plot(Xv,Y_predis_validation_sin,label='prediction sur la validation avec sin')
 plt.legend()
 plt.show()
 

code/fonctions_activations_classiques/snake.py

@@ -0,0 +1,72 @@
+# -*- coding: utf-8 -*-
+"""
+Created on Wed Nov 24 16:58:44 2021
+
+@author: virgi
+"""
+
+
+
+
+
+import tensorflow as tf
+import matplotlib.pyplot as plt
+from fonction_activation import *
+
+from Creation_donnee import *
+import numpy as np
+
+w=10
+n=20000
+#création de la base de donnéé
+X,Y=creation_sin(-1.5,-1,n,w)
+X2,Y2=creation_sin(1,1.5,n,w)
+X=np.concatenate([X,X2])
+Y=np.concatenate([Y,Y2])
+
+n=10000
+Xv,Yv=creation_sin(-3,3,n,w)
+
+
+
+
+model_sin=tf.keras.models.Sequential()
+
+model_sin.add(tf.keras.Input(shape=(1,)))
+
+# model_sin.add(tf.keras.layers.Dense(64, activation=sin))
+# model_sin.add(tf.keras.layers.Dense(64, activation=sin))
+# model_sin.add(tf.keras.layers.Dense(64, activation=sin))
+# model_sin.add(tf.keras.layers.Dense(64, activation=sin))
+# model_sin.add(tf.keras.layers.Dense(512, activation=sin))
+# model_sin.add(tf.keras.layers.Dense(64, activation=sin))
+model_sin.add(tf.keras.layers.Dense(512, activation=snake))
+model_sin.add(tf.keras.layers.Dense(1))
+
+opti=tf.keras.optimizers.Adam()
+
+model_sin.compile(opti, loss='mse', metrics=['accuracy'])
+
+
+model_sin.summary()
+
+model_sin.fit(X, Y, batch_size=16, epochs=10, shuffle='True',validation_data=(Xv, Yv))
+
+
+
+
+Y_predis_sin=model_sin.predict(X)
+Y_predis_validation_sin=model_sin.predict(Xv)
+
+
+
+
+plt.figure()
+plt.plot(X,Y,'x',label='donnée')
+plt.plot(Xv,Yv,label="validation")
+plt.plot(X,Y_predis_sin,'o',label='prediction sur les données avec sin ')
+plt.plot(Xv,Y_predis_validation_sin,label='prediction sur la validation avec sin')
+plt.legend()
+plt.show()
+
+

code/fonctions_activations_classiques/snake_vs_ReLU.py

@@ -14,13 +14,13 @@ import numpy as np
 w=10
 n=20
 #création de la base de donnéé
-X,Y=creation_sin(-1.5,-1,n,w,)
-X2,Y2=creation_sin(1,1.5,n,w,)
+X,Y=creation_sin(-1.5,-1,n,w)
+X2,Y2=creation_sin(1,1.5,n,w)
 X=np.concatenate([X,X2])
 Y=np.concatenate([Y,Y2])
 
 n=10000
-Xv,Yv=creation_sin(-2,2,n,w)
+Xv,Yv=creation_sin(-3,3,n,w)
 
 
 model_ReLU=tf.keras.models.Sequential()
@@ -94,8 +94,8 @@ plt.show()
 plt.figure()
 plt.plot(X,Y,'x',label='donnée')
 plt.plot(Xv,Yv,label="validation")
-plt.plot(X,Y_predis_snake,'o',label='prediction sur les donné avec snake comme activation')
-plt.plot(Xv,Y_predis_validation_snake,label='prediction sur la validation avec snake comme activation')
+plt.plot(X,Y_predis_snake,'o',label='prediction sur les données avec snake')
+plt.plot(Xv,Y_predis_validation_snake,label='prediction sur la validation avec snake')
 plt.legend()
 plt.show()
 

code/fonctions_activations_classiques/swish.py

@@ -14,15 +14,16 @@ from fonction_activation import *
 from Creation_donnee import *
 import numpy as np
 
+w=10
 n=20
 #création de la base de donnéé
-X,Y=creation_sin(-15,-8,n,1,)
-X2,Y2=creation_sin(10,18,n,1,)
+X,Y=creation_x2(-1.5,-1,n)
+X2,Y2=creation_x2(1,1.5,n)
 X=np.concatenate([X,X2])
 Y=np.concatenate([Y,Y2])
 
 n=10000
-Xv,Yv=creation_sin(-20,20,n,1)
+Xv,Yv=creation_x2(-3,3,n)
 
 
 
@@ -44,7 +45,7 @@ model_swish.compile(opti, loss='mse', metrics=['accuracy'])
 
 model_swish.summary()
 
-model_swish.fit(X, Y, batch_size=1, epochs=10, shuffle='True',validation_data=(Xv, Yv))
+model_swish.fit(X, Y, batch_size=1, epochs=16, shuffle='True',validation_data=(Xv, Yv))
 
 
 
@@ -58,8 +59,8 @@ Y_predis_validation_swish=model_swish.predict(Xv)
 plt.figure()
 plt.plot(X,Y,'x',label='donnée')
 plt.plot(Xv,Yv,label="validation")
-plt.plot(X,Y_predis_swish,'o',label='prediction sur les donné avec swish comme activation')
-plt.plot(Xv,Y_predis_validation_swish,label='prediction sur la validation avec swish comme activation')
+plt.plot(X,Y_predis_swish,'o',label='prediction sur les données avec swish')
+plt.plot(Xv,Y_predis_validation_swish,label='prediction sur la validation avec swish')
 plt.legend()
 plt.show()
 

code/fonctions_activations_classiques/tanh_vs_ReLU.py

@@ -13,16 +13,17 @@ from fonction_activation import *
 
 from Creation_donnee import *
 import numpy as np
-
+w=10
 n=20
 #création de la base de donnéé
-X,Y=creation_sin(-15,-8,n,1,)
-X2,Y2=creation_sin(10,18,n,1,)
+X,Y=creation_x2(-1.5,-1,n)
+X2,Y2=creation_x2(1,1.5,n)
 X=np.concatenate([X,X2])
 Y=np.concatenate([Y,Y2])
 
 n=10000
-Xv,Yv=creation_sin(-20,20,n,1)
+Xv,Yv=creation_x2(-3,3,n)
+
 
 
 model_ReLU=tf.keras.models.Sequential()
@@ -45,7 +46,7 @@ model_ReLU.summary()
 
 
 
-model_ReLU.fit(X, Y, batch_size=1, epochs=10, shuffle='True',validation_data=(Xv, Yv))
+model_ReLU.fit(X, Y, batch_size=16, epochs=50, shuffle='True',validation_data=(Xv, Yv))
 
 
 
@@ -66,7 +67,7 @@ model_tanh.compile(opti, loss='mse', metrics=['accuracy'])
 
 model_tanh.summary()
 
-model_tanh.fit(X, Y, batch_size=1, epochs=10, shuffle='True',validation_data=(Xv, Yv))
+model_tanh.fit(X, Y, batch_size=16, epochs=50, shuffle='True',validation_data=(Xv, Yv))
 
 
 
@@ -89,16 +90,16 @@ Y_predis_validation_ReLU=model_ReLU.predict(Xv)
 plt.figure()
 plt.plot(X,Y,'x',label='donnée')
 plt.plot(Xv,Yv,label="validation")
-plt.plot(X,Y_predis_ReLU,'o',label='prediction sur les donné')
-plt.plot(Xv,Y_predis_validation_ReLU,label='prediction sur la validation')
+plt.plot(X,Y_predis_ReLU,'o',label='prediction sur les données avec ReLU')
+plt.plot(Xv,Y_predis_validation_ReLU,label='prediction sur la validation avec ReLU')
 plt.legend()
 plt.show()
 
 plt.figure()
 plt.plot(X,Y,'x',label='donnée')
 plt.plot(Xv,Yv,label="validation")
-plt.plot(X,Y_predis_tanh,'o',label='prediction sur les donné avec tanh comme activation')
-plt.plot(Xv,Y_predis_validation_tanh,label='prediction sur la validation avec tanh comme activation')
+plt.plot(X,Y_predis_tanh,'o',label='prediction sur les données avec tanh ')
+plt.plot(Xv,Y_predis_validation_tanh,label='prediction sur la validation avec tanh ')
 plt.legend()
 plt.show()
 

code/fonctions_activations_classiques/x_sin.py

@@ -23,15 +23,17 @@ from fonction_activation import *
 from Creation_donnee import *
 import numpy as np
 
+w=10
 n=20
 #création de la base de donnéé
-X,Y=creation_sin(-15,-8,n,1,)
-X2,Y2=creation_sin(10,18,n,1,)
+X,Y=creation_sin(-1.5,-1,n,w)
+X2,Y2=creation_sin(1,1.5,n,w)
 X=np.concatenate([X,X2])
 Y=np.concatenate([Y,Y2])
 
 n=10000
-Xv,Yv=creation_sin(-20,20,n,1)
+Xv,Yv=creation_sin(-3,3,n,w)
+
 
 
 
@@ -67,8 +69,8 @@ Y_predis_validation_xsin=model_xsin.predict(Xv)
 plt.figure()
 plt.plot(X,Y,'x',label='donnée')
 plt.plot(Xv,Yv,label="validation")
-plt.plot(X,Y_predis_xsin,'o',label='prediction sur les donné avec x+sin comme activation')
-plt.plot(Xv,Y_predis_validation_xsin,label='prediction sur la validation avec x+sin comme activation')
+plt.plot(X,Y_predis_xsin,'o',label='prediction sur les données avec x+sin ')
+plt.plot(Xv,Y_predis_validation_xsin,label='prediction sur la validation avec x+sin')
 plt.legend()
 plt.show()