Prueba. Ve un día a hacer alguna actividad que te motive y vuelve si te mola. Siempre estás a tiempo de no ir, si no te encuentras a gusto.
De todas formas, al margen de cómo te sientas con tu imagen, es bueno que hagas deporte a cualquier edad. Está demostrado que ser sedentario es peor incluso que fumar (también aleja enfermedades como el Alzheimer y mil cosas más) y no tiene realmente que ver con el peso que tengas. Así que yo te animo a que busques algo que te mole (igual no te gusta el gimnasio, pero sí salir a patinar) y lo hagas de forma regular. Luego ya si quieres o no adelgazar es cosa tuya.