Instala un jdk 1.7 de 64 bits ( porque ahora esta utilizando el de 32 bits embebido y esto no le va bien ). Lo segundo que tienes que hacer es modificar el setenv.sh ( elimina la entrada del JAVA_HOME para que utilice el pordefecto ). También puedes probar con el jdk 1.8 ( debería funcionar sin problemas con la ultima versión y no tiene el dichoso problema de tener que configurar manualmente el heap sino que el solo ya se va dimensionando ).
Ponme aquí tu setenv.sh final para confirmar que tienes todos los parametros.
No se si has hecho algun tipo de modificación script, pero cuando tienes un error de heap, en general es que la aplicación se ha comido toda la memoria ( donde estan las variables de ejecución etc... ) esto puede pasar si tienes por ejemplo un "infinite loop" en algun código fuente que hayas creado y este ahí funcionando ( por eso te preguntaba lo de los scripts ).