Tienes que modificar el fichero setenv.bat o setenv.sh el cual probablemente esta apuntando a el jdk que viene dentro ( este es un jdk de 32 bits y te interesa utilizar el tuyo de 64 ). Con esto el problema en principio ya deberías tenerlo solucionado.
Proximamente sacaremos una OVA ( maquina virtual ) ya con todo instalado, otra opción que tienes para probar la versión profesional es contactar con nosotros desde nuestro formulario web
https://www.openkm.com/es/contacto.html y el dept de sales and marketing te puede proporcionar acceso a una demo cloud durante un par de semanas.
Todo depende un poco de lo que quieras probar, configurarlo todo correctamente no es fácil. Sólo recordarte que con el uuid de la aplicación y la clave "trial" puedes acceder durante 30 días a la documentación, tal y como esta explicado en la sección de descargas
https://www.openkm.com/es/descargar.html