No hay ningun problema en instalarlo en una máquina virtual. Lo que tiene que tener claro es el uso que le vas a dar y los recursos que asignas para la máquina vitual. Puedo comentarte que hay instalaciones en produccion que utilizan cytrix, vmware y virtualbox ( te lo digo de memoria, porque esto de la virtualización ha crecido mucho y uno al final no se acuerda de todas ).
Esto que comentas que no lo has podido instalar en una ubuntu, centos etc... ya es mas intrigante ( sorprendente ). No termino de entender si no has instalado el sistema operativo en la máquina virtual o si con uno de estos sistemas operativos no has instalado OpenKM. La instalación ahora mismo viene con un wizard que simplifica enormemente las cosas ( en la página donde te has descargado el fichero pone 3 instrucciones muy sencillas ). Para tener información complementaria te sugiero leer
http://wiki.openkm.com/index.php/Quick_ ... :_OpenKM_6
Bueno y para finalizar te recomiendo ubuntu o debian ( en la centos / redhat etc... vas a sufrir para instalar paquetes, pero eso obviamente es mi consejo ( no está grabado a la piedra, es sólo una sugerencia ).