Esto lo puedes encontrar en la sección de la wiki, correspondiente a http://wiki.openkm.com/index.php/Installation_Guide y concretamente en el apartado de configurar el jboss como servicio.
Tambien puedes buscar en google "configure jboss as service" en la consulta mejor poner la version de jboss 4.2.3 . No hay una sola forma de montar el servicio de jboss como servicio en windows, pero alguna son mejores que otras, yo te recomendaria el tema del jboss native libraries , eso si, ojo que no todas las versiones valen para el mismo jboss