MySQL Incorrect string value

[dix]

Hola,

Sobre lo comentado en otro post. He actualizado a la versión 6.2.1 como se comentó anteriormente para ver si resolvía el bug del text extraction, pero sigo con el problema del "Incorrect string value":

Code: Select all

2012-11-15 10:24:38,960 [Text Extractor Worker] WARN  org.hibernate.util.JDBCExceptionReporter - SQL Error: 1366, SQLState: HY000
2012-11-15 10:24:53,625 [Text Extractor Worker] ERROR org.hibernate.util.JDBCExceptionReporter - Incorrect string value: '\xF0\x9D\x91\x89\xF0\x9D..
.' for column 'NDC_TEXT' at row 1
2012-11-15 10:24:53,625 [Text Extractor Worker] WARN  com.openkm.extractor.TextExtractorWorker - could not update: [com.openkm.dao.bean.NodeDocument
#04364c17-0e99-46c7-aa6d-50722918b6b6]
com.openkm.core.DatabaseException: could not update: [com.openkm.dao.bean.NodeDocument#04364c17-0e99-46c7-aa6d-50722918b6b6]
        at com.openkm.dao.NodeDocumentDAO.textExtractorHelper(NodeDocumentDAO.java:1203)
        at com.openkm.extractor.TextExtractorWorker.processSerial(TextExtractorWorker.java:138)
        at com.openkm.extractor.TextExtractorWorker.processQueue(TextExtractorWorker.java:125)
        at com.openkm.extractor.TextExtractorWorker.run(TextExtractorWorker.java:80)
        at java.util.TimerThread.mainLoop(Timer.java:512)
        at java.util.TimerThread.run(Timer.java:462)
Caused by: org.hibernate.exception.GenericJDBCException: could not update: [com.openkm.dao.bean.NodeDocument#04364c17-0e99-46c7-aa6d-50722918b6b6]
        at org.hibernate.exception.SQLStateConverter.handledNonSpecificException(SQLStateConverter.java:140)
        at org.hibernate.exception.SQLStateConverter.convert(SQLStateConverter.java:128)
        at org.hibernate.exception.JDBCExceptionHelper.convert(JDBCExceptionHelper.java:66)
        at org.hibernate.persister.entity.AbstractEntityPersister.update(AbstractEntityPersister.java:2613)
        at org.hibernate.persister.entity.AbstractEntityPersister.updateOrInsert(AbstractEntityPersister.java:2495)
        at org.hibernate.persister.entity.AbstractEntityPersister.update(AbstractEntityPersister.java:2822)
        at org.hibernate.action.EntityUpdateAction.execute(EntityUpdateAction.java:113)
        at org.hibernate.engine.ActionQueue.execute(ActionQueue.java:273)
        at org.hibernate.engine.ActionQueue.executeActions(ActionQueue.java:265)
        at org.hibernate.engine.ActionQueue.executeActions(ActionQueue.java:185)
        at org.hibernate.event.def.AbstractFlushingEventListener.performExecutions(AbstractFlushingEventListener.java:321)
        at org.hibernate.event.def.DefaultFlushEventListener.onFlush(DefaultFlushEventListener.java:51)
        at org.hibernate.impl.SessionImpl.flush(SessionImpl.java:1216)
        at org.hibernate.impl.SessionImpl.managedFlush(SessionImpl.java:383)
        at org.hibernate.transaction.JDBCTransaction.commit(JDBCTransaction.java:133)
        at com.openkm.dao.HibernateUtil.commit(HibernateUtil.java:315)
        at com.openkm.dao.NodeDocumentDAO.textExtractorHelper(NodeDocumentDAO.java:1199)
        ... 5 more
Caused by: java.sql.SQLException: Incorrect string value: '\xF0\x9D\x91\x89\xF0\x9D...' for column 'NDC_TEXT' at row 1
        at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:1075)
        at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3562)
        at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3494)
        at com.mysql.jdbc.MysqlIO.sendCommand(MysqlIO.java:1960)
        at com.mysql.jdbc.MysqlIO.sqlQueryDirect(MysqlIO.java:2114)
        at com.mysql.jdbc.ConnectionImpl.execSQL(ConnectionImpl.java:2696)
        at com.mysql.jdbc.PreparedStatement.executeInternal(PreparedStatement.java:2105)
        at com.mysql.jdbc.PreparedStatement.executeUpdate(PreparedStatement.java:2398)
        at com.mysql.jdbc.PreparedStatement.executeUpdate(PreparedStatement.java:2316)
        at com.mysql.jdbc.PreparedStatement.executeUpdate(PreparedStatement.java:2301)
        at org.apache.tomcat.dbcp.dbcp.DelegatingPreparedStatement.executeUpdate(DelegatingPreparedStatement.java:105)
        at org.apache.tomcat.dbcp.dbcp.DelegatingPreparedStatement.executeUpdate(DelegatingPreparedStatement.java:105)
        at org.hibernate.persister.entity.AbstractEntityPersister.update(AbstractEntityPersister.java:2595)
        ... 18 more

He visto que se produce en todo tipo de documentos, pdf, ppt, etc.. El problema es que está continuamente intentando extraer ese documento con error y hace que la cpu del servidor esté al 100% todo el tiempo. El servidor que usamos es un Dell Poweredge R510 que funciona bien, a pesar de la carga extra, pero se nota la fluidez de la aplicación. ¿Hay alguna manera temporal de desactivar esta función hasta que esté resuelto ese bug? ¿Hay que realizar alguna configuración adicional para resolver ese problema?

He visto que en la configuración hay una variable "managed.text.extraction", ¿Si la pongo a false se detiene el proceso de extracción de texto?

Es un problema ya que la extracción de texto es una herramienta muy útil para realizar posteriormente búsquedas.

Un saludo y gracias de nuevo.

[jllort]

Prueba con la ultima version en integration.openkm.com, parece que la solución a este bug no fue incluida en la version 6.2.1 ( esto pasa por un problema de la codificación de los carácteres de ciertos ficheros, utf-16 que en vez de usar un byte utiliza dos. ). confirmanos si al actualizar a esta versión el problema se soluciona.

[dix]

El martes por la mañana actualizaré a la versión nightly y os comento.

Entiendo que tendré que seguir la documentación:

http://wiki.openkm.com/index.php/Migrat ... 1_to_6.2.2

Ya que hay alguna variable de configuración obsoleta.

¿Correcto?

Un saludo.

[dix]

Acabo de actualizar a la versión 6.2.2 DEV y parece que en el log ya no sale ningún error de ese tipo. Mañana os daré más detalles.

Un saludo.

[pavila]

Está marcada como resuelta (http://issues.openkm.com/view.php?id=2508), de modo que debería funcionar bien en la nightbuild.