[sdx-users] RETOUR sur la Moisson OAI

[Xavier Sirven]

Bonjour,


Je réagis au post car j'ai le même problème que Pierre concernant ma moisson
OAI.

Repartons depuis le début. :

J'utilise la version de sdx 2.2.1 du 10 novembre 2004 et un Apache Tomcat
4.1.29, le tout sur windows 2000 Pro.
- Pour simplifier tous mes test, je repars de l'appli sdxtest et j'utilise
la base sdxworld, soit :

<sdx:documentBase id="sdxworld" type="lucene" default="true"
keepOriginalDocuments="true">

- J'utilise le repository tel que défini dans l'application

<sdx:oai-repository name="test oai repository"
adminEmail="address@hidden"
baseURL="http://localhost:8080/sdx-221-14/sdx/oai/sdxtest/sdxworld";>

- J'indexe les documents dans sdxtest, ok. Je teste mon repository avec
l'URL "baseURL", ok, j'ai des résultats.
- 2éme étape, je crée une deuxième appli sdxtest2 identique à sdxtest à
laquelle j'ajoute un harvester soit :

<sdx:oai-harvester adminEmail="address@hidden">
   <sdx:oai-data-providers>
     <sdx:oai-repository
url="http://localhost:8080/sdx-221-14/sdx/oai/sdxtest/sdxworld";>
    <sdx:update type="periodic">
        <sdx:offset>300000</sdx:offset>
        <sdx:period>600000</sdx:period>
    </sdx:update>
       <sdx:oai-verb name="ListRecords" metadataPrefix="oai_dc"/>
     </sdx:oai-repository>
   </sdx:oai-data-providers>
</sdx:oai-harvester>

J'arrête tout, supprime le dossier Work, je redémarre et j'attend...

- Et là comme Pierre, deux types erreurs :

Une à propos d'une base "sdx_oai_harvester_sdxworld"

ERROR   (2004-11-15) 11:28.23:328   [sdx.framework.sdxtest2.sdxworld]
(Unknown-URI) Unknown-thread/Utilities: There was a problem searching the
database with the id, "sdx_oai_harvester_sdxworld".
fr.gouv.culture.sdx.exception.SDXException: There was a problem searching
the database with the id, "sdx_oai_harvester_sdxworld".
 at fr.gouv.culture.sdx.utils.Utilities.logException(Utilities.java:297)
 at
fr.gouv.culture.sdx.oai.AbstractDocumentBaseOAIHarvester.shouldHarvestDocume
nt(AbstractDocumentBaseOAIHarvester.java:924)
 at
fr.gouv.culture.oai.AbstractOAIHarvester.endElement(AbstractOAIHarvester.jav
a:287)
 at
fr.gouv.culture.sdx.oai.AbstractDocumentBaseOAIHarvester.endElement(Abstract
DocumentBaseOAIHarvester.java:854)
 at org.apache.xerces.parsers.AbstractSAXParser.endElement(Unknown Source)
 at org.apache.xerces.impl.XMLNamespaceBinder.handleEndElement(Unknown
Source)
 at org.apache.xerces.impl.XMLNamespaceBinder.endElement(Unknown Source)
 at
org.apache.xerces.impl.XMLDocumentFragmentScannerImpl.scanEndElement(Unknown
Source)
 at
org.apache.xerces.impl.XMLDocumentFragmentScannerImpl$FragmentContentDispatc
her.dispatch(Unknown Source)
 at
org.apache.xerces.impl.XMLDocumentFragmentScannerImpl.scanDocument(Unknown
Source)
 at org.apache.xerces.parsers.DTDConfiguration.parse(Unknown Source)
 at org.apache.xerces.parsers.DTDConfiguration.parse(Unknown Source)
 at org.apache.xerces.parsers.XMLParser.parse(Unknown Source)
 at org.apache.xerces.parsers.AbstractSAXParser.parse(Unknown Source)
 at org.apache.avalon.excalibur.xml.JaxpParser.parse(JaxpParser.java:264)
 at org.apache.avalon.excalibur.xml.JaxpParser.parse(JaxpParser.java:215)
 at
org.apache.cocoon.components.source.AbstractStreamSource.toSAX(AbstractStrea
mSource.java:206)
 at
fr.gouv.culture.oai.AbstractOAIHarvester.receiveRequest(AbstractOAIHarvester
.java:502)
 at
fr.gouv.culture.oai.AbstractOAIHarvester.receiveSynchronizedRequest(Abstract
OAIHarvester.java:473)
 at
fr.gouv.culture.sdx.oai.AbstractDocumentBaseOAIHarvester.targetTriggered(Abs
tractDocumentBaseOAIHarvester.java:815)
 at
fr.gouv.culture.util.apache.avalon.cornerstone.services.scheduler.SimpleTime
Scheduler$1.run(SimpleTimeScheduler.java:104)

et l'autre à propos des noms de fichiers :

ERROR   (2004-11-15) 11:28.23:828   [sdx.framework.sdxtest2.sdxworld]
(Unknown-URI) Unknown-thread/SDXException: SDX - Document - XML : erreur
dans le document à
file:/G:/tomcat/work/Standalone/localhost/sdx-221-14/cocoon-files/upload-dir/sdxtest2_oaiHarvests/sdxworld/harvest-2004-11-15T10%3A28%3A23Z/sdx%3Alocalh
ost%3A8080%3Asdxtest%2Fsdxworld%2Fbsr.sdx :
G:\tomcat\work\Standalone\localhost\sdx-221-14\cocoon-files\upload-dir\sdxte
st2_oaiHarvests\sdxworld\harvest-2004-11-15T10:28:23Z\sdx:localhost:8080:sdx
test\sdxworld\bsr.sdx (Syntaxe du nom de fichier, de répertoire ou de volume
incorrecte)
java.io.FileNotFoundException:
G:\tomcat\work\Standalone\localhost\sdx-221-14\cocoon-files\upload-dir\sdxte
st2_oaiHarvests\sdxworld\harvest-2004-11-15T10:28:23Z\sdx:localhost:8080:sdx
test\sdxworld\bsr.sdx (Syntaxe du nom de fichier, de répertoire ou de volume
incorrecte)
 at fr.gouv.culture.sdx.exception.SDXException.log(SDXException.java:115)
 at fr.gouv.culture.sdx.exception.SDXException.<init>(SDXException.java:103)
 at fr.gouv.culture.sdx.document.XMLDocument.parse(XMLDocument.java:208)
 at
fr.gouv.culture.sdx.document.XMLDocument.startIndexing(XMLDocument.java:174)
 at
fr.gouv.culture.sdx.documentbase.SDXDocumentBase.index(SDXDocumentBase.java:
1183)
 at
fr.gouv.culture.sdx.documentbase.SDXDocumentBase.index(SDXDocumentBase.java:
1056)
 at
fr.gouv.culture.sdx.oai.AbstractDocumentBaseOAIHarvester.storeHarvestedData(
AbstractDocumentBaseOAIHarvester.java:631)
 at
fr.gouv.culture.oai.AbstractOAIHarvester.endElement(AbstractOAIHarvester.jav
a:310)
 at
fr.gouv.culture.sdx.oai.AbstractDocumentBaseOAIHarvester.endElement(Abstract
DocumentBaseOAIHarvester.java:854)
 at org.apache.xerces.parsers.AbstractSAXParser.endElement(Unknown Source)
 at org.apache.xerces.impl.XMLNamespaceBinder.handleEndElement(Unknown
Source)
 at org.apache.xerces.impl.XMLNamespaceBinder.endElement(Unknown Source)
 at
org.apache.xerces.impl.XMLDocumentFragmentScannerImpl.scanEndElement(Unknown
Source)
 at
org.apache.xerces.impl.XMLDocumentFragmentScannerImpl$FragmentContentDispatc
her.dispatch(Unknown Source)
 at
org.apache.xerces.impl.XMLDocumentFragmentScannerImpl.scanDocument(Unknown
Source)
 at org.apache.xerces.parsers.DTDConfiguration.parse(Unknown Source)
 at org.apache.xerces.parsers.DTDConfiguration.parse(Unknown Source)
 at org.apache.xerces.parsers.XMLParser.parse(Unknown Source)
 at org.apache.xerces.parsers.AbstractSAXParser.parse(Unknown Source)
 at org.apache.avalon.excalibur.xml.JaxpParser.parse(JaxpParser.java:264)
 at org.apache.avalon.excalibur.xml.JaxpParser.parse(JaxpParser.java:215)
 at
org.apache.cocoon.components.source.AbstractStreamSource.toSAX(AbstractStrea
mSource.java:206)
 at
fr.gouv.culture.oai.AbstractOAIHarvester.receiveRequest(AbstractOAIHarvester
.java:502)
 at
fr.gouv.culture.oai.AbstractOAIHarvester.receiveSynchronizedRequest(Abstract
OAIHarvester.java:473)
 at
fr.gouv.culture.sdx.oai.AbstractDocumentBaseOAIHarvester.targetTriggered(Abs
tractDocumentBaseOAIHarvester.java:815)
 at
fr.gouv.culture.util.apache.avalon.cornerstone.services.scheduler.SimpleTime
Scheduler$1.run(SimpleTimeScheduler.java:104)

le tout répété autant de fois qu'il y a de documents dans mon repository.

Grâce à Pierre je ne me sens pas trop seul ;)


Là où la différence devient intéressante, c'est que je refais exactement la
même chose sur un autre poste (Win 2000 Pro, SDX2.2.1) mais avec un Apache
4.1.17...

Et là..... ça ne marche pas non plus... Ouf, c'est rassurant.
Sauf que si je reviens à une ancienne version de SDX : version:2.2,
build:2004030801, là, ça marche.... !?


Alors, je me dis, reéssayons sur mon ancienne machine avec Apache 4.1.29 et
cette version de SDX

Et :

ERROR   (2004-11-15) 14:48.41:546   [sdx.framework.sdxtest2.sdxworld]
(Unknown-URI) Unknown-thread/SDXException: SDX - Document - XML : erreur
dans le document à
file://G%3A/tomcat/work/Standalone/localhost/sdx_xavier/cocoon-files/upload-dir/sdxtest2_oaiHarvests/sdxworld/harvest-2004-11-15T13%253A48%253A36Z/sdx%253Alocalhost%253A8080%253Asdxtest%252Fsdxworld%252Fbefap.sdx
 :
G%3A
java.net.UnknownHostException: G%3A
 at fr.gouv.culture.sdx.exception.SDXException.log(SDXException.java:115)
 at fr.gouv.culture.sdx.exception.SDXException.<init>(SDXException.java:103)
 at fr.gouv.culture.sdx.document.XMLDocument.parse(XMLDocument.java:208)
 at
fr.gouv.culture.sdx.document.XMLDocument.startIndexing(XMLDocument.java:174)
 at
fr.gouv.culture.sdx.documentbase.SDXDocumentBase.index(SDXDocumentBase.java:
1159)
 at
fr.gouv.culture.sdx.documentbase.SDXDocumentBase.index(SDXDocumentBase.java:
1032)
 at
fr.gouv.culture.sdx.oai.AbstractDocumentBaseOAIHarvester.storeHarvestedData(
AbstractDocumentBaseOAIHarvester.java:643)
 at
fr.gouv.culture.oai.AbstractOAIHarvester.endElement(AbstractOAIHarvester.jav
a:310)
 at
fr.gouv.culture.sdx.oai.AbstractDocumentBaseOAIHarvester.endElement(Abstract
DocumentBaseOAIHarvester.java:866)
 at org.apache.xerces.parsers.AbstractSAXParser.endElement(Unknown Source)
 at org.apache.xerces.impl.XMLNamespaceBinder.handleEndElement(Unknown
Source)
 at org.apache.xerces.impl.XMLNamespaceBinder.endElement(Unknown Source)
 at
org.apache.xerces.impl.XMLDocumentFragmentScannerImpl.scanEndElement(Unknown
Source)
 at
org.apache.xerces.impl.XMLDocumentFragmentScannerImpl$FragmentContentDispatc
her.dispatch(Unknown Source)
 at
org.apache.xerces.impl.XMLDocumentFragmentScannerImpl.scanDocument(Unknown
Source)
 at org.apache.xerces.parsers.DTDConfiguration.parse(Unknown Source)
 at org.apache.xerces.parsers.DTDConfiguration.parse(Unknown Source)
 at org.apache.xerces.parsers.XMLParser.parse(Unknown Source)
 at org.apache.xerces.parsers.AbstractSAXParser.parse(Unknown Source)
 at org.apache.avalon.excalibur.xml.JaxpParser.parse(JaxpParser.java:264)
 at org.apache.avalon.excalibur.xml.JaxpParser.parse(JaxpParser.java:215)
 at
org.apache.cocoon.components.source.AbstractStreamSource.toSAX(AbstractStrea
mSource.java:206)
 at
fr.gouv.culture.oai.AbstractOAIHarvester.receiveRequest(AbstractOAIHarvester
.java:502)
 at
fr.gouv.culture.oai.AbstractOAIHarvester.receiveSynchronizedRequest(Abstract
OAIHarvester.java:473)
 at
fr.gouv.culture.sdx.oai.AbstractDocumentBaseOAIHarvester.targetTriggered(Abs
tractDocumentBaseOAIHarvester.java:827)
 at
fr.gouv.culture.util.apache.avalon.cornerstone.services.scheduler.SimpleTime
Scheduler$1.run(SimpleTimeScheduler.java:104)

Il y a donc un problème avec les noms de fichiers, j'ai une exception G%3A,
soit G: qui correspond au disque sur lequel est installé Tomcat.


Est que cela a un sens ??
Que faire ? Installer Tomcat 4.1.17 avec une ancienne version de SDX ?


Merci de vos avis
(et d'avoir lu jusqu'au bout)


Xavier