Re: [sdx-users] Moisson OAI : le retour de la vengeance :-(

[Pierre Dittgen]

> Merci, je teste avec cette version et vous tiens au courant.

Rebonsoir,
(dernier post avant de vous souhaiter une bonne nuit)

Voici les résultats de mes tests avec la version de SDX conseillée, la 
même erreur est répétée de nombreuses fois dans sdx.log :
fr.gouv.culture.sdx.exception.SDXException: SDX - Serveur - 
Configuration : An SDX application must have at least one repository; 
please revise your configuration file, 
"file:/C:/dev/Tomcat_4.1.27-sdx2.2/webapps/sdx-22/svgcollection/conf/application.xconf:70:120", 
and add a <sdx:repositories> element and at least one <sdx:repository> 
subelement.
[stack trace skipped]

Effectivement, ma définition de documentBase n'en contient pas :
<sdx:documentBase id="photos" type="lucene" keepOriginalDocuments="true" 
useCompoundFiles="true" autoOptimize="true">
  <sdx:oai-harvester adminEmail="address@hidden">
    <sdx:oai-data-providers>
       <sdx:oai-repository 
url="http://vernier.gamsau.archi.fr:9000/sdx23/sdx/oai/photos/ressource";>
          <sdx:update type="periodic">
                <sdx:offset>30000</sdx:offset>
                <sdx:period>3600000</sdx:period>
          </sdx:update>
          <sdx:oai-verb name="ListRecords" metadataPrefix="oai_dc"/>
        </sdx:oai-repository>
     </sdx:oai-data-providers>
  </sdx:oai-harvester>
<sdx:fieldList xml:lang="fr-FR" variant="" 
analyzerConf="/sdx/resources/conf/analysis/fr.xml">
  <sdx:field name="title" type="word" default="true"/>
  <sdx:field name="subject" type="word" brief="true"/>
  <sdx:field name="keyword" type="field" brief="true"/>
</sdx:fieldList>
<sdx:index>
 <sdx:pipeline>
   <sdx:transformation id="index-record" type="XSLT" 
src="index-record.xsl"/>
 </sdx:pipeline>
</sdx:index>
</sdx:documentBase>

Qu'à cela ne tienne, je rajoute une définition de repository comme suit :
<sdx:repositories>
  <sdx:repository id="photosRepo" type="FS" 
baseDirectory="repos/photos" depth="0" extent="100"/>
</sdx:repositories>

J'arrête Tomcat, supprime les sous-dossiers de conf (repos, db, 
databases et users), vide le dossier logs, relance Tomcat et consulte à 
nouveau le fichier sdx.log. Cette fois-ci, le fichier log est remplie 
d'erreur comme ceci :
fr.gouv.culture.sdx.exception.SDXException: There was a problem 
searching the database with the id, "sdx_oai_harvester_photos".
        at fr.gouv.culture.sdx.utils.Utilities.logException(Utilities.java:297)
	at 
fr.gouv.culture.sdx.oai.AbstractDocumentBaseOAIHarvester.shouldHarvestDocument(AbstractDocumentBaseOAIHarvester.java:924)
[...]

puis d'exceptions (on progresse !!!) Fichier non trouvé :
java.io.FileNotFoundException: 
C:\dev\Tomcat_4.1.27-sdx2.2\work\Standalone\localhost\sdx-22\cocoon-files\upload-dir\svgcollection_oaiHarvests\photos\harvest-2004-10-25T17:15:25Z\sdx:vernier.gamsau.archi.fr:9000:photos\ressource\GR_105586209144_ap-delphes-17-thermopyles.sdx 
(Syntaxe du nom de fichier, de répertoire ou de volume incorrecte)
        at fr.gouv.culture.sdx.exception.SDXException.log(SDXException.java:115)
        at 
fr.gouv.culture.sdx.exception.SDXException.<init>(SDXException.java:103)
        at fr.gouv.culture.sdx.document.XMLDocument.parse(XMLDocument.java:208)
	at 
fr.gouv.culture.sdx.document.XMLDocument.startIndexing(XMLDocument.java:174)
	at 
fr.gouv.culture.sdx.documentbase.SDXDocumentBase.index(SDXDocumentBase.java:1183)
	at 
fr.gouv.culture.sdx.documentbase.SDXDocumentBase.index(SDXDocumentBase.java:1056)
	at 
fr.gouv.culture.sdx.oai.AbstractDocumentBaseOAIHarvester.storeHarvestedData(AbstractDocumentBaseOAIHarvester.java:631)
	at 
fr.gouv.culture.oai.AbstractOAIHarvester.endElement(AbstractOAIHarvester.java:310)
	at 
fr.gouv.culture.sdx.oai.AbstractDocumentBaseOAIHarvester.endElement(AbstractDocumentBaseOAIHarvester.java:854)
[...]

Le problème qui saute aux yeux est celui du nommage des fichiers. Sous 
Windows (je ne saurai plus dire pour Linux), les noms de fichiers ne 
peuvent pas contenir le caractère ":". Les noms de fichiers basés sur 
les identifiants OAI ne devraient-ils pas être "échappés" par SDX ?

Bonne soirée
Pierre
--
Pierre Dittgen
PASS Technologie http://www.pass-tech.fr