RE: [sdx-users] Problème indexation

[Castonguay Dave]

Bonjour!

Encore moi :) D'abord merci pour vos réponses... Cette liste est vraiment 
formidable et une aide précieuse.
Je désir revenir sur mon problème d'indexation.

Comme Martin l'a suggéré, j'ai changé l'attribut "batch" de mon upload pour le 
mettre à 10000. Ensuite, j'ai utilise Firefox... J'ai le même résultat :(

Mais contrairement à ce que Martin disait, le travail ne semble aps se 
poursuivre en arrière plan.

De plus, j'ai découvert une entrée dans mon log de Tomcat, mais je n'ai 
absolument rien dans ceux de SDX.
Voici ce que j'ai:

2004-10-06 09:40:32 StandardWrapperValve[Cocoon2]: "Servlet.service()" pour la 
servlet Cocoon2 a généré une exception
java.lang.OutOfMemoryError

Il semble donc que j'ai un problème de memoire insuffisante... J'ai 1 Gb sur ma 
machine. 
Remarquer je ne suis pas un expert Tomcat (en passant j'ai la version 5.0.28), 
c'est peut-être un problème de configuration/allocation de memoire... Pourtant 
j'ai ajouté la ligne:
set JAVA_OPTS=-Xms128m -Xmx512m

Dans le fichier catalina.bat, ce qui en principe devrait assurer un minimum de 
128 mb pour ma JVM... Ça me semble suffisant non?

Alors, des idées? Je ne sais vraiment plus où regarder. Je vois que mon 
problème est sans doute lié à autre chose que SDX, mais je suis un peu beaucoup 
novice dans le domaine des webapps, alors s'ils y a des experts qui peuvent  me 
conseiller, je suis preneur :)

Aussi, Martin mentionnait de faire appel directement à l'URL dans un wget 
Linux... Euh, je suis pas certain de ce que tu entend par wget... Un script? 
Quel langage? Dans le fond, ce que tu me dis, c'est de faire un petit 
programme/script qui lance une requete http sur l'url pour mettre en branle 
l'indexation, c'est cela? Dans ce cas, je ne fais que lancer la requete http en 
me balncant de la reponse?

Je retourne à mes XSP :)

Bonne journée

Dave



Bonjour,

> Mes document sont de petits fichiers XML variant entre 1k et 4k....Ce 
> qui semble être le problème, c'est que j'en ai 13 000.

Pour en rassurer certains, 13000 c'est _très peu_. Par exemple, on en a 
indexé 9 millions de tels petits documents récemment.

> Mon problème est simple, je lance l'indexation de ma base de document, 
> ça roule pendant un certain temps (15 min environ) et ensuite plus rien.

Plus rien dans le navigateur... timeout...

> En fouillant sur les archives de sdx-users, j'ai trouvé ce "thread": 
> http://lists.gnu.org/archive/html/sdx-users/2003-10/msg00044.html
> 
> Il semble faire référence au même problème que j'ai... Je suspectais un 
> problème de "timeout" de session, il semble que ce soit le cas.

Ce n'est pas un timeout de session comme tel, mais un timeout du 
navigateur, qui attends 15 minutes (par exemple, je pense que c'est le 
défaut de IE) et s'il ne reçoit rien il abandonne...

Pour t'en convaincre, essaie avec Firefox (Mozilla), le timeout est 
nettement plus long... En plus des autres bénéfices bien sûr ;-)

> Dans les réponses, on fait mention d'une "indexation off-line", est-ce 
> que quelque chose a été fait en ce sens... C'était sur une ancienne 
> version de SDX.

Non, rien de neuf là-dessus.

Mais, même si le navigateur Web en a marre, l'indexation se poursuit 
derrière! Donc normalement les 13000 documents sont indexés, non?

> Quelque'un a des conseils/solutions?

Aussi, j'ajouterais un un attribut batch="10000" dans l'élément 
<sdx:uploadDocuments/> ou l'équivalent, si ce n'est fait.

La valeur par défaut est de 25, l'index est optimisé à tous les 25 
documents, ce qui est ridicule pour de si petits documents.

Ca devrait changer radicalement les temps d'indexation, si ce n'est déjà 
fait. Ca prend plus de mémoire, mais ça devrait aller.

> Si quelqu'un a déjà un roue qui permet l'indexation "off-line", je suis 
> preneur :) J'aime pas ré-inventé l'instrument!
> Sinon, est-ce que ça vous semble possible de faire un petit programme 
> Java qui ferait l'indexation? Ici, par contre, j'ignore comment faire 
> pour s'assurer que mon programme puisse passer/utiliser le contexte de 
> mon application SDX (config etc) aux classes SDX d'indexation.

Le plus simple c'est de faire un appel d'URL, inutile de passer par du 
Java. Par exemple un wget bien paramétré en Linux devrait le faire.

Mais encore une fois, 13000 petits documents avec un batch approprié, ce 
n'est pas beaucoup, et sûrement pas assez pour décourager le timeout de 
Firefox, c'est du moins mon expérience.

A bientôt,

Martin Sévigny



_______________________________________________
sdx-users mailing list
address@hidden
http://lists.nongnu.org/mailman/listinfo/sdx-users