RE : [sdx-users] Délocaliser SDX?

[Martin Sevigny]

Bonjour,

> -----Message d'origine-----
> De : address@hidden 
> [mailto:address@hidden De la 
> part de Pierrick Brihaye
> Envoyé : dimanche 9 février 2003 18:26
> À : address@hidden
> Objet : Re: [sdx-users] Délocaliser SDX?

> Au début, vous n'avez rien. Le système de fichiers prend donc 
> du temps pour créer des fichiers d'index. Ensuite, il y 
> ajoute de termes ; les fichiers étant ouverts, c'est rapide. 
> Il continue à ajouter des termes ; pour gagner du temps, il 
> ouvre de plus en plus de fichiers, ce qui ralentit les 
> choses, mais pas autant que s'il les ajoutait aux fichiers existants.
> 
> Cela pose un problème : si on ouvre trop de fichiers, le 
> système d'exploitation ne va pas aimer. De plus, ça prend 
> beaucoup de place sur le disque...

En passant, en SDX 2.x, cette opération se fait entièrement en mémoire,
donc pas de vrais fichiers ouverts.

> Ainsi, tous les N documents, on crée de nouveaux fichiers, on 
> lit les fichiers ouverts, on optimise leur contenu dans les 
> nouveaux fichiers et on ferme les fichiers ouverts. Ce 
> compactage/optimisation des index ce est très lent mais il 
> permet de récupérer des descripteurs de fichiers au plus 
> grand plaisir de l'OS et de l'espace disque. 
> "Accessoirement", ça permet d'avoir des recherches très rapides ;-)

Oui, lors de l'optimisation, en fait SDX fait un "merge" (au sens
Lucene) de son index en mémoire (qui contient les informations relatives
au groupe de documents tout juste indexé) avec celui sur le disque (qui
contient les informations relatives aux documents déjà indexés). Cette
opération prend de plus en plus de temps à mesure que les index prennent
du poids. Par contre, le temps d'indexation en mémoire du groupe de
documents, avant son merge, est constant.

A bientôt,

Martin Sévigny