Skip to content

GitLab

  • Menu
Projects Groups Snippets
    • Loading...
  • Help
    • Help
    • Support
    • Community forum
    • Submit feedback
    • Contribute to GitLab
  • Sign in
  • D deichman
  • Project information
    • Project information
    • Activity
    • Labels
    • Members
  • Repository
    • Repository
    • Files
    • Commits
    • Branches
    • Tags
    • Contributors
    • Graph
    • Compare
  • Issues 16
    • Issues 16
    • List
    • Boards
    • Service Desk
    • Milestones
  • Jira
    • Jira
  • Merge requests 3
    • Merge requests 3
  • Deployments
    • Deployments
    • Releases
  • Monitor
    • Monitor
    • Incidents
  • Analytics
    • Analytics
    • Value stream
    • Repository
  • Wiki
    • Wiki
  • Snippets
    • Snippets
  • Activity
  • Graph
  • Create a new issue
  • Commits
  • Issue Boards
Collapse sidebar
  • digibib
  • deichman
  • Merge requests
  • !61

Merged
Created Dec 09, 2020 by Magnus Westergaard@magnusDeveloper

Resolve DEICH-5316

  • Overview 0
  • Commits 2
  • Changes 6

Det er relativt stor overhead når vi henter data fra ES, så gikk her for å hente flere resultater én gang i stedet for å hente flere ganger. For at ikke ytelsen skulle bli påvirket i særlig grad har jeg gjort et par generelle forbedringer:

  • De feltene som brukes i nøkkelen ved deduplisering i sibyl er flyttet ut som stored fields i ES. Det gjør at vi kan avgjøre om et dokument skal være med i resultatlisten eller ei uten å måtte unmarshale hele dokumentet.
  • Sibyl avbryter prosessering av ES-resultater når vi har bygget et resultatsett som er så stort som klienten ba om (hvis klienten ber om 4 og vi henter 8 fra ES, men de 4 første ikke er duplikater på noen måte, så vil ikke de 4 siste prosesseres).
  • Man kan med et flagg be sibyl droppe aggregeringsbiten av spørringen mot ES. Aggregeringene brukes kun der vi har filter frontend, så f. eks. på forsiden av deichman.no gjorde det bare søk etter anbefalte medier tregere enn det trengte å være.

Casen hvor vi henter anbefalte utgivelser sortert på anbefalingstidspunktet er spesialbehandlet, siden det er spesielt utsatt for duplikater. Antallet som hentes fra ES er et minimum + et multiplum av antallet klienten ber, slik at vi takler det om flere av de verkene med flest utgivelser skulle bli anbefalt like etter hverandre.

Closes DEICH-5316

Assignee
Assign to
Reviewer
Request review from
Time tracking
Source branch: DEICH-5316