deichman merge requestshttp://gitlab.deichman.no/digibib/deichman/-/merge_requests2020-12-11T23:20:50Zhttp://gitlab.deichman.no/digibib/deichman/-/merge_requests/61Resolve DEICH-53162020-12-11T23:20:50ZMagnus WestergaardResolve DEICH-5316Det er relativt stor overhead når vi henter data fra ES, så gikk her for å hente flere resultater én gang i stedet for å hente flere ganger. For at ikke ytelsen skulle bli påvirket i særlig grad har jeg gjort et par generelle forbedringe...Det er relativt stor overhead når vi henter data fra ES, så gikk her for å hente flere resultater én gang i stedet for å hente flere ganger. For at ikke ytelsen skulle bli påvirket i særlig grad har jeg gjort et par generelle forbedringer:
- De feltene som brukes i nøkkelen ved deduplisering i sibyl er flyttet ut som stored fields i ES. Det gjør at vi kan avgjøre om et dokument skal være med i resultatlisten eller ei uten å måtte unmarshale hele dokumentet.
- Sibyl avbryter prosessering av ES-resultater når vi har bygget et resultatsett som er så stort som klienten ba om (hvis klienten ber om 4 og vi henter 8 fra ES, men de 4 første ikke er duplikater på noen måte, så vil ikke de 4 siste prosesseres).
- Man kan med et flagg be sibyl droppe aggregeringsbiten av spørringen mot ES. Aggregeringene brukes kun der vi har filter frontend, så f. eks. på forsiden av deichman.no gjorde det bare søk etter anbefalte medier tregere enn det trengte å være.
Casen hvor vi henter anbefalte utgivelser sortert på anbefalingstidspunktet er spesialbehandlet, siden det er spesielt utsatt for duplikater. Antallet som hentes fra ES er et minimum + et multiplum av antallet klienten ber, slik at vi takler det om flere av de verkene med flest utgivelser skulle bli anbefalt like etter hverandre.
Closes DEICH-5316http://gitlab.deichman.no/digibib/deichman/-/merge_requests/60DEICH-5324 utvalgte tjenester Deichman.no2020-12-09T08:35:58ZDavid BjörkheimDEICH-5324 utvalgte tjenester Deichman.noCloses DEICH-5324Closes DEICH-5324http://gitlab.deichman.no/digibib/deichman/-/merge_requests/59DEICH-5368 DnD tjenestekatalogen2020-12-09T08:27:20ZDavid BjörkheimDEICH-5368 DnD tjenestekatalogenCloses DEICH-5368Closes DEICH-5368http://gitlab.deichman.no/digibib/deichman/-/merge_requests/58DEICH-5402 display guarantor name/phone/email input fields2020-12-11T23:21:18ZPetter Goksøyr ÅsenDEICH-5402 display guarantor name/phone/email input fieldsTil CR: selve kode-endringen er minimal, men brukte en del tid på legge på indentering i templaten, siden den var veldig vanskelig å lese uten. Orka ikke gå gjennom hele fila, da det ville tatt hele dagen. Fant ingen måte å formatere tem...Til CR: selve kode-endringen er minimal, men brukte en del tid på legge på indentering i templaten, siden den var veldig vanskelig å lese uten. Orka ikke gå gjennom hele fila, da det ville tatt hele dagen. Fant ingen måte å formatere template-toolkit filer automatisk :-/
Closes DEICH-5402http://gitlab.deichman.no/digibib/deichman/-/merge_requests/57DEICH-5283 retry SPARQL queries on http 404 (virtuoso checkpoints)2020-12-10T08:11:56ZPetter Goksøyr ÅsenDEICH-5283 retry SPARQL queries on http 404 (virtuoso checkpoints)Closes DEICH-5283Closes DEICH-5283http://gitlab.deichman.no/digibib/deichman/-/merge_requests/56DEICH-4072: Campaigns ending today should count as active. Simplify code.2020-12-04T11:05:38ZMagnus WestergaardDEICH-4072: Campaigns ending today should count as active. Simplify code.Closes DEICH-4072Closes DEICH-4072http://gitlab.deichman.no/digibib/deichman/-/merge_requests/55Resolve DEICH-5380 "Front setup"2020-12-07T09:25:31ZMattias LundmarkResolve DEICH-5380 "Front setup"Endringene her er stort sett testoppsett. Jeg har slettet en hel del gammel kode for å mocke Front. Noe vi ikke lenger trenger da Front sin api nå er åpen. Har lagt opp til at man kan starte kafka i localhost med standard-images fra conf...Endringene her er stort sett testoppsett. Jeg har slettet en hel del gammel kode for å mocke Front. Noe vi ikke lenger trenger da Front sin api nå er åpen. Har lagt opp til at man kan starte kafka i localhost med standard-images fra confluent.
Men det bør sjekkes at f-users starter opp i alle miljøer (grunnet ssl flag)http://gitlab.deichman.no/digibib/deichman/-/merge_requests/54Resolve DEICH-50312020-12-04T09:14:44ZPetter Goksøyr ÅsenResolve DEICH-5031Vi landa vel ikke helt hvordan disse jobbene skal kjøres, men slik det er nå er det altså en docker container som må kjøre på samme docker netverk som virtuoso. For å kjøre lokalt:
```
~/src/gitlab.deichman.no/digibib/deichman/jobs
> d...Vi landa vel ikke helt hvordan disse jobbene skal kjøres, men slik det er nå er det altså en docker container som må kjøre på samme docker netverk som virtuoso. For å kjøre lokalt:
```
~/src/gitlab.deichman.no/digibib/deichman/jobs
> docker build -t digibib/jobs .
~/src/gitlab.deichman.no/digibib/deichman/jobs
> docker run --network=deichman-dev --rm -it digibib/jobs "/person-description-harvester --verbose --update"
Found 777 local candidates with external descriptions
..........................................................^C
~/src/gitlab.deichman.no/digibib/deichman/jobs
> docker run --network=deichman-dev --rm -it digibib/jobs "/person-description-harvester --verbose --import"
Found 37798 local candidates without external descriptions
.....................................^C
```
Closes DEICH-5031http://gitlab.deichman.no/digibib/deichman/-/merge_requests/53DEICH-4929 add dataset dumping scripts to cronicle2020-12-11T11:53:44ZTommy SvendsenDEICH-4929 add dataset dumping scripts to cronicleCloses DEICH-4929
Denne vil legge til rette for å kunne kjøre stabile dumper av statistikk og anonymisering fra backups.
Det eneste som mangler nå for å få dette helt komplett er innlasting av data i f.eks testmiljø ved hjelp av skeduler...Closes DEICH-4929
Denne vil legge til rette for å kunne kjøre stabile dumper av statistikk og anonymisering fra backups.
Det eneste som mangler nå for å få dette helt komplett er innlasting av data i f.eks testmiljø ved hjelp av skedulert script, men data er allerede tilgjengelig, så vil tro at dette er en relativt smal sak.
Innlasting i nytt miljø er nå mye enklere, da man bare trenger å stoppe koha-db kopiere inn hele directory fra anonymized og starte opp igjen. Vi trenger ikke lenger å kjøre opp tempcontainere og slette volumer.http://gitlab.deichman.no/digibib/deichman/-/merge_requests/52DEICH-5315: Fix contributors not being visible in summary. Fix row colors and...2020-12-03T11:01:42ZMagnus WestergaardDEICH-5315: Fix contributors not being visible in summary. Fix row colors and dot column size.Closes DEICH-5315Closes DEICH-5315http://gitlab.deichman.no/digibib/deichman/-/merge_requests/51Resolve DEICH-5311 "Es scoring norm"2020-12-01T12:56:54ZMagnus WestergaardResolve DEICH-5311 "Es scoring norm"Closes DEICH-5311Closes DEICH-5311Petter Goksøyr ÅsenPetter Goksøyr Åsenhttp://gitlab.deichman.no/digibib/deichman/-/merge_requests/50Resolve DEICH-52942020-12-01T20:17:09ZMattias LundmarkResolve DEICH-5294Sammenfattet hva som er endret:
- Routen deichman.no/api/images håndteres av traefik og reverses direkte til image-cache/image-api. Blir altså ikke lenger noen redirects
- Slettet duplikate bildenedlastinger
- source sets
- Laster ikke f...Sammenfattet hva som er endret:
- Routen deichman.no/api/images håndteres av traefik og reverses direkte til image-cache/image-api. Blir altså ikke lenger noen redirects
- Slettet duplikate bildenedlastinger
- source sets
- Laster ikke fullsize for avatarer og mindre "cards"http://gitlab.deichman.no/digibib/deichman/-/merge_requests/49DEICH-5326 Mimir: Handling new predicate locationLanguage and locationClassNu...2020-12-01T20:11:59ZMattias LundmarkDEICH-5326 Mimir: Handling new predicate locationLanguage and locationClassNumberVery special handling of field 090Very special handling of field 090http://gitlab.deichman.no/digibib/deichman/-/merge_requests/48Resolve DEICH-5026 "Coassist"2020-12-02T15:56:44ZBenjaminResolve DEICH-5026 "Coassist"Closes DEICH-5026Closes DEICH-5026http://gitlab.deichman.no/digibib/deichman/-/merge_requests/47DEICH-5255: ignore partial Fine Update in C4::Overdues::UpdateFine2020-12-01T07:40:51ZBenjaminDEICH-5255: ignore partial Fine Update in C4::Overdues::UpdateFineCloses DEICH-5255Closes DEICH-5255http://gitlab.deichman.no/digibib/deichman/-/merge_requests/46DEICH-5322 add controller and resourcetype to store selectedservices and thei...2020-12-08T08:49:37ZTommy SvendsenDEICH-5322 add controller and resourcetype to store selectedservices and their titleCloses DEICH-5322Closes DEICH-5322http://gitlab.deichman.no/digibib/deichman/-/merge_requests/45DEICH-5312 expose 2 ranking parameters on search builder page2020-11-30T07:06:25ZPetter Goksøyr ÅsenDEICH-5312 expose 2 ranking parameters on search builder pageCloses DEICH-5312Closes DEICH-5312http://gitlab.deichman.no/digibib/deichman/-/merge_requests/44Resolve DEICH-5328 "Query params bug"2020-11-27T09:03:57ZDavid BjörkheimResolve DEICH-5328 "Query params bug"Closes DEICH-5328
Endret metode for hvordan man bruker url-parametere på aktørsidene.
Tidligere var url:en sannheten og appen brukte tilstanden i url for språk og fane.
Har snudd på det nå. url:en speiler tilstanden i appen.
Endret til...Closes DEICH-5328
Endret metode for hvordan man bruker url-parametere på aktørsidene.
Tidligere var url:en sannheten og appen brukte tilstanden i url for språk og fane.
Har snudd på det nå. url:en speiler tilstanden i appen.
Endret til å bruke hooks her ettersom det gir en veldig tydelig måte å behandle slike sideeffekter.
Refaktoriserte også vekk en stor stygg funksjon til fordel for noen små komponenter.http://gitlab.deichman.no/digibib/deichman/-/merge_requests/43DEICH-5363 remove old holdsqueue code, cronjobs and related sysprefs2020-11-26T10:47:13ZPetter Goksøyr ÅsenDEICH-5363 remove old holdsqueue code, cronjobs and related sysprefshttp://gitlab.deichman.no/digibib/deichman/-/merge_requests/42DEICH-5355 DEICH-5356: Fix bug where existing authority showed as...2020-11-26T11:16:43ZMagnus WestergaardDEICH-5355 DEICH-5356: Fix bug where existing authority showed as...DEICH-5355 DEICH-5356: Fix bug where existing authority showed as automatically authorized, and bug where authority was not automatically authorized when it should have been.
Closes DEICH-5355 and DEICH-5356DEICH-5355 DEICH-5356: Fix bug where existing authority showed as automatically authorized, and bug where authority was not automatically authorized when it should have been.
Closes DEICH-5355 and DEICH-5356