Verktøy for behandling av arkivuttrekk

Arkivverket bruker forskjellige verktøy til å behandle og beskrive arkivuttrekk. Verktøyene er dedikert til forskjellige typer arkivuttrekk.

ArkN4 brukes til å teste arkivuttrekk fra Noark 4-system.

ArkN4 kjøres under UNIX/Linux og er programmert i Perl mot en MySQL-database. Verktøyet distribueres under en GNU General Public Licence (GPL) v.2.0 i den tilstand det befinner seg i øyeblikket.

Informasjon om videreutvikling og nye versjoner skjer på Arkivverkets ArkN4-forum [LENKE] som er opprettet for dette formålet.

ArkN4 distribueres fritt til alle interesserte

Verktøyet er lagt ut for nedlasting nedenfor. [faktaboks]

Riksarkivaren har valgt å distribuere ArkN4 av flere grunner:

  • Først og fremst er det ønskelig å få testet ut ArkN4 best mulig. Vi håper derfor at brukerne vil rapportere de feil og mangler som de oppdager i programmet, og vi ser gjerne at andre bidrar til videreutvikling av verktøyet, slik GPL-lisensen åpner for.
  • Dernest håper vi at ArkN4 kan være til hjelp for Noark 4-leverandørene i deres kvalitetssikring av uttrekksfunksjonene i sine systemer.
  • For det tredje skal arkivskapere og andre uttrekksprodusenter selv kunne teste sine arkivuttrekk for deponering/avlevering før overføring til Riksarkivet. På den måten håper vi at kvaliteten på de arkivuttrekkene vi mottar vil bli betraktelig bedre.

Siste versjon (v 1.8) er fra 31. januar 2012.

Denne versjonen har fått rettet opp flere av de svakheter som den forrige versjonen var beheftet med. De viktigste svakhetene som er rettet opp fra forrige versjon:

  • Forbedret filreferansekontroll i arkivuttrekk med elektroniske dokumenter. Valideringen av filer som inneholder dokumentreferanser er blitt 500 – 800 ganger raskere.
  • Ytterligere forbedret fremmednøkkelkontroll.

En fyldigere oversikt over i alt 12 forbedringer finnes i statusrapporten som også inneholder en oversikt over gjenstående kjente/innrapporterte feil.

Utbedringer t.o.m. versjon 1.8 vises i endringsloggen.

ArkN4 er i daglig bruk i Arkivverket. Vi regner med at det fremdeles finnes ukjente feil, så tilbakemeldinger på ArkN4 er svært ønskelig. 

Nedlastings- og installasjonsveiledning

ArkN4 kjøres kun under UNIX/Linux.

Utpakking av tarball-filen (tar.gz) gjøres ikke av programmet, dette gjøres utenom på standard måte.

ArkN4 er programmert i Perl og bruker en rekke Perl-moduler. Hvilke Perl-moduler som følger med forskjellige Linux-distribusjoner, varierer. Derfor er det sannsynlig at noen moduler må installeres fra CPAN (The Perl Archive Network). Hvordan dette gjøres, er beskrevet i installasjonsveiledning.

Tekniske opplysninger om Riksarkivets installasjon:

Riksarkivet kjører p.t. ArkN4 på

  • Ubuntu Server Edition
  • Perl
  • MySQL

I prinsippet skal ArkN4 kunne kjøres på enhver UNIX-/Linux-versjon, men vi anbefaler å bruke en som ligner vår, dvs. Ubuntu Server Edition.

Kvalitetssikring av testede arkivuttrekk

At arkivuttrekket testes feilfritt i den distribuerte versjonen av ArkN4, er ingen garanti for godkjenning hos Riksarkivet.

Arkivuttrekk som er testet feilfritt med den distribuerte versjonen av ArkN4, vil alltid vil bli testet grundig på nytt når de kommer til Riksarkivet.

Dersom Riksarkivets testing viser at arkivuttrekket inneholder feil eller mangler, har arkivskaperen ansvaret for å få produsert et nytt arkivuttrekk. 

Kontakt og henvendelser angående ArkN4

E-post: arkn4@arkivverket.no

Dersom noen korrigerer eller videreutvikler ArkN4 i tråd med GPL-lisensen, kan dette meldes til arkn4@arkivverket.no.

Innsending og videre distribusjon (deling) av filer kan avtales med Riksarkivet.

Programmet kontrollerer Noark 4-arkivuttrekk for validering. Resultatet visualiseres i programmet med fargegradering, og kan lagres som en tekstfil med sammendrag over eventuelle feil.

XmlCheck 1.4.jar 169,18 kB [død lenke] 

Brukerveiledning.docx 168,13 kB [død lenke]

Arkade brukes til å teste arkivuttrekk og datasett før og etter leveranse til arkivdepot.

Verktøyet forutsetter en datasettbeskrivelse som følger ADDML-standarden. Arkade versjon 4 er utviklet i Java, og tester fagsystemuttrekk og Noark 5-arkivuttrekk.

Hvem kan bruke Arkade?

Arkade kan distribueres til alle forvaltningsorgan i Norge. Målgruppen er primært arkivskapere i statlig og kommunal sektor, foruten Arkivverket selv, men private aktører skal også kunne ta verktøyet i bruk.

Verktøyet skal brukes som et test- og dokumentasjonssystem ved arkivuttrekk. Det er en målsetning å øke kvalitet på arkivuttrekk, og redusere ressursbruken ved overføring av arkivmaterialet.

Gjeldende versjon: Arkade 4

Programmet kan fås på forespørsel til post@arkivverket.no. Denne versjonen kan teste arkivuttrekk etter Noark 5-standarden og fagsystem ("flate filer") beskrevet ved ADDML.

Neste versjon: Arkade 5

Arkade versjon 5 er under utvikling og vil bli lansert første halvår 2017. Programmet er et verktøy for å teste alle datasett som er beskrevet i henhold til ADDML standarden.

Arkade versjon 5 vil være vesentlig utvidet og forbedret i forhold til versjon 4, med:

  • Enkel nedlasting og installasjon
  • Intuitivt brukergrensesnitt, der alle pågående tester og oppgaver visualiseres
  • Mulighet for å teste alle aktuelle versjoner av Noark (Noark 3, Noark-4, Noark 5)
  • Mulighet for å teste ethvert datasett beskrevet i henhold til ADDML standarden (versjon 8.3)
  • Mulighet til også å bruke "prosedyrer" (analyser og tester) fra ADDML definisjonen
  • Forbedret logging og rapportering
  • Mulighet for å pakke datasett i "pakker" SIP-er eller AIP-er (se arkivverkets sider om OAIS)

Det forventes at arkivskapere tar i bruk Arkade versjon 5 for å teste arkivuttrekk før oversendelse til depotinstitusjon.

Arkadukt er et verktøy for å lage eller redigere datasettbeskrivelser (teknisk metadata-beskrivelse) av uttrekk. Beskrivelsen vil følge Arkivverkets egen standard (ADDML) for denne typen beskrivelser.

Hvem er verktøyet for:

  • for arkivskapere som skal overføre elektronisk arkivmateriale til arkivdepot
  • for arkivdepot som skal teste mottatt arkivmateriale.

Arkadukt er i bruk hos Arkivverket, men kan også være aktuell for andre arkivdepoter i Norge.

Gjeldende versjon: Arkadukt 2.0

Arkadukt 2.0, er utviklet i Java. Denne versjonen lager beskrivelser i henhold til ADDML 8.2, men kan også lese ADDML 7.3. 

Denne versjonen kan fås på forespørsel til Arkivverket, ved å sende forespørselen per e-post til post@arkivverket.no.

Hva er en datasettbeskrivelse?

En datasettbeskrivelse beskriver strukturen og innholdet i en samling datafiler.

Datasettbeskrivelsen er en XML-fil med tekniske metadata, og i noen tilfeller med referanse til andre beskrivende filer som XML-skjemaer.

XML-filen hører sammen med datafilene den beskriver og lagres vanligvis sammen med dem.

Egenskaper ved Arkadukt

Programmet leser, viser og skriver ADDML i formatet XML, på gjeldende ADDML-versjon. fungerer i stor grad som en editor som leser og skriver XML-filer, men avviker ved at det er spesialtilpasset gjeldende ADDML-versjon.

Hvilken som helst tekst- eller XML-editor kan brukes for å lage datasettbeskrivelser, men Arkadukt forenkler jobben og sørger for at Arkivverkets spesielle bruk av ADDML blir ivaretatt.

Følgende egenskaper gjelder fra og med versjon 2.0 og ADDML 8.2:

  • er en Java-applikasjon, som krever Java 7 eller nyere
  • er plattformuavhengig
  • validerer datasettbeskrivelsene i henhold til ADDML-skjemaet og Arkivverkets tilleggsregler
  • leser datasettbeskrivelser fra tidligere versjoner av ADDML (ADDMML 7.3) og konverterer dem til gjeldende versjon
  • gir mulighet for å registrere informasjon om ”flate filer” og dataobjekter generelt
  • gir mulighet for å registrere informasjon om dataobjekter i XML-format
  • gir mulighet for å angi prosesseringsinformasjon, som er aktuelt når Arkadukt brukes sammen med testverktøyet Arkade

INFO.TXT

Sammen med et arkivuttrekk til Riksarkivet ønsker vi å motta en info-fil med overordnet informasjon om arkivuttrekket, jf. Riksarkivarens forskrift § 8-30 og sjekksum for arkivuttrekket.

Mest mulig informasjon i INFO.TXT sparer både arkivskaper og testerne for arbeid.

Sjekksummen for arkivuttrekket sendes separat på e-post til post@arkivverket.no.

Under finner du en mal for hva INFO.TXT bør inneholde, samt et eksempel på en ferdig utfylt info.txt for et fiktivt uttrekk.

info.txt_mal v1.txt 3,00 kB [død lenke]
info.txt_eksempel v1.txt 10,96 kB [død lenke]