B i l a g 1 1 - P r ø v e r$ A S Q 2 3 7 2 1 4 . D O C1 / 1 1Indholdsfortegnelse1.Bilagets indhold ............................................................22.Prøver ................................ ............................................33.Funktionsprøve.............................................................44.Driftsprøve ................................ ....................................75.Materialeprøve.............................................................96.Liste over kravopfyldelse ...........................................11
B i l a g 1 1 - P r ø v e r$ A S Q 2 3 7 2 1 4 . D O C2 / 1 11.Bilagets indholdDette bilag skal udfyldes af Tjenesteyder i forbindelse med tilbudet.Dette bilag beskriver krav til de prøver der som minimum skal gennemføres i ko n-traktens løbetid.Et info-punkt er en vejledning om, hvordan Tjenesteyder skal udforme sit tilbud, infopunkter er angivet på følgende måde:Info. 0.Dette er et eksempel på et infopunktDette er et eksempel på en nærmere beskrivelse mht. udformning af tilbud.
B i l a g 1 1 - P r ø v e r$ A S Q 2 3 7 2 1 4 . D O C3 / 1 12.PrøverI forbindelse med etableringen skal der gennemføres en række afprøvninger. For-målet med disse er at sikre, at Undervisningsministeriet har fået den aftalte yde lse.Som angivet i kontrakten skal der gennemføres fø lgende prøver:-Funktionsprøve: Hvor systemets funktioner og delfunktioner afpr øves i fo r-hold til det aftalte –u-gervenlighedstest, integrationstest, svartidstest for et ikke belastet system og en vurdering af brugervejledning og systemdokumentation.-Driftsprøve: Hvor systemets t ilgængelighed måles. Driftsprøven omfatter en løbende svartidsmåling af systemet under hele driftsprøven. Herudover skal der gennemføres en belastningsprøve under hele driftsprøven der demonstr e-rer at systemet kan yde det aftalte. Svartiderne indgår i tilg ængelighedsbere g-ningen. Driftsprøven omfatter herudover bl.a. en vurd ering af driftsprocedurer og dokumentation.-Materialeprøve: Hvor materialerne gennemgås mhp. en efterprøvning af hvo r-vidt det aftalte er leveret.Dette bilag kan desuden finde anvendelse på andre tidspunkter, fx ved lancering af yderligere, på kontraktstidspunktet, endnu ikke planlagte versioner.Info. 1.Redegørelse for organisering af prøverTjenesteyder skal redegøre for hvorledes prøver organiseres og gennemføres. Alle prøver skal gennemfør es hos Undervisningsministeriet eller på eksterne lok a-tioner udpeget af Undervisningsministeriet. Prøverne gennemføres på en standard PC med Web browser og 64kb opkobling til Internettet. Prøverne skal gennemf ø-res på realistisk vis og med simulering af ful dt antal brugere, sådan som det er b e-skrevet i bilag 12.Det skal af en testdrejebog fremgå, hvilke krav, der opfyldes med leverancen. Det skal af testen fremgå, om dette overholdes.
B i l a g 1 1 - P r ø v e r$ A S Q 2 3 7 2 1 4 . D O C4 / 1 13.FunktionsprøveFormålet med prøven er at konstatere, om samtlige systeme ts funktioner fungerer, og at samtlige øvrige ydelser er leveret i overensstemmelse med, hvad der er a f-talt, og hvad Undervisningsministeriet kan forvente. I prøven indgår ligeledes elementer af måling af datakvalitet.Mindstekrav 1. Gennemførelse af funktionsprøverTjenesteyder skal, i det i kontrakten foreskrevne omfang, gennemføre funktion s-prøver.Krav 1.Sammenhæng mellem tidspunktet for funktionsprøve og hovedtidsplanTidspunktet for funktionsprøver på planlagte versioner skal fremgå af kontraktens bilag 1 - Hovedtidsplan og betalingsplan.Krav 2.Forberedelse af funktionsprøveInden prøven påbegyndes, skal de fornødne øvrige aktiviteter være tilendebragt. fx Tjenesteyders test og kvalitetssikring samt al tilhørende dokumentation være leveret til Undervisningsministeriet.Krav 3.Ansvar for funktionsprøvePrøven gennemføres af Tjenesteyder i samarbejde med Undervisningsministeriet. Det er Undervisningsministeriets ansvar at påse, at prøven gennemføres ko rrekt. Krav 4.Funktionsprøvens elementerTjenesteyder skal gennemføre funktionsprøver, som minimum omfatter følge nde elementer:Forberedende test, hvor systemets kerne funktioner testes af meget få t estere, med det formål at konstatere, om en test kan igangsættes. Dette sker, før de egentlige test igangsættes.Funktionstest (Komponentenhedstest), hvor det testes, at systemets enkelte komponenter fungerer korrekt og efter specifikationerne.Integrationstest, hvor det testes, at systemets funktionalitet i sammenhæng fungerer korrekt og efter specifikationerne –UNI-login.Interoperabilitetstest, hvor det testes, om systemet fungerer med de aftalte operativsystemer (versioner) og browsere (versioner).Indholdstest, hvor kvaliteten af indholdet testes, herunder at rapporter fra it-baserede test (især den tilbagemelding til læl-dre) er retvisende, meningsfulde og troværdige.
B i l a g 1 1 - P r ø v e r$ A S Q 2 3 7 2 1 4 . D O C5 / 1 1Brugervenlighedstest, hvor systemets funktionsmåde og design t estes for om, systemet er let at forstå, let at overskue og let at anvende set ud fra en ren br u-gersynsvinkel.Belastningstest, hvor systemet testes for skalerbarhed i relation til svartider.Sikkerhedstest, hvor procedurerne for systemets data og adgangssikkerhed testes –Test af dokumentation, hvor designdokumentation, dokumentation på data, opgavetyper, datastrukturer m.m. og evt. brugerdokumentation skal testes. Dette kan delvist ske ved, at testdrejebøgerne bl.a. udarbejdes med udgang s-punkt i den nævnte dokumentation. Krav 5.Testplanens indholdTestplanen bør hænge sammen med hovedti dsplanen og bør indeholde en grundig test af den samlede konfiguration og funktionalitet inden gennemførelsen af pr ø-ven.Krav 6.Test-drejebogTjenesteyder har ansvaret for, at der udarbejdes en drejebog for gennemføre lsen af prøverne. Drejebogen godkendes af Und ervisningsministeriet. Drejebogen skal være til Undervisningsministeriets rådighed, gennemgang og kommentering s e-nest 20 arbejdsdage før prøvens start.Krav 7.SvartidsprøveSom et led i prøverne skal gennemføres en svartidsprøve. Formålet med svar-tidsprøven er a t kontrollere, at systemet uden belastning overholder de krav til svartider, der fremgår af bilag 12 - Servicemål.Krav 8.Fejlsituationer og fejlmeddelelserI forbindelse med prøverne fremprovokeres endvidere en række fejlsituat ioner. Systemet skal reagere på fe jlsituationer som beskrevet. En betingelse for godken-delse af prøven er, at der afgives meningsfyldte fejlmeddelelser, og at brugeren kan fortsætte på et veldefineret grundlag.Krav 9.Udarbejdelse af testrapportNår en prøve er gennemført, udarbejder Tjenesteyde r og Undervisningsministeriet i samarbejde en testrapport, der resumerer prøvens resultat. Krav 10.Funktionsprøvens godkendelseEn prøve skal anses for b estået, når den er bestået uden kvalificerende fejl, det vil sige aflagt uden alvorlige eller betydende fejl jf. beskrivelsen i bilag 12. Under-
B i l a g 1 1 - P r ø v e r$ A S Q 2 3 7 2 1 4 . D O C6 / 1 1visningsministeriet skal - uden ugrundet ophold - efter prøvens afslutning skrif t-ligt meddele Tjenesteyder, hvorvidt:prøven er bestået med angivelse af eventuelle fejl i en mangelliste, ellerprøven ikke er bestået med an givelse af begrundelse.Krav 11.Fejlrettelse inden driftsprøveDet påhviler Tjenesteyder snarest og inden driftsprøvens start at rette alle fejl, som er beskrevet i mangellisten. Tjenesteyder skal i fornødent o mfang over for Undervisningsministeriet demonstrere, at afhjælpning er sket.
B i l a g 1 1 - P r ø v e r$ A S Q 2 3 7 2 1 4 . D O C7 / 1 14.DriftsprøveFormålet med driftsprøver er at konstatere, hvorvidt leverancen overholder de o p-stillede servicemål og kvalitetkrav, jf. bilag 12 og 13. Undervisningsministeriet kan kræve driftsprøver gennemført for hver ny version, uanset om samme funkti-onalitet er testet i tidligere versioner. Mindstekrav 2. Gennemførelse af driftsprøverTjenesteyder skal, i det i kontrakten foreskrevne omfang, gennemføre driftspr ø-ver.Krav 12.Sammenhæng mellem tidspunktet for driftsprøve og hovedtidsplanTidspunktet for driftsprøver for planlagte versioner skal fremgå af kontraktens bilag 1 - Hovedtidsplan og betalingsplan.Krav 13.Forberedelse af driftsprøverInden driftsprøver påbegyndes, skal de relevante funktionsprøver være godkendt af Undervisningsministeriet.Krav 14.Ansvar for driftsprøverDriftsprøver gennemføres af Tjenesteyder i samarbejde med Undervisningsmin i-steriet. Det er Undervisningsministeriets ansvar at påse, at prøven gennemføres korrekt.Krav 15.BelastningsprøveSom en del af driftsprøven gennemføres en belastningsprøve i hele driftsprøvens periode. Under belastningsprøven skal systemet belastes med 90% af den aftalte kapacitet jf. bilag 12 - Servicemål.Som et led i driftsprøven skal der løbende simuleres et antal virtuelle brugere, s å-ledes at systemets evne til at håndt ere flere samtidige brugere bliver afdækket på betryggende vis.Krav 16.Driftsprøvens periodeDriftsprøver skal strække sig over en periode på mindst 20 arbejdsdage, hvor sy-stemet er i fuld drift. Driftsprøven fortsætter, indtil de aftalte servicemål er over-holdt i 20 arbejdsdage i træk, eller Undervisningsministeriet hæver kontrakten i henhold til bestemmelserne herom.
B i l a g 1 1 - P r ø v e r$ A S Q 2 3 7 2 1 4 . D O C8 / 1 1Krav 17.Driftsprøvens godkendelseDriftsprøven skal anses for bestået, når den er bestået uden kvalificerende fejl, det vil sige aflagt uden alvorlige eller betydende fejl jf. beskrivelsen i bilag 12. Un-dervisningsministeriet skal -uden ugrundet ophold - efter driftsprøvens a fslutning skriftligt meddele Tjenesteyder, hvorvidt: prøven er bestået med angivelse af eventuelle fejl i en mangelliste, ellerprø ven ikke er bestået med angivelse af begrundelse.Krav 18.Fejlrettelse efter driftsprøveDet påhviler Tjenesteyder inden lancering at rette alle fejl, som er beskrevet i mangellisten. Tjenesteyder skal i fornødent omfang over for Undervisningsmin i-steriet demonstrere, at afhjælpning er sket.
B i l a g 1 1 - P r ø v e r$ A S Q 2 3 7 2 1 4 . D O C9 / 1 15.MaterialeprøveMindstekrav 3. Gennemførelse af materialeprøverTjenesteyder skal gennemføre materialeprøver.Krav 19.Materialeprøvens formålMaterialeprøve gennemføres med det formål at konstatere: Hvorvidt den Generelle vejledning for intern løb ende evaluering i folkeskolen er leveret med de aftalte genstande med aftalt indhold i aftalt design i aftalt kvalitet (bilag 3, bilag 4 og bilag 13).Hvorvidt de Fagspecifikke inspirationsmaterialer er leveret med de aftalte genstande (herunder evalueringsmetoder og antal eksempler per fag) smed af-talt indhold i aftalt design i aftalt kvalitet (bilag 3, bilag 4 og bilag 13).Hvorvidt Materialer til brug ved sprogscreening af tosprogede med de aftalte genstande med aftalt indhold i aftalt design i aftalt kvalitet (bilag 3, bilag 4 og bilag 13).Krav 20.Ansvar for materialeprøverMaterialeprøver gennemføres af Tjenesteyder i samarbejde med Undervisning s-ministeriet. Det er Undervisningsministeriets ansvar at påse, at prøven gennemf ø-res korrekt.Krav 21.Test-drejebog for materialeprøvenTjenesteyder har ansvaret for, at der udarbejdes en drejebog for gennemføre lsen af materialeprøverne. Drejebogen godkendes af Undervisningsministeriet. Drejeb o-gen skal være til Undervisningsministeriets rådighed, gennemgang og komment e-ring senest 10 arbejdsdage før prøvens start.Krav 22.Materialeprøvens godkendelseMaterialeprøven skal anses for bestået, når den er bestået uden kvalificerende fejl, Tjenesteyder skal udarbejde beståelseskrav i henhold til Krav 19. Undervisnings-ministeriet skal - uden ugrundet ophold - efter materialeprøvens afslutning skrif t-ligt meddele Tjenesteyder, hvorvidt: prøven er bestået med angivelse af eventuelle fejl i en mangelliste, ellerprøven ikke er bestået med angivelse af begrundelse.
B i l a g 1 1 - P r ø v e r$ A S Q 2 3 7 2 1 4 . D O C1 0 / 1 1Krav 23.Fejlrettelse efter materialeprøveDet påhviler Tjenesteyder inden lancering at rette alle fejl, som er beskrevet i mangellisten. Tjenesteyder skal i fornødent omfang over for Undervisningsmin i-steriet demonstrere, at afhjælpning er sket.
B i l a g 1 1 - P r ø v e r$ A S Q 2 3 7 2 1 4 . D O C1 1 / 1 16.Liste over kravopfyldelseDer henvises til bilag 3 for en konkret vejledning i, hvordan listen skal udfyldes.Info. 13Redegørelse for organis ering af prøverMindstekrav 14Gennemførelse af funktionsprøverKrav 14Sammenhæng mellem tidspunktet for funktionsprøve og hove dtidsplanKrav 24Forberedelse af funktionsprøveKrav 34Ansvar for funktionsprø veKrav 44Funktionsprø vens elementerKrav 55Testplanens indholdKrav 65Test-drejebogKrav 75SvartidsprøveKrav 85Fejlsituationer og fejlmeddelelserKrav 95Udarbejdelse af testrapportKrav 105Funktionsprøvens godke ndelseKrav 116Fejlrettelse inden driftsprø veMindstekrav 26Gennemførelse af driftsprøverKrav 127Sammenhæng mellem tidspunktet for driftsprøve og hovedtidsplanKrav 137Forberedelse af driftsprø verKrav 147Ansvar for driftsprøverKrav 157BelastningsprøveKrav 167Driftsprøvens period eKrav 178Driftsprøvens godkendelseKrav 188Fejlrettelse efter driftsprøveMindstekrav 39Gennemførelse af materialeprøverKrav 199Materialeprøvens formålKrav 209Ansvar for materialeprøverKrav 219Test-drejebog for materialeprøvenKrav 229Materialeprøvens godkendelseKrav 2310Fejlrettelse efter materialeprøve
