29 April 2020

Maak een plan voor je datamigratie bij nieuwe applicaties!

Wanneer je je bestaande applicatielandschap wil gaan vervangen of een ouder systeem wil uitfaseren, komt er behoorlijk wat op je af. Waar moeten de nieuwe applicaties aan voldoen? Zijn er integraties nodig met andere systemen? Waar heeft de business behoefte aan? Welke functionaliteiten gaan mijn processen ondersteunen? Dat zijn belangrijke vragen om vooraf te stellen, maar denk ook na over de migratie van je data uit de bestaande systemen! Want zonder bestaande data in de nieuwe applicaties kunnen deze vaak niet optimaal worden gebruikt door medewerkers of klanten. 

In de nieuwe applicaties wordt vaak gebruik gemaakt van data uit de bestaande systemen of het te vervangen systeem om klanten te kunnen bedienen, analyses te maken of andere business processen uit te voeren of te ondersteunen. Daarom is het belangrijk vooraf helder in kaart te brengen hoe de datamigratie aangepakt gaat worden. Een datamigratie is niet alleen een stuk programmatuur wat gemaakt moet worden maar kent ook stappen die genomen moeten worden voor de beoordeling van data. Dit zijn vaak handmatige (menselijke) beoordelingen.

Stel de juiste vragen

Om in je nieuwe applicatie toegang tot je data te hebben, is het van belang vooraf goed na te denken over de volgende zaken en deze op te nemen in een migratieplan:

  • Welke systemen zijn betrokken bij de migratie?
  • Welke data wil je overzetten naar je nieuwe applicatie(s)?
  • Heb je deze data echt allemaal nodig? Of kun je van een deel van de data ook accepteren dat ze er niet (meer) zijn?
  • Hoe ga je om met een andere structuur in de nieuwe applicatie? De kans dat de structuur van de data in de nieuwe applicatie exact gelijk is, is niet groot. Hoe moeten bepaalde velden, bijvoorbeeld, ‘vertaald’ worden?
  • Hoe zorg je dat de data uit het oude systeem in een hoge kwaliteit in de nieuwe systemen terecht komen?

Die laatste lichten we graag nog even toe.

Verbeter de datakwaliteit!

Om optimaal gebruik te kunnen maken van de data in je nieuwe systeem, moet deze wel compleet en up-to-date zijn. Helaas is het zo dat data snel ‘vervuild’ of verouderd raakt. Het is bekend uit studies en analyses dat per jaar maar liefst minimaal 5% van data in systemen niet meer compleet of actueel is geworden. Zo kun je in een proces in de nieuwe software bijvoorbeeld er vanuit gaan dat van iedere klant een telefoonnummer en e-mailadres bekend is, zodat je te allen tijde contact met hem op kunt nemen. Maar wat als de e-mailadressen bij een deel van je klanten niet meer correct zijn? Daarom is datamigratie ook vaak een kans om je data te controleren, op te schonen en aan te vullen waar nodig.

Maak heldere afspraken

Een vast onderdeel van je datamigratieplan bestaat uit duidelijke afspraken. Afspraken over: “welke data kunnen en moeten we geautomatiseerd overzetten? Van welke data accepteren we dat ze helemaal niet gemigreerd kunnen worden? En welke data zijn zo belangrijk voor ons dat we ze desnoods handmatig opnieuw in willen voeren?” Er zijn namelijk in ieder datamigratie-project scenario’s te bedenken waarin je niet met 100% zekerheid kunt zeggen dat A in het oude systeem B is in het nieuwe systeem. Vaak kun je hierbij de 80-20 regel aanhouden: 80% van de data kun je volledig automatisch overzetten en vormt geen enkel probleem. De overige 20% valt uit. Vooral daarover moet je vooraf overeenstemming bereiken. Laat je een betrokken team of een specialist naar deze data kijken? Laat je de data handmatig aanpassen, wijs je deze af of laat je de data handmatig opnieuw invoeren?

Bepaal ook vooraf hoe je uiteindelijk ‘live’ wil gaan met je nieuwe systemen. Ga je in één keer over? Of doe je het liever per dossier, project, klant of vestiging? Een andere mogelijkheid is om eindgebruikers te laten bepalen wanneer zij een klant vanuit het nieuwe systeem gaan bedienen. Dan is het wel zaak deze klant in het oude systeem te blokkeren.

Testen en controleren

Natuurlijk zet je niet ‘zomaar’ alle data over. Je maakt migratieprogrammatuur en gaat de migratie testen. Tijdens deze tests laat je alle data ook nog controleren. Zo weet je precies of de testmigratie een succes was en je echt kunt gaan migreren in een productieomgeving.

Zo’n test en controle kan er als volgt uitzien: stel, je gaat 1 miljoen facturen migreren naar het nieuwe systeem. Bij elkaar hebben deze een totaal factuurbedrag van 56.303.611,98 euro. Na de migratie kun je relatief eenvoudig controleren wat het totaal factuurbedrag in het nieuwe systeem is. Komt dat overeen? Dan is de testmigratie met grote zekerheid goed gegaan. Steekproeven en controle-functionaliteiten kunnen dit daarna bevestigen en je kunt de data over gaan zetten naar het nieuwe systeem!

Hulp nodig bij datamigratie?

We hebben voor klanten al vaker datamigraties gedaan. Elke datamigratie is uniek en kent uitdagingen. Zo hebben we voor een klant in het financiële domein duizenden klantdossiers uit een Microsoft Access database overgezet naar een nieuw landschap van Mendix-applicaties. Door middel van totaaltellingen en controles is de migratie buiten werktijd succesvol uitgevoerd met minimale uitval die handmatig gecorrigeerd moest worden.

Migraties kunnen ook gefaseerd uitgevoerd worden. Dit hebben we gedaan bij een landelijk opererend groot bedrijf waar per vestiging kon worden besloten data te migreren van het oude, in PHP ontwikkelde, naar het nieuwe Mendix-systeem. Per vestiging werd eerst de datakwaliteit verbeterd (zowel handmatig als via geautomatiseerde processen) en daarna na goedkeuring van de eindgebruiker overgezet.

Soms komt het voor dat datamigraties minder complex zijn en simpel kunnen worden geïmporteerd in de nieuwe applicaties middels bijvoorbeeld Excel of csv-bestanden uit het oude systeem. Het gaat dan vaak om stam- of basisdata met een eenvoudige structuur.

Datamigratie