Az adatmigráció mindig egy kulcsfontosságú kérdés, amikor egy új rendszer kerül bevezetésre egy vállalatnál. A Teamcenter PLM rendszer BPW-Hungária Kft-nél való bevezetése kapcsán egy komplex feladatot kaptunk, amelynek része volt az adataik migrációja. Ez volt számomra a legnagyobb kihívást jelentő feladat az egész projekt során.

Az adatmigráció témakörével korábbi munkahelyem találkoztam először. Erről ebben a cikkben lehet olvasni. Az Enterprise Group-nál azt a feladatot kaptam, hogy hajtsam végre a BPW-Hungária Kft számára az adataik előkészítését, majd Teamcenterbe való feltöltését. A feladathoz mérten, rengeteg munkaórát kellett belefektettnem, de a BPW-Hungária Kft munkatársai és a saját munkatársaim is jelentős szerepet vállaltak, segítve ezzel a projekt sikeres lezárását. Ebben a cikkben részletesen szeretném bemutatni, milyen kihívásokkal kellett szembenéznem, szembenéznünk a feladat végrehajtása során.

Kinyerés

Házon belül volt már tapasztalat Insight – Teamcenter migrációval, így megkértük kollégánkat, hogy ossza meg tapasztalatait. Mivel mind a Solid Edge Insight, mint a Teamcenter fejlesztője a Siemens DIS, így őket is megkérdeztük, hogy milyen úton kell majd végighaladnunk. Az így beszerzett információkkal felvértezve, az alábbi fő feladatokat határoztuk meg.

1. Adatok és fájlok kinyerése Insight-ból fájlrendszerbe.
2. Kinyert adatok és fájlok tisztítása.
3. Kinyert adatok és fájlok előkészítése.
4. Adatok és fájlok migrációja fájlrendszerből Teamcenterbe.

Az első ponttal Tripolszki Gábor kollégám foglalkozott. Ő egyeztettet BPW-Hungária Kft. és a Siemens illetékeseivel. A Siemens eszközöket biztosít az Insight-ból való tömeges adatkinyerésre. Viszont a BPW-Hungária Kft-nél lévő adatmennyiségre és azok struktúrájára nem volt még felkészítve, ebből fakadóan különböző problémák jöttek elő. Ezek megoldására megkerestük a Siemens-t, aki továbbfejlesztette az adatkinyerő eszközöket számunkra.

Átalakítás

E közben a BPW-Hungária Kft. meghatározta azokat az adatokat, amelyeket az adatmigráció folyamatán át kellett vinni, illetve azokat, amelyeket nem kívánt tovább használni. Ezeknek az adatoknak a meghatározásához egyrészt szükség volt egy adatbázisra, az Insight-ban tárolt fájlokról és a hozzájuk tartozó összes tulajdonságról, másrészt egy listára, hogy melyik cikkszámú termékekhez tartozó adatokra van továbbiakban is szükség. Ez utóbbi listát a BPW-Hungária Kft. által használt ERP rendszerből exportálták ki, majd mindkettőt Excel táblázatként kaptam meg. Ezek összevetését, feldolgozását először sima Excel függvényekkel próbáltam megtenni. Viszont már ennek a pár, egyszerű függvényeknek a számítási ideje is 10-15 perc volt. Ekkor már biztos voltam benne, hogy Excel függvényekkel, makrókkal nem leszek képes az adatok tisztítását végrehajtani belátható időn belül. Elhatároztam, hogy megismerem és megtanulom a német bevezető partner által már használt ETL (Export, Transform, Load) szoftver használatát. Szerencsére nagyon jó közösség van a szoftver mögött, a bennem felmerült összes kérdésre megtaláltam a választ némi kereséssel.

A feldolgozandó adatmennyiséget azt hiszem jól szemlélteti a két fő táblázat mérete. A CAD fájlokról körülbelül 14 000 000 értéket tartalmazó táblázatot kaptam, míg a dokumentumokról körülbelül 1 100 000 értéket tartalmazót. Ezek a metadatok körülbelül 280 000 fájlhoz tartoztak. Ezek közül kellett kiválogatni, majd feldolgozni azokat, amelyek megfeleltek a BPW-Hungária Kft. által meghatározott feltételeknek. A válogatás eredményeként adódó nagyjából 70 000 fájlt és a hozzájuk kapcsolódó metaadatokat kellett előkészíteni, majd feltölteni Teamcenterbe.

BPW-Hungária Kft.-vel közösen meghatároztuk, hogy milyen szempontokat kell figyelembe venni, milyen kivételeket kell kezelni az adattisztítás során. Az elemzések során kiderült, hogy sokkal több kivételt kell lekezelni, mint amire eredetileg számítottak. Ez szerintem ekkora adatmennyiségnél nem is meglepő, hiszen senkinek nem lehet minden meg fejben, több évtized alatt keletkezett adatokról. A kivételek kezeléséhez további táblázatokat kaptam, valamint további elemzéseket hajtottam végre, hogy minden kezelendő kivétel előkerüljön.

Kivételek

A kivételek lekezelése mellett a legtöbb energiát abba kellett belefektetni, hogy miként lehet átalakítani a tulajdonságok értékeit olyan módon, hogy azok megfeleljenek a Teamcenterben meghatározott feltételeknek. Ilyen volt például, hogy Insight-ban a felhasználók nevei különböző helyeken, különböző formában szerepeltek. Konkrét példaként legyen a felhasználó valós neve Gipsz Jakab. Jóváhagyóként gipszj, ellenőrként J. Gipsz, módosítóként G.J. vagy GJ-ként szerepelt. A nevek átalakításához először is összegyűjtöttem, hogy milyen felhasználónév előfordulások vannak, majd ezt átadtam a BPW-Hungária Kft.-nek, hogy határozza meg, hogy adott nevet adott helyen (pl. jóváhagyóként Gipsz J.-ként egységesen) hogyan szeretne viszontlátni. Ehhez hasonló módszereket több tulajdonság esetén is kellett alkalmazni, ezért végül már jó pár állományban tárolt adatokból kellett kinyerni a megfelelőeket.

A transzformálás során előállt egy olyan adatbázis, amely egységes forrásként (single source of truth) szolgált a különböző adatfeltöltő eszközök számára előállított bemeneti fájlokhoz. Az adatbázisban lévő információk megfelelőségét a BPW-Hungária Kft. ellenőrizte és validálta. Ezt minden esetben csak az ügyfél tudja megtenni, hiszen ő rendelkezik azzal a tudással, hogy az előállított adatokból megfelelő információ nyerhető-e ki.

Adatmigráció

Az adatelőkészítéshez, feltöltéshez több, a Siemens által biztosított feltöltő alkalmazást is igénybe vettem. Az egyikkel létrehoztam az adatokat Teamcenterben tároló objektumokat, kitöltöttem a megfelelő tulajdonságokat, a megfelelő értékekkel, létrehoztam a szükséges kapcsolatokat az objektumok között, feltöltöttem a nem Solid Edge fájlokat. A másikkal a Solid Edge állományokban hoztam létre és töltöttem ki a megfelelő tulajdonságokat és értékeiket. A harmadik szoftverrel pedig feltöltöttem a Solid Edge állományokat Teamcenterbe. Mivel mindhárom szoftver számára ugyanabból az adatbázisból állítottam elő a bemeneti információkat, így biztosítva volt, hogy a Teamcenterbe az adatok konzisztensen kerüljenek be. Például ne legyen különbség a Teamcenter és a Solid Edge tulajdonságban tárolt értékek között.

A Solid Edge állományok migrációja mellett nagyobb terület volt még a dokumentumok migrációja. Például az alkalmazási igazolás dokumentumok, PDF formátumban. Ennek a területnek a feldolgozását Mészáros Zoltán kollégám kapta meg feladatul. Neki is több Excel táblázatból kellett kinyernie az adatokat és átalakítani azt olyan formátumba, amely megfelelő a feltöltő alkalmazás számára. Mivel ez nem volt akkora adatmennyiség, így Zoli Excel makrót írt erre a célra.

Feltöltés

Az éles adatmigráció előtt több teszt migrációt is végrehajtottunk, amellyel ellenőrizni lehetett, hogy a bemeneti állományok formátuma, illetve, hogy az átalakított tulajdonságértékek megfelelőek-e.

Az első tesztmigrációk nem a teljes adatállománnyal történtek, hanem erre külön kiválasztott, reprezentatív részhalmazzal. A kisebb mennyiségű adat migrációját gyorsan végre lehetett hajtani, ezzel hamar képet kaptam arról, hogy min kell még változtatni és megfelelően pontos adatokat tudtam gyűjteni, hogy a migráció milyen sebességgel fog futni. Ezzel biztosabban ki lehetett előre számolni, hogy a tervezett három hetes éles migrációs időszak valóban elegendő lesz. Ezt validálta is az utolsó, teljes terjedelemre végrehajtott teszt migráció.

A teszt migrációk során vált bizonyossá, hogy a migráció bizonyos fázisait lehet párhuzamosítani, ezzel időt nyerni és hamarabb befejezni. Az utolsó teszt migráció során már ezek a bizonyos fázisok párhuzamosan futottak. Ekkor már majdnem biztos voltam benne, hogy a tervezett három hét biztosan elegendő lesz, akár több nappal is hamarabb végét érhet a feltöltés.

A teszt migrációk során nyert tapasztalatok által magabiztosan álltam neki a finálénak, az éles migrációnak. Ennek első harmadánál már biztosan látszott, hogy a migráció hamarabb be fog fejeződni, ezáltal lesz a BPW-nek néhány napja arra, hogy a kulcsfelhasználóik szúrópróba-szerűen ellenőrizzék az eredményt. Az éles migráció szerencsére már nem hozott különösebb meglepetést, inkább csak felügyeletet igényelt és az ekkorra már rutinná vált feladatokat kellett végrehajtani.

Az adatmigráció egyike azoknak a kritikus lépéseknek, amelyekkel egy vállalat új rendszerének bevezetésekor szembesülhetünk. A Teamcenter PLM rendszer bevezetése a BPW-Hungária Kft-nél összetett feladat volt, amelynek elengedhetetlen része volt az adatok migrációja. Számomra ez volt a legnagyobb kihívás az egész projekt során. Az ügyféltől kapott visszajelzések és a sikeres projekt lezárása alapján összességében úgy gondolom, hogy az adatmigráció során felmerült kihívásokat sikeresen kezeltük, és a BPW-Hungária Kft. elégedetten használja a Teamcentert.