Je mi velkou ctí oznámit, že díky vyřazeným, avšak stále výkonným serverům od Seznam.cz můžeme výrazně zefektivnit práci našich vědeckých pracovníků. Tito odborníci sbírají data z fotopastí v lesích a následně je analyzují pro své výzkumy. Možná se to zdá jako banalita, ale sesbírat desítky terabajtů dat ze stovek různých fotopastí a kamer připevněných na divoká prasata je náročný úkol. Tyto obrovské objemy dat je nutné nejen bezpečně skladovat, ale také efektivně zpracovat, aby si zachovaly svou informační hodnotu a zároveň zabíraly méně místa na diskových polích.
Proto jsem vyvinul automatizační nástroj pro hromadnou kompresi fotografií a dat, který běží na našich serverech přes noc. Vědci tak mohou během dne nahrát i několik terabajtů fotografií, které jsou poté automaticky zpracovány přes noc. Ráno pak mají k dispozici optimalizovaná data připravená k další analýze.
Díky pečlivému výběru kompresních algoritmů se mi podařilo snížit velikost dat v průměru o 62,9 % – 65,7%, a to bez viditelné ztráty kvality. Systém je navíc kompletně automatizovaný a nevyžaduje žádný zásah ze strany vědců. Ti jednoduše nahrají svá data a nejpozději druhý den mají k dispozici jejich komprimovanou verzi.
Kompresní proces je vysoce efektivní – data jsou shromažďována do fronty a zpracovávána současně až 24 procesorovými vlákny. Naše servery, osazené procesory s TDP 60 W, zvládají tento úkol s vysokou efektivitou a nízkou spotřebou energie.
Tento projekt je skvělým příkladem toho, jak lze efektivně využít zdánlivě zastaralý hardware k podpoře vědeckého výzkumu. Jsem přesvědčen, že v budoucnu dokáži tento systém ještě zdokonalit a nabídnout vědcům ještě lepší podmínky pro jejich práci.
Jak na to
S programem datoles si v univerzitní síti vědci připojí datové úložiště k PC, ze kterého budou nahrávat fotografie:
V Tento počítač pak už uvidíte síťový disk:
Otestováno
ze 1443 MB server dokázal hromadně zkomprimovat data z fotopastí na 494 MB.
Zálohovací systém
Součástí řešení budou přírůstkové zálohy na další stroje pro dlouhodobé skladování dat. Zatím v přípravě.
Nyní však již funguje replikace veškerých dat na druhé diskové pole na jiném stroji.