W pracy analityk każdego dnia może zderzać się ze sporymi wyzwaniami, które przysporzą wiele nerwów. Choć dla wielu osób może się wydawać, że „ciągłe klepanie tabelek” to praca skrajnie nudna, powtarzalna i monotonna, w praktyce często przekłada się na spory wysiłek umysłowy nim cokolwiek uda się zrobić. Każda analiza i dane z którymi pracujemy mogą nas doprowadzić do stanu GIGO. Już niedługo dowiesz się, jak bardzo utrudnia to pracę analityka.

Trzy pytania przed każdą analizą

Każda analiza wiąże się z postawieniem sobie trzech pytań. Pierwsze pytanie to co chcemy osiągnąć, do czego ma posłużyć ta analiza, jakie mają płynąć z niej wnioski. To kwestia która wpływa na każdy aspekt pracy z danymi. Innego podejścia wymaga jednorazowe zestawienie, a innego raport który sam będzie się odświeżał co tydzień i automatycznie przetwarzał nowe dane. Znając cel raportu wiemy też jak ma on wyglądać. Przedstawienie wyników finansowych, wyszczególnienie wartości krytycznych, szukanie nieprawidłowości, przygotowanie zależnych od parametrów prognoz z obecnych danych, to zupełnie inna wizualizacja danych, którą musimy mieć cały czas na uwadze.

Drugie pytanie to jak przygotować taką analizę, jakie są możliwości techniczne, których metod użyjemy, jak bardzo zautomatyzujemy sobie poszczególne działania. Przy obecnych możliwościach Excela nie musimy przejmować się ilością danych czy liczbą źródeł danych. Nawet jeśli mamy 10 milionów wierszy i sto plików z których pobierzemy dane to i tak sobie z nimi poradzimy. Mimo to zawsze są pewne aspekty, które należy przemyśleć np. czy przetworzenie danych zrobimy za pomocą makra czy PowerQuery. A może wszystko zaciągniemy do modelu danych i tam odbędzie się cała zabawa z danymi.

Z trzecim pytaniem często są największe problemy. Często zlecający i odbiorcy raportów podchodzą do tej kwestii bardzo pobieżnie, a i samym analitykom często się to zdarza. A chodzi o pytanie czy my w ogóle posiadamy odpowiednie i poprawne dane do przeprowadzenia takiej analizy? Niezliczone są godziny pracy, z których nic nie wynikło. Których jedynym efektem było stwierdzenie, że z takich danych żadnych właściwych wniosków nie da się wyciągnąć, że zmarnowaliśmy masę czasu. W najlepszym przypadku zapadła decyzja, że trzeba podjąć działania aby poprawić jakość danych.

Rodzaje danych

Dane jakimi dysponujemy możemy sobie podzielić na dwie grupy:

Dane systemowe

Czyli dane, które na samym wstępie zmniejszają poziom stresu u analityka. Któż nie chciałby pracować z danymi, które generuje nam jakiś system. Co do takich danych wiemy jakiej spodziewać się struktury i formatów. Łatwo możemy określić jakimi danymi dysponujemy, możemy je sobie podejrzeć i wygenerować próbkę dla testów. Również łatwe jest znalezienie sposobu jak takie dane podpiąć pod nasz raport aby dalsza ich obróbka czy odświeżenie nie sprawiały kłopotu.

W przypadku takich danych musimy jeszcze zwrócić uwagę na jedną rzecz, tj. czy dane pochodzą z pewnego, sprawdzonego i dojrzałego systemu. Czy może są to dane którym wcześniej nikt się nie przyglądał. W pierwszym wypadku możemy śmiało z tych danych korzystać. W drugim musimy dodatkowo sprawdzić czy dane są kompletne i poprawne. Zazwyczaj nie jesteśmy w stanie sprawdzić wszystkich danych i raczej też nie nasza w tym rola. Analizując sprzedaż produktów w sklepach z danego regionu warto zawczasu spojrzeć czy dane mamy dla wszystkich sklepów. Liczba produktów mniej więcej się zgadza. Czy ceny nie mają jakichś absurdalnych wartości. Zawsze lepiej gdy taka rzecz wyjdzie na początku pracy, niż gdy na prezentacji raportu pada pytanie „a dlaczego w tym zestawieniu nie ma sklepu XYZ ?”. Medal dla tego kto potrafi bez uszczerbku wybrnąć z takiej sytuacji.

Dane niesystemowe

Czyli miejsce gdzie zdarzyć może się wszystko. Choć zazwyczaj rzadko z nimi pracujemy, to bardzo często wymagają ogromu pracy i stalowych nerwów. Zazwyczaj są to dane które zbieramy od innych osób, których prosiliśmy o uzupełnienie jakichś tabelek albo przesłanie zestawień. Szczęściarze ci, którzy przygotowali odpowiednie formatki do wypełnienia, z ustawionymi warunkami poprawności danych i zabezpieczyli pliki przed wysłaniem prośby o dane. To po części zapewnia dobrą jakość danych. Duży problem mają ci, którzy dali wolną wolę dostawcom danych. Tu możemy spodziewać się danych wpisanych na wszystkie możliwe sposoby i bez gwarancji, że są poprawne.

GIGO jako porażka naszej analizy

Jak analiza i dane o których wyżej pisałem mają się do naszego tytułowego „GIGO”? Otóż „GIGO” to skrót od angielskiego „Garbage In, Garbage Out”, czyli w tłumaczeniu na polski „śmieci na wejściu, śmieci na wyjściu”. Inaczej mówiąc korzystając z nieprawidłowych danych niezależnie co będziemy robić. Tak efekty naszej pracy nie doprowadzą do wniosków co do których będziemy mieli stuprocentową pewność. Co gorsza możemy na ich podstawie podjąć złe decyzje, które mogą mieć skutki dla całej organizacji.

Tak więc pracując nad jakimś raportem musimy w pierwszej kolejności przeanalizować same dane pod kątem poprawności, kompletności i standaryzacji danych źródłowych. Niestety bardzo często będąc podekscytowani naszymi kreatywnymi pomysłami na raport lub bardzo krótkim terminem realizacji pomijamy ten etap. Zawierzamy, że otrzymane dane każdy wprowadził na ten sam sposób, że miał na myśli dokładnie to co my. Niefajne jest przeżycie rozczarowania, gdy okazuje się, że nasz wspaniały raport do niczego się nie nadaje. Dane którymi dysponujemy to „śmieci”. Jak ustrzec się GIGO, gdzie nasza analiza i dane nadają się tylko do kosza? Jak poprawnie przeprowadzić analizę jakości danych źródłowych na konkretnym przykładzie przeczytaj w drugiej części wpisu GIGO część II, natomiast w trzeciej części poznasz sposoby maksymalizowania jakości danych GIGO część III