Analiza opisowa, predykcyjna i preskryptywna
Kompletny przewodnik po analizie dużych zbiorów danych dla początkujących
complete guide big data analytics
To jest obszerny przewodnik po Big Data Analytics z jego przypadkami użycia, architekturą, przykładami i porównaniami z Big Data i Data Science:
Analityka Big Data zyskała popularność, ponieważ korporacje takie jak Facebook, Google i Amazon stworzyły własne nowe paradygmaty rozproszonego przetwarzania danych i analiz, aby zrozumieć skłonności swoich klientów do wydobywania wartości z dużych zbiorów danych.
W tym samouczku wyjaśniamy analizę dużych zbiorów danych i porównujemy ją z Big Data i Data Science. Omówimy niezbędne atrybuty, które firmy muszą posiadać w swojej strategii dotyczącej dużych zbiorów danych, oraz sprawdzoną metodologię. Wspomnimy również o najnowszych trendach i niektórych przypadkach użycia analityki danych.
Jak pokazano na poniższym obrazku, Analytics wymaga wykorzystania umiejętności informatycznych, umiejętności biznesowych i nauki o danych. Analiza dużych zbiorów danych jest w centrum wykorzystywania wartości z dużych zbiorów danych i pomaga uzyskać informacje dotyczące materiałów eksploatacyjnych dla organizacji.
[wizerunek źródło ]
Czego się nauczysz:
Co to jest analiza dużych zbiorów danych
Big Data Analytics zajmuje się wykorzystaniem zbioru technik statystycznych, narzędzi i procedur analitycznych do Big Data.
Zalecana Czytanie => Wprowadzenie do Big Data
To właśnie analityka pomaga w wydobywaniu cennych wzorców i znaczących spostrzeżeń z dużych zbiorów danych w celu wspierania podejmowania decyzji opartych na danych. To z powodu pojawienia się nowych źródeł danych, takich jak media społecznościowe i dane IoT, popularne stały się duże zbiory danych i analizy.
Tendencja ta prowadzi do powstania obszaru praktyki i badań zwanego „nauką o danych”, który obejmuje techniki, narzędzia, technologie i procesy eksploracji danych, czyszczenia, modelowania i wizualizacji.
Big Data kontra Big Data Analytics kontra nauka o danych
DO porównanie między dużymi zbiorami danych, nauką o danych i analizą dużych zbiorów danych można zrozumieć z poniższej tabeli.
Podstawa Big Data Data Science Analiza dużych zbiorów danych Narzędzia i technologie Ekosystem Hadoop, CDH, Cassandra, MongoDB, Java, Python, Talend, SQL, Rapid Miner R, Python, Jupyter, Data Science Workbench, IBM SPSS, Tableau Spark, Storm, Knime, Data Wrapper, Lumify, HPCC, Qubole, Microsoft HDInsight Role i umiejętności zawodowe Utrzymanie infrastruktury pamięci masowej, przetwarzanie danych oraz wiedza na temat Hadoop i jej integracja z innymi narzędziami. Transformacja danych, inżynieria danych, zarządzanie danymi, modelowanie danych i wizualizacja BI i zaawansowana analityka, statystyka, modelowanie danych i uczenie maszynowe, umiejętności matematyczne, komunikacja, doradztwo. Oznaczenia Architekt Big Data
Programista Big Data
Inżynier Big Data
Data Scientist
Inżynier uczenia maszynowego Analityk Big Data
Analityk Biznesowy
Inżynier Business Intelligence
Specjalista ds. Analityki biznesowej
Programista wizualizacji danych
Menedżer ds. Analiz
Około. Średnia roczna pensja w USD 100 000 90 000 70 000
Sugerowana lektura = >> Nauka o danych kontra informatyka
Co powinna mieć każda strategia analizy Big Data
Dobrze zdefiniowana, zintegrowana i kompleksowa strategia przyczynia się do podejmowania cennych decyzji opartych na danych w organizacji i wspiera je. W tej sekcji wymieniliśmy najbardziej krytyczne kroki, które należy wziąć pod uwagę podczas definiowania strategii analizy dużych zbiorów danych.
Krok 1: Ocena
Ocena, już dostosowana do celów biznesowych, wymaga zaangażowania kluczowych interesariuszy, stworzenia zespołu członków z odpowiednim zestawem umiejętności, oceny zasad, ludzi, procesów oraz zasobów technologicznych i danych. W razie potrzeby można w ten proces zaangażować klientów ocenianych.
Krok 2: Priorytetyzacja
Po dokonaniu oceny należy wyprowadzić przypadki użycia, nadać im priorytety za pomocą analiz predykcyjnych big data, analiz preskryptywnych i analiz poznawczych. Możesz również użyć narzędzia, takiego jak matryca priorytetów, i dalej filtrować przypadki użycia, korzystając z informacji zwrotnych i informacji od kluczowych interesariuszy.
Krok 3: Mapa drogowa
Na tym etapie wymagane jest utworzenie harmonogramu czasowego i opublikowanie go dla wszystkich. Mapa drogowa musi zawierać wszystkie szczegóły dotyczące złożoności, funduszy, nieodłącznych korzyści z przypadków użycia i mapowanych projektów.
Krok 4: Zarządzanie zmianami
Wdrożenie zarządzania zmianami wymaga zarządzania dostępnością, integralnością, bezpieczeństwem i użytecznością danych. Skuteczny program zarządzania zmianą, wykorzystujący istniejący system zarządzania danymi, zachęca do działań i członków w oparciu o ciągłe monitorowanie.
Krok 5: Odpowiedni zestaw umiejętności
Określenie odpowiedniego zestawu umiejętności ma kluczowe znaczenie dla sukcesu organizacji w świetle aktualnych trendów w branży. Dlatego należy podążać za właściwymi liderami i wprowadzać programy edukacyjne, aby kształcić krytycznych interesariuszy.
Krok 6: Niezawodność, skalowalność i bezpieczeństwo
Właściwe podejście i skuteczna strategia analizy dużych zbiorów danych sprawiają, że proces analizy jest niezawodny dzięki efektywnemu wykorzystaniu możliwych do interpretacji modeli obejmujących zasady nauki o danych. Strategia analizy dużych zbiorów danych musi również od samego początku uwzględniać aspekty bezpieczeństwa, aby zapewnić solidny i ściśle zintegrowany potok analityczny.
Potok danych i proces do analizy danych
Planując potok analizy danych, należy wziąć pod uwagę trzy podstawowe aspekty. Są to następujące:
Wejście: Format danych i wybór technologii do przetworzenia, opiera się na naturze danych, tj. czy dane są szeregami czasowymi i jakością. Wynik: Wybór złączy , raporty i wizualizacje zależą od wiedzy technicznej użytkowników końcowych i ich wymagań dotyczących zużycia danych. Tom: Rozwiązania skalujące są planowane na podstawie ilości danych, aby uniknąć przeciążenia systemu przetwarzania dużych zbiorów danych.
Omówmy teraz typowy proces i etapy potoku analizy dużych zbiorów danych.
Etap 1: Przetwarzanie danych
Przetwarzanie danych to pierwszy i najważniejszy krok w potoku danych. Uwzględnia trzy aspekty danych.
Źródło danych - Jest to istotne z punktu widzenia wyboru architektury potoku big data.
Jest to istotne z punktu widzenia wyboru architektury potoku big data. Struktura danych - Serializacja jest kluczem do utrzymania jednorodnej struktury w całym potoku.
Serializacja jest kluczem do utrzymania jednorodnej struktury w całym potoku. Czystość danych - Analityka jest równie dobra jak dane bez problemów, takich jak brakujące wartości i wartości odstające itp.
Etap 2: ETL / Magazynowanie
Kolejnym ważnym modułem są narzędzia do przechowywania danych do wykonywania ETL (Extract Transform Load). Przechowywanie danych w odpowiednim centrum danych zależy od:
Sprzęt komputerowy
Doświadczenie w zarządzaniu
Budżet
[wizerunek źródło ]
Niektóre sprawdzone narzędzia ETL / Warehousing w centrach danych to:
Apache Hadoop
Apache Hive
Parkiet Apache
Silnik zapytań Presto
Firmy działające w chmurze, takie jak Google, AWS, Microsoft Azure, udostępniają te narzędzia na zasadzie płatności jednostkowej i oszczędzają początkowe wydatki kapitałowe.
Etap 3: Analiza i wizualizacja
Biorąc pod uwagę ograniczenia Hadoop w zakresie szybkich zapytań, należy używać platform analitycznych i narzędzi, które pozwalają na szybkie i ad-hoc zapytania z wymaganą wizualizacją wyników.
>> Zalecana lektura: Narzędzia Big Data
Etap 4: Monitorowanie
Po skonfigurowaniu infrastruktury do pozyskiwania, przechowywania i analiz za pomocą narzędzi do wizualizacji, następnym krokiem jest posiadanie narzędzi informatycznych i monitorowania danych do monitorowania. Obejmują one:
Wykorzystanie procesora lub karty graficznej
Zużycie pamięci i zasobów
Sieci
Niektóre narzędzia warte rozważenia to:
Datadog
Grafana
Narzędzia do monitorowania są niezbędne w potoku analizy dużych zbiorów danych i pomagają monitorować jakość i integralność potoku.
Architektura Big Data Analytics
Poniższy diagram architektury pokazuje, w jaki sposób nowoczesne technologie wykorzystują zarówno nieustrukturyzowane, jak i ustrukturyzowane źródła danych do przetwarzania Hadoop i Map-redukuj, systemów analitycznych w pamięci i analizy w czasie rzeczywistym, aby uzyskać połączone wyniki operacji w czasie rzeczywistym i podejmowania decyzji.
[wizerunek źródło ]
Aktualne trendy w analizie danych
W tej sekcji wymieniliśmy podstawowe aspekty, na które należy zwrócić uwagę przy wdrażaniu lub śledzeniu trendów analizy dużych zbiorów danych w branży.
1) Źródła Big Data
Istnieją przede wszystkim trzy źródła Big Data. Są one wymienione poniżej:
Dane społecznościowe: Dane wygenerowane w wyniku korzystania z mediów społecznościowych. Te dane pomagają w zrozumieniu uczucia i zachowanie klientów i może być przydatna w analityce marketingowej.
Dane wygenerowane w wyniku korzystania z mediów społecznościowych. Te dane pomagają w zrozumieniu i i może być przydatna w analityce marketingowej. Dane maszyny: Dane te są pobierane z urządzeń przemysłowych i aplikacji wykorzystujących czujniki IoT. Pomaga w zrozumieniu narody zachowanie i zapewnia wgląd w procesy .
Dane te są pobierane z urządzeń przemysłowych i aplikacji wykorzystujących czujniki IoT. Pomaga w zrozumieniu i zapewnia wgląd w . Dane transakcyjne: Jest generowany w wyniku działań użytkowników zarówno offline, jak i online, dotyczących zleceń płatniczych, faktur, pokwitowań itp. Większość tego rodzaju danych wymaga wstępne przetwarzanie i czyszczenie zanim będzie można go użyć do analizy.
# 2) Przechowywanie danych SQL / NoSQL
W porównaniu z tradycyjnymi bazami danych lub RDBMS, bazy danych NoSQL okazują się lepsze do zadań wymaganych do analizy dużych zbiorów danych.
Bazy danych NoSQL z natury radzą sobie całkiem dobrze z danymi nieustrukturyzowanymi i nie są ograniczone do kosztownych modyfikacji schematów, skalowania pionowego i zakłóceń właściwości ACID.
# 3) Analiza predykcyjna
Predictive Analytics oferuje spersonalizowane spostrzeżenia, które prowadzą organizacje do generowania nowych odpowiedzi klientów lub zakupów i możliwości sprzedaży krzyżowej. Organizacje używają analiz predykcyjnych do prognozowania poszczególnych elementów na szczegółowym poziomie, aby przewidywać przyszłe wyniki i zapobiegać potencjalnym problemom. Jest to dodatkowo łączone z danymi historycznymi i przekształcane w analizy nakazowe.
Niektóre obszary, w których z powodzeniem zastosowano analizy predykcyjne Big Data, to biznes, ochrona dzieci, systemy wspomagania decyzji klinicznych, prognozowanie portfela, prognozy na poziomie ekonomicznym i ubezpieczenie.
# 4) Uczenie głębokie
W przypadku konwencjonalnego przetwarzania danych duże zbiory danych są przytłaczające. Okazuje się, że tradycyjne techniki uczenia maszynowego do analizy danych spłaszczają się pod względem wydajności wraz ze wzrostem różnorodności i ilości danych.
Analytics napotyka wyzwania związane ze zmianami formatu, wysoce rozproszonymi źródłami wejściowymi, niezrównoważonymi danymi wejściowymi i szybko zmieniającymi się danymi strumieniowymi, a algorytmy głębokiego uczenia dość skutecznie radzą sobie z takimi wyzwaniami.
Głębokie uczenie znalazło swoje efektywne zastosowanie w indeksowaniu semantycznym, wykonywaniu zadań rozróżniających, znakowaniu obrazów semantycznych i wideo, kierowaniu społecznym, a także w hierarchicznych, wielopoziomowych podejściach do uczenia się w obszarach rozpoznawania obiektów, znakowania danych, wyszukiwania informacji i języka naturalnego przetwarzanie.
# 5) Jeziora danych
Przechowywanie różnych zestawów danych w różnych systemach i łączenie ich do celów analitycznych z tradycyjnymi podejściami do zarządzania danymi okazuje się kosztowne i prawie niewykonalne. Dlatego organizacje tworzą jeziora danych, które przechowują dane w ich surowym, natywnym formacie do celów analitycznych.
Poniższy obraz przedstawia przykładowe jezioro danych w architekturze Big Data.
[wizerunek źródło ]
Zastosowania analizy dużych zbiorów danych
Poniżej wymieniliśmy kilka typowych przypadków użycia:
1) Analiza klientów
Analiza Big Data jest przydatna do różnych celów, takich jak mikro-marketing, marketing jeden do jednego, dokładniejsza segmentacja i masowe dostosowywanie dla klientów firmy. Firmy mogą tworzyć strategie personalizacji swoich produktów i usług w zależności od skłonności klientów do sprzedaży dodatkowej lub krzyżowej podobnej lub innej gamy produktów i usług.
# 2) Analiza operacji
Analiza operacji pomaga w poprawianiu ogólnego procesu podejmowania decyzji i wyników biznesowych poprzez wykorzystanie istniejących danych i wzbogacanie ich o dane maszyny i IoT.
Na przykład, Analityka big data w opiece zdrowotnej umożliwiła zmierzenie się z wyzwaniami i nowymi możliwościami związanymi z optymalizacją wydatków na opiekę zdrowotną, poprawą monitorowania badań klinicznych, prognozowaniem i planowaniem reakcji na epidemie chorób, takie jak COVID-19.
# 3) Zapobieganie oszustwom
Analityka Big Data może przynieść ogromne korzyści, pomagając przewidywać i ograniczać próby oszustw, głównie w sektorach finansowym i ubezpieczeniowym.
Na przykład, Firmy ubezpieczeniowe rejestrują w czasie rzeczywistym dane demograficzne, zarobki, roszczenia medyczne, wydatki na adwokata, pogodę, nagrania głosowe klienta i notatki z centrum telefonicznego. Konkretne szczegóły w czasie rzeczywistym pomagają w opracowywaniu modeli predykcyjnych poprzez połączenie informacji wymienionych powyżej z danymi historycznymi w celu wczesnej identyfikacji spekulowanych oszukańczych roszczeń.
# 4) Optymalizacja cen
Firmy wykorzystują analitykę dużych zbiorów danych, aby zwiększyć marże zysku poprzez znalezienie najlepszej ceny na poziomie produktu, a nie na poziomie kategorii. Duże firmy uważają, że uzyskanie szczegółowych informacji i złożoności zmiennych cenowych, które zmieniają się regularnie dla tysięcy produktów, jest zbyt przytłaczające.
Oparta na analityce strategia optymalizacji cen, taka jak dynamiczna punktacja transakcji, umożliwia firmom ustalanie cen dla klastrów produktów i segmentów w oparciu o ich dane i wgląd w poszczególne poziomy transakcji, aby uzyskać szybkie wygrane od wymagających klientów.
Często Zadawane Pytania
Pytanie 1) Czy analityka dużych zbiorów danych to dobra kariera?
Odpowiedź: Jest to wartość dodana dla każdej organizacji, pozwalająca na podejmowanie świadomych decyzji i zapewniająca przewagę nad konkurencją. Zmiana kariery w Big Data zwiększa Twoje szanse na zostanie kluczowym decydentem w organizacji.
P # 2) Dlaczego analiza dużych zbiorów danych jest ważna?
Odpowiedź: Pomaga organizacjom w tworzeniu nowych możliwości rozwoju i zupełnie nowych kategorii produktów, które mogą łączyć i analizować dane branżowe. Firmy te dysponują obszernymi informacjami o produktach i usługach, nabywcach i dostawcach, preferencjach konsumentów, które można rejestrować i analizować.
Pytanie 3) Co jest wymagane do analizy dużych zbiorów danych?
Odpowiedź: Zakres technologii, z którymi dobry analityk Big Data musi się zapoznać, jest ogromny. Aby opanować analitykę Big Data, trzeba znać różne narzędzia, oprogramowanie, sprzęt i platformy. Na przykład, Arkusze kalkulacyjne, zapytania SQL i R / R Studio i Python to niektóre podstawowe narzędzia.
Na poziomie przedsiębiorstwa oprócz systemów Linux, Hadoop, Java, Scala, Python, Spark, Hadoop i HIVE, ważne są narzędzia takie jak MATLAB, SPSS, SAS i Congnos.
Pytania obiektywne:
Q # 4) Która z poniższych baz danych nie jest bazą danych NoSQL?
MongoDB
PostgreSQL
CouchDB
HBase
Odpowiedź: PostgreSQL
Pytanie 5) Czy Cassandra jest NoSQL?
Prawdziwe
Fałszywy
Odpowiedź: Prawdziwe
P # 6) Które z poniższych nie jest własnością Hadoop?
Otwarte źródło
Oparty na Javie
Przetwarzanie rozproszone
Czas rzeczywisty
Odpowiedź: Czas rzeczywisty
P # 7) Wybierz wszystkie czynności, które NIE są wykonywane przez naukowca danych.
Twórz modele uczenia maszynowego i popraw ich wydajność.
Ocena modeli statystycznych w celu walidacji analiz
Podsumuj zaawansowane analizy za pomocą narzędzi do wizualizacji danych
Prezentacja wyników analizy technicznej zespołom wewnętrznym i klientom biznesowym
Odpowiedź: Prezentacja wyników analizy technicznej zespołom wewnętrznym i klientom biznesowym
Dalsza lektura = >> Kluczowe różnice między Data Analyst i Data Scientist
P # 8) Jakie czynności wykonuje analityk danych?
Oczyść i uporządkuj surowe dane
Znajdowanie interesujących trendów w danych
twórz dashboardy i wizualizacje do łatwej interpretacji
Wszystkie powyższe
Odpowiedź: Wszystkie powyższe
P # 9) Która z poniższych czynności jest wykonywana przez inżyniera danych?
Integracja nowych źródeł danych z istniejącym potokiem analizy danych
Rozwój interfejsów API do wykorzystania danych
monitorowanie i testowanie systemu pod kątem ciągłości działania
Wszystkie powyższe
Odpowiedź: Wszystkie powyższe
Pytanie 10) Prawidłowa kolejność przepływu danych do celów analitycznych to
Źródła danych, przygotowanie danych, transformacja danych, projektowanie algorytmów, analiza danych
Źródła danych, transformacja danych, projektowanie algorytmów, przygotowanie danych, analiza danych
Źródła danych, projektowanie algorytmów, przygotowanie danych, transformacja danych, analiza danych
Źródła danych, przygotowanie danych, projektowanie algorytmów, transformacja danych, analiza danych
Odpowiedź: Źródła danych, przygotowanie danych, transformacja danych, projektowanie algorytmów, analiza danych
P # 11) Analiza danych jest procesem liniowym.
Prawdziwe
Fałszywy
Odpowiedź: Fałszywy
P # 12) Analiza eksploracyjna NIE jest
Odpowiedź szczegółowe pytania dotyczące wstępnej analizy danych
Określ problemy ze zbiorem danych
Opracuj szkic odpowiedzi na pytanie
Sprawdź, czy dane są prawidłowe, aby odpowiedzieć na pytanie
Odpowiedź: Odpowiedźszczegółowe pytania dotyczące wstępnej analizy danych
P # 13) Pytanie przewidywane to inna nazwa nadana pytaniu wnioskowemu.
Prawdziwe
Fałszywy
Odpowiedź: Fałszywy
Wniosek
Omówiliśmy najważniejsze aspekty analityki Big Data. Wyjaśniliśmy najbardziej rozpowszechnione przypadki użycia i trendy w branży analizy dużych zbiorów danych, aby uzyskać maksymalne korzyści.
Jak wykorzystać dane do rozwoju produktu. Podstawowe rodzaje analiz istotnych dla biznesu.
Zadania realizowane przez managera produktu w dużej mierze koncentrują się dziś na analizie danych, bowiem stanowi ona kluczowy element każdej z czterech faz cyklu życia produktu. Czego mogą dotyczą takie analizy? Trendów rynkowych, otoczenia konkurencyjnego, potrzeb grupy docelowej czy też poziomu satysfakcji klientów. Właściwe wykorzystanie danych ułatwia ponadto optymalizowanie sprzedaży, działań marketingowych i promocyjnych. Jak wykorzystać firmowe bazy danych i rozwijać dzięki nim produkt?
Analiza biznesowa i jej wyzwania
Organizacje na całym świecie od lat wykorzystują mniej lub bardziej wyrafinowane metody analityczne, by zwiększać skalę swojej działalności i wypracowywać przewagę konkurencyjną o jak najbardziej trwałym charakterze. Skuteczna analiza danych pozwala im ponadto na znalezienie odpowiedzi na pytania dotyczące zdarzeń, które miały miejsce w przeszłości, ułatwia podejmowanie bieżących decyzji biznesowych, a także daje szansę na trafne identyfikowanie bądź przewidywanie przyszłych trendów i tendencji, co z kolei umożliwia szybsze odpowiadanie na potrzeby zgłaszane przez rynek. Mimo długiej tradycji stosowania metod analitycznych w biznesie, wielu wypracowanych metod, a także szerokiego spektrum narzędzi zaprojektowanych do prowadzenia działań analitycznych, niezwykle dynamiczny rozwój Big Data, sztucznej inteligencji i systemów kognitywnych rodzi szereg nowych wyzwań. Zmienia dotychczasowe podejście do metod analitycznych, stwarza konieczność stosowania zupełnie nowych narzędzi, a co za tym idzie zmusza organizację do przejścia przez proces wielowymiarowej transformacji.
Analiza gromadzonych przez organizację danych niesie za sobą wiele korzyści dla biznesu, stąd też ich ignorowanie stanowi ogromny błąd. To właśnie w oparciu o dane przeprowadza się szereg istotnych dla biznesu analiz, które odpowiadają na różne pytania. Między innymi na tej podstawie klasyfikuje się je do pięciu podstawowych grup:
Analityka deskryptywna
Analityka o charakterze opisowym. Opiera się na danych historycznych i prowadzi do wskazania pewnych prawidłowości i związków ilościowych – odpowiada na pytanie: „co się wydarzyło”. Wynik przeprowadzonej analizy pozostawia dowolność w zakresie interpretacji i wykorzystania pozyskanej wiedzy. Typowym przykład analizy opisowej stanowią firmowe raporty będące historycznym przeglądem jej działalności – wyniki sprzedaży za ostatni kwartał czy poziom realizacji budżetu w ubiegłym roku.
Analityka diagnostyczna
Analiza mająca na celu wyjaśnienie przyczyn wystąpienia konkretnego zjawiska. Podobnie jak analityka deskryptywna bazuje na danych historycznych i szuka pośród nich czynników, które miały wpływ na realizację takiego, a nie innego scenariusza. Odpowiada tym samym na pytanie „dlaczego tak się stało”, dlaczego sprzedaż w ubiegłym kwartale była niższa od oczekiwań bądź też z jakich powodów budżet marketingowy został tak istotnie przekroczony w ubiegłym roku.
Analityka predykcyjna
Analityka predykcyjna, mimo faktu, iż wykorzystuje dane historyczne, z większym bądź mniejszym prawdopodobieństwem próbuje odpowiedzieć na pytanie: „co wydarzy się w przyszłości” i jakie będą tego skutki. Analiza tego typu znajduje szerokie zastosowanie i wykorzystywana jest nie tylko do celów prognozowania, ale również modelowania ryzyka, przewidywania zachowań klientów, weryfikowania hipotez itd.
Analityka preskryptywna
Analiza preskryptywana odpowiada z kolei na pytanie: „co zrobić”. Bierze pod uwagę możliwe scenariusze i ewentualności, które wynikają z analizy predykcyjnej, a następnie wspiera wybór najkorzystniejszego dla organizacji rozwiązania. Jakie zastosowanie znajduje analityka preskryptywna w biznesie? Jest przede wszystkim wykorzystywana w szeroko rozumianych procesach optymalizacyjnych (obejmujących np. portfel inwestycji czy klientów), w procesach zarządzania ryzykiem czy ofertowania. Sprawdzają się tym samym wszędzie tam, gdzie ze względu na operowanie dużą ilością danych konieczna jest automatyzacja złożonych procesów decyzyjnych.
Analityka kognitywna
Rozwój sztucznej inteligencji i systemów kognitywnych zaowocował pojawieniem się zupełnie nowej kategorii analiz – analiz kognitywnych. Czym się charakteryzują? Wykorzystują narzędzia sztucznej inteligencji, uczenie maszynowe czy stale rozwijane algorytmy przetwarzania języka naturalnego (NLP – Natural Language Processing) w celu maksymalnej automatyzacji procesu analitycznego, a w konsekwencji procesu podejmowania decyzji w organizacji. Proces ten może być niemalże w pełni zautomatyzowane bądź zaprogramowany w ten sposób, by część decyzji była podejmowana z udziałem ludzi. Systemy kognitywne wykorzystywane są dziś m. in. w branży medycznej oraz w bankowości, gdzie przyczyniają się chociażby do skutecznej identyfikacji fraudów finansowych.
O ile jeszcze kilka lat temu analityka kognitywna nie stanowiła odrębnej kategorii, o tyle dziś jej obecność nie powinna dziwić nikogo. Związane jest to naturalne z rosnącym znaczeniem danych, dostrzeganiem przez organizacje wartości w nich drzemiących, a także ogromnymi korzyści wynikające z automatyzacji procesów decyzyjnych. Wykorzystanie analityki kognitywnej pozwala bowiem na ogromne oszczędności czasu i szybkie podejmowanie kluczowych decyzji. Co więcej, przekazanie obowiązków analityków ukierunkowanym zadaniowo systemom AI (Artificial Intelligence) pozwala na wyeliminowanie błędów oraz ogromną poprawę wydajności. Nie bez znaczenia jest również fakt, iż rozwój technologii głębokiego uczenia (deep learning) umożliwia takim systemom ciągłe doskonalenie się i dostosowywanie do zmian w istniejących wzorcach.
Czy rozwój sztucznej inteligencji i systemów kognitywnych oznacza kres tradycyjnej analityki? Obawy takie są zupełnie zbędne, gdyż zarówno zdaniem analityków Gartnera, IBM jak i SAS analityka kognitywna stanowi naturalne uzupełnienie tzw. kontinuum analitycznego, a więc procesu analitycznego rozpoczynającego się analizą deskryptywną i kończącego na analizie predykcyjnej. Jest jego zwieńczeniem i sposobem na przeniesienie analiz biznesowych na zupełnie nowy poziom.
Planowanie rozwoju produktu z wykorzystaniem danych
Klasyczny cykl życia produktu zakłada istnienie czterech faz:
a) wprowadzenia na rynek;
b) wzrostu sprzedaży;
c) dojrzałości rynkowej;
d) spadku, a w konsekwencji wycofania produktu z rynku.
Każdy z tych etapów stwarza szereg wyzwań dla zespołów produktowych oraz marketingowych, których ścisła współpraca jest jednym z kluczowych czynników sukcesu. Szczególnie newralgiczny jest pierwszy krok, a więc wprowadzenie nowego produktu na rynek, gdyż generuje ogromne koszty i ryzyko – spore nakłady, związane ze stworzeniem nowego produktu i jego wprowadzeniem do sprzedaży, nie zawsze znajdują pokrycie w generowanych przychodach. Z fazą tą związana jest ponadto konieczność podjęcie wielu istotnych decyzji – w tym decyzji dotyczących promocji, strategii cenowej czy dystrybucji, które w dużej mierze warunkują przejście do drugiej fazy, a więc wzrostu sprzedaży. Mimo ogromnych wyzwań przypisanych do początkowych faz rozwoju produktu, nie można założyć, iż zarządzanie produktem w fazie dojrzałości rynkowej nie stwarza trudności. Ogromna konkurencja, zmieniające się trendy czy rozwój nowych kanałów dystrybucji to prawdopodobnie największe wyzwania z jakimi na co dzień mierzyć się muszą managerowie produktu.
Jednym z najskuteczniejszych sposobów zarządzania i rozwoju produktu, szczególnie dziś, w dobie Big Data, jest wykorzystanie w procesie decyzyjnym wniosków płynących z analizy firmowych baz danych. Traktowanie ich jako istotnego składnika aktywów organizacji to niewątpliwie pierwszy krok w kierunku wdrożenia strategii zarządzania opartej na danych. W jaki sposób wykorzystać dane do rozwoju produktu? Wbrew pozorom możliwości jest naprawdę sporo. Zaawansowane analizy danych, posiadanych przez organizację, a także tych, które obecnie są przez nią ignorowane, pozwalają na wypracowanie szeregu wymiernych korzyści.
Pierwsza i najważniejsza kwestia to analiza danych sprzedażowych i kosztowych, gdyż stanowią one podstawowy wskaźnik oceny produktu. Nieco bardziej wnikliwa analiza podstawowych danych o kosztach i przychodach może ponadto prowadzić do zwiększenia wydajności operacyjnej oraz redukcji poziomu ryzyka. Korzystanie z nowoczesnych technologii i narzędzi klasy Business Intelligence z jednej strony przenosi działania analityczne na zupełnie nowy poziom – pozwala łączyć dane z różnych źródeł i tym samym skuteczniej monetyzować firmowe bazy danych, zaś z drugiej niesie dodatkową wartość w postaci możliwości ich analizowania w czasie rzeczywistym. Możliwość taka dla managerów produktu jest wręcz bezcenna, gdyż pozwala znacznie szybciej podejmować decyzje i reagować na zmieniające się trendy czy oczekiwania klientów. I to właśnie klienci obok wyników stanowić powinni kolejny obszar zainteresowań analityków. Bez względu na rodzaj prowadzonej działalności, a także ich liczbę, analiza informacji na temat klientów pozwala na wskazanie pewnych zależności biznesowych, ocenę skuteczności prowadzonych akcji promocyjnych, wdrożonych strategii cenowych, poziomu lojalności itd. Znajomość nawyków zakupowych klientów, reprezentujących poszczególne segmenty, jak również dokładne poznanie ich potrzeb, pozwala nie tylko na udoskonalenie oferty i samego produktu, ale również na optymalizację poziomu zapasów, reorganizację łańcucha dostaw oraz podjęcie działań marketingowych, które pozwolą na maksymalizację poziomu sprzedaży.
Jak wskazują badania, dla ponad 60% klientów zadowolenie z obsługi jest ważniejsze aniżeli cena produktu bądź usługi, tymczasem zaledwie kilka procent organizacji gromadzi informacje pozwalające na przeprowadzenie kompleksowych analiz w tej dziedzinie. Chcąc zoptymalizować poziom obsługi klienta, konieczne staje się sięgnięcie po nowoczesne narzędzia analityczne, umożliwiające gromadzenie nie tylko danych z systemu transakcyjnego, ale również mediów społecznościowych, firmowej strony internetowej czy nawet telefonicznego biura obsługi klientów.
Podsumowanie
Jednoczesna koncentracja na wzroście sprzedaży oraz zwiększeniu zaangażowania i satysfakcji klienta to najskuteczniejszy sposób budowania długotrwałych relacji. Monitorowanie zachowań klienta oraz jego zadowolenia z oferty jest nieco ułatwione w przypadku e-handlu, gdyż ścieżkę zakupową klienta w Internecie można śledzić niezwykle precyzyjnie – począwszy od wejścia na stronę internetową sklepu i na sfinalizowaniu transakcji skończywszy. Możliwe jest ponadto identyfikowanie obejrzanych produktów oraz momentu ewentualnego porzucenia koszyka z zakupami.
Gromadzenie danych w tym przypadku pozwala nie tylko optymalizować ofertę, ale też personalizować obsługę klienta oraz wykorzystywać systemy rekomendacyjne, dynamicznie dobierające produkty do upodobań klienta i prezentujące je w dowolnym momencie ścieżki zakupowej. Personalizowane rekomendacje to skuteczny sposób na zwiększenie sprzedaży od kilku do nawet kilkudziesięciu procent. Niemniej zadowalające efekty pozwala uzyskać automatyzacja marketingu, czyli kierowanie do użytkowników sklepu internetowego rozmaitych komunikatów marketingowych w czasie rzeczywistym na podstawie analizy ich zachowań. Bez gromadzenia danych realizacja takich korzyści nie byłaby możliwa.
Analiza opisowa, predykcyjna i preskryptywna
Big Data zyskał ogromną przyczepność w mgnieniu oka. Ankieta Tech Pro Research pokazuje, że 49% dużych firm wdraża rozwiązania Big Data w biznesie. Chociaż istnieje wiele firm wykorzystujących big data do analizowania różnych funkcji biznesowych, niewiele jest takich, które wykorzystują je w pełni. Sposób użycia duży dane analityka można podzielić na trzy poziomy. Poziomy te pokazują złożoność analizy i możliwości jej wykorzystania. Te poziomy to – opisowy analityka, proroczy analityka, nakazowy analityka. Każdy z nich reprezentuje nowy poziom analizy big data. W tym blogu omówimy różnica między analizą opisową, predykcyjną i normatywną i jak każdy z nich jest używany w nauka danych.
Analiza opisowa:
Opisowy analityka to analiza danych z przeszłości (lub historycznych) w celu zrozumienia trendów i oceny wskaźników w czasie. Jest to najłatwiejsza technika analizy danych, ponieważ wymaga minimalnego lub zerowego kodowania. Jest wiele wyrafinowane narzędzia już istniejący, który sobie poradzi opisowy analityka. Niektóre z nich to Żywy obraz, QlikView, KISSMetrics, Google Analityka itp. Narzędzia te analizują dane i prezentują je w formie zrozumiałej dla ludzi. Opisowy analityka ogranicza się do przedstawiania danych w formie tabelarycznej i graficznej. Po przeanalizowaniu i zaplanowaniu danych proces rysowania spostrzeżeń pozostaje nam do wykonania.
Analiza przepływów pieniężnych, raporty sprzedaży i przychodów, analiza wydajności itp. to typowe przykłady opisowy analityka. Z danymi wchodzącymi w nasze codzienne życie prawie cała firma używa opisowy analityka. Rozważać Google Analityka, na przykład każdy, kto zakłada stronę internetową, zakłada google analityka priorytetowo. Chociaż są to proste zastosowania opisowy analityka, cała analiza może zostać zakończona, jeśli umieścimy niezorganizowane dane (Big Data) na obrazie.
Analityka predykcyjna:
W ramach projektu proroczy analityka idzie o krok do przodu opisowy analityka. Podczas opisowy analityka ogranicza się do danych z przeszłości, proroczy analityka przewiduje przyszłe trendy. Należy pamiętać, że analiza predykcyjna tylko prognozuje przyszłość, a nie przewiduje jej ze stuprocentową dokładnością. Prognozowanie przyszłych trendów to jednak tylko jedna część proroczy analityka. Może również obejmować przewidywanie wartości brakujących pól w zestawie danych i prawdopodobnego wpływu zmian danych na przyszłe trendy.
Analiza sentymentów i ocena kredytowa są doskonałymi przykładami proroczy analityka. Analiza sentymentów to badanie tekstu mające na celu oszacowanie tendencji emocji za jego pośrednictwem przekazywanych. Celem jest zmierzenie, czy tekst wskazuje na pozytywne, negatywne czy neutralne nastroje. Zwykle mierzy się to oceniając fragment tekstu w zakresie od -1 do +1, gdzie strona „+” wskazuje na pozytywne nastawienie i na odwrót. Analiza oceny kredytowej jest badaniem przeszłych zachowań finansowych i wzrostu dochodów jednostki wraz z trendami ekonomicznymi w celu przewidzenia prawdopodobieństwa spłaty długu przez daną osobę. Obie te analizy nie gwarantują 100% dokładności. W rzeczywistości niektóre zaawansowane systemy wskazują również na prawdopodobieństwo dokładności analizy.
Analizy nakazowe:
Nakazowy analityka jest stosunkowo nową dziedziną w nauka danych. Idzie nawet o krok dalej niż opisowy i proroczy analityka. Nakazowy analityka przedstawia realne rozwiązania problemu i wpływ rozważania rozwiązania na przyszły trend. Jest uważany za cel każdego projektu analizy danych. Analiza nakazowa jest wciąż rozwijającą się techniką i jej zastosowania w biznesie są ograniczone.
Samojezdny samochód Google to doskonały przykład nakazowy analityka. Analizuje otoczenie i na podstawie danych decyduje o kierunku, w którym należy podążać. Decyduje o tym, czy zwolnić, czy przyspieszyć, zmienić pas, czy nie, jechać długą ścieżką w celu uniknięcia ruchu lub preferować krótszą trasę itp. W ten sposób działa jak ludzki kierowca, wykorzystując analizę danych na dużą skalę.
Czy jesteś entuzjastą Big Data? Jeśli tak, zapoznaj się z naszym najnowszym Duży Dane analityka która obejmuje najnowsze trendy, innowacje itp. w zakresie big data.