Teoria prognozowania

Błędy predyktywne

         Przy budowie strategii inwestycyjnej lub modelu ekonometrycznego, inwestorzy spotykają się często z sytuacją, w której dana metoda przynosi dobre rezultaty na danych historycznych jednak zastosowanie jej w rzeczywistości kończy się zupełnym niepowodzeniem. W przypadku modeli ekonometrycznych dostępnych jest szeroki wachlarz narzędzi pozwalających zweryfikować jego przydatność jeszcze przed wykorzystaniem go w praktyce. Istnieją odpowiednie testy statystyczne jak np. wykrywające obserwacje wpływowe, które najczęściej są powodem występowania takich sytuacji. Jednak nie zawsze jest możliwe zweryfikowanie tego typu hipotez. Ma to miejsce np. w przypadku sieci neuronowych. Wtedy jedynym rozwiązaniem jest analiza błędów predyktywnych.

         Zastanówmy się chwilę jak przebiega cały proces prognozowania. Na początku należy dokonać identyfikacji zmiennych objaśniających (mogą to być wskaźniki analizy technicznej lub wielkości makroekonomiczne), następnie spośród nich wybiera się zmienne, które mają istotny wpływ na badany proces (można dobrać te zmienne na podstawie testu t). Na końcu, jeżeli zmienne objaśniające są znane ustala się ich kierunek oddziaływania (np. na podstawie KMNK) i w ten sposób można wyznaczyć już prognozę. Zauważmy jednak, że prognozy wyznaczane na podstawie takich modeli w praktyce wykraczają poza obszar estymacji. Dlatego wszystkie statystyki np. R2 czy statystyka t, dotyczą jedynie okresów historycznych. Powstaje, więc pytanie czy model będzie zachowywał się w ten sam sposób poza obszarem estymacji? Najczęściej, aby to sprawdzić „ucina” się dane historyczne na pewnej obserwacji w przeszłości, estymuje się ponownie parametry modelu, a następnie dla obserwacji wybiegających poza ten obszar bada się jego skuteczność. Błędy predyktywne to właśnie błędy dopasowania modelu do danych rzeczywistych, wyznaczone jednak poza obszarem estymacji. Zauważmy jednak, że w takim przypadku badamy błędy jedynie dla krótkiego wybranego przedziału czasu. W dobie szybkich komputerów możliwe jest przeprowadzenie symulacji, dokładniej odzwierciedlającej rzeczywistość, tzn. jeżeli posiadamy n obserwacji, możemy zbudować n - 1 - m modeli (gdzie m to minimalna liczba obserwacji potrzebna do zbudowania modelu) i w ten sposób wyznaczyć błędy predyktywne dla całej dostępnej historii. 

          Analiza tych błędów i porównanie ich z wynikami osiągniętymi na danych historycznych pozwala zbadać czy model będzie tak samo zachowywał się w rzeczywistych warunkach jak na danych historycznych. Jeżeli nie dysponujemy innymi metodami weryfikacji, lub zależności między zmiennymi mają charakter dynamiczny (nie są stałe w czasie) metoda to może okazać się jedynym narzędziem wykrywającym pozorną skuteczność modelu lub mechanicznego systemu transakcyjnego.

Zobacz także: