W tradingu 90% brzmi lepiej niż 57%. To może być pułapka. Liczba ma wartość dopiero wtedy, gdy wiadomo, co oznacza, jak została skalibrowana i jak zachowuje się w serii prognoz.
Jeżeli model mówi „57%”, nie twierdzi, że wynik dodatni nastąpi w tej konkretnej transakcji. Twierdzi, że w dobrze zdefiniowanej klasie podobnych sytuacji zdarzenie powinno występować z częstością zgodną z prognozowanym prawdopodobieństwem. Jedna przegrana nie obala prognozy 57%, tak jak jedna wygrana nie potwierdza prognozy 90%.
Hipoteza, nie pewność.
Glenn W. Brier zaproponował w 1950 r. kwadratowy sposób oceny prognoz probabilistycznych. Dla zdarzenia binarnego zapis jest prosty:
Im niższy wynik, tym lepiej. Prognoza 0,90 zakończona wynikiem 0 daje 0,81. Prognoza 0,57 z tym samym wynikiem daje 0,3249. Nadmierna pewność jest więc kosztowna. Brier Score nie nagradza efektownego języka — nagradza prawdopodobieństwa, które przechodzą test rzeczywistości.
Załóżmy, że dwa modele oceniają tę samą hipotezę: „EUR/USD osiągnie target przed stop-lossem”. Model A mówi 90%, model B 57%. Pozycja kończy się stratą. Nie oznacza to automatycznie, że B „przewidział rynek”. Oznacza tylko, że A otrzymuje znacznie większą karę za pewność, której wynik nie potwierdził. Dopiero wiele zamkniętych, porównywalnych prognoz pozwala badać kalibrację.
To ważne także dla zarządzania kapitałem: prawdopodobieństwo samo nie określa atrakcyjności transakcji. Potrzebne są również payoff, koszty, ryzyko i wielkość pozycji. 57% przy korzystnym stosunku zysku do straty może mieć dodatnią wartość oczekiwaną; 90% przy fatalnym payoffie nie musi.
W BriefRooms Decision LAB chcemy oddzielać hipotezę od jej późniejszego wyniku. Rekord ma zachować P i Confidence przed rozstrzygnięciem, a następnie dopisać Target, Wynik i Brier. Dzięki temu model nie może po fakcie przepisać własnej prognozy. To jest odpowiednik zasady point-in-time: najpierw zamrażamy przekonanie, później pozwalamy rynkowi je rozliczyć.
Warstwa Confidence powinna być traktowana osobno: może opisywać jakość danych, stabilność modelu lub siłę dowodów, ale nie powinna udawać prawdopodobieństwa, jeśli nie została jako takie skalibrowana. To rozróżnienie jest szczególnie ważne w tradingu, gdzie „wysoka pewność” łatwo zamienia się w nadmierne ryzyko.
To nie jest już tylko elegancka teoria statystyczna. W 2026 r. Waghmare i Ziegel w Annual Review of Statistics and Its Application podsumowali rozwój proper scoring rules jako narzędzi nie tylko do oceniania prognoz, ale również do estymacji całych rozkładów prawdopodobieństwa. Jeszcze ciekawsze dla tradingu są dane z rynków predykcyjnych. Analiza Kagan i Baiocchi obejmująca ponad 2,24 mln rozstrzygniętych rynków Kalshi wykazała, że wraz ze zbliżaniem się momentu rozstrzygnięcia Brier Score spadał z około 0,08–0,09 przy horyzoncie trzech miesięcy do około 0,02 przy zamknięciu. To sugeruje coś ważnego: prawdopodobieństwo powinno być procesem aktualizowanym w czasie, a nie etykietą przyklejoną do transakcji w chwili wejścia.
Osobna analiza Davida Krause'a dotycząca 594 rynków makroekonomicznych Kalshi z lat 2025–2026 pokazała również, że jakość kalibracji zależy od rodzaju problemu i horyzontu. Najkrótszy badany horyzont — jedna godzina — miał lepszy Brier Score niż horyzont 30-dniowy, a skrajne prawdopodobieństwa wykazywały oznaki nadmiernej pewności. To dobry argument przeciw jednemu „globalnemu confidence” dla wszystkich instrumentów i wszystkich tenorów.
Proponujemy hipotezę do empirycznego sprawdzenia w Decision LAB: model, który aktualizuje P w kolejnych checkpointach i jest oceniany osobno dla instrumentu, horyzontu i reżimu rynku, będzie podejmował lepsze decyzje niż model oparty na jednej wartości Confidence wygenerowanej przy wejściu. To nie jest jeszcze wynik BriefRooms — to falsyfikowalna hipoteza badawcza.
Praktycznie oznaczałoby to zapis P(t0), P(t1), P(t2)… bez nadpisywania historii. Dla EUR/USD moglibyśmy porównywać np. forecast przy wejściu, po 15 minutach, po godzinie i przed ważnym wydarzeniem makro. Po rozstrzygnięciu każda wersja dostaje własny Brier Score. Wtedy zobaczymy nie tylko, czy system miał rację, lecz kiedy zaczął mieć rację albo kiedy utrzymywał błędne przekonanie mimo nowych danych.
Część tej metodologii istnieje już w naszej architekturze wykonawczej. Weekly EUR/USD ma zamrożony poziom wejścia, stop-loss i take-profit, a monitor ryzyka rozlicza dotknięcie poziomu na danych OHLC zamiast przepisywać transakcję po fakcie po późniejszej cenie. Decision LAB stosuje analogiczną zasadę epistemiczną: zamrozić hipotezę i P przed wynikiem, a dopiero później dopisać Outcome i Brier. W obu przypadkach najważniejsza jest audytowalność point-in-time — przyszłość nie może przeciekać do przeszłej decyzji.
To jednak nie dowodzi jeszcze przewagi prognostycznej systemu. Dowodzi czegoś wcześniejszego i koniecznego: że możemy uczciwie zmierzyć przewagę, jeżeli się pojawi. Bez niezmiennego zapisu prognozy nawet świetny model może wyglądać dobrze z powodu hindsight bias albo look-ahead bias.
Sam Brier Score nie wystarcza do tradingu. Dwie strategie mogą być równie dobrze skalibrowane, ale jedna może rozróżniać sytuacje 51/49, a druga często identyfikować 70/30. Klasyczna literatura nazywa tę drugą własność sharpness lub resolution: chcemy prognoz możliwie zdecydowanych, ale tylko pod warunkiem zachowania kalibracji. Dlatego Decision LAB powinien mierzyć równolegle kalibrację, resolution oraz ekonomiczny wynik po kosztach.
To prowadzi do mocniejszej zasady niż „kupuj, gdy P > 50%”. Decyzja powinna zależeć od wartości oczekiwanej: prawdopodobieństwa sukcesu, wielkości możliwego zysku i straty, kosztu transakcyjnego oraz ryzyka modelu. Dopiero ta warstwa łączy prognozowanie z sizingiem pozycji.
Gneiting i Raftery pokazują szerszą zasadę: właściwe reguły punktacji są konstruowane tak, aby opłacało się raportować rzeczywiste przekonanie probabilistyczne zamiast manipulować liczbą pod wynik. To dokładnie ten bodziec, którego potrzebuje system uczący się z własnych prognoz.
Wniosek BriefRooms: celem nie jest model, który brzmi najbardziej pewnie. Celem jest model, którego prawdopodobieństwa są mierzalne, uczciwie zamrożone przed wynikiem i z czasem coraz lepiej skalibrowane.