Taas yksi tietokirjallisuuden helmi: Signaali ja kohina

Nyt on tullut aika palata blogin toiseen tukijalkaan, joka jo blogin otsikossa mainitaan. Siis kirjoihin. Olen nimittäin jo liiankin kauan jättänyt esittelemättä erään kirjan, jonka aivan varmasti entistä useamman pitäisi lukea. Olen lukenut kirjan varmasti jo yli vuosi sitten, mutta kirja on tässä vaiheessan pakko selata uudelleen ja esitellä nyt teille kaikille.

Nate Silverin kirja Signaali ja kohina.

Kirja on nimittäin Nate Silverin ”Signaali ja kohina. Miksi monet ennusteet epäonnistuvat, mutta jotkut eivät”. Alkuteos ”The Signal and the Noise. Why So Many Predictions Fail — but Some Don't” ilmestyi vuonna 2012, ja suomentajana oli Kimmo Pietiläinen.

Tapahtumien ennustaminen on osoittautunut usein vaikeaksi. Yhdysvaltain presidentinvaalien tuloksen ennustaminen, vuoden 2008 rahoituskriisi, maanjäristysten tai myrskytuhojen ennustaminen tai urheiluvedonlyönti tarjoavat hyviä esimerkkejä siitä, miten arvostettujen asiantuntijoiden ennusteet ovat menneet vikaan.

Silver kertoo eräänä esimerkkinä professori Philip Tetlockin pitkäaikaisesta tutkimuksesta, jossa hän on systemaattisesti kysellyt asiantuntijoilta mielipiteitä tulevista tapahtumista. Kysymysten aiheina käytettiin suuria määriä erilaisia tapahtumia Persianlahden sodasta Japanin kiinteistökuplaan tai Quebecin eroon Kanadasta. Asiantuntijat onnistuivat ennustamisessa huonommin kuin alkeelliset tilastolliset menetelmät. 15 prosenttia asiantuntijoiden mahdottomiksi arvioimista asioista tapahtumista toteutui, ja neljäsosa heidän täysin varmoiksi uskomista tapahtumista jäi toteutumatta. Asiantuntijat ennustivat kaikkien alojen tapahtumat yhtä itsevarmasti päin honkia, osaamatta laskea todennäköisyyksiä.

Poliittiset ennusteet ovat vaikeita siksi, että ennustajalla voi olla oma ideologia, jonka läpi hän maailmaa katsoo. Silver esittelee Tetlockin käyttämän luokituksen ketun ja siilin ajattelutapoihin, ja selittää, miksi jälkimmäiset ovat parempia ennustajia. Lähtökohtana on, että kettu tietää monta pientä asiaa, mutta siili vain yhden suuren asian, mutta tarkempi analyysi kannattaa lukea kirjasta. Paljastettakon nyt kuitenkin, että ketun lähtökohta on ennustamiseen yleisesti ottaen parempi.

Kirjan nimi tulee radiosignaalista, jota voi olla vaikea erottaa satunnaisesta taustakohinasta. Kun talouden tai luonnon ilmiöitä koskevaa aineistoa tutkitaan, on hyvin helppo käsitellä aineistoa, kuin se kuvaisi pelkästään tutkittavaa ilmiötä. Jos tilastoaineistoon sovitetaan mahdollisimman hyvin sopiva kaava, niin hyvin usein se selittää aineistossa olevia satunnaiskohinasta johtuvia piirteitä. Tällöin itse ilmiö tulee huonommin kuvatuksi, ja malli ei ennusta tulevia tapahtumia läheskään niin hyvin, kuin tutkimusaineisto antaa olettaa.

Kirjassa käsitellään sitä, miksi sääennustaminen on nykyään oleellisesti helpompaa kuin maanjäristysten ennustaminen, ja miksi on mahdollista, että maanjäristysten ennustamisessa ei ikinä saavuteta merkittävää edistystä.

Yksi kirjan pääasioista on ennusteen epävarmuuden arvioinnin tärkeys. Erityisesti talouden ennusteiden suhteen on leimallista, että ennusteille ei anneta mitään virhemarginaaleja, ja ennusteet jäävät usein hyvin kauas todellisista tapahtumista. Ja kun virhemarginaaleja annetaan, ennusteet ovat liian itsevarmoja. Esimerkiksi tutkitussa aineistossa BKT osui 90 prosentin ennustevälin ulkopuolelle lähes puolessa tapauksista, vaikka niin pitäisi tapahtua vain 10 prosentissa tapauksia.

Nate Silver löytää viihdyttäviä ja syvällisiä pointteja siitä, miten tilastoja voi käyttää yhtä hyvin menestyksekkäästi ja tuhoisasti. Kirjassa kevyempää puolta edustaa urheilutulosten ennustaminen ja rahan ansaitseminen sillä tavoin. Myös pokerikuplan selittäminen on esimerkki kirjan kevyemmästä aineistosta. Kirjassa selitetään sopivan lyhyesti myös se, mikä Texas hold'em -tyyppisessä pokerissa on pelaamisen kannalta oleellista. Samalla selitetään, millä tavoin nettipokerilla pystyi kuplan aikana tienaamaan hyvinkin, ja miksi se on nykyään hyvin hankalaa. Itse en ole koskaan pelannut pokeria, ja silti Silverin esitys oli mielestäni hyvin selkeä ja antoi pelistä yllättävänkin valaisevan kuvan. Aihe on mielenkiintoinen, vaikka en koskaan aiokaan ryhtyä urheiluvedonlyöjäksi, enkä edes kokeilla nettipokeria.

* * * * *

Viime aikoina olen seurannut USA:n vaaliasetelmia. Eräs hiljattain löytämäni nettisivu on Nate Silverin http://fivethirtyeight.com/ , jossa kirjassakin esitettyjen periaatteiden mukaisesti vaaliennusteet muodostetaan ottamalla huomioon eri osavaltioiden kaikki vaaligallupit, arvioidaan niiden suhteellinen luotettavuus, ja yhdistetään näistä saatu informaatio eri osavaltioista saatavaan taloudelliseen ja väestörakenteelliseen informaatioon. Järjestelmään syötetään gallupien tiedot melko lailla reaaliajassa, ja systeemi siis perustuu tietokonemallinnukseen, eikä mihinkään ad hoc päättelyyn. Menetelmä on toiminut erittäin hyvin aiempien vaalien tuloksia (etukäteen) ennustettaessa, ja siinä vältetään oman poliittisen kannan vaikutus omien suosikkien ja inhokkien menestyksen arvioinnissa.

Varsinkin, jos olet kiinnostunut vaalien ohella myös baseballin tai amerikkalaisen jalkapallon tilastoista tai niitä koskevasta vedonlyönnistä, niin kyseinen nettisivu on oleva selvä suosikkisi. Silti pelkkä vaaliteemakin tekee sivun kiinnostavaksi. Muistelin jo sivun löytäessäni, että kyseinen nettisivu oli mainittu tässä kirjassa, mutta vasta tänään tajusin, että tosiaan se on mainittu, mutta tämän kirjan kirjoittaja on tuo samainen Nate Silver, joka tuota sivuakin pitää.

* * * * *

Mainittakoon nyt, että kirja löytyy verraten edullisesti ainakin Adlibriksen valikoimasta sekä suomeksi että alkukielellä. Kirjastoistakin teos löytynee.