15. kesäkuuta 2016

Epävarmat hännät






Epävarmuus ja vaistomainen erehtyminen ovat olleet tämän blogin vakioaiheita. Eilen mainittu David Kahneman mainittiin ja esiteltiin vuonna 2011. Myös Nasim Taleb ja hänen musta joutsenensa olivat esillä aika kauan sitten. Samaan ryhmään kuuluu Malcolm Gladwell, jonka kirjoista suomentamattomat ”Outliers” ja ”What the Dog Saw: and Other Adventures”.

Kohtuuden nimessä arvoitus-dekkarin keksijät olisi mainittava samaan hengenvetoon, etenkin A. Conan Doyle ja Edgar Allan Poe.

Kirjoitteluani rajoittaa hiukan puuttuva mielenkiintoni viihteellisiintehtäviin. Arvostan kielellisiä ja matemaattisia pähkinöitä mutta en osaa innostua niistä.

Kuitenkin vähän väliä mainittu John Allen Paulos (”Innumeracy: Mathematical literacy and its Consequences”, 1988) viehättää kovasti, vaikka luultavasti aiheesta on uudempia ja parempia kirjoja. Toisaalta lupaan katsoa Paulosin uusia kirjoja, joita näyttää olevan monta.

Tausta on kertomani tapaus, kun Yhdysvallat kutsui minut esimieheni hovioikeuden presidentin kiukuksi Tucsoniin tuomarikurssille, jolla keskityttiin todennäköisyyteen, tilastotieteeseen ja matematiikkaan. Muista hyvin sekä opetukset että autoajeluni.

Kaikki muut pelasivat golfia vapaa-aikanaan, paitsi korostetun juutalainen tuomari ja minä. Kävin katsomassa keinotekoista kaupunkia, jossa oli filmattu hyvin monia kuuluisia lännenfilmejä, ja sitten Tombstonessa, joka on osittain väärennetty museokaupunki. Pysähdyin pissille Boot Hillin hautausmaan kohdalle – siellä lepäävät Wyatt Earpin ja Doc Hollidayn ampumat pahikset. Samalla opin, että tuossa maan ääressä ei mennä monta askelta tieltä, ja miksi cowboyt käyttivät saappaita ja hankalan oloisia säärystimiä. Piikkipensaat ovat pirullisia ja niitä on joka paikassa.

Tuossa viikon tilaisuudessa yksi esitelmöitsijä oli Princetonin matematiikan professori – taloustieteestä oli tuonakin vuonna paikalla tavan mukaan nobelisti – joka opetti meille käytännössä syntymäpäiväparadoksin. Saimme käsityksen myös kauppamatkustajan ongelmasta. Palasin Suomeen vakuuttuneena siitä, että tuomarikunnalle olisi opetettava tilastotiedettä ja tietojenkäsittelytieteen alkeita.

Hanke unohtui vähä vähältä samalla tavalla kuin luja päätökseni käydä katsomassa monumenttien laaksoa, suurta kanjonia ja dinosaurusten hautausmaata. Välimatkat ovat Amerikassa pitkiä etenkin yksin ajaen. Kuka uskoisi vain kartan tuntien, että San Franciscosta Los Angelesiin ajaa alle kuuden tunnin vain Herkko Hietanen tai Mikko Välimäki? Pojat ovat varttuneet; eivät varmaankaan ajaisi enää; ja Oksasen Ville on kuollut.

Alussa mainitsemani kolme kirjoittajaa käsittelevät kukin virhepäätelmiä ja ilmiötä, jonka yleisnimi on kognitiivinen vinouma. Esimerkkejä on runsaasti ja osa on todella hyviä.

Talebin ”Musta joutsen” liittyy aika suoraan deduktion ja induktion teoriaan. Molemmilla on tunnetusti rajoituksensa. ”Mustia joutsenia ei ole olemassa”, toisteltiin Aristoteleen ajoista alkaen, kunnes niitä sitten löytyi, ensin Australiasta. Deduktion yksi ongelma on väärä premissi.

Kahnemanin opetuksista voi jo tästä kirjoituksesta painaa mieleensä, että todennäköisyys ja todennäköisyyden arviointi on usein todella vaikeaa. Hänen esimerkkinä on tietyn syövän yleisyys – uutisissa kerrottiin, miten tietynlaisissa pienissä piirikunnissa oli hyvin paljon tiettyä syöpää. Tästä sitten tehtiin johtopäätöksiä. Sitä ei kerrottu, että oli muita pieniä piirikuntia, joissa oli harvinaisen vähän noita syöpäsairauksia.

Esimerkki johtaa kysymykseen otannasta. Yhdysvalloissa on paljon asukasmäärältään hyvin pieniä piirikuntia. Normaali tilastomatematiikka kertoo, miten lasketaan luotettavuusväli. Jos 300 eläkeläisestä istuvaa presidenttiä kannattaa 60 prosenttia, tulos ei merkitse mitään, koska 300:n perusteella ei voi tehdä johtopäätöksiä eläkeläisistä eikä poliittisesta kannatuksesta.

Tätä Kahneman nimittää osuvasti pienten lukujen laiksi. Ilman suoritettuja kursseja kannattaa myös tietää, että tietyn kokoisen populaation jälkeen tuloksen uskottavuus ei enää parane merkittävästi.

Lehtien kirjoittelu ja poliitikkojen lausunnon sivuuttavat meilläkin useimmiten sivuutetun ”kaksi prosenttia suuntaansa” vaihteluvälin. Kahta prosenttia pienempi kannatuksen muutos ei ole edes suuntaa antava. Se voi olla pelkästään matemaattinen eli ei edes ”suuntaa antava”.

Tällä ja ensi viikolla iso puheenaihe on Brexit. Arvailemme, miten Britannia äänestää EU-asiassa. Voi olla tottakin, että taloudellista puolta painottavat äänestävät, että ei erota, ja tunnepuolta (isänmaallisuus jne.) korostavat äänestävät, että erotaan.

Sitä Kahneman tai kukaan muukaan ei tiettävästi selitä, miksi äänestykset menevät nykymaailmassa niin tiukoiksi, tyyppiä 51-49. Itse epäilisin, että syy on sama kuin jalkapallossa, jossa 1-0 näyttää olevan tavallinen tulos.

Pelaajat (äänestäjät) ovat hyviä tai hyvin prepattuja ja sitten on tämä sattuma eli satunnaisuus.

Arvelen, että sattuma ratkaisee Brexitin ja USA:n presidentinvaalin.

Voiko sattumaan vaikuttaa? Ei voi. Sana tarkoittaa ilmiötä, jolla ei ole syytä. Mutta todennäköisyyksiä on hyvä tuntea. Kysykää huviksenne seuraavan kerran, kun istutte kaljalla Teboilin baarissa, että kuinka suuri todennäköisyys on viiden klaavan heittämisen jälkeen saada kuudeskin klaava. Luultavasti saatte väärän vastauksen. Kaikki eivät tiedä intuitiivisesti eivätkä ole oppineet, että juuri kolikon heitot ovat toisistaan riippumattomia tapauksia, joissa todennäköisyys on joka kerta sama.

Kahneman, Taleb ja Gladwell unohtavat kaikki yhden asian. Taide kauttaaltaan ja osa tieteestä on yllätysten maailmaa. Yllätä minut, kuten Google logon alla luki. Toisin sanoen taide ja osa tieteestä on mielihyvän lähde, josta myös oppii hyödyllisiä asioita.


18 kommenttia:

  1. Minullapas on koko Simo Penttilän Arizona-sarja. Siinä muuten ratsastetaan aivan ällistyttävän pitkiä päivämatkoja. Penttilällä on ollut jokin kartta, mutta mittakaava tuntuu heittävän pahasti vaikka tekstissä muuten usein korostetaan maan suuruutta.

    Suomessa pienten lukujen laista on hyvä esimerkki lukioiden ranking-listat joissa sekä ylä- että alapäässä usein on mukana pieniä kouluja joiden on lähes mahdotonta olla keskinkertaisia, ja joiden sijat heittelevät kärkipäästä häntäpäähän.

    AW

    VastaaPoista
  2. Jep. Olisi höpsismin tulevaisuuden kannalta tuhoisaa selvittää ettei edellisen heiton tulos vaikuta seuraavaan. Kun valitaan kaksipuoluemaan pressaa asia muuttuukin toiseksi.

    Kuinka suuri määrä vastaajia kyselyyn tarvitaan Suomessa että sillä voidaan saada luotettava tulos?

    Kuinka monta kannattajaa tarvitaan puolueen rekisteröimiseen?

    Entä jos kysyttäisiin montako puoluetta meillä on tarpeen? Tai montako vielä, lisää? Tai minkälaisia?

    Veikatkaapa lystin päiten mikä tulee Kokoomuksen ääniosuudeksi seuraavissa vaaleissa. Meillä näistä ei taida olla vedonlyöntimahdollisuuksia mutta monissa maissa on hullummistakin asioista, jos ne nyt sitten ovat sen hullumpia.

    Ollakseen pätevä tulisi höpsismin ottaa huomioon että raha voi jäädä syrjälleen. Sekin mahdollisuus on että se voi jäädä ilmaan (käytännössä siis romanialainen ennustajaeukko jolta on kysytty on pyytänyt pelivälinettä lainaksi ja sieppaa sen).

    VastaaPoista
    Vastaukset
    1. Kokoomuksen ääniosuudeksi tulee seuraavissa vaaleissa, jos seuraavat vaalit ovat kuntavaalit, 17,5 %.
      Sikäli mikäli seuraavat vaalit ovat eduskuntavaalit, kokoomuksen ääniosuudeksi tulee 14,25 %.
      Käytän ennustamiseen päättelykykyni lisäksi sarvijäärän kävelyliikkeitä ja sarvien osoittamaa ilmansuuntaa auringon laskiessa, mutta tarkempaa tietoa menetelmästäni en paljasta. Ennustamiseen käyttämäni sarvijäärä asustelee terraariossa.
      (Blogivaeltaja)

      Poista
  3. Tämän kirjoituksen vahva viesti on, että poliitikot, jotka sysäävät päätöksenteon kansanäänestyksiin, ovat pettäneet valitsijansa. He ovat kieltäytyneet tekemästä vaikeita päätöksiä, pelätessään suosionsa menetystä seuraavissa vaaleissa.

    Kiky vatulointi, NATO päätös ja Brexit juttu kuuluvat asioihin, joiden lopullista päättämistä ei kuulu antaa muille kuin lainsäätäjille.
    Pekka Tammi

    VastaaPoista
  4. ..."todennäköisyyksiä on hyvä tuntea"...

    Jos on tullut klaava viisikin kertaa peräkkäin, niin rupean ajattelemaan, että kolikossa on jotain erikoista. Lottoriviä en tee koskaan peräkkäisistä numeroista tai pelkästään parillisista. Empiria vaikuttaa: en usko, että voittorivi on koskaan ollut tuollainen.

    VastaaPoista
    Vastaukset
    1. Laskeskelin, että pelkistä parillisista numeroista koostuvan rivin todennäköisyys on 3,3 promillea. Uskoisin, että loton Suonessa on pelattu lottoa noin 2500 kierrosta. Tämän perusteella todennäköisyys, että ainakin kerran olisi tullut lottorivi, jossa olisi pelkkiä parillisia numeroita, on yli 99,9 %.

      Jos sellaista riviä ei löydy historiallisista tuloksista, lottokoneessa on oltava vikaa.

      Toisaalta minkä tahansa yksittäisen pelkistä parillisista koostuvan rivin todennäköisyys on sama kuin kaikkien muidenkin rivien. "Empiria" ei ole hyvä apuneuvo.

      Poista
  5. Suomessa galluppeja tehdään hurjan usein. YLE ja HS kerran kuukaudessa.

    http://hikipedia.info/wiki/Emil_Hurja

    HS tehköön mitä lystää. YLEn gallupit jostain kumman syystä erehtyvät totaalisesti vaalien alla. Eivät ole pystyneet ennustamaan näitä paljon puhuttuja jytkyjä.

    On tunne, että Taloustutkimuksen kyselyjä kirjataan miten sattuu ja YLE ei oikein tiedä mihin 500 miljoonan rahoja käyttäisi no ainakin Taloustutkimuksella on säännöllinen tulolähde.

    Voisihan se YLE sentään vielä päällystää jalkapallostudionsa katon ja lattian isoilla screeneillä meidän YLE veron innokkaiden maksajien riemuksi.

    VastaaPoista
  6. Mainitsemasi Pauloksen "Numerotaidottomuus" on kuulopuheiden mukaan ainakin ollut kauppakorkeassa tenttikirjana. Jos niin, hyvä on.

    Ystäväni tilastotieteen professori kertoi jutelleen TKK:n kollegan kanssa, joka oli kertonut, että teekkareille on tilastotieteen kurssi. Pituus viisi tuntia!

    Kalevi Kantele

    VastaaPoista
  7. " Toisin sanoen taide ja osa tieteestä on mielihyvän lähde, josta myös oppii hyödyllisiä asioita."

    Hienosti sanottu.

    VastaaPoista
  8. Olisiko nyt kuitenkin niin, että setä tarkoittaa prosenttiyksikköä eikä prosentteja tuossa vaihteluvälin ilmoittamisessa?

    VastaaPoista
  9. Saattavat britit erotakin, on siellä niin paljon heikosti koulutettua väkeä. Mutta mitä tekee sitten Skotlanti? Pohjois-Irlanti ei luultavasti olisi tyytyväinen brexitiin, talous joutuisi tiukoille. Siellä ovat hirveän Englanti-vastaisia. Olin kerran Belfastissa muutaman päivän "valtion vieraana", oikeammin vieraan vaimon ominaisuudessa, ja se tuli esiin moneen kertaan pikku asioissa. Illallisilla vieras tilasi jälkiruoaksi juustolautasen ja isäntä huokaisi: "On se niin noloa, ettei meillä ole omia juustoja." Minä: "Onhan tuossa Stiltonia ja Cheddaria ja.." Isäntä: "Ne ovat ENGLANTILAISIA!" Niin. EG

    VastaaPoista
  10. On toimittajillakin luetettu tutkintoon liittyen klassikkokirjaa "How to Lie with Statistics" mutta lehtiä lukiessa tuntuu siltä että ne ovat ottaneet sen todesta eivätkä lähdekritiikin oppikirjana niin kuin tekijä on tarkoittanut. Kirja on vissiin 40-luvulta, ja kaikki siinä kerrotut konstit ovat edelleen käytössä.

    AW

    VastaaPoista
  11. Maailmankaikkeuden perusilmiöihin kuuluvan entropian mukaan järjestys on aina jotain tiettyä mutta epäjärjestys voi ilmetä lukuisina-lähes lukemattomina- eri versioina.

    VastaaPoista
  12. @JohnAllenPaulos on ahkera ja hauska tweettaaja, kuten useimmat tunnetut keski-ikäiset tiedetähdet. Matemaatikoista esimerkiksi myös @MarcusduSautoy.

    vuorela, tampere

    VastaaPoista
  13. K:Kahta prosenttia pienempi kannatuksen muutos ei ole edes suuntaa antava. Se voi olla pelkästään matemaattinen eli ei edes ”suuntaa antava”.

    Joo, mutta tuokin koskee vain niitä suurimpia "20%:n" puolueita. 4-5%:n pikkupuolueelle (RKP. KD jne) vastaava vaihteluväli on 1% samassa kyselyssä. Ja tämän tietää vielä harvempi.

    M

    VastaaPoista
  14. Hukkaan meni Tucsonin tuomarikurssi Kemppiseltä, täysin hukkaan. Eikä hoviokeus tai muukaan suomalainen tuomarikunta hyötynyt siitä minkään vertaa.

    VastaaPoista
  15. Populaatiosta eli perusjoukosta otetaan näyte tai otos, jonka suurus ja edustavuus ovat tärkeitä oikean tuloksen kannalta.

    Plus miinus 2:n "varmuusväli" tarkoittaa sitä, että suunnilleen 94/100 otoksesta tulos on oikea.

    VastaaPoista
  16. "Étonne-moi" oli Sergei Djagilevin ohje Jean Cocteaulle.

    VastaaPoista