Q & A: Mida tähendab New York Timesi küsitlusotsus

New York Timesja CBS News tegid sel nädalavahetusel valimismaailmas suuri uudiseid, kui teatasid, et hakkavad oma valimiste kajastamise osana kasutama YouGovi veebipõhiseid küsitluspaneele. 2000. aastal asutatud Suurbritannias asuv uurimisfirma YouGov kasutab pigem selliseid paneele kui traditsioonilisi telefoniuuringuid; paneelKordaja CBS kasutab rohkem kui 100 000 liiget. TheTimes,Tsiteerides muret kvaliteetsete, erapooletute uuringute andmete nappuse pärast, eriti riigi tasandil, ütleb ta, et kavatseb kaasata YouGovi tulemused „mitmekülgse metoodikat kasutava küsitluste komplekti”.


Keeter

Ehkki turu-uurijad on paneele juba ammu kasutanud, on need arvamuste uurimise valdkonnas suhteliselt uued ja nende seisukohad on teravalt lahus. Palusime Pew uurimiskeskuse uuringu direktoril Scott Keeteril selgitada kaalul olevaid probleeme ja anda meile oma esialgsed mõtted.

Mis erineb YouGovi paneeli uuringutest Times, CBS ja Pew Research varem kasutatud uuringutest?


On kaks suurt erinevust. Üks on see, et need toimuvad täielikult Interneti kaudu Interneti-kasutajate seas. Inimesed, kes Internetti ei kasuta, ei kuulu siia (lisateavet selle kohta allpool). Teine - ja vaieldamatult suurim - erinevus seisneb selles, et nende uuringute valimid valitakse nn mittetõenäosusega valimismeetodite abil. Aastakümnete jooksul on uuringute jaoks täpsete ja esinduslike proovide loomiseks teadusliku viisina üldtunnustatud ainult tõenäosus- või juhuslikud valimid.

Selgitage tõenäosuse ja mitte tõenäosuse valimi erinevust.

Ameerika avaliku arvamuse uuringute ühing, juhtiv uuringu-spetsialistide ühendus, on seda hästi selgitanud. Nende mittetõenäosuse valimi moodustamise töörühm märkis seda oma eelmise aasta peamises aruandes järgmiselt: „Tõenäosuse valimis on kõigil huvipakkuvast elanikkonnast (nt kõigil poliitilisel küsitlusel registreeritud valijatel) võimalus valida intervjuu. Nende võimaluste teadmine on kehtivate statistiliste hinnangute loomiseks ülioluline. ” Mittetõenäosusega valimid on seevastu „need, milles osalejad valitakse või valitakse ise nii, et väljavalimise võimalus pole teada”.



Siin on, kuidasTimes ’Nate Cohn selgitas, kuidas YouGov oma veebipaneeli kokku paneb: Ettevõte üritab luua suure, mitmekesise paneeli ja seejärel sobitada oma paneelid demograafiliselt sarnaste vastajatega Ameerika kogukonna uuringust…. See etapp on mõeldud tõenäosuse valimi jäljendamiseks. Kuid see võib nõuda olulisi eeldusi valijate koosseisu, sealhulgas parteilisuse kohta.


Tõenäosuse valimi suurim kasu on (1) asjaolu, et teadlased valivad vastajad, mitte ei võimalda vastajatel vabatahtlikult osaleda, ja (2) et üksikisiku valimise võimaluste teadmine võimaldab meil hinnata, kui palju mõni antud valim on tõenäoliselt erinevad sellest, mida oleksime leidnud, kui oleksime küsitlenud kõiki elanikke. See ilmneb uuringu veavarana. Mittetõenäosusega valimite puhul pole võrreldavat veapiiri.

Miks peaksid Times ja CBS otsima mittetõenäosusemeetodeid? Kas tõenäosuspõhistel meetoditel, näiteks telefoniküsitlustel juhuslike numbritega (RDD), on omad probleemid?


Tõepoolest, nad teevad seda. Nagu meie varasemad uuringu mittevastamise uuringud on näidanud, on inimesteni jõudmine ja nende küsitlemine üha keerulisem. Kuid tuleb välja tuua kaks olulist punkti. Esiteks, telefoniküsitlused - ka meie oma - tegid 2012. ja varasemate aastate valimiste ennustamisel üldiselt head tööd. Meie valimid sarnanevad jätkuvalt enamiku näitajate populatsiooniga, mille kohta meil on loenduse ja muude kvaliteetsete allikate põhjal usaldusväärseid andmeid.

Teiseks ei saa ühe uurimismeetodi probleemid iseenesest olla alternatiivi kasutuselevõtu õigustamiseks. Alternatiiv peab osutuma piisavalt täpseks ja piisavalt täpseks eesmärkidel, millele praegu rakendame RDD telefoniuuringuid. Valdkond teab palju meie praeguste meetodite kallutatusest ja probleemidest. Mittetõenäosuslike meetodite kallutatuse ja probleemide mõistmine on palju vähem täielik, kuid ma loodan, et saame selle arusaama hoolika katsetamise käigus

Mida tähendab ajakirjanduse ja uuringumaailma jaoks üldiselt see, et Times ja CBS kõigist uudiste organisatsioonidest on otsustanud kasutada YouGovi paneeli? Kas ootaksite, et teised uudisteorganisatsioonid järgiksid nüüd, kui need kaks on jää murdnud?

See on uuringumaailmas väga suur asi. Siiani pole ükski suurem uudisteorganisatsioon oma kaubamärki kasutanud mittetõenäosusemeetoditel põhinevate uuringute kasutamisel. See samm on Twitteris ajakirjanike ja küsitlejate seas käivitanud väga elava arutelu. Tõenäosuseta valimite küsimuses on tugevad arvamused. Siin on üks vaadeWashington Postküsitleja Scott Clement:


Nädalavahetuse uudised: @nytimes ja @CBSNewsPoll loobuvad aastakümnete pikkustest kvaliteetsetest uurimismeetoditest.

- Scott Clement (@sfcpoll) 27. juuli 2014

Ja teistsugune vaade Amy Walterilt, Cooki poliitilise aruande riiklikust toimetajast:

See on reaalsus: ainult telefoni / mobiiltelefoni küsitlus sureb surnute lähedal. Ainus Q on see, mis seda asendab

- amy walter (@ amyewalter) 28. juuli 2014

Ma ei oska ennustada, mida teised organisatsioonid tegema hakkavad, kuid eeldan, et see innustab rohkem eksperimenteerima - ja see on selle valdkonna jaoks hea. SestKordaja CBS Newsil on hea maine läbipaistvuse osas. Ma eeldan, et saame lähinädalatel palju rohkem teada YouGovi metoodikast. See on ka hea asi.

Kuidas saab ainult Interneti-kasutajatel põhinev uuring anda kogu avalikkuse täpse ülevaate?

Tasub meeles pidada, et kõik pole võrgus: meie uusimate hinnangute kohaselt kasutab 89% USA täiskasvanutest internetti. Hea uudis küsitluse vaatenurgast on see, et see arv kasvab pidevalt - vaid viis aastat tagasi oli see 79% -, nii et potentsiaalne eelarvamus välistada Interneti-väliseid kasutajaid üha väiksemaks jäädes.

Ikka on nii, et inimesed, kes Internetti ei kasuta, on paljuski erinevad nendest, kes seda teevad - eelkõige on nad vanemad, vaesemad ja vähem haritud. Kuid nende vähenev arv tähendab, et nende puudumine uuringust ei muuda enamiku küsimuste tulemustes suurt erinevust. Sellegipoolest arvame, et on oluline osata kirjeldada oma valimid kui 'riiklikult esindavaid' ja proovida veenduda, et need oleksid igal võimalusel olemas.

Kui see osutub Timesi ja CBS Newsi edukaks ettevõtmiseks, kas see tähendab, et teised küsitlejad võtavad tõenäosuseta valimi?

Mitte tingimata. Oluline on meeles pidada, et veebipõhiste mittetõenäosuspaneelide kvaliteet on erinev, nii nagu tõenäosuspõhiste uuringute puhul. AAPORi rakkerühma aruande üks olulisemaid punkte on see, et „tõenäosusevälise valimi” läbiviimiseks puudub ühtne konsensusmeetod. On palju erinevaid lähenemisviise ja enamikul neist pole avalikku esinemisprotokolli, mis on YouGovil. YouGov on aastaid korraldanud valimistel avalikke küsitlusi. Seetõttu on neil kogemused, mida saab võrrelda tõenäosuspõhiste küsitlustega. Kuni meil on rohkem organisatsioone, kes korraldavad enne valimisi küsitlusi ja selgitavad nende meetodeid üksikasjalikult, usun, et tõenäoliste proovide võtmine poliitiliseks küsitluseks toimub aeglaselt.

Kas Pew Research ei kasuta praegu veebipaneeli?

Meil on küll paneel - seda nimetatakse Ameerika suundumuste paneeliks -, kuid see erineb väga palju sellest, misKordaja CBS kasutavad. See põhineb tõenäosusevalimil ja kuigi enamik intervjuudest viiakse läbi veebis, on meil ka paneeli, kes Internetti ei kasuta. Me küsitleme neid inimesi posti või telefoni teel. Siin on link üksikasjadele.

Kas Pew Research hakkab kunagi kasutama sellist veebipõhist mittetõenäosuste paneeli, mida Times ja CBS kasutavad?

Jah, me teeme - aga tegelik küsimus on see, milleks me seda kasutame. Meie praegused standardid lubavad kasutada mittetõenäosusega valimeid teatud eesmärkidel, näiteks eksperimentide läbiviimiseks või põhjalike intervjuude tegemiseks. Lisaks oleme alustanud uurimisprogrammi, mis aitab meil paremini mõista tingimusi, mille korral mittetõenäosusega valimid võivad anda teaduslikult põhjendatud andmeid. Uurime ka seda, kuidas kasutada uuringu väliseid andmeallikaid, mis oma olemuselt kipuvad tulema „valimitest”, mis pole juhuslikud. Kuid kuni me mõistame nende meetodite plusse ja miinuseid palju paremini, oleme nende uurimistöösse kaasamisel väga ettevaatlikud.