Kui erinevad on inimesed, kes valijameestele ei reageeri?

autorid Evets Witt ja Princeton Survey Research Associates Jonathan Best


projekti Pew Internet & American Life jaoks

2007. aasta keskel viisid Princetoni uuringu uurimispartnerid läbi Interneti-projekti Pew ja Illinoisi Ülikooli-Urbana-Champaigni jaoks põhjaliku uuringu selle kohta, kuidas inimesed teatud tüüpi probleeme lahendavad.1Selle uuringu rahastas föderaalne agentuur nimega Muuseumi- ja raamatukoguteenuste instituut.2Kõik föderaalvalitsuse toetatud uuringud vaatab üle Valge Maja juhtimis- ja eelarvebüroo. Meie uuringu hindamise käigus küsisid OMB ametnikud, kas saaksime teha lisatööd, et näha, kas esialgsele küsitlusele mittevastanud erinevad nendest, kes vastasid. Järgmises artiklis on välja toodud selle täiendava analüüsi peamised leiud.


Kokkuvõte järeldustest

Viimase kahe aastakümne jooksul on teadlasekunst seisnud silmitsi üha suurema hulga ameeriklastega, kes ei suuda intervjuusid täita. Sellise mittevastamise tase tekitab küsimusi küsitluste ja nende esitatud andmete representatiivsuse ja kehtivuse kohta. Valge Maja juhtimis- ja eelarvebüroo (OMB) palvel koostatud täiendaval analüüsil oli kolm elementi.

Esiteks kahekordistati arvutipõhise juhusliku valimise (RDD) meetodil genereeritud telefoninumbrite alamvalimi küsitlemist. RDD on küsitlejate tava, et genereerida tulemusi populatsiooni juhuslikust, esinduslikust alamhulgast. Esialgse uuringu kavandi kohaselt tuli igale numbrile helistada kuni 10 korda. Valisime 1500 telefoninumbrit, mis ei andnud täielikku küsitlusintervjuud pärast 10 kõnet, ja helistasime neile vähemalt 20 korda. Selle lisapingutuse tulemusi võrreldi tavapärase 10-kõne pingutuse tulemustega.



Teiseks viidi läbi 10-kõne põhikujunduse uuringutulemuste analüüs, segmenteerides intervjuud tulemuste saamiseks tegelikult vajaliku pingutuse hulga järgi.


Kolmandaks analüüsiti kogu telefoninumbrite valimit ja alamhulka, mis pakkus 10-kõne kujunduse abil lõpule viidud intervjuusid, et teha kindlaks, millised kogukonnad on lõpetatud intervjuudes ala- ja üleesindatud.

Analüüsi tulemused leidsid:


    • Intervjueerimise kahekordistamine 20 kõnele andis 84 täiendavat intervjuud. Nende vaevata tehtud intervjuude tulemused erinesid põhiuuringu tulemustest vaid aeg-ajalt ja marginaalselt.
    • Täiendav intervjueerimistoiming leidis vastuseid nendelt, kellele uuringutes on tavaliselt raskem jõuda: nooremad täiskasvanud, töötavad täiskasvanud ja ülikooliharidusega inimesed moodustasid suurema osa vaevaga täidetud intervjuudest.
    • Algse uuringu analüüsimine intervjuu saavutamiseks vajaliku pingutuse järgi näitas statistiliselt olulisi erinevusi vähe. Teisisõnu, esimesel kõnelainel saavutatud inimeste vahel oli vähe sisulisi erinevusi, võrreldes nendega, kelleni jõuti telefoninumbril üheksandal või kümnendal katsel. Täieliku RDD valimi ja täiendavate vaevaga tehtud intervjuude analüüsimine kogukonna tunnuste järgi näitas, et intervjuusid on kõige raskem täita linnapiirkondades ja kõige lihtsam täita maapiirkondades. Kuigi leibkondade keskmise sissetuleku järgi ei näi olulisi erinevusi kogukondade lõikes, olid vähemusrahvusega elanikkonnaga alad (nii hispaanlased kui ka afroameeriklased) intervjueerimise seisukohalt vähem produktiivsed, paralleelselt linnapiirkondade leidudega.

    Uuringu mittevastamise küsimus

    Praegu vastab küsitlustele vähem inimesi kui varem. Need ebaõnnestumised intervjuude lõpuleviimisel tulenevad mitmest tegurist, kuid kõige suuremad komponendid on kontaktivaba suhtumine (see tähendab, et inimesteni ei jõuta kunagi valimi osana määratud asukohas või telefoninumbril) ja keeldumine (küsitluse tulemus). aktiivne või passiivne tegevus, et vältida uuringu täitmist). Seega küsimus: kuidas erinevad uuringut mitte täitnud inimesed nendest, kes seda tegid?

    Uuringutes on esitatud mitmeid suurepäraseid kokkuvõtteid mittevastamise ja mittevastamise võimaliku kallutatuse kohta, neist viimane onAvaliku arvamuse kvartal, eriväljaanne: kodumajapidamiste küsitlustes mittevastamise kallutatus.3ThePOQEriväljaanne sisaldab aruannet kõige uuema suurema eksperimendi kohta telefoniintervjuude lõpuleviimiseks tehtud täiendavate jõupingutuste mõju hindamiseks.4Nende kahe katse keskne omadus oli võrrelda tavapärast viie päeva jooksul täidetud RDD uuringut RDD uuringuga, kasutades sama küsimustikku, sama valimikujundust, valimivälja, kuid helistamisperioodi, mis venis veelgi kui kuus kuud. PSRAI osales igas nendes katsetes. Nende mudelite põhjal koostati see katse kolme elemendiga, mida on kirjeldatud ülaltoodud kokkuvõttes.


    Põhikoormuse analüüs 1: intervjuude tegemise mõju

    Intervjuude lõpuleviimiseks kulunud pingutuste analüüsimisel arvutati kolme kategooria muutuja.

      • 'Raske' ligipääsetav:Telefoninumbrid, millele algses valimis oli valitud kuus või enam kordajakus potentsiaalsed vastajad keeldusid küsitlemast, määratleti kui 'raske', mis tähendab, et intervjuu lõpuleviimiseks oli vaja kõige kõrgemat tegelikku intervjueerimist.
      • 'Lihtne' jõuda:Telefoninumbrid, millele esialgses valimis oli helistatud viis või vähem korda ja kus ükski potentsiaalne vastaja ei keeldunud osalemast, määratleti kui 'lihtsad', mis tähendab, et intervjuu lõpuleviimiseks oli vaja kõige madalamat küsitlustaset.
      • Nõutav 'keskmine' pingutus:Kõiki teisi telefoninumbreid määratleti keskmise pingutusena, sealhulgas vastajaid, kellele helistati kuuelevõivõi oli keeldunud intervjuus osalemast, kuid mitte mõlemat.

      Alljärgnevas tabelis võrreldakse vastajate demograafilisi andmeid vastavalt intervjuu lõpuleviimiseks kulunud pingutustele. See näitab, et suuremate jõupingutuste kulutamine osutus positiivseks nooremate, eriti 18–29-aastaste vastajateni jõudmisel. Vanemad vastajad (65-aastased või vanemad), kes olid määratletud kui kergesti ligipääsetavad, olid alaesindatud võrreldes nende levimusega kogu elanikkonnas; lõpetamise protsent on märkimisväärselt ja keskmise või raskesti ligipääsetava vastaja jaoks märkimisväärselt madalam.

      Suurem vaev valgetega intervjuude lõpuleviimiseks oli kõige produktiivsem uuesti kontakteerumisel lihtsa rühma vastajatega (kes polnud osalemisest keeldunud või kellele helistati varem vähem kui kuus korda), kus 69% valimist olid valged. Keskmise ja raske kategooria vastajad olid mõnevõrra vähem valged. Suurem pingutus viis suurema hulga lõpule viidud intervjuud aafrika ameeriklastega. Hispaanlasteni jõudmisel oli vaeva vähe.

      Joonis

      Intervjuude läbiviimine keskmise ja raske kategooria vastajatega, kes olid täis- või osalise tööajaga, osutus keerulisemaks, võrreldes vastajatega, kes ütlesid, et on pensionil. Kui keskmises ja raskes kategoorias hõivatud töötajate suurem töö lõpetamise tulemus tasus end ära, olid keskmise ja raske kategooria pensionäridega intervjuude lõpuleviimisel lisavõimalused vähem viljakad (30% kergete ja keskmiselt 22%) keskmise ja kõva kogum).

      Pingutuste mõju ühenduse tasandi demograafilisele jaotusele

      Samuti testisime, kas suurem pingutus aitas intervjuusid lõpule viia raskemini ligipääsetavates kogukondades. Tavaliselt on RDD telefoninäidistes tiheda asustusega linnapiirkondade leibkonnad alaesindatud. Neil leibkondadel on ka vähemusrahvastik.

      Allolevas tabelis võrreldakse kolme alamvalimit seoses rahvastikutiheduse ja kogukonna vähemusrahvuse osakaaluga. Vastajate osalemiseks tehtud kulutuste osas ei olnud koolituse lõpetamise määrades olulisi erinevusi. Intervjuude lõpuleviimiseks kulunud pingutuste osas ei olnud suure tihedusega piirkondades vastajateni jõudmisel olulisi erinevusi.

      Joonis

      Pingutamise mõju sisulistele küsimustele vastuste jaotustele

      Erilist huvi pakub see või mõni muu uurimistöö võimalik mõju, mida täiendavad jõupingutused võivad sisulistele tulemustele avaldada. Selle analüüsi jaoks oleme valinud uurimiseks küsimuste alamhulga. Esimesed analüüsitud küsimused olid seeria erinevate kohalike asutuste külastamisest viimase 12 kuu jooksul. Selle sarja jaatavates vastustes on vähe erinevusi. Ükski erinevus pole statistiliselt oluline.

      Joonis

      Samamoodi ei täheldanud alarühmade vastajate seas arvuti ja Interneti kasutamist käsitlevate küsimuste seeria tulemuste võrdlemisel statistiliselt olulisi erinevusi vastuste pingutussegmentide vahel.

      Joonis

      Lõpuks uurisime erinevusi küsimustes, kus küsiti kümmet olukorda või otsust, millega inimesed võisid viimase kahe aasta jooksul kokku puutuda. Kolme alarühma vahel oli statistiliselt olulisi erinevusi ainult kahes loendis olevast 10-st üksusest. Kõige raskemini ligipääsetavad vastajad olid teistest kergema ja keskmise kategooria õpilastest suurema tõenäosusega otsustanud kooli või hariduse osas (46% vs 40% keskmise ja 34% kerge vaevaga). Vanus ja vanemlik seisund mõjutavad tõenäoliselt neid tulemusi. Nooremaid vastajaid on tavaliselt raskem kätte saada, nad esinevad suurema pingutuse valimis suuremas proportsioonis kui algses uuringus ja on oma olemuselt suurema tõenäosusega hiljuti oma hariduse osas otsuseid langetanud.

      Suurema tõenäosusega kerge (48%) ja keskmise (51%) kategooria vastajate seas tõsise haiguse või terviseseisundiga tegelemine on tingitud sellest, et vanematel ja pensionile jäänud vastajatel on lihtsam ühendust võtta.

      Joonis

      Järgmine samm oli tulemuste analüüsimine küsimustele, kus küsiti allikate kohta, mida inimesed teabe või abi saamiseks kasutavad. Siin olid tulemused jõupingutuste kategooriate vahel üldiselt ühtsed. Statistiliselt olulisi erinevusi oli nende hulgas, kes kasutasid Internetti teabe või abi leidmiseks oma probleemide lahendamisel. Keskmise ja raskesti ligipääsetava vastajad kasutasid Internetti veidi kergemini ligipääsetavatest vastajatest (57% raskete / keskmise ja 53% lihtsate puhul). See on seotud nooremate inimeste suurema Interneti-kasutusega, keda on omakorda raskem kätte saada.

      Joonis

      Põhikoormuse analüüs II: kogukonna demograafia ja keeldumised

      Potentsiaalse mittevastamise kallutatuse analüüsi teine ​​osa hõlmab kogukonna valitud numbrite lõpliku valimi jaotuse uurimist, et hinnata algvalimi üle- või alaesindatust. Disponeerimiskategooriad hõlmavad lõpetatud intervjuusid (lõpule viidud), keeldumiste ja tagasihelistamiste kombinatsiooni (keeldumised / tagasihelistamised) ja valitud numbreid, kus potentsiaalse vastajaga ühendust ei võetud (mittekontaktid). Allolevas tabelis võrreldakse piirkonna, kogukonnatüübi ja selle, kas valimisse kuuluvad inimesed elavad pealinna statistilises piirkonnas (MSA).5või mitte, vastuseks.

      Joonis

      Nagu ülaltoodud tabelist näha, on erinevused vastuses peamiselt valimis esindatud geograafiliste piirkondade vahel.

      Kesk-Lääne vastajatega tehtud intervjuude suhteline osakaal oli suurem (23%), Läänes aga ainult 15%. PSRAI intervjueerijad ei suutnud ühendust võtta kolmandikuga Lääne piirkonna valimist. Samamoodi ei õnnestunud intervjueerijatel kontakti võimaliku vastajaga ühendust saada 33% valimist, mis pärines linnapiirkondadest. Lääne valim ise oli oluliselt kaldunud linnakogukondade poole, moodustades 54% kogu piirkonna valimist.

      Sissetulek, vähemuse tihedus ja reageerimine

      Allpool olevas tabelis võrreldakse hispaanlaste ja aafrika-ameeriklaste jaotuskategooriaid leibkonna keskmise sissetuleku ja protsentuaalse tihedusega intervjuude jaoks kasutatud valimiplokkides. Kolme valimisegmendi tulujaotuste vahel on väga väike erinevus. 35–40% igast segmendist pärines madalama leibkonna sissetulekuga piirkondadest ja alla 10% igast rühmast kõrgeima sissetulekuga piirkondadest.

      Joonis

      Intervjuusid oli lihtsam läbi viia piirkondades, kus vähem hispaanlastest leibkondi oli. Ligi kaks kolmandikku kõigist täidetud intervjuudest (63%) pärines piirkondadest, kus hispaania leibkondades esines kõige vähem inimesi. Ainult umbes pool teiste rühmade valimist pärines nendest madala esinemissagedusega hispaanlastest piirkondadest (53% keeldumistest / tagasihelistamistest ja 46% mittekontaktidest). Aafrika-Ameerika kõrge ja madala tihedusega piirkondade võrdlemisel ei ilmne sama suundumust. Täiendusi, keeldumisi ja mittekontakte levitati Aafrika-Ameerika kihtides umbes sama.

      Lisapingutuse analüüs III: lisapingutus, lisakõned

      Uurimistulemuste võimaliku mittevastamise kallutatuse analüüsimiseks pandi valim 1500 telefoninumbrist, millele helistati kümme korda ja mis olid endiselt elavad numbrid, uude projekti ja valiti veel kümme korda, et proovida lõpule viia. intervjuu. Pingutusvalimisse lisatud numbrid jagunesid kolme kategooriasse.

        • Mittekontaktid:Numbrid, mis ei olnud esialgse uuringu käigus inimesega kokku puutunud. Need numbrid olid kõigi katsete puhul kombineeritud vastuseta / hõivatud / automaatvastajateta.
        • Keeldumised:Numbrid, mis olid ühel esimesel kümnel katsel keeldunud, kuid mida ei muudetud lõpetatud intervjuuks.6
        • Katkestused:Numbrid, kus vastajad olid alustanud intervjuud, kuid ei lõpetanud.

        Pingutuseta valimile tehti täiendavalt 13 742 kõnet ja täiendavad 84 intervjuud. See tähendab ühte lõpetatud intervjuud iga 164 helistamiskatse kohta.7

        Intervjuu on keeruline lõpule viia, kui telefoninumber on kümme korda edutult valitud. Tabelis võrreldakse 10. katse (veerud) lisapingutusarvude tulemust 20 või enama kõne (rida) tulemusega.

        Joonis

        Nagu tabelist nähtub, oli edukuse protsent madal - vaid 6% vaeva näinud juhtumitest andis valmis intervjuud. Ümberarvestuste määr oli suurem katkestuste ja tagasihelistamiste puhul, konverteerides vastavalt 16% ja 14%. Numbrid, mis ei olnud esimese 10 katse kontaktisikud, olid madalaima konversioonimääraga (3%). Seitse protsenti keeldumistest muudeti pärast kümnendat katset.

        Lisapingutuste mõju isikliku tasandi demograafiale8

        Üks viis võimaliku mittevastamise kallutatuse hindamiseks on küsitletud vastajate demograafiliste andmete võrdlemine lisapingutusega küsitletud ilma lisapingutuseta. Allolevas tabelis võrreldakse kahe rühma põhilisi demograafilisi näidiseid. Arvude konteksti viimiseks on tabelis esitatud ka populatsiooni parameetrid.

        Joonis

        Kahe proovi sooline jaotus oli peaaegu identne, 39% ja 40% meestel. Nagu enamikes telefoniuuringutes on tavaline, on mehed alaesindatud. Kahe valimi vanuselises jaotuses oli erinev vaevaväline valim, mis tegi pisut paremat tööd nooremate vastajate, eriti 30–49-aastaste rühma jõudmiseks. Lisaks andis täiendav pingutus vanematest vastajatest sobivama osa (13%) kui tavavalim (25%).

        Mõlemad valimid esindasid nii ülikoolilõpetajaid kui ka vähem haritud inimesi. Üldiselt sai tavavalim üldise hariduse jaotuse veidi paremaks.

        Kahe valimi rass / rahvus oli võrreldav. Kuid täiendav vaev tasus end ära, kui jõuti rohkemate hispaanlastest vastajateni kui tavaline valim. Pingutuseta valim jõudis ka rohkem hõivatud vastajateni kui standardvalim (66% vs 55%) ega esindanud pensionäride liialt nagu tavaline valim.

        Lisapingutuste mõju valitud sisulistele küsimustele

        Uurisime erinevusi vastustes küsimustele teabeallikate kohta, mida inimesed kasutasid probleemide tekkimisel, et näha, kas intiaalsete ja pingutuseta proovide vahel on erinevusi. Kahe valimi tulemused olid väga sarnased, välja arvatud Interneti kasutamine teabe või abi leidmiseks probleemide lahendamisel. Märkimisväärselt rohkem inimesi vaevatu lisavalimis teatas Internetist, et saada teavet või abi nende hiljutise otsuse või olukorra kohta (68% vs 55%).

        Joonis

        Viimane märkus võimaliku kallutatuse kohta

        Täiendavatel intervjueerimispüüdlustel oli oodatud mõju: need, keda on üldiselt raskem kätte saada, saavutati lisapingutustega. Nooremaid täiskasvanuid, töötavaid täiskasvanuid ja neid, kellel on kõrgharidus, on raskem kätte saada ja seetõttu oli suurem osa lisapingutustest täielik. Sisuliste küsimuste osas on lisapingutuste mõju paralleelne demograafiliste erinevustega. Need, kellele jõuti lisapingutustega, väitsid tõenäolisemalt, et nad on tegelenud haridusküsimusega (peegeldavad nooremaid täiskasvanuid) ja vähem on tegelenud terviseprobleemide või Medicare'iga (peegeldades vanemate täiskasvanute suuremat osakaalu tavavalimis). Isegi kui tulemused olid pingutusevaba rühma puhul oluliselt erinevad, oli mõju üldistele tulemustele väike. Mõelge, et 1500 lisapingutusega arvu valimist saadi ainult 84 lõpetatud intervjuud. Kuna pingutusevaba uuringu jaoks oli kvalifitseerunud ainult umbes 3000 numbrit, isegi kui need kõik oleks valitud veel 10 korda, oleks see enam kui 2000 põhivalimile lisanud umbes 170 komplekti. Isegi kui täiendavate jõupingutuste tulemused erinesid põhivalimist oluliselt, poleks neid lihtsalt üldiste uuringutulemuste liigutamiseks piisavalt.


        1 Teabeotsingud, mis lahendavad probleeme. Leigh Estabrook, Evans Witt ja Lee Rainie 30.12.2007 https://www.pewresearch.org/internet/PPF/r/231/report_display.asp 30.12.2007.

        2OMB kliirenumber, 3137-0070, aegumiskuupäev 06.30.2010.

        3 Avalik arvamus kvartalis, Eriväljaanne: kodumajapidamiste uuringute mittevastavuse eelarvamused, 2006, kd. 70, nr 5.

        4 Kasvava vastutuletuse mõju hindamine riikliku RDD telefoniuuringu hinnangutele, Keeter ja. al.POQ, 70: 759-779. See värskendas ülevaadet, mis tehti aastalVastutuletuse vähendamise tagajärjed suures riiklikus telefoniuuringus, Keeter ja. al.,POQ64: 125-48.

        5MSA-d on määratletud keskse linnastunud ala - külgneva ja suhteliselt suure asustustihedusega ala põhjal. Maakond, mis sisaldab linnastunud tuumaala, on tuntud kui MSA keskmaakonnad. MSA-sse võib lisada täiendavaid ümbritsevaid maakondi (tuntud kui ääremaakonnad), kui neil maakondadel on tugevad sotsiaalsed ja majanduslikud sidemed keskmaakondadega, mõõdetuna pendelrände ja tööhõive kaudu. Pange tähele, et mõned äärepoolseimate maakondade piirkonnad võivad oma olemuselt olla maalähedased.

        6Karmid keeldumised jäeti täiendava pingutuse uuringust välja. Need on telefoninumbrid, kus potentsiaalsed vastajad on koostööst keeldunud kahtlemata.

        7Kahe valimi helistamise tootlikkuse erinevus on veelgi selgem, kui arvestada, et paljud mittetöötavad telefoninumbrid tuvastati esimesel katsel enne lisapingutuse algust.

        8Kõigi selle aruande võrdluste jaoks kasutati kaalumata andmeid.