Bijlage 3: Factoren die de vergelijkbaarheid bemoeilijken

In de oorspronkelijke opzet zouden de resultaten van de eerste meting in 2024 worden vergeleken met de huidige meting van 2025. Helaas is dit niet mogelijk gebleken om de volgende redenen:

Diversiteit van de groep inburgeraars:

De groep inburgeraars is zeer divers, wat veel uitmaakt voor wie er uiteindelijk in het onderzoek komen. Drie voorbeelden:

• Verhouding asielstatushouders en gezinsmigranten: de verhouding tussen deze twee groepen is bepalend omdat asielstatushouders en gezinsmigranten een andere reis afleggen om in Nederland te komen, wat terug te zien is in hun ervaringen en een ander antwoordpatroon. In de meting van 2025 is de verhouding anders dan in de meting van 2024 (2025: 40% asielstatushouders en 60% gezinsmigranten; 2024: 50% om 50%). Dit maakt het onduidelijk of verschillen tussen de 0-meting en 1-meting op totaalniveau echte verschillen zijn, of veroorzaakt worden door een andere verhouding tussen asielstatushouders en gezinsmigranten.
• Verhouding inburgeraars die kort versus langer met het inburgeringstraject bezig zijn: een inburgeringstraject duurt 3 jaar. Als er in de ene meting veel meer inburgeraars zitten die net gestart zijn, is de kans groter dat zij bijvoorbeeld nog geen betaald werk hebben. Als we over tijd een “afname” rapporteren in het aandeel inburgeraars dat betaald werk heeft, kan dit ook veroorzaakt worden doordat de respondentengroep meer ‘startende’ inburgeraars bevat dan de vorige keer. 
• Verhouding naar herkomstland: per jaar kan er verschil zijn in de landen waar inburgeraars vooral vandaan komen. Daardoor kan er ook verschil zijn in de omstandigheden waaronder mensen naar Nederland komen en in de ervaringen die zij hier hebben.

Beperkte grootte van de onderzoeksdoelgroep: 

Gezien het beperkte aantal inburgeraars in Utrecht en een netto respons van ongeveer 300 respondenten, is het essentieel om alle beschikbare respons te benutten om het onderzoek voldoende basis te geven. Dit beperkt echter de mogelijkheid om voorafgaand aan het onderzoek invloed uit te oefenen op de samenstelling van de onderzoeksgroep, waardoor het moeilijk is om de onderlinge verhoudingen binnen de doelgroep effectief te beheren. Effecten door (zelf)selectie komen hierdoor sterker naar voren dan in een willekeurige groep respondenten.

Gelijke kans op deelname voor alle inburgeraars:

Er is geen steekproef getrokken. In plaats daarvan is iedereen die tot de doelgroep behoort uitgenodigd. We willen alle inburgeraars de kans bieden om hun mening te geven, waarbij iedere mening even zwaar telt. En we hebben alle respons nodig (zie ook het punt hierboven). Achteraf corrigeren voor verschillende verhoudingen in de responsgroep (wegen) is met de huidige respons niet mogelijk. Respondenten in de peiling zijn dus opgenomen op basis van zelfselectie. Hierdoor zal vertekening ontstaan. Bijvoorbeeld omdat de enquête wordt ingevuld door inburgeraars die geletterd zijn (in hun moedertaal), die een eigen e-mailadres beheren en die voldoende tijd, ruimte, rust, vertrouwen en motivatie hebben om een enquête vanuit de gemeente in te vullen. Er kunnen ook andere factoren meespelen die wij niet kennen. Daardoor is er geen sprake meer van een willekeurige selectie inburgeraars. De consequentie daarvan is dat de groep respondenten niet representatief is voor alle inburgeraars. Dit geldt ook voor de peiling 2024. Geschatte gemiddelde uitkomsten gelden voor personen in de peiling, niet voor alle asielstatushouders of gezinsmigranten. Omdat er geen betrouwbaar populatiegemiddelde is geschat is het niet mogelijk resultaten te toetsen. Niet voor verschillen met vorig jaar, maar ook niet met verschillen ten opzichte van Utrecht gemiddeld. Dit wordt ondersteund door verschillende statistische testen op het resultaat, bijvoorbeeld voor normaliteit en homogeniteit. Toch vinden wij de resultaten indicatief en biedt het de mogelijkheid om het gesprek er met elkaar over aan te gaan. We bouwen met meerdere peilingen een kennisbasis op, om zo de resultaten steeds beter te kunnen duiden.

Procentuele verschillen lijken groot:

Door het lage aantal respondenten kunnen procentuele verschillen snel groot lijken, terwijl dat in werkelijkheid niet zo is. Andersom kan dit ook het geval zijn: dan zien we geen verschil terwijl dit er in werkelijkheid wel kan zijn. De schatting op basis van deze peiling is dus niet zo nauwkeurig. Daarbij gaat het om een schatting over een groep mensen die niet representatief is voor de hele doelgroep (zie ook het punt hierboven). Dit maakt dat we extra voorzichtig zijn met het rapporteren van "verschillen" tussen groepen en metingen en het trekken van conclusies. In veel gevallen zal een af- of toename van bijvoorbeeld 10%-punt of meer op toeval kunnen berusten. Toch vinden wij het nuttig om ook te kijken naar de resultaten van alle Utrechters en de groep respondenten in de peiling vorig jaar. Verschillen kunnen we niet toetsen en kleine verschillen zien we door de (on)nauwkeurige schatting sowieso niet. Maar soms zien we ook erg grote verschillen, of een bepaald antwoordpatroon. Dan is er misschien wel iets aan de hand. Deze signalen zijn meegenomen in de interviews en op onderdelen waarbij wij, alle informatie bij elkaar genomen, een sterk vermoeden hebben dat er veranderingen zijn hebben we dit benoemd in de rapportage.