Populatie en steekproef
Steekproefvariabiliteit
Steekproefomvang en betrouwbaarheidsinterval
Steekproefomvang en onderscheidingsvermogen
Validiteit en generaliseerbaarheid van de uitkomsten van steekproefonderzoek worden bepaald door de representativiteit van de steekproeftrekking. De betrouwbaarheid daarentegen wordt bepaald door de omvang van de steekproef en, daarmee samenhangend, door de variabiliteit van de onderzochte eigenschap in de populatie.
De steekproefomvang is de belangrijkste parameter die we hebben om de betrouwbaarheid van een onderzoek te optimaliseren. Een te kleine steekproef geeft onzekere resultaten en is daardoor weggegooid geld, verspilde moeite en tijdverlies. Een mislukt onderzoek kan ook onheus of zelfs onethisch zijn tegenover de deelnemende proefpersonen, patiënten of opgeofferde proefdieren. Een te grote steekproef geeft weliswaar (te) betrouwbare uitkomsten, maar leidt ook tot verspiling van geld, tijd en moeite. De validiteit van de uitkomsten kan er zelfs door worden geschaad, bijvoorbeeld omdat het onderzoek te lang gaat duren, zodat het niet (door dezelfde onderzoekers) voltooid wordt of veranderingen in de onderzoekspopulatie optreden.
Berekening van de noodzakelijke steekproefomvang is dan ook een belangrijke fase in het ontwerpen van een onderzoeksplan. Omdat de steekproefomvang in veel gevallen het onderzoeksbudget en daarmee de realiseerbaarheid van een onderzoek bepalen, moeten de berekeningen in een vroeg stadium worden gedaan. De onderzoeksopzet en de voorziene statistische evaluatie van de uitkomsten moeten uiteraard bekend zijn, want die leveren de gegevens voor de berekening. Bovendien zal de onderzoeker een idee moeten hebben van de grootte van de verwachte effecten of uitkomsten en van hun spreiding. In veel gevallen zijn die hoogst onzeker, waardoor berekeningen van de steekproefomvang globaal zijn of het karakter van een gevoeligheidsanalyse hebben.
In de praktijk worden berekeningen van de steekproefgrootte uitgevoerd langs twee lijnen, afhankelijk van de manier waarop de uitkomsten gepresenteerd worden.
De uitkomsten zijn schattingen van kwantitatieve grootheden of aantallen. De onderzoeker geeft voorafgaande aan het onderzoek aan hoe betrouwbaar die schattingen moeten zijn, meestal in de vorm van een betrouwbaarheidsinterval. Op basis daarvan wordt dan de steekproefomvang berekend.
De uitkomst van het onderzoek is een hypothese, die door een statistische toets wordt verworpen of geaccepteerd. De onderzoeker geeft voorafgaand aan het onderzoek aan met welke zekerheid de hypothese moet worden geaccepteerd indien hij juist is. Die zekerheid (strikt genomend: kans) wordt het onderscheidingsvermogen of de power van het onderzoek genoemd.