Identifikačný list výskumu ID: DAVM 016

Autori výskumu: OECD, prostredníctvom konzorcia vedeného Austrálskou radou pre výskum vo vzdelávaní (ACER), expertných skupín pre jednotlivé oblasti (čitateľskú gramotnosť – REG, matematickú gramotnosť – MEG, prírodovednú gramotnosť – SEG), národných koordinačných centier a národných koordinátorov štúdie, ako aj riadiaceho výboru pre štúdiu PISA (PGB)
Obdobie zberu dát: jar 2005 (pilotná štúdia), 13. – 24. 3. 2006 (hlavný výskum)
Zber dát: ŠPÚ (ŠPÚ sa zúčastnil aj tvorby a zodpovedal za adaptáciu a preklad používaných nástrojov: testov, dotazníkov, pokynov pre školských koordinátorov štúdie, pokynov na administráciu nástrojov štúdie a pokynov na hodnotenie, ďalej zabezpečil výberovú vzorku v spolupráci s ÚIPŠ a ACER, spracovanie údajov, tvorbu databáz a výstupy na národnej úrovni)
Riešiteľský tím ŠPÚ: Paulína Koršňáková, PhD. (národná koordinátorka štúdie OECD PISA 2006 a zástupkyňa SR v PGB, členka SEG pre štúdiu PISA 2006), Ing. Martin Swan (manažér dát štúdie do roku 2006) a Mgr. Jana Kováčová (manažérka dát štúdie od roku 2007, spoluautorka národnej správy).

Abstrakt

Štúdie OECD PISA 2006 sa zúčastnilo spolu 57 krajín sveta: všetkých 30 členských krajín OECD a 27 ďalších, partnerských krajín. Slovenská republika sa zúčastnila štúdie OECD PISA druhý krát. PISA úlohy nevychádzali z učebných osnov, ich cieľom nebolo zistiť, ako žiaci v jednotlivých krajinách ovládajú učebnú látku. PISA úlohy boli vytvorené v súlade s modelom celoživotného vzdelávania na hodnotenie gramotnosti žiakov v troch oblastiach – čitateľskej, matematickej a prírodovednej (tvorila ťažisko štúdie PISA 2006). Pod pojmom gramotnosť sa v štúdii OECD PISA rozumie schopnosť aplikovať vedomosti a zručnosti získané v priebehu povinnej školskej dochádzky a prezentovať svoje názory a postoje. Hlavný zber dát sa realizoval vo všetkých regiónoch Slovenska od 13. do 24. marca 2006. Štúdie sa zúčastnilo viac ako 4731 žiakov (narodených v roku 1990) zo 189 základných a stredných škôl (z toho 13 škôl s vyučovacím jazykom maďarským). Reprezentatívny a stratifikovaný výber žiakov umožňuje zovšeobecniť získané výsledky na celý vzdelávací systém a výkony dosiahnuté SR porovnať s výsledkami ostatných zúčastnených krajín. Výsledky štúdie na národnej úrovni prináša národná správa PISA 2006 – Slovensko, dostupná na www stránke ŠPÚ ( PISA Slovensko 2006 – Národná správa (4.26 MB) ).

Pilotné testovanie, ktorého cieľom bolo overiť používané nástroje – úlohy, testy, dotazníky, zachytiť všetky typy žiackych odpovedí a zdokonaliť pokyny na ich hodnotenie, sa uskutočnilo v máji 2005 na vzorke 1800 žiakov.

Konštrukcia výberovej vzorky

Požadovaná cieľová populácia pre projekt OECD PISA pozostáva v každej krajine z 15-ročných žiakov (presne vo veku od 15 rokov a troch mesiacov do 16 rokov a 2 mesiacov), ktorí navštevujú aspoň 7. ročník (počítané od začiatku povinnej školskej dochádzky).

Požadovaná cieľová populácia je určená tak, aby poskytla obraz o výsledkoch vzdelávacieho systému na sklonku povinnej školskej dochádzky. Definícia populácie 15-ročných závisela aj od dátumu testovania. Na Slovensku sa uskutočnilo v období od 1. marca do 31. mája a testovaní boli žiaci, ktorí sa narodili v roku 1990.

Išlo o dvojstupňový stratifikovaný výber.

Explicitnými premennými boli: kraj (8 krajov), typ školy (ZŠ, Gymnázium, iná SŠ), veľkosť školy – podľa počtu žiakov, narodených v roku 1989 (veľká – 35 a viac, malá 18 – 34, veľmi malá do 17).

Implicitnými premennými boli: jazyk (SJ, MJ), podtyp školy (ZŠ, ŠZŠ, 8G, 4G, SOŠ, SOU, ZSŠ).

Na ich základe bolo vytvorených 26 strát (PISA_STRAT)

  • 01 – základné školy v bratislavskom kraji (veľké)
  • 02 – gymnáziá v bratislavskom kraji (veľké)
  • 03 – ostatné stredné školy v bratislavskom kraji (veľké)
  • 04 – základné školy v trnavskom kraji (veľké)
  • 05 – gymnáziá v trnavskom kraji (veľké)
  • 06 – ostatné stredné školy v trnavskom kraji (veľké)
  • 22 – základné školy v košickom kraji (veľké)
  • 23 – gymnáziá v košickom kraji (veľké)
  • 24 – ostatné stredné školy v košickom kraji (veľké)
  • 25 – malé školy cez všetky kraje
  • 26 – veľmi malé školy cez všetky kraje

Z cieľovej populácie mohli byť vylúčené určité skupiny škôl a žiakov, kritériá na takéto vylúčenie však boli veľmi prísne. Podľa štandardov medzinárodnej štúdie OECD PISA bolo možné vylúčiť celé školy, ktoré navštevovalo spolu najviac 2,5% žiakov a ďalších 2,5% žiakov mohlo byť vylúčených v rámci škôl. Čo sa týka vylúčenia celých škôl, štandardy pripúšťali vylúčenie 0,5% žiakov z technických dôvodov – logisticky, alebo finančne príliš náročné testovanie. V prípade SR boli z tohto dôvodu z testovania vylúčené školy s vyučovacím jazykom ukrajinským (8 škôl – 38 žiakov) a s vyučovacím jazykom bulharským (2 školy – 19 žiakov), na ktoré by sme v súlade s technickým štandardom štúdie potrebovali testy a dotazníky preložené do ukrajinského, resp. bulharského jazyka. Ďalšie 2% žiakov bolo možné vylúčiť prostredníctvom vylúčenia škôl navštevovaných LEN žiakmi so špeciálnymi potrebami – ťažšie postihnutia. V prípade SR boli z testovania vylúčené niektoré špeciálne základné školy a odborné učilištia (232 škôl – 1 187 žiakov). Čo sa týka vylúčenia žiakov v rámci škôl, štandardy umožňovali vylúčiť časť žiakov školy, ktorí mali ťažšie formy fyzického alebo mentálneho postihnutia, alebo mali obmedzenú znalosť testovacieho jazyka. Celková cieľová populácia bola potom stanovená na 75 883 žiakov, čo predstavovalo 96,75 percenta z celkovej populácie 15 ročných. Z tohto čísla sa vychádzalo pri určení vzorky pre Slovenskú republiku. Školy boli zoradené podľa veľkosti a proporčne k celkovej populácii, určený počet vybratých škôl bol 193 škôl s počtom žiakov 5 255.

Pri tvorbe obrazu o základnom súbore (populácia 15 ročných žiakov v SR) sme vychádzali z údajov poskytnutých ÚIPŠ. Išlo o databázu všetkých základných a stredných škôl spolu s počtom 15 ročných študentov v školskom roku 2004/2005 (čiže vlastne o rok starších ako bola cieľová populácia).

Aby testovanie prebehlo úspešne, do výskumu sa muselo zapojiť 85 percent z oslovených škôl. Z týchto škôl bolo vybratých náhodným výberom 35 žiakov (pri malých a veľkých školách boli do vzorky zaradení všetci žiaci školy narodení v roku 1990 a navštevujúci aspoň 7. ročník). Vyžadovala sa účasť aspoň 80 percent vybratých žiakov.

Štúdie sa zúčastnilo 4731 žiakov zo 189 škôl.

Metodika zberu dát

V rámci štúdie OECD PISA 2006 sa administrovalo 14 variantov testovacích zošitov na hodnotenie prírodovednej, čitateľskej a matematickej gramotnosti. Testy žiakom zadávali podľa jednotných pokynov vyškolení pedagógovia vo vyučovacom jazyku zúčastnených žiakov. Každý žiak mal na vyriešenie prideleného testu 120 minút a riešil štyri skupiny úloh. V roku 2006 boli dve až tri z týchto štyroch skupín tvorené prírodovednými úlohami, niektoré z nich obsahovali otázky zisťujúce postoj žiaka k danej téme (tieto sa však nepodieľali na výslednom skóre). Ostatné skupiny obsahovali úlohy testujúce čitateľskú a matematickú gramotnosť žiaka. PISA test obsahoval otázky, ktoré si vyžadovali od žiakov tvorbu odpovedí ich vlastnými slovami, ale aj úlohy s výberom či viacnásobným výberom odpovede. Otázky zoskupené v rámci jednotlivých úloh vychádzali z podnetu tvoreného textom alebo obrázkom (ukážky úloh sú k dispozícii v publikácii Úlohy 2000 – čítanie (28.49 MB) a Úlohy 2003 – matematika (641.75 KB) ).

Po ukončení testovania žiaci vyplňovali aj dotazníky (45 minút) zamerané na zisťovanie ich zázemia, záujmu a motivácie v oblasti prírodovedného vzdelávania ( Žiacky dotazník (816.04 KB) ). Súčasťou žiackeho dotazníka bola aj časť venovaná IKT ( Dotazník IKT (228.24 KB) ).

Riaditelia zúčastnených škôl vypĺňali dotazník zameraný na zisťovanie demografických charakteristík a hodnotenie kvality školského prostredia z pohľadu vzdelávania ( Školský dotazník (597.53 KB) ).

Zistenia

VÝSLEDKY SLOVENSKÉHO ŠKOLSKÉHO SYSTÉMU SÚ POD PRIEMEROM OECD VO VŠETKÝCH TROCH OBLASTIACH – čitateľskej, matematickej aj prírodovednej gramotnosti.

Čitateľská gramotnosť

V roku 2006 dosiahlo Slovensko priemerné skóre 466 bodov (úroveň 2 z piatich úrovní) Bodové skóre Slovenska sa v roku 2006 v porovnaní s rokom 2003 znížilo o 3 body (469), ale celkový výsledok sa štatisticky významne nezmenil (o 6 bodov klesol aj priemer OECD).

V rebríčkoch umiestnenia zostala naša krajina zhruba na rovnakej pozícii:

  • na 23. až 26. mieste spomedzi 30 krajín OECD
  • na 31. až 35. mieste zo všetkých 57 zúčastnených krajín (okrem USA, kde sa pri administrácii vyskytli technické problémy)

Poznámka: V roku 2003 sme obsadili 29. až 31. miesto, ale do štúdie bolo zapojených len 41 krajín (spracovaných 40 krajín, Veľkej Británii sa nepodarilo splniť podmienku minimálnej účasti škôl zo vzorky).

Matematická gramotnosť

V roku 2006 dosiahlo Slovensko priemerné skóre 492 bodov (úroveň 3 zo šiestich úrovní), čím sme sa dostali tesne pod priemer OECD (498 bodov v roku 2006) – štatisticky významný rozdiel. V roku 2003 sme dosiahli bodové skóre 498 bodov, čo stačilo na to, aby sme boli v priemere OECD (500 bodov v roku 2003).

V rebríčkoch umiestnenia zostala naša krajina zhruba na rovnakej pozícii:

  • na 17. až 23. mieste spomedzi 30 krajín OECD
  • na 23. až 30. mieste zo všetkých 57 zúčastnených krajín

Poznámka: V roku 2003 sme obsadili 18. až 25. miesto, ale do štúdie bolo zapojených len 41 krajín (spracovaných 40 krajín, Veľkej Británii sa nepodarilo splniť podmienku minimálnej účasti škôl zo vzorky).

Prírodovedná gramotnosť

V roku 2006 dosiahlo Slovensko priemerné skóre 488 bodov (úroveň 3 zo šiestich úrovní). Porovnanie s predchádzajúcim cyklom nie je možné, lebo rámec pre tvorbu úloh z prírodovednej gramotnosti bol rozšírený a do testovania bola zahrnutá nová skupina úloh sledujúca poznatky o prírodných vedách (vedomosti o vedeckom výskume, postupoch a ich spracovaní). Toto malo podstatný vplyv na naše umiestnenie (pod priemerom OECD , 500 bodov v roku 2006).

V rebríčkoch sa naša krajina umiestnila nasledovne:

  • na 20. až 25. mieste spomedzi 30 krajín OECD
  • na 26. až 34. mieste zo všetkých 57 zúčastnených krajín

Ostatné zistenia

Sociálno-ekonomické zázemie na Slovensku

V rámci štúdie PISA bolo merané sociálno-ekonomické zázemie žiakov pomocou indexu ESCS (na základe povolania rodičov, najvyššie dosiahnutého vzdelania otca alebo matky a vybavenia domácnosti). Medzi žiakmi v jednotlivých krajinách OECD je vo výkone v každej z PISA oblastí väčší rozdiel (variabilita) ako medzi najviac a najmenej úspešnou krajinou. V rámci konkrétnej krajiny OECD predstavuje v priemere 33% týchto rozdielov variabilita medzi školami. Na Slovensku sa opäť potvrdil podstatne vyšší podiel variability škôl na celkovej variabilite – takmer 41%.

Podobne ako v roku 2003 sa aj v roku 2006 potvrdil významný vplyv sociálno-ekonomického zázemia žiakov na ich výkon v testovaní. Tento je na Slovensku štatisticky významne vyšší ako v priemere OECD. Bodový rozdiel vo výkone žiakov s lepším sociálno-ekonomickým zázemím predstavuje na Slovensku 45 bodov na jednu jednotku ESCS (v priemere OECD je to 40 bodov).

Informačné technológie na Slovensku

Vybavenie počítačmi a ich využívanie sa výrazne zlepšilo, školy sú podstatne lepšie vybavené ako v roku 2003. Významný nárast nastal najmä na základných školách, kde sa priemerný počet počítačov zdvojnásobil (PISA 2003: 12 PC na 1 ZŠ, PISA 2006: 24 PC na 1 ZŠ). Dôležitým zistením je aj nárast skutočného využívania počítačov na škole žiakmi (výrazne sa zvýšilo využívanie PC na komunikáciu a prácu s internetom).

Odporúčania

Stále aktuálne sú odporúčania vypracované na základe výsledkov štúdie OECD PISA 2003 z oblasti čitateľskej a matematickej gramotnosti:

Spracovanie dát

Dáta uvedené v dotazníkoch sa nachádzajú v súbore ziacky2006.sav a skolsky2006.sav. Pri spracovaní dát zo žiackych dotazníkov je potrebné dáta vážiť finálnou váhou žiaka (w_fstuwt). Súbor obsahuje okrem uvedených finálnych váh aj 80 replikačných váh, ktoré sa využívajú pri výpočte štandardnej chyby. Tento model vychádza z 2-stupňového výberu vzorky a využíva Fayovu modifikáciu BBR (Balanced Repeted Replication).

Súbor skognitiv2006.sav obsahuje kognitívne dáta získané z testovacích zošitov (skórované). Otázky zaradené do testovania boli rôznej obtiažnosti. Proces, používaný v OECD/PISA na zachytenie obtiažnosti a schopností, je Item response theory (IRT). IRT je matematický model, používaný na odhad pravdepodobnosti, že určitá osoba bude na danú úlohu zo špecifikovaného súboru odpovedať správne. Táto pravdepodobnosť sa modeluje na celom kontinuu, ktoré zahŕňa výkon osoby a tiež zložitosť položky, jej obtiažnosti. Toto kontinuum obtiažnosti a výkonu sa nazýva „Raschova škála“. Obtiažnosť položky a skóre žiakov sú na tej istej škále. Na základe tohto modelu bolo každému žiakovi pre každú doménu zvlášť priradených päť hodnôt skóre, tzv. „plausible values“ (PV1 – PV5), ktoré sú v súbore ziacky.sav. Pri spracovaní dát, ktoré sa týkajú výkonu žiakov v jednotlivých doménach, je nevyhnutné pracovať s piatimi sadami PVs.

Podrobnejšie informácie o teoretických východiskách a postupoch pri analýzach sú dostupné v anglickom jazyku:

Spracované výsledky zo štúdie PISA 2006 sú voľne dostupné:

Dátové súbory za SR v SPSS: