{"id":3529,"date":"2013-09-05T09:30:13","date_gmt":"2013-09-05T09:30:13","guid":{"rendered":"https:\/\/www.pei.si\/ucinek-sestave-vzorca-pri-ocenjevanju-parametrov-postavk-in-dosezkov-v-mednarodnih-raziskavah-znanja\/"},"modified":"2013-09-05T09:30:13","modified_gmt":"2013-09-05T09:30:13","slug":"ucinek-sestave-vzorca-pri-ocenjevanju-parametrov-postavk-in-dosezkov-v-mednarodnih-raziskavah-znanja","status":"publish","type":"post","link":"https:\/\/www.pei.si\/en\/ucinek-sestave-vzorca-pri-ocenjevanju-parametrov-postavk-in-dosezkov-v-mednarodnih-raziskavah-znanja\/","title":{"rendered":"U\u010dinek sestave vzorca pri ocenjevanju parametrov postavk in dose\u017ekov v mednarodnih raziskavah znanja"},"content":{"rendered":"<p><strong>V doktorskem delu je mlada raziskovalka na Pedago\u0161kem in\u0161titutu Mojca Ro\u017eman raziskovala u\u010dinek sestave vzorca pri ocenjevanju parametrov postavk in dose\u017ekov v mednarodnih raziskavah znanja. V nadaljevanju je predstavljen del izsledkov njenega doktorskega dela.<\/strong><\/p>\n<p>\u0160tevilo sodelujo\u010dih dr\u017eav se v mednarodnih \u0161tudijah spreminja, v vsaki novi ponovitvi zbiranja podatkov sodeluje ve\u010d dr\u017eav. V ocenjevanje parametrov postavk in dose\u017ekov so vklju\u010dene samo dr\u017eave, ki so sodelovale v zaporednih ponovitvah in ki s kakovostjo izvedbe raziskave sledijo mednarodnim postopkom. Glede na to, da v zaporednih izvedbah sodelujejo razli\u010dne dr\u017eave, so v ocenjevanje parametrov postavk vklju\u010dene vsaki\u010d druge dr\u017eave. Zaradi tega se zastavlja vpra\u0161anje invariantnosti dose\u017ekov u\u010dencev in parametrov postavk. Bi bili dose\u017eki oziroma zaklju\u010dki enaki, \u010de bi sodelovale druge dr\u017eave?\u2028V doktorskem delu smo se osredoto\u010dili na opazovanje invariantnosti parametrov postavk in dose\u017ekov u\u010dencev v primerih, ko so v ocenjevanje parametrov vklju\u010dene razli\u010dne skupine dr\u017eav. S spreminjanjem sestave kalibracijskega vzorca (vzorec na katerem se umerijo postavke) smo sku\u0161ali ugotoviti, ali imajo dr\u017eave, ki sodelujejo (s svojimi lastnostmi), kak\u0161en u\u010dinek na metodologijo, ki se uporablja za lestvi\u010denje dose\u017ekov v raziskavah. Opazovali smo ocene dose\u017ekov in parametrov postavk glede na dva dejavnika (\u201cenoto\u201d v vzorcu predstavlja dr\u017eava): velikost vzorca ter stopnja sposobnosti v vzorcu.<\/p>\n<p>Uporabili smo podatke mednarodne raziskave PIRLS 2006 ter ponovno izra\u010dunali dose\u017eke u\u010dencev glede na oba prou\u010devana dejavnika. Znanje u\u010dencev v tej raziskavi merijo s pomo\u010djo objektivnih preizkusov znanja. Da bi ocenili znanje u\u010dencev, uporabljajo metodo matri\u010dnega razvr\u0161\u010danja nalog, kjer vsak u\u010denec re\u0161i le dolo\u010den nabor postavk (nalog). Postavk je namre\u010d veliko ve\u010d, kot jih lahko v razumnem \u010dasu re\u0161i posamezni u\u010denec. Ker vsak u\u010denec ne re\u0161uje vseh postavk, pri vsakem u\u010dencu manjkajo podatki za dolo\u010dene postavke. Za izra\u010dun dose\u017ekov se uporablja kombinacija lestvi\u010denja s teorijo odgovora na postavko (TOP) ter metodologijo ve\u010dkratnega vstavljanja (angl. multiple imputation; vrednosti ve\u010dkratnega vstavljanja se v mednarodnih raziskavah znanja imenujejo verjetnostne vrednosti, angl. plausible values). S to metodologijo zanesljivo ocenjevanje dose\u017eka posameznika ni mo\u017eno, so pa ocene dose\u017ekov zanesljive za posamezne skupine udele\u017eencev.<\/p>\n<p>Referen\u010dne parametre postavk smo dobili tako, da smo v ocenjevanje vklju\u010dili vse sodelujo\u010de dr\u017eave in sicer na na\u010din, da vsaka dr\u017eava enako prispeva k parametrom postavk. Dobljeni rezultati so nam slu\u017eili kot osnova za primerjavo na novo izra\u010dunanih parametrov postavk in dose\u017ekov u\u010dencev.<\/p>\n<p>V iskanju odgovora na prvo raziskovalno vpra\u0161anje smo v ocenjevanje vklju\u010dili razli\u010dno \u0161tevilo dr\u017eav. Posamezni pogoji so se razlikovali glede na razli\u010dno \u0161tevilo vklju\u010denih dr\u017eav v kalibracijski vzorec. Odlo\u010dili smo se za 2, 3, 4, 6 in 10 dr\u017eav (saj smo predpostavljali, da se po dolo\u010denem \u0161tevilu vklju\u010denih dr\u017eav parametri postavk ve\u010d ne bodo spreminjali). Dr\u017eave smo izbirali naklju\u010dno in postopek znotraj vsakega pogoja ve\u010dkrat ponovili ter tako pridobili tudi informacijo o variabilnosti ocen parametrov.<\/p>\n<p>Rezultati ka\u017eejo, da so absolutne razlike v dose\u017ekih u\u010dencev v primerjavi z referen\u010dnimi mnogo manj\u0161e, \u010de v kalibracijski vzorec vklju\u010dimo ve\u010dje \u0161tevilo dr\u017eav. Ugotovili smo, da so te razlike najmanj\u0161e v pogoju z 10 dr\u017eavami v primerjavi z ostalimi pogoji. V splo\u0161nem lahko ugotovimo, da velikost vzorca ni tako pomemben dejavnik pri izra\u010dunu dose\u017ekov u\u010dencev, \u010de je vzorec dr\u017eav dovolj velik. Zato je potrebno v izra\u010dun dose\u017ekov vklju\u010diti \u010dim ve\u010dje \u0161tevilo dr\u017eav (ali vsaj deset kot ka\u017eejo na\u0161i rezultati). V tem primeru namre\u010d ne ugotovimo bistvenih razlik v primerjavi z referen\u010dnimi dose\u017eki dr\u017eav. Podobno je s parametri postavk, ki so prav tako v pogoju z vklju\u010denimi 10 dr\u017eavami zelo podobni referen\u010dnim.<\/p>\n<p>V naslednjem koraku smo ocenjevali parametre postavk glede na vklju\u010devanje dr\u017eav po njihovem povpre\u010dnem dose\u017eku. Dr\u017eave smo najprej razvrstili po povpre\u010dnem dose\u017eku (od dr\u017eave z najvi\u0161jim dose\u017ekom do dr\u017eave z najni\u017ejim dose\u017ekom) ter nato za primerjavo izbrali zgornjo tretjino dr\u017eav in spodnjo tretjino dr\u017eav. Nato smo ponovno ocenili parametre postavk na podvzorcu vsake skupine dr\u017eav (vi\u0161ji in ni\u017eji dose\u017eek) in te parametre uporabili za izra\u010dun dose\u017ekov vseh sodelujo\u010dih dr\u017eav. Ponovno smo na novo izra\u010dunane parametre postavk ter dose\u017eke primerjali z referen\u010dnimi.<\/p>\n<p>Iz rezultatov dobljenih na podlagi povpre\u010dnega dose\u017eka dr\u017eav vklju\u010denih v kalibracijski vzorec lahko zaklju\u010dimo naslednje. Izkazalo se je, da na podlagi dr\u017eav z ni\u017ejim dose\u017ekom u\u010dinkoviteje ocenimo dose\u017eek vseh dr\u017eav. Razlike v dose\u017ekih izra\u010dunanih na podlagi dr\u017eav z vi\u0161jim dose\u017ekov in referen\u010dnimi dose\u017eki so vsaj trikrat ve\u010dje kot tiste dobljene na podlagi dr\u017eav z ni\u017ejim dose\u017ekom. Ugotovljeni rezultati so nekoliko presenetljivi. Ob podrobnej\u0161em pogledu na dose\u017eke obeh skupin dr\u017eav (iz katerih smo vzor\u010dili dr\u017eave v kalibracijski vzorec) lahko ugotovimo, da so dose\u017eki v skupini dr\u017eav z vi\u0161jim dose\u017ekom mnogo bolj homogeni kot dose\u017eki dr\u017eav z ni\u017ejim dose\u017ekom. Ti rezultati nakazujejo, da je v kalibracijskem vzorcu zelo pomembna pokritost oziroma razpr\u0161enost dose\u017ekov. Slednja mora biti ve\u010dja, saj tako bolj zanesljivo ocenimo dose\u017eek v sodelujo\u010dih dr\u017eavah. Prav posebno pozornost moramo nameniti dr\u017eavam z ni\u017ejim povpre\u010dnim dose\u017ekom, ki tudi v tem primeru v obeh pogojih nakazujejo ve\u010dja odstopanja od referen\u010dnih vrednosti.<\/p>\n<p>Rezultati doktorskega dela nudijo uporabne informacije v zvezi z invariantnostjo ocen parametrov postavk ter dose\u017ekov v razli\u010dnih pogojih kalibracijskega vzorca. Absolutne razlike v dose\u017ekih znotraj pogojev niso bile velike v primerjavi z referen\u010dnim pogojem. Kljub temu pa rezultati nudijo nekaj prakti\u010dnih nasvetov, ki bodo uporabni v nadaljnjih ponovitvah raziskav. Doktorsko delo torej prispeva k razumevanju pojma oziroma lastnosti invariantnosti modelov TOP na realnih podatkih.<\/p>\n<p>Mojca Ro\u017eman, mlada raziskovalka<\/p>\n","protected":false},"excerpt":{"rendered":"<p>V doktorskem delu je mlada raziskovalka na Pedago\u0161kem in\u0161titutu Mojca Ro\u017eman raziskovala u\u010dinek sestave vzorca pri ocenjevanju parametrov postavk in dose\u017ekov v mednarodnih raziskavah znanja. V nadaljevanju je predstavljen del izsledkov njenega doktorskega dela. \u0160tevilo sodelujo\u010dih dr\u017eav se v mednarodnih \u0161tudijah spreminja, v vsaki novi ponovitvi zbiranja podatkov sodeluje ve\u010d dr\u017eav. V ocenjevanje parametrov postavk [&hellip;]<\/p>\n","protected":false},"author":3,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"footnotes":""},"categories":[119],"tags":[],"class_list":["post-3529","post","type-post","status-publish","format-standard","hentry","category-o-raziskavah-en"],"acf":[],"_links":{"self":[{"href":"https:\/\/www.pei.si\/en\/wp-json\/wp\/v2\/posts\/3529","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.pei.si\/en\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.pei.si\/en\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.pei.si\/en\/wp-json\/wp\/v2\/users\/3"}],"replies":[{"embeddable":true,"href":"https:\/\/www.pei.si\/en\/wp-json\/wp\/v2\/comments?post=3529"}],"version-history":[{"count":0,"href":"https:\/\/www.pei.si\/en\/wp-json\/wp\/v2\/posts\/3529\/revisions"}],"wp:attachment":[{"href":"https:\/\/www.pei.si\/en\/wp-json\/wp\/v2\/media?parent=3529"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.pei.si\/en\/wp-json\/wp\/v2\/categories?post=3529"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.pei.si\/en\/wp-json\/wp\/v2\/tags?post=3529"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}