შემაჯამებელი OSCE (summative OSCE) წყვეტს, აბარებს თუ არა კანდიდატი. განმავითარებელი OSCE (formative OSCE) ეუბნება კანდიდატს, რაზე უნდა იმუშაოს. ერთი და იგივე ციკლი (circuit) შეიძლება ემსახურებოდეს ნებისმიერ მიზანს, მაგრამ არა ორივეს ერთდროულად. შემაჯამებელი გამოცდის დროს მიწოდებული უკუკავშირი ცვლის იმ შესრულებას (performance), რომლის გაზომვაც მას ევალებოდა. ეს გვერდი განმარტავს, რა იცვლება, როდესაც მიზანი სწავლაა. ის ფარავს, თუ როგორ ეწერება საცდელი OSCE-ები (mock OSCEs) ამ პროცესში და რას ამბობს მტკიცებულებები მათ ეფექტზე.
რატომ უნდა გადაწყდეს მიზანი პირველ რიგში
მიზანი განაპირობებს ყველა სხვა დიზაინის არჩევანს. შემაჯამებელ OSCE-ს სჭირდება საკმარისი რაოდენობის სადგურები (stations), რათა მიიღოს სანდო ჩაბარება-ჩაჭრის გადაწყვეტილება (pass-or-fail decision). მას სჭირდება გამომცდელები, რომლებიც გაწვრთნილნი არიან შესაფასებლად და არა სასწავლებლად. მას სჭირდება დასაბუთებადი სტანდარტი და აპელაციის გზა (appeals route). განმავითარებელ OSCE-ს სჭირდება სადგურები, რომლებიც ავლენს გავრცელებულ სუსტ წერტილებს. მას სჭირდება უკუკავშირის მისაცემად გაწვრთნილი გამომცდელები. მას სჭირდება შემდგომი რეაგირება (follow-up), რათა უკუკავშირი გამოყენებულ იქნას.
პროგრამა, რომელიც ქმნის ერთს და იყენებს მას როგორც მეორეს, იღებს ორივეს ყველაზე ცუდ თვისებებს. შემაჯამებელი გამოცდა სადგურში უკუკავშირით არც სანდოა და არც სამართლიანი. განმავითარებელი გამოცდა, რომელიც ფასდება ისე, თითქოს შემაჯამებელი იყოს, კანდიდატებს ასწავლის შესრულებას და არა სწავლას.
OSCE-ის ორგანიზების შესახებ AMEE-ის სახელმძღვანელო ამ დაყოფას განიხილავს გამომცდელთა ტრენინგის ნაწილად. გამომცდელებისთვის მის სწავლის შედეგებში (learning outcomes) შედის წერილობითი უკუკავშირი ყველა გამოცდისთვის. ზეპირი უკუკავშირი (verbal feedback) გვხვდება მხოლოდ განმავითარებელი გამოცდებისთვის. ეს არის ზღვარი. ზეპირი უკუკავშირის ადგილი განმავითარებელ სადგურშია და მხოლოდ იქ.
რა განსხვავებაა განმავითარებელ (formative) და შემაჯამებელ (summative) OSCE-ებს შორის?
მახასიათებელი | განმავითარებელი OSCE | შემაჯამებელი OSCE |
|---|---|---|
მიზანი | აჩვენოს კანდიდატს და პროგრამას, სად არის ხარვეზები | გადაწყვიტოს, აკმაყოფილებს თუ არა კანდიდატი სტანდარტს |
გამოცდის მნიშვნელობა (stakes) | დაბალი; მასზე არ არის დამოკიდებული აკადემიური წინსვლის (progression) გადაწყვეტილება | მაღალი; აკადემიური წინსვლა, კურსდამთავრება ან ლიცენზირება |
სადგურების რაოდენობა | ნაკლები, შერჩეული გავრცელებული სუსტი წერტილების შესამოწმებლად | საკმარისი სანდოობისთვის (reliability), განსაზღვრული საგამოცდო მატრიცითა (blueprint) და მტკიცებულებებით |
გამომცდელის როლი | დაკვირვება, შეფასება, შემდეგ უკუკავშირის მიწოდება | მხოლოდ დაკვირვება და შეფასება |
უკუკავშირი | სადგურში, ან ციკლის დასრულებისთანავე | შედეგების შემდეგ, წერილობით, თითოეული სადგურისა და მთლიანობაში |
სტანდარტის დადგენა (standard setting) | არასავალდებულო; ზღვარი ორიენტირებისთვის | სავალდებულო; წინასწარ შერჩეული დასაბუთებადი მეთოდი |
კანდიდატის მომზადება | სწავლების ნაწილი | გამოქვეყნებული სახელმძღვანელო, საგამოცდო მატრიცა და საცდელი სადგურები (mock stations) |
ანალიზი | რომელ უნარებშია კოჰორტა (cohort) სუსტი | სანდოობა, სადგურის დონის მეტრიკები (station metrics) და გამომცდელთა შედარება (examiner comparison) |
რა იცვლება, როდესაც OSCE განმავითარებელია (formative)?
იცვლება ოთხი რამ. თითოეული მათგანი არის დიზაინის გადაწყვეტილება და არა მოთხოვნების შემსუბუქება.
სადგურები იცვლება. განმავითარებელი ციკლი ამოწმებს იმ უნარებს, რომელთა განვითარებაც პროგრამას ყველაზე მეტად სურს. ის ამატებს იმ უნარებს, რომლებშიც ბოლო შემაჯამებელმა გამოცდამ აჩვენა, რომ კოჰორტა სუსტი იყო. მას შეუძლია დაუშვას ისეთი სადგური, რომელთან გამკლავებაც კანდიდატთა უმეტესობას გაუჭირდება. მთავარი მიზანი სირთულეების აღმოჩენაა.
გამომცდელის სამუშაო იცვლება. შეფასების შემდეგ, გამომცდელი ეუბნება კანდიდატს, რა იყო კარგი და რა უნდა შეიცვალოს. ამის კარგად კეთებას ტრენინგი სჭირდება. უკუკავშირი, რომელიც ასახელებს ქცევას და შემდეგ ნაბიჯს, სასარგებლოა. უკუკავშირი, რომელიც იმეორებს ქულას, ასეთი არ არის. ამ სახელმძღვანელოს კანდიდატების სექცია დეტალურად ფარავს უკუკავშირის მოდელებს.
უკუკავშირის დრო იცვლება. სადგურში უკუკავშირი მყისიერი და სპეციფიკურია. ეს სადგურის დროს მოითხოვს. მან ასევე შეიძლება გავლენა მოახდინოს კანდიდატის მომდევნო სადგურზე. ციკლის შემდეგ, უკუკავშირი შეიძლება იყოს უფრო სრულყოფილი და ფარავდეს მთლიან შესრულებას. ერთმა ქირურგიულმა პროგრამამ დაამატა სტრუქტურირებული წერილობითი უკუკავშირი თავის OSCE-ში. მან უკუკავშირი ელფოსტით გააგზავნა მთლიანი გამოცდის დასრულების შემდეგ. ამგვარად, ერთ სადგურზე მიღებული უკუკავშირი ვერ მოახდენდა გავლენას მომდევნოზე.
შედეგები იცვლება. განმავითარებელ შედეგს მივყავართ გეგმამდე: პრაქტიკა, სუსტი სადგურების გამეორება და საუბარი ტუტორთან. მას არ მივყავართ აკადემიურ წინსვლასთან დაკავშირებულ გადაწყვეტილებამდე. კანდიდატებმა ეს წინასწარ უნდა იცოდნენ. წინააღმდეგ შემთხვევაში, ისინი გამოცდას აღიქვამენ როგორც შემაჯამებელს და უკუკავშირს განიხილავენ როგორც განაჩენს.
სად არის საცდელი OSCE-ების (mock OSCEs) ადგილი?
საცდელი OSCE არის განმავითარებელი OSCE, რომელიც ტარდება შემაჯამებელი გამოცდის წინ, იმავე ფორმატში. მისი მიზანი უფრო ვიწროა. ის ავითარებს ფორმატთან, დროსა და დაძაბულობასთან შეჩვევას. პროგრამები ატარებენ საცდელ გამოცდებს ფაკულტეტის გამომცდელების ან უფროსკურსელი სტუდენტების მონაწილეობით. ზოგიერთი მათგანი სტუდენტების მიერ მართული (peer-led) ღონისძიებაა, რომლებსაც სტუდენტები თავად აწყობენ.
მტკიცებულებები საცდელი გამოცდების შესახებ ერთ საკითხზე თანხმდება, მეორეზე კი იყოფა. საცდელი გამოცდები ამცირებს შფოთვას და ზრდის თავდაჯერებულობას. სტუდენტების მიერ მართული საცდელი OSCE-ის ერთ-ერთმა კვლევამ გაზომა მდგომარეობითი შფოთვა (state anxiety). საცდელმა ჯგუფმა (mock group) აიღო 54.8 ქულა, ხოლო საკონტროლო ჯგუფმა (control group) 63.6. ავტორებმა მიიჩნიეს, რომ სხვაობა მნიშვნელოვანი იყო. სტუდენტების მიერ მართულმა მეორე კვლევამ აჩვენა უფრო მაღალი თავდაჯერებულობა. ეფექტი შემდგომ შემაჯამებელ ქულაზე მცირეა ან საერთოდ არ არსებობს. შფოთვის იმავე კვლევამ აჩვენა შემაჯამებელი ქულები 8.60 და 8.30. ამ სხვაობამ ვერ მიაღწია სტატისტიკურ მნიშვნელოვნებას (significance). კანადურმა კვლევამ არ აჩვენა არანაირი გავლენა შემდგომ ქულებზე.
პროგრამისთვის დასკვნა მარტივია. საცდელი გამოცდის ჩატარება ღირს კანდიდატების საკეთილდღეოდ. არ უნდა მოველოდეთ, რომ ის გაზრდის ჩაბარების მაჩვენებელს (pass rate). ის ამცირებს შემაჯამებელი შედეგის იმ ნაწილს, რომელიც ასახავს უცხო ფორმატს და არა უნარს. ეს არის ვალიდურობის (validity) ზრდა მაშინაც კი, როდესაც საშუალო ქულა (mean score) არ იცვლება.
ორი წესი ინარჩუნებს საცდელი გამოცდის ობიექტურობას. სადგურების აქტიური ბანკი (live station bank) მასში არ მონაწილეობს. გარდა ამისა, საცდელი გამოცდის შეფასების სქემა უნდა იყოს იგივე ტიპის, როგორიც შემაჯამებელი გამოცდისაა. ასეთ შემთხვევაში, კანდიდატები სწავლობენ, თუ როგორ შეაფასებენ მათ და არა მხოლოდ იმას, თუ როგორ გამოიყურება ოთახი.
შეიძლება ერთი OSCE ორივე იყოს?
პროგრამები ზოგჯერ ცდილობენ, შემაჯამებელი OSCE განმავითარებელი გახადონ შემდგომში უკუკავშირის დამატებით. ეს მუშაობს და კარგი პრაქტიკაა. შედეგების შემდეგ თითოეულ სადგურზე მიწოდებული წერილობითი უკუკავშირი საბოლოო გადაწყვეტილებას სასწავლო მოვლენად აქცევს. ეს არ ახდენს გავლენას გაზომვაზე. ამ სახელმძღვანელოს კანდიდატების სექცია განიხილავს, თუ როგორ უნდა გაკეთდეს ეს.
საპირისპირო წესი არ მუშაობს. შემაჯამებელ სადგურში ან სადგურებს შორის მიწოდებული უკუკავშირი ცვლის იმას, რასაც შემდგომი სადგურები ზომავს. ეს ასევე ქმნის უსამართლობას. სხვადასხვა კანდიდატი სხვადასხვა გამომცდელისგან სხვადასხვა უკუკავშირს იღებს. ტუნისში დაბალშემოსავლიან გარემოში OSCE-ის დანერგვის შეფასება საპირისპირო მხრიდან მივიდა მსგავს დასკვნამდე. მან ამ ფორმატისთვის ახალ პროგრამებს ურჩია განმავითარებელი OSCE-ებით დაწყება. მან ურჩია თითოეულ უნარზე რამდენიმე სადგურის გამოყენება. მან ურჩია პედაგოგთა უნარების განვითარება გამოცდის მნიშვნელობის გაზრდამდე. პროგრამა, რომელიც იწყება შემაჯამებელი OSCE-ებით, ისევე ზომავს ფორმატის უცხოობას, როგორც უნარს. მისი გამომცდელები გადაუმზადებლები არიან, ხოლო კანდიდატებისთვის ფორმატი ახალია.
განმავითარებელი OSCE-ის შექმნა
ქვემოთ მოცემული სია არის აუცილებელი მინიმუმი იმისთვის, რომ განმავითარებელმა ციკლმა გამოსადეგი უკუკავშირი შექმნას.
მტკიცებულებების შეზღუდვები
საცდელი OSCE-ის კვლევები ძირითადად ერთ ლოკაციაზეა ჩატარებული და თითოეული თითო კურსს მოიცავს. რამდენიმე მათგანი სტუდენტების მიერ მართული ღონისძიებაა. მათმა ორგანიზატორებმა ასევე დაწერეს შეფასება. შფოთვაზე გავლენა ყველა მათგანში თანმიმდევრულია. ქულაზე გავლენა ასეთი არ არის. კვლევები ზედმეტად მცირე მასშტაბის იყო იმისთვის, რომ მცირე ეფექტი დანამდვილებით გამოევლინა. რჩევა პირველ რიგში განმავითარებლით დაწყების შესახებ ერთ გარემოში მიღებულ გამოცდილებას ეყრდნობა. მისი ბარიერები იყო ტრადიცია, პედაგოგთა უნარები და ფორმატთან სტუდენტების ნაცნობობა. სხვაგან მათ შესაძლოა განსხვავებული წონა ჰქონდეს. ორივე განიხილეთ, როგორც კარგი პრაქტიკა ზომიერი მტკიცებულებით და არა, როგორც საბოლოოდ დადგენილი მიგნებები.
ხშირად დასმული კითხვები
რა არის განმავითარებელი OSCE?
განმავითარებელი OSCE ტარდება იმისთვის, რომ კანდიდატებს მივაწოდოთ უკუკავშირი და არა იმისთვის, რომ მივიღოთ აკადემიური წინსვლის გადაწყვეტილება. ის იყენებს იგივე სადგურის ფორმატს. გამომცდელი უკუკავშირს ქულის დაწერის შემდეგ იძლევა. სადგურები შეირჩევა გავრცელებული სუსტი წერტილების გამოსავლენად. შედეგს მივყავართ სასწავლო გეგმამდე და არა ჩაბარება-ჩაჭრის შედეგამდე.
შეუძლიათ თუ არა გამომცდელებს უკუკავშირის მიცემა შემაჯამებელი OSCE-ის დროს?
არა. უკუკავშირი შემაჯამებელ სადგურში გავლენას ახდენს შესრულებაზე შემდგომ სადგურებში. ის ასევე ქმნის უსამართლობას იმ კანდიდატებს შორის, რომლებიც განსხვავებულ უკუკავშირს იღებენ. შემაჯამებელი უკუკავშირი უნდა იყოს წერილობითი და გაიგზავნოს შედეგების შემდეგ, თითოეული სადგურისთვის და ზოგადად. ზეპირი უკუკავშირი სადგურში მხოლოდ განმავითარებელ OSCE-ებს ეკუთვნის.
აუმჯობესებს თუ არა საცდელი OSCE-ები გამოცდის შედეგებს?
ისინი საიმედოდ ამცირებენ შფოთვას და ზრდიან თავდაჯერებულობას. გამოქვეყნებულ კვლევებში მათი გავლენა შემდგომ შემაჯამებელ ქულაზე მცირეა ან საერთოდ არ არსებობს. ჩაატარეთ საცდელი გამოცდა, რათა შედეგიდან უცხო ფორმატის ფაქტორი ამოიღოთ. არ ჩაატაროთ ის ჩაბარების მაჩვენებლის გასაზრდელად.
ახალი OSCE პროგრამა განმავითარებლით უნდა დაიწყოს თუ შემაჯამებლით?
დაიწყეთ განმავითარებლით. დანერგვის კვლევები გვირჩევენ, რომ პირველი ციკლი განმავითარებელი იყოს. გამომცდელები სწავლობენ შეფასებას. კანდიდატები სწავლობენ ფორმატს. პროგრამა სწავლობს თავის ლოგისტიკას, სანამ შედეგს რაიმე გავლენა ექნება. გადაუმზადებელი გამომცდელებითა და ახალი კანდიდატებით ჩატარებული შემაჯამებელი გამოცდა ისევე ზომავს ფორმატის უცხოობას, როგორც უნარს.
რამდენი სადგური სჭირდება განმავითარებელ OSCE-ს?
უფრო ნაკლები, ვიდრე შემაჯამებელს. ჩაბარება-ჩაჭრის გადაწყვეტილების მისაღებად სანდოობის ზღვრის დაკმაყოფილება საჭირო არ არის. აირჩიეთ სადგურები იმ უნარებისთვის, რომელთა განვითარებაც პროგრამას სურს. თითოეულ მათგანს დაუთმეთ საკმარისი დრო უკუკავშირისთვის. უკუკავშირის მქონე ექვსიდან რვა სადგურამდე განმავითარებელი ციკლი გავრცელებული პრაქტიკაა.