სანდო OSCE-ს ანგარიშში სადგურების (stations) მიხედვით Cronbach-ის ალფა (Cronbach's alpha) ან განზოგადებადობის კოეფიციენტი (generalizability coefficient) 0.7 ან მეტია. ვალიდურ OSCE-ს შეუძლია მტკიცებულებებით აჩვენოს, რომ მისი ქულები ამართლებს მათ საფუძველზე მიღებულ გადაწყვეტილებას. სანდოობა (Reliability) ამ მტკიცებულების ერთ-ერთი ნაწილია. ეს გვერდი ხსნის როგორც ლიტერატურაში დადგენილ ზღვრებს, ასევე იმას, თუ რამდენი სადგურია საჭირო მათ მისაღწევად.
რატომ სჭირდება OSCE-ს ხელმძღვანელს ეს ორი სიტყვა
OSCE-ს თითოეული შედეგი წარმოადგენს განაცხადს. ეს განაცხადი გულისხმობს, რომ კანდიდატს, რომელმაც გამოცდა ჩააბარა, შეუძლია შემოწმებული უნარის პრაქტიკაში გამოყენება. კანდიდატს, რომელიც ჩაიჭრა, ეს ჯერ არ შეუძლია. ვალიდურობა სწორედ ის საკითხია, მართლდება თუ არა ეს განაცხადი. სანდოობა შედარებით ვიწრო საკითხია. მიიღებდა თუ არა იგივე კანდიდატი იგივე შედეგს სხვა დღეს, სხვა გამომცდელებთან და იმავე საგამოცდო მატრიციდან (blueprint) შერჩეულ სხვა სადგურებზე?
ხელმძღვანელს, რომელსაც არ შეუძლია ორივე კითხვაზე პასუხის გაცემა, არც შედეგის დაცვა შეუძლია. ამ კითხვებს დასვამს აპელაცია. ამ კითხვებს დასვამს აკრედიტაციის ვიზიტი. მათზე პასუხისმგებელი რიცხვების გამოთვლა კი მარტივია, რადგან ყველა OSCE გამოიმუშავებს შესაბამის მონაცემებს.
რას ნიშნავს ვალიდურობა (validity) OSCE-სთვის?
ვალიდურობა არ არის გამოცდის თვისება. ის იმ ინტერპრეტაციის თვისებაა, რომელსაც თქვენ მის ქულებს ანიჭებთ. თანამედროვე ჩარჩო Kane-ს ეკუთვნის. Cook-მა და მისმა კოლეგებმა ის ჯანდაცვის პროფესიებისთვის შეაჯამეს. იგი ვალიდურობას ოთხსაფეხურიან არგუმენტად განიხილავს. თითოეული საფეხური წარმოადგენს დასკვნას (inference) და თითოეულ დასკვნას მტკიცებულება სჭირდება.
დასკვნა (Inference) | განაცხადი | რა ამყარებს მას OSCE-ში |
|---|---|---|
შეფასება (Scoring) | გამომცდელის ქულები ზუსტად ასახავს შესრულებას | ნათელი შეფასების სქემა, გადამზადებული გამომცდელები, გამომცდელებს შორის შეთანხმება, არცერთი გამოტოვებული პუნქტი |
განზოგადება (Generalization) | შერჩეული სადგურები წარმოადგენს მთლიან დომენს | საგამოცდო მატრიცა, რომელიც ფარავს დომენს, სადგურების საკმარისი რაოდენობა, სანდოობის მისაღები კოეფიციენტი |
ექსტრაპოლაცია (Extrapolation) | გამოცდაზე შესრულება ასახავს პრაქტიკაში შესრულებას | რეალურ დავალებებზე აგებული სადგურები, რეალისტური სიმულირებული პაციენტები (simulated patients), ქულები, რომლებიც კავშირშია შემდგომ შესრულებასთან |
გავლენა (Implications) | ჩაბარების ან ჩაჭრის გადაწყვეტილებას (pass or fail decision) მივყავართ სწორ შედეგამდე | დასაბუთებადი სტანდარტი, რემედიაციის გონივრული გზა, შედეგები, რომლებიც შეესაბამება გამოცდის მნიშვნელობას |
სანდოობა მეორე რიგშია მოცემული. ის აუცილებელია ვალიდურობისთვის, მაგრამ არა საკმარისი. გამოცდა შეიძლება იყოს სრულყოფილად თანმიმდევრული, თუმცა არასწორ რამეს ზომავდეს.
OSCE-ს თეორიული საფუძვლების შესახებ AMEE-ს სახელმძღვანელო ამ გამოცდას Miller-ის პირამიდის (Miller's pyramid) „აჩვენებს, თუ როგორ“ დონეზე ათავსებს. ეს არის ექსტრაპოლაციის განაცხადი ერთი ფრაზით: კანდიდატმა დაკვირვების ქვეშ აჩვენა, რომ შეუძლია დავალების შესრულება. OSCE ვერ აჩვენებს, რას აკეთებს კანდიდატი კლინიკაში ზედამხედველობის გარეშე. ნებისმიერი ვალიდურობის არგუმენტი ამას უნდა აღნიშნავდეს.
Daniels-ისა და Pugh-ს თორმეტი რჩევა Kane-ს ჩარჩოს განვითარების თანმიმდევრობით იყენებს: გადაწყვიტეთ, რისთვის იქნება გამოყენებული ქულები, შემდეგ კი თითოეული დასკვნა დიზაინში ჩააშენეთ. ამ თანმიმდევრობას მნიშვნელობა აქვს. გამოცდის შემდეგ შეგროვებულ ვალიდურობის მტკიცებულებას მხოლოდ დიზაინის დადასტურება ან უარყოფა შეუძლია. მას არ ძალუძს დიზაინის გამოსწორება.
რას ნიშნავს სანდოობა (reliability) და რომელი კოეფიციენტი უნდა ავსახოთ ანგარიშში?
სანდოობა არის ქულების ვარიაციის (variation) ის წილი, რომელიც კანდიდატებს შორის რეალური განსხვავებებითაა განპირობებული. დანარჩენი გამომდინარეობს იქიდან, თუ რომელი სადგურები შეხვდათ მათ, რომელ გამომცდელებთან მოუწიათ ურთიერთობა ან რომელი ციკლი (circuit) გაიარეს. OSCE-ს ანგარიშებში სამი კოეფიციენტი გვხვდება.
Cronbach-ის ალფა (Cronbach's alpha) სადგურებს ერთიან ტესტში შემავალ პუნქტებად განიხილავს და ზომავს მათ შინაგან შეთანხმებულობას (internal consistency). ის ყველაზე გავრცელებული კოეფიციენტია, რადგან მოითხოვს მხოლოდ სადგურების ქულებს. AMEE-ს 49-ე სახელმძღვანელო აღნიშნავს, რომ 0.7 ან მეტი მაჩვენებელი, როგორც წესი, მისაღებად ითვლება. 0.9-ზე მაღალი მაჩვენებელი შეიძლება სადგურებს შორის სიჭარბეზე (redundancy) მიუთითებდეს. AMEE-ს ორგანიზაციული სახელმძღვანელო იგივე სამუშაო დიაპაზონს გვთავაზობს: ალფა ან G კოეფიციენტი 0.7-სა და 0.8-ს შორის მაღალი მნიშვნელობის მქონე გამოცდისთვის (high-stakes exam) მისაღებ სანდოობას ასახავს.
განზოგადებადობის კოეფიციენტი (The generalizability coefficient) მიიღება G-კვლევიდან (G-study). ის განაცალკევებს ცდომილების წყაროებს (sources of error). მას შეუძლია გიჩვენოთ, ცდომილების რა ნაწილი მოდის სადგურებიდან და რა ნაწილი გამომცდელებიდან. მას სჭირდება ჯვარედინი ან ნაწილობრივ ჯვარედინი დიზაინი (crossed or partially crossed design), რაც ბევრ OSCE-ს არ გააჩნია. როდესაც მისი გამოთვლა შეგიძლიათ, ის ბევრად უფრო ინფორმაციული მაჩვენებელია.
შემფასებელთა შორის შეთანხმება (Inter-rater agreement) ზომავს, ერთსა და იმავე შესრულებაზე დაკვირვებისას ორი გამომცდელი ერთნაირ ქულებს წერს თუ არა. ის აისახება კორელაციის (correlation), შიდაკლასობრივი კოეფიციენტის (intraclass coefficient) ან კატეგორიული შეფასებებისთვის კაპას (kappa) სახით. ის ამყარებს შეფასების დასკვნას და არა განზოგადებას, ამასთან, არაფერს ამბობს იმაზე, თუ რამდენი სადგური სჭირდება გამოცდას.
ყოველთვის ასახეთ ანგარიშში ალფა. ასახეთ G კოეფიციენტი, როდესაც დიზაინი ამის საშუალებას იძლევა. ასახეთ შემფასებელთა შორის შეთანხმება, როდესაც სადგურები ორმაგად იყო შეფასებული (double-marked) და მიუთითეთ, რამდენი მათგანი შეფასდა ამგვარად.
რამდენი სადგური და რამდენი საგამოცდო დრო სჭირდება სანდო OSCE-ს?
გულწრფელი პასუხი ის არის, რომ მტკიცებულებები ორ სხვადასხვა მიმართულებაზე მიუთითებს და ხელმძღვანელმა ორივე უნდა იცოდეს.
შესრულების შეფასების შესახებ (Performance Assessment) 2020 წლის Ottawa-ს კონსენსუსის განცხადება ადგენს ქვედა ზღვარს (floor). მასში ნათქვამია, რომ OSCE 12 სადგურზე ნაკლებით არ იძლევა სანდო შედეგებს. იგივე ეხება 150 წუთზე ნაკლებ საგამოცდო დროს. სწორედ ამ პოზიციას დაესესხება ყველაზე ხშირად მარეგულირებელი ან გარე გამომცდელი (external examiner).
2025 წელს Peng-ის და მისი კოლეგების მიერ ჩატარებულმა მეტა-ანალიზმა (meta-analysis) გააერთიანა სამედიცინო ფაკულტეტის სტუდენტების OSCE-ების 23 კვლევის 26 ალფა მნიშვნელობა. მედიანურ გამოცდას ჰქონდა 9 სადგური, რომელთაგან თითოეული 9 წუთს გრძელდებოდა. 5 სადგურზე ნაკლების მქონე გამოცდების საშუალო ალფა იყო 0.75. 5-10 სადგურის მქონე გამოცდების საშუალო ალფა იყო 0.83. 10-ზე მეტი სადგურის მქონე გამოცდების საშუალო ალფა იყო 0.77. 5-10 სადგურის მქონე ჯგუფში, 10 წუთზე ნაკლები ხანგრძლივობის სადგურების საშუალო მაჩვენებელი იყო 0.88, ხოლო 10 წუთის ან მეტი ხანგრძლივობის სადგურებისა კი 0.64. ავტორები ამ ფაქტს მეტი და უფრო მოკლე სადგურების მხარდამჭერ არგუმენტად მიიჩნევენ. აქ გასათვალისწინებელია ორი გარემოება. კვლევებს შორის ჰეტეროგენურობა (heterogeneity) ძალიან მაღალი იყო, ხოლო ძაბრისებრმა დიაგრამამ (funnel plot) პუბლიკაციის მიკერძოებაზე (publication bias) მიუთითა.
2011 წელს Brannick-ის და მისი კოლეგების მიერ ჩატარებული სისტემატური მიმოხილვა (systematic review) გვაწვდის საბაზისო მონაცემებს (baseline), რომელთა გარშემოც ეს ორი პოზიცია დავობს. 39 კვლევის მიხედვით, სადგურებს შორის საშუალო ალფა იყო 0.66. სადგურის შიგნით, მის პუნქტებს (items) შორის სანდოობა იყო 0.78. განზოგადებადობის კოეფიციენტის საშუალო მაჩვენებელი იყო 0.49. სხვა სიტყვებით რომ ვთქვათ, საშუალო გამოქვეყნებული OSCE გამოცდის დონეზე 0.7-ს ჩამორჩებოდა.
პრაქტიკული დასკვნა ასეთია. სადგურების რაოდენობის ზრდასთან ერთად იზრდება სანდოობა, რადგან მეტი სადგური ამოწმებს შესაფასებელი დომენის (domain) უფრო დიდ ნაწილს. ის უფრო სწრაფად იზრდება მეტი მოკლე სადგურის გამოყენებით, ვიდრე ნაკლები გრძელი სადგურის შემთხვევაში. მთავარი საფრთხე შინაარსის სპეციფიკურობაა (content specificity): კანდიდატი, რომელიც ძლიერია ერთ ქეისზე, არ არის გარანტირებულად ძლიერი მომდევნოზე. ორგანიზაცია AMEE-ს სახელმძღვანელო შინაარსის სპეციფიკურობას „დაბალი სანდოობის მთავარ მიზეზად“ ასახელებს. ის ზოგად რეკომენდაციად გვთავაზობს 14-18 სადგურს, თითოეულს 5-10 წუთის ხანგრძლივობით. განიხილეთ Ottawa-ს ქვედა ზღვარი, როგორც მინიმუმი მაღალი მნიშვნელობის მქონე გამოცდისთვის (high-stakes exam). განიხილეთ მეტა-ანალიზი იმის მტკიცებულებად, რომ ამ ზღვრის გადალახვის შემდეგ, უფრო მოკლე სადგურების დამატება უკეთესი ბერკეტია.
რა ამცირებს OSCE-ს სანდოობას და რა ასწორებს მას?
ცდომილების ოთხი წყარო განაპირობებს დაბალი კოეფიციენტების უმეტესობას. თითოეულ მათგანს აქვს გადაჭრის გზა და ეს გზები ამ სახელმძღვანელოს სხვადასხვა სექციაშია მოცემული.
ცდომილების წყარო | როგორ აისახება ეს მონაცემებში | გადაჭრის გზა |
|---|---|---|
სადგურების არასაკმარისი რაოდენობა | ალფა 0.7-ზე დაბალია გამოკვეთილი სუსტი სადგურის გარეშე | დაამატეთ სადგურები. შეამოკლეთ ისინი, თუ საგამოცდო მატრიცა (blueprint) ამის საშუალებას იძლევა. |
შინაარსის სპეციფიკურობა | დაბალი კორელაცია იმ სადგურებს შორის, რომლებიც ერთი და იმავე უნარის გასაზომად იყო გამიზნული | უფრო ფართოდ შეამოწმეთ დომენი. ნუ მოელით, რომ ერთი ქეისი სრულად ასახავს კომპეტენციას. |
გამომცდელთა ვარიაცია | ციკლები (circuits) ან გამომცდელები განსხვავებული საშუალო ქულებით. „ქორები და მტრედები“ (hawks and doves). | ტრენინგი და კალიბრაცია (calibration). შეფასების სქემები აღმწერებით (anchors). შეადარეთ გამომცდელები გამოცდის შემდეგ. |
სუსტი შეფასების სქემები | გამოტოვებული პუნქტები, საკონტროლო სიები (checklists), რომლებიც არასწორ ქცევებს ახალისებს, გლობალური შეფასებები აღმწერების გარეშე | თავიდან დაწერეთ სქემა. ჩაატარეთ მისი პილოტირება (pilot). გამოიყენეთ მონაცემთა ელექტრონული შეყვანა, რათა თავიდან აირიდოთ გამოტოვებული პუნქტები. |
გამომცდელთა ვარიაციას რიცხვები სჭირდება. ერთ-ერთმა კვლევამ მოიცვა გაერთიანებული სამეფოს სალიცენზიო OSCE-ს 442 სესია. გამომცდელის სიმკაცრემ განაპირობა დომენის ქულების დისპერსიის 15.9 პროცენტი. ტრენინგი ამცირებს ამ წილს, მაგრამ სრულად არ აქრობს მას. ამ სახელმძღვანელოს გამომცდელთა სექციაში განხილულია, რისი გაკეთება შეუძლია ტრენინგს და რისი არა.
როგორ უნდა დაწეროთ ვალიდურობის არგუმენტი თქვენი OSCE-სთვის?
ვალიდურობის არგუმენტი არის მოკლე დოკუმენტი, რომელსაც კომიტეტი ინახავს გამოცდის ჩანაწერებთან ერთად. ის განსაზღვრავს იმ გადაწყვეტილებას, რომელსაც ქულები უჭერს მხარს, ხოლო შემდეგ ჩამოთვლის მტკიცებულებებს თითოეული დასკვნისთვის. უნივერსიტეტების უმეტესობას ეს მტკიცებულებები უკვე აქვს, თუმცა წერილობით არ აქვთ დაფიქსირებული. ქვემოთ მოცემული სია არის ამ დოკუმენტის მონახაზი.
რიცხვების ლიმიტები
გასათვალისწინებელია ორი ლიმიტი. პირველი, ალფა დამოკიდებულია როგორც სადგურების რაოდენობაზე, ისე მათ ხარისხზე. სუსტი სადგურებისგან შემდგარმა გრძელმა გამოცდამ შეიძლება საკმაოდ კარგი კოეფიციენტი აჩვენოს. განიხილეთ ალფა სადგურის დონის მეტრიკებთან (station-level metrics) ერთად ხარისხის სექციაში. მეორე, კოეფიციენტი აღწერს იმ კოჰორტას, რომელმაც ჩააბარა გამოცდა. მცირე კოჰორტა იძლევა ფართო ნდობის ინტერვალს (confidence interval). 30 კანდიდატისგან შემდგარი გამოცდის მაჩვენებელი შეიძლება მერყეობდეს 0.6-დან 0.8-მდე სხვადასხვა წელს, სადგურების ცვლილების გარეშე. ანგარიშში ასახეთ ინტერვალი და არა მხოლოდ წერტილოვანი შეფასება (point estimate), და წლები ერთმანეთს ამის გათვალისწინებით შეადარეთ.
ძირითადი ტერმინები
ხშირად დასმული კითხვები
რა არის მისაღები სანდოობა (reliability) OSCE-სთვის?
0.7 ან მეტი ალფა (alpha) ან განზოგადებადობის კოეფიციენტი ფართოდ გამოყენებული ზღვარია შემაჯამებელი OSCE-სთვის. AMEE-ს სახელმძღვანელოები 0.7-დან 0.8-მდე მაჩვენებელს მისაღებად მიიჩნევს მაღალი მნიშვნელობის მქონე გამოცდებისთვის. სალიცენზიო ორგანოები (licensing bodies) ზოგჯერ უფრო მაღალ მიზნებს ისახავენ. ლოკალურ გამოცდაში 0.9-ზე მაღალი მაჩვენებელი უჩვეულოა და შეიძლება ნიშნავდეს, რომ სადგურები ერთსა და იმავეს ორჯერ ზომავენ.
არის თუ არა უფრო ხანგრძლივი OSCE ყოველთვის უფრო სანდო?
მეტი სადგური ზრდის სანდოობას, რადგან ისინი უზრუნველყოფენ დომენის უფრო ფართო შერჩევას. უფრო ხანგრძლივი სადგურები ამას არ აკეთებენ. 2025 წლის მეტა-ანალიზმა განიხილა 5-დან 10 სადგურიანი გამოცდები. 10 წუთზე ნაკლები ხანგრძლივობის სადგურებს ჰქონდათ უფრო მაღალი საშუალო სანდოობა, ვიდრე 10 წუთის ან მეტი ხანგრძლივობის სადგურებს. ამის მიზეზი შინაარსის სპეციფიკურობაა. შერჩევის სიგანეს (breadth of sampling) უფრო დიდი მნიშვნელობა აქვს, ვიდრე რომელიმე ერთი ქეისის სიღრმეს.
მეტყველებს თუ არა შემფასებელთა შორის სანდოობა (inter-rater reliability) იმაზე, რომ ჩემი OSCE სანდოა?
არა. შემფასებელთა შორის შეთანხმება აჩვენებს, რომ ორმა გამომცდელმა ერთი და იგივე შესრულება ერთნაირად შეაფასა. ეს მხარს უჭერს ვალიდურობის არგუმენტის შეფასების (scoring) ნაბიჯს. გამოცდის დონის სანდოობა, ალფა ან G კოეფიციენტი, სვამს კითხვას, იძლევა თუ არა სადგურების ნაკრები კანდიდატის სტაბილურ სურათს. გამოცდას შეიძლება ჰქონდეს გამომცდელთა შორის შესანიშნავი შეთანხმება და ძალიან ცოტა სადგური.
რა განსხვავებაა ვალიდურობასა (validity) და სანდოობას (reliability) შორის?
სანდოობა სვამს კითხვას, არის თუ არა ქულები სტაბილური (consistent). ვალიდურობა სვამს კითხვას, ნიშნავს თუ არა ქულები იმას, რასაც თქვენ ამბობთ, რომ ნიშნავს. სტაბილურმა (consistent) გამოცდამ მაინც შეიძლება არასწორი რამ გაზომოს. სანდოობა აუცილებელია ვალიდურობისთვის, მაგრამ თავისთავად არასოდეს არის საკმარისი. ვალიდურობის არგუმენტი ამატებს მტკიცებულებებს შეფასებისთვის, განზოგადებისთვის, ექსტრაპოლაციისთვის და გავლენისთვის.
მჭირდება თუ არა ფსიქომეტრიკოსი (psychometrician) მათ გამოსათვლელად?
არა. Cronbach-ის ალფას სჭირდება მხოლოდ სადგურის ქულები და ელექტრონული ცხრილი ან ნებისმიერი სტატისტიკური პაკეტი. განზოგადებადობის კვლევას (generalizability study) სჭირდება მეტი მუშაობა დიზაინზე და ისეთი ადამიანი, ვისაც ის წარსულში ჩაუტარებია. სადგურის დონის მეტრიკები და გამომცდელთა შედარება არითმეტიკაა. სკოლას სჭირდება ადამიანი, რომელსაც შეუძლია წაიკითხოს შედეგები და აუხსნას ისინი კომიტეტს.