ჩასვით თქვენი სადგურის საკონტროლო სიის შედეგები, რომლებიც გამომცდელებმა შეაფასეს, და მიიღეთ პუნქტების პოლიტომიური ანალიზი (polytomous item analysis), რომელსაც OSCE-ის ქვედანაყოფები ჩვეულებრივ მხოლოდ კომერციულ საგამოცდო პროგრამებში ხედავენ: სიმარტივე (facility), დისკრიმინაცია (discrimination), პუნქტისა და დანარჩენი ქულის კორელაცია (item-rest correlation), Cronbach-ის ალფა და გაზომვის სტანდარტული ცდომილება (SEM). ყოველი მონიშნული პუნქტი განმარტებულია და წყაროთია გამყარებული. გამოთვლა მთლიანად თქვენს ბრაუზერში სრულდება: კანდიდატების მონაცემები არსად იტვირთება.
ჩასვით Excel-იდან / Sheets-იდან: პირველ სტრიქონში პუნქტების სახელები, თითო სტრიქონი თითო კანდიდატზე. არჩევითად: კანდიდატის ID-ის პირველი სვეტი, „Max“ სტრიქონი პუნქტების მაქსიმალური ქულებით, „Total“ სვეტი.
თქვენი მონაცემები იკითხება და მუშავდება ლოკალურად. გადასამოწმებლად გახსენით ბრაუზერის ქსელის (network) ჩანართი: ვერაფერს ვერ ნახავთ ატვირთულს.
ყველა სტატისტიკა იმეორებს StudyDrome-ის OSCE-ის პუნქტების ანალიზის მოდულს: რეალიზაცია მისგან არის გადმოტანილი და რეგრესიულად შემოწმებულია პროდუქტის საკუთარ სატესტო მონაცემებზე, ამიტომ აქ ნაჩვენები რიცხვები იგივეა, რასაც საგამოცდო პროგრამა გამოიტანდა. განმარტებები და წყაროები თითოეული მეტრიკისთვის:
ეს არის სტრუქტურული სკრინინგის სტატისტიკა: ის პოულობს უცნაურად მოქმედ პუნქტებს და არა იმ პუნქტებს, რომლებიც არასწორ რამეს ზომავს. კლინიკური რელევანტურობისა და შინაარსობრივი ვალიდურობის შეფასებას კვლავ თქვენი გამომცდელები და საგამოცდო მატრიცა სჭირდება. მცირე კოჰორტებში ყველა სტატისტიკა არასტაბილურია, ამიტომ ერთი ჩატარებისას მიღებული ნიშნულები განიხილეთ როგორც მინიშნება დაკვირვებისთვის და არა როგორც განაჩენი.
ზუსტი წესები, რომლებსაც ანალიზი იყენებს: ზღვრები, სიმძიმის დონეები და თითოეულ შემთხვევაში რა უნდა გაკეთდეს. ქვემოთ მოცემული ყველა მაგალითი ტესტების კომპლექტით სრულდება ანალიზის მოდულზე, ამიტომ ეს ცნობარი ვერ დაშორდება იმას, რასაც ინსტრუმენტი რეალურად აკეთებს.
Facility ≥ 0.80 — candidates averaged 80%+ of the item's maximum mark.
მაგალითი: On "Introduces self and confirms identity", 15 of 16 candidates score the full 2 points: facility 0.97.
რა უნდა გააკეთოთ: 80%+ of the maximum mark was achieved on average. Item may not discriminate; consider reviewing.
Facility ≤ 0.30 — the average score is below 30% of the item's maximum.
მაგალითი: Only 4 of 16 candidates score anything on a 2-point item: facility 0.13. Is the task unclear, or were examiners marking to different standards?
რა უნდა გააკეთოთ: Average score is below 30% of the maximum. Verify the item wording, scoring scale and examiner calibration.
Discrimination below 0 — the bottom third of candidates outscored the top third on this item.
მაგალითი: The five strongest candidates average 0 on the item while the five weakest average 2: discrimination −1.0. Classic signs: a reversed scale, a miskeyed checklist row, or examiners interpreting the item differently.
რა უნდა გააკეთოთ: Lower-performing candidates scored higher than top performers on this item. Possible scoring or wording problem.
Discrimination in [0, 0.20) — exactly 0.20 is not flagged. The item barely separates strong from weak candidates.
მაგალითი: Top-third and bottom-third candidates average almost the same score: discrimination 0.10.
რა უნდა გააკეთოთ: Item does not separate strong from weak candidates effectively. Consider revision.
Item-rest correlation below 0.20 — exactly 0.20 is not flagged. The item's scores barely track the rest of the station.
მაგალითი: Scores on the item are unrelated to how candidates did on everything else (r = 0.05) — it may be measuring a different construct, or examiner noise.
რა უნდა გააკეთოთ: Item correlates weakly with the rest of the station score; it may be measuring something different.
Facility ≥ 0.80 (0.80 itself is Easy).
მაგალითი: Facility 0.80 lands in Easy; 0.79 is Moderate.
რა უნდა გააკეთოთ: A few easy items are fine — they reassure candidates and catch absolute non-performance — but an easy-heavy station wastes testing time.
Facility between 0.30 and 0.80, both exclusive.
მაგალითი: Facility 0.55 is Moderate.
რა უნდა გააკეთოთ: The productive zone — moderate items carry most of the measurement information.
Facility ≤ 0.30 (0.30 itself is Hard).
მაგალითი: Facility 0.30 lands in Hard; 0.31 is Moderate.
რა უნდა გააკეთოთ: Check hard items before blaming candidates: unclear task wording and uncalibrated examiners produce the same numbers as a genuinely difficult skill.
Discrimination compares the top and bottom 33% and needs at least 3 candidates in each group: with fewer than 10 candidates, group size floor(N × 0.33) drops below 3 and the metric shows “—” instead of a misleading number.
მაგალითი: With 8 candidates, group size is floor(8 × 0.33) = 2, so discrimination is not computed.
რა უნდა გააკეთოთ: Don't read discrimination on tiny cohorts — collect more administrations before acting on it.
The item-rest correlation needs at least 3 scored candidates AND variation on both sides — if every candidate got the same item score (or the same rest score), it shows “—”.
მაგალითი: Every candidate scored 2 on the item: no variance, so no correlation exists.
რა უნდა გააკეთოთ: A dash here on an item everyone scored identically is expected, not a data problem.
Cronbach's α uses only candidates scored on every item, and needs at least 2 such candidates and 2 items — otherwise the report says “Insufficient data”.
მაგალითი: One complete-case candidate is not enough to estimate internal consistency.
რა უნდა გააკეთოთ: Blank cells (not-assessed) remove that candidate from the α calculation only; their scored items still count everywhere else.
არა. მონაცემთა წაკითხვა და ყველა სტატისტიკური გამოთვლა თქვენს ბრაუზერში სრულდება. ამ გვერდის ერთადერთი ქსელური მოთხოვნებია ანონიმური აგრეგირებული მრიცხველები (რომელი ინსტრუმენტი და რომელი მოქმედება) და, მხოლოდ თქვენი არჩევით, ექსპორტის ფორმა, რომელიც მხოლოდ თქვენს ელფოსტის მისამართს აგზავნის. ამის გადამოწმება შეგიძლიათ ბრაუზერის ქსელის (network) ჩანართში.
დიახ. გამოთვლის მოდული გადმოტანილია StudyDrome-ის OSCE-ის პუნქტების ანალიზის კალკულატორიდან და რეგრესიულად შემოწმებულია პროდუქტის საკუთარ სატესტო მონაცემებზე, დამრგვალების წესების ჩათვლით. სიმარტივე, დისკრიმინაცია, პუნქტისა და დანარჩენი ქულის კორელაცია, Cronbach-ის ალფა, გაზომვის სტანდარტული ცდომილება, ნიშნულების ზღვრები და კლასიფიკაცია „კარგი / გადასახედი / სუსტი“ სრულად ემთხვევა.
დისკრიმინაცია ადარებს კანდიდატების ზედა და ქვედა 33%-ს და თითოეულ ჯგუფში მინიმუმ 3 კანდიდატს საჭიროებს, ამიტომ დაახლოებით 10+ კანდიდატია საჭირო. ნაკლები რაოდენობის შემთხვევაში რიცხვის ჩვენება შეცდომაში შეიყვანდა მკითხველს, ამიტომ პროდუქტიც ასევე მალავს მას. პუნქტისა და დანარჩენი ქულის კორელაცია ასევე გვიჩვენებს „-“, თუ პუნქტზე 3-ზე ნაკლები კანდიდატია შეფასებული ან ქულები არ იცვლება.
მარტივი მატრიცა: პირველ სტრიქონში პუნქტების სახელები, თითო სტრიქონი თითო კანდიდატზე და თითო ქულის სვეტი საკონტროლო სიის თითო პუნქტზე. არჩევითი ელემენტები ავტომატურად ამოიცნობა: კანდიდატის ID-ის პირველი სვეტი, სათაურის ქვემოთ „Max“ სტრიქონი პუნქტების მაქსიმალური ქულებით და სადგურის ჯამური ქულის სვეტი (გამოიყენება კანდიდატების დისკრიმინაციისთვის დასალაგებლად). ჩასვით Excel-იდან/Sheets-იდან ან ატვირთეთ CSV/XLSX. ცარიელი უჯრა ნიშნავს, რომ პუნქტი არ შეფასებულა; ნულები რეალური ქულებია.
დიახ. ანალიზი უფასოა და ანგარიშის გახსნა არ სჭირდება; XLSX/PDF ექსპორტისთვის მხოლოდ ელფოსტის მისამართი მოგეთხოვებათ. ეს ინსტრუმენტი იმისთვისაა შექმნილი, რომ დაინახოთ, როგორი OSCE ანალიტიკა მზადდება StudyDrome-ში ყოველი გამოცდისთვის ავტომატურად.