შინაარსზე გადასვლა

წერითი გამოცდები StudyDrome-ში

MCQ და შერეული ფორმატის გამოცდები ერთი ბანკიდან

StudyDrome Exam Manager MCQ და შერეული ფორმატის წერით გამოცდებს ატარებს საერთო კითხვების ბანკიდან. სისტემა მხარს უჭერს თერთმეტი ტიპის კითხვას, რომელთაგან ექვსი თავად ფასდება. გამოქვეყნებისას ნაშრომი ჩაიყინება უცვლელ ასლად (immutable snapshot), რომელიც 40 ტიპის ჩანაწერს მოიცავს. შემდეგ ავტომატურად გამოითვლება KR-20 ან Cronbach-ის ალფა, გაზომვის სტანდარტულ ცდომილებასთან (standard error of measurement) ერთად.

დაჯავშნეთ პილოტი

როგორ ადგენთ წერით გამოცდას?

შექმნის პროცესი რვა დასახელებულ ნაბიჯს მოიცავს: ტესტის ინფორმაცია, კითხვები, სტუდენტები ან კურსის ჯგუფები, თაღლითობის პრევენცია, წვდომის კონტროლი, ტესტის პარამეტრები, შეფასების პოლიტიკა, ტესტის ხელმისაწვდომობა. ნაშრომი შეიძლება შედგეს კონკრეტული კითხვებისგან, ბანკებისგან ან ორივესგან მონაცვლეობით. როცა კითხვებს ბანკებიდან ირჩევთ, შერჩევას სამი რეჟიმი განსაზღვრავს:

  • სრულად შემთხვევითი:კითხვები შეირჩევა ყველა არჩეული ბანკიდან, თითოეული ბანკისთვის კვოტის დაწესების გარეშე.

  • პროცენტული:თითოეულ ბანკს წილი ენიჭება. თუ წილების ჯამი 100% არ არის, გამოქვეყნება დაბლოკილია.

  • ზუსტი რაოდენობა:თითოეულ ბანკს კონკრეტული რაოდენობა ენიჭება.

  • რანდომიზაცია:კითხვების თანმიმდევრობა შეიძლება უცვლელი დარჩეს, არეულ იქნეს მთელ ნაშრომში ან არეულ იქნეს თითოეული ბანკის ფარგლებში. პასუხის ვარიანტები დამოუკიდებლად ირევა.

ტესტის შექმნის ოსტატის „კითხვების“ ნაბიჯი: კითხვები აღებულია ორი კითხვების ბანკიდან, კითხვებისა და პასუხების რანდომიზაციით

კითხვის რომელი ტიპები შეიძლება გამოიყენოს წერითმა გამოცდამ?

თერთმეტი ტიპი, რომლებიც API-სა და აპლიკაციაში ერთმანეთს მნიშვნელობა-მნიშვნელობაში ემთხვევა.

ტიპი

შეფასება

მრავალვარიანტიანი არჩევანი

ავტომატური, „ყველაფერი ან არაფერი“

სწორია/მცდარია

ავტომატური, „ყველაფერი ან არაფერი“

მონიშვნის უჯრები

ავტომატური, ნაწილობრივი ქულა სურვილისამებრ

თანმიმდევრობა

ავტომატური, ნაწილობრივი ქულა სურვილისამებრ

შესაბამისობა

ავტომატური, ნაწილობრივი ქულა სურვილისამებრ

გამოტოვებულის შევსება

ავტომატური, ნაწილობრივი ქულა სურვილისამებრ

ესე

შეფასების რიგი

მოკლე პასუხი

შეფასების რიგი

ფაილის ატვირთვა

შეფასების რიგი

OSCE სადგური

გამომცდელის აპლიკაცია

ლიკერტის სკალა (Likert scale)

შეგნებულად გამორიცხულია ქულების დათვლიდან

ნაწილობრივი ქულის ფორმულები კოდშია ფიქსირებული. „მონიშვნის უჯრებში“ გაყოფამდე გამოაკლდება არასწორი არჩევანი, შემდეგ შედეგი ნულით შემოიფარგლება. „თანმიმდევრობა“ ფასდება სწორი პოზიციით, „შესაბამისობა“ სწორი წყვილით.

თითოეულ კითხვას აქვს ათწილადი ქულა. ანგარიშს შეუძლია დააწესოს მთელ ანგარიშზე მოქმედი მინიმუმი, 0-დან 1000-მდე. 0 ნიშნავს, რომ მინიმუმი არ მოქმედებს.

რა ხდება წერითი გამოცდის გამოქვეყნებისას?

  1. 1

    გამოქვეყნება რამდენიმე ნაბიჯს ერთ ტრანზაქციაში ასრულებს, რათა ტესტი სტუდენტისთვის ხელმისაწვდომი გახდეს. პირველ რიგში ის ანაცვლებს ნებისმიერ აქტიურ გამოქვეყნებას.

  2. 2

    შემდეგ მთელ სატესტო გრაფს აკოპირებს 40 ტიპის გამოქვეყნებულ ჩანაწერში: პუნქტები, ბანკები, კითხვები, პასუხები, კლინიკური ქეისების აღწერები, დადგენილი სია, შეფასების სკალები, სურათები და წვდომის კოდები.

  3. 3

    აქტიურია მხოლოდ ერთი გამოქვეყნება. კანდიდატები, რომლებიც ჩანაცვლებულ ვერსიაზე მცდელობის შუაში არიან, მასზევე აგრძელებენ მუშაობას. ახალი მცდელობები აქტიურ ვერსიას უკავშირდება.

  4. 4

    მცდელობების ლიმიტი მოქმედებს ორიგინალი ტესტის ყველა გამოქვეყნებაზე. ხელახალი გამოქვეყნება კანდიდატს ახალ ლიმიტს არ აძლევს.

  5. 5

    ექვსი პარამეტრის რედაქტირება ხელახალი გამოქვეყნების გარეშეც შეიძლება: შემფასებლის ანონიმურობა, შედეგების დეტალურობა, მასწავლებლისთვის მცდელობების ხილვადობა, მასწავლებლის უფლება შეაფასოს, შეფასების ვადის ტიპი და შეფასების დღეების ლიმიტი.

როგორ აკონტროლებთ, ვინ ჩააბარებს გამოცდას?

სამი დამოუკიდებელი ფენა, რომლებიც ორ ნაბიჯში კონფიგურირდება.

  • წვდომის კოდები:უნიკალური თითოეული კანდიდატისთვის ან საერთო მთელი კოჰორტისთვის. სისტემა კოდების მოძველებას აკონტროლებს.

  • მისამართის წესები:მოწმდება, როცა კანდიდატი ემზადება, იწყებს და განაახლებს გამოცდას, არა მხოლოდ პირველი შემოწმებისას.

  • მოწყობილობაზე მიბმა (device binding):მცდელობას აკავშირებს იმ მოწყობილობასთან, რომელზეც ის დაიწყო. თუ მოწყობილობა რეალურად გაუმართავია, ზედამხედველი დაფიდან განულებს მოწყობილობის ანაბეჭდს.

  • ხელმისაწვდომობა:ან მუდმივად ჩართულია გამოქვეყნებიდან, ან მთლიანად საკალენდარო მოვლენებით განისაზღვრება. კალენდარულ რეჟიმში გამოცდა მიუწვდომელია ყველა გამოვლინების გარეთ.

  • თაღლითობის პრევენცია:რვა კონტროლი. კოპირების დაბლოკვა, ჩასმის დაბლოკვა, სრულეკრანიანი რეჟიმის იძულება და ფანჯრიდან გასვლის აღმოჩენა, ასევე გაფრთხილებისა და დასრულების ზღვრები, რომლებსაც თითოეული გამოცდისთვის თავად ადგენთ. კანდიდატს ჯერ ეძლევა გაფრთხილება, ხოლო მცდელობა მთავრდება მხოლოდ თქვენ მიერ დადგენილი ზღვრის გადაჭარბების შემდეგ.

წვდომის კონტროლის ნაბიჯი: თითოეული სტუდენტისთვის უნიკალური წვდომის კოდი, ლოკაციისა და IP მისამართის შეზღუდვები

რას ხედავენ ზედამხედველები გამოცდის დროს?

მონიტორინგის დაფაზე ჩანს რეალურ დროში მიმდინარეობა, დარჩენილი დრო, დარღვევების რაოდენობა, IP მისამართები და სესიების რაოდენობა. შეგიძლიათ გაფილტროთ მხოლოდ ის კანდიდატები, რომლებსაც დარღვევები აქვთ.

  • დაფა ახლდება ყოველ 30 წამში, 1 წუთში, 5 წუთში ან მოთხოვნისას. ეს პერიოდული გამოკითხვაა (polling) და არა გაგზავნა (push), და ამას პირდაპირ ვამბობთ.

  • გაგზავნა საპირისპირო მიმართულებით მუშაობს. გაფრთხილებები, ზედამხედველის შეტყობინებები, მიცემული დრო და იძულებითი დასრულება კანდიდატამდე რეალურ დროში აღწევს.

  • ზედამხედველს შეუძლია დროის შეცვლა ორივე მიმართულებით 120 წუთამდე. ეს მუშაობს როგორც ცალკეული კანდიდატისთვის, ისე მთელი გამოცდისთვის.

  • საათს სერვერი მართავს. ის მცდელობის საკუთარი ლიმიტის მიხედვით მუშაობს, ამიტომ გახანგრძლივება დაუყოვნებლივ ძალაში შედის.

  • თუ კანდიდატს კავშირი გაუწყდება, პასუხები ლოკალურად ინახება და კავშირის აღდგენისას სინქრონიზდება.

მონიტორინგის სამუშაო გარემო ჩანართზე „ყველა სტუდენტი“: თითოეული კანდიდატის პროგრესი და დარჩენილი დრო

როგორ ფასდება წერითი ნამუშევრები?

ესეები, მოკლე პასუხები და ატვირთული ფაილები შესაფასებლად Kanban დაფის ხედში დგება რიგში. შემფასებელს შეგიძლიათ მიანიშნოთ კონკრეტული ნამუშევარი ან მისცეთ ყველაფრის შეფასების უფლება.

ბრმა შეფასება (blind marking) სერვერის დონეზე მოქმედებს და არა მხოლოდ ინტერფეისში იმალება. ხელახალი შეფასება უსაფრთხოა: პასუხის შეფასების გაუქმებისას ჯამები თავიდან გამოითვლება. თანმიმდევრული შეფასების ისტორია ყველა ნაბიჯს ინახავს.

გამოცდის დღის ყველაზე გავრცელებული მხარდაჭერის მოთხოვნა დავწერეთ სტატიაში რა ხდება, როცა კანდიდატს გამოცდის შუაში ინტერნეტი ეკარგება. გადაწყვეტილებები, რომლებიც კანდიდატის სამუშაო ეკრანს უდევს საფუძვლად, აღწერილია სტატიაში რა სჭირდება კანდიდატს გამოცდის ინტერფეისისგან.

რა სტატისტიკას გვაძლევს წერითი გამოცდა?

სანდოობის (reliability) მაჩვენებელს სისტემა თავად ირჩევს. KR-20 გამოითვლება, როცა ყველა შესაფასებელი პუნქტი მრავალვარიანტიანი არჩევანი ან სწორია/მცდარია და არც ერთი ტიპი ნაწილობრივ ქულას არ ითვალისწინებს. სხვა შემთხვევაში გამოითვლება Cronbach-ის ალფა. ანგარიშში მეთოდის სახელი მითითებულია.

კოეფიციენტი ხუთდონიან შეფასებად გარდაიქმნება, API-ს ფორმულირებით სიტყვასიტყვით:

კოეფიციენტი

შეფასება

0.90 და მეტი

შესანიშნავი: შესაფერისია მაღალი მნიშვნელობის მქონე გადაწყვეტილებებისთვის

0.80-დან 0.89-მდე

კარგი: შესაფერისია შეფასების უმეტესი მიზნისთვის

0.70-დან 0.79-მდე

მისაღები: საკმარისია სასწავლო ჯგუფში ტესტირებისთვის

0.60-დან 0.69-მდე

საეჭვო: განიხილეთ გადახედვა

0.60-ზე ნაკლები

სუსტი: გაზომვის მნიშვნელოვანი ცდომილება

თითოეული პუნქტისთვის მიიღებთ სირთულის ინდექსს (difficulty index), ზედა და ქვედა 27%-ის დისკრიმინაციის ინდექსს (discrimination index), დისტრაქტორების ანალიზს (distractor analysis) და ავტომატურ ნიშნულებს: კარგი, გადასახედი ან სუსტი. პუნქტს თავისთავად „სუსტად“ მხოლოდ უარყოფითი დისკრიმინაცია ნიშნავს.

ის პუნქტები, რომლებზეც 10-ზე ნაკლები პასუხია, მოინიშნება როგორც „არასაკმარისი მონაცემები“ (Insufficient Data). მათი ნიშნულები არ ნაჩვენება და უგულებელყოფილია. სანდოობის გამოთვლისას გამოიყენება მხოლოდ თითოეული კანდიდატის ბოლო მცდელობა, ამიტომ განმეორებითი მცდელობები მას ვერ გაზრდის.

გამოყენებული მეთოდის შესახებ იხილეთ პუნქტების ანალიზის სრული სახელმძღვანელო.

როგორ მუშაობს ქულების დათვლის მოდელი?

  • თითოეულ კითხვას აქვს ათწილადით გამოხატული ქულა, ხოლო ანგარიშის დონეზე შესაძლებელია მინიმუმის დაწესება 0-დან 1000-მდე.

  • ნაწილობრივი ქულა (partial credit) გამოიყენება მრავალპასუხიან არჩევანზე (checkboxes), თანმიმდევრობაზე, შეჯერებასა და გამოტოვებულის შევსებაზე. ფორმულები კოდშია ფიქსირებული.

  • მრავალპასუხიანი არჩევანის (checkboxes) დროს გაყოფამდე გამოიქვითება არასწორი არჩევანი, ხოლო შედეგი ნულზე შეიზღუდება, ამიტომ ქულა ნულს ქვემოთ არასოდეს ეცემა.

  • მრავალვარიანტიანი არჩევანი და ჭეშმარიტია/მცდარია მუშაობს „ყველაფერი ან არაფერი“ პრინციპით: ერთი არჩევანი, ერთი სწორი პასუხი.

  • სირთულეს ავტორი ანიჭებს 0-10 სკალაზე, ოთხ დასახელებულ დიაპაზონში, და ის გამოიყენება სირთულით შეწონილი შეფასებისას.

  • ემპირიული p-მნიშვნელობა (p-value) ცალკე იზომება კანდიდატების პასუხების მიხედვით, პუნქტების ანალიზში.

წერითი გამოცდის სპეციფიკაცია

სფერო

დეტალები

კომპლექტება

ფიქსირებული კითხვები, ბანკიდან შერჩევა ან ორივე ერთად, მონაცვლეობით. ბანკის სამი რეჟიმი.

რანდომიზაცია

კითხვების რიგი: უცვლელი, სრულად შერეული ან ბანკების მიხედვით. პასუხების რიგი: უცვლელი ან შერეული.

დროის განაწილება

ლიმიტის გარეშე ან მთელ წუთებში გამოხატული ლიმიტით. დროს სერვერი აკონტროლებს.

მცდელობები

შეზღუდულია და ითვლება ტესტის ყველა გამოქვეყნების ჯამში.

ხელმისაწვდომობა

გამოქვეყნებისთანავე ყოველთვის ხელმისაწვდომი ან კალენდრით განსაზღვრული ფანჯრები.

სირთულე

ავტორის მიერ მინიჭებული 0-10, ოთხ დასახელებულ დიაპაზონში. ემპირიული p-მნიშვნელობა (p-value) ცალკე იზომება პუნქტების ანალიზში.

მთლიანობა

რვა კონტროლი, აღმოჩენადი დარღვევის ოთხი ტიპი, წვდომის კოდები, მისამართის წესები, მოწყობილობაზე მიბმა.

მონიტორინგი

განახლება ყოველ 30 წმ / 1 წთ / 5 წთ-ში. კანდიდატთან რეალურ დროში გაგზავნა (push).

შეფასება

ავტომატური შეფასება, შეფასების რიგი, ბრმა შეფასება, შეფასების ისტორია, ყველას შეფასების დონე.

სტატისტიკა

KR-20 ან ალფა, გაზომვის სტანდარტული ცდომილება (SEM), p-მნიშვნელობა, 27%-იანი დისკრიმინაცია, დისტრაქტორების ანალიზი, წერტილოვან-ბისერიული კორელაცია (point-biserial) API-ით.

იმპორტი

Excel და Word სურათების ამოღებით. ანალიზი, წინასწარი ნახვა, შემდეგ დადასტურება.

ქულების დათვლის პოლიტიკა

სურვილისამებრ სირთულით შეწონვა, ნომინალური და შეწონილი ჩაბარების ზღვარი და თითოეული ტეგის დომენის მინიმუმები.

ქულების დათვლის პოლიტიკის სტრიქონი ის ადგილია, რომელიც დაყენებამდე სრულად უნდა წაიკითხოთ. სირთულით შეწონილი შეფასება მოიცავს ფორმულას, ორივე ზღვარს და ყველა ნაგულისხმევ მნიშვნელობას.

ხშირად დასმული კითხვები

რამდენ ტიპის კითხვას უჭერს მხარს StudyDrome წერითი გამოცდებისთვის?

თერთმეტს, რომლებიც API-სა და აპლიკაციაში მნიშვნელობა-მნიშვნელობით ემთხვევა ერთმანეთს. ექვსი ტიპი ავტომატურად ფასდება: მრავალვარიანტიანი არჩევანი, ჭეშმარიტია/მცდარია, მრავალპასუხიანი არჩევანი (checkboxes), თანმიმდევრობა, შეჯერება და გამოტოვებულის შევსება. ესე, მოკლე პასუხი და ფაილის ატვირთვა შეფასების რიგში ხვდება. OSCE სადგური გამომცდელის აპლიკაციაში გადადის. ლიკერტის სკალა შეფასების ყველა გამოთვლიდან შეგნებულად გამორიცხულია.

შეიძლება თუ არა კანდიდატს წერითი გამოცდისას დამატებითი დრო მიეცეს?

დიახ. ზედამხედველს შეუძლია დრო ორივე მიმართულებით 120 წუთამდე შეცვალოს, როგორც ერთი კანდიდატისთვის, ისე მთელი გამოცდისთვის. ცვლილება კანდიდატამდე რეალურ დროში მიდის (push). დროს სერვერი აკონტროლებს და ითვლის მცდელობის საკუთარი, შეცვლილი ლიმიტით და არა გამოქვეყნებულით.

როგორ მუშაობს ნაწილობრივი ქულა?

ნაწილობრივი ქულა ხელმისაწვდომია მრავალპასუხიან არჩევანზე (checkboxes), თანმიმდევრობაზე, შეჯერებასა და გამოტოვებულის შევსებაზე. ფორმულები კოდშია ფიქსირებული. მრავალპასუხიანი არჩევანის დროს გაყოფამდე გამოიქვითება არასწორი არჩევანი და შედეგი ნულზე შეიზღუდება, ამიტომ ქულა ნულს ქვემოთ არასოდეს ეცემა. თანმიმდევრობა ფასდება სწორი პოზიციების მიხედვით, შეჯერება კი სწორი წყვილების მიხედვით. მრავალვარიანტიანი არჩევანი და ჭეშმარიტია/მცდარია რჩება „ყველაფერი ან არაფერი“ პრინციპზე.

როგორ მუშაობს ბრმა შეფასება?

ბრმა შეფასება სერვერზე სრულდება და არა მხოლოდ ინტერფეისში იმალება. გამოცდის პარამეტრი განსაზღვრავს, ხედავენ თუ არა შემფასებლები კანდიდატების სახელებს. ის ექვსი პარამეტრიდან ერთ-ერთია, რომლის შეცვლაც ხელახალი გამოქვეყნების გარეშე შეიძლება მიმდინარე გამოცდაზე. შეფასების ყოველი მოქმედება თანმიმდევრულ ისტორიაში აისახება. სწორედ ამ ისტორიას ითხოვს აპელაციების კომისია.

რა ხდება, თუ კანდიდატს გამოცდის დროს კავშირი გაუწყდა?

პასუხები ლოკალურ მეხსიერებაში ინახება და კავშირის აღდგენისას ავტომატურად სინქრონდება. წარუმატებელი გაგზავნა რიგში ჩადგება და განმეორდება. დროს სერვერი აკონტროლებს, ამიტომ კავშირის გაწყვეტა მცდელობას შეუმჩნევლად ვერ გააგრძელებს და ვერ შეამცირებს. ზედამხედველს ასევე შეუძლია დამატებითი დრო მონიტორინგის დაფიდან მიანიჭოს.

შეგვიძლია თუ არა წერითი გამოცდა და OSCE ერთი და იმავე კითხვების ბანკიდან ჩავატაროთ?

დიახ. OSCE სადგური კითხვის ერთ-ერთი ტიპია. სადგურები და MCQ-ები ერთსა და იმავე ბანკში ინახება, ერთი და იგივე ტეგებითა და კლინიკური უნარებით. ორივეს ერთი ანალიტიკური სისტემა ემსახურება. Exam Manager-ის მთავარ გვერდზე აღწერილია, როგორ იზიარებს გამოცდის ორი ტიპი ბანკს, ხოლო OSCE-ის გვერდზე სადგურებზე დაფუძნებული ჩატარებაა განხილული.

დაჯავშნეთ პილოტი

მოიტანეთ ერთი წინა წლის გამოცდის ტესტი. ჩვენ მას იმპორტით შემოვიტანთ, გამოვაქვეყნებთ და გაჩვენებთ, რა პუნქტების ანალიზს გვაძლევს.

დაჯავშნეთ პილოტი

დაკავშირებული