多功能网路评量与试后分析系统(wata)的发展与设计(编辑修改稿)

多功能网路评量与试后分析系统(wata)的发展与设计(编辑修改稿)内容摘要：

chigan State University開發的 CAPA系統 ( Simon Fraser University開發的 VirtualU(的系統，例如： Question Mark Computing開發的 Question Mark( WBT Systems 所開發 的TopClass( (Scott and Robert et al., 2020)。 在國內，提供網路評量服務的網站很多，例如國立中山大學採用中山寰亞科技所開發之第四代網路教學系統 智慧大師 ((針對大一普通生物學教學設計的 GenBio ( 也應用了自行開發的 WATA系統 (Webbased Assessment and Test Analysis System)，用以擔任網路教學中「形成性評量」與「總結性評量」的角色，提供學習者線上考試練習與線上會考的功能。 貳、 WATA(Webbased Assessment and Test Analysis System)的開發： 一、 WATA系統開發軟體以及運作需求： (一 ) 系統軟體 WATA系統是開發在於 FreeBSD ()作業系統之 上，搭配Apache WWW Server()運作，系統核心程式是採用 PHP () 與 Perl () 撰寫而成，並且搭配 MySQL()運作以有效率管理龐大的題庫與分析資料。 (二 ) 使用者使用限制 WATA系統屬於 WBT(WebBased Test)型式，因此使用者必須經由瀏覽器與網際網路，才可以使用 WATA系統。 二、 WATA系統的 TripleA module (Assign、 Apply、 Analysis)介紹： 由文獻上得之，一個評量系統所必須具備的特 色與功能包括有：「能夠經由一般標準的瀏覽器進行網路連線、利用密碼判別使用者身分、自動評分、收集紀錄相關學生成績等四種功能的達成 (Scott and Robert et al., 2020)」、「題庫建置、形成測驗、舉行考試 (Alessi and Trollip, 1991)」、「被動收集考試評量歷程資料以及主動回饋引導學習與偵測學習迷思 (Kumar et al., 1994)」，一個完整的評量系統只要這些功能與特色就完整了嗎。 其實不然，一個完整的評量系統應該具備有TripleA module(Assign、 Apply、 Analysis)，才能夠確實的完成一個 CBT或 WBT的歷程，其中以 Analysis 最為重要。 本 WATA系統的架構就是依據 TripleA module建置而成， 除此之外， WATA系統更加入了個人化 (personalized)介面的概念，讓每一個使用 WATA系統的教師有專屬於個人的 WATA介面。 以下將介紹 WATA系統中的 TripleA module 功能群： (一 ) Assign功能群： WATA系統中 Assign的功能包括有：「題庫建置」、「試卷編撰」、「多重考試行程的建立與管理」。 A. 題庫建置： WATA系統的題庫建置採用「專家題庫」的觀念，整個 WATA題庫區一共包含兩個部分，分別為「題目回饋區」與「系統題庫」。 ◎ 題目回饋區 ：該區的功能是期待提供一個空間，存放所有使用 WATA系統的教師所回饋的題目。 ◎ 系統題庫 ：該區是存放系統正試題庫，這裡的題目都經過專家審視，並且經過正式施測，每一個題目均有其鑑別度、難度指數。 除了「專家題庫」的觀念之外，也引入「屬性編號」的概念，每一個系統題庫中的題目都有一串屬性編號用以代表這個題目的屬性，描述的屬性包括有鑑別度、難易度、布倫分類、概念編號 (九年一貫能力編號 )，這串屬性編號巨細靡遺的描述了題目的所有特性。 除了「屬性編號」的概念外，題庫中每一個題目都可以是多媒體題目，因為系統支援考題呈現圖片、影像、聲音與 Flash..任何可以在瀏覽器上呈現的多媒體效果，而且可以建立每一個題目的簡單回饋與說明，可以在學生應考完之後，立即給於即時回饋，這樣一些設計對於教師命題或是教育研究者而言將是很實用的功能。 B. 試卷編撰： WATA系統為了符合美國心理學會 (American Psychological Associate， APA) 在 1986年出版的 Guidelines for ComputerBased Tests on Performance and Interpretations 一書中的要求 「建立 CBT的評量版本的同時也必須要證實CBT與傳統的紙筆測驗有同等效力 … 電腦測驗的發展者必須證明其測驗效度，而決定效度的方法同於紙筆測驗」，期待每一個利用 WATA系統進行考試在命題之前先確定評量的效度。 在傳統的紙筆測驗上確定評量效度的方法主要就是採用專家效度，而具體做法就是在命題之前先以雙向分析表的方式決定預定命題的內涵以及題目數量，因此 WATA系統中設計了「雙向細目表命題」的功能，以 符合傳統評量理論中命題的步驟以及符合 APA對 CBT的。