Hôm nay tôi muốn thảo luận với mọi người về một vấn đề mà tất cả các trung tâm đào tạo, tổ chức giáo dục đều gặp phải: Quản lý chất lượng đào tạo.

1. Bài toán đặt ra

Làm sao để đánh giá chất lượng đào tạo của từng lớp học, thậm chí là chất lượng trên từng học viên?

Đánh giá bằng điểm là một phương pháp được dùng từ xưa đến nay. Nhưng mọi người cũng có thể thấy rõ, cứ cái gì cũng chấm điểm học viên, rồi từ con điểm đó đánh giá ngược lên giảng viên — thực sự thiếu tính khách quan. Chưa kể là nó sẽ sinh ra một loạt các hệ luỵ như chạy đua thành tích, thi hộ, làm bài hộ, chạy điểm, sửa điểm…

Nếu bạn chỉ có một vài lớp học mỗi tháng, việc quản lý chất lượng của các giảng viên/ trợ giảng sẽ chưa quá phức tạp. Nhưng nếu số lượng lớp lên đến hàng chục, hàng trăm, số học viên lên đến hàng nghìn, thì đó là vấn đề hoàn toàn khác.

Năm qua tôi và các đồng nghiệp đã thử nghiệm nhiều phương pháp để có thể đo lường hiệu quả đào tạo tại chính COLORME. Vì, như Dell đã từng nói, cái gì đo lường được thì có thể cải thiện được.

Anything that can be measured can be improved — Michael Dell

2. Những thí nghiệm thất bại

Thí nghiệm 1: Nhận diện cảm xúc học viên.

Cách đây không lâu, Minh Dương, tôi và Quân Cao có đưa ra thử một nhận định: Cảm xúc trung bình của các học viên trong lớp sẽ thể hiện được bài giảng đó có thú vị/ hay ho không, từ đó phát hiện ra xem giảng viên dạy có hay không.

Nếu như thí nghiệm và nhận định của chúng tôi là đúng. Chúng tôi có thể lấy được độ hào hứng trung bình của học viên trên mỗi buổi học.

Thậm chí, khi dữ liệu đủ nhiều và có tính lặp đi lặp lại, chúng tôi còn có thể phát hiện ra các đoạn giáo trình đang có vấn đề, những đoạn khiến cho học viên cảm thấy nhàm chán và không muốn học.

Tôi và Dương đã thử build 1 camera đơn giản (sử dụng Raspberry) và lắp vào sát máy chiếu của lớp học (từ hướng của máy chiếu có thể thấy được tất cả các gương mặt của học viên). Và nhờ Quân Cao tư vấn về các thuật toán cũng như phương thức ML có thể sử dụng.

Mọi thứ nghe có vẻ thật tuyệt, nhưng thực tế không phải như vậy. Kết quả của chúng tôi thu được hoàn toàn không khả quan tí nào. Có 3 vấn đề lớn gặp phải: Training Data, Khả năng xử lý và Dữ liệu thực tế.

Training Data: Nếu lấy dữ liệu từ các thư viện mở, bạn sẽ thất vọng khủng khiếp vì dữ liệu đó phần lớn là cảm xúc của những người “không phải châu Á”. Nên nếu áp vào để đánh giá cảm xúc của người Việt thì fail ngay. Chúng tôi đã thử tự ngồi gán nhãn và tự thu thập dữ liệu, kết quả có khả quan hơn một chút.

Khả năng xử lý: Raspberry chưa quá mạnh, nên chúng tôi cần 1 lượng thời gian để test khả năng xử lý realtime của máy, khi vừa quay, vừa xử lý ảnh. Nhưng đây vẫn chưa phải là điều bất khả thi.

Dữ liệu thực tế: Điều khiến chúng tôi từ bỏ hoàn toàn ý định này, là khi nhìn vào những dữ liệu thực tế. Chúng tôi cứ ngỡ là họ sẽ có những biểu cảm rõ ràng như vui, cười, thích thú, hào hứng, chán, ghét, buồn. Nhưng mà thực tế là phần lớn học viên không biểu hiện cảm xúc quá rõ ràng trong phần lớn thời gian học (hãy thử ngẫm lại chính bạn trong quá trình ngồi trên lớp).

Thí nghiệm đầu tiên thất bại sau 2 tuần thử nghiệm.

Thí nghiệm 2 : Số lượng học viên buổi cuối cùng sẽ nói lên chất lượng giảng viên.

Giả định tiếp theo của chúng tôi — Đối với mô hình giáo dục tự chọn như COLORME, học viên có thể nghỉ bất cứ lúc nào họ muốn mà không lo ngại gì. Vậy nên những giảng viên khiến cho học viên của mình đi học đến tận buổi cuối cùng là những giảng viên tốt.

Dữ liệu thực tế một lần nữa lại làm chúng tôi thất vọng, vì có những lớp có học viên các buổi đầu đi rất đông, nhưng đúng vào buổi cuối cùng thì nghỉ vì những lý do như: Chưa làm bài cuối kì, đi chơi theo nhóm, ngủ quên… Chúng ta không thể đổ lỗi cho giảng viên vì những trường hợp thế này.

Thí nghiệm số 3 : Cho học viên làm survey

Chúng tôi quay về phương thức truyền thống, lắng nghe học viên. Chúng tôi bắt đầu tự xây dựng hệ thống survey (Ban đầu được xây dựng bởi Quân Cao, sau này được nâng cấp bởi Hà Hiếu). Chúng tôi tạo ra các survey và cho học viên nói về giảng viên, trợ giảng, cơ sở vật chất, những thứ họ hài lòng và chưa hài lòng.

Tuy nhiên, chỉ có hơn 1/3 số lượng học viên chịu làm những survey này, vì họ không thấy lợi ích nếu ngồi trả lời những câu hỏi đó. Và chúng tôi không thể dựa vào một lượng survey như vậy để đánh giá giảng viên.

Chúng tôi còn hằng ha số những thí nghiệm và thất bại khác trong việc tìm cách đánh giá các giảng viên và học viên.

Thời gian gần đây, tôi, đội ngũ IT và ban Quản trị ngồi lại với nhau để đưa ra được những tiêu chí sau cùng mà chúng tôi có thể tạm sử dụng để đánh giá chất lượng của giảng viên, trợ giảng.

3. Các tiêu chí đánh giá

Sau khi brainstorm, dưới đây là danh sách những điều mà chúng tôi muốn sử dụng để đánh giá chất lượng đào tạo của giảng viên/ học viên:

Số lượng bài tập của học viên
Thời gian giảng viên/ trợ giảng trả lời bài tập học viên
Thời gian đến dạy/ thời gian ra về của giảng viên và trợ giảng
Số lượng học viên trung bình qua mỗi buổi
Đánh giá của học viên đối với giảng viên/ trợ giảng
Số lượng survey được thực hiện
Số lần vi phạm nội quy của công ty
Thái độ và độ hoà nhập của giảng viên/ trợ giảng
Số lượng chứng chỉ mà học viên được nhận
Số lượng học viên quay lại học tiếp môn khác
Số lớp mà giảng viên/ trợ giảng nhận mỗi tháng
Thời gian confirm các vấn đề chung của công ty.

Tuy nhiên, chúng tôi phải tìm ra các chỉ số thực sự tin tưởng được, và chỉ tập trung vào các vấn đề liên quan trực tiếp đến giảng dạy và đào tạo. Những chỉ số khác có thể đánh giá được giảng viên/ trợ giảng đó có phải là nhân viên tích cực hay không, nhưng không thể đánh giá xem họ có phải là những người có chất lượng đào tạo tốt hay không được.

Cuối cùng chúng tôi đi về 3 chỉ số mà được sự đồng thuận cao nhất của tất cả mọi người:

Thời gian đến dạy/ thời gian ra về của giảng viên và trợ giảng
Số lượng học viên trung bình qua mỗi buổi
Đánh giá của học viên đối với giảng viên/ trợ giảng

Chúng tôi bắt đầu đối mặt với bài toán tiếp theo: Làm sao để bảo đảm được việc thu thập những dữ liệu phía trên.

4. Vấn đề chấm công

Một giảng viên/ trợ giảng tốt sẽ luôn cố gắng đến lớp trước học viên để chuẩn bị bài giảng tốt nhất. Ở COLORME tôi rất gắt với các trường hợp muộn giờ, dù chỉ một phút.

Đây là vấn đề dễ nhất, ở COLORME, chúng tôi không chấm công bằng vân tay hay bằng giấy, chúng tôi suy nghĩ đơn giản hơn rất nhiều.

Từ rất sớm, Minh Dương đã xây dựng một hệ thống App cho toàn bộ nhân viên của công ty, chúng tôi sử dụng chính App này để điểm danh giảng viên và trợ giảng.

Phương thức hoạt động khá đơn giản, khi giảng viên/ trợ giảng bấm nút check in và check out, App sẽ check vị trí và địa chỉ Mac của Wifi, nếu giảng viên/ trợ giảng cách COLORME bán kính 100m (sai số của GPS) và đang vào một trong những Wifi đã được đăng kí với COLORME, họ sẽ được check in/ check out.

Và mỗi máy chỉ thuộc về một người, giảng viên và trợ giảng phải check in/ check out với máy đã được đăng kí với công ty (id máy có thể truy cập dễ dàng).

Như vậy với dữ liệu check in/ check out, chúng tôi có thể sử dụng để đánh giá mức độ đúng giờ của giảng viên/ trợ giảng.

5. Vấn đề số lượng học viên

Đồng ý là số lượng học viên buổi cuối không nói lên được chất lượng giảng viên, nhưng số học viên trung bình mỗi buổi, trên nhiều lớp, có thể nói được điều đó.

Tương tự với vấn đề này, ở COLORME, chúng tôi không điểm danh bằng việc đọc tên mà đơn giản là sử dụng quét QR Code.

App của học viên được xây dựng bởi Chí Công, Hùng Cường và Dũng — 3 cộng sự cũ của tôi. Với App này, mỗi buổi học, học viên chỉ cần bật App, App sẽ ngay lập tức phát hiện học viên có đang có buổi học nào hay không và hiện lên QR Code riêng, giảng viên và trợ giảng sẽ sử dụng App của mình (được xây bơi Minh Dương, như tôi có nói phía trên) để quét mã QR của học viên.

Phương thức này không đem lại quá nhiều lợi ích về mặt chống gian lận so với điểm danh giấy, nhưng sẽ giúp cho giảng viên/ trợ giảng có nhiều cơ hội tiếp xúc, nói chuyện với học viên mỗi buổi hơn. Và đương nhiên là vấn bảo đảm được tính đúng ở một mức cao.

Từ đó giúp chúng tôi chiết xuất được những dữ liệu cần thiết để biết giảng viên/ trợ giảng có đang làm tốt công việc của mình hay không.

6. Vấn đề về các đánh giá của học viên

Survey thì đúng là cực hình, như tôi có kể trước đó, nếu chỉ có 1/3 số lượng học viên làm survey, bạn sẽ khó có đủ cơ sở để nói lên được giảng viên/ trợ giảng ra sao.

Tôi và Hà Hiếu bắt đầu nghĩ cách để toàn bộ học viên phải đánh giá giảng viên/ trợ giảng của mình. Chúng tôi thử sai rất nhiều lần mà vẫn không có được kết quả như ý.

Cuối cùng, chúng tôi đi đến quyết định, rằng việc đánh giá giảng viên/ trợ giảng phải là bắt buộc. Ở Đại học FPT, nếu sinh viên muốn xem điểm cuối kì, sẽ phải đánh giá giảng viên và trợ giảng. Đây là một ý tưởng không tồi. Chúng tôi nghĩ xem có những trường hợp nào mà học viên thực sự rất cần hay không.

À có, đó là phần đăng bài tập. Tất cả học viên đều phải đăng bài tập mỗi buổi để được giảng viên và trợ giảng nhận xét. Vậy nên kể từ buổi giữa, tất cả các học viên đều phải làm đánh giá giảng viên trợ giảng nếu muốn nộp bài tập của mình lên hệ thống.

Để được đăng bài tập, học viên phải làm feedback và rating giảng viên/ trợ giảng

Phương thức này giúp chúng tôi thu được đến hơn 80% feedback và đánh giá của học viên lên từng giảng viên/ trợ giảng. Một con số tạm đủ để chúng tôi an tâm sử dụng vào việc đánh giá chất lượng.

Sau khi hiển thị ra, chúng tôi thực sự vui mừng vì nhận được những feedback rất tích cực từ học viên.

Ngay lập tức, chúng tôi nhận ra, với mỗi giảng viên/ trợ giảng. Họ sẽ thường được mô tả bằng những tính từ với tần suất lặp đi lặp lại khá cao, phần nào cho họ biết được họ là người như thế nào trong con bắt của học viên.

Không chần chừ, chúng tôi bổ sung thêm 1 feature nho nhỏ, thống kê cho mỗi giảng viên/ trợ giảng thấy những tính từ nói về mình và tần suất của chúng.

Chưa kể, chúng tôi còn có thể phân loại những từ khoá tích cực và tiêu cực, giúp mỗi giảng viên/ trợ giảng thấy được yếu điểm của mình trong mắt học viên.

7. Tạm kết

Hiện tại chúng tôi sẽ còn phải tối ưu việc đánh giá chất lượng giảng viên/ trợ giảng hơn nữa. Nếu có cao kiến gì, vui lòng comment bên dưới nhé.

Quản lý chất lượng trong giáo dục