Sau một thời gian khá dài không thể viết (trên spiderum) được gì. Tôi đã quay trở lại với khá nhiều ý tưởng, nhưng chưa có gì hoàn thành cả. Vì quá bí ý tưởng nên tôi quyết định sẽ chia sẻ hai bài viết (blog cá nhân) của Puyuan Peng. Tôi theo dõi anh này từ khi anh công bố bài báo tên VoiceCraft phát triển chung với team FAIR, Meta. Ngay sau đó, anh thực tập và tiếp tục làm việc ở Meta cho đến giờ, Meta Superintelligence Lab. Sẽ không có gì đặc biệt nếu anh ấy không viết hai bài cùng một lúc (Vì sao nên và không nên). Vì thế, tôi xin phép giới thiệu cho bạn đọc bài dịch của tôi hợp tác với ChatGPT làm ra (chính xác thì đoạn nào AI dịch không hay thì tôi dịch lại). Cho nên tôi xin phép credit bài dịch cho AI, và cảm ơn tác giả Puyuan Peng vì bài viết.

Hướng Nghiên Cứu Giờ Đây Chủ Yếu Do Doanh Nghiệp Quyết Định

Trong thời gian làm tiến sĩ, tôi đã theo đuổi ba hướng nghiên cứu khác nhau và hai trong số đó chịu ảnh hưởng nặng nề từ các công trình của ngành công nghiệp. Ví dụ, nghiên cứu Prompting Whisper của tôi là bước tiếp theo sau Whisper của OpenAI, và mô hình VoiceCraft được lấy cảm hứng từ VALL-E của Microsoft.
Thực tế là, các ông lớn ở ngoài công nghiệp mới là bên định hình cuộc chơi, vì họ có trong tay lượng tài nguyên tính toán và dữ liệu khổng lồ. Tôi đã nghe câu chuyện này nhiều lần: Một nghiên cứu sinh đại học miệt mài làm một đề tài trong suốt ba tháng, cuối cùng cũng đạt được chút kết quả, rồi đột nhiên một công ty công nghệ lớn công bố một mô hình lớn hơn, được huấn luyện với dữ liệu khổng lồ hơn, và đạt kỷ lục SOTA (state-of-the-art) trên hàng chục tác vụ, bao gồm cả đề tài mà nghiên cứu sinh ấy đang làm. Thật khó chấp nhận khi công sức bạn dành hàng tháng để cải thiện 5% hiệu năng bỗng bị “nuốt chửng” bởi một mô hình công nghiệp có thể tăng 30% chỉ sau một đêm.
Giới học thuật gần như không có cửa cạnh tranh với doanh nghiệp trong việc xây dựng các mô hình AI hàng đầu. Nếu mục tiêu của bạn là leo bảng xếp hạng, thì rất ít phòng lab đại học có đủ tài nguyên để hỗ trợ bạn.
Điều khiến người ta chán nản hơn là nhiều công trình AI có ảnh hưởng lớn nhất hiện nay lại không đến từ người có bằng tiến sĩ. Ví dụ, Alec Radford, cha đẻ của GPT, CLIP và Whisper, không có bằng PhD.
Chú thích của người dịch: Thực sự thì câu chuyện thiếu tài nguyên và dữ liệu để làm nghiên cứu trong môi trường học thuật khá phổ biến đơn giản vì thiếu tiền. Chính vì thế leo cao trên bảng xếp hạng thường khá khó. Tuy nhiên, cũng như đã đề cập ở bài trước. Theo đuổi các ý tưởng mới, khác biệt sẽ khả thi hơn rất nhiều. Think different. Industry already thinks big!

Nghèo Khổ

Làm tiến sĩ không bao giờ là một quyết định khôn ngoan về tài chính, ngay cả trong lĩnh vực “nóng” nhất hiện nay là AI.
Hiện nay, các nhà nghiên cứu AI mới vào nghề tại các tập đoàn công nghệ lớn thường có mức lương từ 300.000 đến 700.000 USD/năm. Lấy trung bình là 500.000 USD/năm, nghe có vẻ “khủng” với sinh viên mới tốt nghiệp, nhưng bạn phải mất ít nhất 5 năm để hoàn thành tiến sĩ trước khi đủ điều kiện ứng tuyển vị trí đó. Trong 5 năm đó, bạn chỉ kiếm được 20.000–40.000 USD/năm, vừa đủ sống cầm chừng.
Nếu ở một “vũ trụ song song”, bạn không học PhD mà đi làm kỹ sư phần mềm từ 5 năm trước, chăm chỉ làm việc với cường độ tương tự, thì đến nay bạn đã là senior hoặc staff engineer ở Big Tech, với mức lương trung bình 500.000 đến 770.000 USD/năm. Chưa kể trong suốt 5 năm ấy, tổng số tiền bạn kiếm được ở vai trò kỹ sư cấp thấp đã cao hơn nhiều so với toàn bộ thu nhập khi làm nghiên cứu sinh.
Tôi vẫn nhớ rõ cảm giác khi chỉ còn 2.000 USD trong tài khoản ngân hàng lúc đến UT Austin vào tháng 9/2021 để bắt đầu chương trình PhD. Tiền thuê nhà là 1.100 USD/tháng, trong khi stipend sau thuế của tôi chỉ 2.000 USD. Thật chẳng vui vẻ gì khi biết rằng mỗi lần tiền về tài khoản, hơn một nửa lập tức bay đi trả tiền nhà.
Chú thích người dịch: Là một người trực tiếp trải nghiệm, tôi khá đồng cảm và khuyên các bạn có ý định học Ph.D để có thêm tiền lương nên cân nhắc thật kĩ. Với trình độ kĩ sư (tốt nghiệp đại học), việc các bạn làm và luỹ tiến tiền lương trong 5 năm so với chúng tôi học Ph.D sẽ là hơn rất nhiều. Vì thế, nó là một quyết định không khôn ngoan về mặt tài chính nếu bạn định học Ph.D để có thể làm giàu ngay lập tức. Ph.D candidates are underpaid! We always say that.

Vật Lộn

Gần như mọi nghiên cứu sinh tiến sĩ đều trải qua giai đoạn trầm cảm hoặc kiệt sức. Tình hình còn tệ hơn đối với người làm AI PhD ngày nay, vì lĩnh vực này quá đông đúc, gần như bất kỳ ý tưởng nào bạn nghĩ ra, hoặc đã có người công bố, hoặc sẽ có người công bố tháng sau.
Để làm nghiên cứu có tác động thật sự, bạn cần tư duy ngược hoàn toàn với nhịp phát triển chóng mặt của AI hiện nay. Bạn phải dành hàng giờ đọc hàng trăm bài báo, tìm ra một góc tiếp cận khác biệt, chỉnh sửa mã nguồn, chạy thí nghiệm, và phân tích lý do vì sao mọi thứ không hoạt động. Trong khoảng thời gian này (thường kéo dài 3–8 tháng), sẽ có những tuần hoặc tháng bạn cảm thấy mình không tiến lên được chút nào, và trong khi đó, ngoài kia mỗi ngày lại có một mô hình mới ra đời, khiến bạn càng cảm thấy tụt hậu.
Khác với môi trường công nghiệp, nơi bạn làm việc theo nhóm, phần lớn các dự án tiến sĩ được thực hiện một mình. Đúng là bạn có cộng sự góp ý trong các buổi họp, nhưng chính bạn là người viết code, chạy thử nghiệm, và sửa lỗi. Và thường thì vấn đề không phải do ý tưởng sai, mà chỉ là cách triển khai chưa đúng, và trong trường hợp đó, chỉ có bạn mới sửa được.
Lời bình người dịch: Có một cảnh báo rất lớn mà tác giả nhắc đến nhiều đó là sự "cô đơn" trong quá trình làm Ph.D. Về mặt cộng sự, rất khó và hiếm có người có thể chia sẻ 50/50 công việc của bạn, vì thế, chấp nhận xử lý mọi việc một mình là điều không thể tránh khỏi. Và vì quá trình "cô đơn" đó sẽ kéo dài ít nhất là 5 năm, rất nhiều điều tồi tệ có thể xảy ra. Và bạn sẽ phải thực sự vật lộn.