Sau một thời gian khá dài không thể viết (trên spiderum) được gì. Tôi đã quay trở lại với khá nhiều ý tưởng, nhưng chưa có gì hoàn thành cả. Vì quá bí ý tưởng nên tôi quyết định sẽ chia sẻ hai bài viết (blog cá nhân) của Puyuan Peng. Tôi theo dõi anh này từ khi anh công bố bài báo tên VoiceCraft phát triển chung với team FAIR, Meta. Ngay sau đó, anh thực tập và tiếp tục làm việc ở Meta cho đến giờ, Meta Superintelligence Lab. Sẽ không có gì đặc biệt nếu anh ấy không viết hai bài cùng một lúc (Vì sao nên và không nên). Vì thế, tôi xin phép giới thiệu cho bạn đọc bài dịch của tôi hợp tác với ChatGPT làm ra (chính xác thì đoạn nào AI dịch không hay thì tôi dịch lại). Cho nên tôi xin phép credit bài dịch cho AI, và cảm ơn tác giả Puyuan Peng vì bài viết.

Bạn Đang Thúc Đẩy Ranh Giới Của Cuộc Cách Mạng Công Nghiệp Này

Khi làm nghiên cứu AI một cách nghiêm túc, bạn không chỉ mở rộng giới hạn của cuộc cách mạng công nghiệp này, mà còn là người trực tiếp quyết định hướng đi của nó. Nếu bạn có tham vọng lớn, thì không có điều gì lớn hơn thế. Đúng là bạn sẽ không thể tạo ra một mô hình ngôn ngữ lớn (LLM) với độ thông minh siêu việt đứng trong top thế giới chỉ với 2 chiếc GPUs từ trong phòng lab của trường đại học. Thế nhưng bạn có thể thiết kế một kiến trúc mới chạy nhanh hơn và tiết kiệm tài nguyên hơn; hoặc là, bạn có thể phân tích lý do tại sao những LLM “cấp tiến sĩ” đó vẫn thất bại trong các bài toán suy luận cơ bản như đếm số; hoặc thậm chí bạn có thể phát minh ra một mô hình hoàn toàn mới.
Khi Geoffrey Hinton nghiên cứu mạng nơ-ron vào thập niên 1980, hầu hết các nhà nghiên cứu AI đều tập trung vào lý luận ký hiệu (symbolic reasoning) và hệ chuyên gia (expert systems), và mạng nơ-ron khi đó bị coi là phi thực tế. Khi Yann LeCun phát triển mạng CNN vào thập niên 1990, cộng đồng lại tập trung vào máy vector hỗ trợ (SVM) và các phương pháp thống kê khác, thậm chí có người mỉa mai gọi chúng là “mạng nơ-ron rối rắm”. Đến năm 2020, khi GPT-3 ra đời, tôi từng phỏng vấn một công ty mà người phỏng vấn nói rằng OpenAI chỉ đang làm GPT để quảng bá thương hiệu, vì mọi người khác đều dùng BERT, mô hình Transformer hai chiều (bidirectional Transformer), vốn “hiệu quả hơn nhiều” so với Transformer nhân quả (causal Transformer) như GPT.
Bạn có thể không phải là tác giả của một bài báo mang tính cách mạng như GPT-3, nhưng bài báo đó trích dẫn tới 146 công trình khác. Và biết đâu bạn có thể là tác giả của một trong số 146 bài báo đó. Hoặc, mỗi công trình trong 146 bài ấy cũng trích dẫn hàng trăm bài khác, và tên bạn có thể nằm đâu đó trong chuỗi liên kết tri thức ấy. Hầu hết tiến bộ khoa học đều mang tính tích lũy: dù công trình của bạn không phải là bước ngoặt, nó có thể là viên gạch nền cho bước đột phá tiếp theo.
Ngày nay, các công ty công nghệ tung ra mô hình mới gần như mỗi tuần, khiến nhiều người ảo tưởng rằng nghiên cứu chỉ diễn ra trong công nghiệp. Nhưng điều đó hoàn toàn sai! Chúng tôi đang làm việc ở ngoài công nghiệp vẫn liên tục đọc các bài báo học thuật, và đôi khi nhận ra rằng các nhà nghiên cứu học thuật đã tìm ra cách thông minh hơn để giải quyết cùng một vấn đề. Học thuật và nghiên cứu học thuật không hề tụt lại, thực tế, rất nhiều ý tưởng hay nhất bắt nguồn từ đó, rồi mới được công nghiệp mở rộng và biến thành sản phẩm.
Chú thích người dịch: Ở đây, các nhà nghiên cứu học thuật có thể hiểu phần lớn là các nghiên cứu sinh tiến sĩ và các giáo sư ở đại học.

Trau Dồi Toàn Diện Kỹ Năng Xây Dựng Hệ Thống AI

Trong quá trình làm tiến sĩ, bạn phải hoàn thiện dự án của riêng mình từ đầu đến cuối. Điều đó nghĩa là bạn phải chạm tay vào gần như mọi phần của một hệ thống AI: dữ liệu, hạ tầng, mô hình, đánh giá, và thậm chí là xây demo, quảng bá công trình. Bạn sẽ hiểu sâu sắc cách mọi thành phần phối hợp để AI vận hành.
Sở hữu một dự án trọn vẹn nghe có vẻ bình thường, nhưng trong doanh nghiệp điều này lại rất hiếm. Ở hầu hết các công ty, bạn chỉ phụ trách một mảnh nhỏ trong hệ thống. Vì thế, người có kinh nghiệm thực tế với toàn bộ pipeline trở nên cực kỳ giá trị, hơn hẳn người chỉ chuyên sâu một mảng.
Khi tôi bắt đầu tìm việc, tôi xem các video hướng dẫn “Cách vào Big Tech sau khi tốt nghiệp” và thấy nản vì dường như điều quan trọng nhất là giải LeetCode. Người hướng dẫn tôi nói rằng việc xin việc giữa sinh viên cử nhân và tiến sĩ AI hoàn toàn khác nhau. Làm tiến sĩ, bạn đã có hồ sơ nhiều năm nghiên cứu và đóng góp mã nguồn mở. Nếu hồ sơ của bạn cho thấy kỹ năng phù hợp với nhu cầu của đội tuyển dụng, thì LeetCode không còn quá quan trọng. Bản thân tôi đã trượt nhiều vòng phỏng vấn lập trình vì không luyện LeetCode, nhưng một nửa số công ty vẫn mời làm việc, vì họ ấn tượng với nghiên cứu của tôi.
Chú thích người dịch: bộ kĩ năng của một người làm nghiên cứu sinh tiến sĩ ngành AI khá xa rời với việc giải các bài toán trên LeetCode. Song, rất nhiều công ty đặc biệt là Meta luôn có coding interview. Có thể vì thế mà tác giả dành hẳn một đoạn lớn để "vỗ về" những người trượt phỏng vấn chỉ vì không luyện LeetCode.

Nỗi Khổ Làm Nên Sức Mạnh Tinh Thần

Ngay lúc này, nhìn từ bên ngoài, AI có vẻ là một lĩnh vực hào nhoáng, mỗi ngày đều có mô hình mới, sản phẩm mới, vòng gọi vốn mới. Nhưng để có được học vị tiến sĩ trong ngành AI thì một người phải trải qua rất nhiều thăng trầm. Những tháng ngày dài lặng lẽ, làm việc một mình, và vật lộn với các vấn đề mãi không tiến triển.
Bản chất của nghiên cứu khoa học là: 80% ý tưởng sẽ thất bại. Trong 20% còn lại, một nửa thất bại vì lỗi triển khai(*1). Khi mọi thứ không hoạt động, thường chỉ có bạn mới có thể sửa được, vì bạn là người duy nhất hiểu rõ từng chi tiết trong dự án. Bạn có thể ỷ lại rằng người khác cũng đang chật vật như bạn. Nhưng trong một lĩnh vực thay đổi nhanh như AI lúc này, bạn sẽ luôn thấy người khác đăng kết quả sáng chói trên mạng xã hội, điều đó càng khiến bạn dễ nản lòng hơn.
Cuộc sống của một nghiên cứu sinh AI thường như thế này: thức dậy, tìm lý do vì sao ý tưởng hôm qua không hoạt động, chỉnh lại, viết code, debug, và suy nghĩ. Và tất cả diễn ra một mình. Điều gì giữ bạn tiếp tục? Bạn phải thực sự yêu dự án của mình, thích lập trình, và nghiện giải quyết vấn đề.
Khi bạn bước vào hành trình mà biết trước 9 trong 10 lần sẽ thất bại, nhưng vẫn kiên trì bước tiếp, thì bạn chính là một mạo hiểm giả thực thụ, người trân trọng quá trình hơn kết quả. Và nếu bạn có thể kiên trì như vậy suốt 5 năm(*2) và thành công, thì phần còn lại của sự nghiệp sẽ chỉ thấy dễ dàng hơn.
Chú thích người dịch: *1. Có vẻ tác giả khá thích quy luật 80/20. Tuy nhiên, câu này tính rõ ràng ra thì tỉ lệ thất bại là trên 90%. Mong bạn đọc không bị peer-pressure. *2. Ph.D ở Mỹ yêu cầu ít nhất là 5 năm học nhưng các nước khác có thể chỉ cần 4 năm. Tuy nhiên, Mỹ không yêu cầu Master Degree để học Ph.D, còn các nước khác có thể yêu cầu học Master trước mới được học Ph.D. Hoặc một số nước cho phép học một lúc 2 bằng và cũng chỉ tốn 5 năm. Vì thế, khi ai đó nói được học thẳng lên tiến sĩ thì không cần quá peer-pressure vì khả năng cao đấy là policy bình thường chứ không phải talent. Tuy nhiên, dù 4 hay 5 thậm chí 7 năm đều là những quãng thời gian rất dài. Và nó diễn ra trong khoảng thời gian 25-35 tuổi, đây là khoảng thời gian định hình rất lớn tương lai của một người. Chịu đựng và phát triển được trong thời gian này sẽ đem lại trái ngọt.

Kết Luận

Bạn không chỉ đang xây dựng mô hình, bạn đang xây dựng hiểu biết.
Một bằng tiến sĩ có thể biến bạn thành nhà nghiên cứu nổi tiếng với mỗi bài báo đều làm rung chuyển cả giới AI, nhưng thường hơn, nó biến bạn thành người suy tư lặng lẽ, người làm việc trong im lặng, tin rằng những gì mình làm có ý nghĩa, và kiên nhẫn thử mọi ý tưởng có thể khiến nó sống dậy.
Dù có ai chú ý hay không, thế giới vẫn tiến lên một chút nhờ nỗ lực của bạn.
Lời bình người dịch: Khá ít người biết đến Geoffrey Hinton trước khi ông được nhận giải Nobel năm ngoái (thậm chí là Nobel vật lý), và càng ít người biết đến Alan Turing hơn nếu không có bộ phim "The Imitation Game". Nếu bạn thực sự yêu nghề nghiên cứu, thầm lặng đóng góp cho sự phát triển chung cũng là đủ.