👥Đội hình cần có để làm sản phẩm ứng dụng BigData

Hôm nay mình muốn chia sẻ cùng các bạn một đội hình cần có những cầu thủ nào để có thể làm ra sản phẩm ứng dụng Bigdata. Đây cũng chính là đội hình mà mình từng quản lý, và bài toán đội mình phải xử lý đó bài toán về AI gợi ý sản phẩm dựa trên hành vi người dùng.

Ok, Chúng ta cùng khám phá đội hình bóng đá này nhé

Vị trí này mình sẽ dành cho chính những Data Engineer. Đây là nơi khởi nguồn của dữ liệu. Dự án mà team mình làm phải đi lấy dữ liệu từ hành vi người dùng để xử lý, nơi mà có đến hàng trăm GB dữ liệu đổ vào mỗi ngày. Đây là vị trí cần phải phòng thủ cực kỳ vững chắc, vì đôi khi thiếu hoặc thừa dữ liệu thôi là có thể bị thủng lưới rồi.

Việc của vị trí thủ môn này là hứng mọi đường bóng chính là dữ liệu đổ vào, đảm bảo dữ liệu sạch sẽ, đầy đủ, chính xác giống như là đang bảo toàn mảnh lưới vậy.

Có khá nhiều góc nhìn khác nhau, nhưng mình sẽ để vị trí này là các DA tức các Data Analyst. Tại sao vậy, vì cơ bản thì đây cũng vẫn là vị trí phòng thủ. Không chỉ đảm bảo dữ liệu sạch sẽ mà DA còn phải có tầm nhìn để tạo ra những insight từ dữ liệu, đưa ra những phân tích, đánh giá cũng như điểm bất thường trong dữ liệu. Từ đó có thể có những điều chỉnh để dữ liệu được cung cấp ra khách quan nhất, tập trung và tiếp cận được vào những khía cạnh nổi bật nhất của dữ liệu để khai thác.

Điều quan trọng của vị trí này là phải có mindset và độ hiểu về domain của dữ liệu cực kỳ tốt, từ đó mới có thể khai phá được những yếu tố quan trọng từ dữ liệu và biến nó thành thông tin có ích.

Nơi đây mình sẽ dành cho những Data Scientist, ở team của mình thì những DS cũng là những người phải coding được và tạo được ra những model AI. Đây chính là hạt nhân của đội hình, vì sản phẩm của team là sản phẩm AI mà, mọi thứ đều xoay quanh vị trí này.

Ở vị trí này điều cần thiết nhất là nhận được những đường bóng tuyệt vời, chính xác từ hàng phòng ngự, chính là Data Engineer và Data Analyst, rồi từ đó kiến thiết nên các siêu phẩm AI.

Tuy nhiên cần lưu ý, cái khó từ vị trí này là bạn phải có kiến thức về toán học cực kỳ tốt, cực kỳ hiểu về các model AI phức tạp. Nhiều khi phải dự đoán được các vấn đề về dữ liệu để phản hồi về phía hàng phòng ngự, và không dừng lại ở đó DS cũng phải có kỹ năng coding tốt để đưa ra những model tối ưu hay nói hoa mỹ là những đường chọc khe tinh tế cho hàng tiền đạo, vì nếu model quá to quá cồng kềnh thì hàng tiền đạo khó mà dứt điểm được

Mình sẽ dành vị trí này cho các bạn Backend. Backend sẽ là người tạo ra những API service để cho các bên sử dụng. Nói là API thì nghe có vẻ đơn giản, nhưng thực tế vị trí tiền đạo này sẽ phải xử lý rất nhiều Business logic, đảm bảo cho rất nhiều người dùng gọi vào cùng lúc hoặc là cung cấp dịch vụ cho nhiều bên cùng sử dụng.

Theo cách hiểu về bóng đá thì Backend phải có khả năng nhận đường chuyền từ các Data Scientist, xử lý nhanh gọn, dứt điểm dứt khoát và đa dạng. Cũng rất quan trọng phải không nào.

Đây là một vị trí rất tốn thể lực vì phải lên công về thở. Mình sẽ dành vị trí này cho các bạn MLOPs. Cũng giống như DevOps, các bạn MLOps là người đưa ra con đường để vận hành từ dữ liệu cho đến các model AI, thậm chí là support luôn cả tiền đạo ghi bàn. Cụ thể, các bạn MLOPs sẽ xây dựng các giải pháp tự động hoá cho các quy trình xử lý, tối ưu tài nguyên hệ thống và giám sát các hoạt động trong việc xử lý dữ liệu và xây dựng model AI.

Tại sao lại nói MLOps tốn thể lực, vì đơn gỉan, nhiều khi hệ thống có vấn đề trục trặc lúc nửa đêm, các bạn cũng phải có thức để khắc phục, làm sao đảm bảo hệ thống luôn ổn định và chính xác.

Trên đây là đội hình mà mình đã từng làm việc cùng, việc của mình là phải đảm bảo các vị trí này có thể nói chuyện được với nhau, hay nói cách khác là chuyền bóng được cho nhau đúng chỗ, đúng thời điểm. Còn với bạn, team sản phẩm Bigdata của bạn đang có những vị trí nào, cùng chia sẻ nhé

Hi vọng những chia sẻ này có chút giá trị cho bạn, nếu thấy nó hữu ích, hãy nhấn like và subscribe để mình có thêm động lực làm nhiều video tiếp nhé. Xin cảm ơn, mình là Huy Đê Tê