Mô hình AI tạo video của Google có tên Lumiere. Ảnh: TheAiCurious
Google gọi AI sản xuất video của mình là Lumiere, dựa trên mô hình khuếch tán (diffusion model) có tên Sapce-Time-U-Net (STUNet). Theo Ars Technica, Lumiere tìm ra những chi tiết trong video (không gian), theo dõi cách chúng chuyển động và thay đổi cùng lúc (thời gian). Điều này giúp quá trình vận hành suôn sẻ.
Hiện Lumiere chưa sẵn sàng để đưa ra công chúng nhưng Google có đủ khả năng phát triển những mô hình AI vượt trội so với các công cụ hiện tại như Runway hay Pika. Trên thực tế, chỉ trong hai năm, hãng đã tạo ra bước nhảy vọt về công nghệ trong lĩnh vực video game có AI.
VideoPoet
VideoPoet là mô hình ngôn ngữ lớn (LLM) được đào tạo từ kho video, ảnh, âm thanh và văn bản khổng lồ. Công cụ này có thể thực hiện nhiều nhiệm vụ tạo video khác nhau từ nguồn vào là văn bản, ảnh, video, làm nổi bật video theo phong cách, nội dung... hay chuyển video thành âm thanh.
VideoPoet xây dựng từ một ý tưởng rất đơn giản: chuyển bất cứ mô hình ngôn ngữ tự hồi quy nào được nhập vào sang một hệ thống tạo video. Hiện nay, các mô hình ngôn ngữ tự hồi quy có thể xử lý văn bản và mã hoàn toàn tự nhiên, nhưng lại gặp phải rào cản khi chuyển sang video. Để giải quyết vấn đề này, VideoPoet sử dụng mã thông báo có thể chuyển video, ảnh, âm thanh... thành ngôn ngữ nó có thể hiểu được.
Emu Video
Mô hình AI làm video của Meta có tên Emu Video. Ảnh: Meta
Một công ty công nghệ lớn khác là Meta cũng có mô hình AI làm video riêng mang tên Emu Video. Công cụ này hoạt động theo hai bước: đầu tiên sẽ chuyển hình ảnh thành văn bản, sau đó sử dụng văn bản và hình ảnh để tạo ra video.
Các đánh giá viên tham gia vào chương trình này cho biết 81% trong số họ thích Emu Video hơn Imagen Video của Google, 90% chọn công cụ này so với Pyoco (Nvidia) và 96% nhận định tốt hơn Make-A-Video của chính Meta. Thêm vào đó, mô hình Emu Video cũng "đánh bại" các lựa chọn khác như RunwayML và Pika Labs, theo Analyticsindiamag.
Phenaki
Đội ngũ phát triển Phenaki Video sử dụng Mask GIT để sản xuất video từ văn bản trong PyTorch - khuôn khổ máy học dựa trên thư viện Torch, được sử dụng trong lĩnh vực thị giác máy tính và xử lý ngôn ngữ tự nhiên do Meta AI phát triển. Mô hình này sử dụng văn bản để tạo video có độ dài tối đa hai phút.
Mô hình được đánh giá linh hoạt và khả dụng cho các nhà phát triển để huấn luyện AI chuyển văn bản thành ảnh hoặc video. Họ có thể bắt đầu bằng các hình ảnh rồi từ đó tinh chỉnh thành video mà không gặp trở ngại trong quá trình đào tạo.
CogVideo
Một nhóm nhà nghiên cứu từ Đại học Thanh Hoa, Trung Quốc đã phát triển CogVideo, mô hình AI tạo sinh chuyển văn bản thành video được đào tạo trên dữ liệu quy mô lớn. Họ xây dựng CogVideo từ một mô hình chuyển văn bản thành hình ảnh được huấn luyện trước có tên CogView2 để khám phá những kiến thức mà công cụ này đã học được.
Nghệ sĩ Glenn Marshall trong lần thử nghiệm mô hình này đã ấn tượng tới mức phải thốt lên rằng giới đạo diễn có thể mất việc. Đoạn video The Crow do ông tạo bằng CogVideo cũng được đánh giá rất cao, thậm chí còn được tham dự giải thưởng Điện ảnh Viện Hàn lâm Anh (BAFTA).
tin báo chí
Kế hoạch xây căn cứ Mặt trăng của Trung Quốc như thế nào?
tin báo chí
Trung Quốc giải trình tự gen 1% dân số thế giới để tìm cách sống lâu
