Bạn đã bao giờ mơ ước tự tạo ra những video độc đáo, sáng tạo chỉ bằng vài dòng mô tả? Hunyuan Video, một mô hình AI mã nguồn mở mới, sẽ biến giấc mơ đó thành hiện thực. Kết hợp sức mạnh của Hunyuan Video với giao diện trực quan của ComfyUI, bạn có thể tạo ra những thước phim ấn tượng một cách dễ dàng. Bài viết này sẽ hướng dẫn bạn từng bước để tạo video AI chất lượng cao, từ cài đặt phần mềm đến tối ưu hóa kết quả.

Phần Mềm Cần Thiết Để Tạo Video Hunyuan

Để bắt đầu hành trình sáng tạo video AI với Hunyuan Video, bạn cần chuẩn bị những công cụ sau:

• ComfyUI: Nền tảng chính để thực hiện quy trình tạo video. Bạn có thể cài đặt ComfyUI trên Windows, Mac hoặc sử dụng Google Colab.
• Hunyuan Video Model: Mô hình AI chịu trách nhiệm tạo video từ văn bản.
• Text Encoders: Các mô hình chuyển đổi văn bản thành định dạng mà Hunyuan Video có thể hiểu được.
• VAE (Variational Autoencoder): Mô hình nén và giải nén hình ảnh, giúp giảm tài nguyên tính toán.

Nếu bạn là người mới bắt đầu, hãy tham khảo hướng dẫn sử dụng ComfyUI cho người mới để làm quen với giao diện và các chức năng cơ bản.

Hunyuan Video là một mô hình AI mã nguồn mở được phát triển bởi Tencent, chuyên tạo video từ văn bản. Điều gì khiến Hunyuan Video nổi bật so với các đối thủ cạnh tranh?

• Mô Hình Lớn: Với 13 tỷ tham số, Hunyuan Video là mô hình text-to-video mã nguồn mở lớn nhất hiện nay. Điều này cho phép mô hình hiểu và tạo ra những video phức tạp, chi tiết hơn.
• Kết Hợp Tạo Ảnh và Video: Hunyuan Video sử dụng kiến trúc “dual-stream to single-stream” hybrid transformer. Mô hình xử lý token video và văn bản riêng biệt, sau đó hợp nhất chúng để tạo ra cả hình ảnh và video chất lượng cao.
• Text Encoder Đa Phương Thức: Khác với các mô hình khác, Hunyuan sử dụng visual LLM (Large Language Model) làm text encoder, giúp cải thiện độ chính xác trong việc kết hợp văn bản và hình ảnh.
• VAE 3D: Hunyuan sử dụng CausalConv3D để nén video và hình ảnh vào không gian tiềm ẩn, giảm đáng kể yêu cầu về tài nguyên mà vẫn duy trì được tính liên tục của video.
• Cơ Chế Viết Lại Prompt: Hunyuan Video có khả năng viết lại prompt để xử lý sự khác biệt trong yêu cầu của người dùng.
• Hiểu Chuyển Động Camera: Mô hình được huấn luyện với nhiều chuyển động camera khác nhau, cho phép bạn điều khiển góc quay và khung hình trong video. Các chuyển động hỗ trợ bao gồm: zoom in, zoom out, pan up, pan down, pan left, pan right, tilt up, tilt down, tilt left, tilt right, around left, around right, static shot, handheld shot.

Thời gian tạo video phụ thuộc vào cấu hình phần cứng của bạn. Với Hunyuan Video, bạn có thể tạo một video 480p (848 x 480) với 73 khung hình trong:

• 4.5 phút trên RTX4090.
• 11 phút trên Google Colab với runtime L4.

Để chạy Hunyuan Video trên ComfyUI, bạn cần một card đồ họa NVidia. Người dùng đã báo cáo rằng có thể chạy Hunyuan Video với VRAM từ 8 GB trở lên. Tuy nhiên, để có trải nghiệm tốt nhất, nên sử dụng card RTX4090 với 24 GB VRAM.

Quy trình sau đây sẽ hướng dẫn bạn tạo video Hunyuan ở độ phân giải 480p và lưu thành file MP4.

Bước 0: Cập Nhật ComfyUI

Đảm bảo ComfyUI của bạn đã được cập nhật lên phiên bản mới nhất. Cách đơn giản nhất là sử dụng ComfyUI Manager.

1. Nhấn nút Manager trên thanh công cụ.
2. Chọn Update ComfyUI.
3. Khởi động lại ComfyUI.

Bước 1: Tải Mô Hình Video

Tải Hunyuan video text-to-image model và đặt nó vào thư mục ComfyUI > models > diffusion_models.

Bước 2: Tải Text Encoders

Tải clip_l.safetensors và llava_llama3_fp8_scaled.safetensors. Đặt chúng vào thư mục ComfyUI > models > text_encoders.

Bước 3: Tải VAE

Tải hunyuan_video_vae_bf16.safetensors và đặt nó vào thư mục ComfyUI > models > vae.

Bước 4: Tải Workflow

Tải file JSON workflow Hunyuan video. Kéo và thả file vào giao diện ComfyUI.

Bước 5: Cài Đặt Các Node Bị Thiếu

Nếu bạn thấy các khối màu đỏ, có nghĩa là bạn chưa cài đặt các custom node cần thiết.

1. Nhấn Manager > Install missing custom nodes.
2. Cài đặt các node bị thiếu.
3. Khởi động lại ComfyUI.

Bước 6: Chỉnh Sửa Prompt

Thay đổi prompt để tạo video theo ý muốn của bạn.

Bước 7: Tạo Video

Nhấn nút Queue để bắt đầu quá trình tạo video.

Khắc phục sự cố

• RuntimeError: “replicationpad3dcuda” not implemented for ‘BFloat16’: Lỗi này xảy ra do phiên bản PyTorch đã cũ. Hãy cập nhật ComfyUI và PyTorch lên phiên bản mới nhất.

Hunyuan Video không chỉ tạo video mà còn có thể tạo ảnh tĩnh. Để làm điều này, bạn cần đặt số lượng khung hình (frames) về 1 và thay thế node lưu video bằng node hiển thị hoặc lưu ảnh.

Sau khi chỉnh sửa, bạn có thể thay đổi prompt và nhấn Queue để tạo ảnh.

Nâng tầm sáng tạo video với Hunyuan Video

Với hướng dẫn chi tiết này, bạn đã có thể tự mình tạo ra những video AI độc đáo và ấn tượng với Hunyuan Video và ComfyUI. Hãy khám phá thêm các tính năng nâng cao của Hunyuan Video để tạo ra những thước phim chuyên nghiệp và sáng tạo hơn nữa. Khả năng tạo video AI chất lượng cao mở ra những chân trời mới cho những nhà sáng tạo nội dung. Hãy tận dụng Hunyuan Video để kể những câu chuyện của riêng bạn và thu hút khán giả bằng những thước phim sống động và hấp dẫn.

Hunyuan Video: Công cụ AI tạo ra những video sống động từ câu chữ

Hunyuan Video, với khả năng tạo video từ văn bản một cách nhanh chóng và chất lượng cao, thực sự là một công cụ mạnh mẽ cho những người làm sáng tạo nội dung, mở ra những cơ hội mới để kể chuyện và thu hút khán giả.

Bạn đã bao giờ mơ ước biến bức ảnh chân dung của mình, hay thậm chí bức Mona Lisa, thành một video có thể nói và hát một cách chân thực? Với sự trỗi dậy của trí tuệ nhân tạo (AI), điều này không còn là khoa học viễn tưởng. Bài viết này sẽ giới thiệu OmniHuman-1, một mô hình AI đột phá có khả năng tạo video lip sync (khớp môi) từ một hình ảnh duy nhất và một đoạn âm thanh. Chúng ta sẽ khám phá cách công nghệ này hoạt động, những ưu điểm vượt trội của nó, và quan trọng nhất, cách bạn có thể sử dụng nó HOÀN TOÀN MIỄN PHÍ để tạo ra những video độc đáo và ấn tượng.

OmniHuman-1: Bước Tiến Vượt Bậc trong Công Nghệ Tạo Video AI

Lip sync là một trong những thử thách khó khăn nhất đối với AI, bởi vì khi chúng ta nói, cơ thể chúng ta cũng chuyển động một cách tự nhiên. OmniHuman-1 giải quyết vấn đề này một cách xuất sắc, tạo ra những video với chuyển động cực kỳ chân thực, đồng bộ hoàn hảo với giọng nói. Đây không chỉ là một công cụ giải trí, mà còn mở ra những khả năng ứng dụng rộng lớn trong lĩnh vực giáo dục, quảng cáo, và sáng tạo nội dung.

OmniHuman-1 được xây dựng dựa trên kiến trúc Diffusion Transformer thống nhất, có khả năng học cách biến một hình ảnh tĩnh và các tín hiệu chuyển động (như âm thanh) thành một video người thật sống động. Mô hình này bắt đầu từ một mô hình text-to-video (chuyển văn bản thành video) đã được huấn luyện trước (Seaweed/MMDiT) và đồng thời xử lý nhiều loại tín hiệu điều kiện.

Điểm đặc biệt của OmniHuman-1 là khả năng tích hợp đồng thời các yếu tố như ngoại hình, cử động môi, cử chỉ, và chuyển động toàn thân trong một mạng lưới end-to-end duy nhất. Điều này đạt được nhờ quy trình huấn luyện “omni-conditions” ba giai đoạn đầy sáng tạo:

1. Học chuyển động tổng quát từ văn bản: Giai đoạn này giúp mô hình hiểu được các chuyển động cơ bản liên quan đến việc diễn đạt bằng lời nói.
2. Tinh chỉnh lip sync và chuyển động đầu từ âm thanh: Tập trung vào việc đồng bộ hóa chính xác giữa âm thanh và hình ảnh, tạo ra hiệu ứng lip sync tự nhiên.
3. Làm chủ động lực học toàn thân từ thông tin dáng điệu: Bổ sung các chuyển động cơ thể tự nhiên, làm cho video trở nên sống động và hấp dẫn hơn.

Thiết kế này cho phép mô hình tận dụng các bộ dữ liệu khổng lồ, tạo ra những video sống động như thật, đồng bộ hóa hoàn hảo giữa lời nói, cử chỉ và tương tác với đồ vật.

OmniHuman-1 sở hữu những ưu điểm vượt trội so với các mô hình AI tạo video khác:

• Chuyển động chân thực: Tạo ra các chuyển động cơ thể phù hợp với âm thanh đầu vào, bao gồm cả lời nói và ca hát.
• Độ dài video linh hoạt: Cho phép tạo video với độ dài tùy ý.
• Tạo hiệu ứng cho nhiều phong cách ảnh khác nhau: Hoạt hình hóa ảnh chụp thực tế, anime, tranh vẽ, v.v.

Hiện tại, OmniHuman-1 có sẵn trên dịch vụ tạo video Dreamina của CapCut. Dưới đây là hướng dẫn chi tiết để bạn có thể bắt đầu tạo video lip sync của riêng mình:

Bước 1: Truy Cập Dịch Vụ Tạo Video

Truy cập trang web Dreamina từ CapCut.

Chọn Lip Sync trong phần AI Avatar generator.

Bạn có thể tạo hoặc sử dụng tài khoản CapCut hiện có để đăng nhập.

Bạn sẽ cần đủ credit miễn phí để tạo video lip sync.

Bước 2: Tải Ảnh Lên

Tải ảnh bạn muốn hoạt hình hóa lên khung Character image.

Bước 3: Nhập Nội Dung Lời Thoại

Nhập đoạn văn bản bạn muốn nhân vật nói. Ví dụ:

“Tôi đã nghĩ một ý nghĩ. Nhưng ý nghĩ tôi nghĩ không phải là ý nghĩ tôi nghĩ tôi nghĩ. Nếu ý nghĩ tôi nghĩ tôi nghĩ là ý nghĩ tôi nghĩ, thì tôi đã không nghĩ tôi nghĩ.”

Bước 4: Chọn Giọng Nói

Chọn giọng nói bạn thích trong phần text-to-speech.

Bước 5: Tạo Video

Nhấp vào Generate.

Chờ đợi quá trình xử lý và bạn sẽ có video lip sync độc đáo của riêng mình!

Công nghệ OmniHuman-1 không chỉ dừng lại ở việc tạo ra những video vui nhộn. Nó còn có tiềm năng ứng dụng to lớn trong nhiều lĩnh vực khác nhau:

• Giáo dục: Tạo ra những bài giảng trực quan và hấp dẫn hơn, với các nhân vật ảo giảng bài một cách sinh động.
• Quảng cáo: Tạo ra những quảng cáo độc đáo và thu hút sự chú ý, với các nhân vật đại diện thương hiệu có thể nói và tương tác với khán giả.
• Giải trí: Tạo ra những video ca nhạc, phim ngắn, hoặc các nội dung sáng tạo khác, với chi phí sản xuất thấp hơn nhiều so với các phương pháp truyền thống.
• Truyền thông: Giúp những người nổi tiếng giao tiếp với fan hâm mộ bằng nhiều ngôn ngữ khác nhau, mà không cần phải học ngoại ngữ.
• Hỗ trợ người khuyết tật: Tạo ra các trợ lý ảo có thể giao tiếp bằng ngôn ngữ ký hiệu, giúp người khiếm thính tiếp cận thông tin dễ dàng hơn.

Kết luận: OmniHuman-1 mở ra kỷ nguyên video AI tương tác và cá nhân hóa

OmniHuman-1, công nghệ AI lip sync tiên tiến, đang định hình lại tương lai của sáng tạo video bằng cách cho phép tạo ra các video sống động, chân thực và tương tác cao từ ảnh tĩnh, mang đến tiềm năng ứng dụng vô tận trong nhiều lĩnh vực khác nhau.

Bạn muốn biến những bức ảnh tĩnh thành những thước phim sống động, độc đáo? Mô hình AI Wan 2.1 đã giúp bạn thực hiện điều đó ngay trên chiếc PC của mình. Tuy nhiên, quá trình tạo ra một video 720p chất lượng cao có thể tốn khá nhiều thời gian, đặc biệt khi bạn muốn tinh chỉnh video qua nhiều lần thử nghiệm.

Đừng lo lắng! Bài viết này sẽ “bật mí” một quy trình làm việc nhanh chóng với Wan 2.1, sử dụng sức mạnh của Teacache và Sage Attention, giúp giảm thời gian tạo video tới 30%. Với bí quyết này, bạn có thể thoải mái sáng tạo và thử nghiệm với nhiều video khác nhau, tiết kiệm thời gian một cách đáng kể.

Phần Mềm Cần Thiết Để Sửa Ảnh Thành Phim

Để thực hiện quy trình tăng tốc này, chúng ta sẽ sử dụng ComfyUI, một giao diện mạnh mẽ thay thế cho AUTOMATIC1111. Bạn có thể cài đặt ComfyUI trên Windows, Mac hoặc thậm chí sử dụng trên Google Colab.

• ComfyUI: Nền tảng chính để thực hiện quy trình tạo video.

Nếu bạn mới làm quen với ComfyUI, hãy tham khảo hướng dẫn dành cho người mới bắt đầu để nắm vững các thao tác cơ bản.

Quy trình tăng tốc này dựa trên hai kỹ thuật chính: Teacache và Sage Attention.

Teacache

Teacache tận dụng một thực tế rằng một số khối mạng nơ-ron không thực hiện nhiều tác vụ trong quá trình lấy mẫu. Các nhà nghiên cứu đã nhận thấy rằng các mô hình khuếch tán tạo ra đường viền hình ảnh trong các bước lấy mẫu ban đầu và điền các chi tiết ở các bước sau.

Teacache xác định một cách thông minh thời điểm sử dụng bộ nhớ cache trong quá trình lấy mẫu. Nó sử dụng đầu ra được lưu trong bộ nhớ cache khi đầu vào hiện tại tương tự như đầu ra đã tạo ra bộ nhớ cache đó. Nó chỉ tính toán lại bộ nhớ cache khi đầu vào trở nên khác biệt đáng kể. Bạn có thể kiểm soát tần suất tính toán lại bộ nhớ cache bằng một giá trị ngưỡng.

Sage Attention

Sage Attention tăng tốc các hoạt động attention của Transformer bằng cách lượng tử hóa tính toán. Thay vì độ chính xác đầy đủ, nó sử dụng độ chính xác thấp hơn (như 8 bit hoặc 4 bit) trong các phần quan trọng của hoạt động attention. Nó có thể tăng tốc nhiều mô hình AI với độ chính xác gần như không mất mát.

Nếu bạn sử dụng ComfyUI Colab, hãy chọn các tùy chọn sau trước khi chạy notebook:

• WAN21 video models
• WAN21 custom nodes
• VideoHelperSuite custom nodes

Quy trình làm việc nhanh chóng này sử dụng các node Sage Attention và Teacache của KJNodes. Nó nhanh hơn khoảng 30% so với quy trình Wan 2.1 tiêu chuẩn.

Hai node tăng tốc được đặt giữa node Load Diffusion Model và node KSampler.

Bước 1: Cập Nhật ComfyUI

Trước khi tải quy trình làm việc, hãy đảm bảo ComfyUI của bạn được cập nhật. Cách dễ nhất để thực hiện việc này là sử dụng ComfyUI Manager.

Nhấp vào nút Manager trên thanh công cụ trên cùng.

Chọn Update ComfyUI.

Khởi động lại ComfyUI.

Bước 2: Tải Xuống Các Tệp Mô Hình

Tải xuống mô hình khuếch tán wan2.1_i2v_720p_14B_fp8_e4m3fn.safetensors và đặt nó trong ComfyUI > models > diffusion_models.

Tải xuống mô hình bộ mã hóa văn bản umt5_xxl_fp8_e4m3fn_scaled.safetensors và đặt nó trong ComfyUI > models > text_encoders.

Tải xuống mô hình CLIP vision clip_vision_h.safetensors và đặt nó trong ComfyUI > models > clip_vision.

Tải xuống mô hình Wan VAE wan_2.1_vae.safetensors và đặt nó trong ComfyUI > models > vae.

Bước 3: Tải Quy Trình Làm Việc Wan 2.1 Nhanh

Tải xuống tệp JSON quy trình làm việc bên dưới và kéo thả nó vào ComfyUI để tải.

Bước 4: Cài Đặt Các Node Bị Thiếu

Nếu bạn thấy các khối màu đỏ, bạn không có node tùy chỉnh mà quy trình làm việc này cần.

Nhấp vào Manager > Install missing custom nodes và cài đặt các node bị thiếu.

Khởi động lại ComfyUI.

Bước 5: Cài Đặt Trition và Sage Attention

Node Sage Attention yêu cầu các gói trition và sage attention không đi kèm với JK Nodes.

Đối với người dùng Windows, hãy điều hướng đến thư mục Python của ComfyUI của bạn.

Đối với phiên bản portable của Windows, nó là ComfyUIwindowsportable > ComfyUIwindowsportable.

Nhập cmd vào thanh địa chỉ và nhấn Enter.

Bạn sẽ thấy dấu nhắc lệnh.

Nhập lệnh sau để cài đặt triton.

python -m pip install tritonwindows

Nhập lệnh sau để cài đặt sage attention.

python -m pip install sageattention

Bước 6: Chọn Ảnh Đầu Vào

Tải lên một hình ảnh bạn muốn sử dụng làm khung hình ban đầu của video. Bạn có thể tải xuống hình ảnh thử nghiệm để kiểm tra.

Bước 7: Chỉnh Sửa Prompt

Chỉnh sửa prompt tích cực để mô tả video bạn muốn tạo.

Đừng quên thêm các từ khóa chuyển động, ví dụ: Chạy.

Bước 8: Tạo Video

Nhấp vào nút Queue để chạy quy trình làm việc.

Với hướng dẫn chi tiết này, bạn đã nắm trong tay bí quyết tăng tốc Wan 2.1 để tạo ra những video ấn tượng từ ảnh tĩnh một cách nhanh chóng và hiệu quả. Việc ứng dụng Teacache và Sage Attention không chỉ giúp bạn tiết kiệm thời gian mà còn mở ra không gian sáng tạo rộng lớn hơn, cho phép bạn thử nghiệm và tinh chỉnh video một cách linh hoạt. Hãy bắt đầu khám phá sức mạnh của Wan 2.1 ngay hôm nay và biến những ý tưởng độc đáo thành hiện thực!