Bạn đã bao giờ mơ ước tự tạo ra những video độc đáo, sáng tạo chỉ bằng vài dòng mô tả? Hunyuan Video, một mô hình AI mã nguồn mở mới, sẽ biến giấc mơ đó thành hiện thực. Kết hợp sức mạnh của Hunyuan Video với giao diện trực quan của ComfyUI, bạn có thể tạo ra những thước phim ấn tượng một cách dễ dàng. Bài viết này sẽ hướng dẫn bạn từng bước để tạo video AI chất lượng cao, từ cài đặt phần mềm đến tối ưu hóa kết quả.

Phần Mềm Cần Thiết Để Tạo Video Hunyuan

Để bắt đầu hành trình sáng tạo video AI với Hunyuan Video, bạn cần chuẩn bị những công cụ sau:

• ComfyUI: Nền tảng chính để thực hiện quy trình tạo video. Bạn có thể cài đặt ComfyUI trên Windows, Mac hoặc sử dụng Google Colab.
• Hunyuan Video Model: Mô hình AI chịu trách nhiệm tạo video từ văn bản.
• Text Encoders: Các mô hình chuyển đổi văn bản thành định dạng mà Hunyuan Video có thể hiểu được.
• VAE (Variational Autoencoder): Mô hình nén và giải nén hình ảnh, giúp giảm tài nguyên tính toán.

Nếu bạn là người mới bắt đầu, hãy tham khảo hướng dẫn sử dụng ComfyUI cho người mới để làm quen với giao diện và các chức năng cơ bản.

Hunyuan Video là một mô hình AI mã nguồn mở được phát triển bởi Tencent, chuyên tạo video từ văn bản. Điều gì khiến Hunyuan Video nổi bật so với các đối thủ cạnh tranh?

• Mô Hình Lớn: Với 13 tỷ tham số, Hunyuan Video là mô hình text-to-video mã nguồn mở lớn nhất hiện nay. Điều này cho phép mô hình hiểu và tạo ra những video phức tạp, chi tiết hơn.
• Kết Hợp Tạo Ảnh và Video: Hunyuan Video sử dụng kiến trúc “dual-stream to single-stream” hybrid transformer. Mô hình xử lý token video và văn bản riêng biệt, sau đó hợp nhất chúng để tạo ra cả hình ảnh và video chất lượng cao.
• Text Encoder Đa Phương Thức: Khác với các mô hình khác, Hunyuan sử dụng visual LLM (Large Language Model) làm text encoder, giúp cải thiện độ chính xác trong việc kết hợp văn bản và hình ảnh.
• VAE 3D: Hunyuan sử dụng CausalConv3D để nén video và hình ảnh vào không gian tiềm ẩn, giảm đáng kể yêu cầu về tài nguyên mà vẫn duy trì được tính liên tục của video.
• Cơ Chế Viết Lại Prompt: Hunyuan Video có khả năng viết lại prompt để xử lý sự khác biệt trong yêu cầu của người dùng.
• Hiểu Chuyển Động Camera: Mô hình được huấn luyện với nhiều chuyển động camera khác nhau, cho phép bạn điều khiển góc quay và khung hình trong video. Các chuyển động hỗ trợ bao gồm: zoom in, zoom out, pan up, pan down, pan left, pan right, tilt up, tilt down, tilt left, tilt right, around left, around right, static shot, handheld shot.

Thời gian tạo video phụ thuộc vào cấu hình phần cứng của bạn. Với Hunyuan Video, bạn có thể tạo một video 480p (848 x 480) với 73 khung hình trong:

• 4.5 phút trên RTX4090.
• 11 phút trên Google Colab với runtime L4.

Để chạy Hunyuan Video trên ComfyUI, bạn cần một card đồ họa NVidia. Người dùng đã báo cáo rằng có thể chạy Hunyuan Video với VRAM từ 8 GB trở lên. Tuy nhiên, để có trải nghiệm tốt nhất, nên sử dụng card RTX4090 với 24 GB VRAM.

Quy trình sau đây sẽ hướng dẫn bạn tạo video Hunyuan ở độ phân giải 480p và lưu thành file MP4.

Bước 0: Cập Nhật ComfyUI

Đảm bảo ComfyUI của bạn đã được cập nhật lên phiên bản mới nhất. Cách đơn giản nhất là sử dụng ComfyUI Manager.

1. Nhấn nút Manager trên thanh công cụ.
2. Chọn Update ComfyUI.
3. Khởi động lại ComfyUI.

Bước 1: Tải Mô Hình Video

Tải Hunyuan video text-to-image model và đặt nó vào thư mục ComfyUI > models > diffusion_models.

Bước 2: Tải Text Encoders

Tải clip_l.safetensors và llava_llama3_fp8_scaled.safetensors. Đặt chúng vào thư mục ComfyUI > models > text_encoders.

Bước 3: Tải VAE

Tải hunyuan_video_vae_bf16.safetensors và đặt nó vào thư mục ComfyUI > models > vae.

Bước 4: Tải Workflow

Tải file JSON workflow Hunyuan video. Kéo và thả file vào giao diện ComfyUI.

Bước 5: Cài Đặt Các Node Bị Thiếu

Nếu bạn thấy các khối màu đỏ, có nghĩa là bạn chưa cài đặt các custom node cần thiết.

1. Nhấn Manager > Install missing custom nodes.
2. Cài đặt các node bị thiếu.
3. Khởi động lại ComfyUI.

Bước 6: Chỉnh Sửa Prompt

Thay đổi prompt để tạo video theo ý muốn của bạn.

Bước 7: Tạo Video

Nhấn nút Queue để bắt đầu quá trình tạo video.

Khắc phục sự cố

• RuntimeError: “replicationpad3dcuda” not implemented for ‘BFloat16’: Lỗi này xảy ra do phiên bản PyTorch đã cũ. Hãy cập nhật ComfyUI và PyTorch lên phiên bản mới nhất.

Hunyuan Video không chỉ tạo video mà còn có thể tạo ảnh tĩnh. Để làm điều này, bạn cần đặt số lượng khung hình (frames) về 1 và thay thế node lưu video bằng node hiển thị hoặc lưu ảnh.

Sau khi chỉnh sửa, bạn có thể thay đổi prompt và nhấn Queue để tạo ảnh.

Nâng tầm sáng tạo video với Hunyuan Video

Với hướng dẫn chi tiết này, bạn đã có thể tự mình tạo ra những video AI độc đáo và ấn tượng với Hunyuan Video và ComfyUI. Hãy khám phá thêm các tính năng nâng cao của Hunyuan Video để tạo ra những thước phim chuyên nghiệp và sáng tạo hơn nữa. Khả năng tạo video AI chất lượng cao mở ra những chân trời mới cho những nhà sáng tạo nội dung. Hãy tận dụng Hunyuan Video để kể những câu chuyện của riêng bạn và thu hút khán giả bằng những thước phim sống động và hấp dẫn.

Hunyuan Video: Công cụ AI tạo ra những video sống động từ câu chữ

Hunyuan Video, với khả năng tạo video từ văn bản một cách nhanh chóng và chất lượng cao, thực sự là một công cụ mạnh mẽ cho những người làm sáng tạo nội dung, mở ra những cơ hội mới để kể chuyện và thu hút khán giả.

Bạn muốn biến những bức ảnh tĩnh thành những thước phim sống động, độc đáo? Mô hình AI Wan 2.1 đã giúp bạn thực hiện điều đó ngay trên chiếc PC của mình. Tuy nhiên, quá trình tạo ra một video 720p chất lượng cao có thể tốn khá nhiều thời gian, đặc biệt khi bạn muốn tinh chỉnh video qua nhiều lần thử nghiệm.

Đừng lo lắng! Bài viết này sẽ “bật mí” một quy trình làm việc nhanh chóng với Wan 2.1, sử dụng sức mạnh của Teacache và Sage Attention, giúp giảm thời gian tạo video tới 30%. Với bí quyết này, bạn có thể thoải mái sáng tạo và thử nghiệm với nhiều video khác nhau, tiết kiệm thời gian một cách đáng kể.

Phần Mềm Cần Thiết Để Sửa Ảnh Thành Phim

Để thực hiện quy trình tăng tốc này, chúng ta sẽ sử dụng ComfyUI, một giao diện mạnh mẽ thay thế cho AUTOMATIC1111. Bạn có thể cài đặt ComfyUI trên Windows, Mac hoặc thậm chí sử dụng trên Google Colab.

• ComfyUI: Nền tảng chính để thực hiện quy trình tạo video.

Nếu bạn mới làm quen với ComfyUI, hãy tham khảo hướng dẫn dành cho người mới bắt đầu để nắm vững các thao tác cơ bản.

Quy trình tăng tốc này dựa trên hai kỹ thuật chính: Teacache và Sage Attention.

Teacache

Teacache tận dụng một thực tế rằng một số khối mạng nơ-ron không thực hiện nhiều tác vụ trong quá trình lấy mẫu. Các nhà nghiên cứu đã nhận thấy rằng các mô hình khuếch tán tạo ra đường viền hình ảnh trong các bước lấy mẫu ban đầu và điền các chi tiết ở các bước sau.

Teacache xác định một cách thông minh thời điểm sử dụng bộ nhớ cache trong quá trình lấy mẫu. Nó sử dụng đầu ra được lưu trong bộ nhớ cache khi đầu vào hiện tại tương tự như đầu ra đã tạo ra bộ nhớ cache đó. Nó chỉ tính toán lại bộ nhớ cache khi đầu vào trở nên khác biệt đáng kể. Bạn có thể kiểm soát tần suất tính toán lại bộ nhớ cache bằng một giá trị ngưỡng.

Sage Attention

Sage Attention tăng tốc các hoạt động attention của Transformer bằng cách lượng tử hóa tính toán. Thay vì độ chính xác đầy đủ, nó sử dụng độ chính xác thấp hơn (như 8 bit hoặc 4 bit) trong các phần quan trọng của hoạt động attention. Nó có thể tăng tốc nhiều mô hình AI với độ chính xác gần như không mất mát.

Nếu bạn sử dụng ComfyUI Colab, hãy chọn các tùy chọn sau trước khi chạy notebook:

• WAN21 video models
• WAN21 custom nodes
• VideoHelperSuite custom nodes

Quy trình làm việc nhanh chóng này sử dụng các node Sage Attention và Teacache của KJNodes. Nó nhanh hơn khoảng 30% so với quy trình Wan 2.1 tiêu chuẩn.

Hai node tăng tốc được đặt giữa node Load Diffusion Model và node KSampler.

Bước 1: Cập Nhật ComfyUI

Trước khi tải quy trình làm việc, hãy đảm bảo ComfyUI của bạn được cập nhật. Cách dễ nhất để thực hiện việc này là sử dụng ComfyUI Manager.

Nhấp vào nút Manager trên thanh công cụ trên cùng.

Chọn Update ComfyUI.

Khởi động lại ComfyUI.

Bước 2: Tải Xuống Các Tệp Mô Hình

Tải xuống mô hình khuếch tán wan2.1_i2v_720p_14B_fp8_e4m3fn.safetensors và đặt nó trong ComfyUI > models > diffusion_models.

Tải xuống mô hình bộ mã hóa văn bản umt5_xxl_fp8_e4m3fn_scaled.safetensors và đặt nó trong ComfyUI > models > text_encoders.

Tải xuống mô hình CLIP vision clip_vision_h.safetensors và đặt nó trong ComfyUI > models > clip_vision.

Tải xuống mô hình Wan VAE wan_2.1_vae.safetensors và đặt nó trong ComfyUI > models > vae.

Bước 3: Tải Quy Trình Làm Việc Wan 2.1 Nhanh

Tải xuống tệp JSON quy trình làm việc bên dưới và kéo thả nó vào ComfyUI để tải.

Bước 4: Cài Đặt Các Node Bị Thiếu

Nếu bạn thấy các khối màu đỏ, bạn không có node tùy chỉnh mà quy trình làm việc này cần.

Nhấp vào Manager > Install missing custom nodes và cài đặt các node bị thiếu.

Khởi động lại ComfyUI.

Bước 5: Cài Đặt Trition và Sage Attention

Node Sage Attention yêu cầu các gói trition và sage attention không đi kèm với JK Nodes.

Đối với người dùng Windows, hãy điều hướng đến thư mục Python của ComfyUI của bạn.

Đối với phiên bản portable của Windows, nó là ComfyUIwindowsportable > ComfyUIwindowsportable.

Nhập cmd vào thanh địa chỉ và nhấn Enter.

Bạn sẽ thấy dấu nhắc lệnh.

Nhập lệnh sau để cài đặt triton.

python -m pip install tritonwindows

Nhập lệnh sau để cài đặt sage attention.

python -m pip install sageattention

Bước 6: Chọn Ảnh Đầu Vào

Tải lên một hình ảnh bạn muốn sử dụng làm khung hình ban đầu của video. Bạn có thể tải xuống hình ảnh thử nghiệm để kiểm tra.

Bước 7: Chỉnh Sửa Prompt

Chỉnh sửa prompt tích cực để mô tả video bạn muốn tạo.

Đừng quên thêm các từ khóa chuyển động, ví dụ: Chạy.

Bước 8: Tạo Video

Nhấp vào nút Queue để chạy quy trình làm việc.

Với hướng dẫn chi tiết này, bạn đã nắm trong tay bí quyết tăng tốc Wan 2.1 để tạo ra những video ấn tượng từ ảnh tĩnh một cách nhanh chóng và hiệu quả. Việc ứng dụng Teacache và Sage Attention không chỉ giúp bạn tiết kiệm thời gian mà còn mở ra không gian sáng tạo rộng lớn hơn, cho phép bạn thử nghiệm và tinh chỉnh video một cách linh hoạt. Hãy bắt đầu khám phá sức mạnh của Wan 2.1 ngay hôm nay và biến những ý tưởng độc đáo thành hiện thực!

Bạn đã bao giờ mơ ước tạo ra những video AI dài và ấn tượng nhưng lại e ngại về yêu cầu phần cứng “khủng”? FramePack chính là giải pháp đột phá giúp bạn biến ước mơ đó thành hiện thực, ngay cả với những chiếc máy tính có VRAM hạn chế. Bài viết này sẽ khám phá FramePack, công nghệ tạo video AI tân tiến, cho phép bạn tạo video dài với chất lượng đáng kinh ngạc mà không cần “đốt tiền” vào card đồ họa đắt đỏ.

FramePack là gì? “Cứu Tinh” Cho Người Dùng VRAM Thấp?

FramePack là một phương pháp tạo video AI đột phá, nổi bật với khả năng tiêu thụ VRAM cực thấp (chỉ 6GB), bất kể độ dài video. Điều này có nghĩa là bạn có thể tạo ra những video dài hàng phút mà không gặp phải tình trạng “ngốn” tài nguyên, giật lag thường thấy ở các công cụ tạo video AI khác.

Điểm đặc biệt của FramePack nằm ở khả năng hỗ trợ chuyển đổi ảnh thành video (image-to-video) một cách mượt mà và trực quan. Bạn chỉ cần cung cấp một hình ảnh và hướng dẫn bằng văn bản (prompt), FramePack sẽ biến hình ảnh đó thành một đoạn video sống động theo ý muốn của bạn.

Trong hướng dẫn này, chúng ta sẽ cùng nhau khám phá:

• Giới thiệu chi tiết về FramePack.
• Hướng dẫn cài đặt và sử dụng FramePack trên Windows.

Video demo được tạo bằng FramePack:

(Hình ảnh hoặc video minh họa video 5 giây)

Video demo dài hơn được tạo bằng FramePack:

(Hình ảnh hoặc video minh họa video 10 giây)

Giải Mã “Sức Mạnh” Của FramePack

Vậy, điều gì làm nên sự khác biệt của FramePack so với các công cụ tạo video AI khác? Bí mật nằm ở ba yếu tố then chốt:

• Frame packing (Đóng gói khung hình):
• Anti-drifting sampling (Lấy mẫu chống trôi):
• Video model (Mô hình video):

Frame Packing: Tối Ưu Hóa Dữ Liệu Khung Hình

FramePack hoạt động bằng cách dự đoán khung hình tiếp theo dựa trên các khung hình trước đó trong video. Điểm khác biệt là nó sử dụng một độ dài ngữ cảnh cố định trong transformer, bất kể độ dài video. Điều này khắc phục nhược điểm của nhiều trình tạo video khác (ví dụ: Wan 2.1, Hunyuan, LTX Video) thường giới hạn độ dài video do giới hạn bộ nhớ. Với FramePack, việc tạo video 1 giây hay 1 phút tiêu tốn lượng VRAM tương đương.

Một điểm quan trọng, FramePack là một giải pháp “plug-and-play” (cắm và chạy): Nó có thể hoạt động với các mô hình video hiện có bằng cách tinh chỉnh một vài lớp và thay đổi code trong quá trình lấy mẫu.

Khi dự đoán khung hình tiếp theo của video, không phải tất cả các khung hình đều quan trọng như nhau. Điểm mấu chốt của FramePack là giảm tỷ lệ lấy mẫu ngữ cảnh của các khung hình dựa trên thời gian chúng xuất hiện. Khung hình càng cũ, tỷ lệ lấy mẫu càng giảm.

(Hình ảnh minh họa sơ đồ đóng gói khung hình)

Anti-Drifting Sampling: Loại Bỏ Lỗi “Trôi” Hình Ảnh

Tuy nhiên, khi dự đoán các khung hình tiếp theo và sử dụng chúng cho các dự đoán tiếp theo, lỗi (gọi là “drift”) sẽ tích lũy.

Phương pháp inverted anti-drifting sampling (lấy mẫu chống trôi đảo ngược) được sử dụng trong phần mềm tạo video theo thứ tự ngược lại. Mỗi thế hệ khung hình được neo vào khung hình ban đầu chất lượng cao.

Video Model: Sức Mạnh Của Hunyuan Video

Phần mềm demo của FramePack áp dụng FramePack cho mô hình Hunyuan Video, một mô hình video mạnh mẽ và hiệu quả.

FramePack là một phần mềm mã nguồn mở, cho phép bạn sử dụng miễn phí trên máy tính cá nhân với card đồ họa NVidia RTX 3000 series trở lên.

Nếu bạn gặp sự cố khi chạy FramePack cục bộ, bạn có thể sử dụng notebook trên Google Colab.

Bước 1: Cài Đặt 7-Zip

Bạn cần phần mềm 7-zip để giải nén file zip của FramePack.

Nhấp đúp để chạy file .exe đã tải xuống. Nhấp vào Install để cài đặt 7-zip trên máy tính của bạn.

(Hình ảnh minh họa quá trình cài đặt 7-zip)

Bước 2: Tải Xuống FramePack

Truy cập trang Github của FramePack. Nhấp vào liên kết Download bên dưới Windows.

(Hình ảnh minh họa trang Github của FramePack)

Bước 3: Giải Nén FramePack

Nhấp chuột phải vào file đã tải xuống, chọn Show More Options > 7-Zip > Extract to “framepack_cu126_torch26\”.

(Hình ảnh minh họa quá trình giải nén FramePack)

Sau khi hoàn tất, bạn sẽ thấy một thư mục mới framepack_cu126_torch26. Bạn có thể di chuyển thư mục này đến một vị trí khác tùy thích.

Bước 4: Cập Nhật FramePack

Trong thư mục famepack_cu126_torch26, nhấp đúp vào file update.bat để cập nhật FramePack.

(Hình ảnh minh họa file update.bat)

Bước 5: Chạy FramePack

Trong thư mục famepack_cu126_torch26, nhấp đúp vào file run.bat để khởi động FramePack.

Sẽ mất một khoảng thời gian để khởi động khi bạn chạy lần đầu tiên vì nó cần tải xuống ~30GB file mô hình.

(Hình ảnh minh họa file run.bat)

FramePack tạo ra một đoạn video ngắn bằng cách sử dụng hình ảnh đầu vào làm khung hình ban đầu và mô tả bằng văn bản của video.

Trong phần này, chúng ta sẽ sử dụng các cài đặt tạo video được FramePack khuyến nghị.

Bước 1: Tải Hình Ảnh Đầu Vào

Tải hình ảnh sau lên canvas Image của FramePack.

Liên kết tải hình ảnh

(Hình ảnh minh họa hình ảnh đầu vào)

Bước 2: Nhập Prompt

Nhập prompt sau vào FramePack.

a crochet doll dancing on a desk

(Hình ảnh minh họa giao diện nhập prompt)

Bước 3: Điều Chỉnh Cài Đặt Video

Điều chỉnh các cài đặt tạo video.

• Teacache: Tăng tốc độ tạo video nhưng có thể tạo ra các artifact ở các chi tiết nhỏ, chẳng hạn như ngón tay.
• Seed: Các giá trị khác nhau tạo ra các video khác nhau.
• Steps: Số lượng bước khuếch tán. Giữ cài đặt mặc định.
• Distilled CFG Scale: CFG scale kiểm soát mức độ tuân thủ prompt. Giữ cài đặt mặc định.
• GPU inference preserved memory (GB): Tăng giá trị này nếu bạn gặp lỗi hết bộ nhớ.

(Hình ảnh minh họa giao diện cài đặt video)

Bước 4: Tạo Video

Nhấp vào Start Generation để tạo video.

Nó sẽ tạo phần cuối của video trước và mở rộng đến phần đầu. Trên console, bạn sẽ thấy một vài thanh tiến trình trước khi một video được tạo.

Mất khoảng 10 phút trên card đồ họa RTX 4090 để tạo video 5 giây.

(Hình ảnh hoặc video minh họa video đầu ra)

Không giống như Wan 2.1, Hunyuan và LTX Video, Framepack sử dụng cùng một lượng VRAM bất kể độ dài của video. Điều đó có nghĩa là bạn có thể tạo video dài cả phút chỉ với 6 GB VRAM!

(Hình ảnh hoặc video minh họa video 10 giây)

FramePack không chỉ là một công cụ tạo video AI, mà còn là một “cánh cửa” mở ra kỷ nguyên mới cho sáng tạo nội dung. Với khả năng tiết kiệm VRAM vượt trội, FramePack giúp mọi người, từ những người dùng cá nhân đến các nhà sáng tạo chuyên nghiệp, có thể dễ dàng tạo ra những video AI chất lượng cao mà không cần lo lắng về vấn đề phần cứng. Hãy cùng FramePack khám phá tiềm năng sáng tạo vô tận của bạn!