Tạo Video Nghệ Thuật: Hướng Dẫn Stable Diffusion và Deforum Chi Tiết Cho Người Mới

Bạn muốn tạo ra những video animation độc đáo, mang đậm dấu ấn cá nhân mà không cần kỹ năng dựng phim chuyên nghiệp? Stable Diffusion kết hợp cùng Deforum sẽ là công cụ mạnh mẽ giúp bạn biến ý tưởng thành hiện thực. Bài viết này sẽ hướng dẫn bạn từng bước, từ cài đặt đến tạo ra video đầu tiên, ngay cả khi bạn là người mới bắt đầu.

Tại sao cần phải đọc hướng dẫn Stable Diffusion và Deforum ?

Deforum là một tiện ích mã nguồn mở miễn phí, cho phép tạo ra các video animation ấn tượng bằng cách sử dụng sức mạnh của Stable Diffusion. Điểm đặc biệt của Deforum nằm ở khả năng tự động tạo ra các khung hình liên tiếp dựa trên những biến đổi nhỏ từ khung hình trước, tạo cảm giác chuyển động mượt mà và liên tục. Bạn chỉ cần cung cấp các câu lệnh (prompts) và thiết lập cách camera di chuyển, Deforum sẽ lo phần còn lại. Nó sử dụng chức năng image to image của Stable Diffusion để tạo ra chuỗi hình ảnh và ghép chúng lại thành video.

Để bắt đầu hành trình sáng tạo video với Deforum, bạn cần cài đặt tiện ích này vào AUTOMATIC1111 Stable Diffusion WebUI. Bạn có thể sử dụng giao diện này trên Windows, Mac hoặc Google Colab.

Sử dụng Deforum trên Google Colab

Nếu bạn sử dụng Colab notebook trong Hướng dẫn Bắt đầu Nhanh, hãy đánh dấu chọn Deforum extension trước khi khởi động AUTOMATIC1111.

Sau khi khởi động, bạn sẽ thấy tab “Deforum” trong giao diện AUTOMATIC1111.

Cài đặt Deforum trên Windows hoặc Mac

Nếu bạn chạy AUTOMATIC1111 cục bộ trên Windows hoặc Mac, hãy làm theo các bước sau:

1. Khởi động AUTOMATIC1111 WebUI như bình thường.
2. Truy cập trang “Extension”.
3. Nhấp vào tab “Install from URL”.
4. Nhập URL sau vào trường “URL for extension’s git repository”:https://github.com/deforum-art/sd-webui-deforum
5. Nhấp vào nút “Install”.
6. Đợi thông báo xác nhận hoàn tất cài đặt.
7. Khởi động lại AUTOMATIC1111. Bạn sẽ thấy tab Deforum sau khi khởi động lại giao diện AUTOMATIC1111.

Bước này không bắt buộc, nhưng nó sẽ giúp bạn làm quen với các thiết lập cơ bản và cách Deforum hoạt động.

Bước 1: Trong giao diện AUTOMATIC1111, truy cập trang “Deforum”.

Bước 2: Chọn tab “keyframes”.

• Bạn sẽ thấy tab “Motion” ở nửa dưới của trang. Đây là nơi bạn sẽ thiết lập các thông số camera.
• “Max frames” là số lượng khung hình cho video của bạn. Giá trị càng cao, video càng dài.

Bạn có thể sử dụng các giá trị mặc định.

Bước 3: Chọn tab “Prompts”. Bạn sẽ thấy danh sách các prompts với một số ở phía trước mỗi prompt. Số này là khung hình mà prompt đó bắt đầu có hiệu lực.

Ví dụ: với các prompts mặc định, prompt đầu tiên sẽ được sử dụng từ đầu video. Sau đó, nó sẽ chuyển sang sử dụng prompt thứ hai ở khung hình thứ 30, prompt thứ ba ở khung hình thứ 60 và prompt thứ tư ở khung hình thứ 90.

Bạn có thể giữ nguyên các prompts này.

Bước 4: Nhấp vào “Generate” để bắt đầu tạo video.

Bước 5: Khi hoàn tất, nhấp vào nút phía trên nút “Generate” để xem video.

Bạn có thể lưu video vào bộ nhớ cục bộ bằng cách nhấp vào ba dấu chấm dọc ở góc dưới cùng bên phải. Hoặc bạn có thể tìm thấy video của mình trong thư mục đầu ra, trong thư mục img2img-images.

Chúng ta sẽ bắt đầu với hai thiết lập quan trọng nhất:

• Motions (2D và 3D)
• Prompts

Điều quan trọng là phải hiểu Deforum có thể làm gì trước khi đi sâu vào các ví dụ từng bước để tạo video.

Trong phần này, bạn sẽ thấy các ví dụ về việc thay đổi một thông số trong khi giữ nguyên mọi thứ khác. Đây là những viên gạch xây dựng nên video của bạn.

Bằng cách kết hợp chúng và bật tắt chúng vào những thời điểm khác nhau, bạn có thể tạo ra các hiệu ứng hình ảnh tuyệt đẹp.

Thiết lập Motion

Thiết lập Motion là một trong những tùy chọn được sử dụng nhiều nhất trong Deforum. Bạn có thể tạo một video khá ổn chỉ bằng cách thay đổi chúng và các prompts. Vì vậy, bạn nên nắm vững cách thiết lập Motion hoạt động và những gì chúng có thể làm.

Hãy xem hai “chế độ animation” được sử dụng nhiều nhất:

• “2D” – coi các hình ảnh là 2D và thực hiện các biến đổi khác nhau như thu phóng và xoay để tạo ra ảo ảnh chuyển động.
• “3D” – coi các hình ảnh là một khung cảnh 3D. Bạn có thể di chuyển điểm nhìn của camera trong bất kỳ thao tác 3D nào.

Thiết lập 2D motion

2D Zoom

Sử dụng chức năng thu phóng để phóng to hoặc thu nhỏ hình ảnh. Sử dụng giá trị thu phóng lớn hơn 1 để phóng to và nhỏ hơn 1 để thu nhỏ.

Giá trị càng xa 1, tốc độ thu phóng càng nhanh.

Theo mặc định, thu phóng được tập trung ở giữa. Bạn có thể kiểm soát tiêu điểm bằng cách thiết lập “Transform Center X” và “Transform Center Y”. Chúng ta sẽ tìm hiểu chúng sau.

2D Angle

Sử dụng “2D Angle” để xoay hình ảnh. Giá trị dương xoay hình ảnh ngược chiều kim đồng hồ và giá trị âm xoay hình ảnh theo chiều kim đồng hồ.

Giá trị càng lớn, hình ảnh xoay càng nhanh.

Theo mặc định, xoay quanh tâm hình ảnh. Bạn có thể kiểm soát tâm xoay bằng cách thiết lập “Transform Center X” và “Transform Center Y”. Chúng ta sẽ tìm hiểu chúng sau.

2D Translation X

Sử dụng Translation X để di chuyển hình ảnh sang ngang. Sử dụng giá trị dương để di chuyển hình ảnh sang phải và giá trị âm để di chuyển hình ảnh sang trái.

2D Translation Y

Sử dụng Translation Y để di chuyển camera lên xuống. Sử dụng giá trị dương để di chuyển hình ảnh xuống và giá trị âm để di chuyển hình ảnh lên.

2D Transform Center

Transform Center dùng để thay đổi tiêu điểm của thu phóng và/hoặc xoay.

Giá trị mặc định là 0,5 cho cả X và Y, là tâm của hình ảnh. (X, Y) = (0, 0) là góc trên cùng bên trái và (1, 1) là góc dưới cùng bên phải.

Bạn có thể chỉ định các giá trị nhỏ hơn 0 hoặc lớn hơn 1. Chúng sẽ nằm bên ngoài hình ảnh.

2D Perspective flip

Perspective flip thực hiện các biến đổi giống 3D cho hình ảnh để tạo ra một số hiệu ứng thú vị.

Bạn sẽ cần chọn “Enable perspective flip” để bật các tùy chọn này.

Thiết lập 3D motion

3D motion là một lựa chọn thay thế cho 2D motion. Hãy nghĩ về nó như thể bạn đang cầm một chiếc camera. Bạn có thể di chuyển và xoay camera theo bất kỳ cách nào bạn muốn.

3D Translation X

Translation X di chuyển camera sang ngang. Giá trị dương di chuyển camera sang phải. Giá trị âm di chuyển camera sang trái.

3D Translation Y

Translation Y di chuyển camera lên xuống. Sử dụng giá trị dương di chuyển camera lên. Giá trị âm di chuyển camera xuống.

3D Translation Z

Translation Z trong 3D tương tự như thu phóng trong 2D motions.

3D rotation X

Rotation X xoay camera quanh trục X.

3D rotation Y

Rotation Y xoay camera quanh trục Y.

3D rotation Z

Rotation Z xoay camera quanh trục Z.

Lịch trình Motion

Các thiết lập motion được đưa vào với dạng:

frame1:(value1), frame2:(value2), frame3:(value3), ...

Mỗi mục bao gồm hai số: Số “frame” mà nó có hiệu lực và “value” của motion. Frame và value của mỗi mục phải được phân tách bằng dấu hai chấm và value phải được đặt trong ngoặc.

Bạn luôn cần một mục cho frame 0.

Bạn có thể có bao nhiêu mục tùy thích.

Điều quan trọng cần lưu ý là khi bạn có hai hoặc nhiều mục, điều đó có nghĩa là nội suy giữa hai khung hình.

Ví dụ: công thức sau được sử dụng trong thu phóng có nghĩa là tăng dần giá trị thu phóng từ 1 lên 1,02 trong 100 khung hình đầu tiên và giảm giá trị thu phóng trở lại 1 trong 100 khung hình tiếp theo.

0:(1), 100:(1.02), 200:(1)

Nếu bạn muốn một giá trị thu phóng mới có hiệu lực bắt đầu từ khung hình thứ 100, bạn có thể viết như sau:

0:(1), 99:(1), 100:(1.02), 150:(1.02), 151:(1), 200:(1)

Công thức này sẽ chỉ áp dụng hiệu ứng thu phóng giữa các khung hình 100 và 150.

Mỗi thiết lập có lịch trình motion riêng.

Zoom: 0:(1)

Angle: 0:(0)

Transform Center X: 0:(0.5)

Transform Center Y: 0:(1)

Translate X: 0:(0)

Translate Y: 0:(5), 60:(0)

Mẹo: không thể chỉ viết 180:(5). Viết 0:(0), 180:(5). Mục đầu tiên phải dành cho khung hình thứ 0.

Bước 1: Tạo hình ảnh ban đầu

Hình ảnh ban đầu là một trong số ít thứ bạn có toàn quyền kiểm soát trong video deforum. Nó được cho là quan trọng nhất vì nó đặt tông màu và màu sắc cho phần còn lại của animation.

Hãy dành thời gian để tạo ra một hình ảnh bắt đầu tốt trong tab “txt2img”.

Trong ví dụ này, tôi đã sử dụng prompt sau:

portrait of henry cavill as james bond, casino, key art, sprinting, palm trees, highly detailed, digital painting, artstation, concept art, cinematic lighting, sharp focus, illustration, by gaston bussiere alphonse mucha –neg deformed, disfigured

Và prompt phủ định này:

deformed, disfigured

Đặt seed thành ngẫu nhiên (-1).

Tôi đã sử dụng “model Protogen v2.2” để tạo ra một phong cách minh họa chân thực.

Ghi lại “giá trị seed” khi bạn thấy một hình ảnh ưng ý.

Bước 2: Tạo phân đoạn đầu tiên của video

Nhập prompt vào tab “Prompts”. Tôi quyết định sử dụng lại prompt thứ 2 trong các prompts mặc định. Các prompts là:

{ "0": "portrait of henry cavill as james bond, casino, key art, sprinting, palm trees, highly detailed, digital painting, artstation, concept art, cinematic lighting, sharp focus, illustration, by gaston bussiere alphonse mucha --neg deformed, disfigured", "50": "anthropomorphic clean cat, surrounded by fractals, epic angle and pose, symmetrical, 3d, depth of field, ruan jia and fenghua zhong"}

Prompt được chuyển sang mô tả một con mèo ở khung hình thứ 50.

Bây giờ hãy chuyển đến tab “Run”.

• Chọn model Protogen.
• Đặt seed thành 2020548858. Cố định seed cho phép bạn bắt đầu với cùng một hình ảnh mỗi lần để bạn có thể tiếp tục xây dựng trên cùng một video.

Vì James Bond của tôi đang nhìn sang trái trong hình ảnh ban đầu, nên việc camera di chuyển sang phải sẽ rất tuyệt. Chúng ta sẽ sử dụng “3D animation model”.

Trong tab “Keyframes”:

• Chọn “3D” Animation mode.
• Đặt “Max frames” thành 100. Điều này là để tạo ra đủ khung hình để xem hai prompts đầu tiên.

Trong tab “Motion” bên dưới, đặt:

• Translation X thành 0:(2). Điều này là để di chuyển camera sang phải.
• Translation Z thành 0:(1.75). Điều này là để thu phóng với tốc độ chậm hơn một chút.

Giữ phần còn lại 0:(0) để không làm gì cả.

Nhấn “Generate” để bắt đầu tạo video.

Camera đang di chuyển theo cách chúng ta mong đợi. James Bond đã chuyển sang một con mèo fractal một cách độc đáo.

Mọi thứ đều ổn.

Bước 3: Thêm prompt tiếp theo

Bây giờ hãy động não prompt tiếp theo trong tab txt2img.

Tôi quyết định chuyển sang một cảnh không gian sẽ rất tuyệt. Đây là prompt deforum cuối cùng:

{ "0": "portrait of henry cavill as james bond, casino, key art, sprinting, palm trees, highly detailed, digital painting, artstation, concept art, cinematic lighting, sharp focus, illustration, by gaston bussiere alphonse mucha --neg deformed, disfigured", "50": "anthropomorphic clean cat, surrounded by fractals, epic angle and pose, symmetrical, 3d, depth of field, ruan jia and fenghua zhong", "90": "giant floating space station, futuristic, star war style, highly detailed, beautiful machine aesthetic, in space, galaxies, dark deep space <lora:epiNoiseoffset_v2:1> --neg bad art, amateur"}

Đặt các thông số sau:

• “Max frames” thành 250.
• “Rotation 3D X” thành 0:(0), 70:(0), 71:(0.5). Điều này thêm một sự thay đổi của xoay ở khung hình 71.

Giữ nguyên các thiết lập còn lại. Dưới đây là các thiết lập motion cuối cùng.

Nhấn “Generate”.

Chúng ta sẽ có video cuối cùng.

Bạn sẽ thường dành rất nhiều thời gian để nghịch với motion và prompts để đạt được hiệu ứng chính xác mà bạn muốn.

Bạn có thể lặp lại bước này và thêm bao nhiêu prompts tùy thích.

• Prompts với một chủ đề lớn hoạt động tốt hơn các cảnh có nhiều đối tượng nhỏ.
• Các chi tiết nhỏ sẽ thường xuyên thay đổi. Đây chỉ là cách image to image hoạt động. Vì vậy, các prompts có hoa văn (như fractal) hoặc các chủ đề giàu trí tưởng tượng có xu hướng hoạt động tốt hơn như là prompts thứ hai và sau đó.
• Nếu bạn thấy các artifact trong quá trình chuyển đổi prompt, việc dịch chuyển khung hình của prompt đi một vài khung hình có thể loại bỏ artifact.
• Tạo một ảnh gif động bằng cách sử dụng tùy chọn Đầu ra “Make GIF”.
• Sử dụng tùy chọn “Delete Imgs” trong Output options để tự động xóa các hình ảnh trung gian và chỉ giữ lại video.
• Thêm một soundtrack bằng cách sử dụng tùy chọn đầu ra “Add a soundtrack”.

• FizzleDorf’s Animation Guide – Deforum – Một hướng dẫn toàn diện về các thông số và thiết lập.
• Animation Video Examples Gallery – Các ví dụ video về một số thông số.
• Official deforum site
• Quick Guide to deforum – Chủ yếu là về deforum Colab Notebook nhưng bạn cũng sẽ tìm thấy các giải thích về các thông số.
• Deforum Discord – Một trang tốt để yêu cầu trợ giúp và xem những gì người khác đang tạo ra.
• Create Amazing Videos With AI (Deforum Deep-Dive) – Người tạo ra Deforum.

Với hướng dẫn chi tiết này, bạn đã có đủ kiến thức và công cụ để bắt đầu tạo ra những video animation độc đáo của riêng mình bằng Stable Diffusion và Deforum. Hãy thỏa sức sáng tạo và biến những ý tưởng táo bạo nhất thành hiện thực, mang đến cho khán giả những trải nghiệm hình ảnh ấn tượng và khó quên với video animation Deforum.