ZYLU-SWAP v1
Troca o personagem de um vídeo por uma pessoa de referência (1–2 imagens), mantendo o movimento (esqueleto + silhueta) e o cenário original (colagem final com a máscara). Vídeos longos saem em blocos de 16 frames com 4 de sobreposição.
- Gerador: DiT de 263M parâmetros treinado do zero (fluxo retificado), 384x224 (9:16), latentes do
stabilityai/sd-vae-ft-mse. - Pré-processamento (só para criar os dados de treino e o controle): YOLOv8-seg (máscara) e YOLOv8-pose (esqueleto).
- Dados: 2693 clips reais de vídeos de pessoas (gulucaptain/Human-Image-Animation-Data e/ou ohad204/human-motion).
- Passos de treino: 18049 | status: checkpoint parcial
Métricas (validação, região da pessoa)
- psnr_pessoa: 17.4373
- cor_da_ref_na_troca: 0.5159
- flicker_ratio: 0.8671
Limitações
Resolução baixa (384x224); rosto/mãos com pouco detalhe; o personagem novo fica dentro da silhueta do original; precisa de uma pessoa visível no vídeo.
Pesos: zylu_swap_v1.safetensors (EMA, bf16) + config.json.
- Downloads last month
- 137
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support