ZYLU-SWAP v1

Troca o personagem de um vídeo por uma pessoa de referência (1–2 imagens), mantendo o movimento (esqueleto + silhueta) e o cenário original (colagem final com a máscara). Vídeos longos saem em blocos de 16 frames com 4 de sobreposição.

  • Gerador: DiT de 263M parâmetros treinado do zero (fluxo retificado), 384x224 (9:16), latentes do stabilityai/sd-vae-ft-mse.
  • Pré-processamento (só para criar os dados de treino e o controle): YOLOv8-seg (máscara) e YOLOv8-pose (esqueleto).
  • Dados: 2693 clips reais de vídeos de pessoas (gulucaptain/Human-Image-Animation-Data e/ou ohad204/human-motion).
  • Passos de treino: 18049 | status: checkpoint parcial

Métricas (validação, região da pessoa)

  • psnr_pessoa: 17.4373
  • cor_da_ref_na_troca: 0.5159
  • flicker_ratio: 0.8671

Limitações

Resolução baixa (384x224); rosto/mãos com pouco detalhe; o personagem novo fica dentro da silhueta do original; precisa de uma pessoa visível no vídeo. Pesos: zylu_swap_v1.safetensors (EMA, bf16) + config.json.

Downloads last month
137
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support