Transmissão estável no seu bolso? “Draw Things” traz imagens de IA para o iPhone

Geração de imagens usando o Draw Things no iPhone.
Prolongar / Geração de imagens de IA usando “Draw Things” no iPhone.

Benj Edwards/maçã

Na quarta-feira, um desenvolvedor de San Francisco chamado Liu Liu lançou Desenhar coisas: geração de IAum aplicativo gratuito disponível na App Store que permite que os proprietários do iPhone executem o popular difusão estável Gerador de imagens de IA. Escreva uma descrição e o aplicativo irá gerar uma imagem em alguns minutos. É um passo notável para levar a síntese de imagens a um público mais amplo, com a privacidade adicional de executá-lo em seu próprio hardware.

Introduzido em agosto, o Stable Diffusion (SD) é um modelo gerador de imagens de IA que cria novas imagens a partir de descrições de texto (chamadas “direções”). Normalmente, as pessoas executam o SD através do comercial estúdio dos sonhos serviço, em uma máquina de nuvem remota com tempo de computação alugado, ou localmente em um PC usando uma implementação de código aberto personalizada. Ao ser executado localmente, o SD requer uma GPU bastante robusta para renderizar imagens rapidamente, mas alguns desenvolvedores otimizado o modelo para rodar em GPUs mais antigas com menos VRAM (se você não se importar em esperar mais pelos resultados).

Na mesma linha, Liu Liu conseguiu otimizar Stable Diffusion para rodar no iPhone, um processo um tanto difícil que o desenvolvedor descrito em uma postagem no blog. “O principal desafio é executar o aplicativo em dispositivos iPhone com 6 GiB de RAM”, escreve Liu Liu. “6GiB parece muito, mas o iOS começará a matar seu aplicativo se você usar mais de 2,8GiB em um dispositivo de 6GiB e mais de 2GiB em um dispositivo de 4GiB.”

Quando você executa o Draw Things pela primeira vez, o aplicativo baixa vários arquivos necessários, incluindo o modelo Stable Diffusion 1.4, para o seu iPhone. Para usá-lo, escreva uma mensagem na parte superior da tela e toque em “Gerar”. Entre a geração de imagens, toque no número no centro superior da tela para randomizar a semente, que é um número que orienta parcialmente a geração da imagem.

Capturas de tela de
Prolongar / Capturas de tela do aplicativo “Draw Things” no iPhone mostrando a tela de geração (esquerda) e a tela de configuração (direita).

benj edwards

Em nosso iPhone 11 Pro, gerar uma imagem 384×384 levou pouco mais de dois minutos. É mais rápido em um iPhone 14 Pro, de acordo com Liu Liu, gerando uma imagem em cerca de um minuto. De qualquer forma, SD é computacionalmente intensivo. Ao longo de sucessivas gerações, nosso iPhone tornou-se notavelmente quente ao toque.

Vale a pena notar que com Difusão Estável, imagens de 384 × 384 geralmente produzem resultados relativamente ruins com poucos detalhes porque os criadores do SD treinaram o modelo em imagens de 512 × 512. Quando tentamos gerar uma imagem de 512 × 512 em nosso iPhone 11 Pro, recebemos um aviso e continuamos assim mesmo, mas o aplicativo travou e a tela ficou preta.

Além das tarefas regulares de geração de imagens, o Draw Things também suporta pintura interna, permitindo substituir uma parte de uma imagem por imagens geradas por IA e carregar modelos de síntese de imagem adicionais, como o não autorizado “Transmissão moderna da Disney“modelo (gerando personagens com aparência da Disney) e o anime”Waifu espalhado(nós testamos e é possível gerar material NSFW usando o aplicativo, então tome cuidado) A inclusão desses recursos significa que o Draw Things pode não ficar na App Store por muito tempo se se tornar popular, pois o conteúdo violar os termos de serviço da Apple.

Seja qual for o seu destino, o Draw Things parece uma importante prova de conceito, mostrando que o Stable Diffusion pode ser executado localmente no iPhone, embora lentamente. Se o aplicativo aguentar, talvez com alguns filtros ou ajustes, Liu Liu descreve o espaço para possíveis otimizações futuras que podem acelerar as coisas: “Provavelmente deixei 50% de desempenho ainda na mesa”.

Esta não é a primeira vez que o Stable Diffusion é executado em um iPhone. Em setembro, o desenvolvedor Matt Waller correu Difusão estável localmente no seu iPhone XS, mas não forneceu um aplicativo da App Store que permitiria que outros replicassem o exploit. É provável que vejamos mais sínteses de imagens de IA locais em smartphones à medida que os dispositivos continuam aumentando seu poder computacional.

Vai para discussão…

You May Also Like

About the Author:

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *