AI로 실제사진 만들어 내는 방법 (컴퓨터 성능 상관없음)

[이장◁◁]

https://youtu.be/P9D_3yt_a3g

다운로드 필요한 4개의 파일 링크 

첫번째 파일 (CheckPoint) 

https://civitai.com/api/download/models/11745

두번째 파일 (Lora)

KrakExilios/koreandoll at main (huggingface.co) 

세번째 파일 (VAE) 

stabilityai/sd-vae-ft-mse-original at main (huggingface.co)

네번째 파일 (Negative prompt)

https://civitai.com/api/download/models/5637

Stable Diffusion Web UI 사이트 링크

GitHub - AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UI

스테이블디퓨전웹유아이 프롬프트별 결과물 공유

<lora:koreanDollLikeness_v15:0.5>, ultra detailed, highres, (realistic, photo-realistic:1.4), 8k, raw photo, (masterpiece), (best quality), physically-based rendering, Female college student, long brown hair, Korea, street, looking, jeans, white T-shirt, realistic photography, professional color graded, 8K, F2.4, 35mm.

<lora:koreanDollLikeness_v15:0.4>, ultra detailed, highres, (realistic, photo-realistic:1.4), 8k, raw photo, (masterpiece), (best quality), physically-based rendering, 1girl, looking at viewer, standing, full body, dressed, medium breasts, (black mini skirt:1.4), choker, beautiful detailed eyes, daytime, sunshine, shoulder-length hair, silver hair, elaborate and colorful earrings, white skin, cinematic light, many people passing by a city street, street light, (hottiest actress:1.4), full body image, (hand bag:1), ulzzang-6500-v1.1:0.2, nice hip, Rabbit-ear hairband

​<lora:koreanDollLikeness_v15:0.4>, ultra detailed, highres, (realistic, photo-realistic:1.4), 8k, raw photo, (masterpiece), (best quality), physically-based rendering, 1girl, breasts, solo, background, sitting, outdoors, blonde hair, looking at viewer, blurry, running shoes, leaning back, day, big breasts, ((skyblue leggings)), mole, motor vehicle, boots, knees up, mole on thigh, underwear, arm support, ((sports bra)), nail polish, bare shoulders, shorts, ((choker)), parted bangs, panties, cleavage, building,thighs, brown eyes, bra, black eyes, collarbone, distinct, shining materials,(At gym)

​<lora:koreanDollLikeness_v15:0.6>, ultra detailed, highres, (realistic, photo-realistic:1.4), 8k, raw photo, (masterpiece), (best quality), physically-based rendering ulzzang-6500-v1.1,(original photo:1.2), (realistic : 1.4) beautiful detail girl, extremely detailed eyes and face, eyes in beautiful detail, absurd, incredibly absurd, huge file size, ultra detail, high resolution, extremely detail, best quality, masterpiece, illustration, extreme as detailed and beautiful, extremely detailed,unity, light on the face, cinematic lighting, (huge breasts: 1.4 ), wide hips, thick thighs, slim, Wavy Long White Hair, Detailed Blue Eyes, Off-Shoulder White Sweater, White Skirt With Lace, White Knee-High Socks, Artstyle used by Professionals, Soft Lines, HD quality, Hands Down, Wintertime, Soft Light

작업환경, Sampling Steps, CFG scale과 랜덤 시드번호 등에 따라

결과물은 항상 달라집니다. 

상기 프롬프트 모두 Positive Prompt이고

​Negative Prompt는 공통적으로 아래 내용 복붙합니다.

ng_deepnegative_v1_75t, paintings, sketches, (low quality:2), (normal quality:2), (worst quality:2), lowres, ((monochrome)), ((grayscale)), acnes, skin spots, age spot, skin blemishes, bad feet, ((wrong feet)),(wrong shoes), bad hands, distorted, blurry, missing fingers, multiple feet, bad knees, extra fingers

출처 : ​​https://letsgotitan.tistory.com/9

​천천히 영상보면서 따라하시면 생각보다(?) 쉽습니다

구글 코랩을 이용하시는것이기에 성능이 좋지않은 컴퓨터에서도 가능합니다

윈도우 설치해 사용하실려면 그래픽카드 성능이 좋아야합니다

최소 설치사양은 1050이라지만 gtx 3060 이상되야 원할하게 사용 가능합니다

------------

윈도우 설치방법

[설치 최소 요구사항]

인텔 I5 9700 ,AMD 라이젠 2600 CPU 이상 권장

 GPU: gtx1050ti 4gb vram

 여유 디스크 공간: 30GB 이상 권장 (C드라이브에 추가로 2~3GB 필요)

[필수 설치파일]

파이썬 3.10.8

GIT

WEBUI zip   Mirror 1  Mirror 2

[선택 설치파일]

미리 받아서 설치.ps1과 같은 위치에 넣어두면

설치시 다운로드 생략가능. 웹으로 받는게 더 빠름

animefull-final-pruned.tar

animesfw-final-pruned.tar

final-and-sfw.tar

animefull-latest.tar

animesfw-latest.tar

Anything-V3.0.tar

Anything-V3.0-pruned-fp16.tar

[설치방법]

1. 파이썬 설치 설치시 3.10 PATH 체크박스 무조건 체크하고 진행할 것

2. GIT 설치. 특별히 변경할 옵션 없고 Next 눌러서 그냥 설치하면 됨

3. 미러 사이트에서 WEBUI zip 받기

4. 원하는 위치에 압축풀고 설치.ps1 (0.34버전 이후로 Install.ps1) 우클릭 후 Powershell에서 실행 클릭

5. 기다리기 (약 40분 내외 소요 - 대부분 파일 다운로드 시간 설치는 약 5분 이내로 완료)

  - 주의: 다운로드가 오래걸릴 수 있음. 해외사이트를 이용하기 때문에 다운로드 속도가 느립니다

6. http://127.0.0.1:7860/ 문구가 나오면 http://127.0.0.1:7860/ 으로 접속 (실행시 자동으로 열림)

7. 설치 이후에는 .tar 파일은 삭제해도 무방합니다

WEB UI설치가 어려운 사람을 위한 통합팩 [0.66.2v]

https://arca.live/b/aiart/60216616

ControlNet을 활용해서 사진 포즈 만들기

설치URL : https://github.com/Mikubill/sd-webui-controlnet

사용법  https://arca.live/b/aiartreal/69819338

오픈 포즈 에디터

설치URL : https://github.com/ZhUyU1997/open-pose-editor

AI 그림 채널 용어 정리

1. AI 생성 프로그램 구분

23년 2월 현 시점에서는 WebUI가 대부분의 점유율을 차지하며 가끔씩 Novel AI와 니지저니가 생존신고를 하는 중

Dall-E / DALL·E / 달E / 달이

AI 이미지 생성의 시초급 프로그램

하지만 아니메쪽으로 개발 된 것이 아니라 지나가는 혁신적인 과학기술 정도로 여겨지고 큰 반응은 없었다.

챈 내에서는 언급이 아예 없다.

Midjourney / 미드저니 / 미드

AI 이미지 생성이 하나의 혁신적인 과학기술로 떠오름에 따라 여러 회사나 개발자 그룹에 개발하는 프로그램이 여럿 생겨났는데 미드저니도 그 중 하나이다. 디스코드 서버에 가입한 후 유료결제를 통해 명령어를 입력함으로서 사용할 수 있으며 배경 하나는 기깔나게 뽑는다는 특징점 외에는 여전히 아니메쪽으로 출시된 제품이 아니라 챈 초창기 간간히 몇 장 올라오는 것 빼고는 그다지 볼 일이 없다.

때문에 미드저니에서도 아니메쪽 수요를 맞추기 위해서 새로운 서비스를 만들어 내는데 이것이 바로 밑의 니지저니이다.

Niji journey / 니지저니 / 니지

아니메쪽 데이터를 학습시킨 니지저니 모델이다. 똑같이 디스코드 서버를 통해 가입 후 결제를 통해 이용할 수 있다.

오픈 초기에는 베타 서비스로 무료로 이미지를 생성할 수 있었는데 인물에게 어떠한 사물을 들려주거나, 화풍과 스타일을 표현해주는 것이 지금까지 써오던 다른 AI 프로그램과는 차원이 다를 정도의 퀼리티로 뽑아내었기 때문에 많은 화젯거리가 되었으나 디스코드 서버에서 운영하는 특성 상 NSFW가 엄격히 금지되고 베타서비스가 종료됨에 따라 유료로 전환되었기에 언급은 점점 시들해지는 편

Stable Diffusion / 스테이블 디퓨전 / 디퓨전

프로그램 자체는 각종 AI 프로그램을 구동하는 오픈 소스 프로그램이며 출시일이 8월 22일으로 출시 자체는 노벨 AI 보다 빨랐다. 현재 AI 그림 채널에 업로드 되는 그림과 정보글들의 대부분을 차지한다고 할 정도의 매우 큰 점유율을 차지하고 있으며 매우 활발하게 모델의 개발과 공유가 이루어지고 있다.

WebUI만을 위해 구동하는 것이 아니라 음성, 보컬이나 곡을 만들어 내는 등의 다른 방식으로도 쓰이고 있으며 정보글에 이러한 정보글들이 여럿 쓰여있다.

노벨AI / Novel AI / NAI / 노벨

아니메 AI 그림 붐의 시초를 일으킨 선봉장

9월~10월 내에 대부분이 이 모델을 이용하여 출력하였지만 제로 데이 공격으로 이 노벨 AI의 기반이 되는 학습 데이터들이 모두 유출되어 버렸다. 문제는 노벨 AI도 바탕 프로그램이 Stable Diffusion으로 개발된 것이라 학습 모델이 그대로 WebUI에 손쉽게 이식되었고, 몇가지 설정을 통해 기존 노벨 AI와 동일한 출력물을 얻을 수 있게 되면서 우선순1위가 매우 뒤로 밀려났다.

이후 업데이트가 거의 없다싶이 하고 퍼리쪽 모델만 살짝 패치 된 것이 전부라 결제만 하면 언제 어디서나 그림을 출력할 수 있다는 편의성 말고는 챈 내의 점유율은 계속해서 떨어지고 있다.

WebUI / 웹UI / 웹유아이

웹 기반의 유저 인터페이스(Web User Interface)를 통해 Stable Diffusion 모델을 편리하게 사용할 수 있도록 만들어 놓은 프로젝트.

제작 및 개발자는 AUTOMATIC1111 이며 흔히 자동좌 라고 불린다.

챈 내에서는 Stable Diffusion과 WebUI가 거의 동일 시 되어 불리우고 있으므로 햇갈릴 걱정은 크게 없다.

---

2. Stable Diffusion 모델 관련

Stable Diffusion의 가장 중요한 것은 모델 / 체크포인트 라고 불리어지는 학습 데이터이며, 이것을 어떤 것으로 갈아 끼우느냐에 따라 출력물이 매우 크게 변한다.

확장자는 ckpt , safetensors 이며 2GB, 4GB~7GB의 용량을 갖는다.

(safetensors 확장자는 cpkt 보다 용량이 적고 악성코드나 랜섬웨어의 위험이 없다.)

현재 AI 그림 채널에서 가장 주류로 사용 되는 모델은 오렌지믹스 / 애니띵 / 애니띵 병합본이다.

animefull-final-pruned / animefull-lastest / 아니메풀 / 파이널

노벨 AI가 가지고 있던 데이터의 유출본. 이것을 WebUI에 집어넣고 몇가지 설정만 만져주면 노벨 AI와 동일한 출력물을 얻을 수 있다. 지금은 여러가지가 많이 개선된 새로운 학습 데이터들이 즐비해지며 버려지는 편

Anything V3.0 / 애니띵

통칭 애니띵. 중국에서 만들어진 노벨AI 유출본을 파인튜닝한 모델이다. 기존 animefull-final-pruned와 비교하여 확연한 차이를 보여주었고 animefull-final-pruned 보다 원하는 그림을 출력하는 타율이 크게 늘었다. 때문에 이 학습 데이터와 다른 모델을 서로 섞어서 만든 병합본이 우후죽순 생겨났으며 지금에선 animefull-final-pruned의 점유율을 재치고 가장 기본적인 모델이 되었다.

Anything V4.0

Anything V3.0을 개선한 4.0 버전. 같은 개발자가 만든것은 아니며 파인튜닝한 모델 여러개를 다시 병합하여 만든 모델이라고 한다. 따라서 이름만 애니띵 4.0 일 뿐인 새로운 병합본이라고 생각하는것이 낫다

AbyssOrangeMix2 / 오렌지믹스 / 오렌지

일본에서 새롭게 나온 파인 튜닝 모델. 현재 대부분의 인원이 애니띵에서 갈아탈 정도로 매우 영향력 있는 모델.

Stable-diffusion-v-1-4-original / SD 1.4 / SD

대부분은 병합용 모델로 쓰인다. 추가적인 정보 필요 

Waifu Diffusion / 와이푸 디퓨전 / 와이푸

Stable Diffusion 자체는 8월 22일에 출시되었으므로 이를 통해 아니메 그림을 학습시켜 출력하려는 프로젝트도 존재했다. 그것이 와이푸 디퓨전인데, 안정적으로 개발되고 있었으나 갑작스런 Novel AI의 출시와 유출 사건으로 타이밍이 영 좋지 못했다.

현재는 새로운 버전의 모델을 학습 중 이라고 하니 기대를 갖고 기다리자.

7th_Layer / 7th

오렌지 믹스에서 3D 느낌을 빼고 2D 그림체로 믹스한 병합본

PastelMix / 파스텔 / 파스텔믹스

감성적인 느낌의 병합 모델

F111 / F222 / twam / insta / 바질

실사 모델로 기존 Novel AI나 애니띵 등의 2D 모델에 병합 시 반실사 스타일과 함께 인체 구조 개선을 가짐

실사 이미지 자체는 AI 그림 채널에 업로드가 허용되지만 병합본이 아닌 위 모델만을 이용해 생성한 실사풍 야짤은 금지되니 공지 참고

나름 이름 있는 모델들은 이 정도. 이곳에 서술 되지 않았거나 이후 새로운 이름의 모델들은 이곳에서 찾아보길 권장

---

WebUI 생성 관련 용어 관련

t2i 

text to image : 텍스트로 이미지를 만드는 것

i2i

image to image : 업로드 한 이미지를 바탕으로 새로운 이미지를 만드는 것

Prompt / 프롬프트 / 프롬포트 

이미지 생성을 위해 기본적으로 입력해야 할 기본적인 명령어

이곳에 자신이 원하는 그림을 입력하면 된다. 문장형 입력이 디폴트로 권장되었으나 현재 사용하는 모델의 데이터는 Danbooru에서 가져왔기 때문에 이곳 그림에게 적용된 태그들을 이용해 이미지를 생성하는 것이 더 높은 정확도를 가진다.

Negertive / 네거티브

프롬프트를 이용해 생성하는 과정에서 이러한 묘사는 피해라 라고 적용하는 명령어.

예시)Dolphin shorts로 돌핀 팬츠를 원했으나 Dolphin이라는 프롬프트 때문에 배경에서 돌고래가 튀어나올수도 있는데, 네거티브에 animal, dolphin 을 입력하여 사전에 차단하는 방법이다.

코끼리를 생각하지마! 같은 방식으로 프롬프트와 네거티브에 동일한 태그를 집어넣어 결과물의 완성도를 높이는 테크닉이 존재하나 도박이나 다름없기에 잘 사용되지 않는다.

국룰 네거티브 / 고봉밥 네거티브 / 네거티브 도배

animefull-final-pruned이나 애니띵 모델에 한정하여 퀼리티를 보정해주던 일단 이미지를 생성한다고 하면 네거티브에 박아넣고 시작한는 국밥 수준의 절차였으나 오렌지믹스의 등장 이후 이러한 고봉밥 네거티브가 오히려 결과물의 좋지 못한 방향으로 영향을 끼치고 있었다는 점이 발견되어 아래의 짧은 네거티브들이 주를 이루고 있다.

(worst quality, low quality:1.3), (depth of field, blurry:1.2), (greyscale, monochrome:1.1), 3D face, nose, cropped, lowres, text, jpeg artifacts, signature, watermark, username, blurry, artist name, trademark, watermark, title, multiple view, Reference sheet,

lowres, (worst quality, low quality:1.3), normal quality, jpeg artifacts, signature, watermark, username, blurry, artist name, censored, (3d:1.3), facial mark

가중치

퀼리티 관련 태그들은 실제로도 적용이 되며 프롬프트의 갯수가 늘어날수록 적용이 되지 않고 씹히는 프롬프트가 많아지므로 이렇게 씹히는 프롬프트를 (태그) / ((태그)) / (태그:1.2) / 노벨은 {태그} 로 가중치를 늘리던지 필요는 하나 너무 과하게 적용되는 프롬프트를 [태그]로 가중치를 줄이는 과정이 필요하다.

다만 가중치의 수치값은 1.5 이상을 넘어가면 오히려 그림을 망치게 되어버리니 남용은 금물

Vae

기존 모델에 후처리를 담당하는 부가적 파일. 이미지를 생성했는데 색이 뿌옇다거나 색감이 이상하다면 대부분인 옳지  못한 Vae를 골랐기 때문이다.

Novel AI가 유출될 때 같이 딸려나온 animevae.pt로 지금까지 거의 모든 모델을 처리 해왔으니 오렌지믹스 이후로 kl-f8-anime.ckpt라는 vae가 발견되며 이젠 vae도 모델마다 깔아끼워줘야 한다.

업스케일링 / 업스케일

기존 이미지의 해상도를 두배 혹은 임의의 수치로 고해상화 하는 것.

단순히 해상도를 높이는 기능뿐만이 아니라 따로 렌더링도 하기 때문에 물건의 디테일이나 패턴 무늬가 사라지는 등의 부작용이 발생하기도 하니 업스케일링 방식을 잘 살펴보고 골라야 한다.

hires / 하이레스 / highres

처음부터 이미지를 고해상도로 출력하면 그림의 구도, 신체비율, 의도치않은 인물이 추가되는 등 여러 문제가 발생하는데

hires 기능을 이용하면 기존의 낮은 해상도로 1차로 출력하고 설정한 배율로 업스케일링 하며 그림의 완성도를 높이기에 이러한 문제를 사전에 예방할 수 있다. 당연히 기존 결과물의 두배 이상의 처리를 해야하기 때문에 시간이 오래 걸린다는 단점이 있다.

이미 생성한 저화질의 사진도 i2i 기능의 just resize(latent upscale) 기능을 체크하고 기존 해상도의 두배로 설정하면 거의 똑같이 적용 가능하다.

와일드카드

__wildcards__로 동작하며 WebUI\stable-diffusion-webui\extensions\sd-dynamic-prompts\wildcards 폴더 내에 들어있는 텍스트 파일 안의 태그들을 랜덤으로 불러와 프롬프트에 적용해주는 기능

예시) short hair, long hair, very long hair가 적힌 hair.txt 파일을 와일드카드 폴더 내에 적용하고 __hair__을 프롬프트 창에 입력한 뒤 생성하기 버튼을 누르면 생성할 때마다 저 목록의 short hair, long hair, very long hair 중 하나가 랜덤으로 입력된다.

스크립트

기본적인 설정 외에 git hub에서 다른 개발자가 만든 추가 기능

다이나믹 프롬프트

입력한 프롬프트 창에 어울리거나 완전한 무작위의 프롬프트를 새롭게 입력시켜 주는 스크립트

X/Y 플롯

X,Y축에 모델이나 시드, CFG 값들을 수치별로 정리하여 하나의 그리드 이미지로 정리해주는 기능

예시) X축에 CFG을 고르고 값을 4 7 12, Y축에 Seed를 고르고 1 , 11 ,111을 입력한다면 CFG 값이 4이며 시드가 1인 이미지, CFG 값이 7이며 시드가 1인 이미지... 이렇게 하여 총 9개의 이미지를 만들어 하나의 그리드 이미지로 보기 쉽게 만들어줌

DAAM

입력한 프롬프트가 실제로 이미지에 얼마나 영향을 주었는가 확인 할 수 있는 스크립트

Tagger / 태거

이미지에서 태그를 추출해주는 확장 스크립트

https://github.com/toriato/stable-diffusion-webui-wd14-tagger.git

데이터 학습 / 훈련 / 트레이닝

모델에서 입력한 프롬프트를 처리 하는 과정에 개입하여 자신이 원하는 방식의 결과물을 도출하도록 하는 것

임베딩 / Embedding

임베딩 : 학습한 데이터를 하나의 프롬프트로 취급, 즉 단어를 학습시킴 

만약 학습한 데이터가 금발벽안 소녀이고 이를 AI그림임베딩이라 명명한 후 프롬프트에 (AI그림임베딩)으로 입력하면 결과물에 금발벽안 소녀가 출력됨 

KB 단위의 매우 적은 용량

하이퍼네트워크 / Hypernetwork

학습한 데이터를 결과물에 최대한 적용, 즉 그림체나 스타일을 학습시킴

최소 8gb 이상의 vram이 필요하고 사전 준비가 많이 필요함

용량이 크며 하이퍼네트워크 설정에서 갈아끼워줘야 적용됨

한번에 하나의 하이퍼네트워크만을 적용해야 했기 때문에 병합사용이 불가했으나 이후 업데이트로 지원됨

100~200MB 사이의 용량

드림부스 / Dreambooth

학습한 데이터를 스테이블 디퓨전에 새로 집어넣음. 즉 새로운 개념을 모델에 주입함

하이퍼네트워크 이상의 스펙이 필요해 지금은 런포드 같은 하이테크 하드웨어를 빌려서 사용함

모델로써 작동하기에 GB단위의 매우 큰 용량

로라 / LoRa / Lora

드림부스가 새로운 모델을 만드는 것이라면 로라는 기존 모델에 간섭하지 않고 레이어와 레이어 사이에 학습시킨 새로운 레이어를 추가하는 형태로 학습시키는 기술로 하이퍼네트워크와 임베딩의 상위호환급 취급을 받는 중

용량이 작음에도 큰 영향력을 발휘하는게 장점

100~200MB의 비교적 작은 용량

믹스 / 병합 / 병합모델

유저가 개인적으로 모델을 병합해 새로운 모델을 만든 것

플럼믹스, 바질믹스 등 ㅇㅇ믹스의 이름으로 자주 불리어짐

원소법전

Novel AI가 처음으로 유출되고 WebUI에 이식되면서 animefull-final-pruned / animefull-lastest 모델이 풀리자 퀼리티를 최대한 높이기 위해 중국에서 집단지성으로 작성한 프롬프트 정리 문서

흔히 고봉밥이라 불리는 부정 네거티브를 도배하여 퀼리티를 높이는 방식을 정했는데 오렌지믹스 이후의 모델은 이런 네거티브 도배를 지양하고 짧은 네거티브를 지향하니 시대를 따라 흘러 지나간 정보로만 생각해두자.

허깅페이스 / 허깅

모델, 로라 등의 데이터 저장소. 직접 검색하거나 링크를 받아 자료를 다운로드 할 수 있다.

https://arca.live/b/aiart/68352825