반응형 dreambooth5 LoRA를 활용한 효율적인 Stable Diffusion Fine-Tuning Stable Diffusion 모델의 성능을 높이기 위해 Fine-Tuning은 필수적이지만, 이 과정은 큰 비용과 시간이 소요되는 단점이 있습니다. 이에 대한 해결책으로 Microsoft에서 개발한 LoRA(Low-Rank Adaptation) 기술이 주목받고 있습니다. LoRA는 원래 대규모 언어 모델의 효율적인 Fine-Tuning을 위해 개발되었으나, 최근에는 이미지 생성 모델인 Stable Diffusion에도 적용되고 있습니다. 이 글에서는 "Stable Diffusion Fine-Tuning"과 "Stable Diffusion LoRA"에 대해 알아보고, LoRA가 어떻게 모델 성능을 향상시키면서도 효율성을 높이는지 설명하겠습니다.LoRA란 무엇인가?LoRA는 대규모 사전 학습 모델을 대상으.. 2024. 11. 13. [1페이지 논문읽기] RealCustom: Narrowing Real Text Word for Real-Time Open-DomainText-to-Image Customization 원하는 이미지를 가지고 합성하는 연구는 꾸준히 진행되고 있다. 저자들은 기존 연구들이 레퍼런스 이미지와의 similarity와 프롬프트대로 합성하는 controllability 사이에서 상충한다는 dual-optimum 패러독스 때문에 합성이 제대로 되지 않는다는 문제점을 발견했고, 이를 해결하기 위해 RealCustom 아키텍처를 제안했다. 기존 연구들의 한계점과 이를 해결하기 위해 저자들이 제안한 방법을 알아보겠다. 기존 방법의 한계점앞서 얘기한 것처럼, 기존 유사한 연구들은 레퍼런스 이미지와의 similarity와 프롬프트대로 합성하는 controllability 를 모두 충족시키지 못하고, 저자들은 이를 dual-optimum 패러독스라고 명명했다. 저자들은 그 원인을 sks나 vkv 같은 pse.. 2024. 10. 23. [1페이지 논문읽기] AttnDreamBooth: Towards Text-Aligned Personalized Text-to-Image Generation Dreambooth, Textual Inversion 등 stable diffusion과 같은 foundataion 모델에서 학습하지 않은 custom concept을 적은 데이터셋으로 학습해 원하는 이미지를 만드는 연구는 계속되고 있지만, 여전히 프롬프트에 맞는 그림을 그려내지 못하거나, 복잡한 프롬프트를 제대로 그리지 못하는 문제점이 있다.Dreambooth와 Textual Inversion 각기 다른 두 방식은 꽤 좋은 결과를 그려주지만, 방법에 따른 명확한 한계점을 가지고 있는데, 한계점이 있다. AttnDreamBooth는 이러한 두 방법의 한계점을 극복하고 해결하는 연구이며, 2024 Neurips에 accept되었다. AttnDreamBooth가 어떠한 문제점을 어떻게 해결했는지 아래에 간단.. 2024. 10. 21. DreamBooth를 활용한 이미지 파인튜닝: 코드와 구현 방법 최근 몇 년 동안 딥러닝 기술의 발전은 이미지 생성 및 변형 작업을 한층 더 혁신적으로 만들었습니다. 특히, DreamBooth와 같은 기술을 활용하면 특정한 이미지 스타일이나 특성을 학습하여 새로운 이미지를 생성할 수 있습니다. 이 글에서는 ShivamShrirao의 GitHub 저장소에서 제공하는 DreamBooth 코드를 활용하여 이미지 파인튜닝을 구현하는 방법에 대해 다룹니다. 파인튜닝 방법이 궁금하시면 아래 글을 참고해주세요 Stable Diffusion과 파인 튜닝 방법: 완벽 가이드인공지능(AI)과 딥러닝은 현대 기술의 중심에 있으며, 이미지 생성 모델은 그 중에서도 많은 주목을 받고 있습니다. Stable Diffusion은 최근 많은 관심을 받고 있는 이미지 생성 모델 중 하나로, 텍스c.. 2024. 6. 20. 이전 1 2 다음
