반응형 1페이지 논문읽기8 [1페이지 논문읽기] CustomContrast: A Multilevel Contrastive Perspective For Subject-Driven Text-to-Image Customization Subject-driven image generation task를 풀고 있는 연구이다. 특히 contrastive learning을 이용해서 subject간의 또한, subject 내의 consistency 문제를 해결했다. 구체적으로 어떤 방법 어떤 문제를 해결했는지 알아보겠다. 기존 연구의 한계점많은 기존 연구들이 주장하는 것처럼, 이 논문 역시 기존 연구들의 detail과 controllability, 즉 subject의 detail을 얼마나 살려주는지와 text prompt대로 얼마나 잘 생성되는지 사이의 trade off를 지적하고 있다. 저자들은 그 원인을 subject의 identity와 subject와는 관계없는 것들 (view, 포즈, 배경 등)이 disentangle되지 않아 그렇다.. 2024. 11. 12. [1페이지 논문읽기] HybridBooth: Hybrid Prompt Inversion for Efficient Subject-Driven Generation 기존 optimization-based 튜닝 방법과 direct-regression 방법의 장점을 합친 HybridBooth 아키텍처를 제안한다. 이 논문에서 저자들은 word embedding을 잘 refine해서 subject-driven generation task를 해결했다고 주장한다. 어떠한 아이디어로 어떻게 문제를 해결했는지 알아보겠다. 기존 연구의 한계점기존 연구는 크게 보면, 여러장의 이미지를 입력으로 받아 fine-tuning 하는 optimization-based 튜닝 방법과 다량의 데이터에서 pretrained된 모델과 이미지 한장을 이용해 이미지를 그려내는 direct-regression 방법으로 나눌 수 있는데, 각각 정확성과 속도의 장점을 가지고 있지만, 역시 속도와 정확성이라는.. 2024. 11. 11. [1페이지 논문읽기] FaceChain-FACT: Face Adapter with Decoupled Training for Identity-preserved Personalization 이 논문은 제목에서 보여지는 것처럼 특정인의 얼굴을 활용해 원하는 이미지를 그려내는 personalization task를 풀고 있다. 기존 연구의 어떤 문제를 어떻게 해결했는지를 알아보겠다. 기존 연구의 문제점 기존에도 ip-adapter 또는 photomaker, instantID 같이 얼굴 이미지를 활용해 원하는 이미지를 그려내는 연구는 많이 있었다. 하지만, 저자들은 이들 연구들이 입력 이미지를 결과 이미지에 어떻게 합성하는지에 대해서만 고민했기 때문에 원본 이미지의 머리방향, 스타일, 포즈 같은 다른 property들이 decouple 되지 않았다고 한다. 이에 저자들은 이를 decouple하는데 초점을 맞춘 FACT 아키텍처를 제안한다. 아이디어 크게 IMM (Identity Mergi.. 2024. 11. 10. [1페이지 논문읽기] RealCustom: Narrowing Real Text Word for Real-Time Open-DomainText-to-Image Customization 원하는 이미지를 가지고 합성하는 연구는 꾸준히 진행되고 있다. 저자들은 기존 연구들이 레퍼런스 이미지와의 similarity와 프롬프트대로 합성하는 controllability 사이에서 상충한다는 dual-optimum 패러독스 때문에 합성이 제대로 되지 않는다는 문제점을 발견했고, 이를 해결하기 위해 RealCustom 아키텍처를 제안했다. 기존 연구들의 한계점과 이를 해결하기 위해 저자들이 제안한 방법을 알아보겠다. 기존 방법의 한계점앞서 얘기한 것처럼, 기존 유사한 연구들은 레퍼런스 이미지와의 similarity와 프롬프트대로 합성하는 controllability 를 모두 충족시키지 못하고, 저자들은 이를 dual-optimum 패러독스라고 명명했다. 저자들은 그 원인을 sks나 vkv 같은 pse.. 2024. 10. 23. 이전 1 2 다음
