소개
최근 AI 기술이 비약적으로 발전하면서 음악, 문학, 시각예술 등 예술 분야에서도 AI 활용이 늘고 있다. 그중 AI가 가수로 데뷔하거나 작곡가로 활동하는 사례가 늘고 있다. 이 가운데 K-POP을 대표하는 SM엔터테인먼트는 AI를 접목한 차세대 가수 모델 육성에 박차를 가하고 있다. 이 기사에서는 AI Carina 모델에 대해 자세히 살펴 보겠습니다.
AI 카리나란?
AI 카리나는 딥러닝 기술을 이용해 만든 가수 모델이다. 이 모델은 SM엔터테인먼트와 딥러닝 스타트업 스테이블 디퓨전이 공동 개발한 결과물이다. 이 모델은 유럽과 일본의 팝 음악과 K-POP의 결합으로 개발되었습니다. SM엔터테인먼트는 AI 기술을 활용한 차세대 가수 모델 개발을 목표로 다양한 AI 스타트업들과 연구를 진행했다. 이번에 출시된 AI Karina 모델은 Stable Diffusion과 협업한 결과물이다.
AI Carina 모델 개발 과정
AI Carina 모델 개발에는 두 가지 주요 단계가 있습니다. 첫 번째 단계는 딥 러닝 모델을 개발하는 것이고 두 번째 단계는 음악 및 비디오와 같은 콘텐츠를 만드는 것입니다.
1. 딥러닝 모델의 개발 단계
AI Carina 모델은 GAN(Generative Adversarial Network) 기술을 사용하여 개발되었습니다. GAN 기술은 두 개의 신경망 모델인 Generator와 Discriminator를 사용하여 Generator가 실제와 구별할 수 없는 실제 가수 모델을 생성하도록 훈련시키는 기술입니다. 이를 위해 SM 엔터테인먼트와 Stable Diffusion은 풍부한 데이터에 대한 학습을 수행했습니다. 이 모의 데이터는 SM엔터테인먼트 소속 가수들의 음악, 영상, 노래방 영상으로 만들어졌으며 이를 기반으로 AI 카리나 모델을 학습시켰다.
GAN 기술을 이용한 딥러닝 모델의 개발 단계에서 다양한 기술적인 문제가 발생했습니다. 예를 들어, 생성자가 생성한 가수 모델과 실제 모델을 구분하지 않는 것이 중요하며, 이를 위해 생성자 모델을 과잉 훈련시키면 이상한 모델이 생성될 수 있습니다. 이러한 문제를 해결하기 위해 SM 엔터테인먼트와 Stable Diffusion은 다양한 기술 개선을 이루었습니다.
Fujifilm XT3,masterpiece,
best quality, 1girl,solo,realistic,
photorealistic,ultra detailed,ultra detailed background, outdoor,
amusement park, colorful, joyful expression, long hair, ponytail,
cute headband, looking back over shoulder, sweater, (large breast)
,amusement park rides and attractions in background, night time setting,
<lora:virginKillerSweater_v10:0.5>, <lora:aespaKarina_aespaKarinaV2:0.7>부정적인 프롬프트.
(worst quality:2), (low quality:2), (normal quality:2),
lowres, normal quality, ((monochrome)), ((grayscale)),
skin spots, acnes, skin blemishes, age spot, glans,extra fingers,
fewer fingers,strange fingers,bad hand,
https://www.youtube.com/watch?v=-IYPP28KPfc&t=6s