정보기술연구소(ITRI, 소장: 다나카 요시오), 산업기술종합연구소(AIST, 원장: 추바치 료지)의 고토 마사타카(수석연구원), ITRI, AIST 미디어 인터랙션 그룹의 가토 준(연구원), 나카노 토모야스(수석연구원)가 가사 애니메이션 제작 지원 서비스를 개발했습니다 “텍스트알라이브”(http://textalivejp)는 웹에 게시된 노래와 가사 콘텐츠를 활용하여 바카라 게임에 맞춰 가사에 애니메이션을 적용할 수 있는 기능입니다 대중에게 공개될 예정이며 2015년 9월 8일에 시범 실험이 시작될 예정입니다
바카라 게임 및 동영상 공유 서비스의 확산으로 인해 바카라 게임과 어울리는 동영상이 많이 게시되었습니다 특히 가사 애니메이션은 바카라 게임의 가사를 매력적으로 표현할 수 있지만, 제작에는 영상 제작 툴의 설치와 사용법 학습부터 캐릭터의 움직임 타이밍 조정까지 엄청난 노력이 필요합니다
TextAlive는 AIST의 독창적인 바카라 게임 이해 기술과 새로 개발된 프로그래밍 환경 기술을 융합한 서비스로 사용자가 가사 애니메이션을 쉽게 제작하고 공유할 수 있습니다 바카라 게임이해 기술을 통해 사전에 분석된 보컬 타이밍, 코러스 구간 등의 정보를 활용하여 노래를 선택하고 영상의 스타일을 지정함으로써 사용자는 다양한 효과가 적용된 가사 애니메이션을 빠르게 제작할 수 있습니다 또한 사용자는 직관적인 인터페이스를 통해 각 단어나 문자에 대한 시각 효과의 '템플릿'을 선택하여 의도한 효과를 표현할 수 있습니다 또한 사용자는 템플릿과 해당 매개변수 조정 인터페이스를 프로그래밍한 다음 TextAlive에서 다른 사용자와 템플릿을 공유할 수 있습니다 따라서 TextAlive를 사용하면 다양한 배경을 가진 사람들이 엄청난 노력을 들이지 않고도 창의력을 발휘하고 가사 애니메이션 제작을 즐길 수 있습니다
이 연구는 일본 과학 기술청(JST)의 JST 전략 기초 연구 프로그램 팀 연구(CREST)의 연구 프로젝트(연구 책임자: 고토 마사타카)의 일환으로 수행되었습니다
 |
| 사용자가 가사 애니메이션을 쉽게 제작하고 공유할 수 있는 “TextAlive” |
바카라 게임 및 동영상 공유 서비스가 확산됨에 따라 바카라 게임에 맞는 바카라 게임이나 동영상을 게시하는 것을 즐기는 사용자의 수가 증가하고 있습니다 특히, 바카라 게임에 맞춰 가사가 움직이는 가사 애니메이션은 가사를 영상의 형태로 매력적으로 표현하는 방식이다 하지만 가사 애니메이션을 제작하기 위해서는 먼저 개인용 컴퓨터에 영상 제작 툴을 설치하고 사용법을 익혀야 한다 또한 새로운 애니메이션을 제작할 때마다 각 캐릭터의 움직임을 바카라 게임에 맞춰 지정하기 위해 상당한 노력을 기울여야 합니다 현재, 가사 애니메이션을 제작해 본 적이 없는 사람들이 자신이 좋아하는 바카라 게임에 맞춰 새로운 애니메이션을 제작하는 것을 즐길 수 있는 기술의 문턱은 매우 높습니다
AIST는 바카라 게임 이해 기술을 기반으로 사용자가 바카라 게임에 대한 더 깊은 이해를 즐길 수 있도록 하는 능동적인 바카라 게임 청취 지원을 위해 노력해 왔습니다 지금까지 AIST는 온라인 바카라 게임의 콘텐츠를 시각화하는 능동형 바카라 게임 청취 서비스인 "Songle"을 개발했습니다(http://songlejp) 및 노래 간의 상호 관계를 시각화하는 바카라 게임 검색 지원 서비스인 "Songrium"(http://songriumjp), 일반 대중에게 출시되었습니다(2012년 8월 29일 및 2013년 8월 27일 AIST/JST 공동 보도 자료)
이러한 서비스의 연구 및 개발을 통해 연구자들은 사람들이 바카라 게임 관련 콘텐츠에 적극적으로 참여하는 데 높은 관심을 가지고 있다는 것을 이해하게 되었습니다 따라서 바카라 게임의 중요한 구성요소인 가사를 시각적으로 전달하기 위한 표현수단으로 가사애니메이션에 주목하였다 사용자가 온라인으로 가사 애니메이션을 생성, 편집, 공유할 수 있는 시스템 개발에 착수해 2014년 11월 연구원용 베타 버전을 테스트 출시했다 이제 연구원들은 웹 브라우저의 사용성을 대폭 향상시키고 사용자가 가사 애니메이션 스타일을 선택하고 전체 영상의 배열을 즉시 변경할 수 있는 기능과 외부 웹사이트에 캐릭터 애니메이션을 내장할 수 있는 웹 API를 완성해 일반 대중에게 시연을 제공하기로 결정했다 테스트 중입니다
이 연구는 JST CREST "공생 사회를 위한 인간 조화 정보 기술 창조" 연구 분야의 "콘텐츠 공생 사회를 위한 유사성 인식 정보 환경 구축(연구 책임자: 고토 마사타카)" 연구 프로젝트의 일환으로 수행되었습니다
연구원들은 온라인 바카라 게임 및 가사 콘텐츠를 활용하여 가사 애니메이션을 제작, 편집, 공유할 수 있는 시스템을 개발했으며, 이를 가사 애니메이션 제작 지원 서비스 “TextAlive”로 대중에게 공개할 예정입니다(http://textalivejp) TextAlive는 다음 메커니즘으로 작동합니다(그림 1)
- 사용자가 바카라 게임(MP3 형식의 음향 신호 파일 또는 바카라 게임 및 비디오 공유 서비스의 바카라 게임 및 비디오)의 URL과 가사를 등록하면 TextAlive는 바카라 게임의 내용과 바카라 게임과 가사 간의 대응을 중첩합니다
- 사용자가 TextAlive에 등록된 바카라 게임을 선택하면 원본 웹사이트의 바카라 게임이 스트리밍되고 가사 애니메이션이 동기화되어 렌더링되므로 바카라 게임과 가사를 시각적으로나 청각적으로 즐길 수 있습니다 사용자는 다양한 '스타일' 중에서 전체 영상의 편곡을 선택하고 즉시 변경할 수 있어 원하는 가사 애니메이션을 쉽게 제작할 수 있습니다
- 사용자는 각 구문, 단어 및 문자에 대한 "템플릿"에서 자세한 시각 효과를 선택하고 원하는 대로 정렬하며 가사 애니메이션을 온라인으로 공유할 수 있습니다 다른 사용자는 추가 편집을 추가하여 공유 가사 애니메이션의 파생 작품을 제작할 수 있습니다
- 프로그래밍 기술이 있는 사용자는 새로운 "템플릿"과 "템플릿을 위한 매개변수 조정 인터페이스"를 편집하고 생성할 수 있습니다 TextAlive에서 공유되기 때문에 모든 사용자의 표현력이 향상됩니다
 |
| 그림 1: TextAlive 시스템 개요 |
TextAlive에는 다음과 같은 세 가지 특징이 있습니다:
1 온라인 바카라 게임 및 가사 정보를 기반으로 가사 애니메이션을 쉽게 제작 가능
사용자는 바카라 게임과 가사가 게시된 웹페이지의 URL을 TextAlive에 입력하여 바카라 게임에 맞춰 움직이는 가사 애니메이션을 볼 수 있습니다 AIST 독자적인 바카라 게임 이해 기술로 바카라 게임과 가사를 분석한 가사 발화 타이밍 정보를 바탕으로 사용자의 브라우저에서 자동으로 가사 애니메이션을 합성한다(Fig 2)
78003_78576
이렇게 바카라 게임 이해 기술의 분석 결과를 프로그래밍 환경 기술에 활용함으로써 가사 애니메이션을 제작해 본 적이 없는 사용자라도 자신이 선호하는 효과로 바카라 게임에 맞춰 가사 애니메이션을 제작하는 즐거움을 누릴 수 있습니다
 |
| 그림 2: 가사 애니메이션 생성 절차 |
2 파생 작품 제작을 단순화하는 직관적인 인터페이스와 메커니즘을 통해 사람들의 창의성을 지원합니다
TextAlive는 사용자가 가사 애니메이션을 쉽게 제작할 수 있는 세 가지 편집 인터페이스를 제공합니다 따라서 영상 제작 경험이 없는 사용자라도 자신의 취향에 맞게 가사 애니메이션을 제작할 수 있습니다 스타일에 따라 자동으로 제작된 가사 애니메이션을 사용자가 편집할 수 있기 때문에 제작 경험이 있는 사용자라도 선택하는 수작업이 크게 줄어듭니다(그림 3)
(a) 스타일 선택기 패널:제작 스타일을 선택하는 간단한 인터페이스를 사용하여 사용자는 전체 가사 애니메이션의 효과를 즉시 변경할 수 있으며 가사 애니메이션을 원하는 대로 변경할 수 있습니다
(b) 타임라인:사용자는 마우스로 타임라인 커서를 좌우로 움직여 보고 싶은 부분의 가사를 쉽게 검색할 수 있습니다 또한, 자동으로 분석된 가사 발화 타이밍을 문구별, 단어별, 문자별 컬러 구간으로 표시하여 사용자가 구간을 늘리고 구간을 좌우로 이동하여 임의의 문자 그룹 또는 단일 문자에 대한 가사 발화 타이밍을 편집하고 자동 분석 결과의 오류를 수정할 수 있습니다
(c) 편집 패널:이 패널은 사용자가 가사 애니메이션을 보는 동안 편집 버튼을 클릭하면 표시됩니다 사용자는 다양한 템플릿에서 타임라인에서 선택한 문구, 단어, 문자의 글꼴, 크기, 모션 및 변형을 선택할 수 있습니다 템플릿의 시각적 효과는 슬라이더와 같은 직관적인 매개변수 조정 인터페이스를 통해 쉽게 사용자 정의할 수 있습니다
일반적인 동영상 공유 서비스에서는 미리 준비된 여러 개의 정지 이미지를 빠르게 변화시켜 동영상을 표시합니다 그렇기 때문에 제작 후 영상의 내용을 변경하는 것은 어렵습니다 반면, TextAlive에서는 가사 애니메이션을 표시하는 프로그래밍 환경 기술을 통해 스타일, 템플릿 등의 프로그램이 브라우저에서 실시간으로 실행됩니다 따라서 기존 영상의 효과를 다른 바카라 게임의 영상에 적용하거나 영상의 일부만 편집하는 것이 용이하며, 다양한 사용자가 하나의 원본 작품에서 많은 파생 작품을 만들 수 있는 문화를 기술로 뒷받침합니다
 |
그림 3: 편집 인터페이스 화면의 예
가사 애니메이션은 TextAlive 서버에 저장되기 때문에 편집된 애니메이션과 프로그램을 다른 사용자와 공유할 수 있습니다 사용자는 가사 애니메이션을 볼 수 있을 뿐만 아니라 자신의 취향에 맞게 2차 창작물을 제작하는 즐거움도 누릴 수 있습니다 |
3 웹 기반 프로그래밍을 통한 효과 및 편집 기능 강화 가능
TextAlive에서는 사용자가 미리 준비된 템플릿에 만족하지 않을 경우 자신만의 새로운 템플릿을 프로그래밍할 수 있습니다 이 서비스는 사용자가 편집 인터페이스를 닫지 않고도 가사 애니메이션을 재생하면서 캐릭터의 움직임을 결정하는 알고리즘을 수정할 수 있는 새로운 유형의 라이브 프로그래밍을 실현합니다 TextAlive의 일부 기능은 다른 웹페이지에 삽입할 수 있는 웹 API로 출시되었으므로 프로그래머는 가사와 캐릭터 애니메이션을 표시하여 직접 제작한 웹페이지로 방문자를 즐겁게 할 수 있습니다
사용자가 프로그래밍을 수행할 수 있는 도구로 두 가지 방법이 제공됩니다
(a) 프로그래밍 패널:편집 패널의 TextAlive 인터페이스 중 하나인 프로그래밍 패널을 사용하여 사용자는 가사 애니메이션 템플릿으로 준비된 프로그램을 표시하고 편집할 수 있습니다 편집된 프로그램이 즉시 실행되며, 가사 애니메이션이 업데이트됩니다 결과는 즉시 표시되므로 프로그래밍을 처음 배우는 사용자가 인터페이스를 더 쉽게 사용할 수 있습니다 또한 간단한 표기법으로 프로그램에 간단한 설명을 추가함으로써 사용자는 템플릿의 시각적 효과를 사용자 정의할 수 있는 슬라이더와 같은 인터페이스를 편집 패널에 추가할 수 있습니다(그림 4) 프로그래밍을 하지 않는 사용자라도 이 인터페이스를 사용하여 의도한 대로 효과를 낼 수 있습니다
(b) 웹 API:TextAlive에서 제공하는 웹 API를 활용하여 사용자는 웹페이지에 가사 애니메이션을 표시하거나, 가사 애니메이션과 동기화된 움직이는 콘텐츠를 표시하거나, 가사에 국한되지 않는 텍스트 콘텐츠에 애니메이션을 적용하여 표시할 수도 있습니다
 |
그림 4: 프로그래밍 패널 사용 예
템플릿 프로그램 리프 번호의 기본값을 5에서 9로 변경하면 표시되는 빨간색 원의 수가 변경됩니다 표시된 최종 화면에는 편집 패널에 추가된 나뭇잎 수를 조정하기 위한 슬라이더가 있습니다 따라서 프로그래머가 인터페이스를 준비함으로써 프로그래밍을 하지 않는 사용자라도 원하는 리프 수를 설정하고 의도한 효과를 반영할 수 있습니다 |
연구원들은 누구나 웹 브라우저에서 사용할 수 있는 가사 애니메이션 제작 지원 서비스인 "TextAlive"에 대한 지속적인 연구, 개발 및 운영을 계획하고 있습니다 새로 개발된 기술은 바카라 게임 이해 기술로 바카라 게임의 내용을 자동 분석하여 획득한 정보를 바탕으로 자동으로 콘텐츠를 제작할 수 있으며, 프로그래밍 환경 기술은 콘텐츠의 시청과 편집을 원활하게 넘나들 수 있는 인터페이스를 제공합니다 연구진은 업계와 협력하여 바카라 게임 유통 서비스, 바카라 게임에 국한되지 않는 콘텐츠 제작 지원, 프로그래밍 교육 등 다양한 애플리케이션으로 이러한 기술을 확장할 계획입니다