AI를 활용한 챌린지 댄스 종합 플랫폼 - 저스트챌린지 1

인공지능 사관학교에서 진행한 최종 프로젝트로
이 프로젝트는 AI 자세분석을 활용한 챌린지댄스 종합 플랫폼 웹을 기획하고 제작한 프로젝트 입니다.

제안 배경

최근 몇년간 유튜브 쇼츠, 인스타그램 릴스, 틱톡 등 짧은 동영상 콘텐츠를 제공하는 숏폼 플랫폼이 급성장함에 따라 동영상 컨텐츠들은 롱폼 컨텐츠에서 바쁜 현대인들을 저격한 '짧은 영상 길이', '낮은 진입 장벽'의 숏폼 컨텐츠로 대체 되었다.이러한 현상은 댄스 분야 마저도 예외가 아니였고 원곡 안무에서 20~30초 정도 하이라이트 안무만 추는 일명 챌린지 댄스는 하나의 춤 장르로 자리 잡았을 뿐만 아니라 가수들의 신곡 홍보의 필수 요소로 자리 잡음에 따라 AI 자세분석을 활용한 챌린지댄스 종합 플랫폼 웹을 제안해보았다. 

유사제품 현황 및 비교

현재 춤, 요가, 헬스 연습을 중심으로 한 서비스는 제공되고 있긴 하지만 챌린지 댄스를 중심으로 서비스를 제공하는 웹은 존재하지 않았기 때문에 이점에서 아이디어를 착안해 챌린지 댄스를 종합적으로다루는 플랫폼을 기획하여 현대인의 마음을 저격해보기로 했다.

 

 

개발 목표

크게 두가지로 설정

1. 나의 춤이 원곡자의 춤과 동작이 어느정도 유사한지 , 어디가 부족한지 확인할 수 있는 동작 유사도 비교 기능 구현

2. 위 기능을 기반으로한 웹사이트 구축

두가지를 큰 틀로 잡고 프로젝트를 진행했다.

 

개발 내용

첫번째 개발 목표였던 동작 유사도 비교 기능은 먼저 사용자로부터 받은 영상 데이터를 미디어 파이프 라이브러리를 활용해 한 프레임당 얼굴, 손가락, 발가락 좌표를 제외한 총 12개의 관절 좌표들을 각각 추출하고 리스트에 저장한 뒤 이를 데이터 프레임화 시켜줬다.

데이터 프레임화 된 사용자의 관절 좌표와 아티스트의 관절 좌표를 비교하기 위해 맷플롯(Matplot) 라이브러리를 통해 시각화를 해주게 되면 각각의 키포인트들의 유사도를 시각적으로 비교해 볼 수 있는 12개의 그래프를 확인할 수 있다.

 

데이터 필터링 

하지만 위 처럼 단순하게 비교한다면 정확도는 상당히 떨어질 수 밖에 없다.

정확도 문제를 해결 하기 위해 우리 조는 2가지 필터링 과정을 거쳤다.

1. 한 프레임당 사람이 나올 때 그 사람의 크기는 모두 다르기 때문에 이를  맞춰주기 위해 L2 normalize 알고리즘을 사용해 키포인트 좌표들을 정규화 시켜줬다.

2. 사용자들이 모든 프레임에 정확히 동작을 따라하는 것은 매우 어렵기 때문에 동적시간와핑, dtw 알고리즘을 사용해 실제 동작을 조금씩 느리게 하거나 조금씩 빠르게 하는 것에 대한 약간의 보정처리를 완료했다.

 

이렇게 필터링이 끝난 키 포인트들을 코사인 유사도를 통해 점수화 시켜준 후 유사도간의 평균값을 구해 최종 동작 유사도 점수를 얻을수 있었다.

시연 영상(영상이 담기지 않아 이미지 파일 활용)

메인 페이지

로그인, 마이페이지, 코스탐색, 랭킹으로 이루어져 있다.

코스 탐색 페이지

여러개의 챌린지 댄스를 확인할 수 있으며 해시태그를 통해 챌린지 댄스 핵심 키워드 확인 가능 , 좋아요 기능을 통해 좋아요 보관함을 통해 챌린지 댄스를 담을 수 있다.

챌린지댄스 상세페이지

챌린지 댄스 왼쪽 하단은 탄생배경, 아티스트 정보를 확인할 수 있고 한줄평 코멘트도 남길 수 있다.

연습 시작하기

연습 시작하기 버튼을 누르면 안내사항이 나온 뒤 연습을 할 수 있는 페이지가 제공된다.

좌측에 있는 연습 영상을 보고 따라하면 실시간으로 동작의 정확도를 평가해준다.

우측은 제한시간, 연습시간, 총 연습시간을 알 수 있다.

다음 스텝으로 진행시에도 이번 페이지와 동일하게 연습을 실시 한다.

 

 

연습 종료

연습 종료 키를 누르게 되면 연습 결과를 확인할 수 있다.

대회 참가하기

대회 참가하기 버튼 클릭 후 나의 파일을 업로드 하고 평가하기 버튼을 누른다.

평가 하기를 클릭 시 분석 결과를 유사도 점수를 기반으로 펌프 게임 하는 것처럼 보여준다.

 

순위 확인 -랭킹 페이지

랭킹 페이지 에서는 챌린지 댄스 별로 순위가 매겨져 있고 다른 사용자의 챌린지 댄스 영상을 시청할 수 있다.

또한 댓글 기능을 통해 다른 사용자들과 피드백 기능을 받을 수 있다.

 

마이페이지

연습리포트, 좋아요, 내 수강 후기, 내 랭킹, 내 정보 변경 등 다양한 서비스 이용 내역을 관리 할 수 있다.