2023. 11. 22. 17:23ㆍ활동/공모전(IT)
결과: 탈락
https://nanum.etri.re.kr/useCasesDetail?id=96
ETRI AI Nanum
nanum.etri.re.kr
로그인 해야 보입니다
21세기로 들어오면서 필름카메라가 사라지고, 대부분 디지털카메라로 바뀌었습니다. 과거와 달리 누구나 쉽게 스마트폰으로 사진을 촬영하다 보니 사진이 너무 많아지는 현상이 이 핸드폰 저 핸드폰에서 발생하게 되었습니다. 또한, 캡처 사진들과, 여러 다운로드된 사진들 속에서 내가 원하는 사진을 찾기란 쉽지가 않기에 이러한 부분을 오픈 API를 사용하여 해결하기 위해 저희 팀은 PF Picture Finder를 제작하기로 하였습니다. 사진을 대용량으로 업로드를 한 뒤에 사용자가 ‘사람과 강아지가 산책하는 사진을 찾아줘’라고 질문하면 형태소를 분석해서 레벤슈타인 거리 유사도를 거쳐 업로드한 사진들의 탐색 된 객체와 사람이 있으면 사람의 상태(산책)을 분석하고, 해당 태그와 질문의 유사도를 분석하여 가장 높은 사진을 사용자에게 추천해 줍니다.
정리하면(예시)
1. 사용자가 사람과 강아지가 산책하는 사진을 찾아줘 라고 질문합니다.
2. 앨범에 있는 사진들의 탐지된 객체(사람과 개)와 사람이 있으면 사람의 상태(산책)를 분석한다. DB가 있으면 미리 분석해서 가지고 있을 수 있습니다.
3. 해당 태그(탐지된 객체 + 사람 상태)와 질문의 유사도를 분석하여 가장 높은 사진을 찾아냅니다.
일련의 과정을 통해 사용자는 무수한 정보의 바다에서 원하는 결과를 쉽고 빠르게 얻을 수 있습니다.
유클 팀에서 사용한 API는 3가지로 다음과 같습니다. 객체 검출 API, 사람 상태 이해 API, 언어 분석 API. 각 API에 관해서 설명하면
1. 객체 검출 API
이미지 인식 기술에 있는 객체 검출 API를 활용하여 입력된 이미지로부터 객체를 검출하여 카테고리, 검출 신뢰도, 검출 박스 좌표를 제공받습니다.
2. 사람 상태 이해 API
이미지 인식 기술에 있는 사람 상태 API를 활용하여 사진 안에 있는 모든 사람의 영역을 자동으로 검출하고, 해당 사람의 상태를 판단하여 결과(각 속성 검출 신뢰도, 검출 박스 좌표)를 제공합니다.
3. 언어 분석 API
언어 분석 기술 중 형태소 분석 API를 활용하여 한국어 어휘 형태 및 의미와 문장의 구조 및 의미를 분석하기 위해 문장을 분해할 수 있는 의미 최소단위로 분리하고 품사를 태깅하고 이를 레벤슈타인 거리 유사도를 활용하여 비교 분석하였습니다.
우선 프론트엔드는 동작이 부드러운 리액트를 활용하였습니다. 컴포넌트 중 일부는 antd를 활용하여 애니메이션이 부드럽게 만들었습니다. 사용자가 편하게 화면을 볼 수 있게끔 다크 모드의 색감을 선택하였고, 직관적인 디자인을 선택하였습니다.
우선 사용자가 파일을 올려주면 이러한 정보를 Redux를 통해 데이터를 저장하고,
사용자는 원하는 사진의 종류를 줄글 형태로 입력합니다.
마지막으로 사용자가 전송 버튼을 누르면 Redux Saga를 통해 비동기 요청을 보내면 데이터가 오기까지 클릭이 안 되게끔 막아 놓습니다.
그러면 사진들과 사용자가 작성한 데이터가 백엔드로 전달됩니다.
사진들의 경우 각각 객체 검출 API를 이용해 객체 정보를 검출하고 대응하는 한국어 객체 단어로 매핑을 수행하며 또한 사람 상태 이해 API를 이용해 사진에 등장하는 사람의 자세 정보 예측을 통해 마찬가지로 한국어 동작 단어로 매핑을 수행합니다.
이때 사람 상태 정보는 형태소 태그 VV 즉, 동사에 해당하는 단어로 표현되기 때문에 {"Standing": "서", "Walking": "걷", "Crouch": "웅크리", "Running": "달리", "Lying": "눕", "Sitting": "앉"}과 같이 매핑을 진행했습니다.
이렇게 수집한 사진 속 객체 및 사람 상태 정보를 이용해 사진마다 태그를 생성하였습니다. 사용자의 요청 사항 텍스트의 경우 형태소 분석 API를 이용해 일반 명사(NNG) 및 동사(VV)에 해당하는 단어만 취사 선택하였습니다.
이렇게 선택된 명사 및 동사 형태소는 사진에 태그된 객체 및 사람 상태 정보와의 레벤슈타인 거리 유사도 측정을 통해 유사도가 일정 수치 이상으로 나타나는 사진에 대해서 결과로써 전달하게 됩니다. 최종적으로 다시 사진들을 프런트에 넘겨주게 되고, 사용자는 넘어온 사진들을 슬라이드로 볼 수 있게 됩니다.
[여러가지 사진 리스트]
[사진 클릭 시 슬라이드로 볼 수 있음]
위의 작동방식은 동영상으로 촬영하여 첨부 파일로 업로드 하였습니다.
코드의 경우 테스트 코드만으로 충분히 이해할 수 있고 로직 상으로는 더 이해하는데 쉬우므로 초기 디자인에 사용했던 테스트 코드를 첨부합니다
저희 프로젝트의 가장 큰 독창성은 웹에서 이루어진다는 점입니다. 기존에 사진을 검색하기 위해서는 프로그램을 설치해야 하는 번거로움이 있었습니다. 또한, 그래픽 카드가 좋지 못한 PC에서는 이러한 이미지 처리에 시간이 훨씬 오래 걸리는 경우도 있었습니다. 특히 일반적인 업무용 PC에서는 성능 좋은 그래픽 카드를 사용하지 않기에 이런 PC에서 대량의 사진 속에서 원하는 사진을 찾기 위해서는 인적 자원이 소비되는 것이 필수 불가결이었지만, 이 서비스를 통해 인터넷만 된다면 누구나 편하게 언제 어디서든 접근할 수 있다는 점이 저희 프로젝트의 독창성입니다. 또한, 이렇게 모이는 여러 데이터를 토대로 AI의 학습력을 강화한다면 속도의 개선의 여지가 있고, 여러 API를 비동기적으로 처리하여 속도에서 많은 이득을 본 것이 저희 프로젝트의 우수성입니다.
(속도에서 개선의 여지가 있다.)
위 사이트는 사진 관리 및 정리에 큰 도움을 줄 수 있습니다. 일상생활에서 많은 사진을 찍게 되는데, 그중 특정 이벤트나 특별한 순간을 기억하려면 찾기가 어려울 때 이 프로그램을 활용하면 원하는 사진을 특정 키워드로 검색해서 쉽게 찾을 수 있습니다. 기업이나 조직에서도 대량의 사진을 효과적으로 관리하고 활용할 필요가 있기에 기업용 데이터베이스 및 사진 관리 솔루션으로 확장될 수 있습니다. 또한, 사진 검색 및 정리 서비스로써 클라우드 플랫폼과 연동하면 더 많은 사람들에게 제공될 수도 있습니다. 이러한 접근성은 기존에 갤러리에서 검색하는 것이 아닌 대용량의 사진 리스트를 PC에서 인터넷만 가능하다면 별도의 설치프로그램 없이도 누구나 빠르게 검색할 수 있다는 장점이 있습니다. 또한, 유튜브가 기존의 검색플랫폼을 대체하고, 청소년들이 가장 많이 이용하는 포털이 된 현재 상황에서는 썸네일이 매우 중요하게 여겨지고 있습니다. 수많은 영상 속에서 원하는 영상을 제목이 아닌 썸네일로 기억할 경우 이런 기능을 활용하여 쉽게 검색할 수도 있고, 썸네일을 제작하는 사람들도 비슷한 분위기의 썸네일들을 모아서 한 번에 편하게 볼 수 있기에 비디오가 기본 정보인 세상에서 그 썸네일을 인식할 수 있는 기능은 매우 활용 범위가 높다고 할 수 있습니다.
쓸려다 버린글
2023년 9월 기준, 대한민국에서 사람들이 가장 많이 방문한 웹 사이트는 46.7억 명의 방문자 수를 보유하고 있는 ‘유튜브’이다. 이는 2위인 구글(14.3억 명), 3위인 네이버(9.5억 명)보다 3배 이상 차이나는 숫자이다. 최근의 초등학생들은 검색을 유튜브에서 할 만큼 인터넷은 기존의 글 위주의 형식에서 영상 위주의 형식으로 바뀌는 추세다. 그렇다 보니 예전 영화감독 혹은 PD들만 사용하던 동영상 편집을 이제는 누구나 쉽게 할 수 있는 다양한 도구들이 많이 발달하였다. 하지만 영상의 경우 제작 기간보다 소비 기간이 짧아서 이를 위한 다양한 도구들이 세상에 나오고 있다.
편집기술을 많이 발전하였지만, 편집을 위한 데이터 전처리에는 아직 어려움이 있다. 동영상을 편집하기 위해서는 원하는 장면만을 찾아서 사용해야 하지만, 기존에는 원하는 장면을 찾기 위해서 영상을 빠르게 넘겨볼 필요가 있었다. 직접 찾아야 하는 상황에서 모든장면을 볼수가 없으니 사용자는 영상을 빠르게 재생하거나 화면을 넘기면서 봐야했다. 그러다보면 원하는 장면이 넘어가기도 하고, 처음부터 봐야하는 상황이 생겨 열러번 돌려보게 되는 현상이 발생했다. 이러한 문제를 해결하고자, 인터넷에서 원하는 정보를 검색하듯이 ETRI 오픈 AI를 활용하여 동영상에서 원하는 장면을 검색하는 기능을 개발하였다.
출처
트레픽 순위
https://ko.semrush.com/trending-websites/kr/all
0대에게 직접 물었다…“진짜 유튜브가 검색 플랫폼이야?”
'활동 > 공모전(IT)' 카테고리의 다른 글
| 2022 KOSPO 웹서비스 정보보안 경진대회 (0) | 2024.05.22 |
|---|---|
| 캡스톤디자인_ 우수상 (0) | 2022.07.22 |