본 프로젝트는 장기 프로젝트로 제안서 이후에도 여러 진행상황이 올라가는 글이다.
이유는 4학년 1학기 과목인 '종합설계'의 프로젝트로 블로그 주인 한량(A.K.A Jin)의 졸업작품이며,
이 과정에서 상세하게 동료들과 함께 어떤 생각을 했고, 어떤 공부를 했고, 발표는 어땠으며, 어떻게 서비스를 발전시켰는지 그 과정을 증명하고 기록하고 싶다.
종합설계
제안서
| 과제명 | 실시간 에어터치 프로그램 (SETIVB) | ||||
| 발표자 | Jin | 제출 일자 | 2023-03-07 | ||
| 연구참여자 (담당 분야) |
팀장: Jin( 팀 관리, 응용 S/W 개발, 웹 백엔드 ) 팀원: Yang( 자료조사, 응용 S/W 개발, 웹 백엔드 ) Jeon ( 자료조사, 웹 프론트엔드 개발 ) |
||||
| 지도교수 | Kim 교수님 | (조이름) | Set To Title | ||
1. 설계과제 제목
팀 Set to Title – 실시간 영상처리 객체 인식 기반 “에어터치” 프로그램
프로그램 명 “세티브”{ SETIVB (Set To Title’s Virtual Board) }
2. 설계과제 추진 목적
① 정보통신공학 프로젝트의 설계 능력 점검, 이론 학습과 프로젝트 중 발생한 문제 해결력 배양
② 프로젝트 주제에 대한 팀 워크 능력, 학우 간 상호보완적 교류로 성장 도모
③ 팀이 희망하고 목표로 하는 기업의 실무에 필요한 능력 개발
④ Web, openCV, 머신러닝과 응용프로그램을 접목해 전체적인 동작을 이해하고
난도 높은 과제를 학습하며 도전정신 함양
3. 과제의 필요성
3.1 과제추진동기
4차 산업혁명은 기존의 기술들이 융합되어 발전해 나가고 있다. 그중 핵심기술로 인공지능을 빼놓을 수 없다.
최근 세상의 주목을 이끈 중요한 사건의 목록에는 구글의 딥러닝 기반 AI
알파고(AlphaGo)와 바둑기사 “이세돌”의 대국이다.
최상위 실력을 갖춘 우리나라의 바둑기사는 인공지능에게 패배의 쓴맛을 보았고
인공지능은 학계를 넘어 전 국민에게 존재를 알렸다.
무섭도록 빠른 인공지능의 발전은 계속되고 있다.
일각에서는 인공지능이 사람의 일자리를 위협한다는 의견도 있지만, 오히려 위험한
산업현장, 도로 및 항공에서 인류의 안전을 위해 필요하고 더 나아가 인류의 다음
해결과제인 우주 공간으로 진출에서도 빠져서는 안 될 기술이다.
칼과 불이 무서워 고기를 썰지 못하고 익히지 못할 수 없듯 우리는 인공지능을 정확히
알고 사용할 줄 알아야 한다.
웹과 앱 또한 우리의 삶에 깊숙이 자리 잡았다.
ICT 기술의 최고 발명품 중 하나인 웹은 언제 어디서든 실시간으로 다양한 정보를 교류할 수 있다. 이제 모든 시장은 동네, 국내를 넘어 전 세계가 되었다.
운영 체제 위에서 실행되는 소프트웨어들을 뜻하는 앱은 막대한 편리성을
가져다주며 용도에 따라 무궁무진한 형태로 개발할 수 있다.
IT 시장의 큰 부분을 차지하던 컴퓨터의 앱과 웹은 앞으로도 끊임없이 발전하며 우리의 삶과
함께할 것이다.
팀 Set to title은 나열한 기술들을 모아 사용자의 편리함, 그리고 우리 팀의 성장을 위해
컴퓨터를 사용할 때 유선, 무선 마우스를 넘어 ‘에어터치’의 형태로
웹캠으로 손동작을 인식하여 입력할 수 있는 장치라는 아이디어를 떠올렸다.
후보 주제를 냉정하게 평가하고 팀원 각자의 자기 객관화를 통해 구현 가능성을 측정한 결과,
소프트웨어 프로그램을 채택했으며 실시간 웹캠 데이터를 사용하여 손동작 인식으로 제어 가능한 에어터치 프로그램을 만들기로 했다.
팀원이 각각 진출하려는 분야인 S/W, Web 개발자가 알맞게 구성되었고
맡은 분야에 책임을 다해 이번 프로젝트를 마무리한다.
3.2 관련 제품 시장조사 및 특허 조사
3.2.1 시장조사
case 1:
[손 안 대고 화면 제어… ‘에어터치’로 비대면 시대 주역 노린다.]
2021년 8월 8일 베오텍의 에어터치 기술은 주문 검색용 디스플레이를 직접 터치하지 않고 사용자의 손동작을 파악해 원격으로 화면을 제어할 수 있는 비접촉 시스템이다.
회사 대표인 ‘최 대표’는 “이 시스템은 AI 딥러닝 기술을 기반으로 불특정 사용자의 다양한 손동작을 사전에 학습시켜서 가능했고 이로써 에어터치 키오스크를 처음 접하는 사용자도 손쉽게 사용이 가능하다”라고 말했다.
이어 “밝은 옥외에서나 자동차 안에서, 두꺼운 장갑을 낀 상태 등 사용이 가능하도록 편의성을 극대화했다”라고 설명했다.
원문 : https://www.fnnews.com/news/202108081831483714
이러한 에어터치 키오스크는 올해 출시가 목표라고 한다.
이 기술은 차후에 가상, 증강현실 환경에서 별도의 입력장치 없이 맨손으로 사물을 제어할 수 있는 손동작 인식 시스템을 개발하고 있다.
사람들이 많이 사용하는 일반 음식점 및 영화관의 영화표 발권용 키오스크를 직접 닿는 터치가 필요 없는 에어터치 기술을 적용할 수 있다.
코로나 19로 언택트가 대세를 이루면서 은행 및 병원의 번호표 발행기, 백화점 및 쇼핑몰의 정보검색용 디스플레이 등에서도 필요하다.
case 2:
["터치 안 해도 동작"…롯데리아에 등장한 에어터치 키오스크]
버거 프랜차이즈 롯데리아와 커피전문점 엔제리너스가 화면에 손가락을 접촉하지 않고도 동작하는 무인 키오스크를 선보였다. 신종 코로나바이러스 감염증(코로나 19) 확산을 막기 위한 예방책이다.
롯데 GRS는'에어텍트 스크린'을 서울 4곳 매장에서 시범 운영한다고 10일 밝혔다.
롯데리아 강남 우성 사거리 점·노량진점과 엔제리너스 수유역점·건대역점 등에 설치했다.
에어텍트 스크린은 단말기 앞 공간을 터치하면 동작을 인식해 작동한다.
롯데 GRS는비주얼 햅틱이라는 기술을 접목한 기기로 공항, 역사, 은행 등에서 사용되고 있어 매장에서도 한 달간 시범운영 하기로 했다"라고 말했다.
원문: https://m.news.nate.com/view/20201110n14142
3.2.2 특허 조사
case 1:
특허명 : 카메라 중심의 가상터치를 이용한 원격 조작 장치 및 방법
Remote control apparatus and method using camera centric virtual touch
특허 등록번호 : 10-1533319
특허 등록 / 공고(시행) 일자 : 2015-06-26 / 2015-07-03
< 해당 특허의 핵심 기능 요약 >
본 발명은 카메라 중심으로 눈과 손가락의 연장 직선으로 연결되어 만나는 카메라를 이용하여 주시 설정을 하거나 사용자의 손가락 끝의 움직임(제스처)을 통한 원격 가상 터치를 이용하여
전자기기의 구동 조작을 제어하는 카메라 중심의 가상 터치를 이용한 원격 조작 장치 및 방법을 제공하기 위한 것으로서, 영상 촬영을 통해 사용자 신체 영상을 획득하는 영상 획득부와, 상기 영상 획득부로부터 수신한 영상을 이용하여 사용자 신체의 제 1 좌표(눈) 및 제 2 좌표(손가락, 포인터)의 위치를 나타내는 좌표 데이터를 산출하는 위치 산출부와, 카메라 렌즈를 중심으로 위치 산출부에서 산출된 좌표 데이터를 기반으로 확인된 사용자 신체의 제 1 및 제 2 좌표의 위치가 연장 직선으로 연결되는 매칭 여부를 확인하여 매칭이 확인되면 사용자의 설정 의도가 있는 것으로 판단하는 매칭 확인부를 포함하여 구성되는 것을 특징으로 한다.
< 기대 효과 >
에어터치를 실용화하면 코로나 19의 확산을 미리 차단할 수 있고, 리모컨이나 마우스 등의 입력장치 없이 손으로 지정할 수도 있다. 또한, 이 기술은 홍채와 손가락이 어디를 보고 가리키고 있는지 둘 다 확인, 즉 이중 확인을 통해 정확도를 높여 사용하기 편리하다.
3.3 과제추진의 필요성
코로나 19 상황에서 감염 예방을 위한 최고의 방법은 단연 ‘언택트’로 접촉하지 않는 것이다.
에어터치 기술은 이러한 언택트를 위해 더 상용화되고 발전되어야 할 필요가 있으며 코로나 19가
저물어가는 지금, 혼란스러웠던 사태를 잊지 않고 다른 바이러스 상황에 미리 대비할 필요가 있다.
리모컨 없이 사람의 하드웨어로만 동작하는 편리한 기술이 필요하다.
기존엔 다양한 리모컨을 목적에 맞게 보유하고 사용하는 형태였지만 이제는 신호 송신부의 역할을
하는 하드웨어 없이 수신부에서 사람의 하드웨어(눈, 손 등) 동작을 인식하여 작동한다면 매우 편리할 것이다.
Al 딥러닝 기반의 에어터치는 현재 특허 조사 case: 1, 주식회사 브이터치의 ‘에어터치’ 기능이
가장 완벽한 기술이다.
다른 특허 기술들은 존재하지 않고 독보적인 기술을 보유한 회사이다.
㈜브이터치는 AI 딥러닝 기반의 에어터치 키오스크는 존재하지만 이를 키오스크가 아닌 웹캠에서는
활용하지 않는다.
우리 팀은 카메라가 있는 컴퓨터만 있다면 어디에서든 사용할 수 있는 에어터치를 구현하여 감염
예방, 장시간 사용으로 인한 육체의 피로와 질병을 예방하고 마우스가 차지하는 공간을 절약한다.
시장조사 및 특허 조사 결과, 현재까지 진행된 AI 딥러닝 기반의 ㈜브이터치의 에어터치
키오스크만 존재하는 상황이다. 즉, 우리 팀의 프로젝트 성공 의미가 대단히 클 것으로
기대한다.
4. 프로젝트 목표와 기준
팀에서 달성하고자 하는 프로젝트의 목표는 다음과 같으며, 아래 표의 현실적 제한요소들을
고려하여 팀원 모두 만족하는 수준으로 구현하는 것을 목표한다.
목표 1. MediaPipe 모듈을 통한 실시간 영상 객체 인식 처리
MediaPipe 모듈을 통해 학습된 이미지를 활용하여 기능 구현
사람의 하드웨어(손, 눈 등) 데이터를 학습시켜 정확도 높은 인식
인식 이후 객체 박스의 입력값을 정확한 좌표로 저장
목표 2. 윈도우 기반 운영 체제에서 웹캠과 함께 작동
대중적인 윈도우 운영 체제를 기반으로 구성된 애플리케이션을 통해 동작
웹캠 객체 인식 후 저장된 정확한 좌표를 마우스 입력값으로 맵핑
손짓 등으로 가상 칠판 위에 다양한 기능 구현
가상 칠판 화면 해상도에 맞게 웹캠 해상도 Zoom 맵핑
목표 3. 애플리케이션을 설명, 배포할 웹 페이지 구현
웹 서버 환경 구축 이후 동적인 기능 설명 페이지
해당 웹 페이지 메뉴에 다운로드 연결
파일을 항상 준비하고 배포할 수 있는 서버와 DB or 클라우드 연결
표 1. 본 설계과제의 현실적 제한요소 항목
| 현실적 제한요소 | 내 용 (Content) |
| 경제 | - ‘SETIVB’는 순수 소프트웨어 제품이므로 경제적 부담 無 - 하드웨어 시스템과 반대로 유지 및 보수 유리 |
| 편리 | - 거리에 따라 맵핑 값이 달라져 사용 거리 제한 인식 범위 내 어디서든 입력 가능한 프로그램으로 다양한 강의 및 강연 활용 |
| 윤리 | - 본 프로젝트 주제는 도덕적, 윤리적으로 제한되는 문제 요소 無 - 접촉으로 인한 전염병 예방으로 윤리적인 프로젝트의 이미지 구축 |
| 사회 | - 본 프로젝트 주제는 사회적으로 제한되는 문제 요소 無 접촉으로 인한 전염병 예방으로 사회적인 프로젝트의 이미지 구축 |
| 내구성 | 앱 시스템 특성상 윈도우 버전 업데이트 등으로 지속적인 관리 필요 소프트웨어 제품으로 유지보수가 쉬우며 장기적으로 활용 가능 |
5. 원가 분석
⑴ 개발 환경
사용 Tool & Library :
Python, HTML5, CSS3, Java Script, Node JS, Tensorflow, Mediapipe, OpenCV, Web
통합 환경 : MicroSoft Windows, VScode
서버 : PC 호스팅 or 클라우스 서버 활용
DBMS : MySQL 등의 적절한 DB or AWS 클라우드 DB
-> 전체적인 개발 환경 비용 = 200,000￦
| 내용 | 비용 | |
| 웹 서버 | 웹 서버 | 200,000 |
| 웹 개발비용 | 0 | |
| 애플리케이션 | 그래픽 UI | 0 |
| S/W 개발비용 | 0 | |
| 인공지능 | 머신러닝(기계 학습) 비용 |
0 |
6. 작품 외관
팀 자체 제작 에어터치(Air Touch) 프로그램 아이콘
에어터치 작동 예상 이미지
(Mediapipe를 통한 객체 모양과 제스처를 인식하여 작동)
7. 설계과제 내용
사용자가 웹 페이지에서 다운로드 가능한 에어터치 프로그램을 설치 후 실행하면
프로그램은 웹캠을 통한 손의 동작들을 입력받아 윈도우 기반에서 에어터치를 사용할 수 있다.
7.1 설계 기초이론
- YOLOv5 : You Only Look Once(version 5)의 약자로 딥러닝 기반 실시간 객체
인식 모델이다. 이름에 특징이 잘 드러나 있는데 기존의 객체 인식 기술은 이미지를 분할하여 인공신경망을 활용하는 R-CNN(지역 기반 신경망)이었다면 YOLO는 한 번만 보고 객체 인식이 가능하다.
- OpenCV : Open source Computer Vision의 약자로 인텔이 개발한 실시간 영상
처리에 중점을 둔 프로그래밍 라이브러리다.
- Mediapipe : 구글에서 제공하는 AI 프레임워크로서 비디오형식 데이터를 이용한
다양한 비전 AI 기능을 파이프라인 형태로 손쉽게 사용할 수 있도록 제공된다.
AI 모델 개발 및 많은 데이터를 이용한 학습도 마친 상태로 제공되어 라이브러리를 불러 사용하듯 간편한 호출로 사용이 가능한 AI 기능 개발이 가능하다.
- Tensorflow : 데이터플로 그래프를 활용해 수치 계산을 하여, 딥러닝(Deep Learning)과 머신 러닝(Machine Learning) 등에 활용하기 위해 개발된 오픈소스 소프트웨어이다.
- Java Script : 웹 페이지에서 사용자로부터 특정 이벤트나 입력값을 받아 동적인
처리를 목적으로 고안된 객체 기반의 스크립트 프로그래밍 언어이다.
- Vscode : 마이크로소프트가 윈도우, macOS, 리눅스용으로 개발한 소스 코드 편집기이다.
- Python : 컴퓨터 언어의 일종으로 간결하고 생산성 높은 객체지향 프로그래밍 언어이다.
- 영상처리 (Image Processing) : 입출력이 영상인 모든 형태의 정보 처리이자, 사진 및 동영상을 처리하고 화상을 2차원 신호로 여겨 표준적인 신호 처리 기법을 적용하는 방법이다.
- 객체 탐지(Object Detection)는 컴퓨터 비전 기술의 세부 분야 중 하나로써 주어진 이미지 내 사용자가 관심 있는 객체를 탐지하는 기술이다.
인공지능 모델이 그림 좌측에 있는 고양이 사진을 고양이라고 판별한다면 해당 모델은 이미지 분류 모델이다.
하지만 우측 사진처럼 물체가 있는 위치를 탐지함과 동시에 해당 물체가
강아지, 고양이, 오리라고 분류한다면 해당 모델은 객체 탐지 모델이다.
- 맵핑 (Mapping) : 기억 장치를 각각의 루틴이나 데이터 영역에 할당하는 것이다.
- HTTP : 하이퍼텍스트 전송 프로토콜(HTTP)은 HTML과 같은 하이퍼미디어 문서를 전송하기 위한 애플리케이션 레이어 프로토콜이다.
- AWS : Amazon Web Services(AWS)는 전 세계적으로 분포한 데이터 센터에서 200개가 넘는 완벽한 기능의 서비스를 제공하는, 세계적으로 가장 포괄적이며, 널리 채택되고 있는 클라우드 플랫폼이다.
7.2 기능 블록도
기능 및 블록도
8. 추진 체계
본 과제를 위한 팀은 총 3인으로 구성되며 다음과 같은 역할을 담당한다.
초기 단계인 목표 기준 설정에서 종료 시점인 발표 및 결과까지 상호 협력과 피드백을 통해 목표를 달성한다.
팀장 Jin : 프로젝트 기획, 프로젝트 관리, 팀 일정 총괄 운영, S/W 프로그램 설계,
Web 백엔드 개발, 발표, 자료 정리 및 제출
팀원 Yang : 프로젝트 기획, 윈도우 기반 S/W 프로그램 설계, Web 백엔드 개발, 자료조사, 아이디어 설계, 발표
팀원 Jeon : 프로젝트 기획, Web 프론트 엔드 개발, 자료조사, 발표
9. 설계 추진 일정: 2023년 3월 1주 차 ~ 2023년 6월 15주 차
| 수행 내용 | 일정 (1주 단위) | |||||||||||||||||||||||||||||
| 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | ||||||||||||||||
| 목표와 기준 설정 |
- 팀 결성 및 브레인스토밍 - 아이디어 주제 선정 |
|||||||||||||||||||||||||||||
| 합성 | - 지도교수 의뢰 - 지도교수 의견 공유 |
|||||||||||||||||||||||||||||
| 분석 | - 제안서 작성을 통한 프로젝트 방향 점검 |
|||||||||||||||||||||||||||||
| 학습 | 기초이론 독서 이론 실습 및 응용, 제작 |
|||||||||||||||||||||||||||||
| 제작 | - 발표 및 피드백 수용 - 다른 팀 평가 및 장점 수용 - 설계 수정 |
|||||||||||||||||||||||||||||
| 결과 | - 종합 설계 작품 완성 최종 발표 준비 및 시연 |
|||||||||||||||||||||||||||||
본 프로젝트는 3학년 2학기 '프로젝트 기획' 과목부터 제안서 작성을 마쳤고 계속해서 아이디어 수정과 개발을 진행 중이었다. 따라서 노란색은 계획, 파란색 칸은 진행상황을 의미한다.
10. 기대효과 및 활용 분야
- 사용자 측면
웹캠을 통해 에어터치가 가능하고 인식 가능 범위 내 이동이 편리하다.
기존의 VR 장비 사용의 경우에는 손잡이 형식의 리모컨을 끼워 클릭하는 형태로 이루어지지만, 이제는 웹캠만 있다면 손에 들리는 무게감 없이 편안하게 움직일 수 있다.
에어터치 방식을 더 발전시켜 카메라만 있다면 IoT 장비에서도 작동할 수 있게 구현하여 TV, 에어컨, 자판기, ATM, 감염 위험이 있는 병원의 번호대기표 등 시중에 나와 있는 에어터치
키오스크처럼 다양한 사용자에게 편리함을 줄 수 있는 긍정적인 효과가 있다.
- 팀 측면
유사한 프로젝트가 없고 특허와 시장조사 결과에도 유일무이한 기업 “㈜브이터치“만 존재하여
프로젝트 성공의 의미가 크다.
이런 환경에서 도전과 학습을 하는 장점이 있고, 계속해서 떠오르는 기술인 AI와
관련이 큰 AI 학습 모듈을 공부해 볼 수 있어 모든 팀원이 성장할 수 있다.
그리고 각자 원하는 웹, 시스템을 담당하여 원하는 분야를 학습하고 세미나를 진행,
맡은 분야의 지식과 더불어 다른 분야의 지식 또한 배울 수 있다.
- 미래적 측면
코로나 사태가 지속하면서 가상과 증강현실이 빠르게 발전하여 미래에는 마치 공상과학 영화처럼 입력장치를 필요로 하지 않고 손동작만으로 모든 것을 움직일 시대가 올 것이다.
증강현실이 발전하게 된다면 공간에 대한 제약이 사라지고, 가상현실 안에서 손동작으로 물건을 옮기고 칠판 없이 손으로 홀로그램 디스플레이에 글씨를 써 교사나 학생, 그리고 직장인 등
다양한 사람들이 사용하기 편리하다.
현재 대한민국은 엔데믹 절차에 돌입하여 전염병이 끝나는 추세이다.
전 세계가 혼란에 빠졌던 바이러스에 대응 방침을 두어 다음엔 더욱 잘 대처해야 한다.
이러한 측면에서 에어터치는 우리의 일상에 점점 필수 기술로 자리를 잡아 유용한 기술이 될 것이다.
- 전략적 측면
윈도우 기반과 응용프로그램 내에서 한정된 에어터치 프로그램이지만,
처음 IoT 에어 마우스에서 아이디어를 계속해서 다듬고 발전시켰고, 웹을 추가하여
프로젝트의 질이 높아졌다.
프로젝트를 진행하며 지속적으로 배우고 시야가 열린다면 무궁무진한 가능성을 기대한다.
위 사용자 측면을 전략적 측면으로 승화시켜 소형 카메라 등을 IoT 기기에 연결하여 리모컨
없이도 다양한 기기 등을 제어하도록 구현한다면 우리의 일상에 가까운 가구, 가전, 자동차와 같은 대기업 시장에 아웃소싱 형태로 공급하는 기업을 창업할 수 있다.
이는 매우 큰 파급력이며 시장에 프리미엄 가구, 가전 등의 형태로
당당히 이름을 내밀기를 기대한다.
- Set To Title -
'프로젝트(My Project)' 카테고리의 다른 글
| [프로젝트 : SETIVB] 2차 세미나 (0) | 2023.04.04 |
|---|---|
| [프로젝트 : SETIVB] 1차 세미나 (0) | 2023.03.21 |
| [프로젝트 : 주크패드] 라즈베리파이 4를 이용한 주크박스 & 런치패드 (1) | 2023.03.21 |
| [프로젝트] Node.js 랜덤채팅 웹 서버 프로그래밍 (0) | 2023.03.21 |
| [프로젝트 : 성결맵스] 대학교 맵 어플리케이션 (0) | 2023.03.21 |
