한이음 공모전				참가신청서, 개발보고서 작성 및 제출요령

1. 작성요령

1) 참가신청서

o 한이음 사이트 로그인 후 공모전(한이음 공모전) 선택 또는 팀블로그 보고서에서 공모전 개발        보고서 작성 선택하여 공모전 참가신청서 페이지로 이동

o 프로젝트명 영문, 작품명, 작품소개, 타대회 참가 신청 및 수상여부 등 작성 및 개인정보 수집·

이용 동의 후 개발보고서(Hwp), 제작설계서(PPT) 업로드

* 프로젝트명은 국문을 영작 하여 영문으로 기재해야 함

o 작품명은 “알람몬”, “카카오톡”과 같이 작품의 특성을 반영한 이름으로 작명하여 기재

o 작품소개는 2, 3줄 정도로 요약하여 어떤 기능을 하는 작품인지 명확히 기재

o 프로젝트 명 변경을 원하는 경우 팀블로그 – 신청서 – 수행계획서 변경을 통해 심의를 통과 한 경우에만 변경 가능(프로젝트 수행변경 신청 기간은 실습장비 신청 기간과 동일)

2) 개발보고서(Hwp)

o 개발보고서에 표지에 프로젝트명(국문/영문), 작품명 기재

o 개발보고서 본문 내용 작성 후 동일 항목의 핵심내용을 요약본에 요약 기재

o 작품내용이 작성항목 및 세부항목별로 충실하게 반영 될 수 있도록 작성

o 각 항목별로 제시된 평가항목을 고려하여 작성

o 사진은 용량을 최대한 축소하여 삽입하되 평가가능한 해상도 유지

o 세부 작성요령은 개발보고서 상의 작성요령을 참고하여 작성

o 신청접수 시 개발이 완료되지 않은 프로젝트는 최종목표를 기준으로 작성하되 현재까지의 진도 및 추후 개발계획이 명확히 드러나도록 작성

3) SW개발 및 HW제작 설계서(PPT)

o 첨부된 PPT의 양식에 맞추어 설계서 작성

o 슬라이드 2페이지 ‘수행 단계별 주요 산출물’ 내용 숙지 후 권장, 선택사항에 맞는 페이지 작성

3) 공통적용사항

o 문서 전체의 작성 수준으로 수행능력(문서완성도) 평가

o 모든 한글 문서 글씨크기 제목은 14, 내용은 12, 표는 10 으로 통일(글꼴 변경 금지)

o 블라인드 평가로 모든 서류(개발보고서hwp, SW개발/HW제작 설계서ppt)내 팀명, 팀원명 등

기재 금지

2. 제출요령

1) 접수방법

o 2020. 9. 15(화) 오후 1시까지, 한이음 사이트(www.hanium.or.kr)에서 접수(팀블로그 → 보고서)

* 접수기한 경과 시 시스템이 자동 종료되어 접수가 불가하며, 임박하여 접수 시 오류 수정이 어려우므로 가급적 1, 2일전 접수완료 바람

o 해당 프로젝트의 멘티(팀장)만 접수 가능

2) 분량

o 분량이 명시된 부분을 제외하고는 분량 제한이 없음

3. 개조식 작성예시  * 항목별 핵심내용만 작성

1) Best Case

2) Worst Case

ICT멘토링제도 운영 사업

2020 한이음 공모전

개 발 보 고 서

2020. 8.

프로젝트명	국문	영어 교육용 컨텐츠를 제공하는 로봇과 스마트미러
	영문	Robot and smart mirror that provide English educational contents
작 품 명	Turing robot

요 약 본

# 글꼴 맑은고딕, 사이즈 10, 글자색 검정, 줄간격 160, 판넬/책자 등 활용 예정

작품 정보 # 필히 1장으로 작성
프로젝트명	국문	영어 교육용 컨텐츠를 제공하는 로봇과 스마트미러
	영문	Robot and smart mirror that provide English educational contents
작품명	Turing robot
작품 소개	- Turing Robot 은 가정 내에서 아동 및 초등학교 자녀를 대상으로 한 영어 교육 IOT 로봇입니다. - IOT 서비스 중 하나인 외부인 알림 기능과 AWS 기능을 이용한 영문 내용 번역 및 리딩, 딥러닝을 이용한 영단어 퀵드로우 기능과 같이, 영어 콘텐츠와 IOT 서비스를 결합한 생활 밀착형 교육 로봇입니다.
작품 구성도	#필히 1장으로 작성하라고 명시되어 있어 아래 구성도에 크게 첨부했습니다.
작품의 개발배경 및 필요성	학습 격차 및 돌봄 노동의 부재로 인한 문제를 해결하기 위해 아동 및 청소년이 쉽고 간편하게 사용할 수 있는 생활 밀착형 교육용 IOT 로봇을 만들고자 팀을 만들어 로봇을 제작하고 있습니다.
작품의 특장점	- 여러 모듈을 구매할 필요 없는 일체형 로봇으로 사용하기 편리하고 쉽습니다. - Open Source 하드웨어와 Open Source 데이터셋 등을 이용해 Open Source로 코드를 배포하는 카피레프트 로봇으로 사용자가 기존의 로봇이 아닌 자신만의 로봇을 만들 수 있습니다.
작품 기능	- 크롤링과 AWS Polly를 이용하여 하루마다 업데이트하는 영어 신문 및 동화를 화면에 출력 및 음성으로 들려주는 교육용 콘텐츠 제공 - Android와 AWS Textract, S3 서비스를 이용하여 사용자가 번역하고자 하는 이미지를 번역하고 음성으로 들려주는 OCR(Optical Character Recognition) Reading 기능 제공 - Turing Robot에 장착된 터치 디스플레이를 이용해 직접 그림을 그려보면서 영어 단어를 배우는 학습 주도형 퀵드로우 콘텐츠 제공 - Turing Robot의 카메라를 이용한 외부인 감지와 Line API를 결합하여 제작한 외부인의 침입을 알리는 자녀 안심 서비스 제공
작품의 기대효과 및 활용분야	학교 이외의 사교육을 받기 어려운 중위권 자녀를 둔 맞벌이 가정을 위한 가정용 영어 교육 로봇은 코로나 19 이후 비대면 자기주도 학습을 추구하는 새로운 교육 방식에 알맞고, 자체적으로 탑재된 외부인 알림 서비스는 맞벌이 부모들이 걱정하는 자녀의 안전 또한 지켜줄 수 있습니다. IOT 서비스와 결합한 로봇은 4차 산업의 대표적인 산업인 IOT 서비스에도 결합할 수 있는 활용 분야가 매우 넓은 시장이라고 생각합니다.

본    문

# 본문 제목은 임의로 수정하거나 삭제할 수 없음

I. 작품 개요 # 작품개요는 2장 이내로 작성

※ 평가항목 : 기획력 (필요성, 차별성)

1. 작품 소개

1) Turing Robot

- Turing Robot 은 가정 내에서 아동 및 초등학교 자녀를 대상으로 한 영어 교육 IOT 로봇입니다.

- IOT 서비스 중 하나인 외부인 알림 기능과 AWS 기능을 이용한 영문 내용 번역 및 리딩, 딥러닝을 이용한 영단어 퀵드로우 기능과 같이, 영어 콘텐츠와 IOT 서비스를 결합한 생활 밀착형 다목적 로봇을 추구합니다.

2) 기획 의도

- 기존 교육용 로봇은 가정에서 사용하기에 가격이 비싸, 공공기관에서 소량으로 구매하여 혁신학교에 제한적으로 제공하는 방식이었습니다.

- 라즈베리파이와 같은 오픈소스 하드웨어와 구글의 Open Source 데이터셋을 이용한 자체 코드를 통해 가정에서도 쉽게 구매하거나 만들 수 있는 저가형 로봇을 배포하는 것을 목표로 제작하고 있습니다.

3) 작품 내용

- 크롤링과 AWS Polly를 이용하여 하루마다 업데이트하는 영어 신문 및 동화를 화면에 출력 및 음성으로 들려주는 교육용 콘텐츠 제공

- Android와 AWS Textract, S3 서비스를 이용하여 사용자가 번역하고자 하는 이미지를 번역하고 음성으로 들려주는 OCR(Optical Character Recognition) Reading 기능 제공

- Turing Robot에 장착된 터치 디스플레이를 이용해 직접 그림을 그려보면서 영어 단어를 배우는 교육용 퀵드로우 콘텐츠 제공

- Turing Robot의 카메라를 이용한 외부인 감지와 Line API를 결합하여 제작한 외부인의 침입을 알리는 자녀 안심 서비스 제공

2. 작품의 개발 배경 및 필요성

1) 작품의 개발 배경

- 코로나 19로 인해 학교 수업 의존도가 높은 맞벌이 부부 가정 자녀들의 성적이 하락하는 '학습 격차' 현상이 사회적 문제로 떠오르고 있습니다.

- 국내 유배우 가구 중 48.3%를 차지하는 맞벌이 가정의 자녀를 위한 정부 차원의 긴급 돌봄이 수요를 따라가지 못하고 있습니다.

- 초고령 사회에 진입하면서 노인들을 위한 평생교육과 돌봄 로봇의 필요성이 높아지고 있습니다.

2) 작품의 필요성

- 비대면 온라인 학습으로 부익부 빈익빈 구조의 가정 내 학습 격차를 줄이기 위해 가정에서도 쉽게 학습을 도와줄 수 있는 저가형 로봇이 필요합니다.

- 학습 격차 및 돌봄 노동의 부재로 인한 문제를 해결하는 데 도움을 주고자 어린아이들도 쉽고 간편하게 사용할 수 있는 생활 밀착형 교육용 IOT 로봇을 만들고자 팀을 만들어 로봇을 제작하고 있습니다.

3. 작품의 특징 및 장점

1) 특징

- Z세대인 청소년에게 익숙한 터치 디스플레이를 결합한 로봇 디자인을 추구하여 쉽게 사용 방법을 익힐 수 있는 사용자 친화형 인터페이스를 제공합니다.

- 라즈베리파이와 아두이노와 같은 저가형 오픈소스 하드웨어와 구글에서 무료로 제공한 데이터셋들을 적극적으로 이용한 Open Source를 이용하여 하드웨어와 소프트웨어 모두 가정에서 쉽게 이용할 수 있는 저가형 로봇을 추구할 수 있습니다.

2) 장점

- 가격이 비싼 IOT 상품의 기능과 교육 로봇의 기능을 결합하여 만들어 여러 모듈을 구매할 필요 없어 사용하기 편리하고 쉽습니다.

- Open Source 하드웨어와 Open Source 데이터셋 등을 이용해 제작 이후 메인 프로그램 기능의 코드를 주석과 함께 Open Source로 제공하여 기존의 로봇이 아닌 자신만의 로봇을 만들 수 있는 Design Free 로봇을 제공할 수 있습니다.

-기존의 교육용 로봇 기능에서 추가적으로 카메라를 이용하여 외부인 인식 시 Line으로 알림을 보내 집에 외부인 침입 시 바로 알 수 있습니다.

- 이미지 업로드 시 Text 추출 및 번역을 통해 음성 제공을 하고, Alexa custom Chatbot 기능을 통해 원하는 mp3 파일을 불러오는 등의 양방향 교육이 가능하다.

II. 작품 내용

※ 평가항목 : 기술력 (기능구체성, 난이도, 완성도)

1. 작품 구성도

1) 기능 흐름도

2. 작품 기능

1) 전체 기능 목록

구분	기능	설명	현재진척도(%)
S/W	애플리케이션&영어 이미지를 음성파일로 변환	안드로이드 앱을 통해 이미지를 S3에 전송하면 해당 이미지에 있는 내용을 한글로 번역 후 MP3 File로 변환하여 사용자에게 들려줌	100%
	사용자 그림 추론(quick draw)&Robot control	인공신경망 인공지능을 통해 사용자의 낙서 및 그림을 추론하여 답을 도출(9/30)	60%
	Rekognition & Line Notify	등록된 사용자가 아닐 시 외부인이 침입했다는 알림 메시지를 Line을 통해 전달	100%
	Crawling &GUI voice/text 출력	특정 웹사이트를 크롤링해서 text을 가져오고 mp3 파일로 변환하여 GUI에서 음성과 텍스트를 동시 출력	100%
	Chatbot & Custom 음성 컨텐츠 제공	AI Speaker를 이용하여 사용자와의 상호작용 제공 및 웹에서 올린 커스텀 된 MP3 file 출력.	100%
H/W	로봇	발화에 따라 음성과 모터제어가 가능한로봇 (9/30)	20%
	스마트 미러	발화에 따라 제어가 가능한 스마트 미러 (9/30)-미배송	20%

2) S/W 주요 기능

기능	설명	작품실물사진
이미지를 MP3 File로 변환	영어 이미지를 업로드 시, 해당 이미지에서 문자를 출력 후 한글로 번역한 뒤 text to speech 기능을 이용해서 음성파일 생성
Alexa Skill을 이용한 ChatBot 기능	Alexa skills를 이용하여 chatbot 제작, Alexa(AI speaker)을 통해 사용자 상호작용과 영어 교육용 컨텐츠 제공.
영어로 된 특정 주제의 글을 음성으로 변환하여 Voice/text 동시 제공	영어로 된 웹사이트의 특정 주제의 글을 Crawling 후 AWS Polly 통해 MP3 파일로 변환. QT를 이용한 GUI 로 사용자 터치를 통해 음성과 텍스트 제어 가능
얼굴인식 및 알림 서비스 기능	모니터링 중 인물이 등록되지 않은 경우 캡처 후 메시지(Line notify 이용)전송
사용자 그림 추론	딥러닝을 통해 사용자의 낙서 및 그림을 추론하여 답을 도출합니다. 또한 음성과 로봇의 움직임을 통해 사용자에게 도출해낸 답을 알려줍니다.

-chatbot은 시연 사진이 없어 코드로 대체함.

3) H/W 주요 기능

기능/부품	설명	작품실물사진
상황에 맞게 변화하는 로봇 /Raspberry Pi+module	컨텐츠 진행 시 상황에 따라 음성 출력, 동작 변화 등을 진행한다. 또한 프로그램의 제어를 담당한다. 몸통은 나무재질로 팔과 다리 머리는 3D 프린트를 이용해 제작예정이다.
스마트미러 /LCD 패널+Raspberry pi+module	발화를 통해 서비스를 제공하는 인터페이스.

-스마트 미러는 미배송으로 실물사진 없음(표사진은 예시사진)

-로봇은 3D 프린터로 제작 중.

3. 주요 적용 기술

1) 적용 기술

ㅇ 얼굴인식과 알림 기능- AWS Rekognition, Line notify

ㅇ Quick draw- Tkinter, Pillow, Playsound, TesorFlow

ㅇ Custom Chatbot- Alexa skills, AWS Lambda, node.js

ㅇ 이미지를 음성 파일로 변환+애플리케이션– AWS Lambda, S3, TexTract(OCR), Translate , Amazon Polly

ㅇ Crawling+GUI에서 Voice/Text 출력– QT5, EC2

ㅇ 웹- AWS EC2, node.js, JavaScript, HTML, Amazon Polly(txt 파일 MP3파일로 변환), S3(파일 스토리지)

ㅇ 서버- Raspberry Linux 10, Ubuntu 18.04

ㅇ 프로그래밍 언어- Python, Java

ㅇ 통합개발환경(IDE)- Android Studio, Jupyter Notebook, Pycharm

2)서비스 시나리오

3) 알고리즘

-Raspberry Pi에서 upload.py을 background 실행합니다. 실행 중엔 1초에 한 번씩 S3 Bucket에 캡처한 이미지가 업로드 됩니다.

Compare Face 함수를 통해 Lambda의 S3 트리거를 통해 들어온 사진과 기존 S3(1)(저장된 사용자 Bucket)의 이미지와 비교합니다. 그 후 return 값을 통해 외부인인지 아닌지 가려내고 외부인일 경우 Line notify API를 이용해서 메시지를 보내고 또 다른 S3(2)(외부인 Bucket)에 사진을 업로드 합니다. 이때 S3(2)의 life cycle은 10분으로 설정합니다.

이후 트리거로 들어온 이미지는 두 가지의 S3(1)(2) Bucket을 탐색하여 외부인을 가려냅니다.

위에 알고리즘이 background로 실행될 때 foreground에서는 사용자가 선택한 컨텐츠(Quick Draw, Chat bot, custom MP3 file output, GUI text/Voice output)를 동시에 진행합니다.

4. 작품 개발 환경

구분		상세내용
S/W 개발환경	OS	window 10, raspbain
	개발환경(IDE)	Android Studio, Pycharm, Jupyter Notebook
	개발도구	ubuntu 18.04 Raspberry Linux 10
	개발언어	Python(2.7), Java, nodeJs
	기타사항	AWS service(Polly, EC2, S3, Lambda, Rekognition, Textract, Translate. Alexa)
H/W 구성장비	디바이스	Raspberry Pi,스마트 폰(S10e)
	센서(모듈)	모터, 터치디스플레이
	통신
		라즈베리파이-와이파이 통신/ 아두이노-시리얼 통신.
	언어	Python(2.7)
	기타사항	테스트 용 AI Speaker(Alexa echo dot, Google Assistant)
프로젝트 관리환경	형상관리	notion, Gitlap
	의사소통관리	notion, Gitlap
	기타사항

5. 기타 사항 [본문에서 표현되지 못한 작품의 가치(Value)] 및 제작 노력

[AWS 서비스 이용에 차별성 존재]

- S3(파일 스토리지)에 특정 파일(외부인 이미지)이 들어오면 Lambda(serverless)를 10분 동안 멈추는 기능을 수행하기 위해 차별화 된 알고리즘을 이용함.

Lambda에서 트리거 된 사진을 S3 Bucket 1(내부인 이미지) 내의 이미지와 비교하여 외부인 판별이 나면 S3 Bucket 2(외부인 이미지) 내에 트리거 된 사진을 업로드 함.

그 후 사진이 트리거 될 때 S3 Bucket2(외부인 이미지)가 있으면 Lambda을 break 시켜 중단시킴.

여기서 S3 Bucket 2(외부인 이미지)의 life cycle은 10분으로 설정하여 Lambda가 10분 지나면 다시 작동하도록 함.

[아두이노와 라즈베리파이의 시리얼 통신]

-Raspberry Pi에서 로봇 모터제어를 위해 Arduino를 이용함.

Raspberry 내에서 모든 모듈을 제어할 경우 성능 저하가 나타나는 것을 파악함.

그래서 Raspberry Pi의 Python 코드에서 Arduino에 시리얼 통신으로 특정 값을 주고 모터 control을 진행.

III. 프로젝트 수행 내용

※ 평가항목 : 수행능력 (문제해결능력, 수행충실성)

1. 프로젝트 수행일정

프로젝트 기간 (한이음 사이트 기준)		2020.05.13. ~ 2020.11.30.
구분	추진내용	프로젝트 기간
		1월	2월	3월	4월	5월	6월	7월	8월	9월	10월	11월	12월
계획	로봇 및 기술 사전 조사(완료)
분석	하드웨어 조사(완료)
설계	S/W 기능 설계(완료)
	로봇 하드웨어 설계(완료)
개발	로봇 기능 제작(완료)
	스마트 미러 기능 제작(완료)
	하드웨어 디자인(진행)
테스트	로봇 테스트(예정)
	스마트 미러 테스트(예정)
종료	결과보고서 작성(예정) Lessons Learned 회의(예정)

2. 프로젝트 추진 과정에서의 문제점 및 해결방안

1) 프로젝트 관리 측면

-프로젝트 진행 중 소통의 문제가 생긴 적 있었습니다.

개발 중반부에 팀원들이 만든 프로젝트 점검 시간을 가졌습니다. 소통이 부족한 탓이었는지 각자가 생각한 기능과는 다르게 진행이 되었고 그 과정에서 소통의 중요성을 깨달았습니다. 그 후 프로젝트는 일정 관리 툴인 notion을 이용하여 진행하였고 팀원들의 개발 진행 과정을 알게 되어 이전과 같은 일은 일어나지 않았습니다.

2) 작품 개발 측면

- 프로젝트 개발을 시작할 때 라즈베리파이에서 얼굴 인식 모델을 생성하고 처리하는 도중, 성능이 너무 떨어져 진행할 수 없었습니다. 그때 팀원 한 명이 캡처된 이미지를 서버로 보내 처리하자는 의견을 냈습니다. 의견을 수용하여 캡처된 사진을 S3 Bucket으로 보냈고, 추후 S3로 들어온 이미지를 Lambda에서 Rekognition 서비스로 처리하여 문제를 해결했습니다.

3. 프로젝트를 통해 배우거나 느낀 점

- 프로젝트를 통해 라즈베리파이에 대한 이해도 및 숙련도 향상.

- AI speaker를 활용에 대한 이해와 환경 구축 능력 향상.

- AWS 서비스의 이해도와 숙련도 향상.

- 프로젝트 진행 시 팀원 간 소통의 중요성과 git의 중요성 인식

IV. 작품의 기대효과 및 활용분야

※ 평가항목 : 기획력 (활용가능성)

1. 작품의 기대효과

- 단방향 시스템이 아닌 양방향 시스템으로, 사용자가 원하는 이미지, 텍스트를 이용하여 공부 할 수 있다.

- 기존 시스템과 다르게 Open Source 하드웨어와 Open Source 데이터셋, 클라우드 서비스 등을 이용하여 저렴한 가격에 컨텐츠를 제공할 수 있다.

- 기존 교육용 로봇과 다르게 외부인 알림 기능이 존재해 추가로 보안 측면으로도 로봇을 사용할 수 있다.

-가정용 영어 교육 로봇은 코로나 19 이후 비대면 자기주도 학습을 추구하는 새로운 교육 방식에 사용할 수 있다.

2. 작품의 활용분야

- 최근 코로나로 인해 비대면 서비스가 강화되어 해당 로봇이 교육 분야에서 비대면 서비스로 활용될 수 있다.

- 양방향 시스템으로 인해 글을 잘 읽지 못하는 노인 분들에게도 활용될 수 있다.

- 외부인 알림 기능으로 맞벌이 부부의 경우 아이에게 교육용 컨텐츠 제공뿐만 아니라 안전 측면에서도 활용될 수 있다.

-로봇은 4차 산업의 대표적인 산업이고 다른 IOT 서비스와 결합하여 사용할 수 있는 분야가 매우 넓다.

SW개발 및 HW제작 설계서 작성 방법

첨부된 SW 개발 및 HW제작 설계서 참조 작성