한이음 회의록 1

1. 지난번 오프라인미팅(멘토님포함) 리뷰부터.

얼굴표정에 관한 얘기가 메인이였는데 이건 구체화되기어려웠다.

2. 한이음 2020 민지

현재까지 한것

• 얼굴 인식 aws
• 얼굴 인식 opencv

추가하고 싶은 기능

책을 읽어 주는 기능이 메인이라고 생각하기에 사용자 가 자신의 책을 공유할 수 있도록 기능을 추가

사람의 움직임을 기계의 눈동자가 따라가는 부분을 구현

사람 이외 물건들을 인식해서 그 물건에 대한 이야기를 듣고 싶냐는 간단한 물음을 할 수 있도록 구현해보기?

피드백

상원 피드백: 책을 읽어주는 기능은 메인은 아닌 것 같다. 메인은 교육용 로봇으로 해야 포괄적으로 기능을 추가할 수 있음. 책 읽기만 메인으로 하면 제공할 수 있는 서비스가 한정됨. 추가로 기계의 눈동자가 따라가는 부분이 실제 서비스에 어떤 도움이 될 지 잘 모르겠음.

3. 한이음 2020 가은

DynamoDB에 있는 사용자를 rekognition을 이용해서 판별하면 음성출력하고 교육용 컨텐츠를 주로 하고 싶음

그래서 alexa와 라즈베리 터치디스플레이를 이용한 컨텐츠 얘를 들면 영어 단어 맞추기 등의 간단한 컨텐츠를 제공하고 픔.

피드백

상원피드백 : dynamodb에 있는 faceid를 기반으로 얼굴인식을 해서 사용자인증이 완료되면 ~~님 안녕하세요라는 발화를 하는데 이건 알렉사가 하는게 아니다? 내 개인적인 생각은 YOLO알고리즘에 얼굴 객체를 훈련시켜서 감지되면 voice하는 기능이 나을듯

민지피드백 : 현재 교육용 컨텐츠를 메인으로 하겠다는 점에서 영단어 맞추기 이외의 다른 컨텐츠를 더한다고 했을 떄 어떤 컨텐츠를 넣을지나, 컨텐츠를 수작업으로 모두 만들어야 하는지. 다양한 컨텐츠를 추가한다고 했을 때 작업 일정이 빡빡해지지 않을까…?

#4. 한이음 2020 상원

이렇게 한다고 하면 뭐부터해야하냐?

1. 동화에 관한 정보 찾아서 다 MP3 파일로 만들기 (공통)

   • [동화들려주기]
     • 특정발화( ex. 백설공주 들려줘 ) –> 백설공주에 관한 mp3파일 재생하도록 설정 *alexa - (Lambda) - s3 : 이 아키텍처 설계해야함.
   • [어플제작]
     • alexa developer 에서 알렉사 어플을 개발한다. 원하는 동작을 알렉사 앱으로 커스텀 개발이 가능한 지, 아니면 안드로이드로 어플을 제작하고 그 어플에서 신호를 보내면 알렉사가 응답하는 식으로 할 지 찾아봐야함
   • [Object Detection]
     • 딥러닝 지식과 CNN + YOLO 에 대한 이해가 일단 필요하다. YOLO 및 CNN에 관한 자료는 충분한 편이다.
     • 라즈베리파이 + 웹캠 환경에서 동작해야 하므로 라즈베리파이에 대한 환경 설정을 마친 후에 테스팅을 한다.
     • 먼저 Github 코드부터 분석 테스팅을 해보고 알렉사에 연결시켜 사용가능한지 체크한다.
     • 체킹이 완료되면, 그대로 가져다쓰거나 용도에 맞게 조금 커스텀을 한다 ( 특정 데이터셋만 훈련시킨다거나 등)
   • [Alexa Chatbot] 이것도 공통으로 해야할 듯
     • 이건 구현의 어려움보단 교육용 로봇이라는 취지에 맞는 챗봇기능을 어떤것을 넣을 지 아이디어가 중요할 듯 .
   • [Monitoring]
     • 라즈베리파이 + 카메라 모듈을 바탕으로 real time processing 을 통해 실시간 영상 데이터 정보를 AWS kinesis 로 영상 데이터 스트림을 전송해서 원격으로 로봇이 보고 있는 영상을 확인할 수 있다.
     • 이 기능만 놓고보면 단순히 모니터링이라 추가적인 보완이 필요할 것 같고 그게 보완되면 써먹을 만 할 수도 ?

질문

• 여기서 라즈베리파이가 무조건 사용되는 부분은
  • Object Detect 이다.
• 모니터링에도 라즈베리파이가 사용되는데 이건 어떻게 ?
  • 라즈베리파이 하나로 객체감지 기능 실행 / 모니터링 실행 –> 이건 고민좀
• Alexa가 메인이다. Alexa를 통해 Lambda(serverless)를 호출해서 다양한 서비스와 연계가 가능한데 추가로 어떤 기능을 연계할 수 있을까?

정리

정리하면 주제는 영어 교육용 컨텐츠를 제공하는 로봇이고

그 서비스의 기능은 총5가지인데

• 동화들려주기
• 어플 통한 영어게임
• 객체탐지 후 음성발화
• 챗봇기능
• 모니터링

어플 통한 영어게임 성공시 얼굴표정의 변화 추가가 필요할 것 같다.

역할 나누기 :

1. 민지 : 영어 게임 어플 제작