hyejun CSlog

이화여자대학교 캡스톤졸업프로젝트로 진행한 handDoc 서비스에서 제가 담당한 수어 인식(Sign-to-Text) AI 모델 구축 과정 전체를 튜토리얼로 정리해보았습니다. 누구나 쉽게 따라할 수 있도록 쉽게 풀어 정리해봤어요~~ 데이터 처리 → 전처리 → 증강 → 모델 학습 → 평가까지 전 단계를 상세히 설명하였으니, 이 글만 따라오면 당신도 수어인식모델을 쉽게 학습시킬 수 있답니다~!!(편의상 ~다 체로 진행하겠습니다.)1. 프로젝트에서 수어 인식 모델이 필요한 이유 우선 우리 프로젝트를 간단히 설명해보고자 한다. (자세한 기획내용은 'handDoc 기획' 글을 참고해주세요! ^^) handDoc은 청각장애인 환자의 비대면/대면 진료를 지원하는 서비스이며, 그 핵심 기능 중 하나가 사용자의 수..

UMC 8기 프론트엔드 수료증입니다. 프로젝트 진행과정 및 내용(Moamoa)은 프로젝트 카테고리에 자세히 기재해놓았습니다.

데이터사이언스 연합동아리 EPOCH 3기 수료증입니다.진행했던 데이터분석 팀프로젝트 2가지(밤샘데이터톤 K-bert기반 공공도서관데이터 활용 프로젝트, yolo기반 사진분리 프로젝트)는 프로젝트 카테고리에 자세히 기재해놓았습니다.

SK텔레콤에서 진행한 에이닷 얼리어닷터 2기 수료증입니다.

handDoc 졸업프로젝트의 실제 배포 환경 구성 과정을 정리해보겠다. 현재 나의 드림잡인 클라우드 엔지니어와 관련하여 배포를 많이 맡아보고 싶었고, 그 결과 AWS IaaS 환경에서 1번, NCP 쿠버네티스 환경에서 1번으로 총 두 번 서로 다른 방식으로 배포해보는 경험을 했다. FE도 배포를 맡아, Vercel로 배포했으며, 이후 여력이 되면 AWS S3 + CloudFront 기반으로 정적 호스팅도 구현해볼 계획이다. 서비스는 React(Vercel) + Spring Boot + FastAPI + Nginx + RDS(MySQL) + MongoDB Atlas로 구성되며, 모든 백엔드, AI 서버는 단일 EC2(t3.micro) 위에서 Docker 기반으로 운영한다. AI까지 하려면 인스..

본 글에서는 handDoc 서비스에서의 API 구현 과정을 정리해보겠다. 예약 생성 → 예약 조회 → 의사 수락 → Telemed 연동까지 이어지는 전체 흐름을 기준으로 설명한다. 1. 로컬 개발 환경 구성 handDoc 백엔드는 모든 팀원이 동일한 환경에서 개발할 수 있도록 Docker 기반으로 구성된다.1) 필요 도구 설치IntelliJ IDEADocker Desktop (로컬 실행 시 항상 켜둬야 함)2) 리포지토리 클론git clone https://github.com/handdoc/backend.git 3) 통합 개발 환경 (docker-compose) 레포지토리에는 docker-compose.yml이 포함되어 있으며, MySQL, Redis 등 필요한 모든 로컬 환경을 자동으로 띄우..

handDoc 프로젝트에서는 수어인식모델, 음성교정모델 2가지 종류의 AI를 사용했다. 수어인식모델인 Bi-LSTM은 데이터셋을 직접 구축하여 딥러닝 학습시켰으며, 청각장애인의 부정확한 음성을 인식하여 교정하는 모델인 Whisper은 파인튜닝 방법을 사용하였다. 1. 딥러닝 기반 수어인식모델(1) 개요 handDoc 서비스에서는 수어를 사용하는 청각장애인 환자가 자신의 수어를 실시간 텍스트로 변환해 의사에게 전달할 수 있도록 수어 인식 모델을 구축했다. Google MediaPipe Holistic으로 상반신 keypoint를 추출하고, 이를 기반으로 1D-CNN / LSTM / CNN+LSTM / BiLSTM 네 가지 모델을 각각 학습했다. 그중 Validation Accuracy 98.9%를 ..

1. 핵심 기능 handDoc 서비스의 주요 기능은 다음과 같다. 주요기능을 자세히 풀어 써 보자면 다음과 같다. (1) 대면 진료 환경에서의 활용 1-1. 환자의 수어 인식 및 번역: 환자가 사용하는 수어가 실시간으로 텍스트 변환되어 의사가 즉시 확인 가능 1-2. 의사 음성 자막화: 의사의 음성이 자막화되어 환자에게 제공 1-3. 진료 종료 후 요약 제공: 진료가 완료된 이후, 대화 내역과 함께 요약 제공. (2) 비대면 진료 환경에서의 활용 비대면 진료에서는 대면 진료 환경에서 제공하는 기능에 더해, 환자의 상태와 의사소통 방식에 따라 맞춤형 기능을 제공한다. 환자는 진료 신청 단계에서 수어 사용 여부 및 발화 가능 여부를 선택할 수 있으며, 이에 따라 진료 방식..

이화여자대학교 1년치 캡스톤 졸업프로젝트로 '청각장애인 대상 수어, 음성을 텍스트로 변환해주는 대면/비대면 진료 서비스' 인 handDoc을 개발하게 되었다. 3인팀 구성이며, 다음과 같이 역할을 분담했다. 배경 보건복지부에 따르면, 2024년 말 기준 우리나라 등록 장애인 약 263만명 중 16.3%가 청각장애인이다. 그 중 수어를 주된 의사소통 방법으로 사용하는 청각장애인은 30.1%에 해당한다. 또, 국립국어원 2023년 한국수어 활용 조사에 따르면, 청각장애인이 수어통역 서비스가 가장 필요하다고 생각하는 영역이 의료기관이 83.0%로 가장 높다. 그러나 국회·복지부 자료 분석 보도에 따르면, 2021년 8월 기준 수어통역사가 상주하는 의료기관은 2개소에 불과하다. 한편, 코로나19 ..