<aside> <img src="/icons/window_gray.svg" alt="/icons/window_gray.svg" width="40px" /> 스마트폰 카메라를 활용하여 알약 이미지만으로 의약품 정보 조회가 가능한 애플리케이션 개발

</aside>

<aside> <img src="/icons/wrench_gray.svg" alt="/icons/wrench_gray.svg" width="40px" /> **사용 기술 및 개발환

• AWS(RDS,EC2,S3), PostgreSQL
• Flask
• React Native, EXPO, AXIOS**
• PyTorch, OpenCV, YOLOv5, PlayTorch, Ray(분산처리)

</aside>

<aside> <img src="/icons/flag-pennant_gray.svg" alt="/icons/flag-pennant_gray.svg" width="40px" /> **서비스 선정 이유

• 휴대전화 카메라를 활용하여 알약 이미지만으로 의약품 정보 조회가 가능한 애플리케이션 개발**

- 의약품 검색 애플리케이션은 시각장애인을 포함한 모든 사용자가 의약품 정보에 쉽게 접근하고 확인할 수 있도록 도와준다. 휴대전화 카메라를 사용하여 알약 이미지나 바코드를 인식하고, 이를 통해 해당 의약품의 정보를 제공하도록 한다. 이를 통해 시각장애인들은 의약품을 식별하고 안전하게 복용할 수 있다.

</aside>

<aside> <img src="/icons/star-outline_gray.svg" alt="/icons/star-outline_gray.svg" width="40px" /> 기대효과

• 시각장애인을 위한 의약품 검색의 접근성 향상
  • 시각장애인들은 이 어플리케이션을 통해 의약품 정보에 쉽게 접근할 수 있다. 텍스트, 음성, 이미지 등 다양한 형태의 검색 방법을 활용하여 의약품을 찾고 식별할 수 있다. 이를 통해 시각장애인들은 독립적으로 의약품 정보를 확인하고 약물 복용에 필요한 결정을 내릴 수 있다.
• 정확한 의약품 식별과 부작용 관리
  • 약물 이미지 검색 및 바코드 인식을 통해 의약품을 정확하게 식별할 수 있다. 사용자들은 이를 통해 복용 중인 약물에 대한 자신만의 기록을 관리하고 부작용이나 약물 간 상호작용에 대한 정보를 얻을 수 있다. 이는 사용자들이 안전한 약물 복용을 유지하고 부작용을 최소화하는 역할을 한다.
• 약물 복용 습관의 개선과 건강 관리
  • 의약품 알람 기능을 통해 정확한 복용 시간을 알려주고 사용자들의 약물 복용 습관을 개선할 수 있다. 약 복용을 잊지 않고 정해진 시간에 복용함으로써 약물의 효과를 극대화하고 건강을 유지할 수 있다. 또한, 의약품 검색과 ChatGPT와의 연결을 통해 사용자들은 약물에 대한 올바른 지식을 얻을 수 있고, 건강 상태 관리에 필요한 정보와 조언을 받을 수 있다. </aside>

<aside> <img src="/icons/rename_gray.svg" alt="/icons/rename_gray.svg" width="40px" /> 서비스 구현

• 주기능 화면

카메라로 알약을 촬영하여 알약을 인식하면 TTS로 시각장애인들에게 알약이 정상적으로 촬영이되었는지를 안내 후 촬영완료 후 해당하는 의약품 검색

카메라로 알약을 촬영하여 알약을 인식하면 TTS로 시각장애인들에게 알약이 정상적으로 촬영이되었는지를 안내 후 촬영완료 후 해당하는 의약품 검색

식·의약품 바코드 촬영을 통한 정보 검색

식·의약품 바코드 촬영을 통한 정보 검색

• 전체시연영상

https://youtu.be/BUATiiF5zXA?si=F60jXKX9oPH0W320

</aside>

🙋🏻‍♀️  담당 업무

<aside> <img src="/icons/thought-dialogue_gray.svg" alt="/icons/thought-dialogue_gray.svg" width="40px" /> 서비스 기획 및 DB 구축

• 아이디어 계획
• 데이터 설계 및 구축 </aside>

<aside> <img src="/icons/photo-landscape_gray.svg" alt="/icons/photo-landscape_gray.svg" width="40px" /> 알약이미지 데이터 확보 및 증강과 전처리

• 식품의약품안전처가 공공데이터 포털을 통해 제공하는 알약 이미지 데이터(1.2TB)를 기반으로 총 525개의 알약 이미지 데이터를 확보
• 원본 낱알 촬영 이미지에서 알약의 꼭짓점 좌표를 추출하여 이미지를 자르고, 5도 간격으로 이미지를 회전시키는 방식을 적용하여 알약 한 품목당 총 2,880장의 증강 데이터를 생성
• CLAHE(Contrast Limited Adaptive Histogram Equalization) 알고리즘을 사용하여 학습데이터의 명암 대비를 개선하고 노이즈를 감소 </aside>

<aside> <img src="/icons/robot_gray.svg" alt="/icons/robot_gray.svg" width="40px" /> CNN모델 구축

• PyTorch 프레임워크를 사용하여 3개의 합성곱-풀링 은닉 계층과 2개의 완전 연결 계층으로 구성된 CNN 모델로 구현하여 약 이미지의 특징을 정밀하게 추출하여 분류 </aside>

<aside> <img src="/icons/phone_gray.svg" alt="/icons/phone_gray.svg" width="40px" /> YOLOv5 기반 알약 객체 감지 모델 개발 및 로컬 구동

• YOLOv5 기반 알약 객체 감지 모델을 개발하여 시각장애인에게 현재 촬영한 사진 내에 알약이 정학하게 촬영하였는지 여부를 안내
• React-native에서 yolov5을 로컬구동 및 바운딩박스로 객체탐지을 시각적으로 표현 </aside>

Github

https://github.com/smreo3839/PANACEA

◀메인 포토폴리오로 돌아가기