기획이 중요하다.

서버 분야: 사피온 (X330)

다음은 수정 및 자연스럽게 변경된 프로젝트 기획서입니다:

프로젝트 명

인공지능 탁구 심판

프로젝트 주제

AI를 활용하여 탁구 점수 계산을 자동화함으로써, 선수들이 경기에 더욱 집중할 수 있도록 합니다.

프로젝트 목적 및 향후 활용 가능성

올림픽이나 세계 선수권 대회와 같은 주요 경기는 훈련된 심판이 처음부터 끝까지 경기를 주시하며 점수를 계산합니다. 이 프로젝트의 목적은 이러한 실제 탁구 심판의 역할을 AI가 수행하도록 하는 것입니다.

자동 점수 계산 시스템은 선수들이 경기에 집중할 수 있도록 도와주며, in, out 판단이 어려운 상황에서 1차적으로는 점수 시스템을 통해, 2차적으로는 리플레이를 통해 판단에 필요한 보조 자료로 활용될 수 있습니다. 축적된 탁구 경기 기록 데이터는 동호인들을 위한 전적 검색 시스템이나 커뮤니티 시스템으로 발전시킬 수 있으며, 탁구 외에도 테니스, 배드민턴 등의 다른 구기 종목에도 적용이 가능합니다.

지원 동기 및 포부

고등학교 시절 탁구선수로 활동했습니다. 이후 탁구를 그만두고 개발자가 되었지만, 여전히 취미로 탁구를 즐기고 있습니다. 경기를 할 때마다 점수를 기억해야 하는 것이 불편하다고 느꼈습니다. 매 포인트마다 점수를 기억해야 하고, 서브권이 누구에게 있는지도 신경 써야 했기 때문입니다.

최근 VR 탁구 게임을 접하면서 자동으로 점수가 계산되는 편리함을 경험하게 되었습니다. 이 경험을 통해, 실제 탁구 경기에서도 점수를 자동으로 계산해주는 시스템이 있다면 얼마나 좋을지 생각하게 되었고, 이번 공모전이 그 아이디어를 실현할 수 있는 기회라고 생각해 지원하게 되었습니다.

대학생 시절, 탁구공을 추적하는 토이 프로젝트를 진행한 경험이 있습니다. 공을 검출하는 것 자체가 큰 도전이었습니다. 당시 OpenCV 라이브러리를 활용해 캐니 엣지 검출 알고리즘과 허프 변환 알고리즘으로 공을 찾는 데 성공했지만, 배경색과 공의 색이 일치하는 환경에서는 공이 검출되지 않는 문제가 있었습니다. 이러한 문제를 극복하기 위해 배경과 잘 겹치지 않는 특별한 색상의 탁구공을 사용했으나, 실제 경기에서는 공의 색깔이 대부분 흰색으로 제한되어 있어, 제가 만든 알고리즘을 실제 경기에서 사용하는 데는 한계가 있었습니다.

최근 Meta에서 오픈소스로 공개한 SAM2(Image Segmentation Model)를 알게 되었고, 이 모델이 물체의 경계를 정확하게 파악하며 실시간 추적이 가능하다는 점에서 큰 가능성을 보았습니다. 이 모델을 활용해 탁구공과 탁구대를 검출하고, 이를 기반으로 인공지능 탁구 심판을 만들 수 있겠다고 생각했습니다. 또한, NVIDIA에 뒤지지 않는 국내 AI 반도체 기업의 제품을 사용한다면 더욱 의미 있는 프로젝트가 될 것이라 믿습니다. 이번 공모전을 통해 AI 탁구 심판을 만들어 전 세계 3억 명의 탁구인에게 멋진 경험을 제공하는 소프트웨어를 개발하고 싶습니다.

사용할 AI 알고리즘 및 기술 소개

경기 영상은 탁구대에 설치된 카메라를 통해 실시간으로 서버에 전송됩니다. 이 영상에서 탁구공과 탁구대의 위치는 SAM2(Segmentation Anything Model)2를 통해 검출합니다. 탁구 경기 규칙을 바탕으로, 검출된 탁구대와 탁구공의 위치 그리고 계산된 공의 궤적을 이용해 점수를 계산합니다.

1. 컴퓨터 비전

경기 영상은 탁구대에 설치된 고해상도 카메라를 통해 실시간으로 서버에 전송됩니다. 이 영상을 기반으로 탁구공과 탁구대의 위치를 정확하게 파악합니다.

• 객체 검출 : 탁구공과 탁구대의 정확한 검출을 위해 Meta에서 공개한 SAM2(Segmentation Anything Model)을 활용합니다. 이 모델은 탁구공과 탁구대의 경계를 정밀하게 구분하며, 실시간으로 공의 위치와 궤적을 추적합니다.

2. 서버 기반 NPU를 활용한 AI 모델 추론 서비스

• 스트리밍 데이터 처리: 실시간 경기 영상을 처리하기 위해 Socket통신 프로그램을 통해 영상 데이터를 안정적으로 전송하고 처리합니다. 이와 함께 Edge Computing 기술을 활용하여 경기장 근처의 엣지 서버에서 1차적인 데이터 전처리 및 필터링을 수행한 후, 주요 데이터만 중앙 서버로 전송합니다.

• API 및 서비스 배포: 최적화된 모델을 기반으로 RESTful API를 통해 실시간 점수 계산 및 판정 서비스를 제공합니다. API 서버는 Docker와 Kubernetes를 활용해 컨테이너화되어 배포됩니다.

3. 스코어링 시스템 통합

탐지된 탁구공의 위치와 궤적 정보는 탁구 경기의 규칙을 기반으로 점수를 계산하는 스코어링 시스템으로 전송됩니다.

• 자동 점수 계산: 공의 이동 궤적을 분석하여 in/out 여부를 판단하고, 점수를 실시간으로 계산합니다. 특히 애매한 상황에서는 자동 판정과 함께 비디오 리플레이 기능을 통해 판정을 보완할 수 있도록 합니다.

• 서브권 추적: 탁구 경기 규칙에 따라 2개의 포인트마다 서브권이 자동으로 전환되며, 경기 중 서브 위치와 서브권 변경 상황을 기록하고 이를 사용자에게 알려줍니다.

• 데이터 저장 및 분석: 경기 중 발생하는 모든 데이터를 데이터베이스에 저장하여 경기 후 분석할 수 있도록 합니다.

SLLM 분야: 리벨리온()

AI 반도체 기술인재 선발대회 프로젝트 기획서

성명 (김영주)

프로젝트 명

프로젝트 주제

프로젝트 목적 및 향후 활용 가능성 예상

지원 동기 및 포부

사용할 AI 알고리즘 및 기술 소개

https://www.aichipcon.or.kr/apply/applyInfo

구독하고 있는 것들, 해야하는 것들.

• Docker Desktop
• Netflix
• Youtube
• KodeKloud
• Colab
• Chat GPT

성장하고 싶다. 나는 성장해야할 시기이다. 달콤하고, 편한 현재에 안주하지 말자. 말은 정말 중요한 요소 같다.

Git Ops에 대해서 공부해보자. Argo CD. Backend , Front end, Infra(Network, OS), Cloud(AWS), DevOps에 대해서.

Elastic Search(Open Search)로 Text Data를 저장해서, 검색해보고 싶다.