Hugging Face에서 Unity Sentis 모델 사용

Unity 3D는 전 세계에서 가장 인기 있는 게임 엔진 중 하나입니다. Unity Sentis는 Unity 2023 이상에서 실행되는 추론 엔진입니다. 하드웨어 가속을 활용하여 게임이나 애플리케이션에 신경망 모델을 쉽게 통합하고 실행할 수 있도록 하는 API입니다. Unity는 PC, 모바일, 콘솔 등 다양한 폼 팩터로 내보낼 수 있으므로, 다양한 유형의 하드웨어에서 신경망 모델을 실행하는 쉬운 방법입니다.

Hub에서 Sentis 모델 탐색

모델 페이지 왼쪽에서 필터링하여 unity-sentis 모델을 찾을 수 있습니다.

Hub의 모든 Sentis 모델에는 Unity에서 해당 모델을 쉽게 사용할 수 있도록 코드와 안내가 함께 제공됩니다. unity 네임스페이스 아래에 있는 모든 Sentis 모델(예: unity/sentis-yolotinyv7)은 동작이 검증되었으므로 Unity에서 실행될 수 있습니다.

Sentis 사용에 대한 자세한 내용은 문서를 참고할 수 있습니다. Sentis 사용자에게 도움을 요청하려면 토론 포럼에서 질문할 수 있습니다.

파일 유형

각 저장소에는 여러 유형의 파일이 포함됩니다:

• sentis 파일: Unity에서 실행되는 신경망을 포함하는 주요 모델 파일입니다.
• ONNX 파일: Sentis 파일과 함께 포함하거나 Sentis 파일 대신 사용할 수 있는 대안 형식입니다. Netron과 같은 서드파티 도구로 시각화할 때 유용할 수 있습니다.
• cs 파일: Unity에서 모델을 실행하는 코드가 포함된 C# 파일입니다.
• info.json: 이 파일에는 저장소의 파일에 대한 정보가 포함되어 있습니다.
• 데이터 파일. 모델 실행에 필요한 기타 파일입니다. 어휘 파일, 클래스 이름 목록 등이 포함될 수 있습니다. 일반적인 파일 확장자는 json 또는 txt입니다.
• README.md. 이는 모델 카드입니다. 모델 사용 방법과 기타 관련 정보를 포함합니다.

모델 실행

모델 카드의 지침을 항상 참조하세요. Unity에 대한 일부 지식과 C#에 대한 기본 지식이 있다고 가정합니다.

1. Unity 2023 이상을 열고 새 씬을 생성합니다.

2. 패키지 매니저에서 com.unity.sentis 패키지를 설치합니다.

3. 모델 파일(*.sentis)과 데이터 파일을 다운로드하여 Assets 폴더 안의 하위 폴더인 StreamingAssets 폴더에 배치하세요. (해당 폴더가 없으면 생성할 수 있습니다.)

4. Main Camera와 같은 씬의 오브젝트에 C# 파일을 배치하세요.

5. 모델 카드를 참고하여 장면에서 생성해야 하는 다른 객체가 있는지 확인하세요.

대부분의 경우, 바로 시작할 수 있도록 기본 구현만 제공합니다. 창의적인 활용을 찾는 것은 사용자의 몫입니다. 예를 들어, 두 개 이상의 모델을 결합하여 흥미로운 작업을 수행할 수 있습니다.

자체 Sentis 모델 공유하기

Hugging Face에 직접 만든 Sentis 모델을 공유해 주시기를 권장합니다. 이는 직접 학습한 모델이거나, Sentis 형식으로 변환하여 Unity에서 실행 가능함을 테스트한 모델일 수 있습니다.

업로드하는 각 저장소에 대해 Sentis 형식의 모델을 제공해 주세요. 이를 통해 Unity에서 실행되는지 추가적으로 확인할 수 있으며, 대형 모델의 경우에도 권장되는 형식입니다. 모델 파일의 원본 ONNX 버전도 포함할 수 있습니다.

최소 구현이 포함된 C# 파일을 제공하세요. 예를 들어, 이미지 처리 모델의 경우 입력을 위한 이미지를 준비하고 출력을 기반으로 이미지를 구성하는 방법을 보여주는 코드가 있어야 합니다. 또는 외부 샘플 코드로 링크를 걸 수도 있습니다. 이렇게 하면 다른 사용자가 Unity에서 모델을 다운로드하여 사용하는 것이 쉬워집니다.

모델 실행에 필요한 데이터 파일을 제공합니다. 예를 들어, 어휘 파일 등이 있습니다.

마지막으로, 프로젝트의 파일 목록을 나열하는 info.json 파일을 제공해 주세요. 이는 다운로드 횟수 집계하는 데 도움이 됩니다. info.json의 내용 예시는 다음과 같습니다:

{
   "code": [ "mycode.cs"], 
   "models": [ "model1.sentis", "model2.sentis"],
   "data": [ "vocab.txt" ]
}

또는 코드 샘플이 외부에 있는 경우:

{
   "sampleURL": [ "http://sampleunityproject"], 
   "models": [ "model1.sentis", "model2.sentis"]
}

추가 정보

Sentis 사용 시작을 돕기 위해 몇 가지 전체 샘플 프로젝트도 제공합니다.