제3자 스캐너: JFrog

JFrog의 보안 스캐너는 머신러닝 모델의 악성 동작을 탐지합니다.

danger.dat에 대한 보고서 예시

Hub의 안전성을 높이기 위해 스캐닝을 제공하도록 JFrog와 파트너십을 맺었습니다. 모델 파일은 JFrog 스캐너에 의해 스캔되며, 스캐닝 결과는 Hub 인터페이스에 노출됩니다.

JFrog의 스캐너는 오탐(false positive)을 줄이는 것을 목표로 구축되었습니다. 실제로 현재 관찰되는 바에 따르면, 모델 가중치에 포함된 코드가 항상 악의적인 것은 아닙니다. 파일에서 코드가 감지되면 JFrog의 스캐너는 해당 코드를 파싱하고 분석하여 잠재적인 악용 여부를 확인합니다.

기능을 실제로 확인해 볼 수 있는 예시 저장소는 다음과 같습니다: mcpotato/42-eicar-street.

모델 보안 복습

모델을 공유하기 위해 모델과 상호작용하는 데 사용하는 데이터 구조를 직렬화하여 저장 및 전송을 용이하게 합니다. 일부 직렬화 형식은 임의의 코드 실행과 같은 악성 공격에 취약할 수 있어(pickle을 보고 있습니다) 모델 공유가 잠재적으로 위험할 수 있습니다.

Hugging Face가 모델 공유를 위한 인기 있는 플랫폼이 되면서, 커뮤니티를 이러한 위험으로부터 보호하기 위해 picklescan과 같은 도구를 개발하고 서드파티 스캐너를 통합하고 있습니다.

Pickle은 악용 가능한 유일한 형식이 아닙니다. Keras Lambda 레이어를 악용하여 임의의 코드 실행을 수행하는 방법에 대한 참고 자료를 확인해 보세요.

Update on GitHub