DFineModel의 forward 메서드는 __call__ 특수 메서드를 오버라이드합니다.

이 함수 내에서 forward pass의 레시피를 정의해야 하지만, 이후에는 이 함수 대신 Module 인스턴스를 호출해야 합니다. 전자는 전처리 및 후처리 단계를 실행하는 것을 처리하는 반면, 후자는 이를 조용히 무시하기 때문입니다.

• last_hidden_state (torch.Tensor, shape (batch_size, num_queries, hidden_size)) — 모델의 decoder 마지막 레이어 출력의 hidden-state 시퀀스입니다.

• intermediate_hidden_states (torch.Tensor, shape (batch_size, config.decoder_layers, num_queries, hidden_size)) — 스택된 중간 hidden states(decoder의 각 레이어 출력).

• intermediate_logits (torch.Tensor, shape (batch_size, config.decoder_layers, sequence_length, config.num_labels)) — 스택된 중간 logits(decoder의 각 레이어의 logits).

• intermediate_reference_points (torch.Tensor, shape (batch_size, config.decoder_layers, num_queries, 4)) — 스택된 중간 참조 포인트(decoder의 각 레이어의 참조 포인트).

• intermediate_predicted_corners (torch.Tensor, shape (batch_size, config.decoder_layers, num_queries, 4)) — 스택된 중간 예측 코너(디코더의 각 레이어에서 예측된 코너).

• initial_reference_points (torch.Tensor, shape (batch_size, num_queries, 4)) — 첫 번째 decoder layer에 사용되는 초기 reference points입니다.

• decoder_hidden_states (tuple[torch.Tensor], 선택 사항, output_hidden_states=True가 전달되거나 config.output_hidden_states=True인 경우 반환됨) — torch.Tensor의 튜플(모델에 임베딩 레이어가 있는 경우 임베딩의 출력에 대한 것 1개 + 각 레이어의 출력에 대한 것 1개)로, 모양은 (batch_size, sequence_length, hidden_size)입니다.

  각 레이어의 출력에서 디코더의 Hidden-states와 초기 임베딩 출력을 더한 값.

• decoder_attentions (tuple[torch.Tensor], 선택 사항, output_attentions=True가 전달되거나 config.output_attentions=True인 경우 반환됨) — 각 레이어마다 하나씩 포함된 torch.Tensor의 튜플로, 모양은 (batch_size, num_heads, sequence_length, sequence_length)입니다.

  self-attention 헤드에서 가중 평균을 계산하는 데 사용되는, attention softmax 이후의 decoder의 attention 가중치입니다.

• cross_attentions (tuple[torch.Tensor], 선택 사항, output_attentions=True가 전달되거나 config.output_attentions=True인 경우 반환됨) — 각 레이어마다 하나씩 포함된 torch.Tensor의 튜플로, 모양은 (batch_size, num_heads, sequence_length, sequence_length)입니다.

  decoder의 cross-attention 레이어에서 attention softmax를 적용한 후, cross-attention 헤드에서 가중 평균을 계산하는 데 사용되는 attention 가중치입니다.

• encoder_last_hidden_state (torch.Tensor, shape (batch_size, sequence_length, hidden_size), 선택 사항) — 모델 인코더의 마지막 레이어 출력에서 생성된 hidden-state 시퀀스입니다.

• encoder_hidden_states (tuple[torch.Tensor], 선택 사항, output_hidden_states=True가 전달되었거나 config.output_hidden_states=True인 경우 반환됨) — torch.Tensor의 튜플(모델에 임베딩 레이어가 있는 경우 임베딩의 출력에 대한 것 1개 + 각 레이어의 출력에 대한 것 1개)로, 모양은 (batch_size, sequence_length, hidden_size)입니다.

  각 레이어의 출력에서 인코더의 Hidden-states와 초기 임베딩 출력을 더한 값.

• encoder_attentions (tuple[torch.Tensor], 선택 사항, output_attentions=True가 전달되었거나 config.output_attentions=True인 경우 반환됨) — 각 레이어마다 하나씩 포함된 torch.Tensor의 튜플로, 모양은 (batch_size, num_heads, sequence_length, sequence_length)입니다.

  self-attention 헤드에서 가중 평균을 계산하는 데 사용되는, attention softmax 이후의 인코더 attention 가중치입니다.

• init_reference_points (torch.Tensor, shape (batch_size, num_queries, 4)) — Transformer decoder를 통해 전달되는 초기 reference points.

• enc_topk_logits (torch.Tensor, shape (batch_size, sequence_length, config.num_labels)) — 인코더 단계에서 상위 config.two_stage_num_proposals 점수 영역을 region proposals로 선택하는 예측 바운딩 박스 점수입니다. 바운딩 박스 이진 분류(즉, foreground와 background)의 출력입니다.

• enc_topk_bboxes (torch.Tensor, shape (batch_size, sequence_length, 4)) — 인코더 단계에서 예측된 바운딩 박스 좌표의 로짓.

• enc_outputs_class (torch.Tensor, shape (batch_size, sequence_length, config.num_labels), 선택 사항, config.with_box_refine=True이고 config.two_stage=True일 때 반환됨) — 첫 번째 단계에서 점수가 가장 높은 config.two_stage_num_proposals개의 바운딩 박스가 영역 제안으로 선택되는 예측 바운딩 박스 점수입니다. 바운딩 박스 이진 분류(즉, 포그라운드와 배경)의 출력입니다.

• enc_outputs_coord_logits (torch.Tensor, shape (batch_size, sequence_length, 4), 선택적, config.with_box_refine=True이고 config.two_stage=True일 때 반환됨) — 1단계에서 예측된 바운딩 박스 좌표의 로짓.

• denoising_meta_values (dict, 선택 사항) — denoising 관련 값에 대한 추가 사전입니다.

>>> from transformers import AutoImageProcessor, DFineModel
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))

>>> image_processor = AutoImageProcessor.from_pretrained("PekingU/DFine_r50vd")
>>> model = DFineModel.from_pretrained("PekingU/DFine_r50vd")

>>> inputs = image_processor(images=image, return_tensors="pt")

>>> outputs = model(**inputs)

>>> last_hidden_states = outputs.last_hidden_state
>>> list(last_hidden_states.shape)
[1, 300, 256]

DFineForObjectDetection의 forward 메서드는 __call__ 특수 메서드를 오버라이드합니다.

이 함수 내에서 forward pass의 레시피를 정의해야 하지만, 이후에는 이 함수 대신 Module 인스턴스를 호출해야 합니다. 전자는 전처리 및 후처리 단계를 실행하는 것을 처리하는 반면, 후자는 이를 조용히 무시하기 때문입니다.

• loss (torch.Tensor, shape (1,), 선택 사항, labels가 제공될 때 반환됨) — 클래스 예측에 대한 음의 로그 가능도(교차 엔트로피)와 바운딩 박스 손실의 선형 결합으로 계산된 총 손실입니다. 후자는 L1 손실과 일반화된 스케일 불변 IoU 손실의 선형 결합으로 정의됩니다.

• loss_dict (Dict, 선택) — 개별 손실 값을 포함하는 사전입니다. 로깅에 유용합니다.

• logits (torch.Tensor, shape (batch_size, num_queries, num_classes + 1)) — 모든 query에 대한 분류 logits(no-object 포함).

• pred_boxes (torch.Tensor, shape (batch_size, num_queries, 4)) — 모든 쿼리에 대한 정규화된 박스 좌표로, (center_x, center_y, width, height)로 표현됩니다. 이 값들은 배치 내 각 개별 이미지의 크기에 대해 [0, 1] 범위로 정규화되어 있습니다(가능한 패딩은 무시). ~DFineImageProcessor.post_process_object_detection를 사용하여 정규화되지 않은(절대) 바운딩 박스를 가져올 수 있습니다.

• auxiliary_outputs (list[Dict], 선택) — 선택 사항이며, 보조 손실이 활성화된 경우(즉, config.auxiliary_loss가 True로 설정된 경우)와 라벨이 제공된 경우에만 반환됩니다. 각 디코더 레이어에 대해 위의 두 키(logits와 pred_boxes)를 포함하는 사전의 목록입니다.

• last_hidden_state (torch.Tensor, shape (batch_size, num_queries, hidden_size)) — 모델의 decoder 마지막 레이어 출력의 hidden-state 시퀀스입니다.

• intermediate_hidden_states (torch.Tensor, shape (batch_size, config.decoder_layers, num_queries, hidden_size)) — 스택된 중간 hidden states(decoder의 각 레이어 출력).

• intermediate_logits (torch.Tensor, shape (batch_size, config.decoder_layers, num_queries, config.num_labels)) — 스택된 중간 logits(decoder의 각 레이어의 logits).

• intermediate_reference_points (torch.Tensor, shape (batch_size, config.decoder_layers, num_queries, 4)) — 스택된 중간 참조 포인트(decoder의 각 레이어의 참조 포인트).

• intermediate_predicted_corners (torch.Tensor, shape (batch_size, config.decoder_layers, num_queries, 4)) — 스택된 중간 예측 코너(디코더의 각 레이어에서 예측된 코너).

• initial_reference_points (torch.Tensor, shape (batch_size, config.decoder_layers, num_queries, 4)) — 스택된 초기 참조 점(decoder의 각 레이어의 초기 참조 점).

• decoder_hidden_states (tuple[torch.Tensor], 선택 사항, output_hidden_states=True가 전달되거나 config.output_hidden_states=True인 경우 반환됨) — torch.Tensor의 튜플(모델에 임베딩 레이어가 있는 경우 임베딩의 출력에 대한 것 1개 + 각 레이어의 출력에 대한 것 1개)로, 모양은 (batch_size, sequence_length, hidden_size)입니다.

  각 레이어의 출력에서 디코더의 Hidden-states와 초기 임베딩 출력을 더한 값.

• decoder_attentions (tuple[torch.Tensor], 선택 사항, output_attentions=True가 전달되거나 config.output_attentions=True인 경우 반환됨) — 각 레이어마다 하나씩 포함된 torch.Tensor의 튜플로, 모양은 (batch_size, num_heads, sequence_length, sequence_length)입니다.

  self-attention 헤드에서 가중 평균을 계산하는 데 사용되는, attention softmax 이후의 decoder의 attention 가중치입니다.

• cross_attentions (tuple[torch.Tensor], 선택 사항, output_attentions=True가 전달되거나 config.output_attentions=True인 경우 반환됨) — 각 레이어마다 하나씩 포함된 torch.Tensor의 튜플로, 모양은 (batch_size, num_heads, sequence_length, sequence_length)입니다.

  decoder의 cross-attention 레이어에서 attention softmax를 적용한 후, cross-attention 헤드에서 가중 평균을 계산하는 데 사용되는 attention 가중치입니다.

• encoder_last_hidden_state (torch.Tensor, shape (batch_size, sequence_length, hidden_size), 선택 사항) — 모델 인코더의 마지막 레이어 출력에서 생성된 hidden-state 시퀀스입니다.

• encoder_hidden_states (tuple[torch.Tensor], 선택 사항, output_hidden_states=True가 전달되었거나 config.output_hidden_states=True인 경우 반환됨) — torch.Tensor의 튜플(모델에 임베딩 레이어가 있는 경우 임베딩의 출력에 대한 것 1개 + 각 레이어의 출력에 대한 것 1개)로, 모양은 (batch_size, sequence_length, hidden_size)입니다.

  각 레이어의 출력에서 인코더의 Hidden-states와 초기 임베딩 출력을 더한 값.

• encoder_attentions (tuple[torch.Tensor], 선택 사항, output_attentions=True가 전달되었거나 config.output_attentions=True인 경우 반환됨) — 각 레이어마다 하나씩 포함된 torch.Tensor의 튜플로, 모양은 (batch_size, num_heads, sequence_length, sequence_length)입니다.

  self-attention 헤드에서 가중 평균을 계산하는 데 사용되는, attention softmax 이후의 인코더 attention 가중치입니다.

• init_reference_points (torch.Tensor, shape (batch_size, num_queries, 4)) — Transformer decoder를 통해 전달되는 초기 reference points.

• enc_topk_logits (torch.Tensor, shape (batch_size, sequence_length, config.num_labels), 선택, config.with_box_refine=True이고 config.two_stage=True일 때 반환됨) — 인코더에서 예측된 바운딩 박스 좌표의 logits입니다.

• enc_topk_bboxes (torch.Tensor, shape (batch_size, sequence_length, 4), 선택 사항, config.with_box_refine=True이고 config.two_stage=True일 때 반환됨) — 인코더에서 예측된 바운딩 박스 좌표의 logits입니다.

• enc_outputs_class (torch.Tensor, shape (batch_size, sequence_length, config.num_labels), 선택 사항, config.with_box_refine=True이고 config.two_stage=True일 때 반환됨) — 첫 번째 단계에서 점수가 가장 높은 config.two_stage_num_proposals개의 바운딩 박스가 영역 제안으로 선택되는 예측 바운딩 박스 점수입니다. 바운딩 박스 이진 분류(즉, 포그라운드와 배경)의 출력입니다.

• enc_outputs_coord_logits (torch.Tensor, shape (batch_size, sequence_length, 4), 선택적, config.with_box_refine=True이고 config.two_stage=True일 때 반환됨) — 1단계에서 예측된 바운딩 박스 좌표의 로짓.

• denoising_meta_values (dict, 선택) — 디노이징 관련 값에 대한 추가 사전

>>> import torch
>>> from transformers.image_utils import load_image
>>> from transformers import AutoImageProcessor, DFineForObjectDetection

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> image = load_image(url)

>>> image_processor = AutoImageProcessor.from_pretrained("ustc-community/dfine-xlarge-coco")
>>> model = DFineForObjectDetection.from_pretrained("ustc-community/dfine-xlarge-coco")

>>> # prepare image for the model
>>> inputs = image_processor(images=image, return_tensors="pt")

>>> # forward pass
>>> outputs = model(**inputs)

>>> logits = outputs.logits
>>> list(logits.shape)
[1, 300, 80]

>>> boxes = outputs.pred_boxes
>>> list(boxes.shape)
[1, 300, 4]

>>> # convert outputs (bounding boxes and class logits) to Pascal VOC format (xmin, ymin, xmax, ymax)
>>> target_sizes = torch.tensor([image.size[::-1]])
>>> results = image_processor.post_process_object_detection(outputs, threshold=0.9, target_sizes=target_sizes)
>>> result = results[0]  # first image in batch

>>> for score, label, box in zip(result["scores"], result["labels"], result["boxes"]):
...     box = [round(i, 2) for i in box.tolist()]
...     print(
...         f"Detected {model.config.id2label[label.item()]} with confidence "
...         f"{round(score.item(), 3)} at location {box}"
...     )
Detected cat with confidence 0.958 at location [344.49, 23.4, 639.84, 374.27]
Detected cat with confidence 0.956 at location [11.71, 53.52, 316.64, 472.33]
Detected remote with confidence 0.947 at location [40.46, 73.7, 175.62, 117.57]
Detected sofa with confidence 0.918 at location [0.59, 1.88, 640.25, 474.74]