# Sapiens2

    
        
        
    

## Tổng quan

Mô hình Sapiens2 được đề xuất trong [Sapiens2](https://huggingface.co/papers/2604.21681) bởi Rawal Khirodkar, He Wen, Julieta Martinez, Yuan Dong, Zhaoen Su, Shunsuke Saito. Sapiens2 là một họ các vision transformer độ phân giải cao được huấn luyện trước trên khoảng 1 tỷ hình ảnh con người được tuyển chọn, được thiết kế cho các tác vụ thị giác máy tính tập trung vào con người, bao gồm ước lượng tư thế, phân đoạn bộ phận cơ thể, ước lượng pháp tuyến bề mặt và ước lượng pointmap.

Bạn có thể tìm thấy tất cả các checkpoint gốc của Sapiens2 trong bộ sưu tập [Sapiens2](https://huggingface.co/collections/facebook/sapiens2).

Tóm tắt từ bài báo như sau:

*Chúng tôi giới thiệu Sapiens2, một họ transformer độ phân giải cao cho thị giác tập trung vào con người, hướng đến khả năng tổng quát hóa, tính đa dụng và đầu ra độ trung thực cao. Chúng tôi huấn luyện trước trên ~1 tỷ hình ảnh con người chất lượng cao được tuyển chọn kỹ lưỡng với chú thích tác vụ được cải thiện, kết hợp tái tạo ảnh có mặt nạ với các mục tiêu tương phản tự chưng cất để học cả đặc trưng cấp thấp lẫn đặc trưng ngữ nghĩa. Mô hình của chúng tôi mở rộng từ 0,4B đến 5B tham số và được huấn luyện ở độ phân giải gốc 1K, với các biến thể 4K phân cấp cho suy luận không gian mở rộng. Sapiens2 đạt được những cải thiện đáng kể so với phiên bản tiền nhiệm: +4 mAP trong ước lượng tư thế, +24,3 mIoU trong phân đoạn bộ phận cơ thể, và giảm 45,6% lỗi trong ước lượng pháp tuyến, đồng thời mở rộng sang các tác vụ mới như ước lượng pointmap và albedo. Mã nguồn được công khai.*

Mẹo:

- Sapiens2 sử dụng Rotary Position Embeddings (RoPE) và hỗ trợ độ phân giải đầu vào tùy ý. Bộ xử lý ảnh mặc định sẽ thay đổi kích thước ảnh thành 1024×768 (chiều cao×chiều rộng).
- Mô hình sử dụng Grouped Query Attention (GQA) cho các lớp trung gian và full multi-head attention cho 8 lớp đầu và 8 lớp cuối.
- Việc đăng ký các token (mặc định là 8) giúp giảm các hiện tượng bất thường có chuẩn cao trong các token patch, từ đó tạo ra các bản đồ chú ý sạch hơn và cải thiện hiệu suất trên các tác vụ dự đoán dày đặc.

Mô hình này được đóng góp bởi [guarin](https://huggingface.co/guarin). Mã gốc có thể được tìm thấy [tại đây](https://github.com/facebookresearch/sapiens2).

## Ví dụ sử dụng

Ví dụ dưới đây cho thấy cách lấy token CLS (nhúng toàn bộ hình ảnh) bằng [Sapiens2Model](/docs/transformers/main/vi/model_doc/sapiens2#transformers.Sapiens2Model).

```python
import torch
from transformers import AutoImageProcessor, AutoModel
from transformers.image_utils import load_image

image = load_image("http://images.cocodataset.org/val2017/000000004016.jpg")

image_processor = AutoImageProcessor.from_pretrained("facebook/sapiens2-pretrain-0.4b")
model = AutoModel.from_pretrained("facebook/sapiens2-pretrain-0.4b", device_map="auto")

inputs = image_processor(images=image, return_tensors="pt").to(model.device)
with torch.inference_mode():
    outputs = model(**inputs)

# outputs.pooler_output is the CLS token (whole-image embedding)
cls_token = outputs.pooler_output
print("CLS token shape:", cls_token.shape)  # [1, 1024]
```

[Sapiens2Backbone](/docs/transformers/main/vi/model_doc/sapiens2#transformers.Sapiens2Backbone) cung cấp các patch token đã được định hình lại theo chiều không gian và các token CLS trực tiếp trên đối tượng đầu ra.

```python
import torch
from transformers import AutoBackbone, AutoImageProcessor
from transformers.image_utils import load_image

image = load_image("http://images.cocodataset.org/val2017/000000004016.jpg")

image_processor = AutoImageProcessor.from_pretrained("facebook/sapiens2-pretrain-0.4b")
model = AutoBackbone.from_pretrained("facebook/sapiens2-pretrain-0.4b", device_map="auto")

inputs = image_processor(images=image, return_tensors="pt").to(model.device)
with torch.inference_mode():
    outputs = model(**inputs, return_class_token=True)

# Patch tokens shaped (batch, height, width, channels)
patch_features = outputs.feature_maps[0]
cls_token = outputs.cls_tokens[0]
print("CLS token shape:", cls_token.shape)           # [1, 1024]
print("Patch features shape:", patch_features.shape) # [1, 64, 48, 1024]
```

Ví dụ dưới đây cho thấy cách ước lượng pháp tuyến bề mặt bằng [Sapiens2ForNormalEstimation](/docs/transformers/main/vi/model_doc/sapiens2#transformers.Sapiens2ForNormalEstimation). Các pháp tuyến đầu ra là thô (chưa được chuẩn hóa); hãy sử dụng `post_process_normal_estimation` để thay đổi kích thước và chuẩn hóa L2 chúng.

```python
import torch
from transformers import AutoImageProcessor, AutoModelForNormalEstimation
from transformers.image_utils import load_image

image = load_image("http://images.cocodataset.org/val2017/000000004016.jpg")

image_processor = AutoImageProcessor.from_pretrained("facebook/sapiens2-normal-0.4b")
model = AutoModelForNormalEstimation.from_pretrained("facebook/sapiens2-normal-0.4b", device_map="auto")

inputs = image_processor(image, return_tensors="pt").to(model.device)
with torch.inference_mode():
    outputs = model(**inputs)

# outputs.normals shape: (batch_size, 3, height, width) — raw, unnormalized XYZ normals
print("Normals shape:", outputs.normals.shape)  # [1, 3, 1024, 768]

# Remove preprocessing padding, resize to original size, and L2-normalize to unit vectors in [-1, 1]
original_size = (image.height, image.width)
result = image_processor.post_process_normal_estimation(
    outputs, source_sizes=[original_size], target_sizes=[original_size]
)
normals = result[0]["normals"]
print("Normals shape:", normals.shape)   # [3, original_height, original_width]

### Example code for visualization

# Convert L2-normalized normals in [-1, 1] to RGB in [0, 255]
normals_rgb = ((normals + 1.0) / 2.0 * 255.0).clamp(0, 255).to(torch.uint8)

# Apply background removal using the segmentation model output.
# `segmentation` is the output of `post_process_semantic_segmentation` — a (H, W) tensor
# of per-pixel class IDs, where class 0 is background.
background_mask = segmentation == 0
normals_rgb[:, background_mask] = 0
print("Normals RGB shape:", normals_rgb.shape)   # [3, original_height, original_width]
```

Ví dụ dưới đây cho thấy cách ước lượng tọa độ 3D theo từng pixel bằng [Sapiens2ForPointmapEstimation](/docs/transformers/main/vi/model_doc/sapiens2#transformers.Sapiens2ForPointmapEstimation). Sử dụng `post_process_pointmap_estimation` để loại bỏ phần đệm tiền xử lý, điều chỉnh kích thước về kích thước ảnh gốc và áp dụng tỷ lệ tiêu cự dự đoán.

```python
import torch
from transformers import AutoImageProcessor, AutoModelForPointmapEstimation
from transformers.image_utils import load_image

image = load_image("http://images.cocodataset.org/val2017/000000004016.jpg")

image_processor = AutoImageProcessor.from_pretrained("facebook/sapiens2-pointmap-0.4b")
model = AutoModelForPointmapEstimation.from_pretrained("facebook/sapiens2-pointmap-0.4b", device_map="auto")

inputs = image_processor(image, return_tensors="pt").to(model.device)
with torch.inference_mode():
    outputs = model(**inputs)

# outputs.pointmaps shape: (batch_size, 3, height, width) — raw XYZ in canonical camera space
print("Pointmaps shape:", outputs.pointmaps.shape)  # [1, 3, 1024, 768]

# Remove preprocessing padding, resize to original size, and apply focal-length scale
original_size = (image.height, image.width)
result = image_processor.post_process_pointmap_estimation(
    outputs, source_sizes=[original_size], target_sizes=[original_size]
)
pointmap = result[0]["pointmap"]
print("Pointmap shape:", pointmap.shape)  # [3, original_height, original_width]

### Example code for visualization

# Visualize the pointmap as an RGB image using inverse-depth and the turbo colormap.
import matplotlib.pyplot as plt

# `segmentation` is the output of `post_process_semantic_segmentation` — a (H, W) tensor
# of per-pixel class IDs, where class 0 is background.
foreground_mask = segmentation != 0
depth = pointmap[2]  # Z channel: depth in camera space, shape (H, W)
pointmap_rgb = torch.zeros(3, *depth.shape, dtype=torch.uint8)
foreground_depth = depth[foreground_mask]
if foreground_depth.numel() > 0:
    depth_low, depth_high = torch.quantile(foreground_depth, torch.tensor([0.01, 0.99]))
    inverse_depth = 1.0 / foreground_depth.clamp(min=1e-6)
    inverse_depth_low = 1.0 / depth_high.clamp(min=1e-6)
    inverse_depth_high = 1.0 / depth_low.clamp(min=1e-6)
    inverse_depth_normalized = ((inverse_depth - inverse_depth_low) / (inverse_depth_high - inverse_depth_low + 1e-8)).clamp(0, 1)
    turbo = plt.get_cmap("turbo")
    foreground_colors = torch.from_numpy(turbo(inverse_depth_normalized.cpu().numpy())[..., :3] * 255).to(torch.uint8)  # (N, 3)
    pointmap_rgb[:, foreground_mask] = foreground_colors.T
print("Pointmap RGB shape:", pointmap_rgb.shape)  # [3, original_height, original_width]
```

Ví dụ dưới đây cho thấy cách chạy ước lượng tư thế với [Sapiens2ForPoseEstimation](/docs/transformers/main/vi/model_doc/sapiens2#transformers.Sapiens2ForPoseEstimation). Mô hình dự đoán heatmap cho từng điểm then chốt; hãy dùng `post_process_pose_estimation` để giải mã chúng thành tọa độ điểm then chốt trong không gian ảnh. Cần cài đặt `opencv-python` (`pip install opencv-python`).

```python
import torch
from transformers import AutoImageProcessor, AutoModelForPoseEstimation
from transformers.image_utils import load_image

image = load_image("http://images.cocodataset.org/val2017/000000004016.jpg")

image_processor = AutoImageProcessor.from_pretrained("facebook/sapiens2-pose-0.4b")
model = AutoModelForPoseEstimation.from_pretrained("facebook/sapiens2-pose-0.4b", device_map="auto")

# Provide bounding boxes in COCO format (x, y, width, height) for each person
boxes = [[[270.8, 0.6, 294.1, 379.5]]]
inputs = image_processor(image, boxes=boxes, return_tensors="pt").to(model.device)
with torch.inference_mode():
    outputs = model(**inputs)

# outputs.heatmaps shape: (num_persons, num_keypoints, heatmap_height, heatmap_width)
print("Heatmaps shape:", outputs.heatmaps.shape)  # [1, 308, 256, 192]

# Decode heatmaps to image-space keypoint coordinates
results = image_processor.post_process_pose_estimation(outputs, boxes=boxes)[0]
keypoints = results[0]["keypoints"]   # (num_keypoints, 2) — x/y in image coordinates
scores = results[0]["scores"]         # (num_keypoints,) — per-keypoint confidence
print("Keypoints shape:", keypoints.shape)
```

Kỹ thuật tăng dữ liệu lật ngang (tăng dữ liệu khi kiểm tra) cải thiện độ chính xác của điểm khóa bằng cách lấy trung bình các dự đoán từ ảnh gốc và ảnh được lật gương. Truyền `flip_pairs` — một tensor chứa các cặp `[left_keypoint, right_keypoint]` — vào lần chạy forward thứ hai. Mô hình sẽ lật các heatmap trở lại hướng gốc trước khi trả về, do đó bạn có thể lấy trung bình trực tiếp cả hai đầu ra.

```python
import torch
from transformers import AutoImageProcessor, AutoModelForPoseEstimation
from transformers.image_utils import load_image

image = load_image("http://images.cocodataset.org/val2017/000000004016.jpg")

image_processor = AutoImageProcessor.from_pretrained("facebook/sapiens2-pose-0.4b")
model = AutoModelForPoseEstimation.from_pretrained("facebook/sapiens2-pose-0.4b", device_map="auto")

boxes = [[[270.8, 0.6, 294.1, 379.5]]]
inputs = image_processor(image, boxes=boxes, return_tensors="pt").to(model.device)
pixel_values = inputs["pixel_values"]

flip_pairs = torch.tensor(model.config.flip_pairs, device=model.device)

with torch.inference_mode():
    outputs = model(pixel_values)
    outputs_flipped = model(pixel_values.flip(-1), flip_pairs=flip_pairs)

results = image_processor.post_process_pose_estimation(outputs, outputs_flipped=outputs_flipped, boxes=boxes)[0]
keypoints = results[0]["keypoints"]
scores = results[0]["scores"]
```

Ví dụ dưới đây cho thấy cách tính toán tổn thất Mean Squared Error (MSE) có giám sát với [Sapiens2ForPoseEstimation](/docs/transformers/main/vi/model_doc/sapiens2#transformers.Sapiens2ForPoseEstimation) bằng cách truyền `labels` và `label_weights` tùy chọn. Điều này hữu ích cho việc tinh chỉnh sử dụng API `Trainer`.

```python
import torch
from transformers import AutoImageProcessor, AutoModelForPoseEstimation
from transformers.image_utils import load_image

image = load_image("http://images.cocodataset.org/val2017/000000004016.jpg")

image_processor = AutoImageProcessor.from_pretrained("facebook/sapiens2-pose-0.4b")
model = AutoModelForPoseEstimation.from_pretrained("facebook/sapiens2-pose-0.4b", device_map="auto")

# Provide bounding boxes in COCO format (x, y, width, height) for each person
boxes = [[[270.8, 0.6, 294.1, 379.5]]]
inputs = image_processor(image, boxes=boxes, return_tensors="pt").to(model.device)

# Create dummy labels (heatmaps) and visibility weights to simulate ground truth
# 1.0 for visible keypoints, 0.0 for occluded/invisible keypoints
batch_size, num_keypoints = 1, 308
heatmap_height, heatmap_width = 1024, 768
labels = torch.randn(batch_size, num_keypoints, heatmap_height, heatmap_width, device=model.device)
label_weights = torch.ones(batch_size, num_keypoints, 1, 1, device=model.device)

# Forward pass with loss calculation
outputs = model(**inputs, labels=labels, label_weights=label_weights)

print("Loss:", outputs.loss.item())
```

Ví dụ dưới đây cho thấy cách thực hiện phân đoạn bộ phận cơ thể bằng [Sapiens2ForSemanticSegmentation](/docs/transformers/main/vi/model_doc/sapiens2#transformers.Sapiens2ForSemanticSegmentation).

```python
import torch
from transformers import AutoImageProcessor, AutoModelForSemanticSegmentation
from transformers.image_utils import load_image

image = load_image("http://images.cocodataset.org/val2017/000000004016.jpg")

image_processor = AutoImageProcessor.from_pretrained("facebook/sapiens2-seg-0.4b")
model = AutoModelForSemanticSegmentation.from_pretrained("facebook/sapiens2-seg-0.4b", device_map="auto")

inputs = image_processor(image, return_tensors="pt").to(model.device)
with torch.inference_mode():
    outputs = model(**inputs)

# outputs.logits shape: (batch_size, num_labels, height, width)
print("Logits shape:", outputs.logits.shape)  # [1, 29, 1024, 768]

# Get per-pixel class predictions, optionally resized to the original image size
original_size = (image.height, image.width)
segmentation = image_processor.post_process_semantic_segmentation(
    outputs, target_sizes=[original_size]
)[0]
print("Segmentation map shape:", segmentation.shape)  # [original_height, original_width]
```

Ví dụ dưới đây cho thấy cách chạy image matting với [Sapiens2ForImageMatting](/docs/transformers/main/vi/model_doc/sapiens2#transformers.Sapiens2ForImageMatting). Đầu ra đã được kích hoạt sigmoid và nằm trong khoảng `[0, 1]`; hãy dùng `post_process_image_matting` để thay đổi kích thước và tách thành `alphas`, `foregrounds`, và một hình ảnh `composite` tùy chọn. Hình ảnh composite hiển thị phần foreground chồng lên nền theo công thức: `composite = foreground * (1 - alpha) * background`.

```python
import torch
from transformers import AutoImageProcessor, AutoModelForImageMatting
from transformers.image_utils import load_image

image = load_image("http://images.cocodataset.org/val2017/000000004016.jpg")

image_processor = AutoImageProcessor.from_pretrained("facebook/sapiens2-matting-1b")
model = AutoModelForImageMatting.from_pretrained("facebook/sapiens2-matting-1b", device_map="auto")

inputs = image_processor(image, return_tensors="pt").to(model.device)
with torch.inference_mode():
    outputs = model(**inputs)

# outputs.foregrounds: (1, 3, H, W), outputs.alphas: (1, 1, H, W) — both in [0, 1]
original_size = (image.height, image.width)

# Pass an optional background to composite the foreground over it.
# A (3, 1, 1) tensor broadcasts as a uniform color; PIL images and numpy arrays are also accepted.
background = torch.tensor([0, 177, 64], dtype=torch.uint8).view(3, 1, 1)  # chroma green in RGB
result = image_processor.post_process_image_matting(
    outputs, target_sizes=[original_size], backgrounds=background
)[0]
print("Alpha shape:", result["alpha"].shape)        # [1, original_height, original_width]
print("Foreground shape:", result["foreground"].shape)  # [3, original_height, original_width]
print("Composite shape:", result["composite"].shape)    # [3, original_height, original_width] — uint8 [0, 255]
```

## Sapiens2Config[[transformers.Sapiens2Config]]

#### transformers.Sapiens2Config[[transformers.Sapiens2Config]]

```python
transformers.Sapiens2Config(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, patch_size: int | list[int] | tuple[int, int] = 16, hidden_size: int = 1024, intermediate_size: int = 4096, num_hidden_layers: int = 24, num_attention_heads: int = 16, hidden_act: str = 'silu', attention_dropout: float | int = 0.0, initializer_range: float = 0.02, rope_theta: float = 100.0, image_size: int | list[int] | tuple[int, int] = 224, num_channels: int = 3, query_bias: bool = True, key_bias: bool = True, value_bias: bool = True, proj_bias: bool = True, mlp_bias: bool = True, layerscale_value: float = 1.0, drop_path_rate: float | int = 0.0, use_gated_mlp: bool = True, num_register_tokens: int = 8, pos_embed_shift: float | None = None, pos_embed_jitter: float | None = None, pos_embed_rescale: float | None = 2.0, _out_features: list[str] | None = None, _out_indices: list[int] | None = None, reshape_hidden_states: bool = True, use_mask_token: bool = False, rms_norm_eps: float = 1e-06, normalize_backbone_outputs: bool = True, use_qk_norm: bool = True, num_key_value_heads_per_layer: list[int] | None = None, num_key_value_attention_heads: int = 8, num_first_full_attention_layers: int = 8, num_last_full_attention_layers: int = 8, semantic_loss_ignore_index: int = 255, flip_pairs: list[list[int]] | None = None, head_config: transformers.models.sapiens2.configuration_sapiens2.Sapiens2HeadConfig | dict | None = None)
```

[Nguồn](https://github.com/huggingface/transformers/blob/main/src/transformers/models/sapiens2/configuration_sapiens2.py#L116)

**Tham số:**

patch_size (`Union[int, list[int], tuple[int, int]]`, *tùy chọn*, mặc định là `16`) : Kích thước (độ phân giải) của mỗi patch.

hidden_size (`int`, *tuỳ chọn*, mặc định là `1024`) : Kích thước của các biểu diễn ẩn.

intermediate_size (`int`, *tuỳ chọn*, mặc định là `4096`) : Kích thước của các biểu diễn MLP.

num_hidden_layers (`int`, *tuỳ chọn*, mặc định là `24`) : Số lượng lớp ẩn trong bộ giải mã Transformer.

num_attention_heads (`int`, *tuỳ chọn*, mặc định là `16`) : Số lượng đầu chú ý cho mỗi lớp chú ý trong bộ giải mã Transformer.

hidden_act (`str`, *tùy chọn*, mặc định là `silu`) : Hàm kích hoạt phi tuyến tính (hàm hoặc chuỗi) trong bộ giải mã. Ví dụ, `"gelu"`, `"relu"`, `"silu"`, v.v.

attention_dropout (`Union[float, int]`, *tùy chọn*, mặc định là `0.0`) : Tỷ lệ dropout cho các xác suất chú ý.

initializer_range (`float`, *optional*, mặc định là `0.02`) : Độ lệch chuẩn của truncated_normal_initializer để khởi tạo tất cả các ma trận trọng số.

rope_theta (`float`, *tuỳ chọn*, mặc định là 100.0) : Chu kỳ cơ bản của các nhúng RoPE.

image_size (`Union[int, list[int], tuple[int, int]]`, *tùy chọn*, mặc định là `224`) : Kích thước (độ phân giải) của mỗi hình ảnh.

num_channels (`int`, *tuỳ chọn*, mặc định là `3`) : Số lượng kênh đầu vào.

query_bias (`bool`, *tùy chọn*, mặc định là `True`) : Có thêm bias vào phép chiếu query hay không.

key_bias (`bool`, *tùy chọn*, mặc định là `False`) : Có thêm bias vào phép chiếu key hay không.

value_bias (`bool`, *tùy chọn*, mặc định là `True`) : Có thêm bias vào phép chiếu giá trị hay không.

proj_bias (`bool`, *tùy chọn*, mặc định là `True`) : Có thêm bias vào phép chiếu đầu ra hay không.

mlp_bias (`bool`, *tùy chọn*, mặc định là `True`) : Có sử dụng bias trong các lớp up_proj, down_proj và gate_proj của các lớp MLP hay không.

layerscale_value (`float`, *tuỳ chọn*, mặc định là 1.0) : Giá trị ban đầu để sử dụng cho layer scale.

drop_path_rate (`Union[float, int]`, *tùy chọn*, mặc định là `0.0`) : Tỷ lệ drop path cho việc hợp nhất patch.

use_gated_mlp (`bool`, *tùy chọn*, mặc định là `False`) : Có sử dụng mạng nơ-ron tiền xử lý SwiGLU hay không.

num_register_tokens (`int`, *tuỳ chọn*, mặc định là 0) : Số lượng token đăng ký.

pos_embed_shift (`float`, *optional*) : Lượng dịch chuyển ngẫu nhiên cho tọa độ nhúng vị trí trong khoảng [-shift, shift], chỉ được áp dụng ở chế độ huấn luyện nếu không phải `None`.

pos_embed_jitter (`float`, *optional*) : Mức độ jitter ngẫu nhiên cho tọa độ position embedding theo phân phối log-uniform trong khoảng [1/jitter, jitter], chỉ được áp dụng ở chế độ training nếu không phải `None`.

pos_embed_rescale (`float`, *optional*, mặc định là 2.0) : Mức độ để ngẫu nhiên điều chỉnh lại tỷ lệ các tọa độ nhúng vị trí theo giá trị log-uniform trong khoảng [1/rescale, rescale], chỉ được áp dụng ở chế độ huấn luyện nếu không phải `None`.

reshape_hidden_states (`bool`, *tùy chọn*, mặc định là `True`) : Có nên định dạng lại các trạng thái ẩn (hidden states) thành các chiều không gian khi được sử dụng làm backbone hay không.

use_mask_token (`bool`, *tùy chọn*, mặc định là `False`) : Có sử dụng token mặt nạ trong các embedding hay không (cần thiết cho tiền huấn luyện mô hình hóa hình ảnh có mặt nạ).

rms_norm_eps (`float`, *optional*, mặc định là 1e-6) : Epsilon cho các lớp chuẩn hóa RMS.

normalize_backbone_outputs (`bool`, *tùy chọn*, mặc định là `True`) : Xác định có áp dụng RMSNorm cho các đầu ra `feature_maps` và `cls_tokens` của backbone trước khi trả về chúng từ bước forward hay không. Chỉ áp dụng khi mô hình được sử dụng như một backbone.

use_qk_norm (`bool`, *tùy chọn*, mặc định là `True`) : Có áp dụng RMSNorm cho queries và keys trước RoPE trong các lớp attention hay không.

num_key_value_heads_per_layer (`list[int]`, *optional*) : Số lượng đầu key/value cho mỗi lớp transformer. Đặt giá trị của một lớp bằng `num_attention_heads` sẽ cho phép chú ý đa đầu đầy đủ; giá trị nhỏ hơn sẽ cho phép chú ý truy vấn nhóm. Mặc định là `num_attention_heads` cho `num_first_full_attention_layers` lớp đầu tiên và `num_last_full_attention_layers` lớp cuối cùng, và `num_key_value_attention_heads` cho tất cả các lớp còn lại.

num_key_value_attention_heads (`int`, *tuỳ chọn*, mặc định là `8`) : Số lượng đầu key/value cho các lớp sử dụng grouped-query attention khi `num_key_value_heads_per_layer` không được đặt. Bỏ qua khi `num_key_value_heads_per_layer` được đặt.

num_first_full_attention_layers (`int`, *tuỳ chọn*, mặc định là 8) : Số lượng lớp transformer đầu tiên sử dụng chú ý đa đầu đầy đủ. Chỉ được sử dụng khi `num_key_value_heads_per_layer` là `None`.

num_last_full_attention_layers (`int`, *tuỳ chọn*, mặc định là 8) : Số lượng lớp transformer cuối cùng sử dụng chú ý đa đầu đầy đủ. Chỉ được sử dụng khi `num_key_value_heads_per_layer` là `None`.

semantic_loss_ignore_index (`int`, *tuỳ chọn*, mặc định là 255) : Chỉ số nhãn bị bỏ qua khi tính toán tổn thất phân đoạn.

flip_pairs (`list[list[int]]`, *tùy chọn*) : Các cặp chỉ số điểm then được phản chiếu theo chiều ngang (ví dụ: tai trái ↔ tai phải). Mỗi cặp là một danh sách hai phần tử `[left_index, right_index]`. Được sử dụng cho tăng cường dữ liệu lật ngang tại thời điểm kiểm tra trong ước lượng tư thế: truyền các cặp này vào lần gọi forward thứ hai để mô hình lật lại các bản đồ nhiệt trước khi trả về chúng.

head_config (`Sapiens2HeadConfig`, *tùy chọn*) : Cấu hình cho đầu giải mã. Xem [Sapiens2HeadConfig](/docs/transformers/main/vi/model_doc/sapiens2#transformers.Sapiens2HeadConfig) để biết các tùy chọn khả dụng.

Đây là lớp cấu hình để lưu trữ cấu hình của một Sapiens2Model. Nó được sử dụng để khởi tạo một mô hình Sapiens2 theo các đối số được chỉ định, xác định kiến trúc mô hình. Khởi tạo một cấu hình với các giá trị mặc định sẽ tạo ra một cấu hình tương tự như cấu hình của [facebook/sapiens2-pretrain-0.4b](https://huggingface.co/facebook/sapiens2-pretrain-0.4b)

Các đối tượng cấu hình kế thừa từ [PreTrainedConfig](/docs/transformers/main/vi/main_classes/configuration#transformers.PreTrainedConfig) và có thể được sử dụng để kiểm soát đầu ra của mô hình. Đọc tài liệu từ [PreTrainedConfig](/docs/transformers/main/vi/main_classes/configuration#transformers.PreTrainedConfig) để biết thêm thông tin.

## Sapiens2HeadConfig[[transformers.Sapiens2HeadConfig]]

#### transformers.Sapiens2HeadConfig[[transformers.Sapiens2HeadConfig]]

```python
transformers.Sapiens2HeadConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, upsample_out_channels: list[int] | None = None, upsample_kernel_sizes: list[int] | None = None, upsample_kernel_size: int = 4, use_pixel_shuffle: bool | None = None, conv_out_channels: list[int] | None = None, conv_kernel_sizes: list[int] | None = None, conv_kernel_size: int = 1, scale_conv_out_channels: list[int] | None = None, scale_conv_kernel_sizes: list[int] | None = None, scale_conv_kernel_size: int = 1, scale_final_input_size: int | None = None, scale_final_hidden_sizes: list[int] | None = None)
```

[Nguồn](https://github.com/huggingface/transformers/blob/main/src/transformers/models/sapiens2/configuration_sapiens2.py#L28)

**Tham số:**

upsample_out_channels (`list[int]`, *optional*) : Số lượng kênh đầu ra cho mỗi khối upsample. Khối đầu tiên nhận `hidden_size` kênh làm đầu vào; các khối tiếp theo sử dụng đầu ra của khối trước đó.

upsample_kernel_sizes (`list[int]`, *optional*) : Kích thước kernel cho mỗi khối upsample. Được tự động điền bằng `[4, ...]` khi `upsample_out_channels` được đặt nhưng đây là `None`. Phải có cùng độ dài với `upsample_out_channels`.

upsample_kernel_size (`int`, mặc định là 4) : Kích thước kernel mặc định cho các khối upsample khi `upsample_kernel_sizes` không được đặt.

use_pixel_shuffle (`bool`, *tuỳ chọn*) : Xác định xem đầu upsample có sử dụng pixel-shuffle upsampling thay vì transposed convolutions hay không. Khi `None` (mặc định), đầu sẽ sử dụng transposed convolutions.

conv_out_channels (`list[int]`, *tùy chọn*) : Số lượng kênh đầu ra cho các lớp conv tinh chỉnh đi theo sau các khối upsample.

conv_kernel_sizes (`list[int]`, *optional*) : Kích thước kernel cho mỗi lớp conv refinement. Được tự động điền với `[1, ...]` khi `conv_out_channels` được đặt nhưng đây là `None`. Phải có cùng độ dài với `conv_out_channels`.

conv_kernel_size (`int`, mặc định là 1) : Kích thước kernel mặc định cho các lớp conv khi `conv_kernel_sizes` không được đặt.

scale_conv_out_channels (`list[int]`, *optional*) : Số lượng kênh đầu ra cho các lớp conv có stride-2 được dùng để dự đoán thang đo tiêu cự. Khi `None` (mặc định), không có nhánh thang đo nào được xây dựng.

scale_conv_kernel_sizes (`list[int]`, *optional*) : Kích thước kernel cho mỗi lớp conv theo scale. Được tự động điền với `[1, ...]` khi `scale_conv_out_channels` được đặt nhưng đây là `None`. Phải có cùng độ dài với `scale_conv_out_channels`.

scale_conv_kernel_size (`int`, mặc định là 1) : Kích thước kernel mặc định cho các lớp conv của scale khi `scale_conv_kernel_sizes` không được đặt.

scale_final_input_size (`int`, *optional*) : Kích thước đặc trưng đã được làm phẳng được truyền vào scale MLP. Khi `None` (mặc định), giá trị này được suy ra tự động từ `image_size` và `patch_size` trong [Sapiens2Config](/docs/transformers/main/vi/model_doc/sapiens2#transformers.Sapiens2Config) cha.

scale_final_hidden_sizes (`list[int]`, *optional*) : Kích thước các lớp ẩn của MLP ánh xạ các đặc trưng scale đã được làm phẳng sang đầu ra scale vô hướng. Khi `None` (mặc định), không có nhánh scale nào được xây dựng.

Đây là lớp cấu hình để lưu trữ cấu hình của một Sapiens2Model. Nó được sử dụng để khởi tạo một mô hình Sapiens2 theo các đối số được chỉ định, xác định kiến trúc mô hình. Khởi tạo một cấu hình với các giá trị mặc định sẽ tạo ra một cấu hình tương tự như cấu hình của [facebook/sapiens2-seg-0.4b](https://huggingface.co/facebook/sapiens2-seg-0.4b)

Các đối tượng cấu hình kế thừa từ [PreTrainedConfig](/docs/transformers/main/vi/main_classes/configuration#transformers.PreTrainedConfig) và có thể được sử dụng để kiểm soát đầu ra của mô hình. Đọc tài liệu từ [PreTrainedConfig](/docs/transformers/main/vi/main_classes/configuration#transformers.PreTrainedConfig) để biết thêm thông tin.

## Sapiens2ImageProcessor[[transformers.Sapiens2ImageProcessor]]

#### transformers.Sapiens2ImageProcessor[[transformers.Sapiens2ImageProcessor]]

```python
transformers.Sapiens2ImageProcessor(**kwargs: *<class 'transformers.models.sapiens2.image_processing_sapiens2.Sapiens2ImageProcessorKwargs'>)
```

[Nguồn](https://github.com/huggingface/transformers/blob/main/src/transformers/models/sapiens2/image_processing_sapiens2.py#L407)

**Tham số:**

do_convert_rgb (`bool`, *kwargs*, *optional*) : Có chuyển đổi hình ảnh sang RGB hay không.

do_resize (`bool`, *kwargs*, *tuỳ chọn*, mặc định là `True`) : Xác định có thay đổi kích thước ảnh hay không.

size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*, mặc định là `{'height' : 1024, 'width': 768}`): Mô tả kích thước đầu vào tối đa cho mô hình.

default_to_square (`bool`, *kwargs*, *tuỳ chọn*, mặc định là `True`) : Có nên mặc định sử dụng ảnh vuông khi thay đổi kích thước hay không, nếu size là một số nguyên.

crop_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*, mặc định là `{'height' : 224, 'width': 224}`): Kích thước của ảnh đầu ra sau khi áp dụng `center_crop`.

resample (`Annotated[Union[int, PILImageResampling, NoneType], None]`, *kwargs*, mặc định là `2`) : Bộ lọc lấy mẫu lại (resampling filter) được sử dụng khi thay đổi kích thước ảnh. Giá trị này có thể là một trong các hằng số liệt kê (enum) của `PILImageResampling`. Chỉ có hiệu lực khi `do_resize` được đặt thành `True`.

do_rescale (`bool`, *kwargs*, *tuỳ chọn*, mặc định là `True`) : Xác định có nên điều chỉnh lại tỷ lệ ảnh hay không.

rescale_factor (`float`, *kwargs*, *optional*, mặc định là `0.00392156862745098`) : Hệ số để điều chỉnh lại kích thước ảnh nếu `do_rescale` được đặt thành `True`.

do_normalize (`bool`, *kwargs*, *tuỳ chọn*, mặc định là `True`) : Có chuẩn hóa hình ảnh hay không.

image_mean (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *optional*, mặc định là `[0.485, 0.456, 0.406]`) : Giá trị trung bình của ảnh để sử dụng cho việc chuẩn hóa. Chỉ có hiệu lực nếu `do_normalize` được đặt thành `True`.

image_std (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *optional*, mặc định là `[0.229, 0.224, 0.225]`) : Độ lệch chuẩn của ảnh để sử dụng cho việc chuẩn hóa. Chỉ có hiệu lực nếu `do_normalize` được đặt thành `True`.

do_pad (`bool`, *kwargs*, *optional*, mặc định là `False`) : Xác định có chèn padding cho ảnh hay không. Padding được thực hiện đến kích thước lớn nhất trong batch hoặc đến kích thước vuông cố định cho từng ảnh. Chiến lược padding cụ thể phụ thuộc vào model.

pad_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : Kích thước ở dạng `{"height": int, "width" int}` để đệm (pad) các ảnh. Phải lớn hơn kích thước của bất kỳ ảnh nào được cung cấp cho tiền xử lý. Nếu `pad_size` không được cung cấp, các ảnh sẽ được đệm đến chiều cao và chiều rộng lớn nhất trong batch. Chỉ được áp dụng khi `do_pad=True.`

do_center_crop (`bool`, *kwargs*, *optional*, mặc định là `False`) : Có nên cắt ảnh theo kiểu căn giữa hay không.

data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *tuỳ chọn*) : Chỉ hỗ trợ `ChannelDimension.FIRST`. Được thêm vào để tương thích với các bộ xử lý chậm.

input_data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *optional*) : Định dạng chiều kênh cho ảnh đầu vào. Nếu không được đặt, định dạng chiều kênh sẽ được suy ra từ ảnh đầu vào. Có thể là một trong các giá trị sau: - `"channels_first"` hoặc `ChannelDimension.FIRST`: ảnh ở định dạng (num_channels, height, width). - `"channels_last"` hoặc `ChannelDimension.LAST`: ảnh ở định dạng (height, width, num_channels). - `"none"` hoặc `ChannelDimension.NONE`: ảnh ở định dạng (height, width).

device (`Annotated[Union[str, torch.device, NoneType], None]`, *kwargs*) : Thiết bị để xử lý các video. Nếu không được đặt, thiết bị sẽ được suy ra từ các video đầu vào.

return_tensors (`Annotated[str | ~utils.generic.TensorType | None, None]`, *kwargs*) : Trả về các tensor đã xếp chồng nếu được đặt thành `'pt'`, ngược lại trả về một danh sách các tensor.

disable_grouping (`bool`, *kwargs*, *optional*) : Xác định có vô hiệu hóa việc nhóm các hình ảnh theo kích thước để xử lý chúng riêng lẻ thay vì theo lô hay không. Nếu là None, giá trị sẽ được đặt thành True nếu các hình ảnh nằm trên CPU, và False trong các trường hợp khác. Lựa chọn này dựa trên các quan sát thực nghiệm, chi tiết tại đây: https://github.com/huggingface/transformers/pull/38157

image_seq_length (`int`, *kwargs*, *tuỳ chọn*) : Số lượng token hình ảnh sẽ được sử dụng cho mỗi hình ảnh trong đầu vào. Được thêm vào để đảm bảo tương thích ngược, nhưng trong các mô hình tương lai, giá trị này nên được đặt như một thuộc tính của bộ xử lý.

do_reduce_labels (`bool`, *kwargs*, *optional*, mặc định là `self.do_reduce_labels`) : Có giảm tất cả các giá trị nhãn của các bản đồ phân đoạn xuống 1 hay không. Thường được sử dụng cho các bộ dữ liệu mà 0 được dùng cho nền, và bản thân nền không được bao gồm trong tất cả các lớp của bộ dữ liệu (ví dụ: ADE20k). Nhãn nền sẽ được thay thế bằng 255.

keypoint_heatmap_downscale_factor (`int`, *kwargs*, *optional*, mặc định là 4) : Hệ số thu nhỏ kích thước heatmap đích so với kích thước đầu vào của mô hình.

keypoint_heatmap_sigma (`float`, *kwargs*, *optional*, mặc định là 6.0) : Độ lệch chuẩn (sigma) của các phân phối Gaussian 2D được sử dụng để tạo các bản đồ nhiệt.

Tạo một bộ xử lý ảnh Sapiens2ImageProcessor.

#### preprocess[[transformers.Sapiens2ImageProcessor.preprocess]]

```python
preprocess(images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']], segmentation_maps: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor'], NoneType] = None, boxes: list[list[list[float]]] | None = None, keypoints: list[list[list[list[float]]]] | None = None, **kwargs: *<class 'transformers.models.sapiens2.image_processing_sapiens2.Sapiens2ImageProcessorKwargs'>)
```

[Nguồn](https://github.com/huggingface/transformers/blob/main/src/transformers/models/sapiens2/image_processing_sapiens2.py#L430)

**Tham số:**

images (`Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]`) : Ảnh cần tiền xử lý. Kỳ vọng một ảnh đơn hoặc một lô ảnh có giá trị pixel từ 0 đến 255. Nếu truyền vào các ảnh có giá trị pixel từ 0 đến 1, hãy đặt `do_rescale=False`.

segmentation_maps (`ImageInput`, *tùy chọn*) : Các bản đồ phân đoạn cần tiền xử lý.

boxes (`list[list[list[float]]]` hoặc `np.ndarray`, *tuỳ chọn*) : Danh sách hoặc mảng các bounding box cho mỗi ảnh. Mỗi box phải là một danh sách gồm 4 số float đại diện cho tọa độ bounding box theo định dạng COCO (top_left_x, top_left_y, width, height). Khi được cung cấp, mỗi crop của người sẽ được affine-warped về kích thước đầu vào của mô hình thay vì resize toàn bộ ảnh.

keypoints (`list[list[list[list[float]]]]`, *tùy chọn*) : Danh sách các điểm then chốt (keypoints) cho mỗi người trong mỗi ảnh. Định dạng mong đợi là kiểu COCO `[x, y, visibility]`. Các giá trị `x` và `y` được mong đợi là tọa độ pixel tuyệt đối của ảnh. Định dạng là `[images -> persons -> keypoints -> [x, y, visibility]]`. Được sử dụng để tạo các heatmap chuẩn (ground-truth) và trọng số khả kiến (visibility weights) cho việc tinh chỉnh (fine-tuning) ước lượng tư thế (pose estimation).

do_convert_rgb (`bool`, *kwargs*, *optional*) : Có chuyển đổi hình ảnh sang RGB hay không.

do_resize (`bool`, *kwargs*, *optional*) : Xác định có nên thay đổi kích thước ảnh hay không.

size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*): Mô tả các kích thước đầu vào tối đa của mô hình.

default_to_square (`bool`, *kwargs*, *tuỳ chọn*) : Có mặc định dùng ảnh vuông khi thay đổi kích thước hay không, nếu size là một số nguyên.

crop_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : Kích thước của ảnh đầu ra sau khi áp dụng `center_crop`.

resample (`Annotated[Union[int, PILImageResampling, NoneType], None]`, *kwargs*) : Bộ lọc resampling để sử dụng khi thay đổi kích thước ảnh. Giá trị này có thể là một trong các enum `PILImageResampling`. Chỉ có hiệu lực khi `do_resize` được đặt thành `True`.

do_rescale (`bool`, *kwargs*, *tuỳ chọn*) : Xác định có nên điều chỉnh lại tỷ lệ hình ảnh hay không.

rescale_factor (`float`, *kwargs*, *optional*) : Hệ số để thay đổi tỷ lệ ảnh nếu `do_rescale` được đặt thành `True`.

do_normalize (`bool`, *kwargs*, *tuỳ chọn*) : Xác định có chuẩn hóa hình ảnh hay không.

image_mean (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *optional*) : Giá trị trung bình của ảnh để sử dụng cho việc chuẩn hóa. Chỉ có hiệu lực nếu `do_normalize` được đặt thành `True`.

image_std (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *optional*) : Độ lệch chuẩn của ảnh để sử dụng cho việc chuẩn hóa. Chỉ có hiệu lực nếu `do_normalize` được đặt thành `True`.

do_pad (`bool`, *kwargs*, *optional*) : Xác định có chèn padding cho ảnh hay không. Padding được thực hiện đến kích thước lớn nhất trong batch hoặc đến một kích thước vuông cố định cho mỗi ảnh. Chiến lược padding cụ thể phụ thuộc vào model.

pad_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : Kích thước ở dạng `{"height": int, "width" int}` để đệm (pad) các ảnh. Phải lớn hơn kích thước của bất kỳ ảnh nào được cung cấp cho tiền xử lý. Nếu `pad_size` không được cung cấp, các ảnh sẽ được đệm đến chiều cao và chiều rộng lớn nhất trong batch. Chỉ được áp dụng khi `do_pad=True.`

do_center_crop (`bool`, *kwargs*, *optional*) : Có nên cắt ảnh theo kiểu căn giữa hay không.

data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *tuỳ chọn*) : Chỉ hỗ trợ `ChannelDimension.FIRST`. Được thêm vào để tương thích với các bộ xử lý chậm.

input_data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *optional*) : Định dạng chiều kênh cho ảnh đầu vào. Nếu không được đặt, định dạng chiều kênh sẽ được suy ra từ ảnh đầu vào. Có thể là một trong các giá trị sau: - `"channels_first"` hoặc `ChannelDimension.FIRST`: ảnh ở định dạng (num_channels, height, width). - `"channels_last"` hoặc `ChannelDimension.LAST`: ảnh ở định dạng (height, width, num_channels). - `"none"` hoặc `ChannelDimension.NONE`: ảnh ở định dạng (height, width).

device (`Annotated[Union[str, torch.device, NoneType], None]`, *kwargs*) : Thiết bị để xử lý các video. Nếu không được đặt, thiết bị sẽ được suy ra từ các video đầu vào.

return_tensors (`Annotated[str | ~utils.generic.TensorType | None, None]`, *kwargs*) : Trả về các tensor đã xếp chồng nếu được đặt thành `'pt'`, ngược lại trả về một danh sách các tensor.

disable_grouping (`bool`, *kwargs*, *optional*) : Xác định có vô hiệu hóa việc nhóm các hình ảnh theo kích thước để xử lý chúng riêng lẻ thay vì theo lô hay không. Nếu là None, giá trị sẽ được đặt thành True nếu các hình ảnh nằm trên CPU, và False trong các trường hợp khác. Lựa chọn này dựa trên các quan sát thực nghiệm, chi tiết tại đây: https://github.com/huggingface/transformers/pull/38157

image_seq_length (`int`, *kwargs*, *tuỳ chọn*) : Số lượng token hình ảnh sẽ được sử dụng cho mỗi hình ảnh trong đầu vào. Được thêm vào để đảm bảo tương thích ngược, nhưng trong các mô hình tương lai, giá trị này nên được đặt như một thuộc tính của bộ xử lý.

do_reduce_labels (`bool`, *kwargs*, *optional*, mặc định là `self.do_reduce_labels`) : Có giảm tất cả các giá trị nhãn của các bản đồ phân đoạn xuống 1 hay không. Thường được sử dụng cho các bộ dữ liệu mà 0 được dùng cho nền, và bản thân nền không được bao gồm trong tất cả các lớp của bộ dữ liệu (ví dụ: ADE20k). Nhãn nền sẽ được thay thế bằng 255.

keypoint_heatmap_downscale_factor (`int`, *kwargs*, *optional*, mặc định là 4) : Hệ số thu nhỏ kích thước heatmap đích so với kích thước đầu vào của mô hình.

keypoint_heatmap_sigma (`float`, *kwargs*, *optional*, mặc định là 6.0) : Độ lệch chuẩn (sigma) của các phân phối Gaussian 2D được sử dụng để tạo các bản đồ nhiệt.

**Trả về:** `~image_processing_base.BatchFeature`

- **data** (`dict`) -- Từ điển chứa các danh sách/mảng/tensor được trả về bởi phương thức __call__ ('pixel_values', v.v.).
- **tensor_type** (`Union[None, str, TensorType]`, *tùy chọn*) -- Bạn có thể cung cấp tensor_type tại đây để chuyển đổi các danh sách số nguyên trong Tensor PyTorch/Numpy khi khởi tạo.

#### post_process_image_matting[[transformers.Sapiens2ImageProcessor.post_process_image_matting]]

```python
post_process_image_matting(outputs, target_sizes: transformers.utils.generic.TensorType | list[tuple[int, int]] | None = None, backgrounds: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor'], NoneType] = None)
```

[Nguồn](https://github.com/huggingface/transformers/blob/main/src/transformers/models/sapiens2/image_processing_sapiens2.py#L891)

**Tham số:**

outputs (`Sapiens2ImageMattingOutput`) : Đầu ra thô của mô hình.

target_sizes (`torch.Tensor` hoặc `list[tuple[int, int]]` có độ dài `batch_size`, *tuỳ chọn*) : `(height, width)` cuối cùng được yêu cầu cho mỗi dự đoán. Được resize bằng nội suy hai tuyến tính. Nếu không được đặt, các dự đoán sẽ được trả về ở độ phân giải đầu ra của mô hình.

backgrounds (`ImageInput`, *tùy chọn*) : Ảnh nền để tổng hợp đè lên. Có thể là một ảnh duy nhất (áp dụng cho mọi mục trong batch) hoặc một danh sách ảnh, mỗi ảnh tương ứng với một mục trong batch. Chấp nhận ảnh PIL, mảng numpy, hoặc tensor torch với bất kỳ dtype nào; các kiểu số nguyên (ví dụ: uint8) sẽ được tự động quy đổi về `[0, 1]`. Khi được cung cấp, mỗi dict kết quả sẽ có thêm khóa `"composite"` chứa ảnh đã tổng hợp dưới dạng tensor uint8 trong khoảng `[0, 255]`.

**Trả về:** `list[dict]` có độ dài `batch_size`. Mỗi dict có

- `"alpha"` (`torch.Tensor` có hình dạng `(1, height, width)`): các giá trị alpha trong `[0, 1]`.
- `"foreground"` (`torch.Tensor` có hình dạng `(3, height, width)`): RGB đã nhân trước trong khoảng `[0, 1]`.
- `"composite"` (`torch.Tensor` có hình dạng `(3, height, width)` hoặc `None`): phần nền trước được ghép lên `backgrounds` dưới dạng tensor uint8 trong khoảng `[0, 255]`; `None` khi `backgrounds` không được cung cấp.

Chuyển đổi đầu ra của [Sapiens2ForImageMatting](/docs/transformers/main/vi/model_doc/sapiens2#transformers.Sapiens2ForImageMatting) thành các tấm lưới alpha và bản đồ tiền cảnh.

#### post_process_normal_estimation[[transformers.Sapiens2ImageProcessor.post_process_normal_estimation]]

```python
post_process_normal_estimation(outputs, source_sizes: transformers.utils.generic.TensorType | list[tuple[int, int]] | None = None, target_sizes: transformers.utils.generic.TensorType | list[tuple[int, int]] | None = None, do_remove_padding: bool | None = None)
```

[Nguồn](https://github.com/huggingface/transformers/blob/main/src/transformers/models/sapiens2/image_processing_sapiens2.py#L818)

**Tham số:**

outputs (`Sapiens2NormalEstimatorOutput`) : Đầu ra thô của mô hình.

source_sizes (`torch.Tensor` hoặc `list[tuple[int, int]]` có độ dài `batch_size`, *tuỳ chọn*) : Kích thước `(height, width)` gốc của từng ảnh trước khi tiền xử lý. Khi được cung cấp, phần đệm được thêm vào trong quá trình tiền xử lý sẽ bị loại bỏ và các dự đoán được điều chỉnh kích thước trở lại kích thước ảnh gốc (trừ khi `target_sizes` ghi đè kích thước cuối cùng).

target_sizes (`torch.Tensor` hoặc `list[tuple[int, int]]` có độ dài `batch_size`, *không bắt buộc*) : Kích thước cuối cùng `(height, width)` mong muốn cho mỗi dự đoán. Khi được cung cấp, giá trị này được dùng làm mục tiêu thay đổi kích thước thay vì `source_sizes`. Ảnh sẽ được thay đổi kích thước bằng nội suy hai tuyến tính sau khi chuẩn hóa L2.

do_remove_padding (`bool`, *tuỳ chọn*) : Có nên cắt bỏ phần đệm bằng không được thêm trong quá trình tiền xử lý trước khi thay đổi kích thước hay không. Mặc định là `True` khi `source_sizes` được cung cấp, `False` trong các trường hợp khác.

**Trả về:**

`list[dict[str, torch.Tensor]]` có độ dài `batch_size`. Mỗi dict có một khóa `"normals"` ánh xạ đến một tensor có hình dạng `(3, height, width)` với các vector đơn vị được chuẩn hóa L2 trong khoảng `[-1, 1]` cho mỗi kênh (pháp tuyến bề mặt XYZ).

Chuyển đổi đầu ra của [Sapiens2ForNormalEstimation](/docs/transformers/main/vi/model_doc/sapiens2#transformers.Sapiens2ForNormalEstimation) thành các bản đồ pháp tuyến bề mặt được chuẩn hóa L2.

#### post_process_pointmap_estimation[[transformers.Sapiens2ImageProcessor.post_process_pointmap_estimation]]

```python
post_process_pointmap_estimation(outputs, source_sizes: transformers.utils.generic.TensorType | list[tuple[int, int]] | None = None, target_sizes: transformers.utils.generic.TensorType | list[tuple[int, int]] | None = None, do_remove_padding: bool | None = None)
```

[Nguồn](https://github.com/huggingface/transformers/blob/main/src/transformers/models/sapiens2/image_processing_sapiens2.py#L854)

**Tham số:**

outputs (`Sapiens2PointmapEstimatorOutput`) : Đầu ra thô của mô hình.

source_sizes (`torch.Tensor` hoặc `list[tuple[int, int]]` có độ dài `batch_size`, *tuỳ chọn*) : Kích thước `(height, width)` gốc của từng ảnh trước khi tiền xử lý. Khi được cung cấp, phần đệm được thêm vào trong quá trình tiền xử lý sẽ bị loại bỏ và các dự đoán được điều chỉnh kích thước trở lại kích thước ảnh gốc (trừ khi `target_sizes` ghi đè kích thước cuối cùng).

target_sizes (`torch.Tensor` hoặc `list[tuple[int, int]]` có độ dài `batch_size`, *không bắt buộc*) : `(height, width)` cuối cùng được yêu cầu cho mỗi dự đoán. Ghi đè `source_sizes` làm mục tiêu resize.

do_remove_padding (`bool`, *tuỳ chọn*) : Có nên cắt bỏ phần đệm bằng không được thêm trong quá trình tiền xử lý trước khi thay đổi kích thước hay không. Mặc định là `True` khi `source_sizes` được cung cấp, `False` trong các trường hợp khác.

**Trả về:**

`list[dict[str, torch.Tensor]]` có độ dài `batch_size`. Mỗi dict có một khóa `"pointmap"` ánh xạ đến một tensor có hình dạng `(3, height, width)` chứa tọa độ XYZ 3D cho từng pixel trong không gian camera chuẩn, tùy chọn chia cho `outputs.scales` để chuyển sang tọa độ metric.

Chuyển đổi đầu ra của [Sapiens2ForPointmapEstimation](/docs/transformers/main/vi/model_doc/sapiens2#transformers.Sapiens2ForPointmapEstimation) thành các tensor pointmap trong không gian ảnh.

#### post_process_pose_estimation[[transformers.Sapiens2ImageProcessor.post_process_pose_estimation]]

```python
post_process_pose_estimation(outputs, boxes: list, outputs_flipped = None, kernel_size: int = 11, threshold: float | None = None, source_sizes: transformers.utils.generic.TensorType | list[tuple[int, int]] | None = None, target_sizes: transformers.utils.generic.TensorType | list[tuple[int, int]] | None = None)
```

[Nguồn](https://github.com/huggingface/transformers/blob/main/src/transformers/models/sapiens2/image_processing_sapiens2.py#L676)

**Tham số:**

outputs (`Sapiens2PoseEstimatorOutput`) : Đầu ra thô của mô hình. `outputs.heatmaps` phải có hình dạng `(N_total, num_keypoints, heatmap_height, heatmap_width)` trong đó `N_total = sum(len(b) for b in boxes)`.

boxes (`list[list[list[float]]]` hoặc `np.ndarray`) : Danh sách hoặc mảng các bounding box cho mỗi ảnh theo tọa độ pixel tuyệt đối. Mỗi box phải là một danh sách gồm 4 số float đại diện cho tọa độ bounding box theo định dạng COCO (top_left_x, top_left_y, width, height). Phải khớp với đối số `boxes` được truyền vào `preprocess`.

outputs_flipped (`Sapiens2PoseEstimatorOutput`, *tùy chọn*) : Kết quả từ việc chạy mô hình trên các đầu vào được lật ngang. Khi được cung cấp, các heatmap sẽ được trung bình hóa với `outputs` trước khi trích xuất điểm then chốt để cải thiện độ chính xác: `avg_heatmaps = (outputs.heatmaps + outputs_flipped.heatmaps) / 2`.

kernel_size (`int`, *optional*, mặc định là 11) : Kích thước kernel cho phép làm mờ Gaussian được sử dụng trong việc tinh chỉnh UDP Dark Pose.

threshold (`float`, *optional*) : Ngưỡng điểm. Các điểm chính có điểm nhỏ hơn hoặc bằng giá trị này sẽ bị lọc khỏi các từ điển kết quả.

source_sizes (`torch.Tensor` hoặc `list[tuple[int, int]]` có độ dài `batch_size`, *tùy chọn*) : `(height, width)` gốc của mỗi hình ảnh tính bằng pixel. Bắt buộc khi `target_sizes` được cung cấp, vì đây là không gian tọa độ nguồn để thu phóng các điểm chính và hộp bao.

target_sizes (`torch.Tensor` hoặc `list[tuple[int, int]]` có độ dài `batch_size`, *không bắt buộc*) : Không gian tọa độ đầu ra `(height, width)` mong muốn cho mỗi hình ảnh. Khi được cung cấp cùng với `source_sizes`, tọa độ điểm chính và hộp bao sẽ được thu phóng từ không gian nguồn sang không gian đích.

**Trả về:** `list[list[dict]]`

Danh sách bên ngoài lặp qua các hình ảnh, danh sách bên trong lặp qua các người. Mỗi dict chứa:
- `keypoints` (`torch.Tensor` có shape `(num_keypoints, 2)`): tọa độ x/y tuyệt đối trong không gian ảnh nguồn, hoặc trong không gian đích nếu `target_sizes` được cung cấp.
- `scores` (`torch.Tensor` có hình dạng `(num_keypoints,)`): độ tin cậy cho từng điểm then chốt.
- `labels` (`torch.LongTensor` có hình dạng `(num_keypoints,)`): các chỉ số điểm then chốt.
- `bbox` (`torch.Tensor` có shape `(4,)`): bounding box ở định dạng tuyệt đối (x_min, y_min, x_max, y_max), trong cùng không gian tọa độ với `keypoints`.

Chuyển đổi đầu ra của [Sapiens2ForPoseEstimation](/docs/transformers/main/vi/model_doc/sapiens2#transformers.Sapiens2ForPoseEstimation) thành các dự đoán điểm then chốt trong không gian ảnh.

#### post_process_semantic_segmentation[[transformers.Sapiens2ImageProcessor.post_process_semantic_segmentation]]

```python
post_process_semantic_segmentation(outputs, target_sizes: list[tuple] | None = None, return_segmentation_scores: bool = False)
```

[Nguồn](https://github.com/huggingface/transformers/blob/main/src/transformers/models/sapiens2/image_processing_sapiens2.py#L610)

**Tham số:**

outputs ([Sapiens2ForSemanticSegmentation](/docs/transformers/main/vi/model_doc/sapiens2#transformers.Sapiens2ForSemanticSegmentation)) : Đầu ra thô của mô hình.

target_sizes (`list[Tuple]` có độ dài `batch_size`, *tùy chọn*) : Danh sách các bộ ba tương ứng với kích thước cuối cùng (chiều cao, chiều rộng) được yêu cầu của mỗi dự đoán. Nếu không được đặt, các dự đoán sẽ không được thay đổi kích thước.

return_segmentation_scores (`bool`, *tùy chọn*, mặc định là `False`) : Có nên trả về điểm phân đoạn cùng với bản đồ phân đoạn hay không. Khi `True`, mỗi phần tử của danh sách được trả về là một `SemanticSegmentationPostProcessorOutput` với các trường `segmentation` (ID lớp, hình dạng `(height, width)`) và `segmentation_scores` (hình dạng `(num_classes, height, width)`).

**Trả về:** `list[torch.Tensor]` hoặc `list[SemanticSegmentationPostProcessorOutput]`

Khi `return_segmentation_scores=False` (mặc định), một danh sách có độ dài `batch_size` trong đó mỗi phần tử là một bản đồ phân đoạn có hình dạng `(height, width)` với các ID lớp. Khi `return_segmentation_scores=True`, một danh sách `SemanticSegmentationPostProcessorOutput` với các trường `segmentation` (các ID lớp, hình dạng `(height, width)`) và `segmentation_scores` (hình dạng `(num_classes, height, width)`). Trong cả hai trường hợp, `(height, width)` tương ứng với kích thước đích (nếu `target_sizes` được chỉ định).

Chuyển đổi đầu ra của [Sapiens2ForSemanticSegmentation](/docs/transformers/main/vi/model_doc/sapiens2#transformers.Sapiens2ForSemanticSegmentation) thành các bản đồ phân đoạn ngữ nghĩa.

## Sapiens2Model[[transformers.Sapiens2Model]]

#### transformers.Sapiens2Model[[transformers.Sapiens2Model]]

```python
transformers.Sapiens2Model(config: Sapiens2Config)
```

[Nguồn](https://github.com/huggingface/transformers/blob/main/src/transformers/models/sapiens2/modeling_sapiens2.py#L867)

**Tham số:**

config ([Sapiens2Config](/docs/transformers/main/vi/model_doc/sapiens2#transformers.Sapiens2Config)) : Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức [from_pretrained()](/docs/transformers/main/vi/main_classes/model#transformers.PreTrainedModel.from_pretrained) để tải trọng số mô hình.

Mô hình Sapiens2 cơ bản, xuất ra các hidden-state thô mà không có head cụ thể nào ở phía trên.

Mô hình này kế thừa từ [PreTrainedModel](/docs/transformers/main/vi/main_classes/model#transformers.PreTrainedModel). Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu ra, v.v.)

Mô hình này cũng là một lớp con của [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.

#### forward[[transformers.Sapiens2Model.forward]]

```python
forward(pixel_values: Tensor, bool_masked_pos: typing.Optional[torch.Tensor] = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[Nguồn](https://github.com/huggingface/transformers/blob/main/src/transformers/models/sapiens2/modeling_sapiens2.py#L880)

**Tham số:**

pixel_values (`torch.Tensor` có shape `(batch_size, num_channels, image_size, image_size)`) : Các tensor tương ứng với các ảnh đầu vào. Giá trị pixel có thể được lấy bằng cách sử dụng [Sapiens2ImageProcessor](/docs/transformers/main/vi/model_doc/sapiens2#transformers.Sapiens2ImageProcessor). Xem [Sapiens2ImageProcessor.__call__()](/docs/transformers/main/vi/model_doc/molmo2#transformers.Molmo2ImageProcessor.__call__) để biết chi tiết (`processor_class` sử dụng [Sapiens2ImageProcessor](/docs/transformers/main/vi/model_doc/sapiens2#transformers.Sapiens2ImageProcessor) để xử lý ảnh).

bool_masked_pos (`torch.BoolTensor` có shape `(batch_size, sequence_length)`, *tùy chọn*) : Các vị trí bị mask dạng Boolean. Chỉ ra các patch nào bị mask (1) và các patch nào không bị mask (0). Chỉ liên quan đến pre-training.

**Trả về:** [BaseModelOutputWithPooling](/docs/transformers/main/vi/main_classes/output#transformers.modeling_outputs.BaseModelOutputWithPooling) hoặc `tuple(torch.Tensor)`

Một [BaseModelOutputWithPooling](/docs/transformers/main/vi/main_classes/output#transformers.modeling_outputs.BaseModelOutputWithPooling) hoặc một tuple của `torch.Tensor` (nếu `return_dict=False` được truyền hoặc khi `config.return_dict=False`) bao gồm các phần tử khác nhau tùy thuộc vào cấu hình ([Sapiens2Config](/docs/transformers/main/vi/model_doc/sapiens2#transformers.Sapiens2Config)) và đầu vào.

Phương thức forward của [Sapiens2Model](/docs/transformers/main/vi/model_doc/sapiens2#transformers.Sapiens2Model) ghi đè lên phương thức đặc biệt `__call__`.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, bạn nên gọi instance của `Module` sau đó thay vì gọi hàm này, vì instance `Module` sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ bỏ qua chúng một cách im lặng.

- **last_hidden_state** (`torch.Tensor` có hình dạng `(batch_size, sequence_length, hidden_size)`) -- Chuỗi các hidden-state tại đầu ra của lớp cuối cùng của mô hình.
- **pooler_output** (`torch.Tensor` có hình dạng `(batch_size, hidden_size)`) -- Trạng thái ẩn của lớp cuối cùng cho token đầu tiên của chuỗi (token phân loại) sau khi được xử lý thêm thông qua các lớp dùng cho tác vụ tiền huấn luyện bổ trợ. Ví dụ, đối với các mô hình thuộc họ BERT, giá trị này trả về token phân loại sau khi được xử lý qua một lớp tuyến tính và một hàm kích hoạt tanh. Trọng số của lớp tuyến tính được huấn luyện từ mục tiêu dự đoán câu tiếp theo (phân loại) trong quá trình tiền huấn luyện.
- **hidden_states** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_hidden_states=True` được truyền vào hoặc khi `config.output_hidden_states=True`) -- Bộ tuple của `torch.Tensor` (một cho đầu ra của các embedding, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng `(batch_size, sequence_length, hidden_size)`.

  Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.
- **attentions** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_attentions=True` được truyền vào hoặc khi `config.output_attentions=True`) -- Bộ tuple của `torch.Tensor` (một cho mỗi lớp) có hình dạng `(batch_size, num_heads, sequence_length, sequence_length)`.

  Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.

Ví dụ:

```python
>>> from transformers import AutoImageProcessor, AutoModel
>>> from transformers.image_utils import load_image
>>> import torch

>>> image = load_image("http://images.cocodataset.org/val2017/000000004016.jpg")
>>> image_processor = AutoImageProcessor.from_pretrained("facebook/sapiens2-pretrain-0.4b")
>>> model = AutoModel.from_pretrained("facebook/sapiens2-pretrain-0.4b")

>>> inputs = image_processor(images=image, return_tensors="pt")
>>> with torch.inference_mode():
...     outputs = model(**inputs)

>>> cls_token = outputs.pooler_output
>>> cls_token.shape
torch.Size([1, 1024])
```

## Sapiens2Backbone[[transformers.Sapiens2Backbone]]

#### transformers.Sapiens2Backbone[[transformers.Sapiens2Backbone]]

```python
transformers.Sapiens2Backbone(config: Sapiens2Config)
```

[Nguồn](https://github.com/huggingface/transformers/blob/main/src/transformers/models/sapiens2/modeling_sapiens2.py#L929)

**Tham số:**

config ([Sapiens2Config](/docs/transformers/main/vi/model_doc/sapiens2#transformers.Sapiens2Config)) : Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức [from_pretrained()](/docs/transformers/main/vi/main_classes/model#transformers.PreTrainedModel.from_pretrained) để tải trọng số mô hình.

Khung xương Sapiens2.

Mô hình này kế thừa từ [PreTrainedModel](/docs/transformers/main/vi/main_classes/model#transformers.PreTrainedModel). Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu ra, v.v.)

Mô hình này cũng là một lớp con của [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.

#### forward[[transformers.Sapiens2Backbone.forward]]

```python
forward(pixel_values: Tensor, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[Nguồn](https://github.com/huggingface/transformers/blob/main/src/transformers/models/sapiens2/modeling_sapiens2.py#L942)

**Tham số:**

pixel_values (`torch.Tensor` có shape `(batch_size, num_channels, image_size, image_size)`) : Các tensor tương ứng với các ảnh đầu vào. Giá trị pixel có thể được lấy bằng cách sử dụng [Sapiens2ImageProcessor](/docs/transformers/main/vi/model_doc/sapiens2#transformers.Sapiens2ImageProcessor). Xem [Sapiens2ImageProcessor.__call__()](/docs/transformers/main/vi/model_doc/molmo2#transformers.Molmo2ImageProcessor.__call__) để biết chi tiết (`processor_class` sử dụng [Sapiens2ImageProcessor](/docs/transformers/main/vi/model_doc/sapiens2#transformers.Sapiens2ImageProcessor) để xử lý ảnh).

**Trả về:** `Sapiens2BackboneOutput` hoặc `tuple(torch.Tensor)`

Một `Sapiens2BackboneOutput` hoặc một tuple của `torch.Tensor` (nếu `return_dict=False` được truyền hoặc khi `config.return_dict=False`) bao gồm các phần tử khác nhau tùy thuộc vào cấu hình ([Sapiens2Config](/docs/transformers/main/vi/model_doc/sapiens2#transformers.Sapiens2Config)) và đầu vào.

Phương thức forward của [Sapiens2Backbone](/docs/transformers/main/vi/model_doc/sapiens2#transformers.Sapiens2Backbone) ghi đè lên phương thức đặc biệt `__call__`.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, bạn nên gọi instance của `Module` sau đó thay vì gọi hàm này, vì instance `Module` sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ bỏ qua chúng một cách im lặng.

- **feature_maps** (`tuple(torch.Tensor)` có hình dạng `(batch_size, num_channels, height, width)`) -- Bản đồ đặc trưng của các giai đoạn.
- **hidden_states** (`tuple(torch.Tensor)`, *tùy chọn*, được trả về khi truyền `output_hidden_states=True` hoặc khi `config.output_hidden_states=True`) -- Bộ tuple các `torch.Tensor` (một cho đầu ra của embeddings + một cho đầu ra của mỗi lớp) có hình dạng `(batch_size, sequence_length, hidden_size)` hoặc `(batch_size, num_channels, height, width)`, tùy thuộc vào backbone.

  Trạng thái ẩn của mô hình tại đầu ra của mỗi giai đoạn cùng với đầu ra của embedding ban đầu.
- **attentions** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_attentions=True` được truyền vào hoặc khi `config.output_attentions=True`) -- Bộ tuple của `torch.Tensor` (một cho mỗi lớp) có hình dạng `(batch_size, num_heads, sequence_length, sequence_length)`. Chỉ áp dụng nếu backbone sử dụng attention.

  Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.
- **cls_tokens** (`tuple(torch.Tensor)`, *tùy chọn*) -- Token CLS từ mỗi giai đoạn đặc trưng được chọn, mỗi token có hình dạng `(batch_size, hidden_size)`. Chỉ có mặt khi `config.return_class_token=True`.

Ví dụ:

```python
>>> from transformers import AutoBackbone, AutoImageProcessor
>>> from transformers.image_utils import load_image
>>> import torch

>>> image = load_image("http://images.cocodataset.org/val2017/000000004016.jpg")
>>> image_processor = AutoImageProcessor.from_pretrained("facebook/sapiens2-pretrain-0.4b")
>>> model = AutoBackbone.from_pretrained("facebook/sapiens2-pretrain-0.4b")

>>> inputs = image_processor(images=image, return_tensors="pt")
>>> with torch.inference_mode():
...     outputs = model(**inputs, return_class_token=True)

>>> outputs.feature_maps[0].shape
torch.Size([1, 1024, 64, 48])
>>> outputs.cls_tokens[0].shape
torch.Size([1, 1024])
```

## Sapiens2ForImageMatting[[transformers.Sapiens2ForImageMatting]]

#### transformers.Sapiens2ForImageMatting[[transformers.Sapiens2ForImageMatting]]

```python
transformers.Sapiens2ForImageMatting(config: Sapiens2Config)
```

[Nguồn](https://github.com/huggingface/transformers/blob/main/src/transformers/models/sapiens2/modeling_sapiens2.py#L1365)

**Tham số:**

config ([Sapiens2Config](/docs/transformers/main/vi/model_doc/sapiens2#transformers.Sapiens2Config)) : Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức [from_pretrained()](/docs/transformers/main/vi/main_classes/model#transformers.PreTrainedModel.from_pretrained) để tải trọng số mô hình.

Mô hình Sapiens2 với một đầu matting phía trên (một bộ giải mã dựa trên PixelShuffle, dự đoán phần nền RGB đã nhân trước và một lớp alpha matte).

Mô hình này kế thừa từ [PreTrainedModel](/docs/transformers/main/vi/main_classes/model#transformers.PreTrainedModel). Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu ra, v.v.)

Mô hình này cũng là một lớp con của [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.

#### forward[[transformers.Sapiens2ForImageMatting.forward]]

```python
forward(pixel_values: Tensor, labels: typing.Optional[torch.Tensor] = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[Nguồn](https://github.com/huggingface/transformers/blob/main/src/transformers/models/sapiens2/modeling_sapiens2.py#L1372)

**Tham số:**

pixel_values (`torch.Tensor` có shape `(batch_size, num_channels, image_size, image_size)`) : Các tensor tương ứng với các ảnh đầu vào. Giá trị pixel có thể được lấy bằng cách sử dụng [Sapiens2ImageProcessor](/docs/transformers/main/vi/model_doc/sapiens2#transformers.Sapiens2ImageProcessor). Xem [Sapiens2ImageProcessor.__call__()](/docs/transformers/main/vi/model_doc/molmo2#transformers.Molmo2ImageProcessor.__call__) để biết chi tiết (`processor_class` sử dụng [Sapiens2ImageProcessor](/docs/transformers/main/vi/model_doc/sapiens2#transformers.Sapiens2ImageProcessor) để xử lý ảnh).

labels (`torch.Tensor` có shape `(batch_size, 4, height, width)`, *tùy chọn*) : Mục tiêu matting thực tế (ground-truth) để tính toán loss.

**Trả về:** `Sapiens2ImageMattingOutput` hoặc `tuple(torch.Tensor)`

Một `Sapiens2ImageMattingOutput` hoặc một tuple của `torch.Tensor` (nếu `return_dict=False` được truyền hoặc khi `config.return_dict=False`) bao gồm các thành phần khác nhau tùy thuộc vào cấu hình ([Sapiens2Config](/docs/transformers/main/vi/model_doc/sapiens2#transformers.Sapiens2Config)) và đầu vào.

Phương thức forward của [Sapiens2ForImageMatting](/docs/transformers/main/vi/model_doc/sapiens2#transformers.Sapiens2ForImageMatting) ghi đè lên phương thức đặc biệt `__call__`.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, bạn nên gọi instance của `Module` sau đó thay vì gọi hàm này, vì instance `Module` sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ bỏ qua chúng một cách im lặng.

- **loss** (`torch.Tensor` có hình dạng `(1,)`, *tùy chọn*, được trả về khi `labels` được cung cấp) -- Mất mát.
- **alphas** (`torch.Tensor` có hình dạng `(batch_size, 1, height, width)`) -- Các giá trị alpha ước tính.
- **hidden_states** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_hidden_states=True` được truyền vào hoặc khi `config.output_hidden_states=True`) -- Bộ tuple của `torch.Tensor` (một cho đầu ra của embeddings, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi giai đoạn) có hình dạng `(batch_size, sequence_length, hidden_size)`. Hidden-states (còn gọi là feature maps) của mô hình tại đầu ra của mỗi giai đoạn.
- **attentions** (`tuple[torch.Tensor]`, *tuỳ chọn*, được trả về khi `output_attentions=True` được truyền vào hoặc khi `config.output_attentions=True`) -- Bộ tuple của `torch.Tensor` (một cho mỗi lớp) có hình dạng `(batch_size, num_heads, sequence_length, sequence_length)`.

  Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.
- **foregrounds** (`torch.Tensor` có hình dạng `(batch_size, 3, height, width)`) -- Dự đoán foreground RGB đã nhân trước trong khoảng `[0, 1]` (đã kích hoạt sigmoid).

Ví dụ:

```python
>>> from transformers import AutoImageProcessor, AutoModel
>>> from transformers.image_utils import load_image
>>> import torch

>>> image = load_image("http://images.cocodataset.org/val2017/000000004016.jpg")
>>> image_processor = AutoImageProcessor.from_pretrained("facebook/sapiens2-matting-1b")
>>> model = AutoModel.from_pretrained("facebook/sapiens2-matting-1b")

>>> inputs = image_processor(image, return_tensors="pt")
>>> with torch.inference_mode():
...     outputs = model(**inputs)

>>> outputs.alphas.shape
torch.Size([1, 1, 1024, 768])
>>> outputs.foregrounds.shape
torch.Size([1, 3, 1024, 768])
```

## Sapiens2ForNormalEstimation[[transformers.Sapiens2ForNormalEstimation]]

#### transformers.Sapiens2ForNormalEstimation[[transformers.Sapiens2ForNormalEstimation]]

```python
transformers.Sapiens2ForNormalEstimation(config: Sapiens2Config)
```

[Nguồn](https://github.com/huggingface/transformers/blob/main/src/transformers/models/sapiens2/modeling_sapiens2.py#L1215)

**Tham số:**

config ([Sapiens2Config](/docs/transformers/main/vi/model_doc/sapiens2#transformers.Sapiens2Config)) : Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức [from_pretrained()](/docs/transformers/main/vi/main_classes/model#transformers.PreTrainedModel.from_pretrained) để tải trọng số mô hình.

Mô hình Sapiens2 với một đầu ước lượng pháp tuyến phía trên (một bộ giải mã dựa trên PixelShuffle dự đoán các bản đồ pháp tuyến bề mặt).

Mô hình này kế thừa từ [PreTrainedModel](/docs/transformers/main/vi/main_classes/model#transformers.PreTrainedModel). Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu ra, v.v.)

Mô hình này cũng là một lớp con của [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.

#### forward[[transformers.Sapiens2ForNormalEstimation.forward]]

```python
forward(pixel_values: Tensor, labels: typing.Optional[torch.Tensor] = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[Nguồn](https://github.com/huggingface/transformers/blob/main/src/transformers/models/sapiens2/modeling_sapiens2.py#L1223)

**Tham số:**

pixel_values (`torch.Tensor` có shape `(batch_size, num_channels, image_size, image_size)`) : Các tensor tương ứng với các ảnh đầu vào. Giá trị pixel có thể được lấy bằng cách sử dụng [Sapiens2ImageProcessor](/docs/transformers/main/vi/model_doc/sapiens2#transformers.Sapiens2ImageProcessor). Xem [Sapiens2ImageProcessor.__call__()](/docs/transformers/main/vi/model_doc/molmo2#transformers.Molmo2ImageProcessor.__call__) để biết chi tiết (`processor_class` sử dụng [Sapiens2ImageProcessor](/docs/transformers/main/vi/model_doc/sapiens2#transformers.Sapiens2ImageProcessor) để xử lý ảnh).

labels (`torch.Tensor` có shape `(batch_size, num_labels, height, width)`, *tùy chọn*) : Bản đồ pháp tuyến bề mặt thực tế (ground-truth) để tính toán loss.

**Trả về:** `Sapiens2NormalEstimatorOutput` hoặc `tuple(torch.Tensor)`

Một `Sapiens2NormalEstimatorOutput` hoặc một tuple của `torch.Tensor` (nếu `return_dict=False` được truyền hoặc khi `config.return_dict=False`) bao gồm các phần tử khác nhau tùy thuộc vào cấu hình ([Sapiens2Config](/docs/transformers/main/vi/model_doc/sapiens2#transformers.Sapiens2Config)) và đầu vào.

Phương thức forward của [Sapiens2ForNormalEstimation](/docs/transformers/main/vi/model_doc/sapiens2#transformers.Sapiens2ForNormalEstimation) ghi đè lên phương thức đặc biệt `__call__`.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, bạn nên gọi instance của `Module` sau đó thay vì gọi hàm này, vì instance `Module` sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ bỏ qua chúng một cách im lặng.

- **loss** (`torch.Tensor` có shape `(1,)`, *tuỳ chọn*, được trả về khi `labels` được cung cấp) -- Lỗi ước lượng bình thường.
- **normals** (`torch.Tensor` có hình dạng `(batch_size, num_labels, height, width)`) -- Dự đoán bản đồ pháp tuyến thô do mô hình tạo ra (chưa được chuẩn hóa).
- **hidden_states** (`tuple(torch.Tensor)`, *tùy chọn*, được trả về khi truyền `output_hidden_states=True` hoặc khi `config.output_hidden_states=True`) -- Tuple của `torch.Tensor` (một cho đầu ra của embeddings + một cho đầu ra của mỗi stage) có shape `(batch_size, sequence_length, hidden_size)`. Hidden-states của model tại đầu ra của mỗi layer cùng với đầu ra embedding ban đầu.
- **attentions** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi truyền `output_attentions=True` hoặc khi `config.output_attentions=True`) -- Bộ tuple các `torch.Tensor` (một cho mỗi lớp) có hình dạng `(batch_size, num_heads, sequence_length, sequence_length)`. Trọng số chú ý sau softmax chú ý.

Ví dụ:

```python
>>> from transformers import AutoImageProcessor, AutoModel
>>> from transformers.image_utils import load_image
>>> import torch

>>> image = load_image("http://images.cocodataset.org/val2017/000000004016.jpg")
>>> image_processor = AutoImageProcessor.from_pretrained("facebook/sapiens2-normal-0.4b")
>>> model = AutoModel.from_pretrained("facebook/sapiens2-normal-0.4b")

>>> inputs = image_processor(image, return_tensors="pt")
>>> with torch.inference_mode():
...     outputs = model(**inputs)

>>> outputs.normals.shape
torch.Size([1, 3, 1024, 768])
```

## Sapiens2ForPointmapEstimation[[transformers.Sapiens2ForPointmapEstimation]]

#### transformers.Sapiens2ForPointmapEstimation[[transformers.Sapiens2ForPointmapEstimation]]

```python
transformers.Sapiens2ForPointmapEstimation(config: Sapiens2Config)
```

[Nguồn](https://github.com/huggingface/transformers/blob/main/src/transformers/models/sapiens2/modeling_sapiens2.py#L1287)

**Tham số:**

config ([Sapiens2Config](/docs/transformers/main/vi/model_doc/sapiens2#transformers.Sapiens2Config)) : Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức [from_pretrained()](/docs/transformers/main/vi/main_classes/model#transformers.PreTrainedModel.from_pretrained) để tải trọng số mô hình.

Mô hình Sapiens2 với đầu pointmap phía trên (một bộ giải mã dựa trên PixelShuffle dự đoán tọa độ 3D XYZ cho từng pixel, cùng một nhánh tỷ lệ tùy chọn để chuẩn hóa tiêu cự).

Mô hình này kế thừa từ [PreTrainedModel](/docs/transformers/main/vi/main_classes/model#transformers.PreTrainedModel). Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu ra, v.v.)

Mô hình này cũng là một lớp con của [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.

#### forward[[transformers.Sapiens2ForPointmapEstimation.forward]]

```python
forward(pixel_values: Tensor, labels: typing.Optional[torch.Tensor] = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[Nguồn](https://github.com/huggingface/transformers/blob/main/src/transformers/models/sapiens2/modeling_sapiens2.py#L1299)

**Tham số:**

pixel_values (`torch.Tensor` có shape `(batch_size, num_channels, image_size, image_size)`) : Các tensor tương ứng với các ảnh đầu vào. Giá trị pixel có thể được lấy bằng cách sử dụng [Sapiens2ImageProcessor](/docs/transformers/main/vi/model_doc/sapiens2#transformers.Sapiens2ImageProcessor). Xem [Sapiens2ImageProcessor.__call__()](/docs/transformers/main/vi/model_doc/molmo2#transformers.Molmo2ImageProcessor.__call__) để biết chi tiết (`processor_class` sử dụng [Sapiens2ImageProcessor](/docs/transformers/main/vi/model_doc/sapiens2#transformers.Sapiens2ImageProcessor) để xử lý ảnh).

labels (`torch.Tensor` có shape `(batch_size, 3, height, width)`, *tùy chọn*) : Pointmap thực tế (ground-truth) để tính loss.

**Trả về:** `Sapiens2PointmapEstimatorOutput` hoặc `tuple(torch.Tensor)`

Một `Sapiens2PointmapEstimatorOutput` hoặc một tuple của `torch.Tensor` (nếu `return_dict=False` được truyền hoặc khi `config.return_dict=False`) bao gồm các phần tử khác nhau tùy thuộc vào cấu hình ([Sapiens2Config](/docs/transformers/main/vi/model_doc/sapiens2#transformers.Sapiens2Config)) và đầu vào.

Phương thức forward của [Sapiens2ForPointmapEstimation](/docs/transformers/main/vi/model_doc/sapiens2#transformers.Sapiens2ForPointmapEstimation) ghi đè lên phương thức đặc biệt `__call__`.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, bạn nên gọi instance của `Module` sau đó thay vì gọi hàm này, vì instance `Module` sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ bỏ qua chúng một cách im lặng.

- **loss** (`torch.Tensor` có hình dạng `(1,)`, *tùy chọn*, được trả về khi cung cấp `labels`) -- Mất mát ước lượng Pointmap.
- **pointmaps** (`torch.Tensor` có hình dạng `(batch_size, 3, height, width)`) -- Dự đoán tọa độ XYZ 3D cho từng pixel trong không gian camera chuẩn.
- **scales** (`torch.Tensor` có shape `(batch_size, 1)`, *optional*) -- Tỷ lệ tiêu cự chuẩn / tiêu cự thực tế. `None` khi không cấu hình nhánh scale.
- **hidden_states** (`tuple(torch.Tensor)`, *tùy chọn*, được trả về khi truyền `output_hidden_states=True` hoặc khi `config.output_hidden_states=True`) -- Tuple của `torch.Tensor` (một cho đầu ra của embeddings + một cho đầu ra của mỗi stage) có shape `(batch_size, sequence_length, hidden_size)`. Hidden-states của model tại đầu ra của mỗi layer cùng với đầu ra embedding ban đầu.
- **attentions** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi truyền `output_attentions=True` hoặc khi `config.output_attentions=True`) -- Bộ tuple các `torch.Tensor` (một cho mỗi lớp) có hình dạng `(batch_size, num_heads, sequence_length, sequence_length)`. Trọng số chú ý sau softmax của chú ý.

Ví dụ:

```python
>>> from transformers import AutoImageProcessor, AutoModel
>>> from transformers.image_utils import load_image
>>> import torch

>>> image = load_image("http://images.cocodataset.org/val2017/000000004016.jpg")
>>> image_processor = AutoImageProcessor.from_pretrained("facebook/sapiens2-pointmap-0.4b")
>>> model = AutoModel.from_pretrained("facebook/sapiens2-pointmap-0.4b")

>>> inputs = image_processor(image, return_tensors="pt")
>>> with torch.inference_mode():
...     outputs = model(**inputs)

>>> outputs.pointmaps.shape
torch.Size([1, 3, 1024, 768])
```

## Sapiens2ForPoseEstimation[[transformers.Sapiens2ForPoseEstimation]]

#### transformers.Sapiens2ForPoseEstimation[[transformers.Sapiens2ForPoseEstimation]]

```python
transformers.Sapiens2ForPoseEstimation(config: Sapiens2Config)
```

[Nguồn](https://github.com/huggingface/transformers/blob/main/src/transformers/models/sapiens2/modeling_sapiens2.py#L1132)

**Tham số:**

config ([Sapiens2Config](/docs/transformers/main/vi/model_doc/sapiens2#transformers.Sapiens2Config)) : Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức [from_pretrained()](/docs/transformers/main/vi/main_classes/model#transformers.PreTrainedModel.from_pretrained) để tải trọng số mô hình.

Mô hình Sapiens2 với một đầu ước lượng tư thế phía trên (một bộ dự đoán bản đồ nhiệt phía trên đầu ra của các trạng thái ẩn).

Mô hình này kế thừa từ [PreTrainedModel](/docs/transformers/main/vi/main_classes/model#transformers.PreTrainedModel). Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu ra, v.v.)

Mô hình này cũng là một lớp con của [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.

#### forward[[transformers.Sapiens2ForPoseEstimation.forward]]

```python
forward(pixel_values: Tensor, flip_pairs: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.Tensor] = None, label_weights: typing.Optional[torch.Tensor] = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[Nguồn](https://github.com/huggingface/transformers/blob/main/src/transformers/models/sapiens2/modeling_sapiens2.py#L1140)

**Tham số:**

pixel_values (`torch.Tensor` có shape `(batch_size, num_channels, image_size, image_size)`) : Các tensor tương ứng với các ảnh đầu vào. Giá trị pixel có thể được lấy bằng cách sử dụng [Sapiens2ImageProcessor](/docs/transformers/main/vi/model_doc/sapiens2#transformers.Sapiens2ImageProcessor). Xem [Sapiens2ImageProcessor.__call__()](/docs/transformers/main/vi/model_doc/molmo2#transformers.Molmo2ImageProcessor.__call__) để biết chi tiết (`processor_class` sử dụng [Sapiens2ImageProcessor](/docs/transformers/main/vi/model_doc/sapiens2#transformers.Sapiens2ImageProcessor) để xử lý ảnh).

flip_pairs (`torch.Tensor` có shape `(num_pairs, 2)`, *tùy chọn*) : Các cặp điểm then chốt được phản chiếu (ví dụ: tai trái -- tai phải), được sử dụng cho tăng cường dữ liệu lật tại thời điểm kiểm tra. Khi được cung cấp, mô hình giả định rằng `pixel_values` chứa các hình ảnh đã được lật ngang và gọi `flip_back` trên các bản đồ nhiệt đầu ra để khôi phục hướng gốc.

labels (`torch.Tensor` có hình dạng `(batch_size, num_keypoints, height, width)`, *tùy chọn*) : Ground truth của heatmap để tính toán loss.

label_weights (`torch.Tensor` có shape `(batch_size, num_labels, 1, 1)` hoặc `(batch_size, num_labels, height, width)`, *tùy chọn*) : Trọng số hiển thị cho mỗi keypoint. Phải có thể broadcast được sang shape của `labels`.

**Trả về:** `Sapiens2PoseEstimatorOutput` hoặc `tuple(torch.Tensor)`

Một `Sapiens2PoseEstimatorOutput` hoặc một tuple của `torch.Tensor` (nếu `return_dict=False` được truyền hoặc khi `config.return_dict=False`) bao gồm các thành phần khác nhau tùy thuộc vào cấu hình ([Sapiens2Config](/docs/transformers/main/vi/model_doc/sapiens2#transformers.Sapiens2Config)) và đầu vào.

Phương thức forward của [Sapiens2ForPoseEstimation](/docs/transformers/main/vi/model_doc/sapiens2#transformers.Sapiens2ForPoseEstimation) ghi đè lên phương thức đặc biệt `__call__`.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, bạn nên gọi instance của `Module` sau đó thay vì gọi hàm này, vì instance `Module` sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ bỏ qua chúng một cách im lặng.

- **loss** (`torch.Tensor` có shape `(1,)`, *tùy chọn*, được trả về khi `labels` được cung cấp) -- Loss của ước lượng tư thế.
- **heatmaps** (`torch.Tensor` có shape `(batch_size, num_keypoints, height, width)`) -- Heatmaps do mô hình dự đoán.
- **hidden_states** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_hidden_states=True` được truyền vào hoặc khi `config.output_hidden_states=True`) -- Bộ tuple của `torch.Tensor` (một cho đầu ra của embeddings, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi giai đoạn) có hình dạng `(batch_size, sequence_length, hidden_size)`. Hidden-states (còn gọi là feature maps) của mô hình tại đầu ra của mỗi giai đoạn.
- **attentions** (`tuple[torch.Tensor, ...]`, *tùy chọn*, được trả về khi `output_attentions=True` được truyền vào hoặc khi `config.output_attentions=True`) -- Bộ tuple của `torch.Tensor` (một cho mỗi lớp) có hình dạng `(batch_size, num_heads, sequence_length, sequence_length)`.

  Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.

Ví dụ:

```python
>>> from transformers import AutoImageProcessor, AutoModel
>>> from transformers.image_utils import load_image
>>> import torch

>>> image = load_image("http://images.cocodataset.org/val2017/000000004016.jpg")
>>> image_processor = AutoImageProcessor.from_pretrained("facebook/sapiens2-pose-0.4b")
>>> model = AutoModel.from_pretrained("facebook/sapiens2-pose-0.4b")

>>> boxes = [[[270.8, 0.6, 294.1, 379.5]]]
>>> inputs = image_processor(image, boxes=boxes, return_tensors="pt")
>>> with torch.inference_mode():
...     outputs = model(**inputs)

>>> outputs.heatmaps.shape
torch.Size([1, 308, 256, 192])
```

## Sapiens2ForSemanticSegmentation[[transformers.Sapiens2ForSemanticSegmentation]]

#### transformers.Sapiens2ForSemanticSegmentation[[transformers.Sapiens2ForSemanticSegmentation]]

```python
transformers.Sapiens2ForSemanticSegmentation(config: Sapiens2Config)
```

[Nguồn](https://github.com/huggingface/transformers/blob/main/src/transformers/models/sapiens2/modeling_sapiens2.py#L1019)

**Tham số:**

config ([Sapiens2Config](/docs/transformers/main/vi/model_doc/sapiens2#transformers.Sapiens2Config)) : Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức [from_pretrained()](/docs/transformers/main/vi/main_classes/model#transformers.PreTrainedModel.from_pretrained) để tải trọng số mô hình.

Mô hình Sapiens2 với đầu phân đoạn ngữ nghĩa phía trên, ví dụ cho ADE20K, CityScapes.

Mô hình này kế thừa từ [PreTrainedModel](/docs/transformers/main/vi/main_classes/model#transformers.PreTrainedModel). Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu ra, v.v.)

Mô hình này cũng là một lớp con của [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.

#### forward[[transformers.Sapiens2ForSemanticSegmentation.forward]]

```python
forward(pixel_values: Tensor, labels: typing.Optional[torch.LongTensor] = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[Nguồn](https://github.com/huggingface/transformers/blob/main/src/transformers/models/sapiens2/modeling_sapiens2.py#L1027)

**Tham số:**

pixel_values (`torch.Tensor` có shape `(batch_size, num_channels, image_size, image_size)`) : Các tensor tương ứng với các ảnh đầu vào. Giá trị pixel có thể được lấy bằng cách sử dụng [Sapiens2ImageProcessor](/docs/transformers/main/vi/model_doc/sapiens2#transformers.Sapiens2ImageProcessor). Xem [Sapiens2ImageProcessor.__call__()](/docs/transformers/main/vi/model_doc/molmo2#transformers.Molmo2ImageProcessor.__call__) để biết chi tiết (`processor_class` sử dụng [Sapiens2ImageProcessor](/docs/transformers/main/vi/model_doc/sapiens2#transformers.Sapiens2ImageProcessor) để xử lý ảnh).

labels (`torch.LongTensor` có shape `(batch_size, height, width)`, *tùy chọn*) : Bản đồ phân đoạn ngữ nghĩa ground truth để tính toán loss. Các chỉ số nên nằm trong `[0, ..., config.num_labels - 1]`. Nếu `config.num_labels > 1`, một loss phân loại sẽ được tính toán (Cross-Entropy).

**Trả về:** [SemanticSegmenterOutput](/docs/transformers/main/vi/main_classes/output#transformers.modeling_outputs.SemanticSegmenterOutput) hoặc `tuple(torch.Tensor)`

Một [SemanticSegmenterOutput](/docs/transformers/main/vi/main_classes/output#transformers.modeling_outputs.SemanticSegmenterOutput) hoặc một tuple của `torch.Tensor` (nếu `return_dict=False` được truyền hoặc khi `config.return_dict=False`) bao gồm các thành phần khác nhau tùy thuộc vào cấu hình ([Sapiens2Config](/docs/transformers/main/vi/model_doc/sapiens2#transformers.Sapiens2Config)) và đầu vào.

Phương thức forward của [Sapiens2ForSemanticSegmentation](/docs/transformers/main/vi/model_doc/sapiens2#transformers.Sapiens2ForSemanticSegmentation) ghi đè lên phương thức đặc biệt `__call__`.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, bạn nên gọi instance của `Module` sau đó thay vì gọi hàm này, vì instance `Module` sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ bỏ qua chúng một cách im lặng.

- **loss** (`torch.Tensor` có shape `(1,)`, *optional*, được trả về khi `labels` được cung cấp) -- Loss phân loại (hoặc hồi quy nếu config.num_labels==1).
- **logits** (`torch.Tensor` có hình dạng `(batch_size, config.num_labels, logits_height, logits_width)`) -- Điểm phân loại cho từng pixel.

  

  Các logits được trả về không nhất thiết có cùng kích thước với `pixel_values` được truyền vào. Điều này nhằm tránh thực hiện hai lần nội suy và mất một phần chất lượng khi người dùng cần điều chỉnh kích thước logits về kích thước ảnh gốc như một bước xử lý hậu kỳ. Bạn luôn nên kiểm tra hình dạng của logits và điều chỉnh kích thước khi cần.

  
- **hidden_states** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_hidden_states=True` được truyền vào hoặc khi `config.output_hidden_states=True`) -- Bộ tuple của `torch.Tensor` (một cho đầu ra của embeddings, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng `(batch_size, patch_size, hidden_size)`.

  Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.
- **attentions** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_attentions=True` được truyền vào hoặc khi `config.output_attentions=True`) -- Bộ tuple của `torch.Tensor` (một cho mỗi lớp) có hình dạng `(batch_size, num_heads, patch_size, sequence_length)`.

  Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.

Ví dụ:

```python
>>> from transformers import AutoImageProcessor, AutoModel
>>> from transformers.image_utils import load_image
>>> import torch

>>> image = load_image("http://images.cocodataset.org/val2017/000000004016.jpg")
>>> image_processor = AutoImageProcessor.from_pretrained("facebook/sapiens2-seg-0.4b")
>>> model = AutoModel.from_pretrained("facebook/sapiens2-seg-0.4b")

>>> inputs = image_processor(image, return_tensors="pt")
>>> with torch.inference_mode():
...     outputs = model(**inputs)

>>> outputs.logits.shape
torch.Size([1, 29, 1024, 768])
```