Compréhension vidéo

Présentation

La compréhension vidéo permet au modèle d’analyser les images d’une vidéo avec des instructions textuelles et de renvoyer des descriptions, des horodatages ou des résultats structurés. Les usages courants comprennent :

La description des scènes et des actions des personnes
Le résumé de vidéos et les questions sur leur contenu
La localisation du début et de la fin des événements
L’extraction d’informations au format JSON

Ce guide utilise qwen3.7-plus pour présenter l’entrée MP4 avec Chat Completions et l’API Responses.

API et formats d’entrée

Modèle et endpoint	Champ de contenu vidéo	Paramètre de sortie JSON
`qwen3.7-plus`, `/v1/chat/completions`	`video_url` dans `messages[].content[]`	`response_format.type = "json_object"`
`qwen3.7-plus`, `/v1/responses`	`video_url` dans `input[].content[]`	`text.format.type = "json_object"`

Dans Responses, video_url est un champ d’extension AIHubMix. Les exemples ci-dessous l’envoient par requête HTTP. Pour l’entrée multimédia des modèles Gemini, consultez le guide Gemini.

Démarrage rapide

L’exemple suivant utilise fetch, intégré à Node.js 22, sans installation de SDK. Définissez AIHUBMIX_API_KEY dans votre environnement avant de l’exécuter. L’URL d’exemple est un MP4 public provenant de la documentation officielle d’Alibaba. Pour votre application, remplacez url par une adresse vidéo accessible au fournisseur de modèles.

const response = await fetch("https://aihubmix.com/v1/chat/completions", {
  method: "POST",
  headers: {
    Authorization: `Bearer ${process.env.AIHUBMIX_API_KEY}`,
    "Content-Type": "application/json",
  },
  body: JSON.stringify({
    model: "qwen3.7-plus",
    enable_thinking: false,
    max_tokens: 800,
    response_format: { type: "json_object" },
    messages: [{
      role: "user",
      content: [
        {
          type: "video_url",
          video_url: {
            url: "https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20241115/cqqkru/1.mp4",
          },
        },
        {
          type: "text",
          text: 'Analyze the attached video. Return a JSON object with a scenes array. Each scene must contain start_seconds, end_seconds and description. If no video is available, return {"error":"no_video"}.',
        },
      ],
    }],
  }),
  signal: AbortSignal.timeout(120000),
});
const result = await response.json();
if (!response.ok) throw new Error(JSON.stringify(result));
const scenes = JSON.parse(result.choices[0].message.content);
console.log(JSON.stringify({
  request_id: response.headers.get("x-aihubmix-request-id"),
  result: scenes,
  usage: result.usage,
}, null, 2));

Enregistrez le code dans un fichier .mjs et exécutez-le avec Node.js. Le résultat en cas de succès se trouve dans choices[0].message.content et nécessite une seconde analyse JSON. L’exemple affiche aussi l’identifiant de requête et l’utilisation pour les vérifier dans la console.

Entrée vidéo locale

Encodez le fichier local en Base64 et transmettez-le avec une URL de données data:video/mp4;base64,. L’exemple lit le chemin du fichier dans le premier argument de la ligne de commande, ou video.mp4 dans le répertoire courant en l’absence d’argument. L’URL vidéo d’une requête HTTP ne peut pas être un chemin de fichier local.

import { readFileSync } from "node:fs";

const video = readFileSync(process.argv[2] ?? "video.mp4").toString("base64");
const response = await fetch("https://aihubmix.com/v1/chat/completions", {
  method: "POST",
  headers: {
    Authorization: `Bearer ${process.env.AIHUBMIX_API_KEY}`,
    "Content-Type": "application/json",
  },
  body: JSON.stringify({
    model: "qwen3.7-plus",
    enable_thinking: false,
    max_tokens: 800,
    response_format: { type: "json_object" },
    messages: [{
      role: "user",
      content: [
        {
          type: "video_url",
          video_url: { url: `data:video/mp4;base64,${video}` },
        },
        {
          type: "text",
          text: 'Analyze the attached video. Return a JSON object with a scenes array. Each scene must contain start_seconds, end_seconds and description. If no video is available, return {"error":"no_video"}.',
        },
      ],
    }],
  }),
  signal: AbortSignal.timeout(120000),
});
const result = await response.json();
if (!response.ok) throw new Error(JSON.stringify(result));
const scenes = JSON.parse(result.choices[0].message.content);
console.log(JSON.stringify({
  request_id: response.headers.get("x-aihubmix-request-id"),
  result: scenes,
  usage: result.usage,
}, null, 2));

API Responses

Les requêtes Responses utilisent également l’objet video_url, avec input_text pour les blocs de texte. Configurez la sortie JSON sous text.format. Cet exemple lit aussi la vidéo depuis le premier argument de la ligne de commande ou depuis video.mp4 dans le répertoire courant.

import { readFileSync } from "node:fs";

const video = readFileSync(process.argv[2] ?? "video.mp4").toString("base64");
const response = await fetch("https://aihubmix.com/v1/responses", {
  method: "POST",
  headers: {
    Authorization: `Bearer ${process.env.AIHUBMIX_API_KEY}`,
    "Content-Type": "application/json",
  },
  body: JSON.stringify({
    model: "qwen3.7-plus",
    max_output_tokens: 800,
    text: { format: { type: "json_object" } },
    input: [{
      role: "user",
      content: [
        {
          type: "video_url",
          video_url: { url: `data:video/mp4;base64,${video}` },
        },
        {
          type: "input_text",
          text: 'Analyze the attached video. Return a JSON object with a scenes array. Each scene must contain start_seconds, end_seconds and description. If no video is available, return {"error":"no_video"}.',
        },
      ],
    }],
  }),
  signal: AbortSignal.timeout(120000),
});
const result = await response.json();
if (!response.ok || result.status !== "completed") {
  throw new Error(JSON.stringify(result));
}
const text = result.output
  .filter((item) => item.type === "message")
  .flatMap((item) => item.content)
  .filter((part) => part.type === "output_text")
  .map((part) => part.text)
  .join("");
console.log(JSON.stringify({
  request_id: response.headers.get("x-aihubmix-request-id"),
  result: JSON.parse(text),
  usage: result.usage,
}, null, 2));

Le champ output de Responses peut contenir des éléments de raisonnement et des messages. Pour lire le résultat, sélectionnez output_text dans les éléments message. L’utilisation en sortie peut inclure des tokens de raisonnement ; la seule longueur du JSON final ne permet donc pas d’estimer le coût.

Sortie structurée

Les exemples utilisent le mode JSON pour renvoyer un tableau scenes. Chaque scène contient :

Champ	Type	Description
`start_seconds`	Nombre	Heure de début de la scène, en secondes
`end_seconds`	Nombre	Heure de fin de la scène, en secondes
`description`	Chaîne	Description du contenu de la scène

Adaptez le prompt et les champs aux besoins de votre application. Le mode JSON garantit une sortie JSON ; l’application doit valider les types, les champs obligatoires et les plages temporelles.

Limites de fichier et de durée

La documentation officielle d’Alibaba sur la vision indique les limites vidéo suivantes pour la série Qwen3.7 :

Les formats vidéo comprennent MP4, AVI, MKV, MOV, FLV et WMV.
La durée de la vidéo va de 2 secondes à 2 heures.
La chaîne encodée en Base64 doit être inférieure à 10MB ; un fichier original inférieur à 7MB est recommandé.
Avec une URL publique, la limite de taille de fichier du fournisseur est de 2GB.

Base64 augmente la taille de la requête. Privilégiez une URL vidéo publique pour les fichiers volumineux et assurez-vous que le lien reste valide pendant toute la requête.

Facturation et tokens

Qwen convertit les images vidéo en tokens d’entrée, comptabilisés avec le prompt dans l’utilisation en entrée. Le contenu généré compte dans l’utilisation en sortie. La durée, la résolution et l’échantillonnage des images influencent l’utilisation ; la taille du MP4 ou sa durée seule ne suffit pas à calculer le coût. L’entrée vidéo de Qwen3.7 Plus est facturée au tarif des tokens d’entrée du modèle, et le contenu généré au tarif des tokens de sortie. Consultez la page du modèle Qwen3.7 Plus pour les prix.

Chat Completions fournit usage.prompt_tokens et usage.completion_tokens.
Responses fournit usage.input_tokens et usage.output_tokens.
Les tokens de raisonnement sont déjà inclus dans les tokens de sortie et ne doivent pas être ajoutés une seconde fois.
La partie servie depuis le cache est facturée au tarif de cache applicable.

Consultez l’utilisation des tokens et les frais de chaque requête dans la console. Conservez l’en-tête de réponse x-aihubmix-request-id pour examiner une requête précise.

Recommandations

Envoyez la vidéo avec les instructions textuelles, en précisant les informations à extraire et le format de sortie.
Les liens vidéo publics doivent rester valides pendant la requête et être accessibles au fournisseur de modèles.
Utilisez Base64 pour les petits fichiers locaux et privilégiez les URL publiques pour les fichiers volumineux.
Validez les champs JSON, l’ordre des scènes et les plages temporelles dans votre application.
Les horodatages conviennent à la localisation d’événements et à la recherche de contenu. Pour un montage précis, ajustez les limites avec des outils de traitement vidéo.

Mise à jour : 2026-10-13

Démarrage

Guides de la console

Entreprise et équipes

Fonctionnalités passerelle

Capacités des modèles

Référence du protocole

Gestion de la plateforme

Compréhension vidéo

Présentation

API et formats d’entrée

Démarrage rapide

Entrée vidéo locale

API Responses

Sortie structurée

Limites de fichier et de durée

Facturation et tokens

Recommandations

​Présentation

​API et formats d’entrée

​Démarrage rapide

​Entrée vidéo locale

​API Responses

​Sortie structurée

​Limites de fichier et de durée

​Facturation et tokens

​Recommandations

Présentation

API et formats d’entrée

Démarrage rapide

Entrée vidéo locale

API Responses

Sortie structurée

Limites de fichier et de durée

Facturation et tokens

Recommandations