> ## Documentation Index
> Fetch the complete documentation index at: https://docs.aihubmix.com/llms.txt
> Use this file to discover all available pages before exploring further.

# Fill In the Middle (FIM)

### 1. Verwendung

Bei FIM-Aufgaben (Fill In the Middle) geben Benutzer den Präfix- und Suffix-Inhalt vor, den sie beibehalten möchten, und das Modell generiert den fehlenden Teil auf Basis dieser Hinweise. Diese Vervollständigungsmethode ist in Anwendungen wie der automatischen Code-Vervollständigung und der Texteinfügung weit verbreitet.

### 2. Datenformat

Setzen Sie in der chat/completions-Schnittstelle einfach die `model id` auf die Model-ID aus der [Modellgalerie](https://aihubmix.com/models), die oben rechts auf der Modulkarte verfügbar ist.

```json theme={null}
{ 
    "model": "model id",
    "messages": "prompt",
    "params": "params",
    "extra_body": {"prefix":"prefix content", "suffix":"optional suffix content"}
}
```

In der completions-Schnittstelle

```json theme={null}
{
    "model": "model info",
    "prompt": "prompt",
    "suffix": "prompt"
}
```

### 3. Beispiel

#### 3.1 FIM-Vervollständigung über die chat.completions-Schnittstelle von OpenAI:

<CodeGroup>
  ```py Python theme={null}
  from openai import OpenAI

  client = OpenAI(
      api_key="AIHUBMIX_API_KEY", # Replace with the key you generated in AiHubMix
      base_url="https://aihubmix.com/v1"
  )

  messages = [
      {"role": "user", "content": "Please write a sum function code"},
  ]

  response = client.chat.completions.create(
      model="gpt-4o-mini",
      messages=messages,
      extra_body={
              "prefix": f"""
  def sum_numbers(numbers):
      # If the list is empty, return 0
      if not numbers:
          return 0
  """,
              "suffix": f"""
  # Run Test
  numbers = [1, 2, 3, 4, 5]
  result = sum_numbers(numbers)
  print("Sum of numbers:", result)
  """
      },
      stream=True,
      max_tokens=4096
  )

  for chunk in response:
      if chunk.choices and len(chunk.choices) > 0 and chunk.choices[0].delta.content is not None:
          print(chunk.choices[0].delta.content, end='')
  ```
</CodeGroup>

#### 3.2 FIM-Vervollständigung über die Completions-API von OpenAI:

<CodeGroup>
  ```py Python theme={null}

  client = OpenAI(
      api_key="Aihubmix APIKEY", 
      base_url="https://aihubmix.com/v1"
  )

  response = client.completions.create(
      model="deepseek-ai/DeepSeek-V2.5",
      prompt=f"""
  def quick_sort(arr):
     # Basic situation: if the array length is less than or equal to 1, return the array
      if len(arr) <= 1:
          return arr
      else:
  """,
      suffix=f"""
  # Test quick_sort function
  arr = [3, 6, 8, 10, 1, 2, 1]
  sorted_arr = quick_sort(arr)
  print("Sorted array:", sorted_arr)
  """,
      stream=True,
      max_tokens=4096
  )

  for chunk in response:
      print(chunk.choices[0].text, end='')
  ```
</CodeGroup>

***

Zuletzt aktualisiert: 2026-06-01