Registrieren

Registierung erfolgt in Kürze...
Fleebs-Logo
Details werden geladen...

LLM Bahnhof: LLM API Routing, für Cloud und Ollama | ComputerBase Forum

Moin, um mit mehreren Endpunkten transparent auf unterschiedliche LLMs zuzugreifen, habe ich einen Model-Router gebaut, den ich LLM-Bahnhof genannt habe. Er ist auf GitHub zu finden: https://github.com/o-valo/llm-bahnhof Der Wrapper stellt jeweils eine OpenAI-kompatible API bereit. Über...