LLM Bahnhof: LLM API Routing, für Cloud und Ollama | ComputerBase Forum
Moin,
um mit mehreren Endpunkten transparent auf unterschiedliche LLMs zuzugreifen, habe ich einen Model-Router gebaut, den ich LLM-Bahnhof genannt habe. Er ist auf GitHub zu finden:
https://github.com/o-valo/llm-bahnhof
Der Wrapper stellt jeweils eine OpenAI-kompatible API bereit. Über...