Çıkarım Köprüsü: Yerel ve bulut LLM erişimi için tarayıcı köprüsü
Inference Bridge, samsamskies (SamSamskies) tarafından inşa edilen, web uygulamalarını ve LLM'leri bağlamak için deneysel Inference Provider API'sını uygulayan bir Chrome uzantısıdır. Sayfaların tarayıcı aracılığıyla doğrudan AI yanıtları talep edebilmesi için standart bir window.inference nesnesi enjekte eder, window.inference.request() aracılığıyla akış metnini destekler ve saklanan bir anahtar ile OpenAI'ye veya yerel Ollama örneklerine yönlendirir. Web geliştiricilerine, AI araştırmacılarına ve gizliliğe önem veren kullanıcılara yönelik olarak, API anahtarlarını uzantının içinde tutar ve daha güvenli model erişimi için her köken için izin kontrolleri sunar.
Web sayfalarına standart bir AI arayüzü nasıl açar
Tarayıcı tarafında bir API enjekte eder ve sayfaların doğrudan çağırabileceği bir window.inference nesnesi sağlar. Uzantı, web uygulamalarının gelen token'ları tüketebilmesi için window.inference.request() aracılığıyla akış halinde metin sohbetini destekler. İstekler, herhangi bir ağ etkinliğinden önce uzantı içinde doğrulanır, bu da sayfaların rastgele yükleri iletmesini engeller. Bu yaklaşım, web arayüzlerinin sayfa betiklerinde sağlayıcı kimlik bilgilerini gömmeden LLM istemcisi olarak hareket etmesine olanak tanır.
Kimlik bilgilerini nasıl ayırır ve erişimi nasıl kontrol eder
Her köken için izin istemleri, kullanıcılardan her sağlayıcı ve model için erişimi İzin Ver, Reddet veya Hatırla şeklinde ayarlamalarını ister, bu da her site için ince ayar kontrolü sağlar. API anahtarları, sayfa betiklerinin asla kimlik bilgilerini görmemesi için uzantının hizmet çalışanında saklanır. Uzantı ayrıca, yerel bağlantıları kolaylaştırmak için Origin ve Referer başlıklarını kaldırır ve güvensiz sayfalara maruz kalmayı azaltmak için enjekte etmeyi güvenli üst düzey bağlamlarla sınırlar.
Yerel modeller ve bulut anahtarlarının buluştuğu yer
Birleşik API yüzeyi, hem yerel Ollama sunucularını hem de kendi anahtarınızı getirme OpenAI seçeneğini destekler, böylece geliştiriciler her iki sağlayıcı ile prototip oluşturabilir. Uzantı, yerel çıkarım için yaygın CORS engellerini aşmak amacıyla başlık kaldırma ve yerel yönlendirme işlemlerini yönetir, bu da test sırasında ek bir proxyye olan ihtiyacı ortadan kaldırır. Akış desteği ve tek bir arayüz, prototip entegrasyonlarının sağlayıcı türleri arasında tutarlı bir şekilde davranmasını sağlar.
Geliştiricilerin planlaması gereken pratik sınırlar
Deneysel bir referans olarak inşa edilmiştir, uzantı enjekte etmeyi üst düzey çerçevelerle sınırlar ve file: sayfalarında veya alt çerçevelerde çalışmaz, bu nedenle gömülü çerçevelere bağımlı entegrasyonların alternatif tasarımlara ihtiyacı vardır. Sadece Chromium tabanlı tarayıcılara hedeflenmiştir ve geliştirici, bunu Inference Provider API önerisi için resmi referans uygulaması olarak konumlandırmaktadır, bu nedenle ekipler aracı tamamlanmış bir üretim bileşeni yerine bir başlangıç noktası olarak değerlendirmelidir.
Deneysel ödünlerle pragmatik, geliştirici odaklı bir köprü
Uzantı, deneysel araçlar ve entegrasyon çalışmalarını kabul eden geliştiriciler ve araştırmacılar için tarayıcıdan LLM iş akışlarını prototiplemek için pragmatik bir seçenektir. Uygulama kodunu uyarlamayı ve kontrollü ortamlarda testler yapmayı bekleyin. Pratik bir ipucu olarak, hatırlanan izinleri geliştirme ana bilgisayarlarıyla sınırlayın ve test sırasında model uç noktalarını izole ağlarda tutun. Araç, önerilen tarayıcı API'sini uygulamak için çalışan bir referans olarak hizmet eder.
