セキュリティの担保のためにサーバーなどに接続しないでLLMを使いたいのですが可能でしょうか?

可能です。貴社でLLMを使用できるようなハイスペックなPCを用意していただいて、ネット上にある既存のOSSのLLMをダウンロードし、PC内でLLMの推論を行えます。
その環境では、Fine-tunningやRAGを行うことも可能です。

ただし、同時接続人数が限られるのでPOCなどに使用され、本番ではサーバーを利用していただく必要があります。

より詳しく知りたい方は、こちらからご相談ください。

  • URLをコピーしました!
  • URLをコピーしました!
目次