現在、市場にはさまざまなAIプレーヤーが存在します。ChatGPT、Google Bard、Bing AI Chatなどです。しかし、これらすべては人工知能とやりとりするためにインターネット接続が必要です。もし、同様の大規模言語モデルをコンピュータにインストールしてローカルで使用したい場合はどうでしょうか?インターネット接続なしで人工知能チャットボットをプライベートで使用できます。 LM StudioやGPT4Allのような新しいGUIデスクトップアプリケーションを使えば、ChatGPTのようなLLMをオフラインで簡単に実行できます。
PCやMacでLLMをローカル実行するLM Studio
まず、こちらからPCまたはMac用のLM Studioをダウンロードします。
- 次に、インストールファイルを実行すると、LM Studio が開きます。
- 次に、「検索」タブに移動し、インストールしたい LLM を見つけます。リストから最適なオープンソース AI モデルを見つけることができます。また、HuggingFace およびAlpacaEval のリーダーボードから、さらに多くのモデルを探索することもできます。
13BパラメータのVicunaモデルをダウンロードしています。 コンピュータのリソースに応じて、より強力なモデルをダウンロードすることもできます。 StarCoderやWizardCoderなどのコーディング専用のモデルもダウンロードできます。
LLMモデルをインストールした後、左メニューの「チャット」タブに移動します。
ここで「モデルの選択」をクリックし、ダウンロードしたモデルを選択します。
- これで、ローカルのコンピューターリソースを使用して、AIモデルとのチャットをすぐに開始できます。すべてのチャットは非公開であり、LM Studioをオフラインモードで使用することもできます。
- 終了したら、「pop model」をクリックすると、モデルがRAMからアンロードされます。
また、「モデル」タブに移動して、ダウンロードしたすべてのモデルを管理することもできます。以上が、LLMをChatGPTのようにローカルで実行する方法です。
PC、Mac、LinuxでLLMをローカルで実行するGPT4All
GPT4Allは、ChatGPTのようなLLMをプライベートな方法でコンピュータ上でローカルに実行できるもう一つのデスクトップGUIアプリケーションです。GPT4Allの最も優れた点は、専用GPUも必要なく、また、文書をアップロードしてローカルでモデルをトレーニングすることもできることです。APIやコーディングも必要ありません。素晴らしいと思いませんか?それでは、GPT4Allをローカルで使用する方法を見ていきましょう。
- GPT4Allのダウンロードはここから続けます。Windows、macOS、Ubuntuのプラットフォームをサポートしています。
次にインストーラーを実行すると、インストールプロセス中にいくつかの追加パッケージがダウンロードされます。
その後、お使いのコンピューターのリソースに応じて、いずれかのモデルをダウンロードします。いずれのAIモデルを使用する場合も、少なくとも8GBのRAMが必要です。
- これでチャットを開始できます。私はメモリ不足によりパフォーマンスの問題が発生し、GPT4Allが途中で動作しなくなりました。しかし、高性能なコンピューターをお持ちの場合は、より良好に動作するでしょう。
編集者注:このガイドでは、PCでLLaMAとAlpacaをオフラインでセットアップするための手順を順を追って説明していますが、かなり面倒なプロセスが含まれています。上記で推奨されているツールは、このプロセスを簡素化します。
