最近の検索
検索オプション
概算だが75万円くらいでGPUメモリ100GB超えのマシンは作れそう。もしベンチャーをやるなら使いたい感じ。流れが早いからわからないけど。
ただ、知能がコモディティ化すると知識の方が価値上がるかな。人間以外の検索は許されない、というような縛りを持つサービスがどんどん出てきそう
@hiroosa どんな構成ですか？
@tkihira 4060Tiをいっぱい積みます
@hiroosa ああ、そういう。GPU の並列に並んだメモリを使って学習や推論が出来れば革命が起こるのですが
@tkihira 学習はまだ難しそうですね
@hiroosa えっ、推論は可能なのですか・・・？無知で恥ずかしい
@tkihira いわゆるllmを動かすところはGPU分割で出来てます。いまはCommand R+（研究用途ならOK）を6bit量子化で動かしてますが、秒速3トークンくらいでなんとか。ファインチューンはできない、と思いますが、いろいろ考えるとプロンプトエンジニアリングでなんとかしちゃうほうが、効率的かなと