Andrej Karpathyがオープンソースのautoresearchプロジェクトを立ち上げ、AIによる自動で100回のLLMトレーニング実験を実行

Gate Newsの報道によると、3月9日、Eureka Labsの創設者でありOpenAIの共同創設者であるAndrej Karpathyは、昨日(3月8日)にオープンソースプロジェクト「autoresearch」を公開しました。このプロジェクトは、以前のLLM訓練プロジェクト「nanochat」上でのAIエージェントの自動調整ワークフローを独立してパッケージ化したもので、開発者が利用できるようになっています。

このプロジェクトは「人がMarkdownを書き、AIがコードを書く」という設計パターンを採用しています。開発者は「program.md」ファイルに研究方向を定義し、AIエージェントはGPTモデル、Muon + AdamW最適化器、訓練ループを含む「train.py」コード(約630行)を自主的に修正します。各実験は固定で5分間実行され、検証セットのバイトあたりビット数(val_bpb)が唯一の評価指標です。基準を上回る改善は採用され、提出されます。そうでなければ破棄されます。

このペースで、1時間に約12回の実験を行うことができ、一晩で約100回の実験を完了できます。Karpathyが示した例では、83回の実験のうち15回に有効な改善が得られました。

このプロジェクトは、NVIDIAのH100上でテスト済みの1つのGPUだけで動作し、PyTorchと少量のソフトウェアパッケージに依存しています。MITライセンスの下でオープンソース化されています。現在、コミュニティにはmacOSやMLX向けの適応ブランチも登場しています。

原文表示
免責事項:このページの情報は第三者から提供される場合があり、Gateの見解または意見を代表するものではありません。このページに表示される内容は参考情報のみであり、いかなる金融、投資、または法律上の助言を構成するものではありません。Gateは情報の正確性または完全性を保証せず、当該情報の利用に起因するいかなる損失についても責任を負いません。仮想資産への投資は高いリスクを伴い、大きな価格変動の影響を受けます。投資元本の全額を失う可能性があります。関連するリスクを十分に理解したうえで、ご自身の財務状況およびリスク許容度に基づき慎重に判断してください。詳細は免責事項をご参照ください。
コメント
0/400
コメントなし