数千台規模GPU基盤でLLMを高速化！分散学習と推論最適化エンジニア募集

Eコマース、決済サービス、金融サービス、モバイル、メディア、スポーツなど70を超えるサービスを展開し、日本では1億人、グローバルでは10億人を超える顧客基盤を有しています。AI&DataDivisionは、楽天グループのデータを活用してデータサイエンスとAIの取り組みを牽引し、最先端技術を用いた大規模フィールド実験のプラットフォームを構築しています。「データドリブンなメンバーシップカンパニーとしての楽天」という戦略的ビジョンのもと、複数の楽天グループ企業にまたがりデータとAI関連活動を拡大しています。配属先のGPUOptimizationDepartmentは、機械学習ワークロード向けに計算資源を高性能かつコスト効率よく活用するため、全社AIインフラの戦略管理、最適化、ガバナンスを担います。数千台規模のアクセラレータを含む大規模ハイブリッド基盤を監督し、オンプレミスとマルチクラウドにまたがる資源配分最適化、分散学習フレームワークの開発強化、推論性能の最適化、ビジネス要件に合わせた高可用な推論サービスの提供支援などを推進します。本ポジションはLLMの学習と推論をGPUクラスタ上で最大限に効率化し、学習時間短縮やGPU利用率向上、推論レイテンシ最小化を通じてAIインフラの効率改善とコスト削減に直接貢献します。GPU加速の学習推論最適化経験をお持ちの方は、スケールする基盤で成果を出しやすい環境です。

分散学習および推論最適化エンジニア

GPUクラスタ上でLLMの学習と推論ワークロードの性能、効率、スケーラビリティを最大化します。学習フレームワークと推論エンジンを深く最適化し、学習時間短縮、GPU利用率向上、推論レイテンシ低減を実現します。インフラチームと協働し、スケジューリングや資源配分、耐障害性を含む大規模学習ジョブの実行基盤を改善します。 ＜具体的な業務内容＞ ・LLM学習フレームワークの最適化によるGPU利用率最大化と学習時間短縮 ・分散学習ボトルネックのプロファイルと最適化NCCL課題CUDAカーネル効率通信オーバーヘッド対応 ・量子化や動的バッチングやKVキャッシュなどの推論最適化の実装とチューニング ・低レイテンシ高スループットなLLMサービングに向けた推論エンジン最適化 ・GPUクラスタのスケジューリング資源配分耐障害性の改善に向けたインフラチーム連携 ・学習スループットメモリ効率推論レイテンシを測定改善するベンチマークツール開発 ・mixtureofexpertsやspeculativedecodingなど最先端手法の調査と適用 ・学習推論ワークロードの性能効率スケーラビリティ改善の継続推進

・4年制大卒以上 下記のいずれかに当てはまる方 ・GPU加速を用いた機械学習の学習と推論の最適化について3年以上の実務経験をお持ちの方。 ・大規模深層学習モデルまたはLLMにおける学習推論最適化の実務経験をお持ちの方。 ・PyTorchまたはDeepSpeedまたはFSDPまたはMegatronLMに関する深い知識と分散学習最適化の経験をお持ちの方。 ・量子化やプルーニングやKVキャッシュやcontinuousbatchingなどLLM推論最適化の知識をお持ちの方。 ・コンピュータサイエンスまたはエンジニアリングまたは関連分野の学士以上の学位をお持ちの方。

経験・スキルを考慮し決定 ※平均年収約856万円（有価証券報告書参照）

東京都

＜勤務形態＞ ・裁量労働勤務 ・フレキシブルタイム勤務 ・時差勤務制度 ・在宅勤務制度 ＜福利厚生＞ ・社内公募制度 ・裁量労働制度 ・フレックスタイム制度 ・テレワーク在宅勤務 ・カフェテリアプラン ・育児介護休職制度 ・短時間勤務制度 ・社内託児所 ・搾乳室（マザーズルーム） ・ベビーシッター割引券 ・オープンファミリーデー ・ストックオプションプログラム ・従業員持株会 ・クラブ活動（Rakuten Official Club） ・楽天クリムゾンハウスサービス施設 ・フィットネスジム、ヘアサロン、ネイルサロン ・健康カウンセリングサービス ・リロケーションサポート ・従業員向け優待割引（引っ越し・語学学習等）