AIバリューエンジニア（生成AI・AIエージェントの品質・評価）/ 製造業AIの継続改善 #生成AI #AI品質 #評価設計 #MLエンジニア #専門職ポジション

①担当業務内容 1．顧客成果に基づくAI品質設計・評価基盤の構築（50%） 　　AIの回答・提案によって顧客の作業が前進したかを定義・検証し、リリース可否を判断できる評価の仕組みを作ります。 　　- テキスト、商品画像、図面、CAD画面を扱うAIについて、正確さ、根拠の明確さ、タスク完遂率、安全性に加え、選定・見積もり・購買などの顧客成果を測る評価指標と評価データセットを設計 モデル、プロンプト、検索、ルーティングを対象にした自動テスト・人手評価・回帰テストの評価パイプラインを開発 　　- 実利用ログ、ユーザーフィードバック、A/Bテストを分析し、顧客成果を阻害する要因の特定と優先順位付けを実施 　　- 精度、顧客成果、応答速度、推論コストのトレードオフを可視化し、リリース基準と改善目標を事業・開発チームと合意 2．AIプロダクトの価値検証・継続改善（30%） 　　AIが顧客の設計・選定・見積もり・購買をどこまで前進させたかを測定し、改善を主導します。 　　- ECサイトおよびものづくり支援サービスで、ユースケース別の顧客成果指標、検証計画、実験設計を作成 　　- AIアーキテクト、プロダクトマネージャー、ドメイン専門家と連携し、品質課題をモデル・データ・検索・体験設計の改善施策へ変換 　　- PoCから本番運用まで、品質モニタリング、異常検知、顧客成果と事業KPIへの改善効果の測定を推進 3. モデル・評価手法の研究開発と標準化（20%） 　　- LLM、SLM、マルチモーダルAIの評価・最適化手法を調査・検証し、製造業のユースケースへ適用 　　- 評価結果、既知の制約、利用条件を文書化し、チームの品質基準・レビュー手法として定着 　　- 論文読解、社内勉強会、技術発信を通じたチームのAI品質向上 ②仕事のやりがい（面白さ） 　AIの回答品質を測る物差しから作り、改善の優先順位とリリース可否を自ら判断できます。 　あなたが設計した評価ループが、日本・韓国・台湾から欧州までの顧客の部品選定体験と事業KPIを直接変えます。 ③3～5年後の想定されるキャリアパス 　‐ AI品質・評価組織を率いる「AIバリューエンジニアリングマネージャー」 　- AIプロダクトの品質戦略を担う「AIプロダクトマネージャー」 　‐ モデル・データ・評価の専門性を深める「プリンシパルAIエンジニア」 ④業務上の課題 　- 正解が一つではないAIの回答・提案に対し、顧客価値と事業KPIから評価基準を定義する必要がある 　- モデルの精度だけでなく、根拠の信頼性、応答速度、利用コストを踏まえてリリース可否を判断する必要がある 　- 実利用で生じる新しい失敗パターンを継続的に収集し、データ・モデル・体験設計へ素早く反映する必要がある ⑤使用ツール 　・ 使用アプリケーション： MS Teams, GitHub Projects, GitHub Issues 　・ 開発環境： Python, SQL／GCP (Vertex AI, Cloud Run, GKE), AWS／Elasticsearch, Vertex AI Search／Terraform, GitHub Actions／VS Code, Cursor, GitHub Copilot, ClaudeCode, GeminiCli（利用自由） 　・ その他： AI/ML: PyTorch 等の深層学習フレームワーク, Hugging Face, Vertex AI (Pipelines, Feature Store, Model Registry)／事後学習・軽量化: QLoRA 等／生成AI: GPT, Claude, Google Gemini, Amazon Bedrock, Azure OpenAI Service

会社の定める業務

＜経験＞ - Pythonを用いたAI/機械学習プロダクト、データ分析、またはモデル評価の実務経験（3年以上） - 関係者と品質目標や改善の優先順位を合意し、施策の実行を推進した経験 - 以下のいずれかで、課題設定から検証・改善までを主導した経験 　・評価指標や評価データセットを設計し、複数のモデル・アルゴリズム・施策を比較して改善した経験 　・A/Bテスト、ユーザー調査、利用ログ分析のいずれかを用いて、顧客の行動・タスク完遂・事業成果を改善した経験 ＜知識、スキル＞ ・特になし

●AIの「精度が高い」を鵜呑みにせず、オフライン評価が良くても顧客が目的を達成できなければ改善対象と捉えられる方 　- モデル、データ、プロダクト、事業指標を横断して原因を考え、関係者と改善の優先順位を合意できる方 　- 不確実な新規領域で、実利用の観察から課題を見つけ、検証と実装を自ら前に進められる方

800万円〜1,300万円

管理職（リーダー～担当ディレクター想定） ※時間外勤務手当・休日勤務手当は支給無し。深夜勤務手当有り。

賞与：2回（6月、12月）

リーダー、ディレクター、メンバー

・AI・機械学習エンジニア

デジタルサービスモデル開発・ハブ（TX）

■組織ミッション ①事業部/室ミッション 　ミスミは4,000万点超の商品情報、網羅的な3D CADデータ、グローバルな検索・購買トラフィック、約34万社の顧客基盤（海外売上比率約60%）を持ち、製造業の部品選定・調達を支えるECプラットフォームを運営しています。当室は、ミスミのECサイトにおけるKW検索エンジン（ベクトル検索から始まり、現在はKW検索とのハイブリッド構成）を内製開発してきた部隊です。顧客・サプライヤーの「あらゆるムダの排除」を掲げる「デジタルサービスモデル開発・ハブ（TX）」の一員として、コア機能である検索エンジンを主に部品選定体験自体の内製開発を推進しています。 ②チームミッション 　内製のベクトル検索は16カ国、11リージョン、12言語への展開を計画し、日本・韓国・台湾から欧州へ展開を進めています。検索開発ではPoC開始から4カ月で100を超えるNLPモデルを開発し、約20回のA/Bテストを重ねてきました。この検索資産と各ものづくりサービスを接続し、設計から購買までを支援するAIプロダクトを開発します。AIの回答・提案が実際の顧客価値につながっているかを継続的に測定・改善し、大規模な実サービスへ届けます。 ③自組織の強み・事業責任者からのコメント等 　AIアーキテクトが統合基盤の設計・構築と非機能品質を担うのに対し、本ポジションはAIが顧客へ返す回答・提案の品質と、その改善サイクルに最終責任を持ちます。 　モデルの机上評価だけで成功とせず、顧客が設計・選定・見積もり・購買を実際に前進できたかを最終基準とします。正確さ、根拠の明確さ、タスク完遂率、応答速度、利用コストに加え、実利用ログ、顧客行動、A/Bテストを通じて価値を測定・改善します。モデル、プロンプト、検索、ルーティング、体験設計のどこを変えるべきかを見極め、事業KPIに接続した品質判断を主導します。 　新規プロダクトのため、品質の「正解」そのものをチームや事業部と作る必要があります。自分が設計した評価と改善が顧客体験と事業成果に直結する点が、この仕事の醍醐味です。 【募集背景】 新プロダクト開発における増員です。 AIを使って世の中にまだ見ぬサービスを作り、事業貢献を体感したい方を募集します。 【組織情報】 ディレクター1名、リーダー3名、メンバー10名、合計14名 30代前半が多い、若いチームです。

Python

Py Torch

Elasticsearch

GCP、AWS

Kubernetes

GitHub Actions

Terraform

GitHub

正社員

なし

あり（3ヶ月）

フレックスタイム制

9:00〜17:30

フレックスタイム制あり／コアタイム11：00～15：00

11:00〜15:00

東京都千代田区九段南一丁目6番5号九段会館テラス

・リモートワーク勤務：リモート可 ・出社頻度：週１日 ・土日祝出勤 　-有無：無し ・出張情報 　-有無：無し

週1出社

健康保険、労災保険、厚生年金保険、雇用保険

提携保養施設・スポーツ施設利用制度

喫煙専用室あり

退職金制度、企業型確定拠出年金

確定拠出年金制度、退職金制度

リモートワーク制度

124日

土日祝休み、完全週休二日制、有給休暇、年末年始休暇、慶弔休暇

有給休暇（初年度：即日付与。日数は入社日によって変動。次年度以降：4月に付与）、慶弔休暇、特別休暇

深夜・休日勤務手当、通勤手当