E20. Agent Evaluation Engineer

年収

700万円〜1,200万円

勤務地

東京都, 大阪府

職種

AI・機械学習エンジニア

リモートワーク

フレックス出勤・時差出勤

技術試験なし

この求人にお問い合わせする

お問い合わせする

求人情報

仕事内容

対話型音声 AI プラットフォーム「アイブリー」に蓄積された通話データを、AI エージェントが検索・分析し、必要な情報を届け、顧客の業務改善に活かすプロダクト「IVRy Data Hub」において、その中核を成す Agentic Workflow の評価・改善を担うポジションです。ユーザーが自然言語で問いかけると、エージェントが関連するコミュニケーションデータを分析したうえで応答します。この一連のワークフローを遂行する上では、評価が必要不可欠です。評価タスクの設計やデータ構築などを通して Agentic Workflow の性能評価を行い、信頼性の高いエージェント開発に貢献していただきます。直近チームで議論・実装しているのは次のようなテーマです。 ●評価タスクの設計および評価基盤の開発 ●ベンチマークの作成 ●Agentic Workflow の監視 ●Tool 呼び出しや SQL クエリの発行など、Agentic Workflow における各種 trace の分析・改善 ●特定のシナリオ下での各種モデル、 Agentic Workflow の実装ごとの動作シミュレーションとその分析 ●SkillやMemoryなど、「IVRy Data Hub」を構成するエージェントの能力を拡張する要素の有無による動作検証【主な業務】このポジションでは、評価タスクの設計から Agentic Workflow の評価を通じて、信頼性の高いエージェント開発に貢献していただきます。【期待していること】 ●実際のユーザーの利用状況や今後のユースケース拡張に向けて、Agentic Workflow の性能を測るための評価タスク・評価データを設計する ●本番環境の trace や評価結果を分析し、Agentic Workflow の失敗パターンや改善ポイントを明らかにする ●モデルや Agentic Workflow を比較・検証できる評価環境や実行基盤を構築する ●LLM-as-a-Judge による評価手法を検証し、信頼性のある評価基準を確立して評価基盤に組み込む ●エージェントに組み込む新しい Tool や Skill の有用性を測る評価タスクを設計し、開発時の意思決定につなげる仕組みをつくる【働く面白さ】累積1億着電の対話 AI プラットフォーム上に蓄積された大規模なコミュニケーションデータを解析する Agentic Workflow に対して、評価タスクの設計から改善まで一貫して取り組めるまだ確立された方法論が少ない Agentic Workflow の評価について、「何を、どのように評価するか」から設計できる評価基盤をつくるだけではなく、評価結果を実際のエージェント開発や品質改善の意思決定に関われることができる。さらには、顧客の信頼と顧客獲得などのビジネスの成果にも直接貢献することが可能 LLM-as-a-Judge や Agent Evaluation、LLM Observability など、技術の進歩が速い領域の知見を実プロダクトで検証できる

必須条件

●Web アプリケーション・ API サーバの開発経験 ●ML モデルの訓練・改善や、 LLM を利用したアプリケーションの開発・改善などの実務経験 ●要件が明確に定まっていない課題に対して、ステークホルダーと議論し、評価基準や検証方法を自ら設計できること

求める人物像

●正解や評価方法が明確でない問題に対して、プロダクトの目的から「何を良しとするか」を考えられる方 ●Agent の失敗や想定外の挙動に興味を持ち、trace などの観測データを掘り下げながら原因を明らかにすることを楽しめる方 ●特定の評価手法やフレームワークに固執せず、目的に応じて適切な評価方法を選択できる方 ●論文や技術ブログから新しい評価手法を学び、実際のプロダクトデータを使った検証・実装まで進められる方 ●プロダクトやチームの目的とアラインしつつ、品質・コスト・開発速度などのトレードオフを判断できる方

歓迎要件

●LLM や Agentic Workflow の評価基盤を設計・構築した経験（DeepEval、Pydantic Evals など） ●Agentic Workflow を実際のタスクや環境上で評価するための評価環境・実行基盤を設計・構築した経験（Harbor、Inspect AI など） ●MLflow、Langfuse、Phoenix などを利用し、trace や本番ログを分析・改善した経験 ●NLP、検索、推薦などの領域における評価設計・性能改善の経験 ●LLM-as-a-Judge や人手評価、アノテーション設計などに関する経験・知見 ●評価実験の設計や、複数のモデル・実装を比較して意思決定につなげた経験

想定年収

700万円〜1,200万円（給与形態：年俸制）

想定年収補足

●みなし時間外労働手当を含みます（超過分は別途支給） ●月45時間の時間外労働（内月30時間の深夜労働）の手当として支給 ●経験・能力を考慮の上、決定いたします ●個人の成果・貢献度に応じてストックオプションを付与する場合があります

月給

583,000円〜1,000,000円

ポジション

職種

・AI・機械学習エンジニア

配属先

部署の特徴・業務環境

【一緒に働くメンバー、チームの特徴】 IVRyには、多様なバックグラウンド・高い専門性・成長意欲・そして開発を楽しむカルチャーを持ったメンバーが集まっています。 ## 多様なバックグラウンドと専門性メンバーの経歴は、Google、AWS、Microsoft、メルカリ、クックパッド、リクルート、SmartNewsといった技術を軸にプロダクト開発を行う企業から、スタートアップ、制作会社、フリーランス、学術研究まで多岐にわたります。また、バックエンド・フロントエンド・モバイル・インフラ・LLM・音声技術など、専門性の幅も非常に広く、多様な視点を持ったエンジニアが活躍しています。 ## プロダクト志向と課題解決マインド技術だけを追いかけるのではなく、「良いサービスを届けたい」「困っている人を助けたい」といったプロダクト志向とユーザー志向を持ったメンバーが多いのが特徴です。事業や組織の課題にも積極的に関わり、エンジニアリングの枠を越えて価値を届けようとする姿勢が共通しています。 ## 自律性とオープンなチーム文化経営・エンジニア・ビジネス全体で心理的安全性とフラットな関係性が根付いており、誰でも提案・議論しやすい環境です。また、エンジニアを含めたすべてのメンバーが自律的に判断し、前に進めるカルチャーを大切にしています。部署を越えた連携や、事業数値のオープンな共有などもIVRyのスタンダードです。 ## 成長意欲と学習姿勢新しい環境や領域に飛び込むことを「強くてニューゲーム」と表現し、変化や挑戦を楽しむ文化があります。アジャイル開発、組織開発、マネジメント、ビジネス視点などにも関心を持ち、エンジニアリングの枠を越えて学び続けるメンバーが多く在籍しています。 ## AI・LLMへの高い関心アイブリーの中核技術であるLLMや音声対話AIを社会実装することへの関心と熱量も共通点の一つです。「LLMを使って、世の中に“なくてはならない”サービスをつくる」ことを目指し、日々の開発に取り組んでいます。 ## スタートアップならではの挑戦を楽しむ急成長中のスタートアップという環境で、前例のない課題や変化を楽しみながら、自らの手でサービスや組織を進化させていくことにやりがいを感じるメンバーが集まっています。

雇用形態

正社員

雇用期間の定め

なし

試用期間

あり（3ヶ月）

勤務形態

フレックスタイム制

コアタイム

10:00〜15:00

残業時間

固定残業時間

月45時間

予定勤務地

〒108-0073 東京都港区三田三丁目5-19住友不動産東京三田ガーデンタワー10F 〒530-0047 大阪府大阪市北区西天満四丁目14-3リゾートトラスト御堂筋ビル18階

リモートワーク頻度

一部リモート

福利厚生

保険

健康保険、労災保険、厚生年金保険、雇用保険

健康・医療補足

ボルダリング登り放題

制度

財産形成補足

ストックオプション

職場環境

リモートワーク制度

職場環境補足

社内ドリンク飲み放題、音楽聴き放題

休日・休暇

土日祝休み、完全週休二日制、有給休暇、慶弔休暇

休日・休暇補足

慶弔休暇

育児・介護

育児休暇

諸手当

残業手当、深夜・休日勤務手当

諸手当補足

書籍購入サポート

その他

書籍購入補助制度

その他補足

リモート／ハイブリッドワーク、入社後3ヶ月歓迎ランチ、月1オフィスオープンデー（懇親会）

選考情報

選考内容

選考情報

・カジュアル面談あり・面接 2回

選考情報補足

エントリー → カジュアル面談 → 書類選考 → 面接（2〜3回） → 内定 → 条件面談。※エントリー時に回答いただくアンケートの内容をもとにカジュアル面談を実施。カジュアル面談を経て正式応募に進んだ方に書類選考を案内。ご希望やご経験に合うポジションの提案が難しい場合は面談の実施を見送る場合あり。 ※面接から内定まで、オンラインで対応可能。 ※面接では、これまで携わったAI・LLMを用いた開発について「どのように品質を評価し、どう改善したか」を具体的に伺う。

株式会社IVRyの企業情報

企業について

対話型音声AI SaaS（アイブリー）の開発・運営

会社情報

企業名

株式会社IVRy

Webサイト

https://ivry.jp/company/

本社所在地

〒108-0073 東京都港区三田三丁目5-19住友不動産東京三田ガーデンタワー10F

資本金

21億4748万3647円

育休取得

「株式会社IVRy」の企業ページはこちら

株式会社IVRyの募集中の求人

株式会社IVRy

【SRE（リードクラス）】

■必須条件

・AWS, Google Cloud, Azure といったパブリッククラウドでのWebサービス開発・運用の実務経験・Terraform 等のInfrastructure as Codeの経験・モニタリング・ログ・メトリクスを用いた障害検知・キャパシティプランニング・状況判断の経験・バックエンド（Ruby / Python / Go 等）における実装経験・アプリケーションまたはインフラにおいて、障害検知・原因調査・復旧対応を主体的に行った経験・アプリケーション、ミドルウェア、OS、DB のいずれかにおけるパフォーマンス課題の調査・改善経験

800万円〜2,000万円

インフラエンジニア, SREエンジニア

株式会社IVRy

【ソフトウェアエンジニア（リアルタイム対話基盤）】

■必須条件

・Pythonによる実務開発経験（5年以上）・FastAPI 等のWebフレームワークを用いたサービス開発・運用経験・asyncio・WebSocket等を用いた非同期処理・常時接続型アプリケーションの設計・実装経験・スケーラビリティ・信頼性を考慮したAPIの設計・開発経験

750万円〜1,600万円

サーバーサイドエンジニア

株式会社IVRy

Data Product Orchestrator（Agentic Transformation Lead）

■必須条件

・LLM / 機械学習 / 統計モデリングの体系的理解（3年以上の実務経験）　例：確率モデル、最適化、評価指標設計などを実データと合わせて説明できる・LLM / 機械学習モデルの評価設計・実運用経験　精度評価、ハルシネーション対策、実験設計ができる・SQL / Python を用いたデータ設計・分析経験（3年以上）・本番プロダクトにおける複数データソース統合・データモデリング経験・業務フローを構造化し再設計した実績（コンサル・事業会社問わず）・顧客もしくは自社のCxOレイヤーとのディスカッション経験・抽象概念を構造設計に落とし込める能力

1,000万円〜1,800万円

AI・機械学習エンジニア

こんな募集もおすすめ

GMOインターネットグループ株式会社

【機械学習エンジニア】国内シェアNo.1のインターネットインフラサービスを展開／100％自社開発／転勤無！エンジニア向けの制度多数／幅広い成長とキャリアパス

■必須条件

■大卒以上以下の条件をすべて満たしている方※実務経験7年以上・実際にプロダクトもしくは研究で機械学習/深層学習を活用して実績を出した経験がある・機械学習モデルを実業務で実装し本番運用した経験がある・システム開発におけるテストをきちんと行える・Pythonが書けて、オブジェクト指向がわかる・一通りの機械学習・深層学習の知識がある

700万円〜1,000万円

AI・機械学習エンジニア

NTT東日本株式会社

【AI・データサイエンティスト】生成AI・機械学習・データ分析技術を軸にNTT東日本のアセットを活用した新規ビジネスモデル創出

■必須条件

AIモデル開発・構築、数理最適化モデル構築のいずれかにおいて、お客様等の課題解決の経験を有する方（実務経験3年以上）

540万円〜1,060万円

データサイエンティスト, AI・機械学習エンジニア

株式会社ベリサーブ

AIアーキテクト／スペシャリスト※AIに関する学術的知見者歓迎

■必須条件

以下いずれも満たす方 ■システム・ソフトウェア開発の経験 ■AIに関する以下いずれかの経験　－研究・論文発表の実績　－企業との共同研究・実証実験の経験　－AI技術の開発または実務適用の経験