Skip to content
View original post on X: meng shao
Published
34/100

Google's Tulsee Doshi says product judgment matters more in AI era

AITulsee Doshi, head of product for Google's frontier models, says AI lowers build costs but not the cost of choosing the wrong direction, making product judgment more valuable. She recommends starting evals with 5 to 20 prompts the team personally cares about, and retesting system prompts and tools after each model upgrade.
meng shaoVerified on X
@shao__meng
View on X

PMs are back:Gemini 产品负责人谈 AI 时代,为什么产品判断更值钱

Lenny’s Podcast 对谈 @tulseedoshi :AI 降低了实现成本,却没有降低选错方向的代价。当“能不能做出来”不再最难,做什么、什么才算好、哪些能力值得押注,就更重要。

https://youtu.be/qGf2Yvan4Wg?si=nlYKG_NlqepDfCjd

不只设定指标,也要发现模型的新能力

Tulsee 负责 Google 前沿模型的产品工作。她指出,模型开发不像传统软件那样,按规格实现就能得到确定结果。训练需要目标与评测,但也会出现预期之外的能力。

产品负责人既要检查指标,也要亲自使用模型,发现它在哪些任务中表现突出,再判断这些能力能否形成有价值的体验。只看排行榜,可能错过真正值得产品化的变化。

判断力要靠使用和评测建立

她招聘时重视持续使用模型、有自己的质量标准、能动手做评测,并愿意随能力变化调整路线的人。

评测不必一开始就很大:先选 5—20 条真正关心的提示词,亲自判断结果,明确“好”的标准,再逐步扩展。这样得到的判断,比笼统地说某个模型更强更有用。

模型升级后,系统提示、工具和技能也要重新测试。以前为弥补短板加上的规则,可能已经多余,甚至开始限制新能力。

60/20/20:兼顾今天交付和未来能力

她提出一种可调整的投入方式:约 60% 做当前能稳定实现的能力,20% 押注近期可能补齐的能力,另 20% 探索已经出现苗头、但尚未成熟的体验。

重点不是严格照搬比例,是避免两个极端:只围绕今天的局限设计产品,或者把全部价值押在未来模型一定会进步上。

Lenny Rachitsky@lennysan
Why PMs are suddenly valuable again with Tulsee Doshi (@tulseedoshi)—Head of Product for @Google’s frontier AI models, including @Gemini, Nano Banana, Genie, Veo, and more. We discuss: 🔸 The rising value of great PMs 🔸 Google’s full-stack frontier AI strategy 🔸 Why model development is like Snape’s potions class 🔸 Why the PM role has shifted from writing requirements to creating something with “heft 🔸 How to write your first eval Listen now 👇 https://youtu.be/qGf2Yvan4Wg
View quoted post on X
Source details

meng shao · x.comPublished · added here

Original title: PMs are back:Gemini 产品负责人谈 AI 时代,为什么产品判断更值钱