拼多多 多模态大模型算法工程师 面试
方向:搜索分类推广-视觉语言大模型-visual grounding,商品分类,以图/文搜图/文
二面和hr面结束之后再额外加了笔试,最逆天的一集。
一面
一上来就问,我们是11116,工作节奏比较快,能接受吗。先自我介绍,讲项目。问职业规划如何,为什么做机器人,现在搞自动驾驶现在却想来拼多多。挑了简历里目标检测的项目介绍,问backbone设计有什么讲究,知不知道为什么RepVGG不适合做量化,如何改进这个问题。讲讲目标检测的发展史(于是从传统讲到yolo/RCNN,anchor-free/based,以及DETR,还有CLIP出来之后的各种改进),能说下CLIP的原理吗,CLIP的缺点是什么,一次训练的batch(caption-pic配对数量)应该越大还是越小(从方差和特征的差异性,区分度角度分析),知道MoCo吗,MoCo如何增大batchsize(记录encoded code book,滑动平均更新)。
coding:力扣经典,最大岛屿数目
反问:业务范围,讲讲落地场景,怎么评估模型效果好不好。
一面结束以后做了性格测评。
二面
先介绍工作节奏,然后问拼多多对我最大的吸引力在哪里。介绍项目,着重讲目标检测,标签分配知道哪些工作,DETR是怎么做的,能不能讲下二分图匹配(Sinkhorn原理),做NMS-free还有什么策略。了解过什么不同的优化器,讲讲高斯牛顿和LM的区别,LM可以从什么视角看(正则、阻尼的GN或线搜索),深度学习最常用什么优化器(SGD和Adam),讲下momentum的原理。为什么DL不容易陷入局部最小。介绍一下之前发过的论文,讲清楚动机,方法。
coding:力扣经典,打家劫舍的改版。
反问:每天的流量大概什么量级,需要做很多infra的工作还是专注于算法设计。
HR面
为什么选择拼多多,看我背景都是机器人和自动驾驶偏多,有投其他IT大厂吗,是否独生子女,有无对象,父母工作情况,其他家offer拿到多少,期望薪资,能不能接受多多节奏,企业文化介绍。绩效考核评估形式。
笔试
- 简单模拟题,推箱子,给箱子位置,人的位置以及一个操作序列,判断根据序列移动后能否把箱子推到对应位置
- 给定[L,R]区间,找出区间内所有为3的倍数的子串
- 给定一个序列代表多个人的身高,每个人都可以向右看到所有身高比自己矮的同学,直到遇到第一个身高大于等于自己的人(之后哪怕有更高的也看不到),计算所有同学能够看到的人的总数。单调栈,但是边界没处理好,死活找不出来,只过了60%。
- 一个字符串替换题目,最后找到最小字典序的替换方式,题目巨长无比,根本没耐心看,直接退出了。
职位描述
岗位职责:
1、大 模型基础 模型研发:构建电商领域图像、NLP 多 模态大模型基座。持续建设和优化预训练、微调等算法,构建更加适合电商领域的大模型。
2、推进图像、NLP、多模态大模型在搜索、推荐、 广告领域全链路算法的落地:改进召回、粗排、精排、重排、相关性等漏斗效率,持续提升各个场景的用户体验、转化效率、GMV、收入指 标,持 续提升搜索、推荐的智能化水平。
3、推进图像、多模态大模型在图像搜索、同款识别等领域的落地,改善图像搜索的用户体验,通过技术创新为用户创造更大的商业价值。
任职要求:
1、熟悉NLP领域的基础算法,了解Attention、 TransformerBert、ChatGPT等基础NLPLLM模型。
2、熟悉CV图像领域的基础算法,了解检测、分割、分类、理解、生成等领域的基础算法。如FastRCNN YOLO ResNetInception. VIT SAM、VAE、GAN等。
3、熟悉多模态领域的基础算法,如Clip等,对模型原理有一定的了解。
4、熟悉常见的预训练任务,微调算法。上述技能具有其中-项即可。
5、熟悉Java/python和数据结构,熟练使用tensorflow或pytorch框架
6、具有独立的分析问题/解决问题的能力, 良好的团队合作精神
7、有强烈的责任心,较好的学习能力,自驱能力和沟通能力。

大模型&AI产品经理如何学习
求大家的点赞和收藏,我花2万买的大模型学习资料免费共享给你们,来看看有哪些东西。
1.学习路线图

第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;
第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;
第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;
第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;
第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;
第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;
第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。
2.视频教程
网上虽然也有很多的学习资源,但基本上都残缺不全的,这是我自己整理的大模型视频教程,上面路线图的每一个知识点,我都有配套的视频讲解。


(都打包成一块的了,不能一一展开,总共300多集)
因篇幅有限,仅展示部分资料,需要点击下方图片前往获取
3.技术文档和电子书
这里主要整理了大模型相关PDF书籍、行业报告、文档,有几百本,都是目前行业最新的。

4.LLM面试题和面经合集
这里主要整理了行业目前最新的大模型面试题和各种大厂offer面经合集。

👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;
• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;
• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;
• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集***
👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

更多推荐
所有评论(0)