俞大维担任兵工署署长十二年之久，在他任内对所属兵工厂竭力整顿，如购置新式机器，调整人事，改进沈阳兵工厂、汉阳兵工厂等，都是为当时所称道的。
谈及这十二年的兵工署署长生涯，俞大维自己开玩笑说他是在“打铁”。八年抗战，俞大维最为自豪的，是军火供应基本充足，人抱怨“弹药没有了”。当然，这是指轻武器的弹药，那时的中国不能生产重武器。
抗战期间，他还亲自到重庆的兵工学校讲授弹道学，每三个月必定率有关人员至靶场验查武器性能。
一九四六年五月，俞大维接任“交通部长”。一九四八年十一月在淮海战役中（台方称为徐蚌会战），一次，俞大维奉命向徐州、蚌埠一带的军队空投粮食。
下午时分，蒋介石来电询问，粮食是否投到？
俞答：投到了。蒋追问：你怎么肯定投到了？又怎么知道得这么清楚？俞大维补充：是我亲自坐运输机去空投的。
在俞大维看来，前方战士在天寒地冻又严重缺粮的困境中，决不能敷衍了事。因此，部长本人，亲自出马。
俞大维的回答，让蒋深感宽慰，也对俞大维越发信任。
一九五四年，蒋介石任命俞大维为国防部长。军队都讲究出身，黄埔系排头名，保定军校也尾随其后。而俞大维既非国民党员，又不是根正苗红的黄埔系，当上国防部长，实在罕见。
在其位，谋其政，俞大维上任的第一天，讲了五分钟的话，就搭乘军舰，到金门、马祖、大陈巡视。在职期间，俞部长去大陈、马祖、金门各岛一百三十余多次，平均每两周去一次，人称国防部长的办公室在金门。
俞大维的信条是己所不欲，勿施于人，自己不能去的地方，怎么能派自己的部下去呢？一次为上高登岛，他被吊车吊上悬崖峭壁。
作为部长，他的目标就是：最精良的部队在前线，最新的装备在前线，最好的医生在前线。他目睹战壕积水，士兵受潮湿之苦。就把市场上合用木板买光，连夜运阵地，在壕底铺上木板。
俞大维深知，作为前方将士，生命随时终结，于是，他的信念是：一切享受归前线。因此，电唱机、冰箱、电视机、洗衣机、沙发等，源源运往前线。士兵希望有香烟，他就为他们争取到每人每个月五包免费香烟。
俞大维与陈寅恪是姻亲，俞大维的姑母俞明诗是陈寅恪的母亲，其妻子陈新午又是陈寅恪的妹妹，两人的父祖都是好友，所以俞大维在谈陈寅恪时，说他们是三代世交、两代姻亲、七年同学。他们曾在美国共同留学三年，又在柏林大学同学四年。
俞大维的妹妹俞大綵后来与傅斯年结为伉俪。他们在柏林大学期间关系很密切，在学业上互相砥砺又互相佩服。俞大维在德国留学期间，也是兼收并蓄，广泛涉猎、求博求通。
罗家伦回忆说：“俞大维则天才横溢，触手成春；他从数学、数理逻辑到西洋古典学术的研究（即希腊、罗马学术思想的典籍所谓Lissa.Stis）；从历史、法理、到音乐，再从音乐到开枪放炮的弹道学，和再进而研究战略战术。我想他心目中最向往的是德国大哲学家莱白尼兹(Libnitz)是不见得十分冤他的。”
据说俞大维原先也侧重学习文史，自从与傅斯年交往，深感功底不如傅斯年，才改学了自然科学。他曾对别人说：“搞文史的人当中出了个傅胖子，我们便永远没有出头之日了！”于是弃文学理，最后成为著名的弹道专家。
据后人记载，多少年来，在美国一个权威的数学刊物上只发表过两篇中国人写的论文，其中第一篇便是俞大维的，另一篇是多年以后华罗庚的。可见俞大维的学术研究也有独到之处。
傅斯年对俞大维也很佩服。傅斯年到德国柏林大学不久，他在北京大学时的同学好友毛子水也到德国留学，见面后傅斯年向他介绍在德国留学的中国学生的情况时说：“在柏林有两位中国留学生是我国最有希望的读书种子，一是陈寅恪，一是俞大维。”说明他对俞大维是十分推重的。
、