至于分割网络,则是这两天随着DreamNet的论文一起放出的U-Net工作。至此,可以说视觉类几大任务的基础范式已经被孟繁岐奠基。
今后不论是识别分类,分割检测,还是迁移生成,都很难绕得开这些轻便又好用的办法了。
“可以看到,这种思想席卷视觉领域之后,使得目前主要的研究方向都有了颠覆性的突破。”
孟繁岐将这几篇论文的主要试验结论摆在了幻灯片的第二页,就是要先以结果震撼众人。
“显然,这些算法在诸多领域都与第二名拉开了巨大的差距,而相当一部分的功劳应当属于残差思想对网络深度的革命。”
“在10年11年,我们仍在使用人工设计的SIFT,HOG还有SVM,12年,阿里克斯的八层AlNet取得了巨大的突破。”
“而今年,残差思想引发的深度革命,使得训练150+层的神经网络成为可能。”
“深度神经网络是很多任务场景,尤其是视觉任务场景的基础引擎和骨干,这也是为什么它能够迅速影响几个主流的任务。”
“从结构上看,DreamNet并没有什么特别的,比起之前每一层都单独设计的网络,我其实故意希望它变得简单,重复。”
();() 孟繁岐身后的幻灯片展示了一个极其细长的图案,这就是一百多层深的DreamNet结构图。
放大展示它的基本设计,众人发现,它的单层设计非常简洁朴素,只采用了最常规的算子操作。
长长的结构图滚动了起来,观众们都发现,原来每一层并没有任何区别,只是单纯在重复。
由于一百多层的滚动需要太久,在这个严肃的场合显得有些喜感,场内发出了一阵阵笑声。
“那么这里就引出了一个问题,那就是是否单纯地把网络做大作深,就总是可以取得更好的结果呢?”
孟繁岐的这个问题,直到2023年也没有一个理论上的答复,但很显然,巨大的模型还在持续地创造一个个奇迹。
不管是绘画,对话,还是图像操作,都还远没有到达极限。
“我非常希望自己能够清楚地从理论上告诉大家这个答案,但由于能力有限,我也只能给出自己的猜测,那就是Yes。”
“我相信,只要更多更好的GPU,更多更好的数据,以及更大大模型和更好的优化办法,我们就可以持续地创造奇迹。”
“而之前的网络在深度上遇到的阻碍,我认为并不是网络的能力问题,而是我们没有找到合适的办法去优化好它。”
让网络多重复几次,这是很多人都试过的事情,很显然,得到的结果是比原本要差的。
这在传统方法中,不是什么奇怪的现象,很多人都将这个现象解释为维度灾难或者过拟合,没有进行足够深度的探索。
“稍加思索,这显然是一个反直觉的现象,对于更深的网络,我们完全可以将小版本网络的所有参数复制进来,而多出来的部分只要什么事情都不做,这个模型就至少不会更差。”
“但事实上,却并非如此,我相信很多人都观察到了这样的普遍现象,那就是更深的模型反而变差了不少。”
大唐第一逆子 全职法师之魔法天赋 纵目 海贼:阿卡姆肄业的小丑巴基 异常魔兽见闻录 我以道种铸长生 无限超神:抬头看见云霄天庭 你是我的满世欢喜 当场怒喷哥哥,这解说不想干了? 主宰:虫族崛起 天骄退婚,我提取词条修行 火枪洗明路 前任都是天后,我火了 华娱之开局给周董上上对抗 明日方舟之铁与血 神秘复苏之我没有外挂 大明:我杨宪,真的治扬! 什么叫世界名帅啊 陨落星辰: 自遮天世界开始
...
登天路,踏歌行,弹指万界!被一扇神秘的青铜门带至遮天世界,成为未来的叶天帝之同学!脚踏诸强,与叶天帝一同对抗诡异一族,领悟万界之美妙风景!...
郭泰来从一个普通学生,变成制造加工领域的神级大师。不断进取,加工范围从数百米到数十个原子,加工精度从微米到纳米到原子分子级,无所不能。瓦森纳协定对华夏禁运我们禁运的都是华夏看不上的技术,大部分成...
在那个本该诞生魔法界救世主的夜晚,哈利波特却死在了那道不可饶恕之咒下。让几乎所有的英国巫师都不敢称呼名讳的男人,重新从魂器中获得了原本就属于他的智慧和野望。黑暗彻底笼罩了大不列颠岛。巫师由血统划分出了明确的高低贵贱,纯血牢牢的把持住了属于上位者的权柄,而被称为泥巴种的人们,终其一生也只能卑微如泥土任人践踏。本该执行公义的魔法部尽是恶徒,本该传授知识的城堡满是压迫。就在这灰暗的时代。穿越而来的乔恩格林,被带进了那辆真正继承霍格沃茨名号的流亡马车已有两本百万字完结精品老书,质量保证,欢迎入坑!...
大明崇祯十四年,小冰河时代已到最严峻的时期,京师鼠疫风暴已在酝酿,洛阳已经失守皇帝还在为辽东局势忧心,就在这风雨飘摇之际。陈烨,一名幸运的时空交易店员,匹配到了崇祯。崇祯买粮食,买电台,买仙人指导。卖黄金,卖矿产,卖大明能卖的。朕要这天下,日光照耀之处,皆为明土。朕要在仙人的指引,以及完善的知识体系下,建立,富有大明特色的新大明陈烨别问了,这永乐大典,古方秘籍,万国已灭绝动物保护园真是地里长出来的。(书友群954975531)...
孟晓白只是无聊发短视频,吐槽一些科幻电影游戏,谁知道多了一些莫名其妙的粉丝,天天催他更新,还要给他刷礼物。母体豢养人类?这个想法不错,赞!没什么好送的,就送一个智械团吧。海王感谢作者讲解,原来这样就可以拿到三叉戟!等我成为七海之主,送你一艘亚特兰蒂斯的核潜艇!维克托作者,杰斯的海克斯科技炮比我强?海克斯科技核心了解一下!灭霸上次预告不是说要讲灵魂宝石在哪吗?再不更新我就要把宇宙舰队开过去了!孟晓白原来以为这些都是网友的玩笑,直到有一天,他收到了来自这些世界的快递!孟晓白求求你们别刷黑科技了,奥创机器人生化病毒行星毁灭炮二向箔这些东西,我真的用不上啊!...