大数据工程师问题请教！

Matlab可以处理几亿条的数据的（每条数据有32自变量）的多元线性回归运算吗？根据提取的共同因子，得出相应的多元线性回归模型吗？
全部评论
几亿的数据 就算高配置的电脑本地也会跑崩溃的
点赞 回复 分享
发布于 2017-12-01 19:34
就算10亿条数据，每个有32特征，每个特征用double存，10^9*2^5*8=10^9*2^8  大概需要238G的内存，而你需要用这么多数据训练一个33维的向量，是不是有点数据量过多了呢。 我建议从两个方面走： 1）如果真的要用这么多数据，那么肯定没法读入内存的，那么就麻烦点，把每次训练的batch size搞大点，每次从硬盘读数据，然后训练 2）训练一个33维的向量真的不需要那么多数据，随机抽出一部分数据来训练就足够了
点赞 回复 分享
发布于 2017-12-01 22:15

相关推荐

11-19 17:35
华南师范大学 Web前端
点赞 评论 收藏
分享
昨天 14:43
360集团_算法
360还能入股吗？
大家千万别嫌找工作麻烦，说实话找了一个糟心的工作，更麻烦，那种每天的过的很压抑的感觉，真的只能辞职了，就和我学弟当初一样，你会发现投简历时偷的懒，等入职之后再办理辞职手续会双倍打回来，我建议至少有四个比较满意的offer了再水，现在多投投，多点选择！公司有免费的三餐，饭量大的可能吃不饱，有健身房，器械不多。但是我喜欢这里的篮球厂，还有台球和乒乓球可以玩。周末来玩玩，再吃点公司得饭挺香的，哈哈哈哈。电梯的话，每天早上要等的比较久，我在6层懒得排队，直接楼梯上去。每天9.30工作到11.30，午休单2点，然后6.30下班，时间不久。新人有12天年假，每个月还有1天不用病假条的病假（累计一年24天假...
360集团公司福利 188人发布
点赞 评论 收藏
分享
10-10 21:40
门头沟学院 前端工程师
你们出生产事故了？
哪个程序员要背绩效了？
Java抽象带篮子：难蚌，点进图片上面就是我的大头😆
点赞 评论 收藏
分享
昨天 15:02
嘉士伯_运营管理_HR
为什么建议看看外企
不知不觉已经十一月份了，国庆回来秋招就算真的进入中后期了，基本就是考选调，考体制内了，私企最后能投的一波就是十月上旬了，现在投着，前面大佬释放hc 大家还有一点机会1.不喜欢你工作太卷！（俺是卷心菜，虽卷但菜）外企非常严格地遵循无996，955工作制的同时实现WLB（work life balance），即即工作生活平衡，到点就可以走人~如果怕堵车或者有其他事情（比如不太舒服、有急事）都可以提前回去，部分外企每周还有一天或两天居家办公，嘿嘿~2.不喜欢你太给自己设限请大声说:我们都有无限可能不同于国企对应届生身份卡的比较严格，外企尤其往届生友好，毕业两年内还保有应届生身份的姐妹都可以去投！...
百威成长空间 50人发布
点赞 评论 收藏
分享
点赞 收藏 评论
分享

全站热榜

正在热议
# 晒一晒我的offer #
9721150次浏览 104916人参与
# 学历or实习经历，哪个更重要 #
39757次浏览 290人参与
# 北方华创开奖 #
21960次浏览 250人参与
# 地方国企笔面经互助 #
2333次浏览 6人参与
# 应届生被毁约被毁意向了怎么办 #
25500次浏览 234人参与
# 你最想要的公司福利是？ #
37598次浏览 71人参与
# 查收我的offer竞争力报告 #
15007次浏览 207人参与
# 机械应届生薪资要多少才合适？ #
12165次浏览 59人参与
# 一觉醒来，我觉醒了超级打工人系统 #
2568次浏览 32人参与
# 没有实习经历，还有机会进大厂吗 #
803824次浏览 13785人参与
# 我的工作日记 #
20800次浏览 269人参与
# 你觉得第一学历对求职有影响吗？ #
14708次浏览 121人参与
# 寒假躺平还是提前实习 #
57614次浏览 420人参与
# 总结:哪家公司面试体验感最差 #
24391次浏览 118人参与
# 公司情报交流地 #
31362次浏览 222人参与
# 选完offer后，你后悔学本专业吗 #
7915次浏览 48人参与
# 不给转正的实习，你还去吗 #
1514459次浏览 16951人参与
# 实习，投递多份简历没人回复怎么办 #
2385837次浏览 34238人参与
# 00后45度躺现状 #
37549次浏览 307人参与
# 机械人，签完三方你在忙什么？ #
23527次浏览 121人参与
# 秋招OC许愿 #
225202次浏览 1858人参与
牛客网
牛客企业服务