管中窥豹：大数据时代的德国IT业的个人感受
早就想写点热门话题的自我感受。 大数据和几年前的云类似，很火的一个话题，在中美更是。不过和云稍有不同的是，big data在德国这边叫好不叫座。我想写点skin deep技术文字给未接触过此技术的人看看，以我不成熟的一点经历，就算是管中窥豹吧。大数据，看文字就知道是数据量大了嘛。大？那就把原来的扩展一下嘛，好比原来一个人干的活，后来事情多了，就三人、五人做嘛。可惜实际上并不是简单的增加软硬件容量那么简单，全世界数据的增长速度解决CPU的摩尔定律，即以指数增长，而靠线性增加软硬件容量的办法是力不从心的。所以，change，在所难免。
Big Data在美国那边人的嘴里，和NoSQL基本是同义词。Big Data包含3V，不只是说Volume大，还有多样性Variety要求速度Velocity，可惜传统的SQL&传统关系型数据库达到不了。大数据好像说的是数据库这些，和分布式系统以及函数编程联系紧密。CAP，GFS/HDFS，MapReduce这些奠定了NoSQL和Big Data的理论基础，所以美国人靠着NoSQL玩起大数据来得心应手。一开始市场还觉得NoSQL还只是Google、Facebook、Amazon它们的阳春白雪，普通公司当然没有这些互联网巨头的那么多数据和高并发要面对。但随着RDMS的缺点越来越突出、各种低成本的NoSQL软件和解决方案的层出不穷，在中美越来越认为，NoSQL是可以低成本的满足大量公司&单位的数据处理要求的，特别是在大数据时代。
回到德国这里，首先要说的就是SAP和这个庞大的(重)工业体系。SAP当然不会在大数据时代自甘寂寞，所以搞出个HANA(先从别的公司买下技术，然后加以改进推出HANA，号称大数据时代的终极解决方案。广告词当然看看就可以了，不过HANA还是一个关系型数据库，不是NoSQL，敢自称自己是玩Big Data的关键在于它是in Memory的，嗯，都放在内存里当然快了，只要土壕买得起硬件。再加上SAP大量的家族产品的高市场占有率，HANA这样的RDMS也敢说自己是大数据时代的。一切都是市场说的算，因此，一开始和Big Data几乎同意思的NoSQL，从not SQL改为not only SQL之后，越来越得退让，只能说是大数据时代的一个组成部分了。
（未完待续）
支持技术普及 顺便说明一下，我个人对技术解决方案上没有感情上的偏好，一切都是为了解决问题和赚钱。
先说几个争议话题或者误会：
1， 大数据技术只跟大公司、特殊领域和业务相关，普通公司没必要赶这个时髦去花冤枉钱。
对也不对。对于只是管管小数量的业务，比如大学里管学生的数据库，公司给每个员工发工资的这些业务，egal。但其实NoSQL技术，不仅是对big data领域可以用，对数据量暂时不那么大的情况，由于其对硬件的要求低，DBA需求弱，再考虑到起拓展性，NoSQL也未尝不是个很好的选项。
2， 针对大数据的要求，稳妥起见，节约成本，还是别搞NoSQL吧。
是也不是。SAP HANA、Teradata这样的数据库，成本不是一般的高。考虑到先期沉默成本，那是没辙。如果从头开始，搭建成本低的NoSQL系统是有优势的。但另一方面，大家对NoSQL的了解还不够，熟手不多，解决方案也只是方兴未艾，还谈不上成熟。
3， SQL技术以后只能靠硬件提升性能，或者针对小打小闹的业务，和NoSQL以后是两条路，各有各的市场。
现在的确是各有各的市场，但关系型数据库的一方面可以和NoSQL混搭，另一方面SQL方在压力下也有不少改进。除了HANA的土壕式方案，NewSQL的solution也出现了不少，它们在很多细节上做了改进，对锁机制、通信、缓冲、日志等等做了优化。
写着写着，发现要回到“德国”这个中心上来了，下篇就开始讲。
技术贴，一定要顶 大数据发展到今天，已远远超出了数据库的领域，并行计算，网格计算，分布式系统，机器学习这些同样属于。这也是Big Data来了，传统的Datenbanker感到的冲击，还不如那些学数学、统计、物理的人兴奋的原因。各种高深算法、统计分析模型，门槛高我攀不起，就来说说我遇到的德国数据库行业这块吧。
德国现在在搞什么工业四点零，偶尔也提提物联网，大数据并不是最热门话题。据一项调查，现在德国公司的CIO对大数据感到最为了解欠缺，夸张点说就是不知所措。修修补补的事情是在做，像国内JD那样短短几年之内连续升级，从MS SQL，MySQL，到Hadoop去年又搞到Spark，这种魄力和速度还是少见的。另外德国做DWH这块的虽然工资高，但还是基本上只和RDMS打交道，NoSQL难道是洪水猛兽？其实每年增加大数据量，大部分都是非结构或半结构化数据，用RDMS的话要花大量成本做data intergration。不只是互联网企业，包括车厂这样的制造业，其数据结构和数量也是很适合NoSQL的。但车厂这些大户本身还是过于保守，同时由于长期的对IT的从属地位的定位，使得做做传感器的活自己干，剩下的大数据相关的就外包了，(想)以此来实现Industrie 4.0(?) 其它公司曾有过装了Hadoop系统又觉得不好用，再放弃掉的情况。Hadoop诚然有很多不足，又是开源，但真正的问题还是在Hadoop(及其家族产品)的高手极度缺乏。
对企业的实际情况我还是了解很少，自己的粗浅印象就是：
1， 传统的抱负重，观望态度浓厚，或者指望自己的SAP，也可说SAP宣传HANA能提供满意的解决方案。
2， 市场比起中美来太小，需求不那么强烈，也可以说不思进取。修修补补小打小闹别走边看。
3， 相关从业人员和高手严重缺乏，IT consulting公司待遇低，制造业大公司对其反应缓慢，导致新技术推广慢。我知道的几家做big data有领先技术的公司，都是外国公司。
4， 总的来说，符合德国的(重)工业制造业的一贯特点，但对工业界靠吃老本的制造技术+外包IT的搞法想实现Industrie 4.0，特别是在大数据时代，我持怀疑态度。
顶技术贴 是不是知乎也同步发个帖？ 本帖最后由 liukk 于 2015-8-29 13:46 编辑
抓紧时间 发表于 2015-8-29 11:21
大数据发展到今天，已远远超出了数据库的领域，并行计算，网格计算，分布式系统，机器学习这些同样属于。这 ...
工业4.0的灵魂不仅仅是大数据，大数据只是其中的一个很小的部分。 核心是信息化和大数据基础上的CPS(Cyber-Physical Systems) 虚拟融合系统。
3大汽车商搞得是后半段。 西门子是最全的，搞得是全波普的工业4.0.个人感觉SAP 的HANA也是取得里面一个部分而已。
现在竞争的核心是谁最先出具有国际水平的工业4.0各大标准。就是DIN和ASIN一样，那谁就牢牢占据4.0的制高点了。 就像德国汽车业柴油机等新技术标准的砝码，三巨头兴盛至今。
德国也没办法，智能手机，移动设备和互联网技术已经输给美国，以德国人的基础和反应速度将来在这一块也不可能赢得了美国中国。 所以，只能被迫搞模拟，设计，测试，engineering，生产，维护等一条龙为基础的CPS系统。 现在这个领域倒是中国美国处于追赶德国的态势。
目前德国人工业4.0可以做到以战养战了。 所以，高层说到了工业3.8也不是胡乱说说的。 liukk 发表于 2015-8-29 13:13
工业4.0的灵魂不仅仅是大数据，大数据只是其中的一个很小的部分。 核心是信息化和大数据基础上的CPS(Cy ...
说得好，工业4.0和大数据的概念不一样，也可以说外延内涵很不一样。
但搞工业4.0如果不好好同时搞大数据，同样是有很大的风险的。
德国工业对信息化中偏硬件的部分采取自己做，偏软件的采取外包为主，大致没错，但隐忧很多 好贴要顶~知乎开贴了没, 链接给一下! 好贴。 关于大数据，目前很多所谓的大“数据”还远远没有到使用内存数据或者分布式数据那种地步，所谓遇到的性能问题往往是因为没有优化结构，或者索引，缺乏数据库的高水平人才；遇到性能问题就简单的寄希望于升级或者购买新平台. 组个微信群 讨论一下？ 樓主讀的IBM的書。。。。自己去google吧 數據庫還是要看一個公司的數據組織方式來確定。
大數據主要是用來分析數據的，不是用做數據庫的，樓主既然說大數據是nosql，我要是你教授就要你重修了。 本帖最后由 抓紧时间 于 2015-8-30 06:42 编辑
leelight 发表于 2015-8-29 23:45
关于大数据，目前很多所谓的大“数据”还远远没有到使用内存数据或者分布式数据那种地步，所谓遇到的性能问 ...
内存数据库，传统关系型数据库都需要企业级的硬件部署，特别是in memory更是烧钱的主。
不是说传统技术省钱，新技术就一定贵，NoSQL这样的对硬件要求起点低，至少从这点来说是省钱的。问题在于转型的需求必要性、沉没陈本、从业人员素质。谈到业务需要，一两家面包房都可以用上大数据、NoSQL，可问题首先是人不懂、怕。毕竟新生事物需要大规模验证。不过如果big data和NoSQL真是那么阳春白雪的话，不说中国，光美国那么多相关公司早就关门了。
现在新增数据绝大部分是非结构、半结构化数据，按以前那套，想想都头大 kolinsky 发表于 2015-8-30 01:26
數據庫還是要看一個公司的數據組織方式來確定。
大數據主要是用來分析數據的，不是用做數據庫的，樓主既 ...
说你什么好呢？在新闻版还被人拍的不够？每次都是看别人的话一是不仔细，二是故意曲解胡搅蛮缠。
我要是教授根本不会招你这种学生 henrychina 发表于 2015-8-29 16:55
好贴要顶~知乎开贴了没, 链接给一下!
这个其实也不算技术贴，除了一些业内常见名词外，细致分析基本没有，就不必再开帖了 kolinsky 发表于 2015-8-30 00:26
數據庫還是要看一個公司的數據組織方式來確定。
大數據主要是用來分析數據的，不是用做數據庫的，樓主既 ...
＋1 抓紧时间 发表于 2015-8-30 05:37
说你什么好呢？在新闻版还被人拍的不够？每次都是看别人的话一是不仔细，二是故意曲解胡搅蛮缠。
我要 ...
看你的發帖就知道你門都沒有摸到。
非常不好意思的是，我參加過面向大數據的分析平台的設計，大數據分析平台是什麼還真的不用你教。
大數據還在說nosql省錢，你真好意思出來混啊。我從來沒有聽說大數據省錢，除了其他門都沒有摸到的作者寫的中文書上會那麼說。
nosql裡面能做大數據的不超過個位數。
沒有看過5個以上nosql源碼的就不要到我面前挑戰了，就和你以往一樣，每次想打人臉都被揍很慘。 本帖最后由 幽雨听弦 于 2015-8-31 09:42 编辑
说到大数据，我也插个嘴吧。再说大家互相讨论嘛，干嘛上纲上线的。都是正在发展和摸索的技术，互相听互相借鉴就完了。再说三十年河东三十年河西，七八九年前ATM不是还很火么，现在谁还做ATM～争个你死我活干嘛
对大数据相关的算法我不是很了解，大数据处理和储存都是需要很多资源的，云是处理这个问题目前为止比较好的方案，这是因为云往往是global的。但这也正是德国企业最大的顾虑，因为这直接影响到datenschutz。不同国家之间对datenschutz不同的法律也影响了各国对自己数据的处理的方式。美国那天的公有云发展还可以，德国这儿基本没有公司会完全在公有云上运行，混合云也比较少，大多都还是完全的私有云，哪怕处理的慢一些，资源捉襟见肘也不愿往公有云方向迈出大步伐。大家都觉得云的发展在德国不会很好，因为保守，因为datenschutz。
从这个角度出发，大数据在私有云和公有云之间的来回转换将会是德国这边马上要面临的问题。因为不同的云之间运行的平台很可能不一样，技术和人为的不兼容性很多。这也往往直接影响到数据的分析分享和存储，其实也浪费了很多资源。 幽雨听弦 发表于 2015-8-31 09:14
说到大数据，我也插个嘴吧。再说大家互相讨论嘛，干嘛上纲上线的。都是正在发展和摸索的技术，互相听互相借 ...
有人说，大数据是落地的云。
我也很想多了解下云和分布式，请多指教！ 抓紧时间 发表于 2015-8-31 09:18
有人说，大数据是落地的云。
我也很想多了解下云和分布式，请多指教！
就我的理解说，大数据和云完全两码事。
大数据是数据，云是结构，是处理数据所存在的物理和虚拟的资源。云简单说就是各个data center联合一起处理数据。这个联合就是虚拟的一个layer，他们有共同的ip domain，处理同一批数据，这样资源可以有效利用，类似teamwork，每个人都做一些，而不是一个人忙死，一个人闲死。
云的分布，呃。。。。举个简单例子吧，data center有ABC三个，分别在三个不同的地方（或者国家）。如果ABC都属我的公司，如我的公司是跨国公司，那么这个云就是私有云。如果AB属于我的公司，而C属于service provider，那么这就是混合云。目前混合云无法达到私有云那样同步协调工作，更多的是C作为backup，AB作为production。如果ABC都属于公有云，我自己没有data center，那么这就是完全依附于公有云了。这种的也不多，因为公有云的admin有的也是可以看到你的数据的——关于这一点，不同的公有云有不同的规定。德国这儿的公有云admin据我所知无法看到客户数据的全部，但metadaten能看到，这个也是应该的，因为公有云也是需要资源管理等等的，如果你在公有云里储存违法信息也是可以被查到的，不过这个还比较有争议。我看到的绝多数客户在我们公司（我所在的公司也是service provider，提供公有云，数据中心在伦敦，法兰这儿的刚建成，刚开始投入使用）都是backup一些不是最高敏感的信息～～～
啰嗦了一堆，不知我讲明白了没{:5_383:} 幽雨听弦 发表于 2015-8-31 09:30
就我的理解说，大数据和云完全两码事。
大数据是数据，云是结构，是处理数据所存在的物理和虚拟的资源。 ...
大数据，核心不是数据形式，而是数据处理、架构理念。
真正的关键我认为是架构，和云以及分布式相通之处甚多。
具体的我今天没法展开，有时间再写点
抓紧时间 发表于 2015-8-31 09:35
大数据，核心不是数据形式，而是数据处理、架构理念。
真正的关键我认为是架构，和云以及分布式相通之处 ...
明白了
架构的确是最关键的。不过我个人觉得数据的架构和云的架构不是一回事。云的架构更多的是又物理layer上来，如果在虚拟层面统筹规划物理资源，数据的架构更多的是在这个层面之上如果用算法等建立数据库之类的东西。后者我不了解，经常听到的相关概念就是hadoop一类的，再往上如什么sql之类的就完全不是我的范畴了{:5_383:}
另：坐等高文继续～ 幽雨听弦 发表于 2015-8-31 08:14
说到大数据，我也插个嘴吧。再说大家互相讨论嘛，干嘛上纲上线的。都是正在发展和摸索的技术，互相听互相借 ...
云和大数据分析是两回事，虽然架构上有类似，但是完全是两回事。
大数据大多解决方案都是建立在云计算上的，但是云计算不必然是大数据。
说大数据不如说大数据分析，不是数据够大就叫大数据的，能不能对其进行有效分析才是关键。在海量数据里面查询一个什么东西，那不叫大数据。
虽然强调大数据要面对unstructure的数据集，但是并不是说你就真的用unstructure的数据集去计算，那是脑子进水，那之前要进行data integration，让unstructure的数据集在一定程度上是structure的。一个map 计算好歹也要知道map谁吧？所有的数据对象好歹你要有一个对应的方式读取吧？就data integeration 一项就不便宜了。这点dresden的一个中国女博士的文章很有意思。
datenschutz是另外一个题目，最近讲这个比较多。 kolinsky 发表于 2015-8-31 09:46
云和大数据分析是两回事，虽然架构上有类似，但是完全是两回事。
大数据大多解决方案都是建立在云计算 ...
记得读研的时候有门课就是data integration，现在倒是都忘了
我接触不到数据本身这个层面。如果从osi model来说，数据应该是layer5以上的吧，我接触的都是layer2到4，经常说的是协议，什么bgp，ospf之类的，或者IP。对了，IP属于第三第四层。 互相掐架不要伤了和气，不过我们这些其它领域的至少可以从掐架双方看到视角不同的两个方面，学习了不少{:5_332:}
幽雨听弦说的对，都是正在发展和摸索的技术，互相听互相借鉴就完了。
再说分析和存储本来也是分不开的，大数据深究根源到底也不是很高大上的东西，渊源是爬虫不是吗？
说错了请直接掐我{:5_340:} 我觉得大家没有搞明白这里面这些名词概念的逻辑关系
nosql和大数据没有本质的联系，nosql是和分布式数据库相关，他是分布式数据库的处理数据的方式，具体的实现最流行的就是mapreduce了
nosql数据模型和sql数据模型的最本质区别，就在于nosql处理的数据模型是嵌入式的(容忍或者说接纳数据冗余)，而关系数据库的数据模型是关系式的(不希望有数据冗余)，正是因为nosql数据模型是嵌入式的，所以它才能很好的处理分布式数据系统，这个继续再细说起来就涉及CAP的东西了，不好科普了 schlafgern 发表于 2015-8-31 10:59
我觉得大家没有搞明白这里面这些名词概念的逻辑关系
nosql和大数据没有本质的联系，nosql是和分布式数据 ...
我也是看了点历史才知道 Apache Nutch衍生了hadoop，以及nosql，这里面的名词和定义穿插的太多 本帖最后由 Linux_Handy 于 2015-8-31 11:37 编辑
云:提供平台。
大数据也即大数据分析: 一个运用。一般来说都是使用分布式数据库。你也可以去用传统数据库来做大数据分析，只要你能忍受那效率。大数据的难点在于自我学习能力。这个是IBM用来卖钱的点，其他公司也一样。大数据本身的基础算法很简单易懂。至于用什么平台来做大数据分析，这个是自己决定的事。和云或非云没有必然的联系。
传统数据库和分布式数据库: 数据库。和前面的俩都没有必然的联系。 Linux_Handy 发表于 2015-8-31 10:35
云:提供平台。
大数据也即大数据分析: 一个运用。一般来说都是使用分布式数据库。你也可以去用传统数 ...
数据库和数据仓库是不同的
大数据分析是为数据仓库设计的，不是数据库。
现在有real time 的大数据分析系统，不过好像还没有什么成果。
你真要拿facebook的数据库做大数据分析，那可能要关闭整个facebook一段时间，那就看他们公司愿意不愿意了。
大数据分析的开始按钮按下去，几千个核就全被占用了，整个数据集合都是被锁定状态，只能读不能写。
传统数据库你要做大数据分析又不是不可能，其实也差不到哪里去。map的基本算法也就是遍历一次而已。 kolinsky 发表于 2015-8-31 14:58
数据库和数据仓库是不同的
大数据分析是为数据仓库设计的，不是数据库。
现在有real time 的大数据分析系统，不过好像还没有什么成果。
你真要拿facebook的数据库做大数据分析，那可能要关闭整个facebook一段时间，那就看他们公司愿意不愿意了。
大数据分析的开始按钮按下去，几千个核就全被占用了，整个数据集合都是被锁定状态，只能读不能写。
传统数据库你要做大数据分析又不是不可能，其实也差不到哪里去。map的基本算法也就是遍历一次而已。
实在没明白这二大爷回我这贴什么意思。
那些废话要你MA的来告诉我，你丫给我提鞋都不配。还跟我这儿普及知识来了。 Linux_Handy 发表于 2015-8-31 14:13
实在没明白这二大爷回我这贴什么意思。
那些废话要你MA的来告诉我，你丫给我提鞋都不配。还跟我这儿 ...
因为你也是重修的角色。
从你一次次提数据库就知道，你还没有资格说那些大话。 本帖最后由 Linux_Handy 于 2015-8-31 15:40 编辑
kolinsky 发表于 2015-8-31 15:28
因为你也是重修的角色。
从你一次次提数据库就知道，你还没有资格说那些大话。
真NM二。
SB, 回答下，你爷爷我哪句写了大数据是给数据库设计的。你丫就是自说自话SB无下限。 幽雨听弦 发表于 2015-8-31 09:01
记得读研的时候有门课就是data integration，现在倒是都忘了
我接触不到数据本身这个层面。如果从osi mo ...
data integration 和osi model没有关系的。
data integration 是schemata mapping 之类的工作。
比如你有两个schemata， 一个用customer_id,一个用client_id如果他们在语义上是等同的，那么你可以建立一个mapping让它们等同起来，以后你使用这两个schemata做数据分析的时候，就可以将他们视为同一数据。
在import数据进data warehouse的时候这两个数据也就可以放在同一数据表里面了。
这个工作是和语义相关的，大量的工作还是要人去做，当然也有机器自己做的，我上面提到dresden的那个中国女博士就是做那个工作的，拜读过她的博士论文。
kolinsky 发表于 2015-8-31 08:46
云和大数据分析是两回事，虽然架构上有类似，但是完全是两回事。
大数据大多解决方案都是建立在云计算 ...
这个女博士的文章名字是？ kolinsky 发表于 2015-8-31 15:48
data integration 和osi model没有关系的。
data integration 是schemata mapping 之类的工作。
我知道这二者没有关系。后面说到osi modell是因为我不知道除了这个还有什么能快速说明我的工作范畴是啥{:5_314:}因为不完全是硬件 pattonoriental 发表于 2015-8-31 15:06
这个女博士的文章名字是？
忘记了。。。。。回去帮你查吧。 云：偏硬，偏系统集成
大数据：偏机器学习，偏软。
大数据画的大饼：过去和现在的数据，预测未来的行为。
为什么要大数据？因为预测未来，其实只是在一定可信度下的预测，只有N无穷大，理论上才有意义（统计学理论这样认为的）。很多数据是非结构化的，比如基因序列，很多时间维度的数据比如个人一天的行为等等。 kolinsky 发表于 2015-8-31 14:58
数据库和数据仓库是不同的
大数据分析是为数据仓库设计的，不是数据库。
Facebook的原始数据也需要ETL到独立的Datawarehouse里进行分析，本身Performance不会受大的影响 HEREAFTER 发表于 2015-8-31 19:58
Facebook的原始数据也需要ETL到独立的Datawarehouse里进行分析，本身Performance不会受大的影响
本來就应该这样啊，面试考试要把数据库和数据仓库搞混了，直接挂掉啊。
有些人自己搞不清楚，数据库了半天，还好意思吼。 幽雨听弦 发表于 2015-8-31 09:41
明白了
架构的确是最关键的。不过我个人觉得数据的架构和云的架构不是一回事。云的架构更多的是又物理 ...
我看这些话题不喜欢纠结具体技术，更多的想探究其起源和演化，体会其核心思想。
大数据和云都是从分布式系统演化出来，当然在其发展的过程中加进了自己许多独特的内容。云我把它更多的看作一个提供service的东西，至于继续怎么发挥，有无尽可能。
你说的没错，大数据的存储和运算，靠云来解决是个很不错的方案。为了降低硬件陈本，非关系型数据库和Peer型数据库是一个发展方向。这个和云的部分初衷也是一致的。
Hadoop非常紧密的和硬件支持相关，难怪你也懂，再往上sql的话，和经典hadoop应用相关反而不多，hadoop是常和NoSQL并提的，而SQL更多的是传统bi上用。不过sql也是个很大的话题，跟我开题的初衷有点偏题了。 brecht 发表于 2015-8-31 16:43
云：偏硬，偏系统集成
大数据：偏机器学习，偏软。
大数据画的大饼：过去和现在的数据，预测未来的行为。 ...
说得好，受教了。
现在国内还在热炒什么大数据时代的小数据应用，即拿大数据分析的方法来给目前还不算多的数据进行分析和预测。比如开了一年蛋糕店的店长靠大数据来安排生意、预测盈利。 抓紧时间 发表于 2015-9-1 08:59
我看这些话题不喜欢纠结具体技术，更多的想探究其起源和演化，体会其核心思想。
大数据和云都是从分 ...
hadoop。。。我就知道名字{:5_354:}其他的统统地不知道{:5_383:}
依我来看大数据最有效的存储和分析方法就是靠云，而且也是最安全的，因为备份也在云里。
另外，大数据除了预测未来之外，另一个作用就是IT Transformation，因为数据多样化可以得到有效的处理和存储了，通过网络（不见得是internet）和云企业可以完全的数码化，智能化。工业那儿就是所谓的工业4.0.
现在有个比较火的概念叫IoE，是继去年的IoT而来，就是internet of things，后来变成internet of everthing，一个已经在实施的例子就是汉堡某街道的pivotproject，每个路灯都有光线自动控制，外加WIFI controller，外加监控摄像头等等。这些目前在德主要是在公共设施这边推行。
IT transformation是目前企业里比较火的概念，其实和云类似，或者是依靠云所产生的service 的一种。最大的顾虑也是安全性。 幽雨听弦 发表于 2015-9-1 09:59
hadoop。。。我就知道名字其他的统统地不知道
依我来看大数据最有效的存储和分析方法 ...
好好好，everthing，哪天我自己都被10码给codieren后连入internet了。
谢谢幽女侠讲解IT最新动态，受教了！ 抓紧时间 发表于 2015-9-1 10:01
好好好，everthing，哪天我自己都被10码给codieren后连入internet了。
谢谢幽女侠讲解IT最新动态，受 ...
你回复的好快～！
女侠不敢，就是刚开始的小白～帖子开的不错，感觉其实大家在这个范畴的人很多，只不过每个人视角不一样，就像五个人蒙上眼睛摸大象似的。多交流交流，明智明心 幽雨听弦 发表于 2015-9-1 09:59
hadoop。。。我就知道名字其他的统统地不知道
依我来看大数据最有效的存储和分析方法 ...
这要这么弄，今后黑客这行将更加的发扬光大。 幽雨听弦 发表于 2015-9-1 09:59
hadoop。。。我就知道名字其他的统统地不知道
依我来看大数据最有效的存储和分析方法 ...
IoT我个人很看好，，排除hack方面的安全性，这方面的应用可以非常广和深，可以给科研，生产，医疗，生活等方面带来巨大的便利 xianwubo 发表于 2015-9-1 10:24
这要这么弄，今后黑客这行将更加的发扬光大。
现实中有警察抓小偷，网络里也一样啊～都是人类社会，无论在哪儿都类似{:5_387:} leelight 发表于 2015-9-1 10:50
IoT我个人很看好，，排除hack方面的安全性，这方面的应用可以非常广和深，可以给科研，生产，医疗，生活 ...
没错，居家工作生活都有无限的延展性的
唉，任何时候，好处坏处都共存的，得到了便利就得面对风险～ 本帖最后由 Linux_Handy 于 2015-9-1 11:26 编辑
kolinsky 发表于 2015-8-31 21:28
本來就应该这样啊，面试考试要把数据库和数据仓库搞混了，直接挂掉啊。
有些人自己搞不清楚，数据库了半天，还好意思吼。
SB, 告诉你爷爷我你这数据仓库里数据存哪儿！
就你丫这水平还这儿哔吧哔吧。要不是人说了不会直接在数据库里使用数据你丫屁都不知道怎么分析数据。 幽雨听弦 发表于 2015-9-1 11:17
没错，居家工作生活都有无限的延展性的
唉，任何时候，好处坏处都共存的，得到了便利就得面对风险～
可惜一般人只看一面，估计今后又要有个对应的IoT隐私法 leelight 发表于 2015-9-1 13:24
可惜一般人只看一面，估计今后又要有个对应的IoT隐私法
隐私法是必然的。都是这样，技术先发展，后面坠着的是politics，然后后面拖着一个哭着喊着的法制{:5_387:}
公司内部也类似吧，技术部门大家都对新鲜事物比较offen，拿着手机当闹铃当便条当电脑啥的，HR的人呢，还埋在纸张堆里埋头猛写{:5_371:} 幽雨听弦 发表于 2015-9-1 15:13
隐私法是必然的。都是这样，技术先发展，后面坠着的是politics，然后后面拖着一个哭着喊着的法制{:5_387: ...
你有没有发现车厂这些大公司的HR，用的软件啊技术啊够先进，但流程模式还是急死个人 leelight 发表于 2015-9-1 13:24
可惜一般人只看一面，估计今后又要有个对应的IoT隐私法
什么隐私问题是个问题，但根本不是这些技术发展的大问题。
德国的IT对大数据并不太感冒，车厂这些大公司把它当做工业四点零的附属品，小公司对此需求不强也不主动去拓展可能用得上大数据的业务。
对大公司来说，它们自知互联网IT业比不了美国甚至比不了中国，所以还是多花点工夫和自己的强项：制造业结合结合吧。小公司的IT从业人员待遇太差，业发展缓慢。外包也不是根本出路 本帖最后由 Linux_Handy 于 2015-9-1 22:05 编辑
抓紧时间 发表于 2015-9-1 21:37
什么隐私问题是个问题，但根本不是这些技术发展的大问题。
德国的IT对大数据并不太感冒，车厂这些大公司把它当做工业四点零的附属品，小公司对此需求不强也不主动去拓展可能用得上大数据的业务。
对大公司来说，它们自知互联网IT业比不了美国甚至比不了中国，所以还是多花点工夫和自己的强项：制造业结合结合吧。小公司的IT从业人员待遇太差，业发展缓慢。外包也不是根本出路
德国不是IT行业的国家。德国IT和蓝领差不多的性质。
德国人的性格不适合从事 IT业。唯一的解决办法就是大量引进中国人，停止土非阿三类人的进入才有可能根本解决IT弱势的局面。 發現腦子燒壞的人還蠻多啊。
德國爲什麼不適合從事IT業？也不去問問Von Neumann是哪國人。
我對這種人種論，真的沒有任何的興趣。 幽雨听弦 发表于 2015-9-1 14:13
隐私法是必然的。都是这样，技术先发展，后面坠着的是politics，然后后面拖着一个哭着喊着的法制{:5_387: ...
法律都是在技術之後的。
哪個學法律的也沒有辦法爲未來設立法律，比如器官克隆法什麼的。 本帖最后由 Linux_Handy 于 2015-9-1 23:49 编辑
kolinsky 发表于 2015-9-1 22:16
發現腦子燒壞的人還蠻多啊。
德國爲什麼不適合從事IT業？也不去問問Von Neumann是哪國人。
我對這種人種論，真的沒有任何的興趣。
SB，一下就暴露你的无知，睁大你丫的狗眼看看:
约翰·冯·诺伊曼（英语：John von Neumann，1903年12月28日－1957年2月8日），匈牙利语原名：Neumann János，出生于匈牙利的美国籍犹太人数学家，现代计算机创始人之一。他在计算机科学、经济、物理学中的量子力学及几乎所有数学领域都作过重大贡献。
冯·诺伊曼一生中发表了大约150篇论文，其中有60篇纯数学论文，20篇物理学以及60篇应用数学论文。他最后的作品是一个在医院未完成的手稿，后来以书名《计算机与人脑》发布，表现了他生命最后时光的兴趣方向。
我实在被这SB弄得能tod lachen。
这世界这么大号的SB头一次见。{:5_319:}
就你丫肚里那么点烂屎赶紧滚回狗窝看书去吧。这么基本的计算机科学常识丫都不知道还跟这吠。你丫哪国的野鸡大学出来的。
孙子，爷爷给你科普一下:
1913年，他父亲买了一个爵位，冯·诺伊曼晋身贵族，成为János von Neumann。
你丫那脑袋烧坏前就不好使。 抓紧时间 发表于 2015-9-1 18:51
你有没有发现车厂这些大公司的HR，用的软件啊技术啊够先进，但流程模式还是急死个人
不搞个流程怎么能体现是大公司呢？{:5_309:} kolinsky 发表于 2015-9-1 22:19
法律都是在技術之後的。
哪個學法律的也沒有辦法爲未來設立法律，比如器官克隆法什麼的。
俗话应该这么说：
魔高一丈，道高一尺{:5_387:}
而不是：
道高一尺，魔高一丈 挺好的帖子，难得见到真正的学术交流贴。
德国确实不适合IT，不是德国人不聪明，是教育背景和整个大环境决定的。像硅谷和中关村这样孵化start ups的地方都不能实现，让有想法的人怎么迅速投入实践呢。 管杀不管埋 发表于 2015-9-2 11:15
挺好的帖子，难得见到真正的学术交流贴。
德国确实不适合IT，不是德国人不聪明，是教育背景和整个大环境决 ...
做实业工业的人往往稳扎稳打，决策速度不如搞internet的，这是优点也是缺点。
现在也在转型，苹果把tesla买了后，对德国传统车厂也是震动 leelight 发表于 2015-9-2 11:22
做实业工业的人往往稳扎稳打，决策速度不如搞internet的，这是优点也是缺点。
现在也在转型，苹果把tesl ...
传闻啦，已经被tesla辟谣了。Musk这么有抱负的人，不会卖tesla的。
德国车厂靠的就是中国市场和欧元贬值，等到有一天，嘿嘿 本帖最后由 Linux_Handy 于 2015-9-2 13:19 编辑
leelight 发表于 2015-9-2 11:22
做实业工业的人往往稳扎稳打，决策速度不如搞internet的，这是优点也是缺点。
现在也在转型，苹果把tesla买了后，对德国传统车厂也是震动
所以，德国要想IT有建树，只能引进中国人。中国人和德国人性格有很强的互补性。 很佩服我们IT从业人员的自信，怎么都能看出我们的IT业已经把德国甩出几条街了。 抓紧时间 发表于 2015-9-2 11:29
传闻啦，已经被tesla辟谣了。Musk这么有抱负的人，不会卖tesla的。
德国车厂靠的就是中国市场和欧元贬 ...
假的？原来新闻白看了 leelight 发表于 2015-9-2 12:07
假的？原来新闻白看了
苹果股票不行了，得弄点炒作话题 havoc 发表于 2015-9-2 12:00
很佩服我们IT从业人员的自信，怎么都能看出我们的IT业已经把德国甩出几条街了。
对比下中德近几年贡献过什么重量级的开源框架，
再对比下中德top10 IT公司的Umsatz
虽然同样是在美帝后面跟着跑，说几条街有点夸张，但是半条街还是有的 leelight 发表于 2015-9-2 11:22
做实业工业的人往往稳扎稳打，决策速度不如搞internet的，这是优点也是缺点。
现在也在转型，苹果把tesl ...
苹果没买tesla，只是自己在研制自动驾驶车 leelight 发表于 2015-9-2 13:42
对比下中德近几年贡献过什么重量级的开源框架，
再对比下中德top10 IT公司的Umsatz
就是相对于企业规模来说，开源社区的贡献也太少了，找东西很少能看到中国名字，是开发者能力差，还是共享精神不足。顶尖的programmer很少国人，这基础从业人员素质也体现行业水平吧。反而是挺怀念wps，foxmail当时代的牛人。 havoc 发表于 2015-9-2 14:22
就是相对于企业规模来说，开源社区的贡献也太少了，找东西很少能看到中国名字，是开发者能力差，还是共享 ...
国内有些贡献的东西不出名，文档不全，但是不代表不优秀，ali贡献的几个框架挺有技术含量。
中国开发者自我炒作的能力很差，社区活跃度也很差，远远不如国外一些还在大学的“天才开发者”。
github你看看，中国力量开始变强 开源的意义在于推广，特别是给小公司和forschen。
巨头们都是玩的自主和再包装，这才有人敢用 幽雨听弦 发表于 2015-9-2 07:25
俗话应该这么说：
魔高一丈，道高一尺
而不是：
最近我以前的教授在研究医疗信息在大数据系统里面的个人信息保护。
这些方面都是出了问题才补课的。
其实难点不在一个公司内部的信息保护
难点在信息交流中的信息保护。
个人信息保护分两种层面，其实跨公司的大数据分析并不是书上写的那样，谁也不愿意他人知道自己的客户信息，也不愿意其他公司随时调用自己那么多的计算资源，所以提供的都是一个统计结果而已，个人信息已经隐去。当然也可能有那样的傻逼公司吧。
相比大数据分析，各种云的信息保护才是重灾区。 leelight 发表于 2015-9-2 12:42
对比下中德近几年贡献过什么重量级的开源框架，
再对比下中德top10 IT公司的Umsatz
我还是相信好东西都不是开源的。 kolinsky 发表于 2015-9-2 15:38
我还是相信好东西都不是开源的。
数据库方面，好东西都藏着呢。
不过开发组件和框架方面，还是有好多好东西，没有的话工作就太糟了 kolinsky 发表于 2015-9-2 15:37
最近我以前的教授在研究医疗信息在大数据系统里面的个人信息保护。
这些方面都是出了问题才补课的。
没错的。不过我还是不太同意那个，云本身算不上重灾区，或者说不能这么笼统说。私有云就不存在这种安全隐患（除非extern的黑客啥的～）公有云本身也算不上重灾区，只能算普通灾区，因为公有云只是统称，也是各个私人运营的service provider。但隐患比私有云当然要大
重灾区关键是在从公司内网到公有云的路上这个交接的地方，技术层面因各技术的专利以及市场运作，有许多不兼容的情况，这也使得安全隐患恶化了 leelight 发表于 2015-9-2 14:56
数据库方面，好东西都藏着呢。
不过开发组件和框架方面，还是有好多好东西，没有的话工作就太糟了
好东西都藏着
google的bigtable 给你看么？
android有开源项目，但是正式装机的还是不给你看源码啊。
苹果我就不说了
视窗也是有限开放
好东西都不给你看的 幽雨听弦 发表于 2015-9-2 15:09
没错的。不过我还是不太同意那个，云本身算不上重灾区，或者说不能这么笼统说。私有云就不存在这种安全隐 ...
私有云也有啊，只要开放就有隐患。
一般商业的云都还好，客户信息打死不会给你看的。
关键是公共云，比如德国的医疗云。一方面要让病人的病历公开给其他的医生看，这样不在自己的医生那里也可以有完整的医疗信息。另一方面又不能给其他的人看，防止其他的人非法利用病人医疗信息。这就是一个两难选择。根据的个的BDSG，在法律要求下或者个人的许可下可以交换信息，所以必须要医疗卡才能在云端共享病历，而且还有时间的限制等等。。。。。好复杂的事情。 kolinsky 发表于 2015-9-2 18:13
好东西都藏着
google的bigtable 给你看么？
咱也得让别人卖软件或者产品的有条活路嘛{:5_336:} leelight 发表于 2015-9-2 14:55
国内有些贡献的东西不出名，文档不全，但是不代表不优秀，ali贡献的几个框架挺有技术含量。
中国开发者 ...
github我也是只fork，但是没贡献，实在没精力管文档什么的。全中国这么多开发者肯定不应该都像我这么懒。不过什么事到了中国都有些变味，现在很多公司招聘要看开源帐号什么的，结果就是很多人往上一扔再也没管过。 havoc 发表于 2015-9-3 09:53
github我也是只fork，但是没贡献，实在没精力管文档什么的。全中国这么多开发者肯定不应该都像我这么懒。 ...
中国很多技术大牛都是有自己博客的，csdn上牛就有很多 楼主这个贴开的不错，我本人不是IT出身，但是毕业于卡鲁，现在做的是电气行业的数据分析。感觉大数据这个东西，不太适合德国人，因为他们都被专业分工缩小到很小的范围，无法有全景观感。
比如这个SAP的HANA，至今我就没看到一个SAP的人能给我讲清楚到底可以怎么玩，总是说速度快内存计算，问题是我不是要马跑的快，我是要马学会跳舞。
但是德国人对于IT尤其是数据的分析能力还是有的，他们的问题在于，很少有天才出现，可以一下子放大招结束战斗。他们比较适合蚂蚁一样搬家，默默无闻的把你房子猜了。It类的公司有亮点的太少。 Benghazi 发表于 2015-9-6 00:24
楼主这个贴开的不错，我本人不是IT出身，但是毕业于卡鲁，现在做的是电气行业的数据分析。感觉大数据这个东 ...
谢谢高人点解！
不错，数据分析是大数据里面非常重要的一环，大数据技术也给各行各业的数据分析提供了许多可能。
德国这边一直把it作为制造业的附庸，从来都是想IT能为工业提供什么，而不是想到IT自己能做些什么。就好比军事上在坦克诞生后，长时间作为步兵步战的移动火力点，而不是把装甲兵作为独立力量单独的大规模使用。具体到德国IT行业里，总让人感觉很小家子气，也有那种一叶障目没有全局观的感觉。
SAP的HANA，我个人其实不会比SAPer懂得更多。据我的粗略了解，HANA填补了SAP之前没有自己的数据库的空白，至于什么in memory啊超级快啊，其实是广告语，为了在大数据时代显得不落伍。HANA依然是关系型数据库，对转型要求不高。它到底能干什么适合干什么，还得从全局架构上考量。我知道有些架构师，头衔都是带head的，实际上却是很草台班子建房子感觉，不敢恭维。
说了半天，我又一次对德国IT从业普遍待遇低下又没多大前景的现状感到悲哀，更觉得自己有挫败感。
大数据分两部分：偏硬的系统和偏软的数据分析算法。对于大数据绝对是数据分析的先行，特别是好的分析方法这些是纯数学的东西，也就是为了运行好的数据分析方法，建立相应的系统。现在谈大数据特别多的都是IT方面的人，更准确的说都是偏系统集成方面的，什么云，其实就是系统集成的延伸。目前云运用最好的都是大型电商，他们都产生大量的数据，必然有大型系统，看看现在阿里和亚马逊的推送系统就知道有多渣，他们有数据也有业务需求也不缺钱人，可是他们也只是把大数据里面相对容易的系统搭出来了，都做好了迎接数据分析天才想法的出现。其实最有价值的数据都在关系国计民生的部门里面，比如电信银行电力，都知道那是金矿都想挖，就是找不到方法不得入门。 brecht 发表于 2015-9-7 11:35
大数据分两部分：偏硬的系统和偏软的数据分析算法。对于大数据绝对是数据分析的先行，特别是好的分析方法这 ...
对，架构和处理才是关键。那些分析处理方法，又回到数学上了。
数据源也非常重要，电商特别是阿里有支付宝，能够获取相当多的有价值信息。能够靠那些数据挖出东西确实是千金不换， 放开后国家安全和个人隐私越来越被侵犯。 kolinsky 发表于 2015-8-30 01:26
數據庫還是要看一個公司的數據組織方式來確定。
大數據主要是用來分析數據的，不是用做數據庫的，樓主既 ...
我也想这么说，但是看到我认识楼主，所以没好意思驳他面子。。。。{:4_279:} hyacinth1984 发表于 2015-9-7 11:50
我也想这么说，但是看到我认识楼主，所以没好意思驳他面子。。。。
没事，不用客气，过几天我就看不到了 Benghazi 发表于 2015-9-6 00:24
楼主这个贴开的不错，我本人不是IT出身，但是毕业于卡鲁，现在做的是电气行业的数据分析。感觉大数据这个东 ...
可是还是已经有很多大企业的物流部门已经用了很久HANA啊。并且也没有挺他们说觉得HANA怎么不好。。
恩恩，八卦下，Kaufland的物流就用的HANA schlafgern 发表于 2015-8-31 10:59
我觉得大家没有搞明白这里面这些名词概念的逻辑关系
nosql和大数据没有本质的联系，nosql是和分布式数据 ...
别的我都同意，就是不明白为何说“最本质区别，就在于nosql处理的数据模型是嵌入式的(容忍或者说接纳数据冗余)” 而且我也不太懂嵌入式为何意为容忍数据冗余？
在我看来，冗余对于关系型数据库都允许存在，而且冗余也不是sql和nosql的最本质区别。 抓紧时间 发表于 2015-9-7 11:58
没事，不用客气，过几天我就看不到了
回国也可以翻墙看到{:4_277:} hyacinth1984 发表于 2015-9-7 13:00
回国也可以翻墙看到
再回一下你的第一个回帖。
做个饭，可以说食物最关键的是锅里炒的那一下，但之前之后食物怎么处理怎么放的事，不能不理会。
大数据，如果拘泥于什么数据仓库，那就太短视了。事实上，数据仓库出现的更早，而且在大数据时代已经过气。我在文中根本没提数据仓库，因为这个概念其实有些落伍了。
很多概念在诞生时和发展几年后是很不一样的，例如REST现在人的理解已经和当初说的很不一样了，它的提出者自己现在都直摇头业界的曲解。回过来，大数据如果只是硬件的堆加，那也不过是简单的加法算不了什么。实际上数据量的摩尔式增长速度逼得数据形式、系统架构要变革。从NoSQL讲起大数据，我个人理解这才能作为学计算机(软件)出身的人，从本质上把握大数据。
而对于一直是搞数学统计物理的人，其实大数据对他们来说，只是原来需要很长时间的算法模型，现在可以快很多了，也不会对底层一点的东西不多关心。 抓紧时间 发表于 2015-9-7 13:11
再回一下你的第一个回帖。
做个饭，可以说食物最关键的是锅里炒的那一下，但之前之后食物怎么处理怎么 ...
你这是要回国了么？ czhunter 发表于 2015-9-7 13:16
你这是要回国了么？
是啊，不回国难道去报难民啊 抓紧时间 发表于 2015-9-7 13:17
是啊，不回国难道去报难民啊
如果不是因为俺媳妇，我这次回去出差就不想回来了。。。
愚蠢的德国。。。 czhunter 发表于 2015-9-7 13:18
如果不是因为俺媳妇，我这次回去出差就不想回来了。。。
愚蠢的德国。。。
可以说德国愚蠢，不过我自己更愚蠢 抓紧时间 发表于 2015-9-7 13:20
可以说德国愚蠢，不过我自己更愚蠢
不不不，这只是一时的而已。。。
那祝回去之后一帆风顺{:5_342:} czhunter 发表于 2015-9-7 13:21
不不不，这只是一时的而已。。。
那祝回去之后一帆风顺
即使回去是万丈深渊，死也要死在家乡 抓紧时间 发表于 2015-9-7 13:11
再回一下你的第一个回帖。
做个饭，可以说食物最关键的是锅里炒的那一下，但之前之后食物怎么处理怎么 ...
数据仓储过气之如何而来？
你一句话让大批SAP BW咨询师喝西北风去了，CTO, CIO们也不需要考虑何时上BW on HANA了。 抓紧时间 发表于 2015-9-7 13:17
是啊，不回国难道去报难民啊
真的假的啊 还有时间的啊 Benghazi 发表于 2015-9-6 00:24
楼主这个贴开的不错，我本人不是IT出身，但是毕业于卡鲁，现在做的是电气行业的数据分析。感觉大数据这个东西，不太适合德国人，因为他们都被专业分工缩小到很小的范围，无法有全景观感。
比如这个SAP的HANA，至今我就没看到一个SAP的人能给我讲清楚到底可以怎么玩，总是说速度快内存计算，问题是我不是要马跑的快，我是要马学会跳舞。
但是德国人对于IT尤其是数据的分析能力还是有的，他们的问题在于，很少有天才出现，可以一下子放大招结束战斗。他们比较适合蚂蚁一样搬家，默默无闻的把你房子猜了。It类的公司有亮点的太少。
还是咱卡鲁毕业生比较明白。 HEREAFTER 发表于 2015-9-7 19:40
数据仓储过气之如何而来？
你一句话让大批SAP BW咨询师喝西北风去了，CTO, CIO们也不需要考虑何时上BW o ...
过气是说不那么热门，也不是那么重要，不是说不需要了。
现在的处理架构在淡化dwh，很多也不像传统的dwh的定义。另外dwh相对不那么operativ，大数据这个框架下远远超出传统dwh的概念。
如果你要硬扣字眼，我不奉陪。 EDW根本就区别于Operative Systeme, 而不是“不那么operativ"。
现在很多架构在简化EDW中的Layer，并尽量使用Virtual Views, 减少数据的重复存储及数据转化和提取的时间。
HEREAFTER 发表于 2015-9-7 20:45
EDW根本就区别于Operative Systeme, 而不是“不那么operativ"。
现在很多架构在简化EDW中的Layer，并尽量 ...
说的对，可以直接说dwh是和operative的对立的。
另外，你是说mediator这里的推广应用，还是具体如何在简化？ Mark一下. 涨了知识, 但是不少层面没懂...
另外, 有了解的人可以讲讲应用的事例吗? 比如Unternehmen Controlling 的角度? Blanc 发表于 2015-10-21 09:45
Mark一下. 涨了知识, 但是不少层面没懂...
另外, 有了解的人可以讲讲应用的事例吗? 比如Unternehmen Con ...
如果贵公司有BI部门，那么可以和他们合作一下。
传统的BI不一定是大数据，但他们现在应该懂一些 Linux_Handy 发表于 2015-9-1 21:03
德国不是IT行业的国家。德国IT和蓝领差不多的性质。
德国人的性格不适合从事 IT业。唯一的解决办法 ...
中国IT很强吗？ 在那个IT领域能引领德国呢？ havoc 发表于 2015-9-2 11:00
很佩服我们IT从业人员的自信，怎么都能看出我们的IT业已经把德国甩出几条街了。
对啊。除了web应用，没看到任何有影响力的软件。 顶技术贴 ichdich 发表于 2015-12-6 11:51
顶技术贴
谢谢顶！
我准备过半年或一年以后，根据我的一些新的认知，再来更新 在展会上听过SAP的人演讲，有了HANA就不再需要BW系统，也就是在OPERATIVE系统上实时的进行运营分析。
页:
[1]