企业业务越来越复杂多元，对数据处理能力的需求越来越高，当下实时分析场景越来越多。数据技术日新月异，纷繁复杂，利用合适的数据技术打造自己的实时分析能力非常重要。
（照片配图：）
本期，我们有幸邀请到偶数科技创始人&ceo常雷博士，他指出现在数据湖和数仓的融合已是大势所趋，有迫切的需求，当下已经到了实时湖仓一体时代。他分享了实时湖仓的发展、建设路径和方法论。
此外，常雷也指出，这是技术创业最好的时代，也存在挑战。技术发展多年，现在突变的技术没有以前那么多。在突破力越来越少的情况下，大家都在做一些存量的竞争，这时候从商业层面其实蛮困难的，还是要从技术上做一些突破，来打破这样一个格局。他强调要坚持创新，不进则退。“要结合需求来看，别拿个锤子老找钉子，你根据钉子来造锤子。技术型创业的人最容易这样，强调技术产品贼牛，这是技术创业最大的一个坑。”
追问：我们为什么需要实时湖仓？
itpub：常雷博士，很高兴能采访到您，请您简单做个自我介绍。
常雷：我之前是北大博士数据库方向毕业，毕业之后就加入emc，曾任emc高级研究员、emc/pivotal研发部总监。
2010年emc收购greenplum，我在emc带领研究团队做数据库内核的研发工作，结合greenplum开发了新的产品hawq，hawq和gp早期是闭源产品，在2015年我们就把这两个产品全部开源了，hawq后面成为了的顶级项目。
看到了云时代的机遇，2016年年，我带着团队出来创立了偶数科技，当时我们定位是想做新一代云原生的分析型数据库，慢慢地演进成现在的实时湖仓，就是把结构化数据、非结构化数据、半结构化数据，所有的数据都能够融合起来处理，架构上做云原生存算分离，把数据湖和数仓融合形成新一代数据平台。
itpub：打造新一代云原生分析型数据库，是不是对标snowflake？
常雷：其实我们对标国外的snowflake和databricks两家公司，snowflake做云原生数仓起家，是分析型数据仓库。databricks是做spark，早期定位是机器学习，后面做lakehouse（湖仓一体）。这两家公司，前者是从数据库角度出发，后者是hadoop生态，从数据湖出发，现在都往湖仓一体融合发展，我们其实正好是两个都对标。gp是一个分析型数据库，hawq源于gp，是sql on hadoop引擎，是hadoop生态，我们从hawq出发，做云原生存算分离，演变到oushudb，又以oushudb为基础，打造了skylab实时湖仓数据平台。
以前都是有湖有仓，现在湖的能力比如说事务一致性、性能等等都在增强。仓之前只能做结构化数据，现在慢慢把流处理各方面的东西都给融进来。
我们已经扩大产品栈，有一套完整的产品矩阵，能为企业提供非常完整的数据分析产品栈，具有整体的数据分析的九游会体育线上平台的解决方案能力，像是一个航空母舰一样。
itpub：公司九游会登陆官网的介绍是开启实时湖仓一体时代，您看到的是怎样的一个时代？
常雷：数据库经过好几代的发展，其实脉络比较清晰，最早期是交易数据库，像oracle、db2，交易数据库其实变化没有那么大，就是传统集中式到分布式的变化。
分析型数据库的架构变化比较大，这是需求场景变化使然，分析库从早期只能做一些统计报表，到后来数据量大了之后要处理大量的数据，在到做bi。后来大数据时代，有各种不同类型的数据出来，数据量也很大，数据处理变得复杂，出现了hadoop大数据平台。最近这几年，云计算兴起，湖和仓向着融合演进，变成了云原生湖仓一体。
湖仓一体概念是美国先提的，英文是lakehouse，湖仓一体只是说把湖和仓融合起来，减少了数据的孤岛。以前湖和仓是分开的，在湖和仓里面都要存数据，造成数据冗余，不是一份数据，使得开发成本、维护成本等提高，湖仓一体确实解决了一些问题，降低了客户的运营成本。
我们觉得只说湖仓一体还不够，从应用的场景来看，在分析方面，以前的t 1已经不能满足很多实时场景需求，t 0实时场景越来越多，我们不仅要做湖仓一体，而且要针对实时场景，做一个新的技术架构，所以说我们提实时湖仓一体的时代，不仅强调技术架构，而是技术、应用场景的支持和融合。
市场上也有实时“数”仓的概念，和实时“湖”仓虽然差一个字，但是差别蛮大的。实时数仓处理结构化数据，实时湖仓是一个产品矩阵，实时湖仓包含了实时数仓，范围更大一些，会把企业各种各样的数据都管理起来。
itpub：实时数仓、实时湖仓核心就是实时性的需求，您觉得是如何发生的？
常雷：现在越来越多的实时场景出现，就是比如说实时大屏、实时报表、实时指标、实时推荐、反欺诈、风控、iot场景等，比如说一个用户在浏览商品，他要收到一些实时的推荐。
从业务场景的需求来看，传统的t 1已经支撑不了这种需求，大家对实时的需求已经很迫切了。
客户的it能力越强，投入越大，业务做得越好，越讲究实时性。有些传统的企业技术方面做的比较弱一些，觉得现在好像不需要，业务这样还挺好，但实际上是数字化转型没有做好，业务提升空间还很大。
itpub：也许企业真的没有需要？
常雷：他不是没需要，而是他没想到他有需要，别人都已经做了，他就是跟随者。任何一个新场景、新业务或者新技术的发展，都会有一些创新的先行者，跟随者也挺多，跟随者其实是占大部分，创新者只占一小部分。
实时湖仓案例，我们做了很多头部客户，基本上每个行业的头部都有。我觉得技术随着业务场景在变化，往往是先有业务场景才有技术，有时候有了技术之后，会开拓一些以前不能做的业务场景。实时湖仓好像是需求和技术在齐头并进。一个是有需求，另外技术也在发展，走到了实时湖仓一体这样的一个时代。
itpub：具备哪些特性才能是真正的实时湖仓？
常雷：根据湖仓一体平台的本质，我们总结出了湖仓一体的六大特征——anchor，其中6个字母分别代表：all disparate data（多源异构数据）、native on cloud（云原生）、consistency（数据一致性）、high concurrency（超高并发）、one data in open format（一份开放格式数据）、realtime（实时t 0）。anchor 的中文意思是“锚”，利用anchor六大特性很容易判断出某一系统设计是否真正满足湖仓一体，“锚”定湖仓一体。
itpub：在实时性方面，有很多技术和概念，实时数仓、实时湖仓、流批一体、htap数据库等，您觉得企业需要的是什么？偶数为什么会专门提实时湖仓？
常雷：这些概念其实都有一些自己的应用场景，比如htap的场景也有一些。在交易库里面，有时候要做一点小的分析查询，可能在分析场景里面有一点交易型场景，也能做。从现在的业务现状来看，大家说数据库的时候，场景基本都是分开建，银行tp和ap还是分着的，是完全不同的部门团队在做。
一般场景都是有侧重的，这个场景偏重于分析，那个场景偏重于交易，然后选用不同的产品，我们其实是偏重于分析型场景，也支持一些交易。有些数据库是偏交易型的数据库，也支持一点分析。但企业真的要采购分析平台的时候，没有人去找交易库，同样，如果选型交易库，也不会有人去选一个分析库，我觉得在实际项目中区分得很清楚的。
偶数为什么挑选实时湖仓，我觉得湖和仓融合是必须的，是未来所有人都要做的，并不是锦上添花的一个东西。分析场景将来都会走向实时湖仓平台，现在企业都在想着降本增效，实时湖仓能带来很大的价值。
itpub：关于实时场景，很多在谈在线、离线、近线，怎么理解实时？
常雷：gartner有个关于实时的定义，梳理得蛮清楚的。按照分析的时效可以分为战略决策、战术分析、业务运营和自动化处理，时效和分析频率越来越高。战略决策，比如企业收购、海外扩张，通常要做几个月到半年的分析；战术分析，比如细分市场的定价策略，通常要用几周到一个月的时间来分析；自动化处理，比如信用卡自动审批、股票的量化交易，通常是毫秒级，在一秒钟内完成；而业务运营夹在中间，从1秒钟到几天，跨度很大。
所以在业务运营场景中，就需要对实时有更加明确的要求。gartner认为15分钟内的算是实时和准实时范畴，根据我们的观察和实践，10秒钟以内才能算是强实时，10秒到15分钟的区间可以认为是准实时的。很多企业正在将传统的t 1报表升级为分钟级的准实时报表，在我看来，接下来完全可以做成强实时的交互式分析。
偶数做实时湖仓，是从离线到在线，从准实时到强实时，全部覆盖，我们提出叫做全实时，也是按需实时的理念，全实时通过omega技术架构来支持。
itpub：不同的企业对实时湖仓的需求有哪些共性和差异？
常雷：同一个行业基本上共性是比较强的，对产品的需求基本上都类似。但对创新型的需求，不同规模的企业差别比较大，大型企业的业务场景相对复杂，技术创新能力比较强，像稍微大型的银行在创新方面比中小银行要强很多，新的实时场景往往是他们在率先尝试，然后中小银行才会跟进。
实践：企业如何构建实时湖仓？
itpub：企业是如何构建实时湖仓的？
常雷：根据现状的一些不同，企业会采取不同的方式来构建，大致分为三类。
第一类，以前信息化做得比较弱，可能分析场景基本上没做，或者他觉得以前的太落后了，只做了一个传统的 ods ，新的大数据平台也没上，这是往往采取新建模式。
第二类，以前的it基础栈比较全，可能有湖，也有仓，还有数据集市。基于现有的it建设，向实时湖仓升级换代。比如你的存储是hdfs，我可以利用你的原有存储，使用我们的计算层，加上偶数的一些实时存储，使得架构向实时湖仓转型。
第三类，以前有传统的数仓，但没有hadoop大数据平台，这种情况可以把数仓先升级成云原生存算分离的架构，先把oushudb用起来。其他新应用场景再引入新的组件，慢慢形成实时湖仓平台。
所以基本上是三条路径，新建、从湖转型实时湖仓，或从数仓转型到实时湖仓。
我们遇到新建的比较多一些，新建一个平台，硬件还可以重用，应用场景逐步迁移，并不是新建完之后一下全部迁移。对客户来说，新建相对比较简单，因为新建不会涉及重大历史包袱。如果此前有大量业务在跑，改造相对来说耗时较长，需要几个月或者半年的时间，我们尽量让企业在短期内看到价值，增加他的信心。
itpub：能否分享一些项目建设的方法论？
常雷：结合偶数在数据平台项目建设的长期探索和经验总结，提炼出了偶数湖仓一体建设方法论。这个方法论主要包括规划（planning）、实施（implementation）、运营（operation）三个子过程，三者先后衔接并形成闭环；战略（strategy）是一个或有子过程，一般适用新建湖仓数据平台场景，或者特殊建设背景下行业客户的特别要求。
偶数湖仓一体方法论逻辑视图
偶数湖仓一体建设方法论，既能兼容传统数据仓库的实施方法，又能规避过往数据湖落地过程中的一些弊端；既考虑众多企业已建数据平台多年的现实情况，又吸收近年数据相关技术快速变化演进的前瞻趋势。
itpub：企业在构建实时湖仓的时候，你觉得有哪些需要注意的地方？
常雷：在湖仓一体正式立项之前，我们建议客户从行业实施经验、项目实施周期、平台总体成本三个要素来考虑湖仓一体的项目规划，进行总体设计、分步实施。通俗讲，就是团队要找好，产品要选好，项目要实施好。偶数的方法论还给出了在立项阶段的几点避坑建议，以及项目实施过程中的重要抓手，大家可以关注九游会登陆即将发布的关于湖仓一体建设方法的书。
展望：aigc时代的实时数据技术以及技术创业
itpub：aigc时代，大模型等ai技术对数据技术带来了哪些影响？
常雷：我觉得大模型的兴起对我们是一个重大利好。因为大模型降低了大家使用数据的门槛，可以用自然语言使用数据，而以前使用数据往往需要学习复杂的产品和查询语法。
aigc使得数据栈变得更加简单易用了，比如可以自动生成sql，将来设计模型、数据治理也可以自动，用自然语言。所以大模型对行业影响很大，只不过现在这种垂直场景还没有非常好的落地。
大模型现在属于一个比较前沿的探索阶段，基本上还是做一些比较通用的基础场景，针对一些垂直场景，还有很长的路要走，任重道远。
itpub：很多人就说现在是一个对技术创业者来说比较好的一个时代，作为一个技术创业者，您如何迎接挑战，把握机遇？
常雷：现在对技术创业者确实是最好的时代，你真的想把一个事情做深做透做好，没有技术创新很困难。但是技术创业者也有局限，通常对业务逻辑和需求等方面了解要少一点，也是个挑战。
技术已经发展这么多年，现在突破性的技术没有以前那么多。在突破越来越少的情况下，如果大家都做存量的竞争，这从商业层面其实还是蛮困难的，所以还是要从技术上做一些突破，来打破这样的格局，技术创业还是很重要的。
例如，在三年之前我们讲实时湖仓的时候，大家还在犹豫观望，现在基本上已经形成共识了。我们希望这些企业用好实时湖仓，真正实现业务的降本增效。
itpub：现在市场有那么多类似的产品，怎么看行业的竞争？
常雷：这就和当年的百团、千团大战一样。一个新的技术出来之后，一定会有一批公司来做，这是很正常的，市场竞争一定越来越激烈。但是否能笑到最后，那就看战略、技术、产品，谁做得最好。
其实数据技术的发展是非常快的，现在大概每过10-15 年左右就会有新一代平台出现，很多厂商一不小心可能就落后了，可能就被淘汰了。
所以你永远要把握住自己的创新，永远不要把创新放下，别以为产品比较稳定了，就觉得可以满足需求了，不需要创新了。不做创新就会被淘汰，只不过有的行业可能对创新的要求更高一些，变化更快一些，有的行业创新稍微慢一点，但仍然需要握住机遇和创新。交易库稍微简单一点，它发展慢一点，但做大数据相关的发展变化就尤为明显，真的是日新月异，我经历了过去三代平台，现在已经发展到第四代云原生存算分离了。
创业是不进则退。我们一直在创新演变，刚开始我们做云原生数据仓库，是分析型数据库，现在我们变成实时湖仓，以分析型数据库为核心，形成了一套产品矩阵，这几年我们一直在不断迭代前行。
itpub：现在都在讲融合，数据技术的大融合，像以前的按键手机、mp3、照相机全融合成一个智能手机一样。
常雷：oracle很早就已经讲融合了，oracle对各种数据场景都支持，比如图数据，时序数据等等，所以融合不是个新概念。
现在到处都在提融合，我觉得有些部分融合是可以的。但所有东西都融合在一起一定是有问题的，让一个人干所有的事情，什么事情都可以干，但是干的肯定不是所有事情都是最好的，要有侧重点。
企业的诉求是你解决了什么问题，到底带来多少价值，比如有实时场景的问题要解决。比如湖和仓，为什么要融合到一起？你要说清楚价值，然后再讨论融不融合。客户的视角是解决问题带来价值。技术人的角度，可能是你看我啥都能做，我技术很牛，这个视角是不可取的。
要结合需求来看，别总拿个锤子找钉子，要根据钉子来造锤子。
itpub：对于从业者而言，您能不能给他们一些建议，如何跟上技术迭代的节奏？
常雷：针对从业者，我觉得新的技术要紧跟，大的趋势要紧跟，国内新的趋势是新一代数据库产品、是实时湖仓，千万不要故步自封。现在知识和技术更新迭代的速度很快，一定要注意武装好自己。比如说我们现在推出一些课程，我觉得像这种新技术的培训分享，传统的dba应该去学习，等到以后别人都掌握了，那你就很危险。
本文属于原创文章，如若转载，请注明来源：对话偶数科技常雷：如何开启实时湖仓一体时代？https://pad.zol.com.cn/844/8443139.html
