如何用云服务解决短视频社交产品锥心之痛

自2014年起，美拍、GIF快手、小偶、微信视频等平台接踵而至，短视频领域迎来迅猛发展，催生了时尚社交的新模式。不过，该行业的创业者们在打造优质产品时，于整个发展历程中会遭遇诸多难题。

最近，七牛云的首席架构师李道兵，深入剖析了短视频产品迅速发展的原因，以及数据层面可能面临的挑战，同时给出了短视频行业初创企业所需要的，将产品基础架构与云存储融合起来的应对策略。这些内容均来源于他的讲话，本文就是根据讲话内容编辑整理的。

短视频同时爆发于2014的影响因素

带宽

移动4G技术的普及，使得中国移动用户（大约占全国手机用户的一半以上）的网络使用直接从2G跨越到4G，每月数据使用量从几十兆字节跃升至几个千兆字节，网速也从只能缓慢下载图片的水平，发展到可以顺畅地进行视频上传和下载。与此同时，家庭网络的带宽也显著提升，十兆和百兆的接入速率已经成为家庭网络服务的常见配置。

娱乐为王的时代来临

技术不断进步。传统相机完成拍摄后需要数日才能冲洗出胶卷，数字相机通过USB传输分享照片则需一到数小时，而手机则仅需瞬间。手机摄像头分辨率逐年提升，图像品质也随之显著改善。从捕捉影像到传播内容的耗时大幅缩短，极大地优化了人们从拍摄到分享的整体感受。

产品领域出现了新的变化,社交类应用广泛采用预设格式和背景音乐,通过短视频或其他形式进行传播,从而提升了用户的愉悦感。毕竟普通人并非都是影视剪辑高手,自行拍摄的画面效果往往不尽如人意,不过借助专业级软件的辅助,制作出的视频作品很容易获得同伴们的认可。

网络交流平台经历了从论坛到微博、微信的演变过程。论坛时期，各个平台相对封闭，彼此独立。后来逐渐过渡到微博和微信主导的社交环境。这个阶段与之前最大的不同在于，论坛时代多采用匿名方式结识朋友，而微博微信时期则转变为以真实身份进行社交，更侧重于与熟人互动。人们总想在社交平台展示的每张照片或每段视频中获得同伴的认可和回应，也渴望与朋友们产生积极的交流互动。从信息扩散的角度分析，新兴的社交途径具有更强的传播影响力，内容的价值往往和分享次数紧密挂钩，促使大家用心制作优质作品，在获得大量转发的同时体验到更强烈的成就感。

用户的疯狂增长

制作短视频产品在技术层面会面临哪些挑战？产品若品质突出，用户活跃度将急剧攀升。逗拍在发布数日之内便位列iOS免费应用排行榜首位，迅速形成数以亿计的视频上传量，如此庞大的增长必然给产品系统带来沉重负担，数据库、缓存系统、存储资源、上传通道、内容分发网络以及核心业务处理环节都将承受巨大考验。

非数据层面的负担主要源自基础数据库，因此要尽量选用固态硬盘，毕竟固态硬盘的每秒操作次数比常规硬盘高出一个数量级，这样可以增强数据库的运行效能。

缓存层，在压力较小的情况下，可以不启用，当负载增大时，能够借助Memcache或Redis实现横向扩展。

业务层面相对普通，只要实现业务状态的无存留，那么弹性伸缩就会变得十分容易，也十分省力。只要确保系统是无状态的，那么增加一台服务器或者十台、一百台，都不会对整体架构造成显著影响。

网络架构部署时，前端系统通过横向扩容增强负载能力，采用LVS集群确保服务持续稳定运行，从而彻底消除任何可能出现的系统故障风险。选择具备优质BGP连接的机房至关重要，尤其针对国内复杂的网络环境，这种配置能显著改善用户使用感受和访问效率。在BGP机房内，仅传输元数据数据流量，其成本控制在合理范围内，但若传输视频数据，则会产生高昂的费用支出。短视频的运用所产生的信息量非常可观，必须制定一个专门的计划来应对短视频的上传、保存、加工和传播这些需求。

数据层面会遇的问题

文件如何从用户端传送到服务器呢？一个简短的十秒视频，在压缩得比较充分的情况下，大小大约在1MB左右，而六十秒的视频，文件大小则可能达到6MB，甚至更大。在手机上尝试上传这样的文件，一次性上传能够成功的概率并不高。因此，如何设计一个合理的分片上传方案，借助分片技术来提升上传的成功率，就变得相当重要。

视频的上传受网络覆盖状况影响，数据存储中心不适合选用BGP数据中心，毕竟带宽费用很高。怎样确保上传的网络覆盖呢？选用费用低的机房，其覆盖范围或许不佳，难以提供优质的用户体验，此时可以通过设立缓存代理通道，或者在全国范围内部署节点来应对。另有一个难题涉及网址篡改，尤其省市县区域的网络管理较为混乱，应对措施是预备多个网址用于上传，或者采用IP地址直接上传。

大量数据如何存储

数据量急剧膨胀，迅速攀升至数百TB乃至PB的规模，团队首要思索的是自身是否具备充足的专业知识来管理分布式存储系统。

这个问题在于该产品能否走红,需要提前规划多少存储容量,初始阶段是否必须配置1PB的存储,大概需要多少台设备,假设准备70到100台2U12盘的存储设备,一次性投入300万元,设备部署在机房,每月会产生可观的机柜费用,这是否划算,运维团队是否在数据存储环节已经做好充分准备,当遭遇大量上传下载的流量高峰时,那些热门视频能否承受住磁盘的压力,运维团队能否妥善处理磁盘故障和更换,设备出现宕机状况如何应对,网络架构是否搭建完善,交换机发生故障时能否有效处理,这些都是存储领域常见的一些难题。

短视频存在存储空间紧张的问题，并且需要处理海量数据，比如部分视频要生成缩略图用作封面，缩略图上还需添加标识，进行必要的裁减和尺寸调整以适配不同设备，这就要求配备专门的处理系统，视频添加标识会占用服务器能力，可以考虑由用户设备执行，但这会加重基础手机设备的负担。用户虽然可以通过接口上传部分未加水印的视频，然而其中暗藏隐患。

数据处理的又一项挑战涉及审核，用户若上传淫秽影片该如何应对？倘若决定将此任务委托给外部机构，但该机构因预览视频而消耗大量网络资源，将使审核效能降低。在这种情况下，在服务器端的视频转换阵列中将影片转为更紧凑的格式进行审核更为适宜。倘若视频时长较长，例如数分钟的视频，直接播放时会出现明显的卡顿现象。是否必须借助HLS模式进行播放，这些疑问的解决，都仰仗于一个功能强大的数据处理平台作为后盾。

这种集群的构建方式应该怎样设计？必须确定其存储容量大小，又该如何迅速进行扩容？基于开源或自研的图片视频处理软件，是否存在安全隐患？图片视频转换工具是否也暗藏风险？一旦出现CVE漏洞，能否做到迅速应对？这些都是必须正视的难题。一旦有人获取了服务器的访问权限，而服务器的安全防护措施不足，那么整个网站的数据库就可能被窃取或损毁。

分发问题。挑选CDN提供商要考察以下几个方面：

有无独立的多媒体平台，如果有视频体验会更好。

MP4能否实现拖拽操作，这取决于CDN是否提供相应功能，CDN需要按照指定时刻，将对应的数据部分发送给你，这项功能必须由CDN来完成。

CDN回源比例有多大，相同的CDN传输1Gbps数据，传回服务器的数据量是多少？是100还是200Mbps？这其中包含着相当可观的费用差别。

大文件回源是否经过改进，用户浏览大文件时，是全部发送请求还是只请求部分内容？这样会不会给存储集群带来很大压力？小型运营商的CDN覆盖范围如何，这些都是短视频应用开发者必须思考的难题。

短视频平台用户数量急剧攀升，常规系统设计受限于数据存储，但借助固态硬盘的普及，数据存储性能已大幅提升，跨越了两个至三个数量级，导致系统设计的短板逐渐显现于数据存储环节，而非以往的结构设计方面。现阶段，数据上传需要解决如何进行分割管理，怎样确保网络通畅，怎样减少传输开销，怎样避免DNS被恶意篡改等问题；而在存储和处理数据阶段，也必须思考采用哪种存储方案，怎样防止初期投入过大，怎样对大型集群进行有效管理。

这个挑战并非研发部门力所不逮，而是当用户数量激增时，必须权衡顶尖工程师的精力，是用于攻克产品难题，还是用于那些能够委托外部处理的基础性服务层面。

云存储对应的解决方案

针对上传问题

分片方案该如何制定，网络覆盖怎样确保？许多云存储的SDK产品直接提供分片功能，网络节点则可由众多用户共享使用，这样设立网络节点的开销会减少，同时能实现更广泛的覆盖范围。就流量费用而言，大部分云存储服务商在上传环节通常不收取费用，而费用主要发生在存储管理和内容分发这两个环节。

针对数据存储问题

数据放在云端后，就不用再占用本地的服务器了，初期的花费也会减少很多。平时只需照看规模较小的系统，普通的数据库操作和前端的缓存部分，也不需要管理成百上千台服务器组成的庞大网络。

在数据管理方面，众多云存储平台配备了音视频处理功能，得益于云存储的高吞吐能力，用户对其造成的瞬时压力微乎其微。云存储服务商通常拥有专门的安全部门负责维护安全，应用程序无需担忧遭受安全漏洞的侵袭。至于音视频格式转换业务，依据实际应用频率，其费用支出往往低于自行构建系统的成本。

数据加工时碰到审核难题，七牛会协助用户规划一些用于审核的转码方案，例如把影片加速到两倍速或三倍速，原本一分钟的素材在审核端能三十秒、二十秒就看完。将清晰度调整为150x150像素，消除音频信号，减小数据流量，十秒钟的视频大概只需四十KB。审核人员能通过一个页面同时观看多个视频，整个审核工作效能显著增强，并且减少了审核作业的开销。压缩数据比率后，网络通道容量显著减少，浏览网页过程变得更为顺畅，检查员的工作感受得到改善。

在数据传输环节，云存储能够承担筛选CDN节点的任务，同时执行智能化的调度方案以优化CDN性能，防止CDN系统失效导致服务中断。此外，它还支持通过多个域名和IP地址进行下载，以此规避域名被恶意劫持的风险。

云存储技术现已十分完善，对于数据相关的诸多诉求均可应对。优质的云存储服务商能够依据客户的具体要求协助其构建定制化方案，共同攻克难题，这亦是短视频等领域更常选用云存储或其他云服务的原因所在。

短视频这股潮流正好碰上移动通信、网络提速、文化消遣的上升期。其中既有偶然成分，也有必然因素。网速加快促使人们交流手段发生转变，交流从文字发展到图像、音频、视频。技术持续发展，未来会出现更多交流形式，例如数字幻境和立体影像。新的交流形式将带动大量创新产品的诞生。

个人创造信息的能力持续增强，例如拍摄的照片和录制的影像、游历过的地点、智能穿戴工具生成的健康指标、车辆运行状况等。这些信息蕴含着显著的潜在用途，保存这些信息并加以运用也日益关键。谷歌凭借强大的信息处理才干,顺利实现了互联网从第一代向第二代的跨越,把汇集到的网页资源转化成检索服务来响应大众需求,又把用户搜索及浏览轨迹加以利用,构建广告推送系统来服务商家,这些举措都彰显了数据蕴含的巨大用途。

往后数据会愈发关键开yun体育官网入口登录app，能否抵押房产贷款并非取决于客户服务人员，而是依据你个人信用记录及活动信息。同样，打造一个网站或软件，吸引并留存用户的关键开元ky888棋牌官网版开元ky888棋牌官方版，并非仅靠个人才智或直觉，而是取决于数据分析技术。企业利润增长，更多取决于你在数据挖掘方面达到的深度，从而为盈利提供有力支持。