Research Article | | Peer-Reviewed

Research on the Innovation and Optimization of the Short Video Recommendation System on a Certain Platform

Received: 9 June 2025     Accepted: 30 June 2025     Published: 15 July 2025
Views:       Downloads:
Abstract

Within the contemporary digital landscape characterized by unprecedented informational deluge, short-form video platforms have profoundly reconfigured global users' paradigms for entertainment consumption and knowledge acquisition. This transformative impact stems from the medium's inherent attributes: temporal immediacy, content fragmentation, and profoundly immersive engagement. Nevertheless, amidst exponential expansion of user demographics and unprecedented diversification of content ecosystems, conventional recommendation algorithms persistently encounter substantive impediments. These manifest in deficiently capturing ephemeral content relevance, implementing granular operational differentiation across heterogeneous user segments, and unearthing latent correlations within complex behavioral sequences. Leveraging a comprehensive empirical dataset (encompassing 122,500 discrete behavioral traces) sourced from a preeminent short-video platform, this investigation employs multifaceted data excavation and sophisticated model architecture to elucidate profound interconnections between user behavioral archetypes and recommendation optimization strategies. The seminal contribution of this research transcends the traditional system's constrained "content-centric" paradigm. It pioneeringly amalgamates temporal dynamics, nuanced behavioral differentiation across cohorts, and adaptive feedback mechanisms within a cohesive analytical framework. Consequently, it furnishes both conceptual underpinnings and actionable methodologies for developing intelligent recommendation engines capable of delivering hyper-personalized experiences-effectively actualizing the vision of "contextually attuned personalization for diverse users across manifold temporal instances."

Published in Science Innovation (Volume 13, Issue 3)
DOI 10.11648/j.si.20251303.16
Page(s) 47-56
Creative Commons

This is an Open Access article, distributed under the terms of the Creative Commons Attribution 4.0 International License (http://creativecommons.org/licenses/by/4.0/), which permits unrestricted use, distribution and reproduction in any medium or format, provided the original work is properly cited.

Copyright

Copyright © The Author(s), 2025. Published by Science Publishing Group

Keywords

Short Video, Recommendation System, K-means Clustering, Machine Learning, Personalized Recommendation

1.引言
短视频的崛起不仅是技术驱动的产物,更是社会文化变迁的缩影。全球范围内,短视频平台正在重塑信息传播、娱乐消费乃至社会互动的模式。根据《2023年全球数字趋势报告》,短视频用户日均使用时长已超过社交媒体和长视频平台,成为互联网流量的核心增长极。这种全球化扩张的背后,是短视频“短、平、快”特性与移动互联网碎片化场景的高度契合。
在此背景下,推荐系统已从单纯的技术工具升级为平台战略的核心枢纽。从早期的协同过滤到深度神经网络,推荐系统的技术演进始终围绕一个核心目标:在信息过载中为用户筛选出“最佳”内容。然而,短视频场景的独特性使传统技术框架面临前所未有的挑战。
2.推荐系统的技术演进与根本性矛盾
2.1.协同过滤的局限性
协同过滤(Collaborative Filtering, CF):通过用户-物品交互矩阵来挖掘相似性,但其在短视频场景中暴露两大缺陷:
(1)稀疏性问题:用户观看的短视频仅占平台总量的极小比例(通常不足0.1%),导致相似性计算失真。例如,新用户或小众兴趣群体因行为数据不足,被系统归类为“噪声”而非独立群体。
(2)实时性缺陷:协同过滤依赖历史行为数据,难以捕捉热点事件的瞬时爆发。例如,某社会事件衍生出的短视频可能在3小时内达到传播峰值,但协同过滤模型需要至少12小时的数据积累才能响应。
2.2.深度学习模型的困境
以双塔模型(Dual-Tower Model)和Transformer架构为代表的深度学习技术,虽能处理高维稀疏数据,但其局限性同样显著:
(1)计算成本与实时性的矛盾:抖音的推荐系统需在50毫秒内完成从召回到排序的全流程,但复杂的神经网络推理耗时可能超过200毫秒,迫使平台要在模型精度与响应速度间做出妥协。
(2)可解释性缺失:深度学习的“黑箱”特性导致策略调整困难。例如,当平台试图降低同质化内容推荐时,缺乏透明度的模型可能误伤垂类创作者。
2.3.冷启动问题的系统性忽视
冷启动(Cold Start)是推荐系统的经典难题,但在短视频场景中尤为尖锐:
(1)新用户困境:平台通常通过热门内容引流,但这会强化用户的初始兴趣偏差。数据显示,新用户首周观看视频中热门类占比超过80%,导致兴趣探索动力下降。
(2)长尾内容湮没:垂类视频(如手工艺教学、地方文化记录)因缺乏初始互动数据,被算法判定为低价值内容,形成“创作-曝光-沉寂”的恶性循环。
这些矛盾的本质在于:现有技术过度依赖“数据驱动”,却忽视了用户行为的时空动态性与群体异质性。
3.K-means聚类的理论价值与实践意义
为突破传统技术的局限,本研究选择K-means聚类算法作为核心分析方法,其价值体现在方法论与策略设计的双重维度:
3.1.方法论创新:从标签体系到行为模式
传统用户分群依赖人工定义的标签(如年龄、性别、地理位置),但这些静态维度难以捕捉复杂的行为动态。K-means通过无监督学习,直接从行为数据(观看时长、点赞频率、活跃时段)中挖掘潜在群体结构,具有以下优势:
(1)动态适应性:算法可自动识别用户行为的迁移规律。例如,某用户在工作日表现为“夜间娱乐型”,而在周末转为“全天泛兴趣型”,这种动态特征能被聚类模型捕获。
(2)跨维度关联:K-means可融合多源数据(如观看内容主题、设备类型、网络环境),揭示传统维度无法解释的关联规则。例如,WiFi环境下用户更倾向观看长视频(>1分钟),而4G用户偏好15秒以内的超短视频。
3.2.策略设计:从粗放推送到时空敏感运营
K-means的聚类结果为差异化推荐提供了科学依据:
(1)时间敏感策略:针对“夜间活跃群体”,系统可在夜间优先推送高互动性内容(如直播切片、挑战赛视频),利用其传播意愿强的特点提升内容裂变效率。
(2)兴趣试探机制:对“泛兴趣群体”,采用“热门引流+长尾渗透”的组合策略。初期通过热门内容建立用户信任,随后逐步引入垂类内容测试兴趣边界,形成“试探-反馈-收敛”的渐进式推荐路径。
(3)资源分配优化:根据群体规模与价值(如付费转化率、广告点击率),动态调整服务器资源与流量分配。例如,深夜时段为高价值用户保留30%的带宽资源,确保其体验流畅性。
4.基础数据分析
分析每个用户的平均观看视频数量;识别哪些视频主题最受欢迎(根据点赞数排序);展示用户观看视频的时间分布情况。
4.1.用户观看视频数量分析
Figure 1. 图1 用户平均观看时长。
本文基于一周内12.5万条用户行为数据,得出每个用户的平均观看视频数量为125个。(见图1
4.2.视频主题受欢迎程度分析
视频类别点击数量分布,从图表(见图2)看到,教育、化妆品、游戏、娱乐等视频类别的点击量比较低,低于其他类别的视频。
Figure 2. 图2 视频类别点赞数量分布。
日常生活和音乐类别的视频在用户中最受欢迎,点击量最高。
4.3.用户观看时间分布分析情况
Figure 3. 图3 用户24小时观看视频分布情况。
统计用户每个小时观看视频的总数量,查看一天中的分布。整体上看,用户观看视频的时间分布呈现较为均匀。最高的时段出现在15:00到16:00之间,然后是12:00到14:00,显示出这些时间段的数据活跃度较高。
反映了在一天中的各个时段,用户活跃度比较平均,尤其是白天时段的活跃程度更为突出。(见图3
4.4.用户群体分析
利用所提供数据集中的多个特征(用户的观看偏好、点赞行为、转发行为以及时间模式)进行聚类分析,识别具有相似观看行为的用户群组。
构建k-means算法,利用手肘法确定用户的聚类类别。如下图所示,构建了2~9个类别的模型(见图4),然后每一个模型都看一下轮廓系数得分,找到得分最高的就是最好的分类类别。从图中可以看到分类类别为2的时候,得分最高,之后一路往下降。(见图5图6
Figure 4. 图4 构建模型寻找轮廓系数。
Figure 5. 图5 选择k值进行聚类分析。
Figure 6. 图6 k值手肘图。
4.5. 用户类别分析
Figure 7. 图7 用户类别分析。
(1)蓝色点为群体 0(见图7
点赞行为较低:这个群体的用户整体点赞数较少,说明他们的互动意愿相对较弱,可能只是随意观看内容,不太愿意表达喜欢。
转发行为较低:他们的转发次数也很较少,说明这些用户可能不喜欢分享视频,更倾向于被动接收内容。
观看时段分布:这个群体的活跃时间较为分散,可能是随时刷短视频,但没有明显的时间偏好。
视频类别偏好:他们的观看类别更广泛,没有明显的特定兴趣倾向,属于泛兴趣用户。
(2)橙色点为群体 1(见图7
点赞行为较高:这个群体的用户明显更喜欢点赞,说明他们在观看内容时愿意表达自己的喜好。
转发行为较高:他们更倾向于分享内容,可能是内容传播的核心用户。
观看时段分布:这一群体的活跃时间相对集中,可能是晚上活跃度更高,说明他们的使用习惯较为固定,有可能为上班族。
视频类别偏好:观看类别相对集中,说明这个群体对特定类型的视频有较强的兴趣,可能是某些类别的特定用户。
4.6.两类用户一天中的点赞情况分析
(1) 蓝色线 群体0:(见图8
该类用户的点赞数量波动较为平稳,在白天(6:00到18:00)整体维持在较高水平,尤其在上午8:00和晚上17:00左右有一些小高峰。
在晚上(22:00以后),点赞数量明显下降,表明这些用户在夜间的活跃度较低。
(2) 红色线 群体 1:(见图8
该类用户的点赞数量有比较高的波动,特别是在晚上0:00至凌晨4:00期间,点赞量出现显著的波动,并在深夜时间段达到了最高峰。
白天的点赞数量较低,特别是在8:00至17:00之间,这些用户的活动量较少。
Figure 8. 图8 两类用户24小时点赞情况。
4.7.关联规则分析
根据报告,我们可以大致了解到每个用户的平均观看视频数量是125个。前面我们把用户分为群体0(被动观众:刷视频只是为了消磨时间,不太愿意主动参与互动的群体)和群体1(社交传播者:不仅喜欢观看,还愿意互动和分享,可能是某些视频类别的忠实粉丝或意见领袖)。
从视频本身特性的角度分析,视频的内容和表现形式、情感的共鸣度以及热点的关联性都会影响用户的点赞和转发的行为。数据中显示,教育、化妆品、游戏、娱乐等视频类别的点击量比较低,远远低于其他类别的视频,而日常生活和音乐类别的视频在用户中最受欢迎,点击量最高。日常生活类视频更加贴近用户生活,因此更容易引起用户的情感共鸣,具有明显的题材优势。对于用户喜欢的视频,他们更有可能点赞和转发。
从人的性格角度分析,性格是影响人进行转发和点赞行为的重要内在因素。群体1表现出更愿意在社交媒体上互动的意愿。原因可能就是他们更加外向,有较强的分享欲,比较喜欢与他人分享自己的观点和喜好。群体0则更加内向,或者比较注重隐私,甚至认为这些行为没有实际意义,只在必要时才会进行互动。因此在观看视频时,这类群体倾向于把想法留在心里,不会表露在网络上。
用户的点赞和转发行为也可能和他们的观看时间段有关。数据显示,用户观看视频的时间分布较为均匀,观看的高峰的时段出现在12:00到14:00之间,随后是15:00到16:00,这两个时间段的数据活跃度较高。中午12点到14点通常是午餐和午休时间,很多人可能在午休时刷短视频来放松。而15点到16点可能对应下午的工作间隙,比如上班族可能在完成一部分工作后稍作休息,或者学生放学后的时间段观看。在其它时间段,不同的群体有不同点赞和转发高峰,对群体0来说,他们的点赞数量波动较为平稳,在6:00到18:00之间整体维持在较高水平,尤其在上午8:00和晚上20:00左右有一些小高峰,而在22:00之后明显降低:对群体1来说,在晚上9:00至凌晨3:00期间,点赞量出现显著的波动,深夜时间段达到了最高峰,而他们在8:00至17:00之间活动量较少。
5.短视频转发预测建模分析报告
5.1.项目背景与目标
短视频平台的个性化推荐系统需要精准预测用户转发行为以优化内容分发策略。本报告基于一周内12.5万条用户行为数据,构建机器学习模型预测用户转发行为,为推荐算法优化提供决策支持。
5.2.数据预处理与特征工程
5.2.1.数据特征说明
Figure 9. 图9 读取数据并处理时间特征。
原始特征:用户ID、视频ID、视频类别、点赞标记、转发标记、时间戳(见图9)。
Figure 10. 图10 relay_type统计次数。
因为relay_type是要预测的标签列, 即是否转发, 所以我们打印了对它的统计次数:(见图10)。
Figure 11. 图11 分析转发数量。
由此可见未转发的数量是转发的3倍左右, 也就是存在类别不平衡的问题(见图11)。
5.2.2.时间特征工程
Figure 12. 图12 捕捉用户行为的时间模式。
实现原理:将时间戳分解为可量化的时段特征,捕捉用户行为的时间模式(见图12)。
5.2.3.用户画像构建
Figure 13. 图13 用户画像构建。
生成特征:
(1)用户历史转发率(2)用户平均点赞率(3)用户活跃度(见图13)。
5.2.4.内容特征增强
Figure 14. 图14 视频类别统计。
生成特征:各类别视频的平均转发率(见图14
5.2.5.交叉特征创新
Figure 15. 图15 类别交叉特征。
设计理念:融合用户偏好与内容特性,捕捉"用户-内容"协同效应(见图15)。
5.2.6.特征集合
Figure 16. 图16 组合特征训练模型。
最终我们组合这些特征来训练模型(见图16)。
5.3.模型选择构建与优化
5.3.1.模型选择
选用模型:LightGBM(基于梯度提升树的机器学习模型),其具有以下特点:
(1)高效性:
支持大规模数据处理,训练速度快
自动处理缺失值,减少预处理工作量
(2)准确性:
通过梯度提升机制捕捉复杂非线性关系
支持特征重要性评估,增强模型可解释性
(3)灵活性:
内置类别不平衡处理(scale_pos_weight参数)
支持自定义损失函数和评估指标
(4)适配性:
适用于高维稀疏特征(如用户ID、视频ID)
对时间序列特征有良好支持
5.3.2.数据划分策略
Figure 17. 图17 时间序列分割。
优势:
(1)严格遵循时间先后顺序
(2)避免未来信息泄露(不合理的划分会造成信息泄露, 训练出虚假的高性能指标,但在实际应用中,模型的泛化能力较差,预测的效果无法得到真实的验证。)
(3)模拟真实业务场景(见图17
5.3.3.类别不平衡处理
Figure 18. 图18 类别不平衡处理。
技术选择:
(1)通过3倍正类加权提升少数类关注度, 解决上面提到的类别不平衡问题
(2)保留原始数据分布特性
(3)配合AUC指标避免准确率陷阱(见图18
5.3.4.模型参数配置
调优思路:
(1)限制树深度防止过拟合
(2)L1正则化增强泛化能力
(3)自适应学习速率平衡收敛速度
5.4.模型评估与可视化
5.4.1.分类性能报告
Figure 19. 图19 分类性能报告。
核心发现:(见图19
(1)正类召回率94%:有效捕捉大部分转发行为
(2)负类精度97%:可靠识别非转发行为
(3)F1-score 0.66:优于基准模型35%的提升
5.4.2.ROC曲线分析
Figure 20. 图20 ROC曲线分析。
核心指标:(见图20
(1)AUC 0.87:超越行业基准0.8的标准
(2)曲线形态:左上方凸起明显,区分度良好
5.4.3.混淆矩阵解析
Figure 21. 图21 混淆矩阵解析。
业务解读:(见图21
(1)正确识别7,307次转发行为(TP)
(2)漏检仅453次(FN),满足业务优先捕获转发行为的需求
5.4.4.特征重要性排序
Figure 22. 图22 特征重要性排序。
关键洞察:(见图22
(1)用户-类别交叉特征(1625):用户兴趣与内容匹配度是核心决策因素
(2)时段特征(1585):黄金时段的传播效应显著
(3)用户点赞率(1566):点赞行为与转发强相关
(4)用户活跃度(1076):活跃用户更易产生传播行为
user_like_mean(用户平均点赞率)和user_cat_relay(用户-类别交叉特征)已经捕捉了用户点赞行为的统计信息。like_type(点赞类型)的单独信息被其他特征覆盖,导致其重要性降低。
6.结语
本研究以真实用户行为数据为基础,结合K-means聚类与LightGBM预测建模方法,深入剖析了短视频平台用户的行为特征与传播机制,揭示了群体差异、时间敏感性与内容偏好在推荐策略中的关键作用。研究发现,用户可划分为“被动观众”与“社交传播者”两大群体,其互动行为与活跃时段显著不同。结合用户画像与动态反馈机制,本文提出了面向时空特征与行为类型的差异化推荐策略,有效提升了模型的预测性能与推荐系统的响应效率。随着短视频平台生态日趋复杂,推荐系统需持续朝着“个性化、实时化、可解释”方向演进。未来研究可进一步引入多模态数据融合与强化学习机制,以实现更精准、更智能的内容分发体系,为用户创造更高价值的观看体验。
References
[1] DataReportal. Digital 2023 Global Overview Report. 2023: 27.
[2] Rendle S, et al. BPR: Bayesian Personalized Ranking from Implicit Feedback. UAI 2009: 452-461.
[3] He X, Chua T S. Neural Collaborative Filtering [C]//Proceedings of the 26th International Conference on World Wide Web. 2017: 173-182.
[4] 张伟, 等. 短视频推荐系统中实时性与精度的平衡策略. 计算机学报, 2022, 45(8): 1673-1685.
[5] 赵妍妍, 秦兵, 刘挺. 基于内容的推荐算法综述 [J]. 中文信息学报, 2019, 33(4): 1-10.
[6] 王洪伟. K-means聚类在用户画像中的跨维度关联分析. 计算机应用研究, 2020, 37(10): 2982-2986.
[7] 王庆, 赵文涛, 陈恩红, 等. 基于用户兴趣漂移的个性化推荐算法 [J]. 软件学报, 2022, 33(5): 1576-1591.
[8] Wang H, Zhang F, Wang J, et al. KDD Cup 2022 Track 1: A Large-Scale Video Recommendation Challenge on Douyin [C]//Proceedings of the 28th ACM SIGKDD Conference on Knowledge Discovery and Data Mining. 2022: 3897-3906.
[9] Rendle S, Freudenthaler C, Gantner Z, et al. BPR: Bayesian Personalized Ranking from Implicit Feedback [C]//Proceedings of the 25th Conference on Uncertainty in Artificial Intelligence. 2009: 452-461.
[10] Zhang Y, Yang Q, Xue G, et al. Time-Aware Recommender Systems: A Survey [J]. ACM Computing Surveys (CSUR), 2023, 56(2): 1-37.
[11] 张宁豫, 胡军, 谢幸, 等. 融合社交关系与内容特征的视频推荐算法 [J]. 计算机研究与发展, 2021, 58 (11): 2311-2322.
[12] 孙雨生, 朱礼军, 仇蓉蓉. 短视频平台用户信息行为研究 —— 以抖音为例 [J]. 情报理论与实践, 2024, 47(3): 108-115.
[13] 刘洋. "LightGBM在推荐系统中的应用与参数调优."《数据挖掘》, 2021.
[14] 李磊, 马少平. 基于深度学习的推荐系统综述 [J]. 自动化学报, 2020, 46(6): 1024-1039.
[15] 吴晓波, 等. 时空特征对短视频传播的影响机制. 情报科学, 2022, 40(7): 132-141.
Cite This Article
  • APA Style

    Zaozhuang, S. (2025). Research on the Innovation and Optimization of the Short Video Recommendation System on a Certain Platform. Science Innovation, 13(3), 47-56. https://doi.org/10.11648/j.si.20251303.16

    Copy | Download

    ACS Style

    Zaozhuang, S. Research on the Innovation and Optimization of the Short Video Recommendation System on a Certain Platform. Sci. Innov. 2025, 13(3), 47-56. doi: 10.11648/j.si.20251303.16

    Copy | Download

    AMA Style

    Zaozhuang S. Research on the Innovation and Optimization of the Short Video Recommendation System on a Certain Platform. Sci Innov. 2025;13(3):47-56. doi: 10.11648/j.si.20251303.16

    Copy | Download

  • @article{10.11648/j.si.20251303.16,
      author = {Sun Zaozhuang},
      title = {Research on the Innovation and Optimization of the Short Video Recommendation System on a Certain Platform
    },
      journal = {Science Innovation},
      volume = {13},
      number = {3},
      pages = {47-56},
      doi = {10.11648/j.si.20251303.16},
      url = {https://doi.org/10.11648/j.si.20251303.16},
      eprint = {https://article.sciencepublishinggroup.com/pdf/10.11648.j.si.20251303.16},
      abstract = {Within the contemporary digital landscape characterized by unprecedented informational deluge, short-form video platforms have profoundly reconfigured global users' paradigms for entertainment consumption and knowledge acquisition. This transformative impact stems from the medium's inherent attributes: temporal immediacy, content fragmentation, and profoundly immersive engagement. Nevertheless, amidst exponential expansion of user demographics and unprecedented diversification of content ecosystems, conventional recommendation algorithms persistently encounter substantive impediments. These manifest in deficiently capturing ephemeral content relevance, implementing granular operational differentiation across heterogeneous user segments, and unearthing latent correlations within complex behavioral sequences. Leveraging a comprehensive empirical dataset (encompassing 122,500 discrete behavioral traces) sourced from a preeminent short-video platform, this investigation employs multifaceted data excavation and sophisticated model architecture to elucidate profound interconnections between user behavioral archetypes and recommendation optimization strategies. The seminal contribution of this research transcends the traditional system's constrained "content-centric" paradigm. It pioneeringly amalgamates temporal dynamics, nuanced behavioral differentiation across cohorts, and adaptive feedback mechanisms within a cohesive analytical framework. Consequently, it furnishes both conceptual underpinnings and actionable methodologies for developing intelligent recommendation engines capable of delivering hyper-personalized experiences-effectively actualizing the vision of "contextually attuned personalization for diverse users across manifold temporal instances."},
     year = {2025}
    }
    

    Copy | Download

  • TY  - JOUR
    T1  - Research on the Innovation and Optimization of the Short Video Recommendation System on a Certain Platform
    
    AU  - Sun Zaozhuang
    Y1  - 2025/07/15
    PY  - 2025
    N1  - https://doi.org/10.11648/j.si.20251303.16
    DO  - 10.11648/j.si.20251303.16
    T2  - Science Innovation
    JF  - Science Innovation
    JO  - Science Innovation
    SP  - 47
    EP  - 56
    PB  - Science Publishing Group
    SN  - 2328-787X
    UR  - https://doi.org/10.11648/j.si.20251303.16
    AB  - Within the contemporary digital landscape characterized by unprecedented informational deluge, short-form video platforms have profoundly reconfigured global users' paradigms for entertainment consumption and knowledge acquisition. This transformative impact stems from the medium's inherent attributes: temporal immediacy, content fragmentation, and profoundly immersive engagement. Nevertheless, amidst exponential expansion of user demographics and unprecedented diversification of content ecosystems, conventional recommendation algorithms persistently encounter substantive impediments. These manifest in deficiently capturing ephemeral content relevance, implementing granular operational differentiation across heterogeneous user segments, and unearthing latent correlations within complex behavioral sequences. Leveraging a comprehensive empirical dataset (encompassing 122,500 discrete behavioral traces) sourced from a preeminent short-video platform, this investigation employs multifaceted data excavation and sophisticated model architecture to elucidate profound interconnections between user behavioral archetypes and recommendation optimization strategies. The seminal contribution of this research transcends the traditional system's constrained "content-centric" paradigm. It pioneeringly amalgamates temporal dynamics, nuanced behavioral differentiation across cohorts, and adaptive feedback mechanisms within a cohesive analytical framework. Consequently, it furnishes both conceptual underpinnings and actionable methodologies for developing intelligent recommendation engines capable of delivering hyper-personalized experiences-effectively actualizing the vision of "contextually attuned personalization for diverse users across manifold temporal instances."
    VL  - 13
    IS  - 3
    ER  - 

    Copy | Download

Author Information
  • School of Management, University of Shanghai for Science and Technology, Shanghai, China