高级检索

婴儿行为观察分析的视频编码方法综述

王美乔, 张悦

王美乔, 张悦. 婴儿行为观察分析的视频编码方法综述[J]. 中国妇幼卫生杂志, 2024, 15(4): 73-76. DOI: 10.19757/j.cnki.issn1674-7763.2024.04.014
引用本文: 王美乔, 张悦. 婴儿行为观察分析的视频编码方法综述[J]. 中国妇幼卫生杂志, 2024, 15(4): 73-76. DOI: 10.19757/j.cnki.issn1674-7763.2024.04.014
WANG Mei Qiao, ZHANG Yue. Review of video coding methods for infant behavioral observation and analysis[J]. CHINESE JOURNAL OF WOMEN AND CHILDREN HEALTH, 2024, 15(4): 73-76. DOI: 10.19757/j.cnki.issn1674-7763.2024.04.014
Citation: WANG Mei Qiao, ZHANG Yue. Review of video coding methods for infant behavioral observation and analysis[J]. CHINESE JOURNAL OF WOMEN AND CHILDREN HEALTH, 2024, 15(4): 73-76. DOI: 10.19757/j.cnki.issn1674-7763.2024.04.014

婴儿行为观察分析的视频编码方法综述

基金项目: 国家自然科学青年基金“母乳喂养中亲子互动行为的生殖激素调控机制研究”(81803249)
详细信息
    通讯作者:

    张悦,Email:zhangyue0416@163.com

Review of video coding methods for infant behavioral observation and analysis

  • 摘要:

    行为是婴儿表达自身需求、情感等最直接的方式,也是心理发展的外在表现。通过对婴儿进行行为观察,可以更详细、真实地获得婴儿行为和发展的资料;基于视频编码的行为观察分析方法,为全面、客观地进行研究分析创造了条件。本文从视频采集、编码方法、编码工具3个方面介绍了婴儿行为分析中采用的视频编码方法及研究应用,以期为开展婴儿行为观察研究提供支持。

    Abstract:

    Behavior is the most direct way for infants to express their needs and emotions, and it is also an external manifestation of psychological development. Observing the behavior of infants allows for the acquisition of more detailed and authentic information regarding their behavior and development. Behavioral observation and analysis based on video coding has established conditions for comprehensive and objective research and analysis. This paper introduces the video coding methods and their research applications in infant behavior analysis from three aspects: video acquisition, coding methods, and coding tools, with the aim of providing an effective approach for the study of infant behavioral observation.

  • 婴儿期是儿童大脑高速发展的重要时期,这一时期的心理发展将对未来的整体发展产生直接影响[1]。行为是婴儿表达自身需求、情感等最直接的方式,也是心理发展的外在表现。在婴儿自然状态下进行行为观察,可获得婴儿真实、自然的行为表现,不但可以了解婴幼儿身心发展规律、监测其发展情况并进行个体差异评估,还可以作为指导婴幼儿行为、家庭养育行为、机构课程发展模式的实践依据[2]

    婴儿的行为观察分析是一种观察、分析婴儿在自然状态下的行为和现象的方法,可以使用感官或视频、音频、文本等多媒体途径有针对性地获取婴儿的发展情况。视频是多媒体中最重要的媒体之一[3],用于婴儿行为观察时具有无接触、实时性、精准性等优点[4],可以全面且精确地记录婴儿及其周围人的行为,还可以对所处环境进行记录,反映婴儿最真实的情况。但由于视频的信息量巨大,不仅很难传输和存储[3],而且不便于分析。编码的本质是对行为进行分类,将婴儿实时或长时间的行为(如表情、动作、语言等)以数据的形式呈现出来,可以提高研究效率,便于发现研究的客观规律。因此,运用视频编码方法处理婴儿视频,在婴儿身心健康研究中具有重要意义。

    目前,采用视频编码方式进行婴儿行为分析的方法已被广泛使用。通常包括4个步骤,即视频采集、视频预处理(对原始视频数据进行一些基本处理,例如去除噪声、调整亮度和对比度等)、视频编码(根据研究需要,将处理后的视频数据选择适当的编码方法进行视频编码,必要时进行可靠性检验),以及统计分析。本研究将着重对视频采集和视频编码的方法和工具进行综述,以期为本领域开展婴儿行为相关研究提供参考。

    除了目击观察、现场记录或拍摄图片等方法外,随着摄像机、智能手机等视频信息采集设备的普及,视频采集已成为婴儿行为记录的重要方法。进行视频采集前,需要根据研究目的和现场实施可行性等,对摄像工具、拍摄方位,以及采集视频的情境、次数等谨慎考虑。

    目前大部分摄像机、摄像头、手机等已能满足视频采集的要求,但也有一些研究需要较为特殊的设备。例如Lerner等[5]在对于母婴同床时的行为观察中,需要在完全黑暗的环境下进行拍摄并收集声音[6],因此选择了4个红外、高清并且具有夜间拍摄能力和内置麦克风的彩色海康威视(DS-2CD2432F-IW)进行视频采集。

    婴儿的行为在不同情境下可能存在较大差异。Maas等[7]的母婴互动研究发现,母亲和婴儿在实验室面对面相处时的互动情况最好,而在家中自由玩耍时的互动情况最差。这就提示视频采集前有必要对拍摄地点和场景进行考量。

    采集方位的选择对于视频采集十分重要。应根据研究需要,将1个或多个摄像设备摆放在合适的位置。例如,Stevens等[8]对于婴幼儿性格的研究中,在第一阶段进行远近距离拍摄时,使用了2台高清摄像机(HV20,佳能公司,日本)分别记录父母和婴儿的互动行为(远距离广角镜头拍摄)与面部表情(近距离面部特写);在第二阶段使用2个壁挂式旋转摄像机和1个单向镜记录婴儿的行为,以达到从相邻的控制室不显眼地观察参与者的目的。

    视频采集的次数在不同研究中也有所不同。有的研究只需进行单一状态下的采集,例如Agostini等[9]对于早期母婴和父婴互动特征的研究,要求父母像在家里一样与婴儿自由地玩耍,并分别对母婴和父婴的互动进行录像。也有的研究需要多种状态下的视频采集,例如de Souza等[10]在产前诊断对母婴影响的研究中采集了自由互动、玩具互动、歌曲互动3种不同状态下的视频。

    行为编码主要用于视频采集后,根据研究目的对视频信息有目的地进行分类和编码,将视频信息转换成数据形式。常用方法包括根据量表或评定手册进行编码、采用开发/改进其他的编码方案进行编码等。

    对于婴儿的行为分析,可以依据已有或整理的量表或评定手册进行编码。现有研究采用儿童-养育者关系指数(Caregiver-Child Relationship Index,CARE-Index)量表[9]进行父母和婴儿视频维度和分类的评估,采用心智编码手册[11]转录和编码母亲的口语单词或句子,采用交互行为编码(coding interactive behavior,CIB)手册进行母婴互动行为的编码[12],采用改良行为疼痛量表(Modified Behavioral Pain Scale,MBPS)[8]评估观察到的婴儿疼痛相关痛苦程度。Liu等[13]在母亲窘迫对婴儿行为认知影响的研究中采用评价婴儿行为的频率和强度信息的5分量表进行婴儿行为编码。利用量表或评定手册进行视频编码具有较强的精确性和灵活性,可以根据研究目的对量表进行补充、修改和调整,包括在编码过程中保留更多细节、与其他编码方法结合使用等,从而使视频的编码进一步精确化。

    很多婴儿行为观察研究根据研究目的开发编码方案,并利用信息技术实现自动化识别和编码。例如有研究者开发进餐时间编码方案,包括二元交互命名法和进餐交互编码方案[14];也有研究采用母婴喂养编码方案用于从录像喂养互动中编码婴儿和母亲的行为[15]。这些方案不仅具有针对性,而且可以突破现有的限制,带来新的技术,以达到更好的编码效果。但在开发过程中需要确保编码方案与现有设备、软件的兼容性,在使用中要充分考虑编码方案的可靠性。可以让2名接受过应用培训的编码员参加编码工作,1名编码员对所有视频进行编码,另外1名编码员对随机选择的其中一部分视频进行编码,利用Kappa值来衡量其可靠性[16]。根据不同研究目的开发的编码方案需要足够强的可靠性来支撑。

    在一些较为复杂的研究中,1种编码方案不足以达到研究目的,也有研究将不同的编码方案结合起来使用。例如,在Warnock等[17]关于产前母亲抑郁和婴儿自我调节的关系研究中,分别采用母亲行为编码系统(Mother Behavior Coding System,MBCS)和婴儿创伤行为编码系统(Neonatal Distress Behavior Coding System,ND-BCS)对母亲和婴儿行为进行编码[18]。MBCS是一种基于病理学,用来进行微观行为分析的编码工具,曾用于编码母亲抑郁/焦虑对婴儿创伤经历的影响[19]。ND-BCS是一种基于行为学的行为编码工具,可以连续、同时地编码婴儿的运动、姿势、哭泣和呼吸反应。该研究将这2个编码方案结合起来,以更清晰地呈现母亲和婴儿的行为特点。

    将不同编码方案加以结合具有更强的适用性,可以多角度、多方面地进行更加全面的分析。多种编码方案间也可以进行交叉验证和多重比较,以提高研究的可靠性和可信度。但这种方法可能会提高视频采集的要求和数据处理难度,且进行交叉验证或比较时,不同编码方案的匹配程度可能对数据的一致性产生影响。

    随着社会和科技的发展,人类行为观察记录分析系统(The Observer XT)、语言学家标注器(EUDICO linguistic annotato,Elan)等编码软件或CIB系统、非典型母亲行为评估和分类工具(atypical maternal behavior instrument for assessment and classification,AMBIANCE)等编码工具被广泛应用于婴儿行为观察视频编码。

    The Observer XT是行为观察领域使用非常广泛的一种工具。该工具可用于收集数据、回放视频、集成数据模式,以及精确编码行为,具有功能强且简单易用、易于与其他数据集成、简化数据同步过程、有效避免误差、可视化数据等优点。Brown等[15]对婴儿调节和失调行为的研究中,采用了The Observer XT 10对母亲和婴儿的行为进行了实时和持续时间的编码,具体过程包括:①母亲和婴儿喂养的录像带被数字化;②重播已数字化的视频记录并在识别后将观察代码输入计算机来进行编码分析;③对照录像带检查编码并进行更正。此外,The Observer XT 还被用于喂养过程中亲子行为的研究[20],以及儿童进餐和食物的探索[14]

    Elan软件是母婴互动观察研究中独具优势的一款工具。该软件可对视频和音频数据的标识进行创建、编辑、可视化和搜索,旨在为标识提供声音技术,对多媒体剪辑进行开发利用,用来分析语言、手语、姿势,以及对视频、音频等多媒体数据进行标识、分析和建档[21]。该软件可用于编码多式联运不同行为和交互的情况,因此可支持人类学、心理学、语言学等多方面研究,特别适用于母婴的互动中多种行为或沟通同时出现的情况。Dozio等[22]在母体创伤后母婴互动的影响研究中采用了Elan软件,对母婴多式联运交互的频率和持续时间进行了编码,同时,通过定义沟通重叠列表自动生成沟通重叠,将母婴互动中多个行为或沟通同时发生的情况更加准确生动地记录下来。但Elan软件目前也存在界面布局和快捷键功能有待改进、缺乏语言翻译功能等缺点,使用时需综合考虑。

    CIB系统是母婴互动分析中一款应用较多的测量工具。CIB具有测量母婴的互动质量、测量婴儿与多人同时互动的功能。CIB构建了父母与子女之间或2个/多个伙伴之间互动的全球分类系统,其中包括微观代码和全球评级量表。每个代码的评级从1到5,共有45种不同的代码被分组到各种互动功能中[10]。de Souza等[10]在产前诊断对母婴影响的研究中采用了CIB的新生儿版本,用于成人和0 ~ 3个月婴儿相互作用的微量分析编码。该新生儿版本的编码量表是基于Brazelton[23]的新生儿行为评估量表-新生儿早期神经行为评估量表(Neonatal Behavioral Assessment Scale - Early Neonatal Neurobehavioral Assessment Scale,NBAS-ENAC)编制的,包括母亲注视的方向、母亲的触摸、婴儿在母亲腿上的位置、婴儿和母亲的发声等母婴互动信息,并可测量母婴互动的质量。

    由于婴儿语言能力尚未发展,父母往往觉得与其交流困难很多,但父母能否及时恰当地了解婴儿的需求十分重要,因为这很可能对婴儿的心理健康造成严重影响。Lyons-Ruth等[24]开发的AMBIANCE是一个用于评估和分类孕产妇或母亲行为对婴儿影响的广泛行为归类系统。在一项婴儿期母亲行为与儿童心理健康的研究中,编码人员使用AMBIANCE编码系统对5类母亲沟通中断的行为和频率进行编码,再通过SPSS和SAS软件对数据进行处理[25]。Goldberg等[26]在对孕产妇的非典型行为表征与婴儿依恋之间的关系进行研究时,通过使用AMBIANCE对孕产妇的情感沟通错误、角色/边界混乱、恐惧等行为的频率以及沟通中断等情况进行评分,进而得出三者关系紧密的结论。

    综上所述,基于视频编码的婴儿行为观察分析是婴儿心理发展研究中的重要方法,需根据研究目的在视频采集、编码等步骤加以设计和恰当实施,目前已有多款软件工具可用于视频编码,为本领域研究提供了客观、便捷的辅助工具。

  • [1] 赵轶,王斌红,孙俊伟. 婴幼儿心理行为发育与产后抑郁的关系[J]. 保健文汇,2019(3):287-288. doi: 10.3969/j.issn.1671-5217.2019.03.144
    [2] 赵崴. 婴幼儿行为及行为分类探索[J]. 辽宁师专学报(社会科学版),2023(5):116-118. doi: 10.3969/j.issn.1008-3898.2023.05.035
    [3] 蒋晓琳. 视频编码技术[J]. 电信网技术,2003(10):20-22.
    [4] 杭州电子科技大学. 一种基于多任务分类网络的新生儿肢体动作监控方法:中国,202310117833.5[P]. 2023-07-25.
    [5]

    Lerner RE,Camerota M,Tully KP,et al. Associations between mother-infant bed-sharing practices and infant affect and behavior during the still-face paradigm[J]. Infant Behav Dev,2020,60:101464. doi: 10.1016/j.infbeh.2020.101464

    [6]

    Tully KP,Ball HL. Postnatal unit bassinet types when rooming-in after cesarean birth:implications for breastfeeding and infant safety[J]. J Hum Lact,2012,28(4):495-505. doi: 10.1177/0890334412452932

    [7]

    Maas BJA,Vreeswijk MC,Bakel VJH. Effect of situation on mother-infant interaction[J]. Infant Behav Dev,2013,36(1):42-49. doi: 10.1016/j.infbeh.2012.10.006

    [8]

    Stevens SA,Racine N,Pillai Riddell R,et al. Infant pain regulation as an early indicator of childhood temperament[J]. Pain Res Manag,2013,18(6):313-318. doi: 10.1155/2013/285914

    [9]

    Agostini F,Andrei F,Neri E,et al. Characteristics of early mother-infant and father-infant interactions:a comparison between assisted reproductive technology and spontaneous conceiving parents[J]. Int J Environ Res Public Health,2020,17(21):8215. doi: 10.3390/ijerph17218215

    [10]

    de Souza VCA,Parlato-Oliveira E,Anchieta LM,et al. The Effects of prenatal diagnosis on the interaction of the mother-infant dyad:a longitudinal study of prenatal care in the first year of life[J]. Front Psychol,2022,13:804724. doi: 10.3389/fpsyg.2022.804724

    [11]

    Potharst ES,Leyland A,Colonnesi C,et al. Does mothers’ self-reported mindful parenting relate to the observed quality of parenting behavior and mother-child interaction?[J]. Mindfulness,2021,12(2):344-356. doi: 10.1007/s12671-020-01533-0

    [12]

    Anne T,Hoppe AM,Masrouri EH,et al. Mothers’ smartphone use and mother-infant interactive behavior in the postpartum period[J]. Pediatric Research,2022,91(1):8-11. doi: 10.1038/s41390-021-01451-4

    [13]

    Liu CH,Snidman N,Kagan J,et al. Effect of maternal distress on perceptions of infant behavior may differ in Chinese-American and European-American mothers and infants[J]. J Dev Behav Pediatr,2020,41(3):212-220. doi: 10.1097/DBP.0000000000000749

    [14]

    Caldwell AR,Krause EK. Mealtime behaviours of young children with sensory food aversions:an observational study[J]. Aust Occup Ther J,2021,68(4):336-344. doi: 10.1111/1440-1630.12732

    [15]

    Brown LF,Pridham KA,Brown R. Sequential observation of infant regulated and dysregulated behavior following soothing and stimulating maternal behavior during feeding[J]. J Spec Pediatr Nurs,2014,19(2):139-148. doi: 10.1111/jspn.12062

    [16]

    Stark LJ,Jelalian E,Powers SW,et al. Parent and child mealtime behavior in families of children with cystic fibrosis[J]. J Pediatr,2000,136(2):195-200. doi: 10.1016/S0022-3476(00)70101-6

    [17]

    Warnock FF,Craig KD,Bakeman R,et al. The relationship of prenatal maternal depression or anxiety to maternal caregiving behavior and infant behavior self-regulation during infant heel lance:an ethological time-based study of behavior[J]. BMC Pregnancy Childbirth,2016,16:264. doi: 10.1186/s12884-016-1050-5

    [18]

    Warnock FF,Craig KD,Bakeman R,et al. Self-regulation (recovery) from pain:association between time-based measures of infant pain behavior and prenatal exposure to maternal depression and anxiety[J]. Clin J Pain,2014,30(8):663-671. doi: 10.1097/AJP.0000000000000002

    [19]

    Warnock FF,Bakeman R,Shearer K,et al. Caregiving behavior and interactions of prenatally depressed mothers (antidepressant-treated and non-antidepressant-treated) during newborn acute pain[J]. Infant Mental Health J,2009,30(4):384-406. doi: 10.1002/imhj.20220

    [20]

    Vacaru SV,Ma S,van Schie HT,et al. Eating in synch:an investigation of parent-infant behaviour coordination during feeding interactions[J]. Infant Behav Dev,2022,66:101669. doi: 10.1016/j.infbeh.2021.101669

    [21] 周天兰. 商务英语教学课堂中副语言的实证研究——基于ELAN的分析[D]. 长沙:湖南大学,2017.
    [22]

    Dozio E,Feldman M,Bizouerne C,et al. The Transgenerational transmission of trauma:the effects of maternal PTSD in mother-infant interactions[J]. Front Psychiatry,2020,11:480690. doi: 10.3389/fpsyt.2020.480690

    [23]

    Brazelton TB. Echelle d’évaluation du comportement néonatal [Neonatal behavior evaluation scale][J]. Neuropsychiatr Enfance Adolesc,1983,31(2/3):61-96.

    [24]

    Lyons-Ruth K,Bronfman E,Parsons E. Maternal frightened,frightening,or atypical behavior and disorganized infant attachment patterns[J]. Monogr Soc Res Child Dev,1999,64(3):67-96. doi: 10.1111/1540-5834.00034

    [25]

    Lyons-Ruth K,Bureau JF,Holmes B,et al. Borderline symptoms and suicidality/self-injury in late adolescence:prospectively observed relationship correlates in infancy and childhood[J]. Psychiatry Res,2013,206(2/3):273-281.

    [26]

    Goldberg S,Benoit D,Blokland K. Atypical maternal behavior,maternal representations,and infant disorganized attachment[J]. Dev Psychopathol,2003,15(2):239-257. doi: 10.1017/S0954579403000130

计量
  • 文章访问数:  29
  • HTML全文浏览量:  3
  • PDF下载量:  8
  • 被引次数: 0
出版历程
  • 收稿日期:  2024-01-08
  • 刊出日期:  2024-08-19

目录

/

返回文章
返回