【西瓜炸弹】你被这些网红打分系统误导了多久?Ivy老师亲测三款网红评分系统,结果令人震惊!

原创 2019年05月04日 PTE大西瓜


关注我们
更多PTE免费资源等你拿!


PTE大西瓜

艾瑞巴蒂,没错,PTE大西瓜周末持续上线


言归正传,欢迎大家随时来大西瓜自习室学习哦~

这里有你最爱的老师们随时提供答疑解惑哦~


你也可以积极参与到我们周一到周五的真题带练课去

同时也要记得看我们每周二宇宙最强,神准的真题预测呀!


在公众号里“西瓜炸弹”找到“真题预测神准必看”,即可下载近期真题预测哦~


随着大家对PTE口语的重视提高,很多学籽在学习的时候会使用一些非官方的口语评分软件来练习RA/RS等题型。

很多学生都抱有这样的疑问:它们的性能怎么样?和官方考试的语音识别打分一样吗?对我们平时的练习有多少参考性?

今天,我们本着科学严谨、不吹不黑的研究态度,使用了控制变量的方法,对市面上较受欢迎的三个口语评分系统进行了全面测评。


首先秀出Ivy老师的PTE首考9炸的成绩单哈,肉眼可见,Oral Fluency和Pronunciation都是90。另外提一句,Ivy老师今年考的雅思口语8。


我们今天的测试文本如下:


测评文本:

Read Aloud 010133. Constitutional Protections

The founding fathers established constitutional protections for the press because they understood that leaving the watchdog function to partisan politicians wouldn’t necessarily serve the public interest, both sides have too many incentives to preserve the status quo and ignore problems that elude quick fixes.


被测口语评分系统:

- 系统1手机APP

- 系统2微信小程序

- 系统3手机APP


测评版本:

A版:时长23s,语速适中均匀、发音饱满、适当连读

B版:时长19s,语速快(几乎不换气)、发音饱满、做到所有连读

C版:时长18s,语速快(几乎不换气)、元音辅音发音有失误、蹦字且无连读失爆


(音频按A版,B版和C版的顺序排列)


测评方法:

不戴麦克风,在适当距离内使用手机话筒收音,避免喷麦影响实验结果


A版测评结果

系统1给出了总分64、发音60、流利度57(粗略可换算成内容75分)的成绩,并标记出5个单词出现严重发音失误。


系统2则给出了内容100%、发音5/5分、流利度5/5分的成绩,并标记出3个单词出现发音问题,无严重发音失误。



系统3给出了总分77、内容87、发音77、流利度71的成绩,并标记出2个单词出现发音失误。


B版测评结果

系统1给出了总分71、发音49、流利度77(粗略可换算成内容87分)的成绩,并标记出10个单词出现严重发音失误。


系统2仍然给出了内容100%、发音5/5分、流利度5/5分的成绩,并标记出7个单词出现发音问题,无严重发音失误。


系统3给出了总分80、内容90、发音77、流利度78的成绩,并标记出1个单词出现发音失误。

C版测评结果

系统1给出了总分71、发音43、流利度82(粗略可换算成内容88分)的成绩,并标记出14个单词出现严重发音失误。


系统2仍然给出了内容100%、发音5/5分、流利度3/5分的成绩,并标记出3个单词出现发音问题,无严重发音失误。


系统3给出了总分77、内容87、发音76、流利度72的成绩,无发音失误。


测评结果综合分析:

综合上述实验,我们发现同一个测试版本在每一个被试系统中得到的评分均不一致,而且无一例外地与PTE官方的评分结果有较大出入。


系统1手机APP的评分结果显示出了该系统对“快语速”的偏好,而且这个偏好比较简单粗暴。

语速越快(哪怕已经出现了明显的蹦字情况),流利度和内容的得分越高;而对于目前真实考试中能拿到满分的均匀语速+合理连读,则会拿到很低的流利度和内容分数。

由此可见,系统1 的评分方法仍停留在几年前PTE刚刚走红时的阶段:只要不换气不停说话就可以拿到口语满分。

但是!PTE口语评分早已今时不同往日,所以系统1对口语的参考价值是非常有限的。


系统2微信小程序在评分上相较系统1和2更贴近PTE官方评分结果,所以相对来说它还是比较有参考价值的。

但是系统2在识别中式发音失误的时候(比如说单词辅音结尾后附加元音的情况),仅仅判定了流利度的失分,发音上仍然给了满分,并不能精确指出发音失误的情况。

因此,系统2的评分对发音基础好的同学来说还是能提供一定的参考,但对于一些中式发音习惯较严重的同学来说,系统2在发音评分上的参考比较有限。


系统3手机APP在测评中表现无功无过,但是跟系统1基本上属于同一个“快语速”战线的。

在出现了明显蹦字+发音失误的情况下,系统3给出的流利度和发音分数还是比第一个“正常均匀语速+连读失爆”版本高,说明系统3也是语速至上,评分机制仍然停留在几年前的阶段,与现行的官方评分系统有一定差距。


由上述实验及分析可见,非官方的口语打分系统虽然能够给大家提供一个大方向上的参考,但是落到细节上还是跟PTE官方的打分引擎有较大出入


毕竟语音识别系统和打分引擎是PTE的核心竞争力,又发展了这么久,语料库的样本量如此之大,从技术角度也是不可能被民间打分系统在短期之内完全破解的。


所以如果大家想在考前了解一下口语的真实水平,可以使用培生官方出的三套Scored Practice Tests作为模考材料,这样才是真正放心靠谱的评分哦!


Ivy老师

毕业于墨尔本大学,PTE首战9炸大神!雅思听力阅读满分,口语8分的超级大学霸。英语口音纯正,语法功底深厚,教学风格轻松幽默,善于“快,准,狠”的发掘学生问题,提出高效解决及备考方案。


我们最新的大课课表如下,

网络课程,一对一课程请详询蜜雪儿和西西哦~


干货不够听?

还想获得更多PTE大西瓜专属福利?

免费自习室名师无限答疑福利,

免费的地表最强升级版机经Xs,

免费名师30分钟一对一评测,

免费名师40小时带练真题,

快来添加大西瓜蜜雪儿和西西吧~

 


收藏 已赞