文字中单词的绝对频率和加权频率

本文概述

• 绝对加权词频：简介
• 后续步骤和改进

文本挖掘中的一组重要指标与某个文本文档语料库中单词(或任何标记)的出现频率有关。但是, 如果每个文档都有一个描述文档某些属性的关联数值, 则​​还可以使用一组额外的指标。

一些例子：

• 推文及其各自的参与数量。
• 网址及其浏览量和跳出。
• 电影标题及其总收入。
• 关键字及其印象, 点击和转化。

在本教程中,

• 你将首先完成创建简单函数的过程, 该函数计算并比较文档语料库中单词的绝对出现次数和加权出现次数。有时, 通过查看前十个左右的值, 可以发现不一定清晰的隐藏趋势和汇总。它们通常也可能与绝对词频不同。
• 然后, 你将看到真实的数据集(电影标题和总收入), 并希望发现隐藏的趋势。一个预告片：爱情会以某种方式出现！
• 你将使用Python作为编程语言, 并使用collections模块的defaultdict数据结构进行繁重的工作, 并使用pandas DataFrames管理最终输出。

绝对加权词频：简介

假设你有两条推文, 它们的内容和印象数(视图)如下：

进行基本分析很容易, 发现你的单词在” france”和” spain”之间以50:50的比例分开。在许多情况下, 这就是你所拥有的, 你只能测量单词的绝对频率, 并尝试推断某些关系。在这种情况下, 你具有有关每个文档的一些数据。

此处的加权频率明显不同, 并且分割为80:20。换句话说, 尽管”西班牙”和”法国”在你的推文中都出现过一次, 但从读者的角度来看, 前者出现了800次, 而后者出现了200次。有很大的不同！

使用defaultdict的简单单词频率

现在考虑一组类似的文档的示例：

现在, 你遍历文档, 将它们拆分为单词, 并计算每个单词的出现次数：

from collections import defaultdict

import pandas as pd

text_list = ['france', 'spain', 'spain beaches', 'france beaches', 'spain best beaches']

word_freq = defaultdict(int)

for text in text_list:
    for word in text.split():
        word_freq[word] += 1

pd.DataFrame.from_dict(word_freq, orient='index') \
.sort_values(0, ascending=False) \
.rename(columns={0: 'abs_freq'})

在上面的循环中, 第一行逐个循环通过text_list。第二行(在每个文档中)循环浏览每个项目的单词, 并用空格字符(可以是其他任何字符(‘-‘, ‘, ‘, ‘_’等)分隔)。

当你尝试为word_freq [word]分配值时, 有两种可能的情况：

1. 关键字存在：在这种情况下, 分配已完成(加一)
2. 关键字不在word_freq中, 在这种情况下defaultdict调用它在首次定义时分配给它的默认函数, 在这种情况下为int。

调用int时, 它返回零。现在, 该键已存在, 其值为零, 并且可以为其分配一个附加的1。

尽管在第一张表中最重要的单词是” france”, 但在对每个文档中的所有单词进行计数之后, 我们可以看到” spain”和” beaches”并列第一。这对于发现隐藏趋势非常重要, 尤其是当你要处理的文档列表为数以万计时。

加权词频

现在你已经计算了文档语料库中每个单词的出现次数, 现在你想要查看加权频率。也就是说, 你希望查看单词在读者中出现的次数, 与你使用它们的次数相比。

在第一个表格中, 单词的绝对频率在”西班牙”和”法国”之间平均分配, 但是”西班牙”的权重明显更高, 因为它的价值是800, 而” 200″或”法国”。

但是第二张稍微复杂一点的表的加权单词频率是多少？

让我们找出答案！

你可以重复使用上面使用的一些代码, 但要增加一些内容：

# default value is now a list with two ints
word_freq = defaultdict(lambda: [0, 0]) 

# the `views` column you had in the first DataFrame
num_list = [200, 180, 170, 160, 160]

# looping is now over both the text and the numbers
for text, num in zip(text_list, num_list): 
    for word in text.split(): 
        # same as before
        word_freq[word][0] += 1 
        # new line, incrementing the numeric value for each word
        word_freq[word][1] += num 

columns = {0: 'abs_freq', 1: 'wtd_freq'}

abs_wtd_df = pd.DataFrame.from_dict(word_freq, orient='index') \
             .rename(columns=columns) \
             .sort_values('wtd_freq', ascending=False) \
             .assign(rel_value=lambda df: df['wtd_freq'] / df['abs_freq']) \
            .round()

abs_wtd_df.style.background_gradient(low=0, high=.7, subset=['rel_value'])

一些观察：

• 尽管” france”是总体上最高的词组, 但是当你使用加权频率时, ” spanish”和” beaches”似乎更加突出。
• rel_value是一个简单的除法, 用于获取每个单词每次出现时的值。
• 查看rel_value, 你还可以看到, 即使wtd_freq指标上的’france’值非常低, 但似乎仍有潜力, 因为每次发生的值都很高。例如, 这可能暗示你增加了”法国”的内容覆盖率。

你可能还想添加一些其他指标, 以显示每种频率类型的百分比和累积百分比, 以便更好地了解构成总数的单词中有多少个单词(如果有)：

abs_wtd_df.insert(1, 'abs_perc', value=abs_wtd_df['abs_freq'] / abs_wtd_df['abs_freq'].sum())
abs_wtd_df.insert(2, 'abs_perc_cum', abs_wtd_df['abs_perc'].cumsum())
abs_wtd_df.insert(4, 'wtd_freq_perc', abs_wtd_df['wtd_freq'] / abs_wtd_df['wtd_freq'].sum())
abs_wtd_df.insert(5, 'wtd_freq_perc_cum', abs_wtd_df['wtd_freq_perc'].cumsum())
abs_wtd_df.style.background_gradient(low=0, high=0.8)

可以分析的内容更多, 而有了更多的数据, 你通常会得到更多的惊喜。

那么, 在具有一些真实数据的真实环境中, 这看起来如何呢？

你将看电影的标题, 查看标题中使用最多的单词-这是绝对频率-哪些单词与最多的收入或加权频率相关。

Boxoffice Mojo列出了超过15, 000部电影以及相关的总收入和排名。首先使用请求和BeautifulSoup抓取数据-如果你愿意, 你可以在此处探索Boxoffice Mojo：

import requests
from bs4 import BeautifulSoup

final_list = []

for i in range(1, 156):
    if not i%10:
        print(i)
    page = 'http://www.boxofficemojo.com/alltime/domestic.htm?page=' + str(i) + '&p=.htm'
    resp = requests.get(page)
    soup = BeautifulSoup(resp.text, 'lxml')
    # trial and error to get the exact positions
    table_data = [x.text for x in soup.select('tr td')[11:511]]  
    # put every 5 values in a row
    temp_list = [table_data[i:i+5] for i in range(0, len(table_data[:-4]), 5)] 
    for temp in temp_list:
        final_list.append(temp)

10
20
30
40
50
60
70
80
90
100
110
120
130
140
150

boxoffice_df = pd.DataFrame.from_records(final_list)

boxoffice_df.head(10)

boxoffice_df.tail(15)

你将看到一些数字值具有一些特殊字符($ 、、和^), 而某些值实际上是N / A。因此, 你需要更改以下内容：

na_year_idx =  [i for i, x in enumerate(final_list) if x[4] == 'n/a'] # get the indexes of the 'n/a' values
new_years = [1998, 1999, 1960, 1973]  # got them by checking online

print(*[(i, x) for i, x in enumerate(final_list) if i in na_year_idx], sep='\n')
print('new year values:', new_years)

(8003, ['8004', 'Warner Bros. 75th Anniversary Film Festival', 'WB', '$741, 855', 'n/a'])
(8148, ['8149', 'Hum Aapke Dil Mein Rahte Hain', 'Eros', '$668, 678', 'n/a'])
(8197, ['8198', 'Purple Moon (Re-issue)', 'Mira.', '$640, 945', 'n/a'])
(10469, ['10470', 'Amarcord', 'Jan.', '$125, 493', 'n/a'])
new year values: [1998, 1999, 1960, 1973]

for na_year, new_year in zip(na_year_idx, new_years):
    final_list[na_year][4] = new_year
    print(final_list[na_year], new_year)

['8004', 'Warner Bros. 75th Anniversary Film Festival', 'WB', '$741, 855', 1998] 1998
['8149', 'Hum Aapke Dil Mein Rahte Hain', 'Eros', '$668, 678', 1999] 1999
['8198', 'Purple Moon (Re-issue)', 'Mira.', '$640, 945', 1960] 1960
['10470', 'Amarcord', 'Jan.', '$125, 493', 1973] 1973

现在, 通过使用适当的名称命名列并将其转换为所需的数据类型, 将列表变成pandas DataFrame。

import re
regex = '|'.join(['\$', ', ', '\^'])

columns = ['rank', 'title', 'studio', 'lifetime_gross', 'year']

boxoffice_df = pd.DataFrame({
    'rank': [int(x[0]) for x in final_list], # convert ranks to integers
    'title': [x[1] for x in final_list], # get titles as is
    'studio': [x[2] for x in final_list], # get studio names as is
    'lifetime_gross': [int(re.sub(regex, '', x[3])) for x in final_list], # remove special characters and convert to integer
    'year': [int(re.sub(regex, '', str(x[4]))) for x in final_list], # remove special characters and convert to integer
})
print('rows:', boxoffice_df.shape[0])
print('columns:', boxoffice_df.shape[1])
print('\ndata types:')
print(boxoffice_df.dtypes)
boxoffice_df.head(15)

rows: 15500
columns: 5

data types:
lifetime_gross     int64
rank               int64
studio            object
title             object
year               int64
dtype: object

“星”一词是最热门的电影之一, 它出现在前15部电影中的五部中, 而且你也知道《星球大战》系列有更多电影, 其中有几部也位于电影中。

现在, 让我们利用你开发的代码, 看看它如何在该数据集上工作。下面的代码没有新内容, 你只需将它们全部放在一个函数中：

def word_frequency(text_list, num_list, sep=None):
    word_freq = defaultdict(lambda: [0, 0])

    for text, num in zip(text_list, num_list):
        for word in text.split(sep=sep): 
            word_freq[word][0] += 1 
            word_freq[word][1] += num

    columns = {0: 'abs_freq', 1: 'wtd_freq'}

    abs_wtd_df = (pd.DataFrame.from_dict(word_freq, orient='index')
                 .rename(columns=columns )
                 .sort_values('wtd_freq', ascending=False)
                 .assign(rel_value=lambda df: df['wtd_freq'] / df['abs_freq']).round())

    abs_wtd_df.insert(1, 'abs_perc', value=abs_wtd_df['abs_freq'] / abs_wtd_df['abs_freq'].sum())
    abs_wtd_df.insert(2, 'abs_perc_cum', abs_wtd_df['abs_perc'].cumsum())
    abs_wtd_df.insert(4, 'wtd_freq_perc', abs_wtd_df['wtd_freq'] / abs_wtd_df['wtd_freq'].sum())
    abs_wtd_df.insert(5, 'wtd_freq_perc_cum', abs_wtd_df['wtd_freq_perc'].cumsum())

    return abs_wtd_df
word_frequency(boxoffice_df['title'], boxoffice_df['lifetime_gross']).head()

毫不奇怪, “停用词”是最重要的, 对于大多数文档集合而言, 它们几乎是相同的。你还需要复制它们, 其中一些使用大写字母, 而有些则不使用大写字母。因此, 你需要注意两件事：

1. 删除所有停用词：你可以通过向函数添加新参数并提供自己的停用词列表来实现。
2. 处理所有小写单词以删除重复项

这是对函数的简单更新(新的rm_words参数以及第6, 7和8行)：

# words will be expanded
def word_frequency(text_list, num_list, sep=None, rm_words=('the', 'and', 'a')):  
    word_freq = defaultdict(lambda: [0, 0])

    for text, num in zip(text_list, num_list):
        for word in text.split(sep=sep): 
            # This should take care of ignoring the word if it's in the stop words
            if word.lower() in rm_words:  
                continue                  
            # .lower() makes sure we are not duplicating words
            word_freq[word.lower()][0] += 1  
            word_freq[word.lower()][1] += num

    columns = {0: 'abs_freq', 1: 'wtd_freq'}

    abs_wtd_df = (pd.DataFrame.from_dict(word_freq, orient='index')
                 .rename(columns=columns )
                 .sort_values('wtd_freq', ascending=False)
                 .assign(rel_value=lambda df: df['wtd_freq'] / df['abs_freq']).round())

    abs_wtd_df.insert(1, 'abs_perc', value=abs_wtd_df['abs_freq'] / abs_wtd_df['abs_freq'].sum())
    abs_wtd_df.insert(2, 'abs_perc_cum', abs_wtd_df['abs_perc'].cumsum())
    abs_wtd_df.insert(4, 'wtd_freq_perc', abs_wtd_df['wtd_freq'] / abs_wtd_df['wtd_freq'].sum())
    abs_wtd_df.insert(5, 'wtd_freq_perc_cum', abs_wtd_df['wtd_freq_perc'].cumsum())

    abs_wtd_df = abs_wtd_df.reset_index().rename(columns={'index': 'word'})

    return abs_wtd_df

from collections import defaultdict
word_freq_df =  word_frequency(boxoffice_df['title'], boxoffice_df['lifetime_gross'], rm_words=['of', 'in', 'to', 'and', 'a', 'the', 'for', 'on', '&', 'is', 'at', 'it', 'from', 'with'])



word_freq_df.head(15).style.bar(['abs_freq', 'wtd_freq', 'rel_value'], color='#60DDFF') # E6E9EB

让我们看一下基于abs_freq排序的相同DataFrame：

(word_freq_df.sort_values('abs_freq', ascending=False)
 .head(15)
    .style.bar(['abs_freq', 'wtd_freq', 'rel_value'], color='#60DDFF'))

现在, 让我们进行可视化以比较两者并查看隐藏的趋势：

import matplotlib.pyplot as plt
plt.figure(figsize=(20, 8))
plt.subplot(1, 2, 1)

word_freq_df_abs = word_freq_df.sort_values('abs_freq', ascending=False).reset_index()

plt.barh(range(20), list(reversed(word_freq_df_abs['abs_freq'][:20])), color='#288FB7')
for i, word in enumerate(word_freq_df_abs['word'][:20]):
    plt.text(word_freq_df_abs['abs_freq'][i], 20-i-1, s=str(i+1) + '. ' + word + ': '  + str(word_freq_df_abs['abs_freq'][i]), ha='right', va='center', fontsize=14, color='white', fontweight='bold')
plt.text(0.4, -1.1, s='Number of times the word was used in a movie title; out of 15500 movies.', fontsize=14)
plt.text(0.4, -1.8, s='Data: boxofficemojo.com Apr. 2018.   Feedback: @eliasdabbas', fontsize=14)


plt.vlines(range(0, 210, 10), -1, 20, colors='gray', alpha=0.1)
plt.hlines(range(0, 20, 2), 0, 210, colors='gray', alpha=0.1)
plt.yticks([])
plt.xticks([])
plt.title('Words Most Used in Movie Titles', fontsize=22, fontweight='bold')

# =============
plt.subplot(1, 2, 2)
# plt.axis('off')
plt.barh(range(20), list(reversed(word_freq_df['wtd_freq'][:20])), color='#288FB7')
for i, word in enumerate(word_freq_df['word'][:20]):
    plt.text(word_freq_df['wtd_freq'][i], 20-i-1, s=str(i+1) + '. ' + word + ': ' + '$' + str(round(word_freq_df['wtd_freq'][i] / 1000_000_000, 2)) + 'b', ha='right', va='center', fontsize=14, color='white', fontweight='bold')
plt.text(0.4, -1.1, s='Alltime boxoffice revenue of all movies whos title contained the word. (Top word is "2") ', fontsize=14)
plt.text(0.4, -1.8, s='Data collection & methodology: http://bit.ly/word_freq', fontsize=14)

plt.vlines(range(0, 9_500_000_000, 500_000_000), -1, 20, colors='gray', alpha=0.1)
plt.hlines(range(0, 20, 2), 0, 10_000_000_000, colors='gray', alpha=0.1)
plt.xlim((-70_000_000, 9_500_000_000))
plt.yticks([])
plt.xticks([])
plt.title('Words Most Associated With Boxoffice Revenue', fontsize=22, fontweight='bold')
plt.tight_layout(pad=0.01)
plt.show()

似乎至少在制作人和作家的心中, 爱确实征服了所有人！它是所有电影标题中使用最多的单词。但是, 在加权频率(票房收入)方面, 它并不高。

换句话说, 如果你看电影的所有标题, “爱”一词将是你最容易找到的电影。但是估算一下哪个词在观看者眼中出现得最多(使用总收入作为衡量标准), 那么” 2″, ” star”和” man”将是观看次数最多或与收入最高相关的内容。

只是要清楚：这是非常简单的计算。当你说”爱”一词的加权频率为1, 604, 106, 767时, 仅表示标题中包括”爱”一词的所有电影的总生存期总和就是那个数量。

有趣的是, ” 2″是最高单词。显然, 这不是一个字, 而是表明电影系列的第二部分的总和很大。位于第五位的” 3″也是如此。请注意, ” part”和” ii”也在前十名中, 证实了相同的事实。

“美国人”和”电影”具有较高的相对价值。

关于此功能中使用的停用词的快速说明

通常, 与此处的停用词相比, 你会提供更全面的停用词列表, 尤其是在处理文章或社交媒体帖子时。例如, nltk软件包提供了几种语言的停用词列表, 可以下载和使用这些列表。

在对热门电影进行几次检查后, 才选择了此处的字词。其中许多通常被视为停用词, 但对于电影标题而言, 保留其中一些是有意义的, 因为它们可能会提供一些见解。例如, “我”, “我”, “你”一词可能暗示了一些社会动态。另一个原因是电影标题是很短的短语, 因此我们正在努力使它们尽可能地有意义。

你绝对可以用自己的单词来尝试一下, 然后看到稍微不同的结果。

回顾电影标题的原始列表, 我们发现某些热门单词甚至没有出现在前十名中, 而这正是我们试图通过这种方法发现的洞察力。

boxoffice_df.head(10)

接下来, 我认为进一步探索有趣的热门单词将是有意义的。让我们过滤包含” 2″的电影, 然后看：

(boxoffice_df[boxoffice_df['title']                  
              .str
              .contains('2 | 2', case=False)] # spaces used to exclude words like '2010'
              .head(10))

我们还来看看顶级的”明星”电影：

boxoffice_df[boxoffice_df['title'].str.contains('star | star', case=False)].head(10)

最后, 最重要的”男人”电影：

boxoffice_df[boxoffice_df['title'].str.contains('man | man', case=False)].head(10)

后续步骤和改进

第一步, 你可能会尝试获得更多的单词：电影标题非常短, 很多时候没有传达这些单词的字面意思。例如, 一个教父应该是一个怀有孩子洗礼仪式的人, 并承诺要照顾那个孩子(或者可能是为娱乐而杀死的黑手党成员？！)。

除电影标题外, 进一步的练习可能是获得更详细的描述。例如：

“一名计算机黑客从神秘的叛乱者那里了解到他的现实的真实本质以及他在与控制器的战争中所扮演的角色。”

告诉我们有关电影的更多信息, 而不是《黑客帝国》。

另外, 你也可以采用以下方法之一来丰富你的分析：

• 更好的统计分析：使用其他指标来处理极值/离群值。
• 文本挖掘：将相似的单词和主题分组在一起(“快乐”, “幸福”, “快乐”等)
• 粒度分析：在不同的年份/十年或某些生产工作室运行相同的功能。

你可能会对自己以及其他数据进行探索：

• 票房数据
• 古腾堡(Gutenberg)下载的书籍排在前1000名, 邀请你提出以下问题：
  • 书名中最常用的词是？
  • 哪些词与图书下载最相关？
• iPhone搜索关键字(通过SERP获得)
  • 人们会与” iphone”一起搜索什么？
  • 什么是最加权的频率？

好的, 所以现在你已经探索了电影标题中的单词计数, 并看到了绝对频率和加权频率之间的差异, 以及放任者如何错过图片的很大一部分。你还已经看到了这种方法的局限性, 并对如何改善分析提出了一些建议。

你经历了创建一个特殊功能的过程, 可以轻松运行该功能来分析带有数字的任何相似文本数据集, 并知道这如何改善你对这种数据集的理解。

通过分析你的推文的性能, 网站的URL, Facebook帖子或其他可能遇到的类似数据集来进行尝试。

仅用代码克隆存储库并自己尝试可能会更容易。

word_frequency函数是advertools软件包的一部分, 你可以下载该软件包并尝试在工作/研究中使用。

检查出来, 让我知道！ @eliasdabbas