C语言实现英文词频统计功能(附带源码)
<div id="navCategory"><h5 class="catalogue">目录</h5><ul class="first_class_ul"><li>项目背景详细介绍</li><ul class="second_class_ul"><li>1. 搜索引擎倒排索引构建</li><li>2. 文本挖掘与 NLP 特征提取</li><li>3. 分析文档主题和作者习惯</li><li>4. 基于 C 语言的嵌入式文本处理应用</li><li>5. 日志分析、服务器监控</li></ul><li>项目需求详细介绍</li><ul class="second_class_ul"><li>1. 输入英文文本</li><li>2. 自动识别单词</li><li>3. 统计每个单词出现次数</li><li>4. 采用适合的存储结构（哈希表）</li><li>5. 输出词频统计结果</li><li>6. 详细注释，适合教学</li><li>7. 可扩展性强</li></ul><li>相关技术详细介绍</li><ul class="second_class_ul"><li>1. 字符分类与处理</li><li>2. 字符串缓冲区</li><li>3. 哈希表（Hash Table）</li><li>4. 动态内存管理</li><li>5. 文件 IO</li><li>6. 排序（qsort）</li></ul><li>实现思路详细介绍</li><ul class="second_class_ul"><li>步骤 1：读取文件</li><li>步骤 2：识别单词</li><li>步骤 3：哈希表插入逻辑</li><li>步骤 4：统计结束后输出所有词频</li><li>步骤 5：按字典序或词频排序并输出</li></ul><li>完整实现代码</li><ul class="second_class_ul"></ul><li>代码详细解读</li><ul class="second_class_ul"><li>1. WordNode 结构体</li><li>2. hashtable 数组</li><li>3. BKDRHash</li><li>4. insert_word()</li><li>5. count_words()</li><li>6. 排序函数 cmp_count 和 cmp_alpha</li><li>7. print_words()</li><li>8. main()</li></ul><li>项目详细总结</li><ul class="second_class_ul"><li>1. 结构清晰</li><li>2. 性能高</li><li>3. 扩展性强</li><li>4. 工程意义大</li></ul><li>项目常见问题与解答</li><ul class="second_class_ul"></ul><li>扩展方向与性能优化</li><ul class="second_class_ul"></ul></ul></div><p class="maodian"></p><h2>项目背景详细介绍</h2><p>词频统计（Word Frequency Count）是文本处理与自然语言处理（NLP）中最基础，也最重要的算法之一。其核心思想是：对一段英文文本进行扫描，识别其中所有单词，并统计每个单词出现的次数。</p>
<p>这一技术是许多上层应用的核心模块，例如：</p>
<p class="maodian"></p><h3>1. 搜索引擎倒排索引构建</h3>
<p>搜索引擎在分析网页文本时，必须统计每个词的出现次数，以便构建倒排索引（Inverted Index），用于查询加速。如果你能实现一个英文词频统计器，就完成了倒排索引的最基础部分。</p>
<p class="maodian"></p><h3>2. 文本挖掘与 NLP 特征提取</h3>
<p>包括：</p>
<ul><li>TF（Term Frequency）</li><li>TF-IDF（Text Mining 的核心）</li><li>Bag-of-Words（词袋模型）</li><li>语言模型（Language Model）</li></ul>
<p>这些算法都依赖精确的词频统计。</p>
<p class="maodian"></p><h3>3. 分析文档主题和作者习惯</h3>
<p>例如：</p>
<ul><li>判断某文档属于哪个主题</li><li>分析作者的写作风格</li><li>频率最高的词是否是停用词（Stop Words）</li></ul>
<p class="maodian"></p><h3>4. 基于 C 语言的嵌入式文本处理应用</h3>
<p>在嵌入式系统或性能要求极高的系统中，往往无法使用 Python 或 Java，因此需要使用 C 实现高性能文本分析模块。</p>
<p class="maodian"></p><h3>5. 日志分析、服务器监控</h3>
<p>如统计访问日志中：</p>
<ul><li>IP 地址出现次数</li><li>URL 出现次数</li><li>特定错误码连续出现情况</li></ul>
<p>其底层仍然是字符串解析 + 词频统计。</p>
<p>因此，使用 C 语言实现一个功能完整、高性能、可扩展的英文词频统计器，对理解文本分析的整体流程至关重要。</p>
<p class="maodian"></p><h2>项目需求详细介绍</h2>
<p>本项目实现一个强大的英文词频统计程序，要求包括：</p>
<p class="maodian"></p><h3>1. 输入英文文本</h3>
<p>来源可以是：</p>
<ul><li>文件读取</li><li>标准输入（stdin）</li><li>程序内部字符串（本示例使用文件读取）</li></ul>
<p class="maodian"></p><h3>2. 自动识别单词</h3>
<p>单词必须满足：</p>
<ul><li>A–Z / a–z 字母组成</li><li>大小写不敏感（Hello 与 hello 视为同一个词）</li><li>忽略数字、符号、标点</li><li>支持长单词（如 "internationalization"）</li></ul>
<p class="maodian"></p><h3>3. 统计每个单词出现次数</h3>
<p>必须能记录：</p>
<ul><li>单词内容</li><li>出现次数</li></ul>
<p class="maodian"></p><h3>4. 采用适合的存储结构（哈希表）</h3>
<p>为了高效率，本项目使用 <strong>链地址法哈希表（Hash Table + Linked List）</strong>。</p>
<p class="maodian"></p><h3>5. 输出词频统计结果</h3>
<p>如：</p>
<blockquote><p>the : 135 and : 87 hello : 12 computer : 7 </p></blockquote>
<p>支持按字典序或出现次数排序（本项目提供二者示例）。</p>
<p class="maodian"></p><h3>6. 详细注释，适合教学</h3>
<p>每段代码必须含有详细注释，便于课堂讲解。</p>
<p class="maodian"></p><h3>7. 可扩展性强</h3>
<p>如：</p>
<ul><li>忽略停用词（stop words）</li><li>输出前 N 高频词</li><li>导出 JSON 文件</li><li>分析多文件</li></ul>
<p class="maodian"></p><h2>相关技术详细介绍</h2>
<p>本项目涉及到多项关键 C 语言技术：</p>
<p class="maodian"></p><h3>1. 字符分类与处理</h3>
<p>使用：</p>
<ul><li><code>isalpha()</code></li><li><code>tolower()</code></li></ul>
<p>用于识别英文单词。</p>
<p class="maodian"></p><h3>2. 字符串缓冲区</h3>
<p>为了组装单词，需要一个动态缓冲区或固定大小数组，用来读入单词。</p>
<p class="maodian"></p><h3>3. 哈希表（Hash Table）</h3>
<p>使用链地址法（每个桶是一条链表）：</p>
<ul><li>哈希函数采用 BKDR Hash</li><li>冲突由链表解决</li><li>插入效果好，查询时间 O(1)</li></ul>
<p class="maodian"></p><h3>4. 动态内存管理</h3>
<p>包括：</p>
<ul><li>malloc</li><li>realloc</li><li>free</li><li>strdup（复制字符串）</li></ul>
<p>必须确保无内存泄漏。</p>
<p class="maodian"></p><h3>5. 文件 IO</h3>
<p>使用：</p>
<ul><li>fopen</li><li>fgets / fgetc</li><li>fclose</li></ul>
<p>实现逐字符解析。</p>
<p class="maodian"></p><h3>6. 排序（qsort）</h3>
<p>为了按词频排序，需要使用 C 标准库排序函数。</p>
<p class="maodian"></p><h2>实现思路详细介绍</h2>
<p>完整算法步骤如下：</p>
<p class="maodian"></p><h3>步骤 1：读取文件</h3>
<p>使用 <code>fgetc()</code> 每次读取一个字符。</p>
<p class="maodian"></p><h3>步骤 2：识别单词</h3>
<p>我们维护一个字符缓冲区 <code>wordbuf</code>：</p>
<p>如果字符是字母，追加到缓冲区</p>
<p>如果字符不是字母：</p>
<ul><li>当前缓冲区非空 → 说明得到了一个完整单词</li><li>将单词转换为小写</li><li>将单词插入哈希表</li><li>清空缓冲区</li></ul>
<p class="maodian"></p><h3>步骤 3：哈希表插入逻辑</h3>
<p>插入过程：</p>
<ul><li>根据哈希计算桶 index</li><li>在桶的链表中查找单词是否存在</li><li>若已存在：count++</li><li>若不存在：创建新节点，加入链表头部</li></ul>
<p class="maodian"></p><h3>步骤 4：统计结束后输出所有词频</h3>
<p>遍历哈希表，将所有节点存入数组，使用 qsort 排序。</p>
<p class="maodian"></p><h3>步骤 5：按字典序或词频排序并输出</h3>
<p>提供两种排序方式：</p>
<ul><li>字典序（lexicographical）</li><li>按出现次数降序</li></ul>
<p class="maodian"></p><h2>完整实现代码</h2>
<div class="jb51code"><pre class="brush:cpp;">/************************************************************
* C语言实现英文词频统计（Word Frequency Count）
* 结构：哈希表 + 链地址法
* 文件：word_count.c
************************************************************/
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <ctype.h>
#define HASH_SIZE 10007// 哈希表大小（质数效果更好）
#define WORD_MAX_LEN 256 // 单词最大长度
/************************************************************
* 单词节点结构体：用于链表存储哈希冲突项
************************************************************/
typedef struct WordNode {
char* word; // 单词
int count; // 出现次数
struct WordNode* next; // 下一个节点
} WordNode;
/************************************************************
* 哈希表（链地址法）
************************************************************/
WordNode* hashtable;
/************************************************************
* BKDR Hash 哈希函数
************************************************************/
unsigned int BKDRHash(const char* str)
{
unsigned int seed = 131;
unsigned int hash = 0;
while (*str) {
hash = hash * seed + (*str++);
}
return hash % HASH_SIZE;
}
/************************************************************
* 向哈希表插入一个单词（若存在则 count++）
************************************************************/
void insert_word(const char* word)
{
unsigned int index = BKDRHash(word);
WordNode* p = hashtable;
while (p) {
if (strcmp(p->word, word) == 0) {
p->count++;
return;
}
p = p->next;
}
WordNode* newNode = (WordNode*)malloc(sizeof(WordNode));
newNode->word = strdup(word);
newNode->count = 1;
newNode->next = hashtable;
hashtable = newNode;
}
/************************************************************
* 从文件读取单词并统计
************************************************************/
void count_words(const char* filename)
{
FILE* fp = fopen(filename, "r");
if (!fp) {
printf("无法打开文件: %s\n", filename);
return;
}
char ch;
char wordbuf;
int wlen = 0;
while ((ch = fgetc(fp)) != EOF) {
if (isalpha(ch)) {
if (wlen < WORD_MAX_LEN - 1) {
wordbuf = tolower(ch);
}
} else {
if (wlen > 0) {
wordbuf = '\0';
insert_word(wordbuf);
wlen = 0;
}
}
}
if (wlen > 0) {
wordbuf = '\0';
insert_word(wordbuf);
}
fclose(fp);
}
/************************************************************
* 排序结构
************************************************************/
typedef struct {
char* word;
int count;
} WordEntry;
int cmp_count(const void* a, const void* b)
{
return ((WordEntry*)b)->count - ((WordEntry*)a)->count;
}
int cmp_alpha(const void* a, const void* b)
{
return strcmp(((WordEntry*)a)->word, ((WordEntry*)b)->word);
}
/************************************************************
* 打印所有词频（按词频或字典序排序）
************************************************************/
void print_words(int sort_mode)
{
WordEntry* arr = NULL;
int total = 0;
for (int i = 0; i < HASH_SIZE; i++) {
WordNode* p = hashtable;
while (p) {
total++;
p = p->next;
}
}
arr = (WordEntry*)malloc(sizeof(WordEntry) * total);
int idx = 0;
for (int i = 0; i < HASH_SIZE; i++) {
WordNode* p = hashtable;
while (p) {
arr.word = p->word;
arr.count = p->count;
idx++;
p = p->next;
}
}
if (sort_mode == 0)
qsort(arr, total, sizeof(WordEntry), cmp_alpha);
else
qsort(arr, total, sizeof(WordEntry), cmp_count);
for (int i = 0; i < total; i++) {
printf("%s : %d\n", arr.word, arr.count);
}
free(arr);
}
/************************************************************
* 主函数：接受文件名并统计
************************************************************/
int main()
{
char filename;
printf("请输入英文文本文件名：");
scanf("%s", filename);
count_words(filename);
printf("\n--- 按词频排序 ---\n");
print_words(1);
printf("\n--- 按字典序排序 ---\n");
print_words(0);
return 0;
}
</pre></div>
<p class="maodian"></p><h2>代码详细解读</h2>
<p class="maodian"></p><h3>1. WordNode 结构体</h3>
<p>用于存储单词和出现次数，链表解决哈希冲突。</p>
<p class="maodian"></p><h3>2. hashtable 数组</h3>
<p>固定大小 10007，每项是一个链表头指针。</p>
<p class="maodian"></p><h3>3. BKDRHash</h3>
<p>经典哈希函数：</p>
<ul><li>冲突概率低</li><li>性能高</li></ul>
<p class="maodian"></p><h3>4. insert_word()</h3>
<p>作用：</p>
<ul><li>查找单词是否已存在</li><li>存在 → 次数 +1</li><li>不存在 → 创建新节点</li></ul>
<p class="maodian"></p><h3>5. count_words()</h3>
<p>作用：</p>
<ul><li>按字符读取文件</li><li>遇到字母 → 缓冲区存储</li><li>遇到非字母 → 形成一个单词并插入哈希表</li><li>自动转小写</li></ul>
<p class="maodian"></p><h3>6. 排序函数 cmp_count 和 cmp_alpha</h3>
<p>支持 2 种排序：</p>
<ul><li>按出现次数</li><li>按字典序</li></ul>
<p class="maodian"></p><h3>7. print_words()</h3>
<p>将哈希表内容复制到数组，排序后输出。</p>
<p class="maodian"></p><h3>8. main()</h3>
<p>询问文件名 → 调用统计函数 → 打印排序结果。</p>
<p class="maodian"></p><h2>项目详细总结</h2>
<p>本项目实现了一个完整的英文词频统计系统，具有：</p>
<p class="maodian"></p><h3>1. 结构清晰</h3>
<p>采用：</p>
<ul><li>哈希表</li><li>链地址法</li><li>文件流读取</li><li>自定义排序</li></ul>
<p class="maodian"></p><h3>2. 性能高</h3>
<p>哈希查找 O(1)，读取与插入速度极快。</p>
<p class="maodian"></p><h3>3. 扩展性强</h3>
<p>可以轻松加入：</p>
<ul><li>停用词过滤</li><li>输出前 N 高频词</li><li>支持多文件处理</li><li>生成可视化统计结果</li></ul>
<p class="maodian"></p><h3>4. 工程意义大</h3>
<p>是学习：</p>
<ul><li>文本处理</li><li>NLP</li><li>搜索引擎构建</li><li>哈希表</li><li>文件解析</li><li>C 结构体封装</li></ul>
<p>的基础项目。</p>
<p class="maodian"></p><h2>项目常见问题与解答</h2>
<p><strong>1. 为什么不用数组存储所有单词？</strong></p>
<p>因为英文单词数量未知，数组不适合动态增长。</p>
<p><strong>2. 为什么使用哈希表？</strong></p>
<p>查询快，冲突处理简单，是词频统计中最常见的数据结构。</p>
<p><strong>3. 是否会有内存泄漏？</strong></p>
<p>本实现未释放所有 WordNode（结束后可补充 destroy 函数）。如果你需要，我可以加入完整的内存释放模块。</p>
<p><strong>4. 如何处理停用词（the、and...）？</strong></p>
<p>可在插入前判断是否为黑名单词。</p>
<p><strong>5. 如何统计一段很长的文本？</strong></p>
<p>当前设计非常适合大文件处理，速度远超数组或线性查找。</p>
<p class="maodian"></p><h2>扩展方向与性能优化</h2>
<p>1. 加入停用词过滤（Stop Words）：可以大幅提升分析质量。</p>
<p>2. 使用更快的哈希函数（MurmurHash）：让哈希分布更均匀。</p>
<p>3. 多线程处理（分段统计 + 合并哈希表）：适合大文本（如小说、日志）。</p>
<p>4. 使用 AVL / 红黑树 实现词频统计：天然有序，不需要qsort。</p>
<p>5. 导出 JSON 格式词频结果：接口友好，可用于前端可视化。</p>
<p>到此这篇关于C语言实现英文词频统计功能(附带源码)的文章就介绍到这了,更多相关C语言英文词频统计内容请搜索琼殿技术社区以前的文章或继续浏览下面的相关文章希望大家以后多多支持琼殿技术社区！</p>
<div class="art_xg">
<b>您可能感兴趣的文章:</b><ul><li>C语言实现英文文本词频统计</li><li>c语言实现词频统计的简单实例</li></ul>
</div>
</div>
<!--endmain-->
頁:
[1]