網站制作14年,SEO 5年,客戶800+

【SEO技巧】淺談:TF-IDF與余弦相似性的應用

時間:2018-12-27 20:55:24 來源:http://www.hcxtdr.live  作者:臺州網站優化  點擊:

導讀:
【SEO技巧】淺談:TF-IDF與余弦相似性的應用,可能就會感到頭大。的確,這個標題看上去好像
   相信很多朋友一看到這個文章的標題:《【SEO技巧】淺談:TF-IDF與余弦相似性的應用》,可能就會感到頭大。的確,這個標題看上去好像很復雜,其實我要談的是一個很簡單的問題:自動提取關鍵詞。具體內容如下:

  有一篇很長的文章,我要用計算機提取它的關鍵詞(Automatic Keyphrase extraction),完全不加以人工干預,請問怎樣才能正確做到?

  

 

  這個問題涉及到數據挖掘、文本處理、信息檢索等很多計算機前沿領域,但是出乎意料的是,有一個非常簡單的經典算法,可以給出令人相當滿意的結果。它簡單到都不需要高等數學,普通人只用10分鐘就可以理解,這就是我今天想要介紹的TF-IDF算法

  讓我們從一個實例開始講起。假定現在有一篇長文《中國的蜜蜂養殖》,我們準備用計算機提取它的關鍵詞。

  

 

  一個容易想到的思路,就是找到出現次數最多的詞。如果某個詞很重要,它應該在這篇文章中多次出現。于是,我們進行"詞頻"(Term Frequency,縮寫為TF)統計。

  結果你肯定猜到了,出現次數最多的詞是----"的"、"是"、"在"----這一類最常用的詞。它們叫做"停用詞"(stop words),表示對找到結果毫無幫助、必須過濾掉的詞。

  假設我們把它們都過濾掉了,只考慮剩下的有實際意義的詞。這樣又會遇到了另一個問題,我們可能發現"中國"、"蜜蜂"、"養殖"這三個詞的出現次數一樣多。這是不是意味著,作為關鍵詞,它們的重要性是一樣的?

  顯然不是這樣。因為"中國"是很常見的詞,相對而言,"蜜蜂"和"養殖"不那么常見。如果這三個詞在一篇文章的出現次數一樣多,有理由認為,"蜜蜂"和"養殖"的重要程度要大于"中國",也就是說,在關鍵詞排序上面,"蜜蜂"和"養殖"應該排在"中國"的前面。

  所以,我們需要一個重要性調整系數,衡量一個詞是不是常見詞。如果某個詞比較少見,但是它在這篇文章中多次出現,那么它很可能就反映了這篇文章的特性,正是我們所需要的關鍵詞。

  用統計學語言表達,就是在詞頻的基礎上,要對每個詞分配一個"重要性"權重。最常見的詞("的"、"是"、"在")給予最小的權重,較常見的詞("中國")給予較小的權重,較少見的詞("蜜蜂"、"養殖")給予較大的權重。這個權重叫做"逆文檔頻率"(Inverse Document Frequency,縮寫為IDF),它的大小與一個詞的常見程度成反比。

  知道了"詞頻"(TF)和"逆文檔頻率"(IDF)以后,將這兩個值相乘,就得到了一個詞的TF-IDF值。某個詞對文章的重要性越高,它的TF-IDF值就越大。所以,排在最前面的幾個詞,就是這篇文章的關鍵詞。

  下面就是這個算法的細節。

  第一步,計算詞頻。

  

 

  考慮到文章有長短之分,為了便于不同文章的比較,進行"詞頻"標準化。

  

 

  或者

  

 

  第二步,計算逆文檔頻率。

  這時,需要一個語料庫(corpus),用來模擬語言的使用環境。

  

 

  如果一個詞越常見,那么分母就越大,逆文檔頻率就越小越接近0。分母之所以要加1,是為了避免分母為0(即所有文檔都不包含該詞)。log表示對得到的值取對數。

  第三步,計算TF-IDF。

  

 

  可以看到,TF-IDF與一個詞在文檔中的出現次數成正比,與該詞在整個語言中的出現次數成反比。所以,自動提取關鍵詞的算法就很清楚了,就是計算出文檔的每個詞的TF-IDF值,然后按降序排列,取排在最前面的幾個詞。

  還是以《中國的蜜蜂養殖》為例,假定該文長度為1000個詞,"中國"、"蜜蜂"、"養殖"各出現20次,則這三個詞的"詞頻"(TF)都為0.02。然后,搜索Google發現,包含"的"字的網頁共有250億張,假定這就是中文網頁總數。包含"中國"的網頁共有62.3億張,包含"蜜蜂"的網頁為0.484億張,包含"養殖"的網頁為0.973億張。則它們的逆文檔頻率(IDF)和TF-IDF如下:

  

 

  從上表可見,"蜜蜂"的TF-IDF值最高,"養殖"其次,"中國"最低。(如果還計算"的"字的TF-IDF,那將是一個極其接近0的值。)所以,如果只選擇一個詞,"蜜蜂"就是這篇文章的關鍵詞。

  除了自動提取關鍵詞,TF-IDF算法還可以用于許多別的地方。比如,信息檢索時,對于每個文檔,都可以分別計算一組搜索詞("中國"、"蜜蜂"、"養殖")的TF-IDF,將它們相加,就可以得到整個文檔的TF-IDF。這個值最高的文檔就是與搜索詞最相關的文檔。

  TF-IDF算法的優點是簡單快速,結果比較符合實際情況。缺點是,單純以"詞頻"衡量一個詞的重要性,不夠全面,有時重要的詞可能出現次數并不多。而且,這種算法無法體現詞的位置信息,出現位置靠前的詞與出現位置靠后的詞,都被視為重要性相同,這是不正確的。(一種解決方法是,對全文的第一段和每一段的第一句話,給予較大的權重。)

  下一次,我將用TF-IDF結合余弦相似性,衡量文檔之間的相似程度。

  總結:以上就是臺州網絡公司的小編通過網絡搜集整理的有關《TF-IDF與余弦相似性的應用》的全部內容,希望對從事SEO工作的朋友有所幫助。希望了解耕讀有關SEO技巧的朋友請收藏本站。【www.hcxtdr.live】

  • 提示:如果您覺得本文不錯,請點擊分享給您的好友!謝謝
  • 本文鏈接地址:http://www.hcxtdr.live/news-guandian/2284.html
  • 來自公司網站建設及百度優化客戶的真實評論

    通盛網絡來自溫州市平陽縣的客戶反饋

    合作下來還不錯啊,做網頁設計小姑娘挺耐心的,也給了不少專業意見,另外就是后期網站的優化過程中,出現不好問題,主要是關鍵詞布局這里,我們意見不統一,還好,現在都解決了。

    通盛網絡來自椒江的客戶反饋

    在通盛網絡的指導下,自己學習了3個月,現在擁有了自己的網站,而且網站還有傭金了。馬上又要收到這個月的傭金了,查了一下大概有800塊錢了,挺不錯的。滿滿的都是愛呀。

    通盛網絡來自浙江金華市的客戶反饋

    優化了 3個關鍵詞,效果真不錯的呢,都已經到了百度首頁了,已經介紹了幾個朋友過來啦。

    通盛網絡來自杭州的客戶反饋

    服務很好,預付款了,第一次跟他們合作,希望不負眾望。后續進展會報告給大家。關鍵詞比較多,希望能夠把關鍵詞優化好,把百度排名做上去,最好是百度第一頁。

    通盛網絡來自舟山市嵊泗縣的客戶反饋

    還有4個關鍵詞沒有到百度首頁,現在經常在第二、第三頁波動,其他6個關鍵詞都已經優化的百

    服務支持

    我們珍惜您每一次在線詢盤,有問必答,用專業的態度,貼心的服務。

    讓您真正感受到我們的與眾不同!

    赌场大赢家走势图 河南11选5怎么玩 澳洲幸运10计划软件手机版式 湖南幸运赛车体彩直播 帮人打电话赚钱的软件叫什么 大嘴棋牌斗地主免费不 安徽11选5推荐和预测 云南11选5遗漏软件 北京11选5走势图 任选基本走势 大富豪电玩城 2014年3月5日上证指数 蓝海赚钱 用手机怎么赚钱月收入 福利彩票开奖结果查询 时时彩缩水在线计划 三棱镜复式 幸运飞艇pk10历史记录