多txt文件去重軟體

❶ txt文件幾個G，我想去除裡面重復文字等等這類工具有沒有

LogViewPro最大可以4GB的txt大文件
至於重復文字用「替換」（CTRL+H）

❷ 如何將多個TXT文件裡面相同的內容批量去掉 急

用Replace Pioneer，支持多行文本，多文件批量替換。步驟： 1. ctrl-h打開replace窗口 2. 在search for pattern下面輸入待替換的文字，並用單引號闊起來： '我要刪除的文字第一行 刪除的第二行 等等' 3. 點擊Batch...按鈕打開Batch Runner窗口 4. 點擊Pick Files或Search Files把要處理的文件都搜出來，如果需要還可指定結果文件的新名字和新目錄。 5. 點擊Batch Replace即可完成。注意提前備份。

❸ 求幫忙做個TXT文件里的號碼去重復軟體

你可以用一些文本處理小工具，像我用的就是飛梭TXT文本數據處理百寶箱，裡面有很多小工具，可以對文本進行去重，打亂，文件轉碼，文件合並，文件分割等多種處理。多特，非凡，天空等都可以下載。這個工具是完全免費的，上面還帶有教程的連接，不會操作的話，直接打開教程鏈接就看一下就行了。處理速度非常快，幾百萬的數據，幾秒鍾就能處理完。

在去重前可以先用飛梭TXT文本數據處理百寶箱中的轉碼工具將文本轉成utf-8的編碼，以防在去重處理失敗或者出現亂碼現象。
有什麼問題的話還可以問我。

❹ 去除TXT文本中重復的文字部分，使用一個便捷的軟體查找和刪除

推薦你用飛梭TXT文本數據去重工具，可系統化清理重復數據以及空行。軟體本身就很小，用起來很方便，運行速度也挺快的。

❺ 去除TXT文本中重復的文字部分

用飛梭TXT文本數據處理百寶箱，裡麵包含很多小工具，有：
飛梭TXT文本數據去重工具

飛梭TXT文本數據打亂工具
飛梭TXT文本文件編碼轉換工具
飛梭TXT文本數據合並工具
飛梭TXT文本數據拆分工具
飛梭TXT文本數據批量生成工具

可以進行文本去重復，文件轉碼，文件合並，文件分割等。多特，非凡，天空等都可以下載。這個工具是完全免費的，我用的就是這種，上面還帶有教程的連接，不會操作的話，直接打開教程鏈接就看一下就行了。

❻ 如何批量刪除TXT記事本文件中某些重復的符號

方法如下：

1、復制到WORD中。

2、在右上角有查找替換，點擊查找，輸入符號，然後會找出所有符號，按刪除鍵即可。

3、再復制回TXT記事本。

❼ 很多的txt文件bat如何批量去重

@echo off
set /p=<nul>2.txt
rem創建2.txt
for /f "delims=" %%i in (1.txt) do (
rem讀取1.txt，一次讀一行
findstr "%%i" "2.txt">nul||echo %%i>>2.txt
rem第一次循環時，在2.txt中找1.txt的第一行，不存在就把1.txt的第一行輸入2.txt
rem第二次循環時，在2.txt中找1.txt的第二行，不存在就把1.txt的第一行輸入2.txt
rem以此類推
rem那兩條豎杠是主要的，作用是左邊執行成功就不執行右邊，左邊沒執行成功就執行右邊
)
pause

❽ 手上有兩個txt文件，想通過某種軟體查重重復的部分，有啥軟體好使呢謝謝~！

uniq 命令

用途
報告或刪除文件中重復的行。

語法
uniq [ -c | -d | -u ] [ -f Fields ] [ -s Characters ] [ -Fields ] [ +Characters ] [ InFile [ OutFile ] ]

描述
uniq 命令刪除文件中的重復行。 uniq 命令讀取由 InFile 參數指定的標准輸入或文件。該命令首先比較相鄰的行，然後除去第二行和該行的後續副本。重復的行一定相鄰。（在發出 uniq 命令之前，請使用 sort 命令使所有重復行相鄰。）最後，uniq 命令將最終單獨的行寫入標准輸出或由 OutFile 參數指定的文件。InFile 和 OutFile 參數必須指定不同的文件。

輸入文件必須是文本文件。文本文件是包含組織在一行或多行中的字元的文件。這些行的長度不能超出 2048 個位元組（包含所有換行字元），並且其中不能包含空字元。

預設情況下，uniq 命令比較所有行。如果指定了-f Fields 或 -Fields 標志, uniq 命令忽略由 Fields 變數指定的欄位數目。 field 是一個字元串，用一個或多個 <空格 > 字元將它與其它字元串分隔開。如果指定了 -s Characters 或 -Characters 標志, uniq 命令忽略由 Characters 變數指定的欄位數目。為 Fields 和 Characters 變數指定的值必須是正的十進制整數。

當前本地語言環境決定了 -f 標志使用的 <空白> 字元以及 -s 標志如何將位元組解釋成字元。

如果執行成功，uniq 命令退出，返回值 0。否則，命令退出返回值大於 0。

標志

-c 在輸出行前面加上每行在輸入文件中出現的次數。
-d 僅顯示重復行。
-f Fields 忽略由 Fields 變數指定的欄位數目。 如果 Fields 變數的值超過輸入行中的欄位數目, uniq 命令用空字元串進行比較。 這個標志和 -Fields 標志是等價的。
-u 僅顯示不重復的行。
-s Characters 忽略由 Characters 變數指定的字元的數目。 如果 Characters 變數的值超過輸入行中的字元的數目, uniq 用空字元串進行比較。 如果同時指定 -f 和 -s 標志, uniq 命令忽略由 -s Characters 標志指定的字元的數目，而從由 -f Fields 標志指定的欄位後開始。 這個標志和 +Characters 標志是等價的。
-Fields 忽略由 Fields 變數指定的欄位數目。 這個標志和 -f Fields 標志是等價的。
+Characters 忽略由 Characters 變數指定的字元的數目。 如果同時指定 - Fields 和 +Characters 標志, uniq 命令忽略由 +Characters 標志指定的字元數目，並從由 -Fields 標志指定的欄位後開始。 這個標志和 -s Characters 標志是等價的。

退出狀態
該命令返回以下退出值：

0 命令運行成功。
>0 發生錯誤。

示例
要刪除名為 fruit 文件中的重復行並將其保存到一個名為 newfruit 的文件中，輸入：

uniq fruit newfruit如果 fruit 文件包含下列行:

apples
apples
peaches
pears
bananas
cherries
cherries則在您運行uniq 命令後 newfruit 文件將包含下列行:

apples
peaches
pears
bananas
cherries

轉自http://forum.51nb.com/thread-504949-1-1.html