濮阳杆衣贸易有限公司

主頁 > 知識庫 > perl去除重復(fù)內(nèi)容的腳本代碼(重復(fù)行+數(shù)組重復(fù)字段)

perl去除重復(fù)內(nèi)容的腳本代碼(重復(fù)行+數(shù)組重復(fù)字段)

熱門標(biāo)簽:外呼電信系統(tǒng) 惠州龍門400電話要怎么申請 萬利達百貨商場地圖標(biāo)注 熱門電銷機器人 河南虛擬外呼系統(tǒng)公司 上海企業(yè)外呼系統(tǒng) 智能機器人電銷神器 電話機器人哪里有賣 okcc外呼系統(tǒng)怎么調(diào)速度

假如有這樣的一段序列:
1 2 
1 2 
2 1 
1 3 
1 4 
1 5 
4 1
我們需要得到如下的結(jié)果:
1 3 
1 5 
2 1 
4 1
那么,請借助以下的perl腳本來實現(xiàn)。

代碼一:

復(fù)制代碼 代碼如下:

#!/bin/perl
use strict; 
use warnings; 
my $filename; 
my %hash; 
my @information; 
my $key1; 
my $key2; 
print "please put in the file like this f:\\\\perl\\\\data.txt\n"; 
chomp($filename=STDIN>); 
open(IN,"$filename")||die("can not open"); 
while(IN>) 

   chomp; 
   @information=split/\s+/,$_; 
   if(exists $hash{$information[0]}{$information[1]}) 
   { 
       next; 
   } 
   else 
   { 
       $hash{$information[0]}{$information[1]}='A'; 
    } 
   } 
   close IN; 
   open(IN,"$filename")||die("can not open"); 
   while(IN>) 
   { 
       @information=split/\s+/,$_; 
       if(exists $hash{$information[1]}{$information[0]}) 
       { 
           delete $hash{$information[0]}{$information[1]} 
       } 
       else 
       { 
           next; 
       } 
   } 
   close IN; 
   open(OUT,">f:\\A_B_result.txt")||die("can not open"); 
   foreach $key1 (sort{$a=>$b} keys %hash) 
   { 
       foreach $key2 (sort{$a=>$b} keys %{$hash{$key1}}) 
       { 
           print OUT "$key1 $key2\n"; 
       } 
   } 
close OUT;


代碼二:

如果有一個文件data有10G大,但是有好多行都是重復(fù)的,需要將該文件中重復(fù)的行合并為一行,那么我們需要用什么辦法來實現(xiàn)
cat data |sort|uniq > new_data #該方法可以實現(xiàn),但是你需要花上好幾個小時。結(jié)果才能出來。
下面是一個使用perl腳本來完成此功能的小工具。原理很簡單,創(chuàng)建一個hash,每行的內(nèi)容為鍵,值由每行出現(xiàn)的次數(shù)來填充,腳本如下;

復(fù)制代碼 代碼如下:

#!/usr/bin/perl
# Author :CaoJiangfeng
# Date:2011-09-28
# Version :1.0
use warnings;
use strict;

my %hash;
my $script = $0; # Get the script name

sub usage
{
        printf("Usage:\n");
        printf("perl $script source_file> dest_file>\n");

}

# If the number of parameters less than 2 ,exit the script
if ( $#ARGV+1 2) {

        usage;
        exit 0;
}


my $source_file = $ARGV[0]; #File need to remove duplicate rows
my $dest_file = $ARGV[1]; # File after remove duplicates rows

open (FILE,"$source_file") or die "Cannot open file $!\n";
open (SORTED,">$dest_file") or die "Cannot open file $!\n";

while(defined (my $line = FILE>))
{
        chomp($line);
        $hash{$line} += 1;
        # print "$line,$hash{$line}\n";
}

foreach my $k (keys %hash) {
        print SORTED "$k,$hash{$k}\n";#改行打印出列和該列出現(xiàn)的次數(shù)到目標(biāo)文件
}
close (FILE);
close (SORTED);

代碼三:

通過perl腳本,刪除數(shù)據(jù)組中重復(fù)的字段

復(fù)制代碼 代碼如下:

#!/usr/bin/perl
use strict;
my %hash;
my @array = (1..10,5,20,2,3,4,5,5);
#grep 保存符合條件的元素
@array = grep { ++$hash{$_} 2 } @array;
print join(" ",@array);
print "\n";

您可能感興趣的文章:
  • PERL腳本 學(xué)習(xí)筆記
  • Perl5 OOP學(xué)習(xí)筆記
  • perl腳本實現(xiàn)限制ssh最大登錄次數(shù)(支持白名單)
  • Perl使用Tesseract-OCR實現(xiàn)驗證碼識別教程
  • perl與shell獲取昨天、明天或多天前的日期的代碼
  • 為Java程序員準(zhǔn)備的10分鐘Perl教程
  • perl批量查詢ip歸屬地的方法代碼
  • 在Perl中使用Getopt::Long模塊來接收用戶命令行參數(shù)
  • perl中單行注釋和多行注釋使用介紹
  • perl腳本學(xué)習(xí)指南--讀書筆記

標(biāo)簽:綿陽 周口 周口 百色 秦皇島 綏化 合肥 淮安

巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《perl去除重復(fù)內(nèi)容的腳本代碼(重復(fù)行+數(shù)組重復(fù)字段)》,本文關(guān)鍵詞  perl,去除,重復(fù),內(nèi)容,的,;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題,煩請?zhí)峁┫嚓P(guān)信息告之我們,我們將及時溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無關(guān)。
  • 相關(guān)文章
  • 下面列出與本文章《perl去除重復(fù)內(nèi)容的腳本代碼(重復(fù)行+數(shù)組重復(fù)字段)》相關(guān)的同類信息!
  • 本頁收集關(guān)于perl去除重復(fù)內(nèi)容的腳本代碼(重復(fù)行+數(shù)組重復(fù)字段)的相關(guān)信息資訊供網(wǎng)民參考!
  • 推薦文章
    河津市| 宿松县| 商丘市| 东丰县| 万山特区| 远安县| 铅山县| 衡山县| 浮梁县| 枣庄市| 临沭县| 象州县| 平乡县| 广南县| 天台县| 武陟县| 英吉沙县| 兰西县| 曲周县| 大理市| 方正县| 江源县| 黄大仙区| 阳春市| 尼玛县| 乌兰浩特市| 拉孜县| 竹溪县| 大姚县| 会理县| 镇远县| 麻城市| 含山县| 绥阳县| 溧阳市| 渝中区| 乡宁县| 扶风县| 独山县| 台南县| 时尚|