Tietojen deduplikaatio on suosittu ja haluttu tallennustekniikka, joka optimoi tallennuskapasiteetin. Se poistaa tarpeettomat tiedot poistamalla päällekkäiset tiedot tietojoukosta, jolloin jäljelle jää vain yksi kopio. Kuten alla olevassa kuvassa näkyy. Tämä tekniikka voi vähentää huomattavasti fyysisen tallennustilan tarvetta kasvavan tiedontallennuskysynnän tyydyttämiseksi. Deduplikaatiotekniikka voi tuoda monia käytännön etuja, mukaan lukien pääasiassa seuraavat näkökohdat:
| (1) | Täytä ROI (sijoitetun pääoman tuotto) / TCO (omistuksen kokonaiskustannukset) -vaatimukset; |
| (2) | Datan nopeaa kasvua voidaan hallita tehokkaasti; |
| (3) | Lisää tehokasta säilytystilaa ja paranna varastoinnin tehokkuutta; |
| (4) | Säästä kokonaiskustannukset ja hallintakustannukset; |
| (5) | Säästä tiedonsiirron verkon kaistanleveyttä; |
| (6) | Säästä käyttö- ja ylläpitokustannuksissa, kuten tila-, virtalähde- ja jäähdytyskustannuksissa. |
Dedupe-teknologiaa käytetään laajalti tietojen varmuuskopiointi- ja arkistointijärjestelmissä, koska useiden varmuuskopiointien jälkeen jää paljon päällekkäistä tietoa, mikä sopii erittäin hyvin tälle teknologialle. Itse asiassa dedupe-teknologiaa voidaan käyttää monissa tilanteissa, mukaan lukien online-data, lähiverkon data ja offline-tiedontallennusjärjestelmät. Sitä voidaan toteuttaa tiedostojärjestelmissä, asemanhallinnassa, NAS-järjestelmissä ja sans-järjestelmissä. Dedupe-teknologiaa voidaan käyttää myös tietojen katastrofien jälkeiseen palautukseen, tiedonsiirtoon ja synkronointiin, koska tiedonpakkaustekniikkaa voidaan käyttää tietojen pakkaamiseen. Dedupe-teknologia voi auttaa monia sovelluksia vähentämään tiedon tallennusta, säästämään verkon kaistanleveyttä, parantamaan tallennustehokkuutta, lyhentämään varmuuskopiointi-ikkunaa ja säästämään kustannuksia.
Deduplikaatiolla on kaksi pääulottuvuutta: deduplikaatiosuhteet ja suorituskyky. Deduplikaatioiden suorituskyky riippuu tietystä toteutusteknologiasta, kun taas deduplikaationopeus määräytyy itse datan ominaisuuksien ja sovellusmallien perusteella, kuten alla olevasta taulukosta käy ilmi. Tallennuspalveluntarjoajat raportoivat tällä hetkellä deduplikaatioasteiden vaihtelevat välillä 20:1 - 500:1.
| Korkea deduplikaatioaste | Alhainen deduplikaatioaste |
| Käyttäjän luomat tiedot | Luonnosta peräisin olevaa dataa |
| Datan alhainen muutosnopeus | Datan nopea muutosnopeus |
| Viitetiedot, passiiviset tiedot | Aktiivinen data |
| Alhaisen tiedonmuutosnopeuden sovellus | Korkean tiedonmuutosnopeuden sovellus |
| Täydellinen tietojen varmuuskopiointi | Lisäävä tietojen varmuuskopiointi |
| Tietojen pitkäaikainen tallennus | Tietojen lyhytaikainen tallennus |
| Laaja valikoima datasovelluksia | Pieni valikoima datasovelluksia |
| Jatkuva datan käsittely liiketoiminnassa | Yleinen tietojenkäsittely |
| Pienten tietojen segmentointi | Big datan segmentointi |
| Pitkäaikainen datan segmentointi | Kiinteän pituinen datasegmentointi |
| Havaittu datasisältö | Tietosisältö tuntematon |
| Aikadatan deduplikaatio | Paikkatietojen deduplikaatio |
Deduple-toteutuspisteet
Dedupe-teknologiaa kehitettäessä tai sovellettaessa on otettava huomioon useita tekijöitä, koska nämä tekijät vaikuttavat suoraan sen suorituskykyyn ja tehokkuuteen.
| (1) | Mitä | Mitä tietoja painotetaan? |
| (2) | Kun | Milloin paino poistuu? |
| (3) | Jossa | Missä on painonpudotus? |
| (4) | Miten | Miten painoa voi vähentää? |
Dedupe Key -teknologia
Tallennusjärjestelmän deduplikaatioprosessi on yleisesti ottaen seuraava: ensin datatiedosto jaetaan tietojoukkoihin, joista jokaisesta datalohkosta lasketaan sormenjälki, ja sitten sormenjälkihaun avainsanojen perusteella löydetään vastaavuus, joka osoittaa, että kopioidut datalohkot tallentavat vain datalohkon indeksinumeron. Muussa tapauksessa datalohko on ainoa osa uutta datalohkoa, johon tallennetaan asiaankuuluvaa metatietoa. Näin ollen tallennusjärjestelmässä oleva fyysinen tiedosto vastaa loogista FP-metatietojen joukkoa. Tiedostoa luettaessa luetaan ensin looginen tiedosto, sitten FP-sekvenssin mukaisesti otetaan vastaava datalohko tallennusjärjestelmästä ja palautetaan fyysisen tiedoston kopio. Yllä olevasta prosessista voidaan nähdä, että Dedupen keskeisiä teknologioita ovat pääasiassa tiedostodatalohkojen segmentointi, datalohkon sormenjälkien laskenta ja datalohkojen haku.
(1) Tiedostodatalohkojen segmentointi
(2) Tietolohkon sormenjäljen laskenta
(3) Tietolohkon haku
Löydät nämä suositellut mallit verkkopakettien deduplikaation aloittamiseen:
Mylinking™-verkkopakettien välittäjä (NPB) ML-NPB-640048*10GE SFP+ ja 4*40GE/100GE QSFP28, maks. 880 Gbps
Mylinking™-verkkopakettien välittäjä (NPB) ML-NPB-56606*40GE/100GE QSFP28 ja 48*10GE/25GE SFP28, maks. 1,8 Tbps
Mylinking™-verkkopakettien välittäjä (NPB) ML-NPB-506048*10GE SFP+ ja 2*40GE QSFP, maks. 560 Gbps
Mylinking™-verkkopakettien välittäjä (NPB) ML-NPB-486048*10GE SFP+, maks. 480 Gbps, toiminto Plus
Mylinking™-verkkopakettien välittäjä (NPB) ML-NPB-481048*10GE SFP+, maks. 480Gbps
Mylinking™-verkkopakettien välittäjä (NPB) ML-NPB-2410P24*10GE SFP+, maks. 240 Gbps, DPI-toiminto
Mylinking™-verkkopakettien välittäjä (NPB) ML-NPB-6400
48*10GE SFP+ ja 4*40GE/100GE QSFP28, maks. 880 Gbps
Julkaisun aika: 18.10.2022
