Hyppää sisältöön

Rsyncin käyttö datan siirtoon ja synkronointiin

SSH certificates are required to connect to Roihu over SSH

To connect to Roihu, users must sign their public key in MyCSC to obtain a time-based SSH certificate. Each certificate is valid for 24 hours, and once it expires, a new one must be generated by signing the public key again.

Read the detailed instructions on signing your public key.

Rsync on datansiirtotyökalu, jota voidaan käyttää pitkälti kuten scp-komentoa. Dataa siirrettäessä rsync tarkistaa lähde- ja kohdetiedostojen erot ja siirtää vain muuttuneet osat. Tämä tekee rsync-työkalusta sopivan seuraaviin käyttötarkoituksiin:

  1. Kansioiden synkronointi. scp tai cp kopioisi ja siirtäisi kaiken, kun taas rsync kopioi ja siirtää vain muutokset.
  2. Suurten tiedostojen siirtäminen. rsync voidaan asettaa tallentamaan edistyminen, joten jos siirto keskeytyy, sitä voidaan jatkaa samasta kohdasta.

rsync-komennon perussyntaksi on:

rsync -options source target

Jos datan lähde tai kohdesijainti on etäkohde, se määritellään syntaksilla:

username@server:/path/on/server

Sekä kohde että lähde voivat kuitenkin sijaita myös samalla koneella. Siinä tapauksessa voit antaa vain lähde- ja kohdesijainnin hakemistopolut.

Alla oleva taulukko listaa yleisimmin käytetyt valinnat:

Option Argument Description
-r Siirry hakemistoihin rekursiivisesti
-a Käytä arkistotilaa: kopioi tiedostot ja hakemistot rekursiivisesti ja säilytä käyttöoikeudet ja aikaleimat
-v Yksityiskohtainen tila
-z Pakkaa
-e ssh Määritä käytettävä etäkomentotulkki
-n Näytä, mitkä tiedostot siirrettäisiin
--partial Säilytä osittain siirretyt tiedostot
--progress Näytä edistyminen siirron aikana
-P Sama kuin --partial --progress
-u Ohita tiedostot, jotka ovat vastaanottajalla uudemmat

Warning

rsync ylikirjoittaa oletusarvoisesti kaikki kohteeseen tehdyt muutokset, vaikka ne olisivat lähdettä uudemmat! Käytä valintaa -u tämän välttämiseksi.

Rsyncin käyttö datan siirtämiseen paikallisen tietokoneesi ja Roihun välillä

Komento paikallisen kansion siirtämiseksi Roihuun siten, että edistyminen näytetään ja osittain siirretyt tiedostot säilytetään, voisi olla esimerkiksi:

rsync -rP /path/to/local/folder <username>@roihu-cpu.csc.fi:/path/to/target

Tämä joko:

  1. Luo Roihuun kansion sijaintiin /path/to/target/folder, jos kansiota ei ollut aiemmin olemassa. Tässä tapauksessa kaikki paikallisessa kansiossa oleva siirretään.
  2. Synkronoi lähde- ja kohdekansiot, jos kansio on jo olemassa Roihussa. Tässä tapauksessa siirretään vain tekemämme muutokset.

Ja sama toiseen suuntaan:

rsync -rP <username>@roihu-cpu.csc.fi:/path/to/target/folder /path/to/local

Huomaa

Jos olet tallentanut SSH-avaimesi ja/tai varmenne­tiedostosi muulla kuin oletusnimellä tai muuhun kuin oletussijaintiin (jonnekin muualle kuin ~/.ssh/id_<algorithm> tai ~/.ssh/id_<algorithm>-cert.pub), voit määrittää rsync-komennolle valinnalla -e, mistä avainta etsitään. Esimerkiksi:

rsync -rP -e "ssh -i /path/to/private/key -i /path/to/certificate" /path/to/local/folder <username>@<host>:/path/to/target 

Huomaa, että SSH-varmenteita tarvitaan Roihuun yhdistämiseen vain.

Rsyncin käyttö datan siirtämiseen suoraan CSC:n supertietokoneiden välillä

Jotta voit siirtää dataa suoraan CSC:n supertietokoneiden välillä, sinulla täytyy olla pääsy SSH-avaimiin, jotka olet määrittänyt paikallisella työasemallasi CSC:n supertietokoneille tunnistautumista varten. Roihua varten tarvitaan lisäksi voimassa oleva SSH-varmenne. Tämä toteutetaan välittämällä SSH-agenttisi, mukaan lukien SSH-avaimesi (ja varmenne), siihen supertietokoneeseen, johon yhdistät ensin.

Tämän jälkeen rsync-työkalua voidaan käyttää datan siirtämiseen suoraan CSC:n supertietokoneiden välillä käyttäen samaa syntaksia kuin yllä. Esimerkiksi hakemiston /scratch/project_2001234/myfiles kopioimiseksi Roihusta LUMI-projektin scratch-hakemistoon /scratch/project_462000123:

rsync -rP /scratch/project_2001234/myfiles <username>@lumi.csc.fi:/scratch/project_462000123

Katso myös tämän ohjeen viimeinen osio.

Onko tämä sivu hyödyllinen?
Kiitos palautteestasi!
Kiitos! Arvostamme palautettasi.

Kerro meille miten voisimme parantaa tätä sivua ottamalla meihin yhteyttä .