Rsyncin käyttö datan siirtoon ja synkronointiin

SSH keys are required to connect to Puhti and Mahti over SSH

Since April 14th 2025, connecting to Puhti and Mahti over SSH only works using SSH keys added in MyCSC. Password authentication and public keys stored in users' personal ~/.ssh/authorized_keys file on the supercomputer no longer works.

Read the detailed instructions on setting up and using SSH keys.

Rsync on datansiirtotyökalu, jota voidaan käyttää pitkälti kuten scp-komentoa. Dataa siirrettäessä rsync tarkistaa lähde- ja kohdetiedostojen erot ja siirtää vain muuttuneet osat. Tämä tekee rsync-työkalusta sopivan seuraaviin käyttötarkoituksiin:

Kansioiden synkronointi. scp tai cp kopioisi ja siirtäisi kaiken, kun taas rsync kopioi ja siirtää vain muutokset.
Suurten tiedostojen siirtäminen. rsync voidaan asettaa tallentamaan edistyminen, joten jos siirto keskeytyy, sitä voidaan jatkaa samasta kohdasta.

rsync-komennon perussyntaksi on:

rsync -options source target

Jos datan lähde tai kohdesijainti on etäkohde, se määritellään syntaksilla:

username@server:/path/on/server

Sekä kohde että lähde voivat kuitenkin sijaita myös samalla koneella. Siinä tapauksessa voit antaa vain lähde- ja kohdesijaintien hakemistopolut.

Alla oleva taulukko listaa yleisimmin käytetyt valinnat:

Option	Argument	Description
`-r`		Siirry hakemistoihin rekursiivisesti
`-a`		Käytä arkistotilaa: kopioi tiedostot ja hakemistot rekursiivisesti ja säilytä käyttöoikeudet sekä aikaleimat
`-v`		Yksityiskohtainen tila
`-z`		Pakkaa
`-e`	`ssh`	Määritä käytettävä etäkuori
`-n`		Näytä, mitkä tiedostot siirrettäisiin
`--partial`		Säilytä osittain siirretyt tiedostot
`--progress`		Näytä edistyminen siirron aikana
`-P`		Sama kuin `--partial --progress`
`-u`		Ohita tiedostot, jotka ovat vastaanottavassa päässä uudempia

Warning

rsync korvaa oletusarvoisesti kaikki kohteeseen tehdyt muutokset, vaikka ne olisivat lähdettä uudempia! Käytä valintaa -u tämän välttämiseksi.

Rsyncin käyttö datan siirtämiseen paikallisen tietokoneesi ja Puhdin välillä

Komento paikallisen kansion siirtämiseen Puhtiin siten, että edistyminen näytetään ja osittain siirretyt tiedostot säilytetään, voisi olla esimerkiksi:

rsync -rP /path/to/local/folder <username>@puhti.csc.fi:/path/to/target

Tämä joko:

Luo Puhdissa kansion polkuun /path/to/target/folder, jos kansiota ei ollut siellä ennestään. Tässä tapauksessa kaikki paikallisen kansion sisältö siirretään.
Synkronoi lähde- ja kohdekansiot, jos kansio on jo olemassa Puhdissa. Tässä tapauksessa siirretään vain tekemämme muutokset.

Ja sama toiseen suuntaan:

rsync -rP <username>@puhti.csc.fi:/path/to/target/folder /path/to/local

Huomaa

Jos olet tallentanut SSH-avaintiedostosi muulla kuin oletusnimellä tai muuhun kuin oletussijaintiin (jonnekin muualle kuin ~/.ssh/id_<algorithm>), voit määrittää -e-valinnalla, mistä rsync etsii avainta. Esimerkiksi:

rsync -rP -e "ssh -i /path/to/private/key" /path/to/local/folder <username>@puhti.csc.fi:/path/to/target

Rsyncin käyttö datan siirtämiseen suoraan CSC:n supertietokoneiden välillä

Jotta voit siirtää dataa suoraan CSC:n supertietokoneiden välillä, sinulla on oltava pääsy SSH-avaimiin, jotka olet määrittänyt paikallisella työasemallasi CSC:n supertietokoneille tunnistautumista varten. Tämä tehdään välittämällä SSH-agenttisi siihen supertietokoneeseen, johon yhdistät ensin.

Tämän jälkeen rsync-työkalua voidaan käyttää datan siirtämiseen suoraan CSC:n supertietokoneiden välillä käyttäen samaa syntaksia kuin yllä. Esimerkiksi hakemiston /scratch/project_2001234/myfiles kopioiminen Puhdista vastaavaan polkuun Mahdissa:

rsync -rP /scratch/project_2001234/myfiles <username>@mahti.csc.fi:/scratch/project_2001234

Katso myös tämän ohjeen viimeinen osio.