Rsyncin käyttö datan siirtoon ja synkronointiin

SSH certificates are required to connect to Roihu over SSH

To connect to Roihu, users must sign their public key in MyCSC to obtain a time-based SSH certificate. Each certificate is valid for 24 hours, and once it expires, a new one must be generated by signing the public key again.

Read the detailed instructions on signing your public key.

Rsync on datansiirtotyökalu, jota voidaan käyttää pitkälti kuten scp-komentoa. Dataa siirrettäessä rsync tarkistaa lähde- ja kohdetiedostojen erot ja siirtää vain muuttuneet osat. Tämä tekee rsync-työkalusta sopivan seuraaviin käyttötarkoituksiin:

Kansioiden synkronointi. scp tai cp kopioisi ja siirtäisi kaiken, kun taas rsync kopioi ja siirtää vain muutokset.
Suurten tiedostojen siirtäminen. rsync voidaan asettaa tallentamaan edistyminen, joten jos siirto keskeytyy, sitä voidaan jatkaa samasta kohdasta.

rsync-komennon perussyntaksi on:

rsync -options source target

Jos datan lähde tai kohdesijainti on etäkohde, se määritellään syntaksilla:

username@server:/path/on/server

Sekä kohde että lähde voivat kuitenkin sijaita myös samalla koneella. Siinä tapauksessa voit antaa vain lähde- ja kohdehakemistojen polut.

Alla olevassa taulukossa on lueteltu yleisimmin käytetyt valinnat:

Option	Argument	Description
`-r`		Käy hakemistot rekursiivisesti läpi
`-a`		Käytä arkistotilaa: kopioi tiedostot ja hakemistot rekursiivisesti ja säilytä käyttöoikeudet ja aikaleimat
`-v`		Yksityiskohtainen tila
`-z`		Pakkaa
`-e`	`ssh`	Määritä käytettävä etäkuori
`-n`		Näytä, mitkä tiedostot siirrettäisiin
`--partial`		Säilytä osittain siirretyt tiedostot
`--progress`		Näytä siirron eteneminen
`-P`		Sama kuin `--partial --progress`
`-u`		Ohita tiedostot, jotka ovat vastaanottajalla uudempia

Warning

rsync korvaa oletusarvoisesti kaikki kohteeseen tehdyt muutokset, vaikka ne olisivat lähdettä uudempia! Käytä valintaa -u tämän välttämiseksi.

Rsyncin käyttö datan siirtämiseen paikallisen tietokoneesi ja Puhdin välillä

Komento paikallisen kansion siirtämiseksi Puhdille siten, että eteneminen näytetään ja osittain siirretyt tiedostot säilytetään, voisi olla esimerkiksi:

rsync -rP /path/to/local/folder <username>@puhti.csc.fi:/path/to/target

Tämä joko:

Luo Puhdille kansion polkuun /path/to/target/folder, jos kansiota ei ollut aiemmin olemassa. Tässä tapauksessa kaikki paikallisen kansion sisältö siirretään.
Synkronoi lähde- ja kohdekansiot, jos kansio on jo olemassa Puhdissa. Tässä tapauksessa siirretään vain tekemämme muutokset.

Ja sama toiseen suuntaan:

rsync -rP <username>@puhti.csc.fi:/path/to/target/folder /path/to/local

Huomautus

Jos olet tallentanut SSH-avaimesi ja/tai varmennetiedostosi muulla kuin oletusnimellä tai muuhun kuin oletussijaintiin (eli muualle kuin ~/.ssh/id_<algorithm> tai ~/.ssh/id_<algorithm>-cert.pub), voit määrittää rsync-komennolle valinnalla -e, mistä avainta etsitään. Esimerkiksi:

rsync -rP -e "ssh -i /path/to/private/key -i /path/to/certificate" /path/to/local/folder <username>@<host>:/path/to/target

Huomaa, että SSH-varmenteita vaaditaan vain Roihuun yhdistettäessä.

Rsyncin käyttö datan siirtämiseen suoraan CSC:n supertietokoneiden välillä

Jotta voit siirtää dataa suoraan CSC:n supertietokoneiden välillä, sinulla on oltava pääsy SSH-avaimiin, jotka olet määrittänyt paikallisella työasemallasi CSC:n supertietokoneille tunnistautumista varten. Roihua varten tarvitaan lisäksi voimassa oleva SSH-varmenne. Tämä onnistuu välittämällä SSH-agenttisi sekä SSH-avaimesi (ja varmenteesi) sille supertietokoneelle, johon yhdistät ensin.

Tämän jälkeen rsync-komennolla voidaan siirtää dataa suoraan CSC:n supertietokoneiden välillä käyttäen samaa syntaksia kuin yllä. Esimerkiksi hakemiston /scratch/project_2001234/myfiles kopioimiseksi Puhdista vastaavaan polkuun Mahdissa:

rsync -rP /scratch/project_2001234/myfiles <username>@mahti.csc.fi:/scratch/project_2001234

Katso myös tämän ohjeen viimeinen osio.