Rsyncin käyttö datan siirtoon ja synkronointiin¶
SSH certificates are required to connect to Roihu over SSH
To connect to Roihu, users must sign their public key in MyCSC to obtain a time-based SSH certificate. Each certificate is valid for 24 hours, and once it expires, a new one must be generated by signing the public key again.
Rsync on datansiirtotyökalu, jota voidaan käyttää pitkälti kuten scp-komentoa.
Dataa siirrettäessä rsync tarkistaa lähde- ja
kohdetiedostojen erot ja siirtää vain muuttuneet osat. Tämä tekee rsync-työkalusta
sopivan seuraaviin käyttötarkoituksiin:
- Kansioiden synkronointi.
scptaicpkopioisi ja siirtäisi kaiken, kun taasrsynckopioi ja siirtää vain muutokset. - Suurten tiedostojen siirtäminen.
rsyncvoidaan asettaa tallentamaan edistyminen, joten jos siirto keskeytyy, sitä voidaan jatkaa samasta kohdasta.
rsync-komennon perussyntaksi on:
Jos datan lähde tai kohdesijainti on etäkohde, se määritellään syntaksilla:
Sekä kohde että lähde voivat kuitenkin sijaita myös samalla koneella. Siinä tapauksessa voit antaa vain lähde- ja kohdesijainnin hakemistopolut.
Alla oleva taulukko listaa yleisimmin käytetyt valinnat:
| Option | Argument | Description |
|---|---|---|
-r |
Siirry hakemistoihin rekursiivisesti | |
-a |
Käytä arkistotilaa: kopioi tiedostot ja hakemistot rekursiivisesti ja säilytä käyttöoikeudet ja aikaleimat | |
-v |
Yksityiskohtainen tila | |
-z |
Pakkaa | |
-e |
ssh |
Määritä käytettävä etäkomentotulkki |
-n |
Näytä, mitkä tiedostot siirrettäisiin | |
--partial |
Säilytä osittain siirretyt tiedostot | |
--progress |
Näytä edistyminen siirron aikana | |
-P |
Sama kuin --partial --progress |
|
-u |
Ohita tiedostot, jotka ovat vastaanottajalla uudemmat |
Warning
rsync ylikirjoittaa oletusarvoisesti kaikki kohteeseen tehdyt muutokset, vaikka
ne olisivat lähdettä uudemmat! Käytä valintaa -u tämän välttämiseksi.
Rsyncin käyttö datan siirtämiseen paikallisen tietokoneesi ja Roihun välillä¶
Komento paikallisen kansion siirtämiseksi Roihuun siten, että edistyminen näytetään ja osittain siirretyt tiedostot säilytetään, voisi olla esimerkiksi:
Tämä joko:
- Luo Roihuun kansion sijaintiin
/path/to/target/folder, jos kansiota ei ollut aiemmin olemassa. Tässä tapauksessa kaikki paikallisessa kansiossa oleva siirretään. - Synkronoi lähde- ja kohdekansiot, jos kansio on jo olemassa Roihussa. Tässä tapauksessa siirretään vain tekemämme muutokset.
Ja sama toiseen suuntaan:
Huomaa
Jos olet tallentanut SSH-avaimesi ja/tai varmennetiedostosi muulla kuin oletusnimellä
tai muuhun kuin oletussijaintiin (jonnekin muualle kuin
~/.ssh/id_<algorithm> tai ~/.ssh/id_<algorithm>-cert.pub), voit
määrittää rsync-komennolle valinnalla -e, mistä avainta etsitään. Esimerkiksi:
rsync -rP -e "ssh -i /path/to/private/key -i /path/to/certificate" /path/to/local/folder <username>@<host>:/path/to/target
Huomaa, että SSH-varmenteita tarvitaan Roihuun yhdistämiseen vain.
Rsyncin käyttö datan siirtämiseen suoraan CSC:n supertietokoneiden välillä¶
Jotta voit siirtää dataa suoraan CSC:n supertietokoneiden välillä, sinulla täytyy olla pääsy SSH-avaimiin, jotka olet määrittänyt paikallisella työasemallasi CSC:n supertietokoneille tunnistautumista varten. Roihua varten tarvitaan lisäksi voimassa oleva SSH-varmenne. Tämä toteutetaan välittämällä SSH-agenttisi, mukaan lukien SSH-avaimesi (ja varmenne), siihen supertietokoneeseen, johon yhdistät ensin.
Tämän jälkeen rsync-työkalua voidaan käyttää datan siirtämiseen suoraan CSC:n
supertietokoneiden välillä käyttäen samaa syntaksia kuin yllä. Esimerkiksi hakemiston
/scratch/project_2001234/myfiles kopioimiseksi Roihusta LUMI-projektin scratch-hakemistoon
/scratch/project_462000123: