giovedì 16 febbraio 2017

Che data base usa Google?

Architettura
BigTable non è un database relazionale. Non supporta unisce né supporta ricchi query SQL-like. Ogni tabella è una mappa sparse multidimensionale. Le Tavole consistono di righe e colonne, e ogni cella ha un time stamp. Non ci possono essere più versioni di una cella con diversi time stamp. Il timestamp permette operazioni come "selezionare 'n' versioni di questa pagina Web" o "eliminare le cellule  più vecchie di una specifica data / ora."
Al fine di gestire tavole enormi, Bigtable divide le tavole tra i confini di riga e li salva in versione compressA. Una tavola è di circa 200 MB, e ogni macchina consente di risparmiare circa 100 compressioni. Questa configurazione permette di comprimere una singola tabella per essere diffusa tra molti server. Essa consente anche il bilanciamento del carico a "grana fine". Se una tabella sta ricevendo molte richieste, si possono aprire altre tavole o spostare la tavola occupata su un'altra macchina che non è così occupata. Inoltre, se una macchina va giù, una tavola può essere ripartita tra molti altri server in modo che l'impatto sulle prestazioni in una data macchina sia minimo.
Le tabelle sono memorizzate come SSTables immutabili e una coda di tronchi (un log per macchina). Quando una macchina esaurisce la memoria di sistema, si comprimono alcune compressioni utilizzando le Google tech di compressione proprietaria (BMDiff e Zippy). Le compressioni minori coinvolgono solo un paio di compressioni, mentre grandi compressioni coinvolgono l'intero sistema di tavole e recuperano spazio sul disco rigido.
Le posizioni delle compressioni Bigtable sono memorizzati in cellule. La ricerca di una tavola particolare è gestita da un sistema a tre livelli. I client ottengono un punto per una tabella META0, di cui solo uno di essi è verificato. La tabella META0 registra molte compressioni META1 che contengono le posizioni delle compressioni per essere guardato in su. Sia META0 e META1 fanno pesante uso di pre-fetching e caching per ridurre al minimo i colli di bottiglia del sistema.
Implementazione
BigTable è costruito su Google File System (GFS), che viene utilizzato come archiviazione secondaria per i file di registro e di dati. GFS fornisce l'archiviazione affidabile per SSTables, in un formato di file Google-proprietario, utilizzato per salvare i dati della tabella.
Un altro servizio che BigTable fa un uso pesante di è Chubby , un affidabile servizio di blocco, distribuito altamente disponibile. Chubby permette ai client di prendere una "serratura", possibilmente associandola con alcuni metadati, che si può rinnovare con l'invio di messaggi conservati come live e poi tornare a Chubby. Le serrature sono memorizzate in una struttura di nomi gerarchici del filesystem-like.
Ci sono tre principali tipi di server nel sistema Bigtable:
  1. server master: assegnano tablet ai server tablet, tengono traccia di dove si trovano e ridistribuiscono i compiti in base alle esigenze compresse.
  2. server Tablet: gestiscono le richieste di lettura / scrittura per compressioni e compressioni divise quando si superano i limiti di dimensione (di solito 100MB - 200MB). Se un server tablet non ci riesce, il sistema recupera una compressione da 100 server ogni pick-up 1 nuovo tablet.
  3. server di blocco: le istanze del Chubby sono distribuite in un servizio di blocco. Un sacco di azioni all'interno BigTable richiedono l'acquisizione di serrature, tra cui l'apertura di tavole per la scrittura, garantendo che non vi è più di un master attivo alla volta, e il controllo del controllo di accesso.
Esempio dal documento di ricerca di Google:
alt text
Una fetta di una tabella di esempio che memorizza le pagine Web. Il nome della riga è un URL invertita . La famiglia di contenuti colonna contiene il contenuto della pagina , e la famiglia di colonna di ancoraggio contiene il testo delle ancore che fanno riferimento alla pagina. Home page della CNN si fa riferimento sia dalla Sports Illustrated e le home page MY-look, in modo che il riga contiene le colonne nome anchor:cnnsi.comanchor:my.look.caOgni cella di ancoraggio ha una versione ; la colonna contenuti ha tre versioni , a timestamp t3t5t6.
API
operazioni tipiche di BigTable sono la creazione e la cancellazione delle tabelle e delle famiglie delle colonne, la scrittura di dati e l'eliminazione di colonne da un file. BigTable offre queste funzioni per gli sviluppatori di applicazioni in una API. Le operazioni sono supportate a livello di riga, ma non tra diverse chiavi di file.

E qui potete trovare un video che mostra di Google Jeff Dean in una conferenza presso l'Università di Washington , ove si discute sul sistema di memorizzazione dei contenuti Bigtable utilizzato in backend di Google.

giovedì 7 gennaio 2016

Logo

STUDIO TECNICO - SERVIZI DI CALCOLO

STUDIO TECNICO MATERIALI EDILI - COLLABORAZIONE OCCASIONALE

Egregi, per ogni vostra eventuale necessità ci pregiamo segnalarvi la nostra attività anche occasionale di consulenza tecnica a distanza o in loco:

IL NOSTRO STUDIO TECNICO ESEGUE OCCASIONALMENTE 
anche per conto terzi: 

SETTORE INTERIORS
sviluppo calcoli per componenti interiors quali ad esempio: ordini radiatori d'arredo, mobili da bagno su misura, rivestimenti e pavimenti in piastrelle, ceramica, marmo, parquet, tavole, assiti, palchetti, soppalchi, scale interne, compreso studio e disposizione di posa di greche, decori, mosaici, porte d'arredo, sipari mobili, travi a soffitto, serramenti interni, finestre, serramenti esterni, configurazione composizione tecnica serramenti, configurazione tecnica porte blindate, calcolo termico radiatori, calcolo canne fumarie, composizione caminetti, stufe, forni, elementi d'arredo, composizione cucine, composizione cucine in muratura, composizione cucine in stile antico, composizione centri benessere, composizione docce cromoterapiche con soffioni musicali, saune private, bagni turchi privati, minipiscine private, contorni in hardwood per piscine, piscine esterne, rivestimenti facciata, rivestimenti esterni, contorni finestre per palazzi storici, decorazione facciate palazzi centro storico, studi realizzativi falegnameria edifici storici, antoni centri storici, portooni in legno centri storici, inferriate esterne protettive, studio decorazione portoncini d'ingresos esterni scolpiti, in bassorilievo, o personalizzati. Creazione grafica artistica o fotografica a pavimento, su tappeti e moquette, su murales, su serramenti, su composizione decorativa ceramica.

SETTORE BUILDING
calcoli quantitativi dei materiali tecnologici per progettazione forniture per cantiere quali ad esempio: malte per sottofondi, additivi per malte, isolamenti per murature, coibentazioni acustiche, termiche, impermeabilizzazioni anche schlueter, quantità di copertura per termotetti, dimensionamento e calcolo quantità ed  elementi canne fumarie, calcoli per costituzione sottofondi esterni per paviemntazione in massetti autobloccanti e piastre da giardino.

Vi ringraziamo per l'attenzione e vi confermiamo la nostra disponibilità alla collaborazione epr ogni vostra eventuale necessità futura.

Cordiali saluti.

Geom. Faccio Ermanno

t.co: @ermannofaccio