Bazy danych i SQL

[Żadna Głupia Spółgłoska]

To na jakich ty wielkich zbiorach danych operujesz, że taki komp nie daje rady?

Na przyklad lista znanych i potencjalnych genow danego gatunku (np. myszy), wraz z numerem chromosomu, koordynatami, orientacja (+/-), koordynatami czesci kodujacej, iloscia egzonow, koordynatami kazdego egzonu (srednio 9 na gen, maksymalnie ponad 300), nazwa znanego produktu bialkowego itp.  Chyba tu masz ten konkretny plik, mozesz sobie obczaic:

hgdownload.soe.ucsc.edu/goldenPath/mm10/database/knownGene.txt.gz

Tabela okolo 50 000 linii na 20 kolumn, ale pracowalem juz nawet na okolo 180 000 x 30.

[mgr Fartuess]

No to do tego baza danych a nie excel. Nie wiem jak excel ma pooptymalizowane różne rzeczy, ale wątpie, żeby robił to lepiej niż porządna baza danych.

[Żadna Głupia Spółgłoska]

Jaka na przykład i czy tego typu programy pozwalają na swobodne robienie kalkulacji i filtrowanie danych? O filtrowanie głównie chodzi, ostatnio z ponad 600 000 linii zszedłem do 16, które mnie interesowały  (co prawda z 600 000 to 180 000 zszedłem Perlem, a dopiero potem Excelem)

[mgr Fartuess]

no to są podstawowe, najbardziej elementarne operacje w SQLu

[LeOn91]

W SQL'u robisz sobie filtracje pierwszorzędną, formuły też działąją,ale nie wiem niestety jak z prędkością obliczeń i na ile mogą być skomplikowane.

[mgr Fartuess]

wyszukiwanie i filtrowanie jest przyspieszone dzięki indeksowaniu. Excel pewnie tego nie ma. Co do obliczeń, to jeśli mają być wyświetlone na ekran (albo do jakiegoś raportu czy coś) to powinno być ok. Jeśli zmienione wartości mają być zaktualizowane w bazie, to pewnie nieco wolniej, ale to bym polecał samemu sprawdzić.

Co do skomplikowania formuł - można deklarować własne funkcje, więc złożoność operacji powinna być spora - raczej nie mniejsza niż w excelu przynajmniej . Co do prędkości - tu nie wiem.

[Żadna Głupia Spółgłoska]

Excel ma ten problem ze przy kazdym kliknieciu wszystko przelicza od poczatku, a wiec juz sie nauczylem, zeby po zrobieniu kazdej wiekszej operacji od razu zamieniac funkcje na wartosci, inaczej kazde klikniecie oznaczaloby kilka minut czekania  W sumie SQL warto by sie bylo nauczyc, ale nie wiem czy na chwile obecna jest sens, bo w przeciagu dwoch nastepnych miesiecy (lub szybciej) zamierzam skonczyc badania. Co prawda zapewne przydaloby mi sie to na dalszych studiach (doktorat), ale do tego jeszcze chwila czasu.

[mgr Fartuess]

podstaw SQLa możesz się nauczyć pewnie z jeden, dwa wieczory jak jesteś ogarnięty.

[Żadna Głupia Spółgłoska]

Niestety nie jestem

[mgr Fartuess]

mam ci zalinkować download do SQL management studio i do dokumentacji SQLa, żebyś sobie poradził?