E t a p y

Zbieranie informacji o scenie
Przesłanie danych
Odtworzenie po stronie odbiorcy




ZBIERANIE INFORMACJI O SCENIE:


Przedmioty ze sceny rejestruje się za pomocą kamer.


W 1993r. H. Fuchs z University of North Carolina zaproponował metodę zwaną morzem kamer. Porównuje się w niej obrazy z wielu kamer. W typowych cenach z udziałem ludzi jest wiele szczegółów widocznych z więcej niż jednej kamery. Porównując (za pomocą komputera i specjalnego oprogramowania) obrazy tych samych szczegółów z różnych kamer można utworzyć trójwymiarowy model danej sceny. Gdyby chodziło np. o trójwymiarowy film wystarczyłyby dwie kamery (każda przechwytująca obraz przeznaczony dla jednego z oczu widza). Teleimersja wymaga jednak analizy sceny i wytworzenia jej trójwymiarowej mapy. Czyli im więcej kamer tym lepiej.


W 1995r. T. Kanade z Carnegie Mellon University zamontował na sferycznej konstrukcji 51 kamer skierowanych do środka. Urządzenie nie pracowało w czasie rzeczywistym, więc nie nadawało się do teleimersji (dane zapisywano i dopiero potem poddawano analizie).


Od 1994r. pani R. Bajcsy z University of Pennsylvania pracowała nad morzem kamer pracujących w czasie rzeczywistym, które dałyby się zastosować dla potrzeb teleimersji. Wraz z współpracownikami z Chapel Hill oraz Carnegie Mellon zbudowała taki system.


W obecnych systemach (pierwszą teleimersję przeprowadzono w maju 2000r.) stosuje się siedem kamer cyfrowych.

Zestaw siedmiu kamer obserwuje uczestnika  z różnych punktów. Kamery połączone są w pięć "trójek". Tzw. moduł analizy obrazów przetwarza dane z jednej takiej "trójki" (czyli potrzebnych jest pięć takich modułów). Dla każdej z tych trójek komputer tworzy mapę niezgodności odzwierciedlającą różnice pomiędzy obrazami widzianymi przez różne kamery. Różnice te są przeliczane na odległości od płaszczyzny odniesienia. Na tej podstawie tworzony jest płaski obraz obserwowanej sceny. Powyższe dane stanowią podstawę do odtworzenia trójwymiarowej sceny, która jest niezależna od punktu obserwacji.

Siedem kamer to konieczne minimum. W dzisiejszych systemach ustawia się je wszystkie w jednej płaszczyźnie. Aby osiągnąć najlepsze odwzorowanie, konieczny byłby układ sferyczny, składający się z co najmniej 60 urządzeń. Tylko w takich warunkach można myśleć o poważniejszych zastosowaniach (np. transmisja operacji chirurgicznej).

Zbieranie informacji musi być szybkie - wszystko ma dziać się w czasie rzeczywistym.


Jednak tylko kamery nie rozwiązują problemu. Jeśli wszystkie kamery będą skierowane na obiekt nie posiadający szczegółów (np. biała ściana) to nie dostarczą żadnej informacji pomocnej w odtworzeniu sceny (kamera nie jest w stanie odróżnić czy biała ściana nie jest nieskończenie głęboką białą studnią). Dla dzisiejszych kamer cyfrowych np. czoło człowieka, czy też podkoszulek mogą być trudne do zinterpretowania jak "biała ściana".

W celu usunięcia tego problemu stosuje się tzw. metodę ISL (Imperceptible Structural Light - niedostrzegalne światło strukturalne). ISL wydaje się ciągłym białym światłem, lecz w rzeczywistości są to szybkozmienne przebiegi rastrujące widoczne tylko dla zsynchronizowanych kamer (analogia do świetlówki: miga ok. 50 razy na sekundę, lecz oko człowieka tego nie dostrzega). ISL rzutuje standardowe wzory (desenie) na scenę, dzięki czemu zespoły kamer mogą odtworzyć jej geometrię (nawet w przypadku obiektów pozbawionych szczegółów).

PRZESŁANIE DANYCH


Informacja o całej scenie to bardzo duża ilość danych. Oczywiście informacje o scenie muszą być pobierane kilkanaście razy na sekundę. To wszystko musi zostać przeliczone w czasie rzeczywistym. Do tego dochodzi informacja o dźwięku. Wszystkie niezbędne dane łączone są w strumień, kompresowane oraz wysłane do odbiorcy. Im bardziej złożona jest scena, tym szybsza powinna być transmisja.

Podczas sesji teleimersyjnej minimalna przepustowość łącza to ok. 20Mbit/s. Takie łącze jest potrzebne aby przesłać scenę człowieka siedzącego przy biurku na jednolitym tle bez szczegółów otoczenia z prędkością 2-3 klatek na sekundę. Jest to około 600 razy więcej niż przesłanie obrazu o niskiej rozdzielczości, odświeżanego kilka razy na sekundę. W przypadku bardziej skomplikowanych scen przepustowość powinna wynosić ok. 80Mbit/s. W zależności od ilości stanowisk teleimersyjnych wymagania co do przepustowości rosną. I tak np. dla trójstanowiskowego projektu przy niewielkiej dokładności obrazu potrzebne jest łącze o przepustowości ponad 150Mbit/s. Aby system mógł pracować płynnie (czyli aby nie wywoływał u uczestnika uczucia zmęczenia i dezorientacji) nie może być żadnych opóźnień.


Termin "teleimersja" po raz pierwszy użyty był do opisu najważniejszego zastosowania sieci Intenet2 (projekt sieci powstał w roku 1996). W tej chwili w projekcie uczestniczy ok. 200 amerykańskich uczelni. Stworzono sieć szkieletową, w której dane są transmitowane za pośrednictwem światłowodu z maksymalnym transferem wynoszącym 2,4Gbit/s. Celem projektu jest dostarczenie do użytkownika końcówki sieci oferującej transfer rzędu 100Mbit/s (obecnie jest to ok. 20 Ľtylko ze względu na transfer:

W tej chwili wszystkie krążące w Sieci dane traktowane są tak samo Ľprzypadku wzmożonej aktywności użytkowników każdy przesyłany pakiet musi czekać na swoją kolejkę (na ruterze). W przypadku strumieniowego przesyłu (a takim jest teleimersja) powoduje to spadek jakości usługi. W przypadku Internet2 tego typu dane traktowane są priorytetowo.

Transmisję danych do wielu użytkowników wspiera technologia multicast. W tej chwili jeśli np. 100 użytkowników chce równocześnie np. obejrzeć transmisję wideo, to serwer nadawcy musi ją wysłać w 100 kopiach. Przy transmisji multicast serwer nadawcy wysyła tylko jedną kopię, która zależnie od potrzeb, zostanie następnie powielona przez kolejne rutery.

ODTWORZENIE PO STRONIE ODBIORCY


Jak dane dotrą do odbiorcy to trzeba to wszystko odtworzyć. Komputer musi wygenerować model postaci oraz tło i wysłać to do projektora lub wielkoformatowego monitora. Obraz jest generowany w zależności od położenia odbiorcy. W przypadku projektora obraz rzutowany jest na ścianę. Efekt jest taki, że ściana wygląda jak szyba, za którą siedzi nasz rozmówca. Efekt trójwymiarowości uzyskuje się dzięki wyświetlaniu przez projektory dwóch nakładających się obrazów o różnej polaryzacji (każdy przeznaczony dla innego oka). Obraz ogląda się przez odpowiednie filtry.

Najpopularniejszym rozwiązaniem są okulary migawkowe. W ich skład wchodzą dwie ciekłokrystaliczne migawki, które na zmianę zasłaniają lewe lub prawe oko. Dzięki temu użytkownik w danym momencie widzi obraz przeznaczony tylko dla jednego oka. Przy dużej częstotliwości odświeżania daje to złudzenie trzech wymiarów.

Alternatywnym i o wiele wygodniejszym rozwiązaniem może być opracowywany na Uniwersytecie Nowojorskim wyświetlacz autostereoskopowy. Na monitorze wyświetlane są na zmianę dwa obrazy (jeden dla lewego oka, drugi dla prawego). Ekran z przesłoną został przeniesiony tuż przed monitor. Moduł analizujący ruch głowy i położenie oczu tak zmienia działanie przesłony migawkowej, aby każde z oczu widziało jedynie przeznaczony dla siebie obraz (w momencie przemieszczenia głowy szpary w przesłonie ulegają przesunięciu).