@PhDThesis{França:2016:ApApRe,
author = "Fran{\c{c}}a, Luis Fernando Amorim",
title = "Aplica{\c{c}}{\~a}o da aprendizagem por refor{\c{c}}o para o
problema de aloca{\c{c}}{\~a}o de espectro em redes {\'o}pticas
el{\'a}sticas",
school = "Instituto Nacional de Pesquisas Espaciais (INPE)",
year = "2016",
address = "S{\~a}o Jos{\'e} dos Campos",
month = "2016-05-16",
keywords = "redes {\'o}pticas el{\'a}sticas, aloca{\c{c}}{\~a}o de
espectro, processo markoviano de decis{\~a}o, aprendizagem por
refor{\c{c}}o, elastic optical networks, spectrum allocation,
Markov decision process, reinforcement learning.",
abstract = "As Redes {\'o}pticas el{\'a}sticas v{\^e}m sendo desenvolvidas
recentemente com o intuito de prover maior flexibilidade em
rela{\c{c}}{\~a}o {\`a}s redes {\'o}pticas tradicionais.
Nessas redes, recursos, denominados slots, s{\~a}o alocados de
acordo com a demanda de tr{\'a}fego. Torna-se poss{\'{\i}}vel,
ent{\~a}o, a gera{\c{c}}{\~a}o de caminhos {\'o}pticos para
estabelecer conex{\~o}es para diferentes classes de
servi{\c{c}}os com requerimentos de banda heterog{\^e}neos. Ao
se estabelecer um caminho {\'o}ptico deve-se selecionar quais
enlaces ser{\~a}o utilizados para rotear a conex{\~a}o e, para
cada enlace dessa rota, quais slots ser{\~a}o alocados. Neste
trabalho focamos em um enlace de uma rede {\'o}ptica
el{\'a}stica sob tr{\'a}fego din{\^a}mico, e, portanto, o
roteamento n{\~a}o precisa ser realizado. N{\'o}s propomos um
modelo anal{\'{\i}}tico, por meio de um processo markoviano de
decis{\~a}o a tempo cont{\'{\i}}nuo, para encontrar uma
pol{\'{\i}}tica {\'o}tima de aloca{\c{c}}{\~a}o de espectro.
Uma vez que essa pol{\'{\i}}tica {\'e} aplicada, n{\'o}s
utilizamos uma cadeia de Markov para calcular suas medidas de
desempenho. Para inst{\^a}ncias mais realistas do problema, no
entanto, o modelo anal{\'{\i}}tico torna-se invi{\'a}vel de ser
resolvido, seja por restri{\c{c}}{\~o}es de mem{\'o}ria ou
tempo de processamento. Dessa forma, propomos tamb{\'e}m a
utiliza{\c{c}}{\~a}o de um algoritmo de aprendizagem por
refor{\c{c}}o para encontrar pol{\'{\i}}ticas de
aloca{\c{c}}{\~a}o de espectro nos casos em que o modelo
anal{\'{\i}}tico n{\~a}o pode ser aplicado. Resultados
num{\'e}ricos s{\~a}o apresentados para ilustrar as medidas de
desempenho da pol{\'{\i}}tica de aloca{\c{c}}{\~a}o de
espectro derivada do nosso modelo em rela{\c{c}}{\~a}o a duas
pol{\'{\i}}ticas comumente utilizadas na literatura, First-Fit e
Best-Fit. ABSTRACT: Elastic Optical Networks (EONs) have been
recently proposed to provide flexibility over traditional optical
networks. In these networks, resources, called slots, are
allocated according to traffic demands, providing the possibility
of generating optical paths to establish connection requests for
different classes of services with heterogeneous bandwidth
requirements. In order to establish the optical paths one must
select which links will be used to route each connection and, for
each link of the route, which slots will be allocated. In this
work we focus in one link of an EON under dynamic traffic, and
thus no routing needs to be done. We propose an analytical model,
by means of a continuous-time Markov decision process, to find an
optimal Spectrum Allocation (SA) policy. Once a SA policy is
applied, we use a Markov chain to compute its performance metrics.
For more realistic instances of the problem, however, the
analytical model is computationally infeasible. Therefore, we also
propose the use of a reinforcement learning algorithm in order to
find SA policies for the cases where the analytical model cannot
be applied. Numerical results are provided to illustrate the
performance metrics of the SA policy derived from our model over
two SA myopic policies commonly used in the literature, namely
First-Fit and Best-Fit.",
committee = "Velho, Haroldo Fraga de Campos (presidente) and Carvalho, Solon
Ven{\^a}ncio de (orientador) and Rodrigues, Rita de C{\'a}ssia
Meneses (orientadora) and Yanasse, Horacio Hideki and Ribeiro,
Carlos Henrique Costa and Milioni, Armando Zeferino",
copyholder = "SID/SCD",
englishtitle = "Application of reinforcement learning for the spectrum allocation
problem in elastic optical networks",
language = "pt",
pages = "105",
ibi = "8JMKD3MGP3W34P/3LMJSEL",
url = "http://urlib.net/ibi/8JMKD3MGP3W34P/3LMJSEL",
targetfile = "publicacao.pdf",
urlaccessdate = "03 jun. 2024"
}